SearchCentric — Memoza

Memoza

Insight Engine на базе платформы
с открытым кодом Elasticsearch

Memoza Insight Engine — система, которая доставляет специалистам информацию (контент) в контексте и поддерживает машинную обработку (данные в контексте).
Memoza подключается к различным источникам и типам контента (например, к документам на платформах контент-сервисов) и данным (например, к записям в операционных системах управления базами данных) для создания индекса извлеченных данных, которые могут быть запрошены людьми и Большими Языковыми Моделями (БЯМ).

Коннекторы и пре-процессинг используются для сбора и обогащения данных до их индексации; точки доступа и пост-процессинг — для упрощения работы специалистов с данными и генерации знаний.

Memoza — это платформа, которая предоставляют возможности для разработки аналитически приложений и взаимодействия со всеми накопленными данными через интерфейсы БЯМ.

Memoza это

актуализация всех информационных активов компании вне зависимости от их возраста и состояния

Memoza это

интегрированные приложения по контролю качества данных, информационной поддержке бизнес процессов, организации банков данных, и БЯМ

Memoza это

промышленные инструменты моделирования данных, разделения прав доступа, администрирования представлений данных и визуализации

Memoza это

больше ста «коннекторов» к отраслевым информационным системам и форматам файлов, многолетний опыт по созданию «коннекторов» к проприетарным системам и форматам

С Memoza вы можете:

Подключать данные

Установив Memoza вы можете наполнить ее данными, подключив доступные Memoza файловые системы и базы данных. При наличии соответствующих модулей Memoza проиндексирует содержимое проектных систем Petrel/Studio, Roxar RMS, OpenWorks и тд. Сюда же можно добавить публичные данные например из реестров Росгеолфонд. Подключите ArcGIS, WFS сервисы к картографической системе.

Загружать данные

Следующим шагом можно загрузить данные в Memoza для постоянного хранения и управления. Начните с создания собственных моделей данных и загрузки необходимых словарей и всего что вы держите в Excel — например данных анализа керна или флюидов. Настройте модуль загрузки, создайте шаблоны и грузите файловые данные с необходимыми вам описаниями через web приложение Memoza Load. Массово загружаемые данные будут проверены согласно уже загруженным словарям, файлы автоматически размещены в динамической структуре каталогов согласно настройкам модуля.

Обрабатывать данные

Memoza автоматически найдет, проиндексирует файлы, определит и установит права доступа к ним и извлечет их содержимое вне зависимости от формата. Специальные процессоры разберут заголовки LAS/DLIS и SEGY. Для графических документов будет подключен OCR обработчик. Memoza определит дубликаты файлов, согласно настройкам GR/GT осуществит географическую привязку файлов к точечным и площадным объектам. Вы сможете провести авто-классификацию файлов и извлечь именованные сущности подключив Большую Языковую Модель с Memoza LLM.

<strong>Организовывать<br />доступ к данным</strong><br />

Организовывать
доступ к данным

Memoza полностью интегрирован с MS Active Directory в части аутентификации, управления доступом и назначения прав. Создайте свои собственные функциональные или ролевые группы, группы доступа к определенным сегментам данных и функциональности для внутренних пользователей и подрядчиков. Динамически управляйте доступом.

Исправлять данные

Подключив и загрузив данные вы неизбежно столкнетесь с огромным количеством несоответствий и проблем с данными, которые ранее были для вас не очевидны. С какими-то из них можно жить, какие-то необходимо идентифицировать и просто подсветить для пользователей, какие-то надо оперативно исправлять. Настройте QC Server на любые кросс-проверки данных из всех источников. Автоматически идентифицируйте и удаляйте полные дубликаты файлов. Анализируйте качество данных в проектах, сравнивайте проектные данные с базами и справочниками. Запустите LogQC и осуществляйте автоматизированный контроль качества каротажных диаграмм в LAS/DLIS файлах на дисках. И наконец настройте дашборды для графического представления данных о качестве.

Использовать данные

Итак данные проиндексированы, загружены, доступы настроены, качество контролируется. Пришло время пользоваться системой! Просто используйте ее для скоростного доступа к данным. Подписывайтесь на обновления по любым критериям, собирайте данные в проекты. Делитесь данными. Создавайте виртуальные и физические выборки и комнаты данных. Анализируйте и сравнивайте данные, автоматизируйте отчетность!

Управлять данными

Memoza Data Tracker позволяет вам автоматизировать рутинные процессы связанные с передачей и трансформацией данных между работниками, отделами или командами внутри организации и за ее пределами. Это могут быть процессы отчетности перед компетентными органами, процесс оперативной и детальной оценки активов, и любые другие производственные процессы формализованные и не очень.

Суперспособности

Обработка неструктурированных файлов

Файловый коннектор Memoza автоматически проиндексирует файлы: и метаданные, и содержимое, назначит права доступа в соотвествии с корпоративной моделью, запустит OCR и извлечет содержимое из графических и специализированных файлов разных форматов. На основании назначенных атрибутов - привяжет к файлам координаты бизнес объектов, к которым относятся файлы и их можно будет увидеть на карте.
Memoza LLM поможет провести автоматическую классификацию файлов, извлечь и сохранить краткие справки или любые именованные сущности.

Картография: поисковый сервер = суперспособности

Картографический браузер (Memoza Map) не только дает возможность отобразить и проанализировать отраслевые пространственные данные: геологическое и нефтегазоносное районирование, координаты лицензионных участков, месторождений, координаты устьев и стволов скважин, сейсмических профилей, но и позволит увидеть на той же карте все результаты геореференсинга и геотэггинга содержимого баз данных и файловых архивов.

Может быть самый крутой табличный браузер данных

Если вы инженер, то понимаете как сложно переоценить значение хорошей табличной визуализации. Без Excel как правило не обойтись. Но у Excel есть ряд существенных недостатков: таблицы с миллионами и десятками миллионов строк в нем будут работать медленно, вы не можете делать выборки по ключевым словам, и не сможете сохранить несколько выборок не сохраняя копии огромного файла. В общем: Большие данные + Эксель = Нет!

Готовые коннекторы<br />«ко всему»<br />

Готовые коннекторы
«ко всему»

Проекты внедрения любых in-house «платформ» в продуктивный ландшафт компании обычно занимают годы. Годы проходят от решения до начала использования платформы и получения от нее обещанных бизнес выгод. C memoza мы имеем возможность существенно сократить этот срок за счет готовых коннекторов к промышленным коммерческим системам и форматам используемым в отрасли.

Модули Memoza

RS, Data, Content Service, View, QC Server, Tools: Filesystem,
DBMS, Spatial, RFGI, Collect, GEO

Memoza RS включает в себя ядро Elasticsearch и вэб приложение для управления следующим функционалом:

управление настройками авторизации пользователей на основе: MS Active Directory, SSO, Data Base, KEYCLOACK (hard tokens), внутренние группы
настройки ролевой модели на основе: MS Active Directory, Data Base, WRS, KEYCLOACK (hard tokens), внутренние группы
настройки ролевой модели определяют доступ к минимальной единице информации - записи в классе данных и разграничивают возможности действий с данными: просмотр, редактирование, удаление, предварительный просмотр файлов, скачивание файлов
настройки подключения источников данных: загрузка готовых схем данных, интерактивное создание схем: редактирование, наследование и удаление схем данных
интерактивная настройка коннекторов (программных модулей) производящих подключение к источникам данных и их индексацию: загрузка коннекторов, настройка параметров работы, ручной запуск, параметры и запуск по расписанию, мониторинг работы
мониторинг состояния и управление индексами индивидуально для всех источников данных (реплики, шарды, реиндексирование…)
подключение плагинов (программных модулей) обеспечивающих постпроцессинг записей перед их сохранением в индексе
настройка дополнительных возможностей, например подключения к SMTP серверу предприятия для осуществления рассылок на электронную почту
интерактивная консоль REST Server для выполнения запросов (GET, PUT, POST, DELETE) к данным в системе
панель предоставления статистики использования системы по ее функциям в разрезе времени/данных/пользователей: аутентификация, клики, отгрузки, предпросмотры, запросы, поиски
поддержка API для создания приложений, использующих доступные в системе данные. (Для доступа к инструментам программирования SDK для конечного пользователя — необходимо приобретение модуля W-API)

поиск по всем данным доступным в системе (метаданные, контент файлов) в любых комбинациях и сочетаниях в том числе с использованием подстановочных символов
просмотр результатов поиска в структурированном (табличном) виде. Результаты поиска также могут включать гиперссылки на внешние индексированные системы
фильтрация результатов по различным критериям (дата, числовые значения, текстовые параметры)
многоуровневая сортировка результатов поиска
экспорт результатов поиска в стандартные форматы (Excel, CSV, XML)
сохранение поисковых запросов для дальнейшего использования
географический поиск — поиск по пространственным критериям с использованием координат объектов в системе
настройка и сохранение индивидуального представления данных в системе
создание подписок на электронную почту для оповещения об изменениях в системе
ручной ввод и редактирование данных (в том числе одновременное редактирование нескольких записей) в предварительно настроенных классах с использованием словарей и справочников. Любой класс данных может быть использован в качестве справочника (выпадающие списки, подсказки, мультивыбор, автозаполнение значений формы на базе уже введенных значений...)
вызов функции предварительного просмотра файлов без их отгрузки на рабочую станцию пользователя
скачивание файлов (в том числе нескольких) на рабочую станцию пользователя
создание и сохранение коллекции данных (shopping cart) для дальнейшего использования
аналитические панели (дашборды) — предварительно настроенные и пользовательские: линейные и столбчатые диаграммы, пуй чарты, карты плотностей и кластерные карты, агрегированные таблицы данных, семафоры, метрики…)
полностью интегрированная с поисковой системой карта, включающая следующие функции: добавление слоев из системы, добавление слоев из внешних файлов и сервисов (geojson, geotiff, shapefile, wfs, wkt, wms), изменение проекции отображения, экспорт в различные форматы, инструменты рисования и изменения, географический (пространственный) поиск по выбранным или нарисованным объектам, закладки, сохраненные карты, пользовательские настройки стилей, базовый слой без обращения к внешним сервисам
интерфейс выполнения массовой загрузки метаданных и файлов в систему по предварительно настроенным шаблонам и правилам сохранения файлов на файловой системе
определение правил массовой загрузки файлов для использования операторами загрузки: шаблоны массовой загрузки, правила определения прав доступа, правила создания дерева каталогов на основе загружаемых данных, распределения файлов по созданному дереву каталогов
управление настройками поведения пользовательского интерфейса
определение наименования и правил заполнения для свойств классов данных в системе
определение порядка отображения свойств классов данных в системе
настройка календарей на основе имеющихся в системе данных
настройка дополнительных функций, таких как отправка по электронной почте
создание дашбордов (информационных панелей) для использования всеми пользователями системы (административные настройки)

Модуль предоставляет следующий набор правил проверок:

проверка записи математическими функциями
проверка по словарям
проверки значений записей из разных классов
заполнения свойств или их очистка по определенным правилам при выполнении логических условий
расчет контрольных сумм по перечню свойств записи
расчет контрольных сумм для файлов в записи
поиск дубликатов по рассчитанным контрольным суммам

Модуль позволяет создавать неограниченное количество проверок указанных выше типов в вэб-интерфейсе Memoza DATA без программирования, верифицировать проверки на правильность синтаксиса и выполнение поставленных условий и журналировать проверки для их регулярного выполнения.

Результатом выполнения большинства проверок является заполнения поля QC проверенных записей определенными в самой проверке флагами качества.

Статистика выполнения проверок и их результаты сохраняются в системе.

Модуль контроля качества как и другие модули Memoza пользуются временными метками timestamp для осуществления инкрементальных проверок, т.е. проверок только записей изменившихся с момента последней проверки.

Инструкции и документы

Руководство по развертыванию, инструкция для пользователей...