SearchCentric- MEMOZA

MEMOZA
Insight Engine на базе платформы с открытым кодом Elasticsearch

MEMOZA Insight Engine - система, которая доставляют специалистам информацию в контексте (контент в контексте) и поддерживают машинную обработку (данные в контексте).
MEMOZA подключается к различным источникам и типам контента (например, документам на платформах контент-сервисов) и данным (например, записям в операционных системах управления базами данных) для создания индекса извлеченных данных, которые могут быть запрошены людьми и машинами.

Коннекторы и пре-процессинг используются для сбора и обогащения данных до их индексации; точки доступа и пост-процессинг - для упрощения работы специалистов с данными и генерации знаний.

MEMOZA - это платформа, которая предоставляют возможности для разработки аналитически приложений.

MEMOZA это

актуализация всех информационных активов компании вне зависимости от их возраста и состояния

MEMOZA это

интегрированные приложения по контролю качества данных, информационной поддержке бизнес процессов, автоматизированной загрузке и организации банков данных

MEMOZA это

промышленные инструменты моделирования данных, разделения прав доступа, администрирования представлений данных и визуализации

MEMOZA это

больше ста «коннекторов» к отраслевым информационным системам и форматам файлов, многолетний опыт по созданию «коннекторов» к проприетарным системам и форматам

Модули MEMOZA

RS, Data, Content Service, View, QC Server, Tools: Filesystem, DBMS, Spatial, RFGI, Collect, GEO

RS - сервер управления данными
MEMOZA RS включает в себя ядро Elasticsearch и вэб приложение для управления следующим функционалом:
- Управление настройками авторизации пользователей на основе: MS Active Directory, SSO, Data Base, KEYCLOACK (hard tokens), внутренние группы;
- Настройки ролевой модели на основе: MS Active Directory, Data Base, WRS, KEYCLOACK (hard tokens), внутренние группы;
- Настройки ролевой модели определяют доступ к минимальной единице информации - записи в классе данных и разграничивают возможности действий с данными: просмотр, редактирование, удаление, предварительный просмотр файлов, скачивание файлов;
- Настройки подключения источников данных: загрузка готовых схем данных, интерактивное создание схем: редактирование, наследование и удаление схем данных;
- Интерактивная настройка коннекторов (программных модулей) производящих подключение к источникам данных и их индексацию: загрузка коннекторов, настройка параметров работы, ручной запуск, параметры и запуск по расписанию, мониторинг работы;
- Мониторинг состояния и управление индексами индивидуально для всех источников данных (реплики, шарды, реиндексирование…);
- Подключение плагинов (программных модулей) обеспечивающих постпроцессинг записей перед их сохранением в индексе;
- Настройка дополнительных возможностей, например подключения к SMTP серверу предприятия для осуществления рассылок на электронную почту;
- Интерактивная консоль REST Server для выполнения запросов (GET, PUT, POST, DELETE) к данным в системе;
- Панель предоставления статистики использования системы по ее функциям в разрезе времени/данных/пользователей: аутентификация, клики, отгрузки, предпросмотры, запросы, поиски;
- Поддержка API для создания приложений, использующих доступные в системе данные. (Для доступа к инструментам программирования SDK для конечного пользователя - необходимо приобретение модуля W-API).
DATA - приложение для интерактивного доступа к данным: поиска, просмотра, редактирования и удаления данных на основе настроенной ролевой модели
- Поиск по всем данным доступным в системе (метаданные, контент файлов) в любых комбинациях и сочетаниях в том числе с использованием подстановочных символов
- Просмотр результатов поиска в структурированном (табличном) виде. Результаты поиска также могут включать гиперссылки на внешние индексированные системы
- Фильтрация результатов по различным критериям (дата, числовые значения, текстовые параметры)
- Многоуровневая сортировка результатов поиска
- Экспорт результатов поиска в стандартные форматы (Excel, CSV, XML)
- Сохранение поисковых запросов для дальнейшего использования
- Географический поиск - поиск по пространственным критериям с использованием координат объектов в системе
- Настройка и сохранение индивидуального представления данных в системе
- Создание подписок на электронную почту для оповещения об изменениях в системе
- Ручной ввод и редактирование данных (в том числе одновременное редактирование нескольких записей) в предварительно настроенных классах с использованием словарей и справочников. Любой класс данных может быть использован в качестве справочника (выпадающие списки, подсказки, мультивыбор, автозаполнение значений формы на базе уже введенных значений...).
- Вызов функции предварительного просмотра файлов без их отгрузки на рабочую станцию пользователя
- Скачивание файлов (в том числе нескольких) на рабочую станцию пользователя
- Создание и сохранение коллекции данных (shopping cart) для дальнейшего использования
- Аналитические панели (дашборды) - предварительно настроенные и пользовательские: линейные и столбчатые диаграммы, пуй чарты, карты плотностей и кластерные карты, агрегированные таблицы данных, семафоры, метрики…)
- Полностью интегрированная с поисковой системой карта, включающая следующие функции: добавление слоев из системы, добавление слоев из внешних файлов и сервисов (geojson, geotiff, shapefile, wfs, wkt, wms), изменение проекции отображения, экспорт в различные форматы, инструменты рисования и изменения, географический (пространственный) поиск по выбранным или нарисованным объектам, закладки, сохраненные карты, пользовательские настройки стилей, базовый слой без обращения к внешним сервисам.
- Интерфейс выполнения массовой загрузки метаданных и файлов в систему по предварительно настроенным шаблонам и правилам сохранения файлов на файловой системе.
- "Определение правил массовой загрузки файлов для использования операторами загрузки: шаблоны массовой загрузки, правила определения прав доступа, правила создания дерева каталогов на основе загружаемых данных, распределения файлов по созданному дереву каталогов
- Управление настройками поведения пользовательского интерфейса
- Определение наименования и правил заполнения для свойств классов данных в системе.
- Определение порядка отображения свойств классов данных в системе.
- Настройка календарей на основе имеющихся в системе данных
- Настройка дополнительных функций, таких как отправка по электронной почте
- Создание дашбордов (информационных панелей) для использования всеми пользователями системы (административные настройки)
Content Service – сервис извлечения содержимого из проиндексированных MEMOZA файлов документов
Сервис обрабатывает файлы и документы Microsoft Office, файлы DBF, HTML, PDF, текстовые файлы, LAS-файлы, файлы электронных писем следующих форматов:
- dat,doc,docx,docm,dotx,dotm,
- xls,xlsx,xlsm,xltx,xltm,xlsb,xlam,
- ppt,pptx,pptm,potx,potm,ppam,ppsx,ppsm,sldx,sldm,thmx,
- shp,
- html,htm,
- pdf,
- txt,asc,
- zip,rar,
- tif,tiff,png,gif,giff,jpg,jpeg,bmp,
- db,odt,ods,odp,odf,mxd
- eml
- LAS,LIS,DLIS
- SEGY
Сервис осуществляет так же оптическое распознавание символов в файлах графических форматов (сканированный pdf, gif, tiff, jpeg и т.п)
VIEW - модуль для предварительного просмотра файлов без их отгрузки
MEMOZA View поддерживает следующие форматы файлов:
- Каротаж: LAS, DLIS, LIS
- Изображения: TIFF, JPG, GIF, PNG, BMP, CGM
- Текстовые файлы: TXT, ASC, ASCII, Dir
- Документы: PDF, DOC, DOCX, HTML, XLS, XLSX, PPT, PPTX
- Сейсмика: SEGY
- Shape-файлы: SHP
QC Server - модуль проверки качества и полноты данных
Модуль предоставляет следующий набор правил проверок:
- Проверка записи математическими функциями;
- Проверка по словарям;
- Проверки значений записей из разных классов;
- Заполнения свойств или их очистка по определенным правилам при выполнении логических условий;
- Расчет контрольных сумм по перечню свойств записи;
- Расчет контрольных сумм для файлов в записи;
- Поиск дубликатов по рассчитанным контрольным суммам.
Модуль позволяет создавать неограниченное количество проверок указанных выше типов в вэб интерфейсе MEMOZA DATA без программирования, верифицировать проверки на правильность синтаксиса и выполнение поставленных условий и журналировать проверки для их регулярного выполнения.
Результатом выполнения большинства проверок является заполнения поля QC проверенных записей определенными в самой проверке флагами качества.
Статистика выполнения проверок и их результаты сохраняются в системе.
Модуль контроля качества как и другие модули MEMOZA пользуются временными метками timestamp для осуществления инкрементальных проверок, т.е. проверок только записей изменившихся с момента последней проверки.
Tool Filesystem - модуль для регулярного индексирования файловых систем
- Регулярное, в соответствии с настроенным расписанием сканирование файловых ресурсов из предварительного настроенного списка;
- Определение обновлений, произошедших на файловых ресурсах включающее
  Обновления файлов;
  Удаление записей об удаленных файлах (с определением порогового значения количества удаляемых записей);
  Обновление прав доступа (ACL) к файлам;
- Разбор найденных файлов по типам (документы, таблицы, презентации, рисунки, каротаж, сейсмика, шейп-файлы и т.д.);
- Обработка архивов (zip, rar, 7z, gz) и построение списка файлов, содержащихся в них согласно типам;
- Извлечение имеющихся в файлах офисных форматов метаданных и их сохранение;
- Извлечение метаданных из заголовков сейсмических файлов;
- Извлечение метаданных из каротажных файлов;
- Получение прав доступа (ACL) к файлам и папкам, определенных через домен LDAP;
- · Поиск и маркировка дубликатов файлов по их контрольным суммам;
- · Определение файлов и папок, которые необходимо исключать из обработки;
Заполнение атрибутов (свойств) записи на основе информации в ней с использованием регулярных выражений.
Tool DBMS - модуль регулярного индексирования реляционных баз данных с использованием настроенного перечня запросов
- неограниченное количество запросов;
- мэппинг запросов и получаемых атрибутов на на класс и его свойства;
- пересчет координат в запросе;
- инкрементальное обновление данных в индексе;
- удаление записей из индекса при их удалении в БД;
- использование timestamp для индексации всех данных во временном интервале.
Tool Spatial - набор инструментов для загрузки и индексирования пространственной информации
В набор входят следующие инструменты:
- Инструмент индексирования содержимого слоев в ArcSDE;
- Инструмент ручного ввода координатных данных;
- Инструмент импорта/экспорта пространственных данных
Они дают возможность:
- производить индексирование слоев ArcSDE и ArcGIS (через ArcGIS REST API),
- сопоставлять информацию в ArcSDE и в системе,
- заполнять свойства(атрибуты) классов в индексе информацией из ArcSDE по результатам сопоставления,
- вводить координаты в виде WKT,
- трансформировать координаты в системе,
- использовать координатные мульти-объекты (WKT geometry_collection),
- загружать .shp файлы с индексированием атрибутов,
- экспортировать данные в .shp файлы и таблицы PostGIS,
- хранить и обновлять реестр описаний координатных систем EPSG.
Tool RFGI - модуль подключения к данным Российского Федерального Геологического Фонда доступным в открытом виде
Модуль предоставляет пользователям MEMOZA индекс открытых реестров данных Российского Федерального Геологического Фонда.

В реестр входят:
- Заголовки месторождений и лицензионных участков (на карте),
- Кадастр месторождений,
- Реестры участков недр и лицензий, геологических документов и работ по ГИН,
- Данные изученности (на карте),
- Территориальное деление РФ: субъекты Федерации и адм. районы (на карте),
- Номенклатурные листы 1, 2, 5 и 10 км. (на карте).
Обновление индекса и доставка его Заказчикам производится раз в неделю.
Tool Collect - модуль асинхронной отгрузки файлов
Модуль позволяет:
- Создавать наборы файлов, которые необходимо отгрузить,
- Запрашивать одобрение у администратора и одобрять отгрузку со стороны администратора,
- Автоматически формировать архив файлов к отгрузке,
- Направлять пользователю уведомление по электронной почте со ссылкой на скачиваемый архив.
GEO - модуль пространственной привязки данных
MEMOZA GEO - производит пространственную привязку записей в схемах и классах в соответствии со словарями содержащих в себе имя или идентификатор объекта и его координаты (геометрию). Обрабатываемые модулем записи получают координаты объектов из справочника словарей, на основании их упоминания в атрибутах(свойствах) записи или текстовом содержимом файла (геореференсинг).
Привязка осуществляется к точечным, линейным или полигональным объектам.
Модуль также проводит оценку пространственного пересечения площадных объектов из соответствующих справочников и геопривязанных записей и в случае наличия такого пересечения тэггирует записи именами или идентификаторами справочных объектов (геотэггинг).

Суперспособности

Обработка неструктурированных файлов
Картографический браузер (MEMOZA map) не только дает возможность отобразить и проанализировать отраслевые пространственные данные: геологическое и нефтегазоносное районирование, координаты лицензионных участков, месторождений, координаты устьев и стволов скважин, сейсмических профилей, но и позволит увидеть на той же карте все результаты геореференсинга и геотэггинга содержимого баз данных и файловых архивов.
Картография: поисковый сервер = суперспособности
Картографический браузер (MEMOZA map) не только дает возможность отобразить и проанализировать отраслевые пространственные данные: геологическое и нефтегазоносное районирование, координаты лицензионных участков, месторождений, координаты устьев и стволов скважин, сейсмических профилей, но и позволит увидеть на той же карте все результаты геореференсинга и геотэггинга содержимого баз данных и файловых архивов.
Может быть самый крутой табличный браузер данных
Если вы инженер, то понимаете как сложно переоценить значение хорошей табличной визуализации. Без Excel как правило не обойтись. Но у Excel есть ряд существенных недостатков: таблицы с миллионами и десятками миллионов строк в нем будут работать медленно, вы не можете делать выборки по ключевым словам, и не сможете сохранить несколько выборок не сохраняя копии огромного файла. В общем: Большие данные + Эксель = Нет!
Готовые коннекторы
«ко всему»
Проекты внедрения любых in-house "платформ" в продуктивный ландшафт компании обычно занимают годы. Годы проходят от решения до начала использования платформы и получения от нее обещанных бизнес выгод. C MEMOZA мы имеем возможность существенно сократить этот срок за счет готовых коннекторов к промышленным коммерческим системам и форматам используемым в отрасли.