Руководство по использованию сервиса Memoza LLM

Краткий гид по использованию сервисов Memoza LLM

Новые возможности обработки и анализа текстов в Memoza!

Теперь в Memoza можно использовать искусственный интеллект для работы с одним документом или выборкой документов. Сервисы Memoza Chat и Memoza LLM позволят "разговаривать" с документами и извлекать из документов информацию в удобном виде.

Memoza Chat и Memoza LLM в целом решают одну и ту же задачу извлечения информации из текстов и её анализа, но подход и пользовательский интерфейс у этих сервисов разный.

Memoza Chat - это классический чат с документами, где пользователь в режиме диалога задаёт вопросы (промпты) и получает ответы согласно информации, хранящейся в Memoza.

Memoza LLM - это сервис в стандартном табличном интерфейсе Memoza. Здесь можно создать и сохранить набор PROMPTов, а затем использовать их с запросами.

Для работы с сервисами вам нужно создать инструкцию для LLM - большой языковой модели, "мозга" ИИ - которая называется PROMPT. Этот PROMPT может содержать описание информации, которую вы хотите получить, описание процесса обработки и анализа этой информации, формат представления информации.

Memoza Chat

Работать с Memoza Chat очень просто - нужно просто задать вопрос в поле ввода и получить ответ от ИИ. Этот вопрос и будет вашим PROMPTом. Разумеется, в PROMPTе можно задать не только вопрос, но и, например, указать формат представления данных. После получения вашего запроса система найдёт документы, из которых она сможет получить запрошенную информацию и сформулирует ответ. Если вы хотите работать с каким-то конкретным документом, вы можете явно задать путь к нему, и тогда система будет извлекать информацию только из него.

Опция работы с конкретным документом может быть очень полезна, если вы хотите извлечь из текста документа определённые атрибуты. Пример запроса (PROMPTа) и ответа ИИ для этого случае показан на рисунке.

Memoza Chat example

Чат может работать не только с документами, но и с табличными данными и даже строить графики по ним.

Charts example

Для удобства работы с промптами мы добавили удобный инструмент для создания промптов и их редактирования.

Prompt Library

Мечта администратора данных - модуль для массовой обработки документов. Здесь вы можете сообщать сервису, какие атрибуты нужно выделить из документов, например, адреса электронной почты, упомянутых в документе, обработать группу документов и записать извлечённые данные непосредственно в базу данных Мемозы (или просто в CSV-файл).

Mass Processing

Memoza LLM

В Memoza LLM можно создавать и сохранять PROMPTы, чтобы использовать их в дальнейшем с запросами. Запросы могут работать с одним документом или выборкой документов (поиск по ключевым словам или геопривязке). Для этого нужно сначала создать инструкцию для LLM, и сформировать запрос, который найдёт нужные документы. Этот запрос с промптом отправляются в LLM, которая вернет результат в указанном вами формате.

Если пока не все понятно и нет определённости с PROMPTом - идем по короткому пути. Выбираем PROMPT из существующих и создаем свой запрос. Например, формируем справку о геологической неопределённости, выдаём рекомендации по бурению, сравниваем геологию объекта с региональной геологией Западной Сибири.

В разделе "Советы" вы найдёте больше примеров PROMPTов. Если появились свои идеи для PROMPTа - создаем свой промпт и запрос к нему.

Ниже перечислены шаги, которые нужно выполнить, чтобы использовать Memoza LLM в работе с геологическими документами.

1. Загрузите свои файлы

Если хотите обкатать сервис на своем документе - его необходимо сначала загрузить. После загрузки вашего файла система должна обработать его специальным образом, что займёт около часа, после чего этот файл можно использовать для ваших запросов к LLM.

  1. В левом боковом меню выберите "My Files" -> "DOCUMENTS FOR LLM".
  2. Нажмите кнопку "Capture" для загрузки файла.
  3. Заполните форму следующими данными:
    • SELECT DATASOURCE: Documents for LLM .
    • DESCRIPTION: Добавьте краткое описание вашего документа (опционально).
  4. Нажмите кнопку "ADD FILES" для выбора файлов.
  5. Нажмите кнопку "SAVE" для сохранения ваших файлов.

2. Добавьте новый промпт

Создайте свой PROMPT. Если пока не готовы, изучите существующие PROMPTы, что-то точно подойдёт!

  1. В левом боковом меню выберите "Requests to LLM" -> "PROMPT COLLECTION".
  2. Чтобы создать новый промпт с чистого листа, нажмите кнопку "Capture". Если вы хотите создать промпт на основе существующего, выберите подходящий промпт, в контекстном меню нажмите "EDIT".
  3. Заполните форму следующими данными:
    • PROMPT ID: Генерируется автоматически (например, QST0000017). Подоготовьте листочек и заточенный карандашик, чтобы записать этот ID - он понадобится в дальнейшем.
    • QUERY CLASSES: Выберите из выпадающего списка (например, docs_loaded:llm_docs для ваших файлов).
    • REQUEST TYPE: Выберите тип запроса. Сервис поддерживает два типа запросов: "Текстовый запрос" и "Обработка файла". Используя их, вы можете:
      • Искать информацию по ключевым словам в базе документов и обрабатывать полученные документы с помощью LLM.
      • Задать путь к конкретном файлу и обработать с помощью LLM только его.
    • KEYWORDS: Введите ключевые слова для поиска документов для обработки (для REQUEST TYPE - Текстовый запрос) или "не используется", если не применимо (для REQUEST TYPE - Обработка файла).
    • LLM PROMPT: Введите ваш промпт для LLM. Это ключевая инструкция для ИИ.
    • LLM NAME: Выберите модель LLM (например, mistralaI/mixtral-8x7b-instruct-v0.1).
    • DESCRIPTION: Добавьте краткое описание вашего промпта (опционально).
  4. Нажмите кнопку "SAVE" для сохранения нового промпта или "SAVE AS", если вы редактируете существующий промпт.

3. Создайте запрос на основе вашего промпта

Теперь нужно создать запрос, это намного проще, чем новый PROMPT!

  1. В левом боковом меню выберите "Requests to LLM" -> "REQUESTS TO EXECUTE" под разделом .
  2. Нажмите кнопку "Capture" для создания нового запроса.
  3. В новой форме:
    • PROMPT ID: Выберите ID только что созданного промпта (помните листочек и заточенный карандашик?)
    • PROCESS FILE AT RESOURCE PATH: Укажите путь к документу, который необходимо обработать (только для REQUEST TYPE - Обработка файла).
    • SPATIAL OBJECT TYPE: Выберите тип пространственного объекта, например, месторождение (опционально).
    • SPATIAL OBJECT TYPE: Выберите пространственный объект (опционально).
    • DESCRIPTION: Добавьте краткое описание вашего запроса (опционально).
    • Остальные поля будут автоматически заполнены на основе вашего промпта.
  4. Проверьте и при необходимости скорректируйте значения полей KEYWORDS, LLM NAME.
  5. Нажмите кнопку "SAVE" для сохранения запроса.

4. Выполните запрос

  1. В списке "REQUESTS TO EXECUTE" найдите нужный запрос.
  2. Нажмите правой кнопкой мыши на строку запроса.
  3. В контекстном меню выберите "SEND TO".
  4. В появившемся окне "SEND TO" выберите "Ask AI" из выпадающего списка "SERVICE NAME".
  5. Нажмите кнопку "Send" для выполнения запроса.

5. Просмотрите результаты

Cистема обработает ваш запрос и покажет результат, он будет доступен в формате, указанном в вашем промпте (например, HTML).

Вернитесь к своему запросу и выберите "DOWNLOAD" в контекстном меню, чтобы скачать файл с результатом.

Полезные советы

Выбор модели LLM

Доступные модели LLM и размеры контекстных окон:

  • mistralai/mixtral-8x7b-instruct-v0.1 - 32000 токенов
  • meta/meta-llama-3.1-405b-instruct - 128000 токенов

Выбирайте модель в зависимости от объема обрабатываемого текста и требуемой глубины анализа.

Типы запросов

Значения REQUEST TYPE:

  • Текстовый запрос - для текстового запроса и дальнейшей обработки полученных документов
  • Обработка файла - для обработки явно заданного файла с документом

Повторное использование промптов

Вы можете повторно использовать промпты для нескольких запросов, выбирая соответствующий PROMPT ID при создании нового запроса. Если же вы отредактировали промпт, для которого созданы запросы, то, чтобы применить новую редакцию промпта к запросам, нужно выбрать запрос, нажать "EDIT", затем "SAVE".

Примеры промптов

В системе есть примеры промптов, которые вы можете использовать в качестве отправной точки:

  • Справка о геологической неопределённости
  • Рекомендации по бурению
  • Краткая справка по документу
  • Сравнение с региональной геологией Западной Сибири
  • Рекомендация геологических исследований
  • Назначение бизнес-процесса документу
  • Справка об осложнениях при бурении
  • Выделение именованных сущностей
  • Справка о геолого-геофизических исследованиях

Формат результата

В промпте нужно задать формат файла, в котором вы ожидаете получить результат. Например, для HTML можно указать что-то вроде такого:

Результат представь на русском языке в формате HTML. Put HTML code between triple backticks (```).

Быстрый доступ к действиям

Используйте контекстное меню для быстрого доступа к действиям с запросами, таким как отправка в AI.