В папке лежат две инструкции. В одной выезд включён в обслуживание, в другой оплачивается отдельно. Сотрудник задаёт вопрос помощнику и получает уверенный ответ без объяснения, какую версию тот использовал.
ИИ для базы знаний полезен, когда помогает найти применимое правило и проверить его по источнику. Для этого системе нужны отобранные материалы, сведения об их действии и понятный порядок ответа при противоречии. Загрузка всей папки в чат сама по себе такой порядок не создаёт.
Разберём, как это проверить до большой разработки. Все документы и условия в примере ниже вымышлены.
Что именно ищет помощник
Допустим, сервисная компания обслуживает оборудование. У неё есть общие условия, внутренние инструкции и отдельные договорённости по заказам. Менеджер спрашивает: «Входит ли выезд в обслуживание?»
Вопросу не хватает контекста. Для какого варианта обслуживания? На какую дату? Есть ли у конкретного заказа отдельные условия? Общий ответ по всей папке может оказаться неприменимым к разговору с клиентом.
Начните с одного класса вопросов, например с действующих общих условий услуги. Индивидуальные договоры пока оставьте за пределами этой пробы. Так будет понятно, на какой набор материалов помощнику разрешено опираться и что нужно уточнять у сотрудника.
Если порядок хранения инструкций ещё не определён, сначала пригодится база знаний для сотрудников. Здесь следующий вопрос: как помощник выбирает и объясняет ответ по уже подготовленным материалам.
Как работает поиск по документам
Один из распространённых подходов называется RAG. Система ищет подходящие фрагменты в подготовленных источниках, затем передаёт их модели для составления ответа. В объяснении Yandex Cloud отдельно разбираются подготовка данных и поиск нужной информации.
Для владельца компании важен наблюдаемый результат этой цепочки. По какому документу составлен ответ? Почему он подходит к вопросу? Можно ли открыть нужный фрагмент? Что произойдёт, если источники расходятся?
Ссылка на файл помогает проверить ответ, но ещё не доказывает его правильность. Модель может сослаться на реальный документ и неверно понять исключение. Поэтому в пробе проверяют и выбор источника, и смысл ответа.
Соберите небольшой действующий набор
Для первого сценария выберите материалы, которые ответственный за услугу готов подтвердить. У каждого документа должны быть понятны название, область применения и состояние: действует, заменён или требует уточнения.
Дата последнего редактирования не всегда означает дату начала действия. В старый файл могли исправить опечатку, а новые условия могут относиться только к будущим заказам. Применимость задаёт правило компании, которое нужно явно сохранить.
Для нашего учебного набора подготовим две записи:
- Общие условия, версия 2. Заменены версией 3. Сохранены для истории, не используются как действующие общие условия.
- Общие условия, версия 3. Действуют для новых заказов с 1 октября учебного года. В разделе «Выезд» указано: плановый выезд включён в обслуживание по варианту А.
Для конкретного старого заказа этого набора недостаточно. Помощник должен сообщить об ограничении и предложить проверить условия заказа у ответственного. Самостоятельно распространить новую версию на все прошлые договорённости он не может.
Попросите ответ, который удобно проверить
Вместо задания «Отвечай на вопросы по базе» опишите результат. Для первой ручной пробы можно использовать такой образец:
Ответь только по разрешённым действующим общим условиям. Укажи, к какому варианту услуги и периоду относится ответ. Приведи название и версию документа, раздел и короткий подтверждающий фрагмент. Если не хватает контекста, задай уточняющий вопрос. Если подходящего правила нет или источники противоречат друг другу, сообщи об этом. Не дополняй условия догадками.
На вопрос «Входит ли плановый выезд в новый заказ по варианту А?» ожидаемый ответ по нашему учебному набору выглядит так:
Да, по указанным общим условиям плановый выезд включён. Источник: «Общие условия, версия 3», раздел «Выезд»: «Плановый выезд включён в обслуживание по варианту А». Эти условия действуют для новых заказов с 1 октября. Отдельные договорённости заказа в этой пробе не проверяются.
Это образец оформления, а не обещание, что одна инструкция модели обеспечит правильные ответы. В готовом интерфейсе ссылка должна открывать настоящий документ или нужное место в нём. Её доступность нужно проверить от имени обычного сотрудника.
Проверьте вопросы, на которые нельзя сразу ответить
Возьмите несколько обычных вопросов из работы и добавьте сложные случаи. К каждому заранее запишите ожидаемый ответ и основание.
Вопрос без варианта услуги. «Выезд входит?» Помощник должен уточнить вариант, если от него зависит условие.
Вопрос про прошлый заказ. Действующие общие условия могут не определять его договорённости. Нужна явная остановка и переход к ответственной стороне.
Ответа нет. Например, в выбранном наборе ничего не сказано об экстренном выезде. Полезный результат: назвать отсутствие правила и подсказать, у кого уточнить. Придуманная доплата будет ошибкой.
Два действующих источника расходятся. Помощник показывает расхождение и передаёт вопрос владельцу правила. Выбирать удобный вариант по уверенности формулировки нельзя.
Правило обновили. Замените учебную версию, выполните предусмотренное обновление поиска и повторите старый вопрос. Проверьте, исчезла ли устаревшая версия из ответа. Сохранение файла и обновление поискового набора могут быть разными шагами конкретного инструмента.
Небольшая проба помогает найти явные ошибки. Она не устанавливает надёжность для всех будущих вопросов.
Отдельно проверьте доступ
Сотруднику должны попадать только сведения, которые ему разрешено видеть. Ограничения доступа нужно обеспечить средствами выбранной системы при поиске и открытии источников. Фраза в инструкции «не показывай закрытое» этого не заменяет.
Для первой пробы используйте вымышленные, публичные или разрешённые обезличенные материалы. Перед подключением рабочих документов определите, какие сведения допустимо передавать выбранному сервису и кто отвечает за их состав.
Если часть документов доступна только руководителю, сначала проверьте сценарий обычного сотрудника. Успешный ответ из учётной записи владельца может скрыть проблему с правами или ссылками.
Когда имеет смысл подключать разработку
После ручной пробы посмотрите на весь путь сотрудника. Стало ли проще найти применимое правило? Удаётся ли быстро открыть источник? Сколько ответов пришлось исправлять? Что происходит после обновления инструкции?
Если материалов мало и ответ легко найти в оглавлении, обычный раздел инструкций может быть удобнее. Отдельный помощник имеет смысл обсуждать, когда повторяются вопросы, источник приходится долго искать и качество поиска можно проверить.
Для разработки ИИ-помощника подготовьте один набор разрешённых материалов и примеры вопросов с ожидаемыми ответами. Это даст предмет первого этапа: поиск по конкретной базе, ссылки на источники и передача неразрешённого вопроса человеку.
