Выберите задачу с измеримым результатом
«Нам нужен ИИ» ещё не описание проекта. Полезнее начать с операции: найти условие в регламенте, ответить на повторяющийся вопрос, собрать параметры заявки или подготовить черновик документа.
Зафиксируйте, кто выполняет эту работу сейчас, сколько обращений возникает и где появляется задержка. Если вопросы редкие, а ответы помещаются на одной странице, улучшения справочного раздела может быть достаточно. Если каждое обращение требует переговоров, помощнику стоит поручить подготовку данных, оставив решение человеку.
Для первого этапа выберите один канал и один сценарий. Так проще увидеть пользу и объём обслуживания новой системы.
Подготовьте знания, которым можно доверять
Соберите материалы, на которые помощник вправе опираться: услуги, действующие условия, инструкции и ограничения. У каждого документа должны быть владелец и дата актуальности. Уберите противоречащие версии или явно задайте, какая главнее.
RAG — подход, при котором модель получает найденную информацию из внешней базы знаний перед формированием ответа. Такой механизм описан в документации Yandex Cloud. Он помогает использовать материалы компании, но сам по себе не подтверждает правильность каждого ответа.
Цены, остатки и статус заказа могут требовать обращения к действующей системе. Отдельно определите, какие сведения можно передавать поставщику модели и какие пользователи имеют право их видеть.
Ограничьте самостоятельные действия
Ответ на вопрос и изменение данных — разные полномочия. Помощник, который объясняет условия услуги, не должен автоматически получать возможность отменять заказ, назначать скидку или менять реквизиты.
Опишите моменты передачи человеку: нет подтверждённого ответа, документы противоречат друг другу, клиент просит исключение или требуется финансовое решение. Передавайте вместе с обращением краткое содержание и уже собранные данные.
Для действий с последствиями нужны проверки в приложении. Одной инструкции модели «не делай лишнего» недостаточно для ограничения технического доступа. Начальный пилот можно провести без права записи в рабочие системы.
Проверяйте неудобные вопросы
Подготовьте типичные, неоднозначные и намеренно сложные запросы. Добавьте устаревшие названия, опечатки, вопрос вне базы знаний и просьбу проигнорировать правила. Для каждого случая заранее укажите допустимый результат: ответ из источника, уточнение или передача сотруднику.
Оценивайте факты, полноту, понятность и корректность следующего действия отдельно. Уверенный тон не компенсирует неверную цену. Сохраняйте версию материалов и настройки, с которыми пройдена проверка.
В рекомендациях Yandex Cloud по подготовке данных также предусмотрены проверка качества и версионирование. Критерии вашего помощника нужно выбирать под конкретную задачу.
Считайте стоимость полезной работы
В расходы входят внедрение, использование модели, поиск, хранение данных, обслуживание интеграций и время человека на разбор ошибок. Сравнивайте их с фактически изменившейся работой.
Начните с объёма подходящих обращений и времени, которое можно высвободить. Вычтите проверку ответов, передачу сложных случаев и обновление материалов. Освобождённые часы становятся денежной экономией, когда меняются реальные расходы или появляется измеримый дополнительный результат.
Запускайте пилот на ограниченном потоке. Заранее определите условия продолжения, доработки и остановки. После изменения документов, цен или модели качество следует проверить заново.