Как проверять ответы ИИ по источникам

Источник полезен только тогда, когда в нём действительно есть основание для вывода. Проверяйте не наличие ссылки, а соответствие фрагмента вопросу и итоговой формулировке.

Для рабочего ответа недостаточно оценки «похоже на правду». Нужна воспроизводимая проверка.

• Документ относится к нужному процессу и подразделению.
• Использована действующая версия.
• Цитируемый фрагмент подтверждает ключевой вывод.
• Пользователь имел право видеть источник.
• При недостатке данных ответ обозначает неопределённость и предлагает следующий шаг.

Высокорисковые решения, исключения из правил и конфликтующие документы должны уходить ответственному специалисту. ИИ помогает найти основание и подготовить объяснение, но маршрут эскалации остаётся частью процесса.

Фиксируйте долю ответов с корректным источником, число необоснованно уверенных ответов, время проверки и темы, по которым документы противоречат друг другу. Это показывает не только качество ИИ, но и состояние самой базы знаний.

Проверка «по источникам» — не одно действие, а лестница. Чем выше уровень, тем дороже проверка и тем выше доверие к системе. Для пилота достаточно первых двух; для решений, где ошибка стоит денег или отношений с клиентом, — всех четырёх.

Сотрудник не будет проверять ответ, если проверка требует открыть документ и искать глазами. Поэтому интерфейс консультанта обязан показывать рядом с ответом: название документа и его дату, раздел или страницу, дословную цитату, на которой основан ответ, и признак уверенности — или честное «источник не найден». Если чего-то из этого нет, проверка превращается в веру.

Отдельно — кнопка «ответ неверный» с одним полем «почему». Это самый дешёвый способ собирать ошибки: их присылают те, кто и так читает ответы каждый день.

Уверенный ответ без источника опаснее отказа. Правила отказа задаются заранее и проверяются на пилоте отдельно от точности.

• В базе нет документа по теме — ответ «в базе знаний нет документа об этом; обратитесь к …» с указанием, к кому.
• Два документа противоречат друг другу, и приоритет не задан — показать оба фрагмента и не выбирать за человека.
• Вопрос про будущее или про мнение («стоит ли…») — не отвечать как по регламенту.
• Вопрос за пределами прав сотрудника — не показывать фрагмент, а сообщить, что доступ ограничен.
• Документ старше даты пересмотра — отвечать с пометкой «документ не пересматривался с …».

Красивый диалог не доказательство. Измерение простое и повторяемое: набор контрольных вопросов с эталонами, прогон раз в две недели, три цифры.

• Доля ответов с верным источником — уровень 2 из таблицы выше. Целевой ориентир на пилоте — не ниже девяти из десяти.
• Доля ответов, где утверждение следует из цитаты, — уровень 3. Проверяется человеком на выборке.
• Доля корректных отказов — на вопросы, ответа на которые в базе нет, система должна отказаться, а не сочинить.
• Отдельно — список вопросов, где эталон и ответ разошлись. Это план работы на две недели: обычно проблема в документе, а не в системе.

Ошибки чаще совершают не системы, а те, кто их оценивает.

• Проверять на вопросах, которые придумал внедренец, а не собрал у сотрудников: система отвечает хорошо, а в работе — нет.
• Считать ссылку доказательством: источник верный, вывод из него неверный.
• Оценивать один раз перед запуском: база меняется, качество уплывает.
• Не проверять отказы: система, которая никогда не отказывается, выдумывает.
• Не смотреть, кто задал вопрос: ответ верный для опта и неверный для розницы — это ошибка прав, а не знаний.