Ссылка ещё не доказывает ответ
Источник полезен только тогда, когда в нём действительно есть основание для вывода. Проверяйте не наличие ссылки, а соответствие фрагмента вопросу и итоговой формулировке.
Пять обязательных проверок
Для рабочего ответа недостаточно оценки «похоже на правду». Нужна воспроизводимая проверка.
- Документ относится к нужному процессу и подразделению.
- Использована действующая версия.
- Цитируемый фрагмент подтверждает ключевой вывод.
- Пользователь имел право видеть источник.
- При недостатке данных ответ обозначает неопределённость и предлагает следующий шаг.
Где нужен человек
Высокорисковые решения, исключения из правил и конфликтующие документы должны уходить ответственному специалисту. ИИ помогает найти основание и подготовить объяснение, но маршрут эскалации остаётся частью процесса.
Что измерять на пилоте
Фиксируйте долю ответов с корректным источником, число необоснованно уверенных ответов, время проверки и темы, по которым документы противоречат друг другу. Это показывает не только качество ИИ, но и состояние самой базы знаний.
Хотите проверить этот подход на материалах вашей компании?
Посмотреть реализованную платформу