ИИ-ассистент по базе документов: где он врёт
Как устроен поиск с дополнением ответа и зачем готовить документы до запуска
Обычно начинают так: вставляют кусок регламента в чат и получают красивый ответ. Позже выясняется, что модель так же уверенно отвечает, когда ответа в документах нет.
Как это чинится
Схема называется поиск с дополнением ответа. Сначала система находит подходящие куски именно ваших документов, потом модель формулирует ответ строго по ним. Знания «вообще» отключаются: если поиск ничего не нашёл, ассистент пишет, что не знает, и передаёт вопрос человеку.
Под каждым ответом стоит ссылка на документ и раздел, чтобы ответ можно было проверить за десять секунд.
Подготовка документов
Файлы режутся на смысловые куски, таблицы и сканы распознаются, устаревшие редакции убираются. Если сделать этот этап плохо, ассистент будет уверенно отвечать по отменённому регламенту, и модель подороже тут не поможет.
На этом этапе почти всегда находятся документы, которые противоречат друг другу: целиком их давно никто не перечитывал.
Где ассистент не работает
Он плохо считает, и модель покрупнее считает так же плохо. Если задача требует точности до копейки или до пункта закона с юридической ответственностью, нужен обычный код и справочник.
Дмитрий Гуров
Сайты, боты и интеграции с 1С