ИИ-ассистент по базе документов: где он врёт

Первый эксперимент с нейросетью почти у всех одинаковый: вставили кусок регламента в чат, получили красивый ответ, обрадовались. Второй эксперимент показывает, что модель отвечает так же уверенно и когда не знает.

Как это чинится

Схема называется поиск с дополнением ответа. Сначала система находит подходящие куски именно ваших документов, потом модель формулирует ответ строго по ним. Знания «вообще» отключаются: если поиск ничего не нашёл, ассистент пишет, что не знает, и передаёт вопрос человеку.

Под каждым ответом стоит ссылка на документ и раздел. Это единственный способ доверять системе: не верить на слово, а проверить за десять секунд.

Половина работы это документы, а не модель

Файлы режутся на смысловые куски, таблицы и сканы распознаются, устаревшие редакции убираются. Если сделать этот этап плохо, ассистент будет уверенно отвечать по отменённому регламенту, и никакая модель это не исправит.

Самая частая находка на этом этапе: половина документов противоречит другой половине, и никто об этом не знал, потому что целиком их никто не читал.

Где ассистент не работает

Он плохо считает. Если задача требует точности до копейки или до пункта закона с юридической ответственностью, нужен обычный код и справочник, а не языковая модель. Модель хорошо работает с текстом и плохо с арифметикой, и это не лечится размером модели.