ПаветтаМодель предсказывает следующий токен и никаких фактов при этом не проверяет. Если в обучающих данных не было нужной информации, она всё равно достроит правдоподобный текст: назовёт цифру, сошлётся на несуществующее исследование, придумает ссылку с рабочим на вид адресом.
Опаснее всего галлюцинации в цифрах и цитатах — именно там их сложнее заметить. Снижают риск двумя способами: подкладывают модели проверенные источники прямо в запрос и требуют указывать, откуда взят каждый факт.
Модель заполняет пробел правдоподобным продолжением.
Выдержки из проверенной базы подкладываются в сам запрос.
На вопрос о статистике рынка модель может назвать точный процент и сослаться на отчёт, которого не существует. Проверка первоисточника занимает минуту и снимает вопрос.
Вероятность выдумки растёт там, где данных мало: узкие нормативы, свежие события, локальная статистика, точные цитаты и ссылки. Снижают риск тремя приёмами: дают модели исходный текст и просят отвечать только по нему, требуют указывать цитату из источника рядом с утверждением и разрешают ответ «данных нет» вместо обязательного ответа.
Проверка остаётся на человеке. Любое число, дату, норму и ссылку сверяют с первоисточником, особенно в юридических и медицинских темах. Полезный приём — задать тот же вопрос дважды с разной формулировкой: расхождение в ответах указывает на то, что модель достраивает факты. Подробнее о природе таких ответов — в статье о больших языковых моделях.
Частые вопросы
Почему модель выдумывает факты?
Она подбирает продолжение текста по вероятности и не обращается к источнику. Когда нужных данных в обучении не было, правдоподобное продолжение всё равно находится: возникает несуществующее исследование или выдуманная цифра, поданные тем же уверенным тоном.
Как уменьшить число выдумок?
Передавать модели исходные документы и просить отвечать строго по ним, требовать цитату рядом с каждым утверждением, разрешать ответ об отсутствии данных. Помогает и разбиение сложного вопроса на несколько простых.
Можно ли доверять ссылкам из ответа?
Ссылки проверяют всегда: модель способна собрать правдоподобный адрес несуществующей страницы. Открывайте источник и убеждайтесь, что в нём действительно есть приведённое утверждение.
Как быстро проверить подозрительный ответ?
Задать тот же вопрос другой формулировкой и сравнить ответы: расхождение указывает на догадку. Затем сверить ключевые числа и даты с первоисточником. В темах с ценой ошибки такая сверка обязательна независимо от уверенности ответа.
Долю выдумок измеряют на своём наборе вопросов с заранее известными ответами: полсотни типовых запросов прогоняют и считают, сколько раз ответ разошёлся с фактом. Такой замер повторяют при смене модели или инструкции. Без него качество оценивается по впечатлению, и незаметная деградация после обновления доходит до читателя раньше, чем до разработчика.