ГлавнаяГлоссарийГаллюцинация

Галлюцинация

уверенно сформулированная выдумка модели

Ответ, который выглядит уверенно и правдоподобно, но не соответствует действительности.

Модель предсказывает следующий токен и никаких фактов при этом не проверяет. Если в обучающих данных не было нужной информации, она всё равно достроит правдоподобный текст: назовёт цифру, сошлётся на несуществующее исследование, придумает ссылку с рабочим на вид адресом.

Опаснее всего галлюцинации в цифрах и цитатах — именно там их сложнее заметить. Снижают риск двумя способами: подкладывают модели проверенные источники прямо в запрос и требуют указывать, откуда взят каждый факт.

Почему возникает
Достраивание текста

Модель заполняет пробел правдоподобным продолжением.

Чем лечится
Свои источники

Выдержки из проверенной базы подкладываются в сам запрос.

Ответ без указания источника стоит проверять, особенно если в нём есть числа и даты.
Пример

На вопрос о статистике рынка модель может назвать точный процент и сослаться на отчёт, которого не существует. Проверка первоисточника занимает минуту и снимает вопрос.