Модель предсказывает следующий токен и никаких фактов при этом не проверяет. Если в обучающих данных не было нужной информации, она всё равно достроит правдоподобный текст: назовёт цифру, сошлётся на несуществующее исследование, придумает ссылку с рабочим на вид адресом.
Опаснее всего галлюцинации в цифрах и цитатах — именно там их сложнее заметить. Снижают риск двумя способами: подкладывают модели проверенные источники прямо в запрос и требуют указывать, откуда взят каждый факт.
Модель заполняет пробел правдоподобным продолжением.
Выдержки из проверенной базы подкладываются в сам запрос.
На вопрос о статистике рынка модель может назвать точный процент и сослаться на отчёт, которого не существует. Проверка первоисточника занимает минуту и снимает вопрос.