Галлюцинация

Короткое определение. Галлюцинация — ситуация, когда LLM уверенно выдаёт выдуманную информацию: несуществующие факты, цифры, ссылки, цитаты. Внешне такой ответ неотличим от достоверного — в этом и опасность.

Простыми словами. Нейросеть всегда «продолжает текст наиболее правдоподобным образом». Если настоящего ответа она не знает, правдоподобным продолжением оказывается выдумка — складная, уверенная и ложная. Модель не врёт сознательно: она заполняет пробел так, как заполнил бы его типичный текст из интернета.

Зачем это знать. Это главный практический риск работы с ИИ в бизнесе. Спросили про условия договора, которого нет в контексте, — получили «типичные условия», выданные за ваши. Приняли решение по выдуманной цифре — получили убыток.

Пример. «Какая у нас скидка для оптовиков?» Без ваших данных модель может ответить: «Стандартная скидка 15% при заказе от 100 единиц» — звучит убедительно, но это среднее по интернету, а не ваш прайс.

Как защищаться. Три правила. Давать модели источники: когда в контексте есть настоящие данные, выдумывать не из чего. Требовать ссылки: в LLM-wiki каждый факт ведёт к исходнику — выдумку видно по отсутствию ссылки. Проверять важное: решения по деньгам, праву и людям человек сверяет с оригиналами всегда.

Связанные термины: LLM, контекст, source of truth.