Галлюцинация

Короткое определение. Галлюцинация — ситуация, когда LLM уверенно выдаёт выдуманную информацию: несуществующие факты, цифры, ссылки, цитаты. Внешне такой ответ неотличим от достоверного — в этом и опасность.

Простыми словами. Нейросеть всегда «продолжает текст наиболее правдоподобным образом». Если настоящего ответа она не знает, правдоподобным продолжением оказывается выдумка — складная, уверенная и ложная. Модель не врёт сознательно: она заполняет пробел так, как заполнил бы его типичный текст из интернета.

Зачем это знать. Это главный практический риск работы с ИИ в бизнесе. Спросили про условия договора, которого нет в контексте, — получили «типичные условия», выданные за ваши. Приняли решение по выдуманной цифре — получили убыток.

Пример. «Какая у нас скидка для оптовиков?» Без ваших данных модель может ответить: «Стандартная скидка 15% при заказе от 100 единиц» — звучит убедительно, но это среднее по интернету, а не ваш прайс.

Как снижать риск. Давайте модели нужные источники, просите отделять найденные факты от предположений и указывать, откуда взялся вывод. Наличие ссылки тоже не гарантирует точность: важные решения по деньгам, праву, здоровью и людям человек сверяет с оригиналами.