Галлюцинации нейросетей

Что такое галлюцинации нейросетей простыми словами?

Галлюцинация — это когда нейросеть уверенно отвечает неправдой: придумывает факт, цифру, ссылку или пункт регламента. Ответ звучит убедительно, поэтому ошибку легко пропустить.

Причина в устройстве языковой модели: она предсказывает наиболее вероятный текст, а не сверяется с базой фактов. Если нужной информации нет в запросе, модель заполняет пробел правдоподобной выдумкой.

Как снижают галлюцинации?

Модели дают источники, запрещают отвечать без них и ставят проверку там, где ошибка дорогая.

1. Ответы только по вашим документам через RAG.
2. Ссылка на источник в каждом ответе, чтобы его можно было проверить.
3. Явная инструкция: «если в документах нет ответа, скажи, что не знаешь, и передай человеку».
4. Тестовый набор вопросов с правильными ответами, на котором проверяют каждое изменение.
5. Проверка человеком для ответов клиентам, юридических и финансовых действий.
6. Журнал ответов и регулярный разбор ошибок.

Как галлюцинации выглядят в бизнесе?

Условный сценарий. Клиент спрашивает в чате, можно ли вернуть товар через 30 дней. В базе знаний срок не указан, и бот без ограничений «вспоминает» типичное правило и отвечает «да». Компания получает спор с клиентом. После настройки тот же бот отвечает: «Уточню у специалиста» — и передаёт вопрос оператору.

Чем галлюцинация отличается от обычной ошибки?

Где это особенно важно?

Там, где ответ уходит клиенту или влияет на деньги: клиентский сервис, база знаний компании, риски и антифрод. Правила контроля для агентов с доступом к системам разобраны в статье ИИ-агент или чат-бот.