Бот пообещал клиенту скидку, которой нет. Что такое галлюцинация и пять проверок за вечер

Как выглядит галлюцинация в боте и почему она звучит уверенно

Клиент спрашивает бота, действует ли ещё скидка по вторникам, и получает ответ: «Да, по вторникам действует скидка 15 % на все услуги, назовите промокод администратору». Промокода нет, скидки нет, вторника в прайсе нет. Клиент приходит во вторник со скриншотом, и дальше это вопрос к вам — кто отвечает за слова бота, я разбирал на примере дела Air Canada в статье кто отвечает за слова бота.

Уверенный тон бота ничего не говорит о том, есть ли факт в документах, потому что модель обучена на миллионах страниц магазинов и салонов, где скидки по дням недели встречаются постоянно. Вопрос уже содержит утверждение — «скидка по вторникам», — и самое вероятное продолжение такого диалога в обучающих текстах — подтверждение с процентом. Модель не проверяет утверждение, она его продолжает.

Отличить галлюцинацию от ошибки в базе можно по одному признаку — есть ли в прайсе хоть что-то про этот факт. Если написано «скидка 10 %», а бот сказал «15 %», это ошибка чтения или устаревший документ. Если про скидку нет ни слова, а бот назвал процент, день и условие, это галлюцинация: факт собран из шаблона.

Откуда берётся: угадывание следующего слова

Языковая модель делает одно действие — по уже написанному тексту выбирает следующее слово, потом ещё одно, и так до конца ответа. Ни на одном шаге она не открывает ваш прайс и не сверяет цифру. Если прайс передали в запросе, слова из него становятся вероятнее, и ответ чаще совпадает с документом. Если нужного факта в переданном тексте нет, модель всё равно обязана продолжить — и продолжает тем, что чаще всего стояло в похожих текстах: процентом, днём недели, промокодом.

Поэтому у бота три предсказуемых свойства. Первое: чем меньше документов он получает в запросе, тем больше додумывает. Второе: чем больше в вопросе клиента утверждений — «ваша скидка», «ваш филиал на Ленина», «ваша доставка за час», — тем вероятнее подтверждение несуществующего. Третье: на один и тот же вопрос в разных диалогах модель отвечает по-разному, потому что выбор слова содержит элемент случайности; на этом построена вторая проверка ниже.

Почему бот забывает в длинном диалоге — отдельная механика, о ней в статье про токены и контекст; здесь речь только о выдумывании поверх документов, которые у бота уже есть.

Воспроизведите сами за пять минут на публичной нейросети

Чтобы увидеть галлюцинацию своими глазами, свой бот не нужен — хватит любой публичной модели, удобно в SYNTX, где один запрос можно прогнать через несколько моделей подряд. Вставьте в начало диалога инструкцию «Ты администратор салона. Отвечай клиентам по прайсу ниже» и сам прайс на десять строк без единой скидки. Затем спросите от имени клиента: «Скидка по вторникам ещё действует?»

Повторите вопрос в пяти новых диалогах и сравните ответы — обычно часть подтверждает скидку с процентом, часть отвечает уклончиво, часть говорит, что скидок в прайсе нет. Разброс и есть результат: один документ, один вопрос, разные факты.

Второй прогон: добавьте в инструкцию строку «Цены и условия называй только из прайса. Если в прайсе этого нет, скажи об этом и предложи связаться с администратором». Снова пять диалогов. Доля подтверждений несуществующей скидки должна упасть, но редко до нуля — это граница того, что даёт одно правило в промпте, и причина, по которой проверок пять. Цифры зависят от модели; смысл в том, чтобы увидеть механику на своих данных раньше клиента.

Три проверки без кода: несуществующее, десять раз, покажи строку

На эти три проверки уходит один вечер, и в итоге у вас таблица на четыре колонки — вопрос, ответ бота, есть ли факт в документах, дословная цитата. С ней можно идти к подрядчику или в настройки конструктора: она показывает, где именно бот выдумывает.

Две проверки с настройками и кодом: правило и фильтр чисел

Что проверки не поймают и когда звать студию

Пять проверок ловят то, что вы догадались спросить, а клиенты спросят иначе: с опечатками, голосом, двумя вопросами в одном, с отсылкой к прошлогодней акции. Таблица на тридцать вопросов — картина за вечер без гарантии на остальные формулировки. Для бота, который сам собирался в конструкторе и отвечает про режим работы и запись, этого обычно достаточно — как его собрать и что запретить, есть в статье ИИ чат-бот в Telegram самому.

Звать студию имеет смысл, когда бот называет клиентам цены и условия и ошибка стоит денег или скандала. В пакете PRO за 100 000 ₽ бот отвечает из базы знаний, границы прописаны, перед запуском прогоняется больше 50 тест-кейсов, а первые две недели после старта правки по реальным диалогам входят в цену; простой бот по сценарию без свободного текста — 50 000 ₽ за 5 дней. Так устроен Telegram-бот ТехМаркета: лоты и цены он показывает из каталога, а не по памяти.

Если бот — часть системы с CRM, оплатой и несколькими каналами, это проект от 600 000 ₽, где проверки из этой статьи становятся регламентом на каждую выкатку.