Как поймать нейросеть на вранье за две минуты. Три вопроса, на которых она сыпется
Нейросеть отвечает уверенно не потому, что знает, а потому, что подбирает правдоподобное продолжение текста; тон ответа ничего не говорит о правде. Галлюцинация это как раз такой ответ: гладкий, подробный и выдуманный, чаще всего с несуществующей статьёй закона, книгой или адресом. Проверить это на любой нейросети можно за две минуты тремя вопросами: про вашу улицу, про книгу малоизвестного автора и про вчерашнюю новость. Ниже о том, как их задать, что вы увидите и как после этого пользоваться нейросетью без вреда. Как та же ошибка выглядит в чат-боте магазина и как проверить бота за вечер, рассказываем в статье [галлюцинация бота: пять проверок](/blog/gallyutsinatsiya-bota-pyat-proverok-za-vecher).
Clyovo AI делает для бизнеса ролики, нейроаватары, сайты и ботов. Вопрос по статье можно задать в Telegram →

Почему уверенный тон ничего не значит
Запрос «что такое галлюцинация нейросети» набирают около 3 500 раз в месяц, и, судя по формулировкам рядом, обычно после неприятности: модель выдала ссылку на статью закона, которой нет, или пересказала книгу, которую никто не писал. Слово выбрано неудачно (нейросеть ничего не «видит»), но прижилось.
Механику я подробно описывал в статье о том, что умеет нейросеть для бизнеса, здесь коротко. Языковая модель обучена продолжать текст так, чтобы продолжение было похоже на всё, что она читала. Она не ищет факт в базе и не сверяется с источником: она подбирает следующее слово. Когда факт встречался в обучающих данных много раз, следующее слово оказывается верным. Когда факта не было или он редкий, модель всё равно обязана что-то написать и пишет то, что звучит правильно.
Отсюда главное: уверенность и подробность это свойства текста, а не признак знания. Проверять нужно не тон, а содержание, и проще всего делать это на том, что вы знаете лучше модели.
Вопрос первый: про вашу улицу
Спросите про место, которое видите каждый день: «Что находится в доме номер такой-то на улице такой-то в городе таком-то? Когда его построили, какие организации там работают?» Выберите не центральную площадь, а обычный дом: свой, соседний, здание, где ваш офис.
Дальше читайте ответ как ревизор. Чаще всего вы получите год постройки, этажность, пару магазинов и, возможно, историческую справку, и всё тем же ровным тоном, каким модель рассказывает про Кремль. Часть деталей совпадёт, потому что типовые дома похожи; часть будет придумана, и вы это увидите сразу, а человек из другого города не увидит никогда.
Усилить проверку можно так: задайте тот же вопрос второй раз в новом чате. Если ответы расходятся в фактах, минимум один из них выдуман. Именно так выглядит галлюцинация вживую: не бред, а правдоподобная справка, в которой ошибку заметит только тот, кто знает ответ заранее.
Хотите попробовать по ходу чтения? Сервисы из статьи открываются в новой вкладке.
Остался вопрос по теме?
Напишите в Telegram, ответим в рабочее время. Если нужна работа для бизнеса, опишите задачу: ответим с планом и ценой за 24 часа.
Вопрос второй: про книгу малоизвестного автора
Возьмите с полки книгу, которую точно не издавали миллионным тиражом: методичку, региональный сборник, диссертацию знакомого, учебник по узкой специальности. Спросите: «О чём книга такого-то автора под таким названием, в каком году и где издана, в чём главная мысль третьей главы?»
Модель, скорее всего, ответит. Часть ответа будет собрана из названия: если книга называется «Учёт в строительстве», получите общие слова про учёт в строительстве. Год и издательство могут совпасть случайно, а могут быть придуманы, так что сравните с титульным листом. Просьба «приведи цитату со страницы 40» почти наверняка даст текст, которого в книге нет.
Второй шаг: попросить три источника со ссылками и открыть каждую. Ссылка может вести на несуществующую страницу, на другую статью или на главную сайта. Это та же механика, что и с несуществующими статьями законов: модель знает, как выглядит ссылка и как выглядит номер статьи, и собирает правдоподобный образец.
Вопрос третий: про вчерашнюю новость
У каждой модели есть дата, после которой она ничего не читала. Спросите без включённого поиска: «Что произошло вчера в моём городе?» или «Какой курс был вчера?». Честный ответ: «у меня нет данных после такого-то месяца». Плохой: уверенный пересказ событий, которых модель не могла знать. Оба варианта встречаются, и разница между моделями здесь заметнее всего.
Потом включите поиск в интернете, если он есть в сервисе, и задайте тот же вопрос. Ответ станет конкретнее и появятся ссылки, но их снова нужно открыть: поиск снижает число выдумок, но не убирает их, и модель может пересказать найденное неточно.
Удобно гнать один и тот же вопрос через две-три модели рядом и сравнивать: в SYNTX их сотня с лишком в Telegram и на сайте, с инструкциями на русском. Если две модели дают разные факты на один вопрос, на слово нельзя верить ни одной.
Что делать с результатом: правила на каждый день
Тест не делает нейросеть бесполезной, он ставит её на место: это черновик, а не справочник. Из него следуют простые правила.
Любое имя, число, дата, номер статьи закона и цитата проверяются в первоисточнике, всегда. Просьба «дай ссылку» помогает только вместе с привычкой ссылку открыть. Для работы с фактами задавайте вопрос вместе с материалом: вставьте текст договора и спрашивайте по нему. Данный ей текст модель пересказывает куда точнее, чем вспоминает.
Добавляйте в запрос фразу «если не уверен, так и скажи, не додумывай». Это не гарантия, но число выдумок падает. И помните, что три вопроса из этой статьи ловят не все ошибки: они показывают механику, а не фильтруют ответы. Ошибку в незнакомой области вы так же не увидите, как человек из другого города не увидит её в справке о вашей улице.
Где модель сильна без оговорок: структура текста, переформулировка, черновик письма, список вопросов к юристу. Там, где проверяете вы, а не она.
Когда это касается вашего бизнеса и когда звать студию
Всё сказанное про личное использование становится вопросом денег, когда нейросеть отвечает не вам, а вашим клиентам. Бот на сайте, подключённый к модели напрямую, будет выдумывать так же, как в тесте с улицей, только придумает цену или срок доставки. Как этого избежать, я писал в статье про базу знаний для чат-бота: бот отвечает пересказом документа, а не из головы, а на вопросы вне документа зовёт человека.
Так устроен Telegram-бот ТехМаркет: лоты и цены он показывает из каталога, а не помнит их сам. Для малого бизнеса точка входа это чат-бот за 50 000 ₽ по сценарию, где свободного текста нет вообще, или PRO за 100 000 ₽ с базой знаний, где цифры берутся только из прайса.
Самому стоит собрать бота для себя: заметки, черновики, сортировка писем. Когда бот говорит с клиентами от имени фирмы, ошибка перестаёт быть забавной, и проверку на сто вопросов лучше делать до запуска, а не после первого скриншота в отзывах. Большой проект от 600 000 ₽ нужен, когда бот становится частью системы с CRM и оплатой.
Частые вопросы
Что спрашивают до заказа и что мы на это отвечаем.
Что такое галлюцинация нейросети простыми словами?
Это уверенный и правдоподобный ответ, в котором факты выдуманы: несуществующая статья закона, книга, адрес, цитата. Модель не проверяет факт, а подбирает продолжение текста, и там, где данных не было, дописывает то, что звучит правильно.
Почему нейросеть выдумывает статьи законов и книги?
Потому что знает, как выглядят номер статьи и библиографическое описание, лучше, чем помнит содержание конкретного документа. Редкий факт встречался ей мало или не встречался вовсе, но написать что-то она обязана, поэтому собирает образец по шаблону.
Как проверить, что нейросеть не врёт?
Спросить о том, что знаете лучше неё: ваша улица, книга с вашей полки, вчерашняя новость. Затем попросить источники и открыть каждую ссылку. Имена, числа и даты в рабочих текстах сверять с первоисточником: тест показывает механику, но не фильтрует ошибки.
Есть ли нейросеть, которая не галлюцинирует?
Нет. Число выдумок различается между моделями и снижается с поиском и с приложенным документом, но не падает до нуля. Для бизнеса решение другое: бот отвечает из базы знаний и молчит там, где базы нет.
Как это выглядит на практике
Все кейсы
Есть задача для бизнеса?
Сайт от 80 000 ₽, чат-бот 50 000 ₽, автоматизация 80 000 ₽ за процесс, 20 роликов 120 000 ₽, ИИ-агент 150 000 ₽. Большие проекты с исследованием и брендом: от 600 000 ₽.
Пакеты с фиксированной ценой или проект от 600 000 ₽ →
Не готовы к разговору? Начните с медиакита «Работы студии в одном PDF» в Telegram →
Где это сделать самому
Инструменты, в которых собирается то, о чём статья: что каждый делает хорошо, чего от него не ждать и где попробовать на своей задаче.
SYNTX
Тексты, картинки, видео и музыка в одном Telegram-боте и веб-приложении: ChatGPT, Gemini, Kling, Veo, Sora, Suno и ещё сотня моделей по одной подписке. База знаний с инструкциями на русском.
- Одна подписка вместо десятка сервисов: тексты, картинки, видео, музыка
- Работает прямо в Telegram, ничего устанавливать не нужно
- Библиотека трендов: повторить популярный эффект в несколько кликов
- База знаний на русском: инструкции по каждой модели
Это подписка, а не оплата за использование: если генераций мало, посчитайте, окупится ли месяц.
Попробовать SYNTX