Как поймать нейросеть на вранье за две минуты. Три вопроса, на которых она сыпется
Нейросеть отвечает уверенно не потому, что знает, а потому, что подбирает правдоподобное продолжение текста; тон ответа ничего не говорит о правде. Галлюцинация — это как раз такой ответ: гладкий, подробный и выдуманный, чаще всего с несуществующей статьёй закона, книгой или адресом. Проверить это на любой нейросети можно за две минуты тремя вопросами: про вашу улицу, про книгу малоизвестного автора и про вчерашнюю новость. Ниже — как их задать, что вы увидите и как после этого пользоваться нейросетью без вреда.
Почему уверенный тон ничего не значит
Запрос «что такое галлюцинация нейросети» набирают около 3 500 раз в месяц, и, судя по формулировкам рядом, обычно после неприятности: модель выдала ссылку на статью закона, которой нет, или пересказала книгу, которую никто не писал. Слово выбрано неудачно — нейросеть ничего не «видит», — но прижилось.
Механику я подробно описывал в статье о том, что умеет нейросеть для бизнеса, здесь коротко. Языковая модель обучена продолжать текст так, чтобы продолжение было похоже на всё, что она читала. Она не ищет факт в базе и не сверяется с источником — она подбирает следующее слово. Когда факт встречался в обучающих данных много раз, следующее слово оказывается верным. Когда факта не было или он редкий, модель всё равно обязана что-то написать — и пишет то, что звучит правильно.
Отсюда главное: уверенность и подробность — свойства текста, а не признак знания. Проверять нужно не тон, а содержание, и проще всего — на том, что вы знаете лучше модели.
Вопрос первый: про вашу улицу
Спросите про место, которое видите каждый день
«Что находится в доме номер такой-то на улице такой-то в городе таком-то? Когда его построили, какие организации там работают?» Выберите не центральную площадь, а обычный дом — свой, соседний, здание, где ваш офис.
Дальше читайте ответ как ревизор
Чаще всего вы получите год постройки, этажность, пару магазинов и, возможно, историческую справку — тем же ровным тоном, каким модель рассказывает про Кремль. Часть деталей совпадёт, потому что типовые дома похожи; часть будет придумана, и вы это увидите сразу, а человек из другого города — никогда.
Усилить проверку можно так
Задайте тот же вопрос второй раз в новом чате. Если ответы расходятся в фактах, минимум один из них выдуман. Именно так выглядит галлюцинация вживую — не бред, а правдоподобная справка, в которой ошибку заметит только тот, кто знает ответ заранее.
Хотите попробовать по ходу чтения? Инструменты из статьи — в один клик.
Вопрос второй: про книгу малоизвестного автора
Возьмите с полки книгу, которую точно не издавали миллионным тиражом
Методичку, региональный сборник, диссертацию знакомого, учебник по узкой специальности. Спросите: «О чём книга такого-то автора под таким названием, в каком году и где издана, в чём главная мысль третьей главы?»
Модель, скорее всего, ответит
Часть ответа будет собрана из названия: если книга называется «Учёт в строительстве», получите общие слова про учёт в строительстве. Год и издательство могут совпасть случайно, а могут быть придуманы — сравните с титульным листом. Просьба «приведи цитату со страницы 40» почти наверняка даст текст, которого в книге нет.
Второй шаг — попросить три источника со ссылками и открыть каждую
Ссылка может вести на несуществующую страницу, на другую статью или на главную сайта. Это та же механика, что и с несуществующими статьями законов: модель знает, как выглядит ссылка и как выглядит номер статьи, и собирает правдоподобный образец.
Вопрос третий: про вчерашнюю новость
У каждой модели есть дата, после которой она ничего не читала. Спросите без включённого поиска: «Что произошло вчера в моём городе?» или «Какой курс был вчера?». Честный ответ — «у меня нет данных после такого-то месяца». Плохой — уверенный пересказ событий, которых модель не могла знать. Оба варианта встречаются, и разница между моделями здесь заметнее всего.
Потом включите поиск в интернете, если он есть в сервисе, и задайте тот же вопрос. Ответ станет конкретнее и появятся ссылки — их снова нужно открыть: поиск снижает число выдумок, но не убирает их, и модель может пересказать найденное неточно.
Удобно гнать один и тот же вопрос через две-три модели рядом и сравнивать: в SYNTX их сотня с лишком в Telegram и на сайте, с инструкциями на русском. Если две модели дают разные факты на один вопрос, на слово нельзя верить ни одной.
Что делать с результатом: правила на каждый день
Любое имя, число, дата, номер статьи закона и цитата проверяются в первоисточнике, всегда. Просьба «дай ссылку» помогает только вместе с привычкой ссылку открыть. Для работы с фактами задавайте вопрос вместе с материалом: вставьте текст договора и спрашивайте по нему — данный ей текст модель пересказывает куда точнее, чем вспоминает.
Тест не делает нейросеть бесполезной, он ставит её на место
Это черновик, а не справочник. Из него следуют простые правила.
Добавляйте в запрос фразу «если не уверен — так и скажи, не додумывай»
Это не гарантия, но число выдумок падает. И помните, что три вопроса из этой статьи ловят не все ошибки: они показывают механику, а не фильтруют ответы. Ошибку в незнакомой области вы так же не увидите, как человек из другого города не увидит её в справке о вашей улице.
Где модель сильна без оговорок
Структура текста, переформулировка, черновик письма, список вопросов к юристу. Там, где проверяете вы, а не она.
Когда это касается вашего бизнеса и когда звать студию
Всё сказанное про личное использование становится вопросом денег, когда нейросеть отвечает не вам, а вашим клиентам. Бот на сайте, подключённый к модели напрямую, будет выдумывать так же, как в тесте с улицей, — только придумает цену или срок доставки. Как этого избежать, я писал в статье про базу знаний для чат-бота: бот отвечает пересказом документа, а не из головы, а на вопросы вне документа зовёт человека.
Так устроен Telegram-бот ТехМаркет: лоты и цены он показывает из каталога, а не помнит их сам. Для малого бизнеса точка входа — чат-бот за 50 000 ₽ по сценарию, где свободного текста нет вообще, или PRO за 100 000 ₽ с базой знаний, где цифры берутся только из прайса.
Самому стоит собрать бота для себя — заметки, черновики, сортировка писем. Когда бот говорит с клиентами от имени фирмы, ошибка перестаёт быть забавной, и проверку на сто вопросов лучше делать до запуска, а не после первого скриншота в отзывах. Большой проект от 600 000 ₽ — когда бот часть системы с CRM и оплатой.
Частые вопросы
Что спрашивают до заказа — с ответами, которые мы даём на брифе.
Что такое галлюцинация нейросети простыми словами?
Это уверенный и правдоподобный ответ, в котором факты выдуманы: несуществующая статья закона, книга, адрес, цитата. Модель не проверяет факт, а подбирает продолжение текста, и там, где данных не было, дописывает то, что звучит правильно.
Почему нейросеть выдумывает статьи законов и книги?
Потому что знает, как выглядят номер статьи и библиографическое описание, лучше, чем помнит содержание конкретного документа. Редкий факт встречался ей мало или не встречался вовсе, но написать что-то она обязана — и собирает образец по шаблону.
Как проверить, что нейросеть не врёт?
Спросить о том, что знаете лучше неё: ваша улица, книга с вашей полки, вчерашняя новость. Затем попросить источники и открыть каждую ссылку. Имена, числа и даты в рабочих текстах сверять с первоисточником — тест показывает механику, но не фильтрует ошибки.
Есть ли нейросеть, которая не галлюцинирует?
Нет. Число выдумок различается между моделями и снижается с поиском и с приложенным документом, но не падает до нуля. Для бизнеса решение другое: бот отвечает из базы знаний и молчит там, где базы нет.
Как это выглядит на практике
Где это сделать самому
Инструменты, в которых собирается то, о чём статья: что делает хорошо, чего от него не ждать — и кнопка, чтобы попробовать на своей задаче.
SYNTX
Тексты, картинки, видео и музыка в одном Telegram-боте и веб-приложении: ChatGPT, Gemini, Kling, Veo, Sora, Suno и ещё сотня моделей по одной подписке. База знаний с инструкциями на русском.
- Одна подписка вместо десятка сервисов — тексты, картинки, видео, музыка
- Работает прямо в Telegram, ничего устанавливать не нужно
- Библиотека трендов: повторить популярный эффект в несколько кликов
- База знаний на русском — инструкции по каждой модели
Это подписка, а не оплата за использование: если генераций мало, посчитайте, окупится ли месяц.
Попробовать SYNTXПохожая задача? План и расчёт за 24 часа
Расскажите, что нужно сделать. Подскажем, хватит ли пакета с фиксированной ценой или это проект от 600 000 ₽, и вернёмся с планом.