За «полностью автоматическим» ботом иногда сидят операторы. Четыре проверки, которые это покажут
В апреле 2024 года издание The Information написало, что за кассами Amazon Just Walk Out «без кассиров» стояло около тысячи сотрудников в Индии, которые проверяли покупки по видео; Amazon ответила, что люди размечали видео для обучения модели и подтверждали лишь малую часть визитов. Для владельца бизнеса, которому продают «готового ИИ-агента», вопрос не моральный, а денежный: если за ботом человек, вы платите за его смену и получаете его скорость. Проверить это можно за вечер четырьмя действиями. Ниже — три публичных случая, четыре проверки и почему человек в цепочке не всегда обман.
Amazon и тысяча человек в Индии
Just Walk Out работала в магазинах Amazon Fresh так
Вы берёте товар с полки и выходите, камеры и датчики сами определяют покупку. В апреле 2024 года The Information написало, что за этим стояло около тысячи сотрудников в Индии, которые просматривали видео и подтверждали покупки; по данным издания, в 2022 году проверки человеком требовали примерно 700 из 1 000 транзакций.
Позиция Amazon, переданная журналистам
Сотрудники размечали видео для обучения модели, а вручную подтверждали лишь малую часть визитов — те, где система не смогла определить покупку сама; за покупателями никто не наблюдает. Вскоре Amazon объявила, что убирает Just Walk Out из своих продуктовых магазинов в пользу умных тележек, но продолжает ставить технологию партнёрам.
Это не обвинение
Компания позицию объяснила, и разметка данных людьми нужна любой такой системе. Это иллюстрация: снаружи «автоматическая касса» и «касса с тысячей проверяющих» выглядят одинаково.
Presto и Cruise: когда цифру раскрыли сами
Presto Automation продавала ресторанам голосового помощника для приёма заказов на автораздаче и говорила о 95 % заказов без вмешательства персонала. В декабре 2023 года компания указала в отчётности для американского регулятора, что около 70 % заказов через её систему требовали участия операторов за пределами ресторана, в том числе на Филиппинах. Спустя год, по сообщениям СМИ, регулятор вынес компании предписание за вводящие в заблуждение заявления об ИИ; штрафа не было, выводы компания не признала и не оспорила.
Cruise, дочерняя компания General Motors, в ноябре 2023 года после статьи The New York Times подтвердила, что её роботакси запрашивают помощь удалённых операторов в среднем каждые четыре-пять миль. Глава компании Кайл Вогт уточнил: это 2–4 % времени поездки, операторы подсказывают маршрут, а не ведут машину.
Ни один из трёх случаев не российский, и о российских подрядчиках ботов подтверждённых публикаций такого рода я не видел — поэтому никого не называю. Но механика везде одна.
Почему человек в цепочке — не всегда обман
Люди в системе с ИИ — нормальная практика, если о ней сказано. Модель обучают на данных, размеченных людьми. После запуска кто-то читает диалоги и правит правила: в наших пакетах чат-ботов первые две недели после старта мы разбираем реальные диалоги и вносим правки без доплаты — это человек в цепочке. Спорные случаи в ИИ-агентах по регламенту уходят менеджеру — это страховка, а не костыль.
Проблема начинается там, где вам продают «полностью автоматически», а оператор становится основным способом работы. Тогда вы платите цену ИИ, а получаете скорость человека, его рабочие часы и его ошибки в конце смены — и не знаете об этом. Presto скрывала не операторов, а их долю: 70 %, а не 5 %.
Поэтому вопрос подрядчику звучит не «есть ли у вас люди», а «какая доля обращений доходит до человека и как я это увижу в отчёте». Хороший ответ — цифра и правило. Уклончивый — повод для четырёх проверок ниже.
Проверка первая: ответ ночью за секунды
Языковая модель отвечает одинаково быстро в три часа дня и в три часа ночи. Человек ночью либо не отвечает, либо отвечает медленно, либо сидит один на десять чатов. Напишите боту в час ночи, в шесть утра, в воскресенье вечером — по два-три вопроса из вашей практики — и засеките время до ответа. Секунды — модель. Две-три минуты, «печатает…» на полминуты, ответ ночью в разы медленнее дневного — за экраном человек или очередь к нему.
Две оговорки. Некоторые боты специально добавляют задержку и статус «печатает…», чтобы выглядеть живее, — попросите подрядчика на время теста выключить это. И если бот отвечает мгновенно на простой вопрос, а на уточняющий — через минуту, вероятно, простые вопросы закрывает модель, а сложные передают оператору. Схема допустимая, но её долю вы должны знать заранее.
Проверка вторая: один вопрос десять раз
Задайте один вопрос десять раз
С разных телефонов, в разное время, в разных формулировках — «сколько стоит маникюр», «цена на маникюр», «маникюр почём». Модель с базой знаний ответит одним и тем же по сути — той же цифрой из прайса, — слегка меняя слова. Человек на десятый раз ответит короче, назовёт другую цену «со скидкой для вас» или спросит, зачем вы повторяетесь.
Второй приём — вопрос вне базы знаний
«а вы делаете татуаж бровей?», если не делаете. Настроенная модель мгновенно скажет «этой услуги в прайсе нет, уточню у менеджера» — ровно так, как её научили. Ни один приём не доказательство сам по себе; вместе с замером времени они дают картину. Как проверить, что бот берёт ответы из базы, а не выдумывает, — в статье о галлюцинациях нейросети.
Проверка третья: лог с источником каждого ответа
Самая надёжная проверка — попросить журнал диалогов. У бота на модели каждый ответ оставляет след: время вопроса и ответа с точностью до секунды, какая модель отвечала, какой фрагмент базы знаний использован, была ли передача оператору. Обезличенная строка выглядит примерно так: «12:03:41 вопрос → 12:03:43 ответ · источник: прайс, строка „Маникюр классический“ · оператор: нет». Если подрядчик не может показать такой журнал — спросите, почему.
В нашем пакете PRO за 100 000 ₽ — бот с базой знаний, квалификацией заявок, связью с CRM и аналитикой — лог с источником каждого ответа входит в поставку, и вы смотрите его сами. В ИИ-агенте за 150 000 ₽ на один процесс — логи и мониторинг работы; в пакете за 300 000 ₽ — дашборд и передача спорных случаев человеку, которая тоже видна в журнале.
Из практики: парсер для ТехМаркета держит в базе более 5 630 лотов спецтехники и обновляет их каждые 30 минут; без журнала обновлений его нельзя было бы ни проверить, ни сдать.
Проверка четвёртая: что будет, если у подрядчика отключить интернет
Четвёртая проверка — про зависимость
Спросите прямо: где работает бот — на вашем сервере, на сервере подрядчика или в его конструкторе; что произойдёт, если офис подрядчика закроется на праздники; останутся ли у вас доступы к боту, базе знаний и логам, если подрядчик исчезнет.
Бот на модели переживёт праздники подрядчика
Сервер и модель работают без людей. Бот, за которым сидят операторы, в праздники «уйдёт на техническое обслуживание» или начнёт отвечать за час. Ответ «мы всё берём на себя, вам ничего не нужно» звучит удобно, но означает, что систему вы не контролируете.
Что должно быть в договоре
Круглосуточная работа бота с допустимым временем ответа, доля обращений, которую передают человеку, доступ к админке и журналу с первого дня, передача базы знаний и исходников при расторжении. О чём ещё спрашивать подрядчика — в восьми вопросах AI-агентству. А если обращений мало, никакой агент не окупится — об этом в статье о случаях, когда агент не окупится.
Частые вопросы
Что спрашивают до заказа — с ответами, которые мы даём на брифе.
Как понять, что с вами общается бот, а не человек?
Замерьте время ответа ночью и в выходной: модель отвечает за секунды в любое время, человек — с задержкой и неровно. Задайте один вопрос десять раз в разных формулировках: модель ответит одинаково по сути, человек начнёт варьировать и уставать.
Готовые ИИ-агенты — это настоящая автоматизация или операторы?
Бывает и так, и так, и снаружи это неразличимо. Спросите у подрядчика долю обращений, которые доходят до человека, и попросите показать её в логе. Цифра и правило — хороший признак; уклончивый ответ — повод проверить самому.
Что должно быть в логе ответов чат-бота?
Время вопроса и ответа с точностью до секунды, модель, которая отвечала, фрагмент базы знаний, из которого взят ответ, и отметка о передаче оператору. Такой журнал позволяет разобрать любой конфликт с клиентом.
Плохо ли, что за ботом сидит оператор?
Нет, если вам об этом сказали и вы понимаете долю. Разметка данных для обучения, разбор диалогов в первые недели и передача спорных случаев человеку — нормальная практика. Плохо, когда «полностью автоматически» на деле означает большую часть ответов руками, а платите вы как за ИИ.
Как это выглядит на практике
Похожая задача? План и расчёт за 24 часа
Расскажите, что нужно сделать. Подскажем, хватит ли пакета с фиксированной ценой или это проект от 600 000 ₽, и вернёмся с планом.