Агент окупился или нет. Три цифры до и после и почему двух недель мало

Почему «стало лучше» — это не цифра

Подрядчик через две недели пишет, что менеджеры довольны, отвечаем быстрее и заявки не теряются. Все три утверждения могут быть правдой и не иметь отношения к деньгам: менеджерам стало легче, а сделок столько же; отвечаем быстрее, но на тот же спам; заявки не теряются, потому что их стало меньше — сезон.

Запрос «сквозная аналитика» набирают около 2 300 раз в месяц, и обычно под ним понимают сервис, который связывает рекламу, звонки, сайт и CRM. Для оценки агента хватает ручной версии: одна заявка проходит путь сайт — CRM — телефон — сделка, и на этом пути вы снимаете три цифры до и те же три после. Считаете вы или ваш сотрудник: человек, который получает деньги за результат, не должен его же измерять.

Три цифры выбраны так, чтобы покрыть путь заявки целиком — скорость на входе, качество посередине, деньги на выходе; улучшение одной без двух других — сигнал проверить остальные две.

Цифра первая: время до первого ответа на заявку

Определение: минуты от момента, когда заявка появилась — форма на сайте, сообщение в мессенджер, пропущенный звонок, — до первого содержательного действия в сторону клиента: звонок, письмо, сообщение. Автоответ «мы получили вашу заявку» не считается.

Где взять. В CRM у лида есть время создания и время первого исходящего действия — разница и есть цифра. В телефонии — журнал пропущенных и время обратного звонка. Если CRM нет, откройте почту и мессенджер: сорок-пятьдесят последних заявок, две колонки со временем, третья с разницей.

Как считать. Медиану, не среднее: одна ночная заявка, на которую ответили утром, даёт восемь часов и ломает среднее по всем. Отдельно посчитайте долю заявок с ответом дольше часа — вторая строка той же метрики. Агент меняет эту цифру сильнее всего: минуты вместо часов, ночью и в выходные тоже. Сама по себе она денег не приносит — только при условии, что следующая цифра не упала.

Цифра вторая: доля заявок, дошедших до разговора с менеджером

Определение: из всех входящих заявок за месяц — сколько дошло до предметного разговора: состоявшийся звонок дольше двух минут, назначенная встреча, отправленное КП по конкретному запросу. Считается в процентах.

Где взять. Стадии воронки в CRM: «новая» — «квалифицирована» — «разговор состоялся». Если стадий нет, заведите одну — «разговор был» — за неделю до запуска агента и ставьте её руками; месяца ручной разметки хватит на две точки сравнения. Телефония даёт длительность разговоров по номерам заявок.

Зачем она. Агент ускоряет вход, и на этом можно потерять качество: он отвечает всем, включая тех, кому менеджер бы не звонил, или квалифицирует так, что клиент уходит до разговора. Если первая цифра улучшилась, а доля разговоров упала, агент перекладывает работу на менеджера вместо того, чтобы её снимать.

Цифра третья: сделки на одного менеджера в месяц

Определение: закрытые с оплатой сделки за месяц, делённые на число менеджеров, которые в этом месяце работали с заявками. На менеджера, потому что за месяц кто-то мог уйти или выйти на работу, и общая цифра тогда меняется без всякого агента.

Где взять. Отчёт CRM по закрытым сделкам с ответственным; без CRM — 1С или таблица оплат с менеджером.

Если цикл сделки длиннее месяца, сделки октября пришли из заявок августа, и агент к ним отношения не имеет. Считайте по когорте: заявки, поступившие за месяц после запуска, и сколько из них закрылось к сегодняшнему дню — против заявок за такой же месяц до запуска с тем же горизонтом. Это сдвигает оценку на длину цикла, зато сравнивает одно с одним.

Средних по рынку я здесь не привожу намеренно: у кофейни и у поставщика спецтехники они несопоставимы, и единственное сравнение, которое имеет смысл, — вы с собой месяцем раньше.

Почему двух недель и 30 заявок мало

p-значение — это вероятность увидеть такую же разницу между «до» и «после» чисто случайно, если агент ничего не изменил. Порог 0,05 означает: мы согласны ошибиться в одном случае из двадцати. Считается это критерием хи-квадрат по таблице два на два — было/стало, сделка есть/нет; формулу знать не нужно, онлайн-калькулятор принимает четыре числа.

Например, до агента было 30 заявок и 6 сделок, после — 30 заявок и 9 сделок: конверсия выросла с 20 до 30 %, в полтора раза. Вероятность получить такую разницу случайно — около 37 %: в трети случаев агент, который ничего не сделал, показал бы такой же «рост». Та же разница на 100 заявках в каждой группе даёт около 10 %, на 150 — около 5 %. Поэтому в собственных продуктах мы закрепляем результат только при выборке от 100 в каждой группе и p ниже 0,05. Это правило наших продуктов: такие выборки набираются там, где поток — тысячи заказов в месяц, как в такси с 7 500+ поездками; у малого бизнеса на это уходят месяцы.

Для бизнеса с 30 заявками в месяц это означает три-четыре месяца до цифры, которой можно верить, либо сравнение с тем же месяцем прошлого года, чтобы убрать сезон. Первая цифра — время ответа — набирает сто наблюдений быстрее всех, потому что измеряется на каждой заявке; её можно закрепить раньше остальных.

Таблица до и после: заполнить за час до подписания договора

Таблица состоит из трёх строк — время до первого ответа (медиана и доля дольше часа), доля заявок до разговора, сделки на менеджера — и четырёх колонок: «до» с датой снятия, «через месяц», «через три месяца», «источник и кто снял».

Колонка «до» заполняется до подписания договора с подрядчиком, и её копия уходит ему в приложение к договору. На странице ИИ-агентов у нас записано то же самое с другой стороны: до старта замеряем, сколько времени процесс занимает сейчас, и без этого замера проект не начинаем; если после запуска агент не сокращает его на согласованную величину — доводим или возвращаем деньги за этап.

Рядом с таблицей нужно число заявок за период, без которого цифры не читаются: 30 % на 20 заявках и 30 % на 200 — разные факты. И дата любых других изменений за период — новый менеджер, новая реклама, смена цены: если такое было, эффект агента от них не отделить, и это стоит записать до того, как спорить.

Что посчитать самому и когда звать студию

До разговора с подрядчиком — две вещи. Калькулятор потерь на сайте считает, сколько рутина стоит сейчас: часы в день на неё, число сотрудников, ставка часа. И пилот на своих заявках: 50 старых заявок через нейросеть вручную за неделю, по шагам — в статье пилот ИИ-агента на 50 своих заявках. Если рутина по калькулятору стоит меньше цены агента в год, а пилот показал долю ответов без правок ниже вашего порога, агент пока не нужен.

Когда потери посчитаны и пилот пройден, на странице ИИ-агентов есть два пакета под разный объём. «Один процесс» — 150 000 ₽: один процесс от входа до результата, до двух интеграций, логи, три недели. «Рабочий» — 300 000 ₽: два-три связанных процесса, до пяти интеграций включая 1С, передача спорных случаев человеку и дашборд с метриками работы агента, 4–6 недель. Дашборд показывает, что делает агент; три цифры из этой статьи снимать по-прежнему нужно вам.

Если агент встраивается в контур с несколькими отделами, своей инфраструктурой и регламентами, это проект от 600 000 ₽, где сквозная аналитика строится как часть системы, а не вручную в таблице.