Тестирование ИИ-агента — это экзамен на вопросах ваших клиентов до того, как агенту откроют чаты. Агент получает реальные обращения из прошлой переписки, неудобные вопросы и ситуации, где он должен позвать человека, а вы смотрите, что он ответил бы. У меня перед переводом в рабочий режим обкатываются все сценарии агента, чтобы неправильных ответов было как можно меньше.
Проверка нужна в любом случае: заказываете вы ИИ-агента для бизнеса у подрядчика или собрали его сами. Ниже — из чего собрать экзамен, по каким признакам ответ считается ошибкой и что делать, если агент всё же ошибся с живым клиентом.
Чем экзамен агента отличается от теста чат-бота
У чат-бота проверка имеет конец. Есть кнопки и ветки: прошли каждую, и тестирование чат-бота закончено. Бот не скажет того, чего в него не заложили.
Агент отвечает своими словами. Клиент спрашивает как угодно, и агент собирает ответ из базы знаний и инструкций. Пройти «все ветки» нельзя, их нет. Поэтому агента проверяют выборкой вопросов: чем ближе она к тому, что пишут ваши клиенты, тем меньше сюрпризов после запуска.
Отсюда главное правило: вопросы для экзамена берутся из переписки с клиентами. Те, что придумал разработчик или владелец, агент почти всегда проходит: под них он и настраивался.
Из чего собрать экзамен
Я рекомендую собрать три группы вопросов. Каждая ловит свой тип ошибок.
Реальные вопросы из переписки
Откройте переписку в мессенджерах и CRM за последние месяцы и выпишите вопросы, которые повторяются: цена, сроки, доставка, наличие, запись, гарантия. Берите формулировки как есть, с опечатками, сокращениями и сообщениями из трёх слов. «А доставка в область есть?», «скока стоит», «можно на завтра» — так пишут клиенты, и агент должен это понимать.
Рядом с каждым вопросом запишите, какой ответ вы считаете правильным. Без эталона экзамен превращается в спор о вкусе.
Неудобные вопросы
На них агент ошибается чаще всего:
- просьба о скидке или торг;
- жалоба и недовольный клиент;
- вопрос не по теме бизнеса;
- вопрос, ответа на который нет в базе знаний;
- несколько вопросов в одном сообщении;
- клиент меняет решение посреди диалога.
Самый важный пункт — вопрос без ответа в базе знаний. Правильная реакция агента здесь — честно сказать, что уточнит, и передать вопрос менеджеру. Неправильная — придумать правдоподобный ответ: цену, срок или условие, которого у вас нет.
Ситуации, когда нужен менеджер
Заранее решите, когда агент должен звать человека: клиент готов оплатить, просит позвонить, спорит о деньгах, задаёт вопрос, на который агент не нашёл ответа. Каждую ситуацию проверьте отдельным диалогом. Агент, который хорошо отвечает, но не умеет вовремя остановиться, опаснее агента, который отвечает средне. Что агенту доверить, а что оставить менеджеру, я разбирал в статье «ИИ-менеджер по продажам: что ему доверить».
Что проверять в ответах ИИ-агента для продаж
Ответ оценивается по нескольким признакам сразу. Таблицу удобно держать как лист проверки: прогоняете вопрос и отмечаете, что не сдано.
| Что проверить | Агент не сдал, если |
|---|---|
| Факты | Назвал цену, срок или условие, которых нет в базе знаний |
| Понимание вопроса | Ответил на другой вопрос или только на его часть |
| Уточнения | Не спросил недостающее: город, дату, модель, количество |
| Передача человеку | Продолжил диалог там, где должен был позвать менеджера |
| Данные в CRM | Не заполнил поля сделки или заполнил не те |
| Тон | Пишет канцеляритом, спорит с клиентом, обещает лишнее |
| Длина | Отвечает простынёй там, где хватило бы двух строк |
Строку про CRM на экзамене легко пропустить: в чате её не видно. Если агент квалифицирует заявки, после каждого тестового диалога откройте карточку сделки и проверьте поля. Пустые поля в CRM — частая беда и без агента, её я разбирал в статье «Менеджеры не заполняют CRM: что настроить».
Как проходит тестирование ИИ-агента у меня
Настройка агента занимает около 5 рабочих дней, затем идут доработки и улучшения. Перед тем как агент переходит в рабочий режим, все его сценарии обкатываются и тестируются: ответы на частые вопросы, квалификация, передача менеджеру. Задача этого этапа — свести неправильные ответы к минимуму до того, как агент заговорит с клиентами.
Проверку нельзя пропускать ради срока. Агент, которого никто не проверил, учится на ваших клиентах. Почему ИИ-агент в три дня не помещается, а простой бот помещается, я разбирал в статье «Автоматизация бизнеса за 3 дня: что реально».
Экзамен получится точнее, если заранее подготовить три вещи:
- Реальную переписку с клиентами: выгрузку или скриншоты из мессенджеров и CRM.
- Правильные ответы на частые вопросы, согласованные с тем, кто отвечает за продажи.
- Список ситуаций, когда агент должен передать диалог менеджеру.
Ошибки ИИ-бота после запуска: что делать
Даже хороший экзамен не покрывает всего: клиенты обязательно спросят то, чего не было в выборке. План на случай ошибки нужен заранее, до запуска.
Если клиенту всё же ушёл неверный ответ, работу агента я не останавливаю. Диалог переводится на менеджера, при необходимости подключается руководитель, а ошибку я быстро исправляю. Клиент получает правильный ответ от человека, остальные диалоги агент продолжает вести.
После каждой такой ошибки рекомендую:
- Добавить вопрос клиента в экзамен вместе с правильным ответом.
- После исправления прогнать весь экзамен заново: правка под один вопрос иногда ломает ответ на другой.
- Регулярно просматривать диалоги, которые агент передал менеджеру. По ним видно, чего агенту не хватает.
Поэтому после запуска агента ведут: исправляют ошибки, добавляют новые функции, обновляют промпты.
Где обычно ошибаются
Проверяют на своих вопросах. Владелец спрашивает так, как спросил бы сам, и агент отвечает идеально. Клиенты пишут короче, с ошибками и не по порядку. Экзамен из придуманных вопросов показывает только, что агент понял инструкцию.
Гоняют только удобные вопросы. Цену, адрес и график работы назовёт любой агент. Ошибки прячутся в жалобах, торге и вопросах, ответа на которые нет в базе знаний.
Не решают, когда звать человека. Агент старается ответить на всё, включая то, что должен решать менеджер: скидки, нестандартные заказы, конфликты.
Не обновляют базу знаний. Сменились цены, адрес или условия доставки, а агент отвечает по старым данным. Экзамен такую ошибку не поймает, если эталонные ответы тоже устарели.
Не перепроверяют после правок. Промпт поправили под один вопрос и сразу выпустили. Экзамен после каждой правки стоит прогонять целиком.
Запускают сразу во всех каналах. Сайт, Telegram и другие мессенджеры в один день: если что-то пошло не так, непонятно, где искать. Спокойнее начать с одного канала, посмотреть живые диалоги и подключать следующие.
Сделать самому или отдать
Простого ИИ-ассистента для бизнеса, который отвечает на частые вопросы по готовым текстам, можно собрать и проверить самому. Экзамен из этой статьи подойдёт и для него: три группы вопросов, эталонные ответы и лист проверки. Если вам хватит бота с кнопками без ИИ, что написать в задании, я разбирал в статье «ТЗ на бота: что написать для оценки и срока».
Отдавать стоит, когда агент должен квалифицировать заявки, заполнять поля в CRM, передавать диалог менеджеру и работать в нескольких каналах. Разработку ИИ-агентов для отдела продаж я начинаю с бесплатного аудита: разбираюсь в ваших задачах и процессах, даю рекомендации, и по ним строится план настройки агента. Если хотите проверить своего агента до запуска, а не на клиентах, оставьте заявку внизу страницы.
Частые вопросы
Сколько занимает настройка и проверка ИИ-агента?
Около 5 рабочих дней, затем доработки и улучшения. Тестирование агента проходит до перевода в рабочий режим: все сценарии обкатываются, чтобы неправильных ответов было как можно меньше.
Чем тестирование ИИ-агента отличается от тестирования чат-бота?
У чат-бота конечный набор кнопок и веток, и проверка заканчивается, когда пройдены все. ИИ-агент отвечает своими словами на вопросы в свободной форме, поэтому его проверяют выборкой реальных вопросов клиентов и сравнивают ответы с эталонными.
Что делать, если ИИ-бот ошибся в ответе клиенту?
Не останавливать работу агента: перевести диалог на менеджера или руководителя, чтобы клиент получил верный ответ, и быстро исправить ошибку. Вопрос, на котором агент ошибся, стоит добавить в экзамен и после исправления прогнать экзамен целиком.
Как проверить ИИ-агента после запуска?
Регулярно просматривать диалоги, особенно те, что агент передал менеджеру, и прогонять экзамен после каждой правки промпта или базы знаний. Исправления, новые функции и обновление промптов входят в ведение ИИ-агента.