Методика проверки чата

Как Честный клиент проверяет чат сайта: одна открытая ИИ-проверка, один разговор и чек-лист, по которому ставится балл. Здесь все правила, по которым считается отчёт.

ИИ-агент Честный клиент пишет в чат сайта в рабочее время компании и в первом же сообщении говорит, что это ИИ-проверка. Он задаёт вопросы, какие задал бы обычный клиент этой ниши, ничего не покупает и не оставляет личных данных.

Каждое сообщение записывается с точным временем. Время ответа и паузы считает код по журналу сообщений, а не модель.

Одна проверка — срез одного разговора, а не оценка всей компании.

Можно ли оценивать разговор

Прежде чем ставить балл, проверяем, что разговор вообще можно оценить.

G1 Проверка технически состоялась: виджет загрузился, сообщения доставлены, сбоев нет.
G2 Проверка прошла в рабочее время компании (или компания заявляет круглосуточную работу).
G3 Сценарий подходит компании: товар или услуга есть на сайте, и менеджер не сказал обоснованно «мы этим не занимаемся».
G4 Кто ответил: человек, ИИ-ассистент, бот с меню, автоответ или никто.
G5 Собеседник распознал проверку (только в заказном режиме).

Кто ответил

По тому, кто ответил в чате, разговор попадает в одну из дорожек; от неё зависит, какие пункты оцениваются.

Проверка недействительна
Нет ответа
Только автоответ или форма
Бот
Полная оценка
Отказ от диалога с ИИ-проверкой

Чек-лист

Пункты по разделам. Веса разделов зависят от профиля ниши; пункт, неприменимый к разговору, в балл не входит.

A. Доступность и скорость

A1 Быстрый первый ответ: Время до первого содержательного ответа (не приветствия и не автоответа), по секундам из журнала сообщений.
A2 Короткие паузы в разговоре: Медиана пауз между сообщением покупателя и ответом в ходе диалога.
A3 Предупредили о паузе: Ожидание обозначено: мгновенное подтверждение или сообщение «уточняю, минуту» перед любой паузой дольше 2 минут.
A4 Ни один вопрос не завис: Ни одно сообщение покупателя не осталось без ответа дольше 10 минут.

B. Качество ответов

B1 Ответили на вопросы клиента: Ответы на вопросы сценария: ответил — 1, частично — 0,5, нет — 0; среднее по вопросам.
B2 Назвали цену и сроки: Конкретика, когда о ней спросили: цена или диапазон, наличие, сроки, условия. «Всё индивидуально» без диапазона или причины и следующего шага — не выполнено.
B3 Ответы совпадают с сайтом: Ни одно утверждение не противоречит фактам с сайта компании (цена, наличие, условия). Нарушение подтверждается цитатой и ссылкой на страницу с датой обхода.
B4 Ответили прямо в чате: Ответ дан в чате до или вместе с предложением перейти в другой канал.

C. Выявление потребности

C1 Задали уточняющий вопрос: Задан хотя бы один уточняющий вопрос о потребности покупателя.
C2 Выяснили задачу клиента: Уточнены хотя бы два разных аспекта потребности (задача, бюджет, сроки, объём, характеристики, кто принимает решение).
C3 Ответ под задачу клиента: Рекомендация или ответ явно привязаны к потребности, которую назвал покупатель.

D. Продвижение к продаже

D1 Предложили конкретный вариант: Предложен конкретный товар, вариант или тариф, а не только «смотрите каталог».
D2 Назвали выгоду для клиента: Хотя бы одна выгода, связанная с потребностью покупателя, а не только список характеристик.
D3 Ответили на сомнение: Работа с возражением из сценария: признал и ответил аргументом, альтернативой или уточнением — 1; только признал — 0,5; нет — 0.
D4 Предложили следующий шаг: Понятный следующий шаг: ссылка на заказ, время записи, встреча, расчёт, бронь.

E. Контакт и продолжение

E1 Закрепили запись или контакт: Обеспечено продолжение: запрошен или подтверждён контакт либо предложена запись или оформление, которые его фиксируют.
E2 Вернулись после чата: В течение 24 часов после чата пришло продолжение (письмо, звонок, сообщение).

F. Коммуникация

F1 Приветствие по делу: Приветствие с откликом на вопрос, а не только «Здравствуйте».
F2 Ответ без шаблона: Ответ по существу, без шаблона, который игнорирует вопрос.
F3 Грамотный текст: Орфография: не больше одной подтверждённой ошибки на 100 слов, по данным проверяющей программы (не по мнению модели).
F4 Вежливый тон: Вежливый тон: без сарказма, упрёков и резкости.

Если ответил только автоответ

Когда в чате был только автоответ или форма, канал оценивается по двум пунктам.

K1 Автоответ называет время ответа: Автоответ называет ожидаемое время ответа.
K2 Предложен следующий шаг: Предложен другой канал связи или следующий шаг.

Что ограничивает балл

Грубые ошибки ограничивают балл сверху, как бы хорошо ни прошёл остальной разговор.

X1 Балл не ставится: Нет содержательного ответа за отведённое время.
X2 Балл не выше 30: Грубое, оскорбительное или унижающее сообщение (подтверждают две независимые оценки и проверка).
X3 Балл не выше 50: Существенно неверная цена, наличие или условия по сравнению с сайтом.
X4 Балл не выше 40: Отказ помочь или отписка («смотрите на сайте», «звоните») без ответа и без следующего шага.
X5 Балл не выше 50: Диалог брошен: вопрос без ответа 30 минут при включённом чате.
X6 Балл не выше 40: Просьба прислать в чат чувствительные данные (номер карты, скан паспорта) без защищённого способа.

Оценки

Балл от 0 до 100 попадает в одну из четырёх оценок.

Отлично от 85 до 100
Хорошо от 70 до 84
Есть над чем работать от 50 до 69
Теряете заявки от 0 до 49

Доказательства

Каждая оценка ссылается на дословную цитату из разговора. Цитату сверяет код: если её нет в журнале, пункт оценивается заново, а при повторном расхождении не оценивается. Оценки ставит ИИ по чек-листу, вторую проверку делает другая модель.

Ограничения

Мы проверяем только чат на сайте: ничего не покупаем и не оставляем контактов. Отчёт об одной проверке — оценочное суждение по одному разговору, а не описание компании.

Пересмотр и удаление

Не согласны с оценкой пункта — оспорьте её по ссылке из отчёта, мы рассмотрим запрос в течение 2 рабочих дней. Удалить отчёт можно бесплатно, без регистрации и оплаты.