Статьи / Платформа Rasa в действии: оценка работы виртуального ассистента с помощью конвейера данных диалогов и аналитики

07.03.2024 г., перевод статьи из блога Rasa, Alana Williams, Greg Stephens

Определение метрик

Вы создали ассистента, настроили намерения, запустили его — клиенты с ним взаимодействуют. Но как определить, что все прошло успешно? Как вообще измерить успех? По каким признакам вы оцениваете удовлетворенность клиентов или определяете, что ассистент работает так, как было задумано? Как понять, что именно необходимо оптимизировать, если он работает недостаточно эффективно?

«Метрики можно сравнить с блюдами в меню. Они должны отражать удовлетворение потребностей и желаний»

Без метрик и аналитики невозможно по-настоящему точно определить, действительно ли работа, проделанная вами и командой разработчиков, помогает клиентам или оптимизирует бизнес-процессы. Я уверен, вы думаете: «Мы уже ведем подсчет количества диалогов, сессий и пользователей. Разве нужно что-то еще?»

Отличный вопрос! Мы считаем, что для бизнеса, будет правильным оценивать эффективность работы ассистента именно со стороны клиентов. Следует получить ответы на вопросы:

• используют ли клиенты ассистента;
• планируют ли использовать ассистента повторно;
• решает ли ассистент их проблемы;
• переключаются ли они на операторов, а также процент переключений с бота на оператора.

Отзывы клиентов — важнейшие показатели.

Сбор отзывов клиентов: удовлетворенность клиентов и показатели NPS (индекс потребительской лояльности)

Один из лучших способов измерить удовлетворенность клиентов — это обратная связь. В настоящее время широко распространена метрика CSAT «Customer Satisfaction Score» — показатель, который демонстрирует, насколько клиент доволен взаимодействием с компанией. С его помощью вы сможете узнать, насколько клиенты удовлетворены работой бота. Это может быть простой опрос в конце разговора:

«Насколько вы удовлетворены работой ассистента?», «Ассистент помог решить проблему?»

Можно подобрать более точный вопрос, актуальный для конкретно вашего сценария использования бота, но основная идея заключается в том, чтобы понять настроения клиентов и то, как они оценивают общение с ИИ-помощником. Кроме прочего, это отличный способ дать возможность клиентам рассказать об их опыте с помощью дополнительных заметок или комментариев, которые помогут улучшить качество обслуживания клиентов.

Другой альтернативой CSAT является NPS или Net Promoter Score (Индекс потребительской лояльности). Это снова контрольный вопрос для клиентов и пользователей в конце разговора, как и опрос CSAT, и его можно изменить в соответствии с вашей бизнес-стратегией, но часто используют следующий вопрос: «С какой вероятностью вы порекомендуете нас другу или коллеге?».

Независимо от выбранного инструмента, — CSAT, NPS или любые другие методы сбора отзывов клиентов, — проведение опроса об удовлетворенности является фундаментальным шагом, который следует предпринять для достижения успешных показателей.

Отзывы клиентов реализованы, о чем еще нужно подумать?

Еще одним показателем, который мы считаем полезным при составлении отчетов об эффективности бизнеса, является Containment Rate. Containment Rate — это процент разговоров, обработанных исключительно ассистентом, а не переданных человеку. Это важный показатель просто потому, что вы должны быть уверены, что клиенты не будут разочарованы ответами ассистента и не станут пытаться переключиться на оператора.

Представьте, что вы потратили несколько месяцев на создание ассистента, чтобы сократить потребность во взаимодействии с операторами, и обнаружили, что только небольшой процент клиентов способен успешно им пользоваться. Не очень хорошая окупаемость инвестиций.

Тем не менее, Containment Rate — это только один из показателей успеха, вместе с ним нужно рассматривать Abandonment Rate и Escalation Rate. Abandonment Rate часто рассматривается как процент разговоров, которые клиенты заканчивают преждевременно, а Escalation Rate — это процент разговоров, которые передаются от ассистента оператору. И Abandonment Rate, и Escalation Rate важны, поскольку они оба дают представление о том, насколько хорошо ассистент отвечает на вопросы клиентов: теряют ли они время, безрезультатно блуждая по веткам диалога или вынуждены обращаться к оператору, потому что ассистент не смог успешно ответить на их вопросы.

Вот тут-то и пригодится Rasa Pro Analytics.

Аналитика помогает визуализировать и обрабатывать показатели ассистента Rasa с помощью инструментов — BI-инструменты, хранилища данных — по вашему выбору. Визуализации и анализ работы ассистента и его разговоров позволяют оценить окупаемость инвестиций и со временем улучшить его эффективность.

Rasa Pro Analytics сохраняет историю чат-бота и данные разговоров в хранилище данных по вашему выбору (PostgreSQL, Redshift, BigQuery или Snowflake). Хранилище данных и BI-инструменты можно использовать для составления отчетов по ключевым показателям эффективности, таким как Containment Rate, Abandonment Rate и Escalation Rate.

Графики и информационные панели реализованы на базе Metabase и Tableau. Это дает возможность извлекать и визуализировать пользовательские ключевые показатели эффективности, недоступные в готовых решениях. Анализируя эти показатели в течение некоторого времени, вы можете выявить тенденции и закономерности, которые помогут улучшить общий пользовательский опыт.

Rasa Pro Analytics позволяет оценивать ключевые показатели эффективности, связанные с контактами, на различных платформах, включая колл-центры, веб-приложения и мобильные приложения, путем интеграции с хранилищами данных и инструментами Business intelligence по вашему выбору.

Определив слабые места чат-бота, вы можете предпринять шаги для повышения производительности. Например, если вы заметили, что пользователи пытаются перевести разговор на оператора или преждевременно прекращают его, вы можете улучшить Natural Language Processing и диалоги, чтобы поддерживать высокую вовлеченность пользователей и не допускать их выхода из разговора.

Кроме этого, важно знать, насколько хорошо работают специфические ветки диалога бота, чтобы улучшить его в ключевых областях. Например, в чат-боте банка у вас может быть ветка, позволяющая переводить средства между счетами. Для этого пользователю необходимо указать отправителя и счет, а также сумму перевода. С помощью Rasa Pro Analytics мы можем измерить степень завершения ключевых веток, рассчитав процент пользователей, которые начали и успешно завершили процедуру.

Наконец, отслеживание ключевых показателей эффективности может помочь оценить окупаемость инвестиций в чат-бота. Понимая, как чат-бот работает с точки зрения вовлеченности и удовлетворенности пользователей, вы можете определить ценность, которую он предоставляет. Если вы вкладываете время и ресурсы в разработку и поддержку собственного ассистента, важно иметь возможность измерить его влияние на бизнес и продемонстрировать его ценность заинтересованным сторонам.