A/B-тестирование чат-ботов: с чего начать (и почему это необходимо)

"Привет

Я Боттибот!

Могу я чем-нибудь помочь?"

Я не знаю, какие веб-сайты вы собираетесь посетить сегодня… но в конечном итоге вы зайдете хотя бы на один, где услышите звук *Pop*, и бот начнет «говорить» с вами.

… Предлагая вам предпродажную поддержку.

Или помочь вам с вашими вопросами после продажи.

Или просто предложить поддержку.

Ежедневно чат-боты ведут миллионы таких разговоров с пользователями; принося реальные, ощутимые бизнес-результаты, такие как больше потенциальных клиентов, больше продаж и более высокая лояльность клиентов. И они довольно широко распространены: по прогнозам, к 2020 году их будут использовать колоссальные 80% предприятий.

Поскольку чат-боты приносят доход, их, как и любой другой канал получения дохода, можно оптимизировать для достижения лучших результатов.

Оптимизация чат-ботов с помощью A/B-тестирования (и других экспериментов)

В зависимости от того, как вы используете чат-ботов в своей стратегии маркетинга, продаж и поддержки, проведение экспериментов с ними может дать много преимуществ.

Например, эксперименты с чат-ботами могут помочь вам определить:

• Предпродажные последовательности, которые генерируют больше и лучше потенциальных клиентов
• Пробный обмен сообщениями, который превращает больше лидов в клиентов
• Адаптивный опыт, повышающий конверсию
• Последовательности успеха клиентов, которые приводят к более высокой удовлетворенности клиентов (и лояльности)
• …. И поддерживать последовательности, которые приводят к меньшему количеству билетов

Вкратце: если вы используете чат-ботов, вы можете повысить рентабельность инвестиций в канал с помощью A/B-тестирования.

Многие решения для чат-ботов даже поставляются со встроенными функциями A/B-тестирования, которые позволяют компаниям проводить эксперименты, чтобы найти наиболее эффективные сообщения, последовательности, триггеры и многое другое.

Но чтобы проводить значимые эксперименты с CRO для чат-ботов, вы должны использовать правильный процесс оптимизации.

A/B-тестирование чат-ботов: процесс

Прежде чем приступить к созданию экспериментов с чат-ботами, сначала выберите показатели, которые вы хотите улучшить.

Например, если вы используете чат-бот для маркетинга, вашей метрикой может быть количество лидов, подписавшихся после успешного взаимодействия с чат-ботом .

В качестве альтернативы, если вы используете чат-бота для увеличения продаж, вашей метрикой может быть количество потенциальных клиентов, чья оценка вовлеченности улучшилась благодаря взаимодействию с чат-ботом .

Наконец, если вы используете чат-бот для поддержки, вашей метрикой может быть процентное уменьшение количества входящих заявок .

Что бы это ни было, как только вы определили метрику (или метрики) для оптимизации, вы готовы начать работу над своим экспериментом с чат-ботом.

Вот три простых шага для настройки и запуска победивших A/B-тестов чат-бота:

Шаг № 1: Создание гипотезы

Как и обычные эксперименты с веб-сайтами или приложениями, эксперименты с чат-ботами также начинаются с четкой гипотезы.

Например, когда Magoosh, компания, занимающаяся подготовкой онлайн-тестов, решила провести эксперимент по адаптации, она начала с четкой гипотезы:

Если мы отправим пробным клиентам приветственное сообщение при первом входе в продукт Magoosh, они с большей вероятностью приобретут премиум-аккаунты в будущем.

Хотя Magoosh точно не тестировал чат-бота, он проверил, может ли автоматическая отправка приветственного сообщения клиента в чате помочь увеличить количество конверсий.

В вашей стратегии тестирования чат-ботов ваша гипотеза может выглядеть так : «Предложение автоматизированной помощи чат-бота для новых пробных регистраций приведет к… »

Вы поняли идею, верно?

Полезные ресурсы:

Инструменты для написания гипотезы для ваших экспериментов: это пять действительно крутых CRO-инструментов, которые помогут вам написать выигрышную гипотезу для A/B-тестирования ваших чат-ботов.

Как создать выигрышную гипотезу A/B-тестирования. Этот веб-семинар разбивает процесс написания выигрышной гипотезы на пять простых шагов. Обязательно посмотрите, если вы только начинаете экспериментировать.

Генерация гипотез комплексного A/B-тестирования: это еще один отличный учебник по написанию гипотез для вашего эксперимента. Эта тактика выдвижения гипотез легко применима к экспериментам с чат-ботами.

Шаг № 2: Планирование экспериментов

Как и в обычном эксперименте A/B-тестирования или CRO, на втором этапе вам нужно «создать» эксперименты с чат-ботами.

На этом этапе вам нужно преобразовать свою гипотезу в «изменение» (или набор изменений) для проверки.

Например, если вы предположили, что «более брендированный» чат-бот даст лучшие результаты для вашей маркетинговой команды, на этом этапе вам нужно будет увидеть, какие элементы вашего чат-бокса можно было бы лучше брендировать. Это может быть голос или тон вашего чат-бота или просто визуальный интерфейс.

Пока вы находитесь на этом этапе, ознакомьтесь с этим руководством от замечательных людей из Alma. Это будет очень полезно для разработки ваших экспериментов. Например, в этом эксперименте по брендингу просто зайдите в раздел личности этого руководства по тестированию чат-бота, и вы увидите несколько вопросов, которые покажут вам элементы брендинга, с которыми вы действительно могли бы поэкспериментировать. Смотрите скриншот ниже для вдохновения:

Как только вы узнаете, какой элемент/элементы вы будете тестировать (на основе вашей гипотезы), определите продолжительность эксперимента с чат-ботом и размер выборки.

Полезные ресурсы:

Инструменты для расчета продолжительности и размера выборки ваших экспериментов. Вот некоторые из лучших инструментов CRO для расчета идеального размера выборки и продолжительности ваших экспериментов с чат-ботами.

Калькулятор продолжительности A/B-тестирования Convert: просто введите свои данные в этот калькулятор, и вы узнаете, как долго должен длиться тест или эксперимент вашего чат-бота. Калькулятор продолжительности A/B-тестирования Convert: просто введите свои данные в этот калькулятор, и вы узнаете, как долго должен длиться тест или эксперимент вашего чат-бота.

Шаг № 3: Обучение на экспериментах

После завершения эксперимента и получения данных пришло время проанализировать полученные результаты.

Обычно у любого эксперимента по оптимизации есть только три результата, включая те, которые вы будете проводить для своих чат-ботов. Это:

• Контроль теряет. Здесь ваша гипотеза подтверждается, и ваше изменение оказывает положительное влияние на цифры. Примером такого результата может быть получение 1000 подписок вместо 890 путем изменения изображения профиля вашего чат-бота с мультфильма на талисман.
• Контроль выигрывает. Здесь ваша гипотеза должна быть отклонена, так как ваше изменение оказывает негативное влияние на цифры. Например, новое изображение профиля талисмана получает гораздо меньше регистраций, чем обычное мультяшное изображение.
• Тест неубедительный. Обычно это самые распространенные и зачастую самые разочаровывающие результаты, потому что вы не получаете статистической значимости, чтобы иметь явного победителя.

Итак, как только вы получите результаты своего теста, вам нужно вернуться к шагу № 1 ваших экспериментов: шагу гипотезы.

Либо вы можете начать новый эксперимент для проверки новой гипотезы, либо перейти к итеративному тестированию, что означает возвращение к гипотезе, которая не была подтверждена (из-за проигрышного или неубедительного теста), ее улучшение, а затем повторное тестирование. запуск теста.

При выполнении итеративного тестирования обязательно потратьте время на то, чтобы понять, почему ваш тест не удался с первого раза.

Считать:

Был ли это выбор неправильного тестового сегмента?

Была ли это плохая гипотеза все это время?

Была ли ваша тестовая логистика плохой? Идея здесь состоит в том, чтобы узнать все, что вы можете, из своих выигрышей, проигрышей и даже из ваших безрезультатных экспериментов с чат-ботами, потому что именно так вы оптимизируете — с непрерывным обучением.

Заворачиваем…

Если вы более технически подкованы, вы можете вывести свои эксперименты с чат-ботом на совершенно новый уровень, тестируя контент, которым вы кормите своего чат-бота (или его «базу знаний»).

Или вы также можете попробовать другой алгоритм обучения.

Чат-боты никуда не денутся, и по мере развития машинного обучения они будут в центре внимания, выступая в качестве первой точки соприкосновения с большими сегментами ваших потенциальных клиентов.

Просто имеет смысл присоединиться к A/B-тестированию их производительности.