Пытаетесь доказать рентабельность A/B-тестирования? Позвольте нам помочь

В чем ценность вашей программы A/B-тестирования? Какие преимущества это принесет вашей компании?

Вы уже знаете, что A/B-тестирование помогает оптимизировать коэффициент конверсии и увеличить доход. Но как именно вы можете доказать, что A/B-тестирование влияет на вашу прибыль?

По словам Мэтта Гершоффа,

A/B-тестирование может смягчить изменения в поведении, которые приводят к вреду или потерям

Но все это может не впечатлить топ-менеджеров вашей компании, которым нужны реальные цифры, показывающие рентабельность инвестиций в вашу программу A/B-тестирования. Доказательство преимуществ ваших A/B-тестов может принести вам поддержку руководителей в трудные времена, как сейчас.

Вот как вы можете доказать ценность своей экспериментальной программы!

Расчет рентабельности вашей программы A/B-тестирования

Используя доход, вы можете рассчитать рентабельность инвестиций в программу A/B-тестирования. У людей из Peak Activity есть отличная формула для расчета рентабельности инвестиций. Вот несколько показателей, о которых вам следует знать:

Доход за сеанс (RPS)

Рассчитайте число запросов в секунду для своего контроля и варианта. Это общий доход, разделенный на общее количество сеансов для вашего контроля и варианта.

RPS = (общий доход ÷ общее количество сеансов)

Средний рост продаж

Это будет включать RPS как вашего контроля, так и варианта. Этот показатель должен быть статистически значимым.

Средний рост продаж = (RPS вашего варианта — RPS вашего контроля) — 1

Стоимость проведения реального A/B-теста

Это контрольный доход, умноженный на средний рост продаж.

Стоимость A/B-тестирования = (контрольный доход * средний рост продаж)

Множитель для разделения трафика

Сначала подсчитайте общее количество сеансов, добавив общее количество сеансов для элемента управления и варианта. Затем используйте эту цифру для расчета распределения трафика для элемента управления и варианта.

Всего сеансов = (сеансы контроля + сеансы вариантов)

Распределение трафика для контроля = (контрольный трафик ÷ общее количество сеансов) * 100

Распределение трафика для варианта = (вариантный трафик ÷ общее количество сеансов) * 100

Значение изменения варианта

Это рассчитывается путем умножения стоимости проведения A/B-тестов на 2. Это связано с тем, что стандартные A/B-тесты, как правило, имеют две обработки. Эта цифра отличается для многомерных тестов, где у вас есть несколько вариантов лечения.

Стоимость изменения = (Стоимость проведения теста * 2)

Ценность, полученная от продолжительности тестирования

По сути, это стоимость проведения A/B-теста, вычтенная из стоимости изменения варианта.

Стоимость периода тестирования = (Стоимость выполнения теста – Стоимость изменения)

Прогноз дополнительного дохода, если вариант будет запущен

Чтобы найти средние продажи в день, разделите значение изменения варианта на количество дней, в течение которых выполнялись тесты.

Средние продажи в день = (Стоимость изменения варианта ÷ Продолжительность теста)

Прогноз дохода будет представлять собой среднее количество продаж в день, умноженное на количество дней в прогнозируемом периоде. Не забывайте прогнозировать достаточно далеко, чтобы уменьшить влияние сезонности, рекламных кампаний, поведения клиентов и т. д.

Общая ценность программы A/B-тестирования

Теперь вы можете рассчитать ROI вашей программы A/B-тестирования:

Программа A/B-тестирования = (Выигрышные тесты + Проигрышные тесты + Стоимость)

Примечание: для проигрышных тестов нужны только первые 3 шага, а для выигрышных — все.

Мы попросили несколько компаний, у которых есть зрелая программа A/B-тестирования, рассказать, как они рассчитывают рентабельность инвестиций в свои тесты.

Вот что они сказали.

Ян Келли, вице-президент по операциям NuLeaf Naturals, поделился:

Первым шагом является определение общей стоимости эксперимента. Сюда входит стоимость инструментов, используемых для A/B-тестирования, и время, необходимое для проведения тестирования. Стоимость времени приравнивается путем умножения общего времени, затраченного сотрудниками на проект, на почасовую заработную плату. Кроме того, добавьте альтернативную стоимость на случай, если тест приведет к меньшему количеству конверсий. Альтернативная стоимость — это дополнительные деньги, которые вы могли бы заработать, если бы не проводили эксперимент.

Второй шаг — иметь четкую воронку, которая заканчивается продажей продукта. EveryОтслеживайте каждый шаг воронки. Используйте для этого такой инструмент, как Mixpanel. В A/B тесте будет два варианта одной и той же воронки. Изменения могут быть нацелены на аудиторию, используемые цвета или даже используемый текст. Оба варианта следует отслеживать отдельно и сравнивать.

Как только все вышеперечисленные данные будут доступны, будет очень легко доказать рентабельность инвестиций в вашу программу A/B-тестирования. Рассчитывать ROI лучше в конце каждого квартала. Некоторые эксперименты потерпят неудачу, а некоторые увенчаются успехом. Общее улучшение дохода должно быть больше, чем стоимость вашей программы A/B-тестирования. Если это не так, пересмотрите свои стратегии тестирования.

Джордж Питчхадзе, директор по маркетингу в Thrive Cuisine, описывает процесс своей компании ниже:

Рассчитайте стоимость эксперимента.

Чтобы рассчитать рентабельность инвестиций, вам нужно знать свои затраты. Это должно включать прямые и косвенные затраты, например:

-Стоимость используемого программного обеспечения/услуг.

-Стоимость использованных человеко-часов.

- Прямые расходы (например, стоимость сдачи в аренду списка адресов электронной почты или объявлений PPC).

Например, предположим, что я провожу сплит-тестирование двух рекламных платформ. Я должен посмотреть на наши расходы на рекламу PPC, а также на то, сколько часов требуется для запуска каждой группы объявлений, и на стоимость аналитических услуг, которые мы используем для информирования наших объявлений.

Рассчитайте свой доход

Эта часть проста. Рассчитайте прямую отдачу от усилий. Здесь важно использовать современные аналитические инструменты для связи продаж и доходов с такими вещами, как отправленные электронные письма, группы объявлений в FB/Google и т. д.

Рассчитать рентабельность инвестиций

Теперь, когда у вас есть точное представление о доходах и инвестициях, вы можете легко рассчитать рентабельность инвестиций. Просто помните: тщательно рассчитайте стоимость эксперимента и свяжите возвраты с конкретными кампаниями и развернутыми сообщениями.

Другие способы измерения влияния A/B-тестирования

Есть и другие способы измерить рентабельность инвестиций в программу A/B-тестирования.

Дионисия Контотасиу, руководитель отдела интеграции, конфиденциальности данных и информационной безопасности Convert, поделилась еще 4 методами оценки влияния ваших A/B-тестов.

1. Сколько экспериментов завершается?

Если большой процент экспериментов компании не дает результатов, это может быть признаком того, что они неправильно настраивают эксперименты. Возможно, они пишут двусмысленные гипотезы, такие как « Это изменение сделает приложение лучше », а не явные, такие как « Это изменение увеличит количество ежемесячных регистраций на пять процентов ».

2. Обратная связь с командой продукта

Стало ли у продуктовой команды больше информации и данных о пользователях, чем раньше? Становятся ли запуски их продуктов более успешными? Если да, то это хороший признак того, что проводимые A/B-тесты прошли успешно.

3. Скорость эксперимента

Скорость тестирования — это мера того, сколько тестов вы выполняете за определенный период времени. Это операционный тест , позволяющий оценить, насколько быстро вы можете проектировать, разрабатывать, тестировать, анализировать и запускать свои тесты. В то время как некоторые более крупные тесты занимают больше времени и важны для оказания большего влияния на результаты, не следует сбрасывать со счетов небольшие « быстрые победы ».

4. Прогнозируемые и фактические затраты на запуск программы

Отслеживайте часы или бюджет, потраченные на выполнение вашей программы. Вы также можете отслеживать прогнозируемый бюджет и фактические расходы на проекты тестирования, чтобы оценить ценность вашей программы A/B-тестирования.

Если вы используете Convert Experiences для своей программы A/B-тестирования, у вас есть доступ к сложным отчетам (как на снимке экрана ниже), которые включают ваши цели и производительность каждого варианта теста — так что вы можете не только максимизировать рентабельность инвестиций, но и доказать это!

Вывод

Ценность A/B-тестирования заключается как в поиске улучшений, которые приводят к увеличению дохода или обеспечивают лучший опыт для ваших клиентов на вашем веб-сайте, так и в снижении возможных рисков. Используя доход и другие показатели, вы можете убедительно доказать окупаемость вашей программы A/B-тестирования высшему руководству вашей компании.

Как повысить рентабельность инвестиций в A/B-тестирование?

Закажите демонстрацию с Convert to Find Out.

Запросить демо