Masz problemy z udowodnieniem zwrotu z inwestycji w testy A/B? Pozwól nam pomóc

Jaka jest wartość twojego programu testów A/B? Jakie korzyści przynosi to Twojej firmie?

Wiesz już, że testy A/B pomagają zoptymalizować współczynniki konwersji i zwiększyć przychody. Ale jak dokładnie możesz udowodnić, że testy A/B wpływają na wyniki finansowe?

Mówiąc słowami Matta Gershoffa,

Testy A/B mogą łagodzić zmiany w zachowaniu, które prowadzą do szkód lub strat

Ale to wszystko może nie zaimponować kadrze kierowniczej w Twojej firmie, która chce namacalnych liczb, które pokazują zwrot z inwestycji w program testów A/B. Udowodnienie korzyści płynących z testów A/B może zapewnić Ci wsparcie ze strony kadry kierowniczej w czasach niepokojów, takich jak teraz.

Oto jak możesz udowodnić wartość swojego programu eksperymentów!

Obliczanie ROI Twojego programu testów A/B

Korzystając z przychodów, możesz obliczyć ROI swojego programu testów A/B. Ludzie z Peak Activity mają świetny wzór do obliczania ROI. Oto kilka wskaźników, o których powinieneś wiedzieć:

Przychód na sesję (RPS)

Oblicz RPS zarówno dla Twojego sterowania, jak i wariantu. Jest to całkowity przychód podzielony przez całkowitą liczbę sesji dla Twojej kontroli i wariantu.

RPS = (łączne przychody ÷ łączna liczba sesji)

Średni wzrost sprzedaży

Będzie to dotyczyło RPS zarówno twojej kontroli, jak i wariantu. Ta metryka musi być statystycznie istotna.

Średni wzrost sprzedaży = (RPS Twojego wariantu – RPS Twojej kontroli) – 1

Koszt przeprowadzenia rzeczywistego testu A/B

Jest to przychód kontrolny pomnożony przez średni wzrost sprzedaży.

Koszt testu A/B = (przychody kontrolne * średni wzrost sprzedaży)

Mnożnik podziału ruchu

Najpierw oblicz sumę sesji, dodając sumę sesji dla kontroli i wariantu. Następnie użyj tej liczby do obliczenia rozkładu ruchu dla kontroli i wariantu.

Całkowita liczba sesji = ( Sesje kontrolne + sesje Variant)

Rozkład ruchu dla Control = (Ruch kontrolny ÷ Całkowita liczba sesji) * 100

Rozkład ruchu dla wariantu = (ruch z wariantu ÷ łączna liczba sesji) * 100

Wartość zmiany wariantu

Jest to obliczane przez pomnożenie kosztu przeprowadzenia testów A/B przez 2. Dzieje się tak, ponieważ standardowe testy A/B mają zwykle dwa rodzaje leczenia. Ta liczba różni się w przypadku testów wielowymiarowych, w których stosuje się wiele zabiegów.

Wartość zmiany = (Koszt przeprowadzenia testu * 2)

Wartość uzyskana z czasu trwania testu

Jest to w zasadzie koszt przeprowadzenia testu A/B odjęty od wartości zmiany wariantu.

Wartość okresu testowania = (Koszt prowadzenia testu – Wartość zmiany)

Prognozuj przychody przyrostowe, jeśli wariant zostanie uruchomiony

Aby obliczyć średnią dzienną sprzedaż, należy podzielić wartość zmiany wariantu przez liczbę dni trwania testów.

Średnia sprzedaż na dzień = (Wartość zmiany wariantu ÷ Czas trwania testu)

Prognoza przychodów to średnia sprzedaż na dzień pomnożona przez liczbę dni w okresie prognozy. Pamiętaj, aby prognozować na tyle daleko, że efekty sezonowości, kampanii sprzedażowych, zachowań klientów itp. zostaną zmniejszone.

Ogólna wartość programu testów A/B

Teraz możesz obliczyć ROI swojego programu testów A/B:

Program testów A/B = (Zwycięskie testy + Przegrane testy + Koszt)

Uwaga: przegrane testy wymagają tylko pierwszych 3 kroków, podczas gdy wygrywające wymagają wszystkich kroków.

Poprosiliśmy kilka firm, które mają dojrzały program testów A/B, aby podzieliły się, w jaki sposób obliczają ROI ze swoich testów.

Oto, co powiedzieli.

Ian Kelly, wiceprezes ds. operacyjnych w NuLeaf Naturals, podzielił się:

Pierwszym krokiem jest obliczenie całkowitego kosztu eksperymentu. Obejmuje to koszt narzędzi wykorzystywanych do testów A/B oraz czas wymagany do przeprowadzenia testów. Wartość czasu porównuje się przez pomnożenie całkowitego czasu spędzonego przez pracowników na projekcie przez stawkę godzinową. Dodaj też koszt alternatywny na wypadek, gdyby test dał mniej konwersji. Koszt alternatywny to dodatkowe pieniądze, które można by zarobić, gdyby nie przeprowadzono eksperymentu.

Drugim krokiem jest posiadanie jasnego lejka, który kończy się sprzedażą produktu. EveryTrack na każdym etapie ścieżki. Użyj narzędzia takiego jak Mixpanel, aby to zrobić. W teście A/B będą dwie odmiany tej samej ścieżki. Zmiany mogą dotyczyć odbiorców, użytych kolorów, a nawet użytej kopii. Obie odmiany należy śledzić osobno i porównywać.

Gdy wszystkie powyższe dane będą dostępne, bardzo łatwo będzie udowodnić zwrot z inwestycji w program testów A/B. Lepiej jest obliczyć ROI na koniec każdego kwartału. Niektóre eksperymenty zakończą się niepowodzeniem, inne zakończą się sukcesem. Ogólna poprawa przychodów powinna być większa niż koszt programu testów A/B. Jeśli tak nie jest, zastanów się ponownie nad stosowanymi strategiami testowania

George Pitchkhadze, dyrektor ds. marketingu w Thrive Cuisine, przedstawia poniżej proces swojej firmy:

Oblicz koszt eksperymentu.

Aby obliczyć ROI, musisz znać swoje koszty. Powinno to obejmować koszty bezpośrednie i pośrednie, np.:

-Koszt używanego oprogramowania/usług.

-Koszt wykorzystanych roboczogodzin.

- Koszty bezpośrednie (np. koszt wynajmu listy e-mailowej lub reklam PPC).

Załóżmy na przykład, że przeprowadzam testy A/B na dwóch platformach reklamowych. Powinienem przyjrzeć się kosztom naszych reklam PPC — ale także tym, ile godzin zajmuje uruchomienie każdego zestawu reklam i cenom usług analitycznych, z których korzystamy w celu informowania naszych reklam.

Oblicz zwrot

Ta część jest prosta. Oblicz bezpośrednie zwroty wynikające z wysiłku. Liczy się tutaj wykorzystanie nowoczesnych narzędzi analitycznych do łączenia sprzedaży i przychodów z takimi rzeczami, jak wysłane e-maile, zestawy reklam na FB/Google itp.

Oblicz ROI

Teraz, gdy masz dokładny obraz zwrotu i inwestycji, możesz łatwo obliczyć ROI. Pamiętaj tylko: dokładnie oblicz koszt eksperymentu i połącz zwroty z konkretnych kampanii i wdrożonych wiadomości

Inne sposoby mierzenia wpływu testów A/B

Istnieją inne sposoby mierzenia zwrotu z inwestycji w program testów A/B.

Dionysia Kontotasiou, dyrektor ds. integracji, prywatności i bezpieczeństwa danych w firmie Convert, podzieliła się 4 innymi metodami oceny wpływu testów A/B.

1. Ile eksperymentów się kończy?

Jeśli duży odsetek eksperymentów firmy jest niejednoznaczny, może to oznaczać, że niewłaściwie konfiguruje eksperymenty. Być może piszą niejednoznaczne hipotezy, takie jak „ Ta zmiana ulepszy aplikację ”, zamiast jednoznacznych, takich jak „ Ta zmiana zwiększy liczbę miesięcznych rejestracji o pięć procent ”.

2. Opinie zespołu ds. produktu

Czy zespół produktu ma więcej informacji i danych o użytkownikach niż wcześniej? Czy premiery ich produktów odnoszą coraz większe sukcesy? Jeśli tak, to dobry znak, że przeprowadzane testy A/B są pomyślne.

3. Eksperymentalna prędkość

Szybkość testowania jest miarą liczby testów, które wykonujesz w określonym przedziale czasu. Jest to operacyjny benchmark mierzący szybkość projektowania, opracowywania, testowania, analizowania i uruchamiania testów. Chociaż niektóre większe testy będą trwać dłużej i są ważne dla uzyskania większego wpływu na wyniki, mniejsze „ szybkie zwycięstwa ” nie powinny być pomijane.

4. Przewidywane a rzeczywiste koszty uruchomienia programu

Śledź godziny lub budżet przeznaczony na prowadzenie programu. Możesz także monitorować przewidywany budżet w porównaniu z rzeczywistymi wydatkami na projekty testowe, aby ocenić wartość programu testów A/B.

Jeśli korzystasz z funkcji Convert Experiences w swoim programie testów A/B, masz dostęp do złożonych raportów (jak na poniższym zrzucie ekranu), które zawierają Twoje cele i wydajność każdej odmiany testu — dzięki czemu możesz nie tylko zmaksymalizować ROI, ale także to udowodnić!

Wniosek

Wartość testów A/B polega zarówno na znajdowaniu ulepszeń, które prowadzą do wzrostu przychodów lub zapewniają lepsze wrażenia klientów na Twojej stronie internetowej, jak i na ograniczaniu ryzyka, które może się pojawić. Korzystając z przychodów i innych miar, możesz ostatecznie udowodnić zwrot z inwestycji w program testów A/B w stosunku do C-Suite w Twojej firmie.

Jak zwiększyć zwrot z inwestycji dzięki testom A/B?

Zarezerwuj demo z Konwertuj, aby dowiedzieć się.

Poproś o demo