Jak prezentować metryki Shopify w raporcie z testów A/B, aby zapewnić wyraźną wartość?

Tworzenie gwiezdnego raportu z testu Shopify A/B ma dwa główne aspekty — wybór odpowiednich metryk i umiejętność ich prezentacji.

Wybór metryk wpływa na wynik testu i określa, na czym koncentruje się cały program optymalizacyjny.

PS Nie wybieraj zbyt wielu danych. Stosuj zasadę Złotowłosej: nie za dużo i nie za mało. Za dużo, a w każdym eksperymencie znajdziesz „zwycięzcę”. Za mało, a stracisz potencjalną naukę i prawdopodobnie wpłyniesz negatywnie na inne kluczowe wskaźniki.

A jeśli chodzi o prezentowanie tych wskaźników w raporcie Shopify, pomyśl kompleksowo, ale usprawnij. Połącz wizualizacje z liczbami, aby wyróżnić kluczowe zmiany i trendy lub wzorce metryk prowadzących do zmiany.

Bez raportu, który przedstawia znaczące wyniki kierownictwu, może być trudno zdobyć poparcie dla dalszych eksperymentów lub udowodnić zwrot z inwestycji w testy A/B.

Być może Twoja nauka wiązała się z całym ryzykiem, którego uniknąłeś, nie wdrażając złych pomysłów lub spostrzeżeń, które uzyskałeś, gdy straciłeś odmianę, ale segment okazał się obiecujący lub metryka zmieniła się w nieoczekiwany sposób. A teraz musisz zrozumieć, dlaczego tak się stało poprzez eksperyment i udowodnić związek przyczynowy.

Konkluzja: Utwórz raport, który jest łatwy do zinterpretowania i pomóż zespołowi przeprowadzającemu eksperymenty w jasny sposób przekazać interesariuszom wartość wysiłków — rzeczywiste wygrane, naukę i spostrzeżenia.

Najlepsze wskaźniki Shopify do śledzenia w testach A/B i ich znaczenie

Chociaż metryki , które należy śledzić, zależą od Twojej hipotezy, oto kilka metryk Shopify, które warto rozważyć

• Razem zamówienia : liczba złożonych zamówień

• Całkowita sprzedaż: Całkowita kwota jest podzielona na kategorie według kanału sprzedaży
  Formuła : Sprzedaż brutto – rabaty – zwroty + wysyłka + podatki

• Najlepsze strony docelowe: pokazuje stronę, na której klienci rozpoczynają sesję.
  
• Średnia wartość zamówienia : średnia wartość wszystkich zamówień (bez kart podarunkowych) podzielona przez łączną liczbę zamówień.

• Współczynnik konwersji sklepu internetowego: procent sesji, które zakończyły się zamówieniem
  
  
  • Dodano do koszyka: liczba i procent sesji, podczas których klienci dodali co najmniej jeden przedmiot do koszyka.
    Formuła : ((sesje z wyświetlonymi pozycjami koszyka) / (łączna liczba sesji))*100
  • Osiągnięto kasę: liczba i odsetek sesji, podczas których kupujący dodali co najmniej jeden produkt do koszyka, dotarli do kasy i wykonali działanie.
  • Konwertowane sesje: liczba i odsetek sesji, podczas których kupujący dodali co najmniej jeden produkt do koszyka, dotarli do kasy, a następnie dokonali zakupu.
• Wskaźnik porzuconych koszyków: odsetek koszyków, które klienci porzucają, zanim dotrą do kasy.
  Formuła : (1 – (Liczba zrealizowanych zakupów / Liczba rozpoczętych sprzedaży))*100

• Współczynnik odrzuceń: odsetek sesji z pojedynczym zaangażowaniem
  Formuła: Razem sesji jednostronicowych / Razem wizyt wstępnych

Możesz także śledzić nowych klientów, powracających klientów, kanał polecający (SEO, media społecznościowe, bezpośrednie lub e-mail) oraz sprzedaż według lokalizacji.

Zapytaliśmy ponad 50 optymalizatorów Shopify za pośrednictwem HARO o metryki, które wolą śledzić i pojawiło się kilka wyraźnych ulubionych:

• Współczynnik konwersji (CR)
• Współczynnik klikalności (CTR)
• Wartość konwersji
• Czas spędzony na stronie
• Współczynnik odrzuceń
• Głębokość przewijania
• Zaangażowanie na określonych stronach – np. na stronie katalogu/kategorii
• Głębokość nawigacji w witrynie
• Wyświetlenia strony
• Widoki elementów
• Dodaj do koszyka
• Zakupy netto
• Czas do kasy
• AOV
• NPS (po zakupie)
• Średni przychód na odwiedzającego
• Wskaźnik porzuconego koszyka
• Zysk netto

W rzeczywistości, jeśli chodzi o śledzenie wskaźników, nie ma jednej uniwersalnej odpowiedzi. Najważniejsze dane do śledzenia będą się różnić w zależności od konkretnych celów i zadań.

W przypadku niektórych sklepów Shopify może to wyglądać tak:

Niektóre z moich ulubionych celów do śledzenia w sklepach Shopify to

1. Zwiększ klikalność reklam.
2. Zwiększ sprzedaż określonych produktów.
3. Popraw nawigację po stronie głównej.

Jessica Kats, ekspert ds. handlu elektronicznego i handlu detalicznego w Soxy

Shopify Analytics: 3 wskaźniki, na które należy zwrócić szczególną uwagę

W Convert prosimy właścicieli sklepów Shopify o zwrócenie szczególnej uwagi na 3 wskaźniki:

1. Współczynnik konwersji (CR) — ryzykując stwierdzenie oczywistego, współczynnik konwersji może być dobrym wskaźnikiem sukcesu lub niepowodzenia eksperymentu. Ostatecznie chcesz zwiększyć sprzedaż i zwiększyć przychody. Ale może to nie być najlepszy wskaźnik, jeśli nie próbujesz mierzyć, jak Twoje działania wpływają na osoby podejmujące działania w Twojej witrynie.
   
   Czytaj dalej, aby dowiedzieć się, który wskaźnik jest najważniejszy!

2. Średnia wartość zamówienia (AOV) : chociaż AOV nie jest najbardziej kompletnym wskaźnikiem, warto rozważyć jego monitorowanie. Jest to wskaźnik rentowności w różnych segmentach — szeroka miara, która określa ilościowo , ile ludzie kupują z różnych kategorii.
   Używając go jako podstawowego wskaźnika eCommerce, upewnij się, że:
   
   
   • AOV jest monitorowany we wszystkich jednostkach SKU
   • Śledzisz zamówienia od dystrybutorów i zamówienia hurtowe, ponieważ może to spowodować utratę AOV
   • AOV nie wskazuje zysku, ponieważ nie odejmuje kosztu sprzedanych towarów, co stanowi znaczny wydatek.

3. Średni przychód na odwiedzającego (ARPV): W przeciwieństwie do AOV, którego jednostką randomizacyjną są zamówienia, co utrudnia prawidłowe testowanie, ARPV wykorzystuje odwiedzających jako jednostkę randomizacyjną, co jest praktyczne.
   
   ARPV jest najważniejszym wskaźnikiem do śledzenia, ponieważ składa się zarówno z CR, jak i AOV.

A Alex Birkett, współzałożyciel Omniscient Digital, zgadza się:

Cel eksperymentu jest niezwykle ważny zarówno z punktu widzenia projektu eksperymentu, jak i tego, czego faktycznie uczysz się z eksperymentu.

W zbyt wielu firmach prosty wskaźnik proporcji „współczynnika konwersji” jest uniwersalnym celem eksperymentu. Jest to w porządku, jeśli chcesz dowiedzieć się, czy Twoja interwencja zwiększa odsetek osób podejmujących działania, takie jak kupowanie *cokolwiek* w Twojej witrynie, ale jeśli nie tego chcesz się nauczyć lub jeśli nie jest to wskazówka, którą chcesz próbując się ruszyć, to nie jest najlepsza metryka.

Wiele witryn Shopify, z którymi pracowałem, również chciało
a) zwiększyć wielkość zakupów (lub średnią wartość zamówienia – AOV) dla tych, którzy kupują lub
b) zwiększyć średnią wartość odwiedzających na zbiorze stron.

W przypadku tych pierwszych zechcesz skonfigurować AOV i śledzenie przychodów. Wymagają one integracji z koszykiem, ale większość narzędzi testowych, w tym Convert, ma natywną integrację z Shopify.

Convert ma również cały przewodnik po optymalizacji AOV, który możesz sprawdzić.

Optymalizując pod kątem AOV, śledzę również współczynnik konwersji, aby upewnić się, że nie narażam tego wskaźnika.

Ale patrzę na to jak na metrykę poręczy.

Jeśli uda mi się zwiększyć AOV przy zachowaniu podstawowego współczynnika konwersji, wysyłam eksperyment do wersji produkcyjnej. Mogę również obliczyć wartość marginalną w przypadku, gdy współczynnik konwersji spadnie nieco, ale średnia wartość zamówienia nadrabia to, zwiększając średni przychód na użytkownika eksperymentu.

To prowadzi mnie do mojego drugiego narzędzia do raportowania post hoc dla Shopify: średni przychód na odwiedzającego.

Niektórzy twierdzą, że jest to ostateczna metryka optymalizacji konwersji w sklepie eCommerce, ponieważ jest to złożona metryka, na którą może wpływać zwiększenie konwersji lub zwiększenie wartości każdej konwersji (tj. średniej wartości zamówienia).

Średnia wartość zamówienia i średni przychód na należnego odwiedzającego stanowią dodatkowe komplikacje w raportowaniu.

Współczynnik konwersji jest metryką binarną i może być traktowany jako zmienna kategoryczna (zaliczenie / niepowodzenie, konwersja lub nie) i może być analizowany za pomocą czegoś w rodzaju testu chi-kwadrat.

Średnia wartość zamówienia jest zmienną ciągłą i często zależy od wartości odstających (na przykład ktoś wchodzi i kupuje 10 razy więcej niż normalny zakup – co zrobić z tą wartością odstającą?).

Na średni przychód na odwiedzającego mają również wpływ wartości odstające i jest to zmienna ciągła, ale podstawowe założenia modelu mają tendencję do równoważenia się przy większych liczebnościach próby.

Te dwa wskaźniki są niedoceniane w raportach dotyczących eksperymentów Shopify, ale stwarzają nowe wyzwania dla analizy poza prostym wzrostem współczynnika konwersji.

Większość narzędzi do testowania A/B może to jednak uwzględnić i nie będziesz mieć zbytniego problemu z wnioskowaniem.

Wskazówka: Skorzystaj z kalkulatora do analizy przedtestowej, aby ocenić wymagania dotyczące wielkości próbki pod kątem tolerancji ryzyka i wpływu, jaki chcą wykryć na ważne metryki wymienione powyżej.

Jakie elementy i spostrzeżenia powinien zawierać świetny raport z testów A/B Shopify?

Jak więc wygląda gwiezdny raport z testów Shopify A/B? Dojdziemy do tego za sekundę.

Najpierw zanurz to w:

Możesz stworzyć dobry i wartościowy raport z testu tylko wtedy, gdy zacząłeś test od dobrej hipotezy

Andra Baragan, założycielka ONTRACK Digital

Jeśli potrzebujesz wskazówek, jak stworzyć solidną hipotezę, mamy Cię w zasięgu ręki.

Teraz, gdy mamy już omówione nasze podstawy, oto więcej porad od Andry Baragan, jak skonstruować test A/B:

Każdy nowy test A/B powinien rozpocząć się od odpowiedzi na następujące pytania:

Problem : jaki jest problem, który próbujesz rozwiązać?

Szansa : jak Twoje rozwiązanie rozwiąże problem?

Ścieżka optymalizacji : w jaki sposób pomaga to naszemu klientowi osiągnąć jego cele? Źródło : z jakich źródeł danych skorzystałeś przy tworzeniu swojego rozwiązania?

Wreszcie, jeśli chodzi o raportowanie, Andra zaleca powrót i odpowiadanie na te pytania liczbami.

W każdym raporcie z testu uwzględniamy:

• Czas trwania testu : (ile dni trwał test)
• Interwał testowy: (przedział czasowy, w którym został uruchomiony)
• Co przetestowaliśmy: (wyjaśnij, co zmieniłeś)
• Spostrzeżenia : (1-2 linijki, dlaczego to przetestowałeś, co zaobserwowałeś, co skłoniło Cię do przetestowania)
• Czego nauczyłeś się z testu? Jakie są teraz następne kroki?
• Czy test jest czymś, co należy zaimplementować na stronie internetowej na żywo? Czy chcesz powtórzyć odmianę i ponownie przetestować? Jakie działania są potrzebne po tym raporcie?

Zawsze otrzymujemy wyniki naszych testów z Google Analytics – tworzymy niestandardowe segmenty użytkowników dla każdej odmiany, a następnie możemy je uruchamiać we wszystkich odpowiednich raportach – daje nam to niezrównany wgląd w wpływ testu na zachowanie użytkowników.

Uwaga : jeśli pobierzesz swoje dane analityczne z pulpitu nawigacyjnego Shopify i porównasz je z Google Analytics, wystąpi kilka rozbieżności związanych ze sposobem obliczania metryk. Oto więcej informacji o tym, dlaczego tak się dzieje.

Struktura raportu

Struktura raportu może się różnić w zależności od tego, komu go przedstawiasz — kierownictwo nie potrzebuje tylu szczegółów, co zespół testowy. Jednak raport powinien zazwyczaj obejmować następujące aspekty:

• Slajd 1: Cel testu – Dlaczego przeprowadziłeś test i jaka była Twoja hipoteza, która doprowadziła Cię do zaprojektowania tego konkretnego testu?
  
  W przypadku interesariuszy i szerszej organizacji możesz utrzymać ten dość wysoki poziom. Prezentując swojemu zespołowi testowemu kontekst z poprzednich testów (jeśli dotyczy) i zanurz się głęboko w metryki, które miałeś nadzieję przenieść.

• Slajd 2: Szczegóły testu – Pokaż różne odmiany testu i dodaj krótką notatkę wyjaśniającą różnice. Uwzględnij czas przeprowadzania testów, czas ich trwania oraz przegląd liczby użytkowników według odmian.
  
  Prezentując się kierownictwu lub innym zespołom, możesz pominąć szczegóły, które nie dotyczą wiedzy lub spostrzeżeń. Dla swojego zespołu testowego możesz rozwinąć ten slajd lub stronę, aby uwzględnić każdy najdrobniejszy szczegół.

• Slajd 3: Wyniki testu – Pokaż procentowy wzrost lub stratę, współczynniki konwersji z różnych wariantów oraz istotność statystyczną testów.
  
  Interesariusze dbają o wyniki, dzięki czemu jest to jeden z najważniejszych aspektów Twojego raportu. Wyróżnij wygrane i KPI, które poruszały się we właściwy sposób. Usuń wartości odstające, które nie są istotne dla wyniku. Pamiętaj, że musisz odwoływać się do ich własnego interesu. Daj im coś, co może sprawić, że będą dobrze wyglądać.
  
  W przypadku zespołu testowego możesz poświęcić więcej czasu na straty i wskaźniki, które nie zmieniły się zgodnie z oczekiwaniami.

• Slajd 4: Wnioski wyciągnięte z testu – Jeśli test nie przyniósł wyraźnych wygranych, jest to Twoja szansa na wykorzystanie danych do opowiedzenia historii. Wyjaśnij zainteresowanym stronom, co oznaczają liczby w raporcie, jakie informacje uzyskałeś podczas przeprowadzania tych testów i jak planujesz generować nowe hipotezy do przyszłych testów.
  
  Jest to również bardzo ważne dla Twojego zespołu testowego. Lekcje, które wyciągasz z niepowodzeń, mogą zadecydować o kolejnych krokach zespołu.

• Slajd 5: Wpływ na przychody : jeśli możesz, spróbuj oszacować procentowe wzrosty, które wykazałeś wcześniej, na podstawie prognozowanego wpływu na przychody rok do roku.
  
  Pamiętaj, aby interesariusze wykonawczy byli zainteresowani eksperymentowaniem, musisz pokazać im wpływ na wyniki firmy. Jeśli nie masz żadnych przewidywanych przychodów do wykazania, upewnij się, że Twoje informacje zawierają plan przeprowadzania przyszłych testów, które mogą mieć wpływ.
  
  

Ponieważ nie ma jednego sposobu, aby zrobić to dobrze, poprosiliśmy kilku ekspertów, aby podzielili się strukturą swoich raportów i oto, co powiedzieli:

Mam bardzo standardową metodę konstruowania raportów, która obejmuje:

1. Przegląd
   
   Szybkie, przystępne podsumowanie tego, co testowaliśmy, dlaczego to zrobiliśmy, co zaobserwowaliśmy i co zamierzamy zrobić dalej.

2. Koncepcja testowa
3. Kreacja eksperymentalna
4. Daty i czas trwania
5. Metryka
6. Strony
7. Hipoteza
8. Analiza
9. Wyniki
   
   Moim zdaniem konieczne jest, aby każdy raport zawierał pełne surowe wyniki, aby umożliwić ich przesłuchanie przez innych, a także z korzyścią dla potomności.
   
   Możemy przyjąć za pewnik, że możemy uzyskać dostęp do wyników w naszym narzędziu do testowania A/B już teraz, ale co za rok? Dwa lata? Trzy?

10. Następne kroki
    
    Na podstawie tego, co zobaczyliśmy w tym eksperymencie, co zrobimy dalej?

Oliver Palmer, konsultant CRO w Oliver Palmer

Nasze raporty z testów A/B zawsze zawierają następujące elementy:

1. Jasny opis zmian, które zostały wprowadzone w każdej wersji;

2. Wyniki eksperymentu, w tym która wersja wypadła lepiej; oraz

3. Zalecenia do dalszych eksperymentów na podstawie wyników testu A/B

Raporty te pomagają nam zrozumieć, co najlepiej sprawdza się w naszym sklepie, i podejmować świadome decyzje dotyczące poprawy naszego współczynnika konwersji.

Luke Lee, dyrektor generalny PalaLeather

1. Wyświetlony eksperyment (strona) – Ile osób obejrzało eksperyment?
2. Eksperyment obejrzany (element) – jeśli eksperyment jest wyświetlany tylko na zwoju, ile osób go widziało?
3. Zatrzymanie eksperymentu – czy na komputerze kursor użytkownika znajdował się nad obszarem eksperymentu?
4. Interakcja eksperymentalna — czy użytkownik wchodził w interakcję z eksperymentem? (Śledź każdy element indywidualnie)
5. Czas na stronie
6. Czas do kasy ”

Alex Halliday, założyciel i dyrektor generalny AirOps

Oto krótki przykład tego, jak wygląda jeden z raportów aktywności ONTRACK Digital:

( Możesz użyć tego jako szablonu raportu.)

Slajd 1:

• Nazwa handlowa
• Nazwa raportu
• Okres czasu

Slajd 2:

Najważniejsze punkty testu

• Liczba wykonanych testów
• Liczba udanych testów
• Wdrożone funkcje
• Liczba trwających testów
• Podsumowanie wszystkich testów z aktualizacją statusu

Slajd 3:

Przegląd Google Analytics dla określonego okresu

• Przychody i współczynnik konwersji
• Transakcje
• AOV

Slajd 4:

Obecnie trwają testy

• Migawka aktualnie trwających testów
• Obraz z oprogramowania do testowania A/B pokazujący, który z nich staje się zwycięzcą
• Dane z Google Analytics wspierające postęp testu

Slajd 5:

Przegląd przyszłych testów

• Wszystkie planowane testy

Możesz mieć jeden slajd wyjaśniający każdy test wraz z grafiką.

Cele i wskaźniki KPI

Cele i wskaźniki KPI znajdują się w sekcji „szczegóły testu”, dzięki czemu można wyjaśnić cel eksperymentu.

Pamiętaj, aby dodać notatkę wyjaśniającą swój wybór. Możesz być zdenerwowany, dlaczego wybrałeś konkretny cel lub KPI do śledzenia w stosunku do innych.

Potrzebujesz pomocy w określeniu celów i wskaźników KPI do śledzenia? Zapoznaj się z naszym kompletnym przewodnikiem dotyczącym korzystania z celów w testach A/B.

Poprosiliśmy również kilku ekspertów, aby włączyli się w to, jakie cele śledzą:

Moim ulubionym celem testowania w sklepach Shopify jest zwiększenie zaangażowania na stronie katalogu. Nasze produkty definiują przychody ze sprzedaży i wzrost liczby klientów w kanale. Skupienie się na tym celu i przetestowanie daje nam zaradny wgląd w to, czy strona jest odwiedzana wystarczająco często. Jeśli zaangażowanie jest niskie, testowanie pomaga nam określić obszary, w których nam brakuje, co skłania do zreformowania działań marketingowych.

Aviad Faruz, dyrektor generalny Faruzo

Jeśli chodzi o śledzenie celów, zazwyczaj wybieram jedną podstawową metrykę z poniższej listy, a pozostałe używam jako metryki zdrowia lub metryki licznika. Dobrze jest mieć oko na kilka liczb na wypadek niezamierzonych konsekwencji.

1. Współczynnik odrzuceń
2. CVR (ogólny wzrost współczynnika konwersji)
3. AOV (średnia wartość zamówienia)
4. Średni przychód na odwiedzającego (mieszanka dwóch powyższych)
5. NPS lub podobny

Lubię też segmentować użytkowników według:

1. Źródło UTM
2. Rodzaj urządzenia
3. Lokalizacja
4. Nowy a powracający gość”

Alex Halliday, założyciel i dyrektor generalny AirOps

Jeśli chodzi o cele, zwykle istnieje wiodący wskaźnik, na który próbujemy bezpośrednio wpłynąć (np. przeglądane strony produktów lub interakcje z filtrem rozmiaru/koloru), a następnie prawie zawsze konwersja i przychody na użytkownika. Śledzone cele powinny bezpośrednio odnosić się do hipotezy i celów komercyjnych eksperymentu, więc śledzenie więcej niż trzech lub najwyżej czterech jest rzadko przydatne.

Oliver Palmer, konsultant CRO w Oliver Palmer

W naszych testach A/B zazwyczaj śledzimy dwa cele: współczynnik konwersji i średnią wartość zamówienia . Jednak w zależności od charakteru eksperymentu możemy również śledzić inne cele, takie jak współczynnik klikalności lub czas spędzony w witrynie. Generalnie zależy to od eksperymentu. Inni użytkownicy i firmy mogą mieć różne kryteria śledzenia swoich celów.

Naszymi ulubionymi celami do testowania w sklepach Shopify są współczynnik konwersji i średnia wartość zamówienia. Uważamy, że są to najważniejsze wskaźniki dla naszego sklepu i dostarczają najwięcej informacji o tym, jak możemy ulepszyć nasz sklep. Jednak każdy sklep jest inny i może się okazać, że inne cele są ważniejsze dla Twojego biznesu. To naprawdę zależy od tego, do czego chcesz zoptymalizować.

Luke Lee, dyrektor generalny Palaleather

Dodawanie kreacji do wizualnego opowiadania historii

Większość używanego oprogramowania do testowania A/B oferuje tabele i wykresy lub gotowe szablony, których można użyć podczas eksportowania raportów. Możesz dodać te grafiki do swojego raportu (oczywiście, jeśli są istotne) i rozważyć stworzenie własnych.

Twoje liczby opowiadają historię. Po prostu użyj kreacji, aby zobrazować to wizualnie. Sztuką jest użycie wizualizacji, które są łatwe do zrozumienia, najlepiej za jednym razem.

Annemarie Klaassen i Ton Wesseling z CXL poszli tą ścieżką, próbując różnych metod, aby znaleźć rozwiązanie, które działa. Oto krótkie podsumowanie ich rad:

Wskazówka 1: Jeśli nie masz pewności, trzymaj się normy — arkusze kalkulacyjne programu Excel

Od razu widać windę i uderzenie. Możesz także oznaczyć zwycięzcę kolorem, aby każdy mógł łatwo zobaczyć, który wariant wygrał.

Wskazówka 2: Dodaj wykres

Możesz spojrzeć na dzienny współczynnik konwersji w czasie i dodać dolny i górny limit domyślnej odmiany.

Nie da to jednak jednoznacznej odpowiedzi, który wariant wygrał i jak wpłynął na KPI; tylko pokazać, że istnieje stabilny efekt, który nie jest interesujący dla interesariuszy.

Wskazówka 3: Emuluj statystyków

Innym sposobem (prawdopodobnie bardziej dokładnym) jest odtworzenie tego, co robią statystycy: 2 krzywe dzwonowe, wartość krytyczna i zacieniony obszar. Ale problem polega na tym, że zbyt trudno jest to jasno wyjaśnić.

Więc Annemarie i Ton wymyślili to:

Dwa wyraźne punkty pokazujące współczynnik konwersji obu wariantów. Linia przerywana reprezentuje przedziały ufności.

„Jeśli współczynnik konwersji odmiany B leży poza przedziałem ufności A, odmiana B jest znacznie lepsza. Zielony zacieniony obszar podkreśla to. Kropka w czerwonym obszarze oznaczałaby, że zmienność wypada znacznie gorzej”.

Zajęło im jeszcze kilka prób, aby wszystko było w porządku. Ostatecznie uzyskali bardziej skonsolidowaną wersję, która miała sens dla ich zespołu i byli w stanie zautomatyzować produkcję kreacji.

Możesz przeczytać cały post, aby zobaczyć, z czym ostatecznie skończyli.

PS Nie musisz tego zbytnio komplikować. Upewnij się, że masz twórców, którzy wspierają Twoje wyniki i wnioski, i upewnij się, że jest to łatwe do zrozumienia dla wszystkich.

Obejmuje kierowanie i projektowanie eksperymentów

Sposób, w jaki zaprojektowałeś eksperyment i na który segment odbiorców był docelowy, jest tak samo ważny jak to, czego się z niego nauczyłeś, zwłaszcza że musisz wykorzystać te spostrzeżenia do konstruowania przyszłych testów.

Znajdują się one również w sekcji „szczegóły”. Możesz chcieć wyabstrahować niektóre informacje, które nie są istotne dla C-suite lub przedstawić ich skróconą wersję.

Oto jak eksperci podchodzą do kierowania i segmentacji:

Różne eksperymenty będą skierowane do różnych segmentów użytkowników, takich jak powracający klienci lub osoby, które widziały Twoją główną stronę produktu. Możesz kierować reklamy do brytyjskich klientów z brytyjskim angielskim, jeśli masz użytkowników z całej anglosferze. Segmentując odbiorców, możesz udostępnić eksperyment tylko określonej liczbie użytkowników spełniających Twoje kryteria, wykluczając tych, którzy ich nie spełniają.

Zanim przeprowadzisz testy A/B w swoim sklepie, musisz dowiedzieć się, która sekcja odbiorców jest odpowiednia dla Twojej hipotezy. Segmentacja gwarantuje, że właściwy eksperyment zostanie pokazany właściwym klientom.

Lulu Albanna, współzałożycielka WRC Media

Wyjaśnij, dlaczego dokonałeś tych konkretnych wyborów. Czy był to wynik poprzedniego eksperymentu? A może doszedłeś do pewnej hipotezy opartej na badaniach konwersji?

Paul Somerville, kierownik techniczny w Electric Scooter Guide, również zaleca udostępnienie miejsca rozpoczęcia testu i dlaczego jest to ważne:

Jako firma Shopify przeprowadziliśmy liczne testy A/B dla funkcji, takich jak czat na żywo, przyciski wezwania do działania, zdjęcia produktów, pozycjonowanie upsellingowe, strony docelowe, menu nawigacyjne i inne.

Na przykład testy A/B pomogły nam ustalić właściwą równowagę między sprzedażą krzyżową a sprzedażą dodatkową bez irytacji i problemów z obsługą klienta.

Zauważyliśmy, że naszym odbiorcom podobały się bardzo trafne sugestie bezpośrednio na stronach produktów, a nie te prezentowane podczas realizacji zakupu po przeprowadzeniu kilku eksperymentów, w wyniku czego zwiększyliśmy średnią wartość transakcji.

Zerowanie w segmentacji

Wszystkie testy nie zaczynają się od segmentu odbiorców. Często celem testu jest ustalenie, który segment lepiej reaguje na zmianę.

Jeśli więc zamierzasz zdefiniować segmenty odbiorców po zakończeniu testu, upewnij się, że uwzględniłeś swoje wyniki w sekcjach „Wyniki” i „Nauki” raportu.

Niektóre typowe segmentacje, które warto uwzględnić w raporcie:

• Geograficzny
• Behawioralne
• Pogoda
• Technograficzne

Wszystko to pomoże Ci udoskonalić wyniki, które musisz uzyskać, aby lepiej zrozumieć swoich odbiorców i zaprojektować doskonałe testy.

Należy jednak pamiętać, że po segmentacji można napotkać trzy typowe problemy – zbyt mały rozmiar próbki, porównywanie wielu segmentów i skupianie się na całkowicie błędnych.

Uwaga : możesz również uzyskać zaawansowane wyniki w zakresie odbiorców post-segmentacji na podstawie plików cookie, warstwy danych, a nawet list HubSpot.

Przekazywanie wartości testów Shopify A/B, wewnętrznie i klientom

Teraz, gdy już wiesz, jak powinien wyglądać raport z testu Shopify A/B, oto kilka rad od naszych ekspertów:

• B2C vs. B2B – wskaż im właściwą drogę
  Cykle zakupowe w B2C są znacznie krótsze i jest dużo większy ruch, więc idealnie masz potencjał do przeprowadzenia wielu testów. Przekonasz się jednak, że większość marek nadal koncentruje się na „wypróbowanych i przetestowanych” kanałach pozyskiwania, które stają się nie do utrzymania z powodu nowych aktualizacji prywatności, które skutkują słabymi danymi. Wynik? Ogromny wzrost kosztów pozyskania klienta. Wyjaśnij swoim klientom/interesariuszom, że nie możesz przewyższyć konkurencji.

• Graj zgodnie z interesami kierownictwa
  Prawdziwa wartość testów A/B leży w spostrzeżeniach uzyskanych z eksperymentów. Ale nie są one przydatne dla założyciela i innych interesariuszy. Jest mniej prawdopodobne, że będą pod wrażeniem wiedzy i bardziej będą zainteresowani „wygranymi”.

• Nie stawiaj złych oczekiwań
  Oczywiście powinieneś spróbować pokazać wpływ na przychody, ale kluczową frazą jest tutaj: kiedy to możliwe. Nie prognozuj przychodów na podstawie wzrostu współczynników konwersji lub średniej wartości zamówienia.
  Zamiast tego skup się na tym, co zostało przetestowane:
  
  
  • Konkretnie o tym, co zrobiłeś, i twórz wizualne i trafne raporty.
  • Jakie były wnioski? Może to pochodzić z metryki, takiej jak ruch CR lub ARPV. Nie skupiaj się na ruchu, ale czy hipoteza okazała się słuszna. Jeśli tak, to co związek przyczynowy ujawnia w Twoich segmentach odbiorców?
  • Co zrobisz z tym wglądem? Czy dopracujesz pozycjonowanie? A może ulepszyć projekt strony?
  • Co to oznacza dla firmy jako całości? I czy może przybliżyć markę o krok do realizacji celów biznesowych?

• Dodaj kontekst do przedstawionych liczb
  Musisz poinformować ludzi, w sposób jednoznaczny, na co patrzą. Może to oznaczać kodowanie kolorami, dodawanie branżowych testów porównawczych, pokazywanie średnich, segmentów odbiorców, a nawet pokazywanie, ile kosztują różne kanały.

Stosowanie tego podejścia zapewnia, że ​​nie zawsze jesteś pod presją, aby szybko wygrywać.

Możesz ponownie skupić swoją uwagę na tym, na czym polega eksperymentowanie — na uczeniu się. Ale kluczem nie jest priorytetowe traktowanie jednej rzeczy nad drugą.

Najlepsze agencje eksperymentujące skupiają się na zainteresowaniu i wpisowym tak samo jak na tym, co testują. Prawdziwa równowaga między entuzjazmem (Tak! Eksperymenty mogą rozwijać biznes) a ustalaniem nieprecyzyjnych oczekiwań (nasze przychody podwoją się).

Dalszą drogą jest (*proszę o werble*) edukacja. Pobierz kopię „Eksperymenty” — lekturę pozbawioną żargonu, która poprowadzi Cię do przeprowadzenia lepszych testów i podzielenia się praktycznymi spostrzeżeniami.

A jeśli szukasz narzędzia do testowania A/B, które pomoże Ci dzielić się obciążeniem, wypróbuj Convert. Jest bezpłatny przez 15 dni — karta kredytowa nie jest wymagana.