Jak dokładnie czytać i interpretować raport o doświadczeniach konwersji?

Jeśli jesteś użytkownikiem Convert, wiesz, że Twoje raporty są pełne cennych danych. Ale co reprezentują te wszystkie liczby i wykresy? A skąd masz wiedzieć, jakie wnioski możesz z nich wyciągnąć i wykorzystać te informacje do udoskonalenia swoich testów?

Czy jest to tak proste, jak użycie kalkulatora istotności statystycznej w celu sprawdzenia doświadczenia?

Czy nazwanie testu A/B sukcesem, jeśli w raporcie z eksperymentu jest zielone, wystarczy – czy też powinniśmy przyglądać się również innym czynnikom?

Chociaż kalkulatory istotności statystycznej są niezbędne do dokładnego testowania, nie mówią wszystkiego. Aby w pełni wykorzystać raporty Konwertuj, musisz mieć solidną wiedzę na temat statystyk testów A/B.

A czemu to?

Ponieważ testowanie A/B jest zasadniczo metodą analizy statystycznej. Nie możesz mieć jednego bez drugiego.

Test lub doświadczenie A/B to przykład testowania hipotez statystycznych, w którym hipoteza dotycząca związku między dwoma zestawami danych jest opracowywana i porównywana w celu sprawdzenia, czy znaleziono istotność statystyczną.

Tak więc, niezależnie od tego, czy jesteś nowicjuszem, czy doświadczonym użytkownikiem, zapoznaj się z pełnym zakresem statystyk testowych dostępnych w raportach i uzyskaj lepsze wyniki z testów A/B!

Co więc można zrobić z raportem z testów A/B? Przyjrzyjmy się dwóm praktycznym przykładom.

Przykład 1

Firma e-commerce planuje zoptymalizować strony produktów, aby poprawić współczynniki konwersji.

W tej konkretnej sytuacji

współczynnik konwersji strony produktu = liczba zamówień / liczba odwiedzających stronę produktu

Zespół marketingowy ocenia trzy nowe projekty stron produktów. Chcą wybrać najbardziej efektywną z czterech możliwości: istniejący projekt i trzy nowe. W jaki sposób mogą wykorzystać raport Przekonwertowanie doświadczeń i zawarte w nim metody statystyczne, aby wykryć najskuteczniejszą osobę, biorąc pod uwagę, że współczynnik konwersji jest czynnikiem?

Przykład 2

Zmieniając swoją stronę cenową, witryna SaaS ma nadzieję na powiększenie bazy członków.

Dla nich,

współczynnik konwersji strony z cennikiem = liczba subskrypcji / liczba odwiedzających stronę z cennikiem

Marketing ocenia trzy różne projekty, aby sprawdzić, czy któryś z nich może przyciągnąć więcej subskrybentów niż obecny.

Korzystając z raportu Konwertuj doświadczenia i jego metod statystycznych, jak mogą dokonać takiego porównania, wykorzystując współczynnik konwersji jako kryterium wyboru?

W tym artykule wyjaśnimy, co zawiera raport Konwertuj doświadczenia, jak możesz go wykorzystać do ulepszenia swojej witryny i jak interpretować szczegółową analizę doświadczeń użytkowników, aby móc podjąć działania.

Czytaj dalej, aby uzyskać łatwy do zrozumienia przewodnik, który pomoże Ci zrozumieć statystyki dotyczące raportów z testów konwersji A/B.

Szczegółowa mapa każdej sekcji raportu z doświadczeń firmy Convert

Jako użytkownik Convert masz dostęp do szczegółowych informacji o wydajności Twojej witryny za pośrednictwem raportów. Przyjrzyjmy się kompleksowo wszystkim elementom raportu Convert, aby dokładnie zrozumieć, jakie informacje są prezentowane i jak najlepiej je wykorzystać do poprawy wydajności witryny.

Możesz uzyskać dostęp do raportów, wybierając doświadczenie, które chcesz wyświetlić, i klikając kartę Raport.

W tej sekcji zobaczysz cztery różne sekcje:

• Górne menu
• Streszczenie
• Wariacje
• Cele

➢ Górne menu

Górne menu zapewnia szybki dostęp do następujących informacji:

• Data rozpoczęcia : data rozpoczęcia doświadczenia
• Dni biegania : czas trwania doświadczenia
• Zakres raportu : filtr daty pozwala filtrować dane z określonego okresu czasu
• Segment : filtruj raport według segmentów odwiedzających
• Wszyscy przetestowani użytkownicy : liczba użytkowników, którzy wzięli udział w teście
• Łączna liczba konwersji : łączna liczba konwersji celu. Konwersja śledzi tylko konwersje jednego celu na unikalnego użytkownika. Sprawdź tę stronę pod kątem konwersji wielu celów.
• Cele : liczba celów, które ma dane doświadczenie

Filtruj według określonego zakresu dat

Dane można filtrować dla określonego zakresu dat, korzystając z zakresu raportu. Niestandardowe zakresy dat można określić przy użyciu istniejących opcji lub kontrolki kalendarza.

Filtruj według określonego segmentu

Możesz filtrować raport według segmentów użytkowników, wybierając je z menu „Wszyscy użytkownicy”. Możesz użyć tego, aby odpowiedzieć na pytania takie jak

• Jak zachowywał się ruch z różnych źródeł w doświadczeniu?
• Jaka była zwycięska odmiana na telefony komórkowe w porównaniu z komputerami stacjonarnymi?
• Która odmiana przyciągnęła najwięcej nowych użytkowników?

Powinieneś kierować reklamy do odbiorców/segmentów, które są ważne dla Twojej organizacji i które mogą wykazywać różne zachowania użytkowników i sygnały intencji.

Sprawdź wyniki poprawy i pewności dla każdej grupy odbiorców, aby zobaczyć, jak działała każda odmiana. W zależności od wyników analizy możesz zdecydować, czy uruchomić zwycięską odmianę dla całego ruchu, czy też dostosować alokację.

Raport o doświadczeniach konwersji obejmuje następujące segmenty:

• używana przeglądarka,
• używane urządzenie,
• nowi kontra starzy odwiedzający,
• kraj użytkownika,
• źródło ruchu,
• kontynent i
• 10 niestandardowych segmentów.

Możesz także użyć menu z trzema kropkami i zastosować kilka dalszych działań:

Udostępnij raport

Kliknięcie Udostępnij raport otworzy wyskakujące okienko z następującymi opcjami pobierania danych doświadczenia:

Zobacz kod

Wyświetl kod to druga opcja, która daje dostęp do kodu śledzenia konwersji:

Ustawienia statystyk

Trzecia opcja, Ustawienia statystyk, pozwala skonfigurować następujące elementy:

• Poziom ufności (istotność statystyczna) — opisany tutaj
• Wyjątki transakcji — opisane tutaj
• Automatyzacja — opisana tutaj
• Przycisk Resetuj statystyki, aby zresetować dane doświadczenia

Wstrzymaj doświadczenie

Czwarta opcja pozwala na wstrzymanie doświadczenia.

➢ Podsumowanie

W sekcji Podsumowanie raportu dotyczącego konwersji znajdziesz podsumowanie warunków Obszar witryny i Odbiorcy, które mają zastosowanie do Twojego doświadczenia. Oferuje również kilka sprytnych zaleceń:

Włącz inteligentne rekomendacje

Przejdź do konfiguracji projektu, Więcej ustawień, aby włączyć inteligentne zalecenia:

Zobacz inteligentne rekomendacje

Te inteligentne rekomendacje możesz wyświetlić w dwóch miejscach.

1. W podsumowaniu raportu:

W oparciu o Twoje wyniki mogą pojawić się następujące komunikaty:

• Istotny i ujemny wzrost : obserwujemy, że wariant ${variant_name} jest najskuteczniejszy z ujemnym wzrostem ${lift}%. Eksperyment dla celu ${primary_goal_name} jest znaczący. Sugerujemy wyodrębnienie wniosków i zaprojektowanie nowej hipotezy.
• Znaczący i pozytywny wzrost : Gratulacje! W przypadku ${primary_goal_name}, ${variant_name} wygrywa obecnie z poprawą o ${lift}%. Eksperyment jest znaczący”.
• Nieznaczny, dodatni wzrost : potrzeba większej liczby użytkowników, aby wyciągnąć prawidłowe wnioski dla ${primary_goal_name}. Widzimy tylko, że ${variant_name} jest najskuteczniejszą odmianą ze wzrostem ${lift}%, ale potrzebuje większej liczby odwiedzających, zanim będzie można wyciągnąć ostateczne wnioski.
• Nieznaczny, ujemny wzrost : potrzeba większej liczby użytkowników, aby wyciągnąć prawidłowe wnioski dla ${primary_goal_name}. Proszę kontynuować test, zanim będzie można wyciągnąć wnioski.

2. W rozwiniętym polu Cele:

Oto niektóre możliwe komunikaty, które możesz zobaczyć na podstawie wyników:

• Gratulacje {variation.name} jest zwycięzcą, jesteśmy pewni ze statystyczną pewnością 00%.
• Niestety, {variation.name} wypadło gorzej niż {baselineText}, jesteśmy pewni z ufnością statystyczną 00%.
• {variation.name} wydaje się działać lepiej niż {baselineText}, ale nie możemy być jeszcze pewni
• Za wcześnie na ocenę {variation.name}

Zrzut ekranu linii bazowej

Jeśli najedziesz kursorem na zrzut ekranu bazowego, zobaczysz kilka dodatkowych opcji:

• Zobacz migawkę w rzeczywistym rozmiarze
• Podgląd odmiany
• Zrób ponownie migawkę odmiany

Podgląd na żywo i linki do zmiany siły

Odmiana podglądu otworzy wyskakujące okienko, w którym można uzyskać adresy URL podglądu na żywo i wymuszenia zmian.

➢ Wariacje

Sekcja o nazwie Odmiany zawiera szczegółowe informacje na temat odmian doświadczenia. Każda kolumna za kolumną Stan reprezentuje Twoje cele związane z doświadczeniem:

Możesz włączyć/wyłączyć kolumny lub zmienić ich kolejność, klikając menu z trzema kropkami:

Po włączeniu przycisku stanu będziesz mógł wstrzymywać odmiany:

Po kliknięciu menu z trzema kropkami w jednym z wierszy odmian dostępnych jest kilka dodatkowych opcji:

• Otwórz wymuszony adres URL odmiany
• Zatrzymaj wariację
• Konwertuj na nowe wdrożenie
• Konwertuj na oryginał w nowym eksperymencie
• Edytuj odmianę
• Podgląd na żywo

➢ Cele

Krótki opis każdego z celów doświadczenia można znaleźć w tej sekcji, a także kilka interesujących statystyk i wykresów, które przeanalizujemy w następnej sekcji. Zanim przejdziemy dalej, wyjaśnijmy kilka terminów, których możesz nie znać.

• Cel domyślny : jeśli widzisz termin Cel domyślny obok jednego ze swoich celów, oznacza to, że jest to jeden z dwóch domyślnych celów, które dodajemy do każdego doświadczenia.
• Cel główny : może być tylko jeden cel główny, o którym musisz zdecydować. To najważniejszy cel Twojego doświadczenia. Zostanie to pokazane jako pierwsze na liście celów i na tej podstawie zmieni się status doświadczenia.
• SRM : Potencjalna niezgodność współczynnika próbkowania wykryta w teście. Sprawdź konfigurację doświadczenia lub skontaktuj się z [email protected], jeśli to zauważysz.
• Linia bazowa : to domyślna linia bazowa doświadczenia.

Przejdźmy teraz przez każdy z elementów tego raportu.

Nazwa odmiany

To jest nazwa Twojej odmiany. Obok znajduje się pole wyboru, które możesz włączyć/wyłączyć, aby pokazać i ukryć statystyki odmian.

Poprawa

Tutaj możesz zobaczyć, jak oryginał i odmiana Twojej strony internetowej sprawdzają się pod względem współczynników konwersji. Różnica procentowa może być dodatnia lub ujemna. Gdy obliczona pewność jest większa niż pewność ustawiona w ustawieniach statystyk, kolor zmienia się w następujący sposób:

• Czerwony dla –
• Zielony dla +
• Szary dla innych

goście

Jest to łączna liczba odwiedzających dane doświadczenie. Lista unikalnych użytkowników znajduje się tutaj.

Konwersje

Reprezentuje łączną liczbę konwersji dla każdego celu/odmiany. Każde pożądane działanie, które ma wykonać użytkownik, jest nazywane konwersją. W zależności od Twojej witryny może to obejmować wszystko, od kliknięcia przycisku po dokonanie zakupu.

Współczynnik konwersji

Ta kolumna pokazuje odsetek użytkowników, którzy dokonali konwersji.

Poziom ufności (istotność statystyczna)

Podczas interpretacji wyników A/B najważniejszym pojęciem jest istotność statystyczna.

Ta kolumna wskazuje, jak różni się przedział ufności dla współczynnika konwersji dla odmiany eksperymentalnej od oryginału. Jeśli ufność nie pokazuje żadnej wartości, dzieje się tak, ponieważ (domyślnie) do obliczenia każdej odmiany potrzebnych jest co najmniej 5 konwersji celu. Musi również spełniać minimalną liczbę odwiedzających określoną dla każdej odmiany. Jeśli zmienisz minimalną liczbę konwersji, wybrane minimum będzie musiało zostać spełnione.

Ta kolumna zawiera szare/zielone kropki, które wskazują:

• 1 zielona kropka dla 75%-85% pewności
• 2 zielone kropki dla 85-95% pewności
• 3 zielone kropki dla 95%-96% pewności
• 4 zielone kropki dla 96%-97% pewności
• 5 zielonych kropek dla 97% i więcej

Wykres skrzynkowy (przedział ufności)

Wykres skrzynkowy lub przedział ufności wskazuje zakres wartości, w których spada rzeczywisty współczynnik konwersji.

Omawiając wyniki, warto pokazać zaobserwowaną różnicę w wartości współczynnika konwersji dla strony oryginalnej i strony z odmianami oraz zakres, w którym współczynniki konwersji mogą się mieścić. Przedział różnicy to możliwy zakres wartości, które są wykreślane na skali liczbowej.

Najwyższy możliwy zakres współczynnika konwersji jest oznaczony przez górną granicę na skali liczbowej, a najmniejszy możliwy zakres współczynnika konwersji jest oznaczony przez dolną granicę na skali liczbowej.

Na skali widać następujące kolory:

• Szary obszar: wskazuje, że eksperyment jest nadal niejednoznaczny lub że do zadeklarowania prawidłowego wyniku potrzebne są dodatkowe osoby.
• Zwycięski wariant jest oznaczony kolorem zielonym .
• Utrata wariancji jest oznaczona kolorem czerwonym .

Na wykresie pudełkowym zwracaj uwagę na nakładanie się współczynników konwersji oryginału i odmiany.

Załóżmy, że współczynniki konwersji oryginału mają przedział ufności 10-20%, a współczynniki konwersji wariantu 1 mają przedział ufności 15-25%. Warto zauważyć, że nakładanie się tych dwóch przedziałów ufności wynosi 5% i mieści się w przedziale 15-20%. W tym kontekście nie można stwierdzić, czy zmiana B jest rzeczywiście dużą poprawą. Dlatego w przypadku nakładania się wykresów skrzynkowych Convert nie ogłosi zwycięzcy.

Status

Pokazuje raport o stanie odmiany.

Wykresy

Z tego miejsca możesz uzyskać dostęp do trzech różnych typów wykresów.

Poniżej znajduje się wyjaśnienie każdego z nich:

Konwersje

• Współczynnik konwersji w czasie : oś Y pokazuje współczynnik konwersji, oś X pokazuje czas. Każdy wiersz reprezentuje odmianę (skumulowany współczynnik konwersji) + jeden dla współczynnika konwersji całego eksperymentu (średnia wszystkich odmian) + druga oś Y po prawej stronie, która przedstawia skumulowaną liczbę użytkowników w całym eksperymencie
• Konwersje w czasie : oś Y pokazuje konwersje, oś X pokazuje czas. Każdy wiersz reprezentuje odmianę (konwersje) + jeden dla konwersji w całym eksperymencie (średnia liczba konwersji dla wszystkich odmian) + druga oś Y po prawej stronie, która przedstawia skumulowaną liczbę konwersji w całym eksperymencie.
• Dzienny współczynnik konwersji w czasie : nieskumulowany współczynnik konwersji — podobny do wykresu Współczynnik konwersji w czasie, z wyjątkiem tego, że oś Y nie pokazuje skumulowanych użytkowników, a nieskumulowany współczynnik jest używany w interfejsie API.
• Poprawa w czasie : poprawa współczynnika konwersji z dnia na dzień na osi X i linii każdej odmiany (ale nie oryginalnej).
• Codzienni użytkownicy na przestrzeni czasu

Produkty

• Produkty na odwiedzającego : skumulowana średnia zamówionych produktów na odwiedzającego – oś Y pokazuje średnią zamówionych produktów na odwiedzającego, oś X pokazuje czas. Każdy wiersz reprezentuje odmianę (skumulowana średnia zamówionych produktów na użytkownika) + jeden dla średniej zamówionych produktów na użytkownika całego eksperymentu (średnia wszystkich odmian) + druga oś Y po prawej stronie, która przedstawia skumulowaną liczbę użytkowników w całym eksperymencie .
• Dzienne produkty na użytkownika : nie skumulowana średnia zamówionych produktów na użytkownika
• Ulepszenie w czasie : poprawa produktów z dnia na dzień na osi X i linii każdej odmiany (ale nie oryginalnej)
• Codzienni użytkownicy na przestrzeni czasu

Przychód

• Przychody w czasie : skumulowany średni przychód na odwiedzającego – oś Y pokazuje średni przychód na odwiedzającego, oś X pokazuje czas. Każdy wiersz reprezentuje jedną odmianę (średni przychód na użytkownika) + średni przychód na użytkownika całego eksperymentu (średnia wszystkich odmian) + druga oś Y po prawej stronie, która przedstawia łączną liczbę użytkowników w całym eksperymencie
• Dzienny przychód na użytkownika : nieskumulowany średni przychód na użytkownika
• Ulepszenie w czasie : poprawa przychodów z dnia na dzień na osi X i linii każdej odmiany (ale nie oryginalnej)
• Odwiedzający na przestrzeni czasu

Najedź myszką na wykres

Najechanie kursorem na wykres spowoduje wyświetlenie współczynnika konwersji każdej odmiany w danym dniu oraz współczynnika konwersji odmiany w porównaniu z oryginałem:

Wyświetl odchylenie standardowe

Możesz również zaznaczyć pole, aby wyświetlić odchylenie standardowe (zwane również błędem standardowym):

Wzory statystyczne Konwertuj zastosowania

Uwaga: terminy statystyczne są omówione na innym blogu , więc nie będziemy ich tutaj powtarzać. Naszym celem jest tutaj wspomnieć o formułach matematycznych, których używa Convert.

Convert używa dwustronnego testu Z częstotliwością przy poziomie ufności 0,05 (95%). To jest 0,025 dla każdego ogona będącego normalnym rozkładem symetrycznym z opcją zmiany tego między 80%-99%.

Wkrótce do raportów Convert dodamy statystyki bayesowskie . Bądź na bieżąco, aby uzyskać więcej informacji.

Test dwustronny powinien być stosowany, gdy chcemy znaleźć statystycznie istotną różnicę w dowolnym kierunku (wzrost lub spadek). Celem jest tutaj ustalenie, czy odmiana doprowadziła do statystycznie istotnego wzrostu lub spadku liczby konwersji.

Współczynnik konwersji

Ta formuła służy do obliczania współczynnika konwersji dla każdej odmiany:

(całkowita liczba konwersji celu / liczba unikalnych użytkowników) * 100

Zmiana współczynnika konwersji dla odmian

Procentową zmianę współczynnika konwersji między odmianą doświadczenia a oryginałem oblicza się w następujący sposób:

Przedziały ufności

Dla każdej odmiany stosowana jest statystyczna metoda obliczania przedziału ufności wokół współczynnika konwersji.

Błąd standardowy (dla 1 odchylenia standardowego) oblicza się metodą Walda dla rozkładu dwumianowego. Zatem dla danego współczynnika konwersji ( p ) i wielkości próby (liczby unikalnych użytkowników) błąd standardowy obliczany jest jako

Błąd standardowy jest obliczany za pomocą tego wzoru, który zakłada, że ​​rozkład dwumianowy można aproksymować rozkładem normalnym (ze względu na centralne twierdzenie graniczne ). Rozkład próbki można aproksymować rozkładem normalnym, gdy na konkretny cel występuje więcej niż 10 konwersji.

Aby określić przedział ufności dla współczynnika konwersji, pomnóż błąd standardowy przez 95 percentyl standardowego rozkładu normalnego (wartość stała równa 1,65).

Innymi słowy, możesz być pewien z 90% pewnością, że Twój prawdziwy współczynnik konwersji p mieści się w tym zakresie:

Wynik Z

Za pomocą wskaźnika Z-Score możemy określić, czy wyniki są znaczące (czy współczynniki konwersji nie różnią się ze względu na losową zmienność):

Wynik Z to liczba odchyleń standardowych między wartością pierwotną a wartością średnią zmienności. Stosując standardowy rozkład normalny, istotność 95% jest określana, gdy liczba zdarzeń obejrzenia jest większa niż 1000 i spełnione jest jedno z następujących kryteriów:

• Prawdopodobieństwo (ZScore) > 95%
• Prawdopodobieństwo (ZScore) < 5%

Poprawa

Szansa na zmianę (wyświetlaną w raporcie) jest pochodną wartości prawdopodobieństwa (Z-Score), gdzie:

• Jeśli
  
  Prawdopodobieństwo (ZScore) <= 0,5
  
  następnie
  Poprawa = 1- Prawdopodobieństwo (ZScore)
  

• Jeśli
  
  Prawdopodobieństwo (ZScore) > 0,5
  
  następnie
  Poprawa = prawdopodobieństwo (ZScore)

Na co zwrócić uwagę podczas interpretacji raportów z doświadczeń

Teraz, gdy znasz już wszystkie sekcje raportów dotyczących doświadczeń Konwertuj i ich formuły statystyczne, spróbujmy zinterpretować kilka różnych raportów dotyczących doświadczeń i zobaczmy, co można z nich uzyskać.

Czy dane dotyczące doświadczenia są istotne?

Zanim ocenisz wyniki i dokonasz osądu, co dalej, upewnij się, że dane dotyczące doświadczenia są znaczące. Korzystając z „Poziomu ufności” w raporcie dotyczącym doświadczenia Konwertuj, możesz określić, czy wyniki są przypadkowe, czy też są prawdziwym odzwierciedleniem zachowania użytkowników.

Poziom istotności 95% oznacza, że ​​masz 95% pewności, że obserwowane wnioski nie są wynikiem przypadku. Oznacza to również, że istnieje 5% szans, że się mylisz.

Alternatywnie możesz myśleć o poziomie ufności jako prawdopodobieństwie uzyskania różnych wyników, jeśli powtórzysz eksperyment.

Jeśli uzyskasz 90% ufność, istnieje szansa 1 na 10, że otrzymasz różne odpowiedzi, jeśli powtórzysz test. Przy 95% ufności istnieje szansa 1 na 20, podczas gdy przy 99% ufności jest szansa 1 na 100.

Zwycięska odmiana: pozytywny wpływ

Oto przykład znacznej odmiany, która przewyższała oryginał i przyniosła pozytywną poprawę.

W przypadku celu „Dostosuj subskrypcję – widok strony w kroku 1” Wariant 1 ma 98,7% szans na pokonanie Wariantu 0 (Oryginał) w tym doświadczeniu. Wykres pudełkowy pokazuje, że wybranie Wariantu 1 może spowodować poprawę w stosunku do oryginału o 13,73% +- 0,6%

W tym doświadczeniu można śmiało powiedzieć, że poprawa wynosi +7,20%, ale istnieje taka sama szansa, że ​​współczynnik konwersji wynosi od 13,73% +- 0,6%. Niezależnie od sytuacji, Wariacja 1 poprawiłaby się w stosunku do oryginału, więc jest to mocna wskazówka do jej wdrożenia!

Czemu?

Jeśli to samo doświadczenie powtórzy się 10 000 razy w identycznych warunkach, Wariant 1 i tak wygra 9870 razy na 10 000.

Utrata zmienności: negatywny wpływ

Przyjrzyjmy się bliżej wynikom znaczącego doświadczenia, w którym Wariant 1 nie skutkuje pozytywną poprawą, ale ma negatywny wpływ na Współczynnik konwersji Wariantu 0 (Oryginalny).

W tym doświadczeniu istnieje 98,87% szans, że Wariant 1 straci na współczynniku konwersji w stosunku do wariantu 0. W przypadku wariantu 1 można oczekiwać negatywnego wpływu na współczynnik konwersji oryginału między 4,5% +- 1%.

Niejednoznaczne wyniki: neutralny wpływ

Przyjrzyjmy się teraz doświadczeniu, które nie jest znaczące. W poniższym doświadczeniu żadna z odmian nie ma wystarczająco dużej szansy na wygraną lub prawdopodobieństwa większego niż 95%.

Prawdopodobieństwo, że Wariant 1 wygra z Wariantem 0, wynosi tylko 84,58% w tym doświadczeniu.

Jaki jest następny krok, który możesz zrobić?

Do wyboru jest kilka opcji, z których wszystkie zależą od hipotezy i ostatecznego celu doświadczenia. Niezależnie od przypadku, na stole zawsze jest kilka opcji:

• Poszerz swoją publiczność. Jeśli Twój segment użytkowników jest zbyt ograniczony, spróbuj skoncentrować się na segmencie z większą grupą odbiorców.
• Usuń niektóre odmiany. Jeśli opracowałeś na przykład cztery odmiany, spróbuj uruchomić to samo doświadczenie z dwoma lub trzema odmianami.
• Pozostaw go uruchomione przez dłuższy czas.
• Kieruj się instynktem i wybierz to, co najbardziej odpowiada Twojej marce. Jeśli wyniki są podobne w dwóch odmianach, a Twoi współpracownicy zgadzają się, że jedna jest lepiej dopasowana do wymagań Twojej marki niż druga, możesz wybrać jedną z nich jako zwycięzcę.
• Uruchom ponownie doświadczenie. Przeprowadzenie tego samego testu dwa razy w celu zweryfikowania lub unieważnienia wstępnych wyników jest mądrą praktyką. Ponieważ okoliczności prawdopodobnie nie będą takie same (inny okres, wahania ruchu itp.), wyniki mogą się różnić!
• Pozwól, aby tak było. Możliwe, że Twój oryginał jest już zoptymalizowany.

Czy istnieje równomierny rozkład ruchu?

Podczas konfigurowania wersji A/B przypisujesz procent ruchu do każdej odmiany (domyślnie 50/50).

Liczba odwiedzających powinna odzwierciedlać przewidywany podział ruchu.

W przypadku znacznej różnicy prawie na pewno występuje niedopasowanie współczynnika próbki (SRM)

W podziale 50/50, jeśli masz 400 odwiedzających po jednej stronie i 600 po drugiej, wyniki nie są wiarygodne. Kiedy tak się stanie, nadszedł czas, aby przyjrzeć się konfiguracji A/B. Wyniki mogą zostać wypaczone przez wartości odstające, takie jak wewnętrzne adresy IP lub zewnętrzne boty.

Pamiętaj, że dane są tak dobre, jak ich analiza. Skorzystaj ze wszystkich dostępnych narzędzi, w tym szczegółowych raportów Convert Experiences, aby uzyskać dokładne i przydatne informacje.

Jeśli nie masz jeszcze konta, zarejestruj się, aby skorzystać z bezpłatnego okresu próbnego i wypróbuj go przez 15 dni. Będziesz miał dostęp do wszystkich fajnych funkcji, które omówiliśmy w tym poście, a także wielu innych. A jeśli masz jakieś pytania lub potrzebujesz pomocy w rozpoczęciu, nasz zespół służy pomocą.