Wszystko o testach A/A: dlaczego i kiedy należy przeprowadzać testy A/A?

Testy A/A umożliwiają testowanie dwóch identycznych stron względem siebie i mogą być niezwykle przydatne podczas konfigurowania nowego narzędzia do testowania A/B.

Testy A/A można wykorzystać do:

• ocenić dokładność platformy testów A/B,
• określić, czy Twoja platforma do testów A/B jest w pełni zintegrowana z Twoją wewnętrzną analityką,
• zidentyfikować możliwe problemy techniczne z narzędziem do testowania A/B,
• podać bazowy współczynnik konwersji dla strony lub lejka,
• określić odpowiednią wielkość próbki do wykorzystania w testach A/B, oraz
• porównaj wydajność swoich stron i ścieżek.

Convert zapewnia zarówno możliwości testowania A/A, jak i A/B, aby mieć pewność, że masz wszystko, czego potrzebujesz, aby pomyślnie zaprojektować i opracować witrynę internetową o wysokiej konwersji.

Czytaj dalej, aby dowiedzieć się więcej o znaczeniu testów A/A i o tym, jak przygotować swoje pierwsze doświadczenie!

Być może coś takiego przydarzyło ci się już wcześniej…

• Przeprowadzasz test A/B, aby sprawdzić, czy nowy przycisk wezwania do działania i nagłówek zwiększą liczbę konwersji.
• W ciągu następnego miesiąca wyślesz taki sam ruch na strony docelowe z kontrolą i odmianami.
• Twoje oprogramowanie deklaruje, że Twoja odmiana jest zwycięzcą (z 99-procentową pewnością), więc przestajesz.
• Następnie uruchamiasz swój „zwycięski” projekt, ale po kilku cyklach biznesowych widzisz, że 50% wzrost współczynnika konwersji miał niewielki wpływ na Twój dochód netto.

Najbardziej prawdopodobnym wyjaśnieniem jest fałszywie dodatni wynik testu. Na szczęście istnieją różne metody radzenia sobie z nieprawidłowymi testami.

Być może słyszałeś o testach A/A.

Czym są testy A/A?

Zanim przejdziemy do testów A/A, porozmawiajmy o testach A/B, abyśmy mogli wskazać różnice.

W typowym środowisku A/B ruch jest dzielony między dwie lub więcej alternatywnych odmian.

Jedna odmiana jest zwykle określana jako „kontrolna” lub „oryginalna”. Wszystkie inne odmiany doświadczenia są porównywane z kontrolą, aby określić, która daje największy wzrost w danym wskaźniku.

Z drugiej strony testowanie A/A wymaga przydzielenia ruchu do dwóch identycznych odmian, zwykle przy użyciu podziału 50/50.

W normalnym teście A/B celem jest znalezienie wyższego współczynnika konwersji, podczas gdy w teście A/A celem jest zwykle sprawdzenie, czy odmiany mają taki sam wzrost.

W teście A/A ruch jest dzielony losowo, a obie grupy wyświetlają tę samą stronę.

Następnie rejestrowane są zgłoszone współczynniki konwersji, współczynniki klikalności i powiązane statystyki dla każdej grupy w nadziei, że się czegoś nauczysz.

Test A/A = 2 identyczne strony testowane względem siebie

Przyjrzyjmy się teraz kilku przykładom, w których można wykorzystać doświadczenia A/A, aby określić, czy będą dla Ciebie przydatne.

Po co przeprowadzać testy A/A?

Przeprowadzenie testu A/A może być szczególnie skuteczne na różnych etapach procesu projektowania i tworzenia stron internetowych, takich jak:

• Po zakończeniu instalacji nowego narzędzia do testowania A/B,
• Po uaktualnieniu lub zmianie bieżącej konfiguracji narzędzia do testowania A/B,
• Kiedy tworzysz nową witrynę lub aplikację,
• Gdy zauważysz rozbieżności między raportami danych z Twoich testów A/B a innymi używanymi narzędziami analitycznymi.

Przyjrzyjmy się bliżej każdemu z tych przypadków użycia.

Sprawdź dokładność platformy testowej A/B

Doświadczenie A/A może zostać uruchomione przez firmę, która chce nabyć platformę do testów A/B, lub przez firmę, która chce wypróbować nowe oprogramowanie testowe (aby potwierdzić, że jest prawidłowo skonfigurowane).

W wersji A/A porównujemy dwie całkowicie identyczne wersje tej samej strony w celu uzyskania podobnych wartości konwersji.

Oczekiwany wynik jest niejednoznaczny, jeśli nie ma różnicy między kontrolą a zmiennością.

Mimo to „zwycięzca” jest czasami ogłaszany na dwóch identycznych kopiach.

W takim przypadku bardzo ważna jest ocena platformy testów A/B, ponieważ narzędzie mogło być źle skonfigurowane lub może być nieskuteczne.

W następnym kroku powinieneś:

1. Sprawdź, czy poprawnie zainstalowałeś kod śledzenia A/B
2. Sprawdź obszar swojej witryny
3. Sprawdź swoich odbiorców
4. Sprawdź swoje cele
5. Skontaktuj się z zespołem pomocy technicznej ds. testów A/B, aby dowiedzieć się, czy jest to coś, co można rozwiązać przed porzuceniem platformy.

Mamy nadzieję, że problem jest jednym z powyższych. Jeśli nie jesteś w stanie rozwiązać problemu, prawdopodobnie oznacza to, że test A/A jest rozstrzygający, a Twoja platforma testowa A/B jest niedokładna.

Określ stopień integracji z wewnętrzną analityką

Sprawdzając dokładność platformy testów A/B, możesz użyć testu A/A, aby ocenić, czy platforma jest w pełni zintegrowana z Twoim narzędziem analitycznym.

Niezależnie od tego, czy korzystasz z Google Analytics, Heap Analytics, Adobe Analytics, Plausible, Matomo, czy jakiegokolwiek innego, możesz porównać wyniki testu A/A z wewnętrznym narzędziem analitycznym, aby określić, czy integracja działała zgodnie z oczekiwaniami.

Na przykład poniżej, GA zidentyfikowało 620 odwiedzających na oryginale i 592 na wariacji (identyczna strona do oryginału).

W tym samym zakresie dat Convert ujawnił 972 odwiedzających w oryginale i 980 w wariacji (strona identyczna jak w oryginale).

Może to oznaczać, że integracja między dwiema platformami nie działa zgodnie z oczekiwaniami.

Zidentyfikuj możliwe problemy techniczne

Możesz również użyć testu A/A, aby zidentyfikować możliwe problemy techniczne.

Większość oprogramowania do testowania A/B wykorzystuje metody, które są nieco inne i mogą skutkować znacznymi zmianami, w zależności od tego, jak daleko program jest posunięty.

Może się to wydawać anomalią, ale może również sugerować poważniejszy problem z jednym z poniższych:

• Wzory matematyczne i statystyczne
• Algorytmy randomizacji
• Pliki cookie przeglądarki

Możesz wykorzystać doświadczenia A/A, aby ujawnić powyższe problemy.

W poniższym przypadku analitycy danych Wish zauważyli problemy związane z SRM w teście A/A. Po dokładnym zbadaniu ustalono, że SRM spowodowane było tym, że ich randomizacja nie była całkowicie losowa.

Technika randomizacji ma kluczowe znaczenie dla wiarygodnych wyników eksperymentu.

Stosowanie losowych próbek jest podstawowym założeniem testów statystycznych stosowanych w testach A/B.

Randomizacja równoważy zarówno zaobserwowane, jak i nieobserwowane czynniki użytkownika między grupami eksperymentów. Ustanawia związek przyczynowy między testowaną cechą produktu a wszelkimi zmianami w wynikach prób.

Podaj podstawowy współczynnik konwersji dla dowolnej strony lub ścieżki

Jeśli chcesz poprawić jakąkolwiek liczbę, musisz najpierw zrozumieć, jak wygląda jej podstawa. Może to być Twoja prędkość, waga lub czas biegu.

Podobnie, zanim wykonasz jakikolwiek test A/B, musisz najpierw określić współczynnik konwersji, z którym będziesz porównywać wyniki. To jest Twój podstawowy współczynnik konwersji .

Prawdopodobnie słyszałeś o zwiększonych przychodach z jednego doświadczenia, ale może to wprowadzać w błąd. Pojedyncze doświadczenie nie powie Ci, czy konwersja Twojej witryny uległa poprawie.

Ważne jest, aby znać podstawowy współczynnik konwersji, ponieważ jeśli nie możesz określić ilościowo wzrostu każdego doświadczenia, będziesz musiał często porównywać ogólne oczekiwane i zrealizowane konwersje.

Przy odrobinie szczęścia każde doświadczenie uważane za „wygrane” pomoże Twoim konwersjom przekroczyć oczekiwania.

A jeśli będziesz to robić wystarczająco często, Twoje konwersje będą się tylko poprawiać!

Test A/A pomoże Ci to osiągnąć.

Załóżmy, że przeprowadzasz test A/A na jednej ze swoich stron docelowych, przy czym Original A i Variation B dają prawie identyczne wyniki: 2,14% i 2,13%.

W rezultacie bazowy współczynnik konwersji można ustawić na 2,13-2,14%.

Mając to na uwadze, możesz przeprowadzać przyszłe testy A/B w celu przekroczenia tego benchmarku.

Wynik nie jest statystycznie istotny, jeśli przeprowadzisz test A/B na nowej wersji strony docelowej i uzyskasz współczynnik konwersji 2,15%.

Znajdź niezbędną wielkość próbki

Przed uruchomieniem doświadczenia A/B sprawdź dokładnie rozmiary próbek, tak jak przed wyruszeniem w podróż.

Nie zaobserwujesz efektu doświadczenia, jeśli nie będzie wystarczającej liczby próbek (użytkowników). Z drugiej strony, jeśli masz zbyt wiele próbek, ryzykujesz spowolnienie postępów zespołu, stale narażając ludzi na złe doświadczenia.

Najlepiej, aby nigdy nie rozpoczynać doświadczenia bez uprzedniego ustalenia, ile próbek zbierzesz.

Aby zrozumieć dlaczego, rozważ następujące kwestie:

Załóżmy, że masz monetę, a Twoja hipoteza jest taka, że ​​ma ona 50/50 szans na wylądowanie orła lub reszki. Aby to udowodnić, rzucasz nim sto razy.

Ale załóżmy, że przy pierwszych dziesięciu rzutach dostałeś dziesięć ogonów i postanowiłeś przerwać eksperyment.

Odrzucenie hipotezy zerowej (że moneta jest uczciwa) może wydawać się istotne statystycznie, ale eksperyment został przedwcześnie zakończony. Nie masz pojęcia, jak długo powinien trwać eksperyment.

Jeśli nie oszacujesz wielkości próby, możesz również nie być w stanie określić, jak długo będziesz prowadzić doświadczenie.

Jak więc do tego podchodzimy?

Testy A/A mogą pomóc w ustaleniu, jak dużego rozmiaru próbki potrzebujesz od odwiedzających witrynę.

Być może twoi odwiedzający w poniedziałek rano statystycznie zupełnie różnią się od twoich odwiedzających w sobotę wieczorem. Być może twoi klienci świąteczni statystycznie różnią się od tych, którzy robią zakupy poza sezonem świątecznym.

Twoi klienci korzystający z komputerów stacjonarnych mogą różnić się statystycznie od klientów mobilnych. Twoi klienci, którzy przychodzą za pośrednictwem sponsorowanych reklam, nie są tymi samymi, co ci, którzy pochodzą z rekomendacji szeptanych.

Przeglądając wyniki w kategoriach takich jak urządzenia i przeglądarki, zdziwisz się trendami, które odkryjesz przy odpowiedniej wielkości próbki.

Oczywiście, jeśli wielkość próbki jest zbyt mała, wyniki mogą nie być wiarygodne. Możesz przegapić kilka porcji, co może mieć wpływ na wyniki twoich doświadczeń.

Większa wielkość próbki zwiększa prawdopodobieństwo uwzględnienia wszystkich segmentów, które mają wpływ na test.

Przeprowadzając test A/A, będziesz w stanie określić, który rozmiar próbki pozwala na idealną równość między identycznymi odmianami.

Krótko mówiąc, test A/A pomaga określić odpowiednią wielkość próbki, którą można następnie wykorzystać w przyszłych testach A/B.

Porównaj wydajność swoich stron i ścieżek

Ilu odwiedzających odwiedza Twoją stronę główną, stronę koszyka, strony produktów i inne strony?

Nie przejmujesz się tym, czy dzięki temu znajdziesz zwycięzcę. Raczej szukasz większych wzorów dla określonej strony.

Te doświadczenia mogą pomóc ci odpowiedzieć na pytania takie jak:

• Jaki jest współczynnik konwersji makro na stronie głównej?
• Jak wygląda podział tego współczynnika konwersji według segmentu użytkowników?
• Jak wygląda podział tego współczynnika konwersji według segmentu urządzenia?

Doświadczenia A/A zapewniają punkt odniesienia, z którym możesz porównać świeże doświadczenia A/B dla dowolnej części witryny.

Można argumentować, że możesz otrzymać te same informacje za pośrednictwem analityki witryny.

Ale to zarówno prawda, jak i nieprawda.

Narzędzie do testowania A/B służy przede wszystkim do ogłaszania zwycięzcy (podczas wysyłania danych testowych do Google Analytics lub wykonywania innych obliczeń), więc nadal warto obserwować dane witryny, gdy jest ona uruchomiona.

Konfiguracja A/A Experience

Doświadczenia A/A są bardzo ważnym narzędziem do optymalizacji współczynnika konwersji.

Jednak wyzwaniem związanym z doświadczeniem A/A jest podjęcie decyzji, której strony użyć podczas przeprowadzania doświadczenia.

Upewnij się, że strona, którą wybierzesz jako stronę A/A A/A, ma te dwie cechy:

• Duży ruch. Im więcej osób odwiedza stronę, tym szybciej zauważysz zgodność między odmianami.
• Odwiedzający mają możliwość zakupu lub rejestracji . Będziesz chciał dopracować swoje rozwiązanie do testowania A/B aż do mety.

Te wymagania są powodem, dla którego często przeprowadzamy testy A/A na stronie głównej witryny.

W następnej sekcji wyjaśnię bardziej szczegółowo, jak utworzyć kampanię testową A/A, ale w skrócie, oto jak skonfigurować test A/A na stronie głównej witryny internetowej:

1. Utwórz dwie identyczne wersje tej samej strony: kontrolkę i odmianę. Po zakończeniu tworzenia odmian wybierz odbiorców o identycznych rozmiarach próbki.
2. Określ swój KPI. KPI to metryka, która mierzy wydajność w czasie. Na przykład Twoim KPI może być liczba odwiedzających, którzy kliknęli wezwanie do działania.
3. Podziel odbiorców równomiernie i losowo za pomocą narzędzia do testowania, wysyłając jedną grupę do kontroli, a drugą do odmiany. Uruchom doświadczenie, aż zarówno kontrola, jak i odmiana osiągną określoną liczbę odwiedzin.
4. Śledź KPI obu grup. Ponieważ obie grupy są narażone na te same treści, powinny zachowywać się podobnie.
5. Połącz swoje narzędzie do testowania A/B z oprogramowaniem analitycznym. Umożliwi to dwukrotne sprawdzenie, czy Twoje dane są dokładnie gromadzone w programie analitycznym.

Jak interpretować wyniki testu A/A?

Spodziewamy się niejednoznacznych wyników podczas A/A Experience

Chociaż sezonowość raczej nie zmieni wyników testu A/A, jednym z celów jest wykrycie nieoczekiwanych wyników. Z tego powodu zalecamy przeprowadzenie testu przez co najmniej tydzień przed sprawdzeniem wyniku.

Pod koniec tygodnia powinieneś zauważyć następujące zachowanie podczas sprawdzania wyników testu A/A:

• Z biegiem czasu istotność statystyczna ustabilizuje się wokół danej wartości. W 10% przypadków istotność statystyczna ustabilizuje się powyżej 90%.
• W miarę gromadzenia większej ilości danych przedziały ufności dla Twojego eksperymentu będą się zmniejszać, wykluczając wartości niezerowe.
• Oryginał i odmiana mogą zachowywać się inaczej w różnych momentach wyników testu, ale żadna z nich nie powinna być oficjalnie uznawana za statystycznie istotnego zwycięzcę.

Ponieważ nie powinno być żadnej różnicy między odmianami, należy spodziewać się jedynie niewielkich różnic i żadnych statystycznie istotnych wyników. Być może zobaczysz coś podobnego do tych:

Co to znaczy, jeśli otrzymujesz nieidentyczne odmiany?

Jeśli między tymi dwiema identycznymi odmianami doświadczenia A/A występuje znaczna różnica, może to oznaczać, że oprogramowanie do testowania A/B nie zostało prawidłowo zaimplementowane lub że narzędzie testowe jest nieefektywne .

Jednak możliwe jest również, że doświadczenie nie zostało przeprowadzone prawidłowo lub że wyniki wynikają z losowej wariancji . Ten rodzaj błędu próbkowania występuje naturalnie podczas pomiaru próbki, w przeciwieństwie do pomiaru wszystkich odwiedzających.

Na przykład 95-procentowy poziom ufności sugeruje, że zwycięski wynik pojawi się w jednym na 20 wystąpień, z powodu błędu próbkowania, a nie znaczącej różnicy w wydajności między dwiema odmianami.

Innym powodem, dla którego prawidłowo przeprowadzone doświadczenie A/A może nie potwierdzać tożsamości odmian, jest heterogeniczność grupy docelowej .

Załóżmy na przykład, że prowadzimy spotkanie A/A na grupie kobiet, z różnymi współczynnikami konwersji dla kobiet w różnym wieku.

Nawet jeśli przeprowadzimy test prawidłowo, używając dokładnego narzędzia do testowania A/B, nadal może on ujawnić znaczącą różnicę między dwoma identycznymi odmianami. Czemu? W tym przykładzie 50% odwiedzających może być w wieku od 20 do 90 lat, podczas gdy pozostałe 50% może mieć od 20 do 50 lat. bardzo różne.

Wreszcie, kolejnym częstym błędem podczas przeprowadzania dowolnego rodzaju testu, w tym testu A/A, jest ciągłe sprawdzanie wyników i przedwczesne zakończenie testu po wykryciu istotności statystycznej.

Ta praktyka zbyt szybkiego deklarowania zwycięskiej odmiany nazywa się „podglądaniem danych” i może prowadzić do nieprawidłowych wyników.

Przeglądanie danych w teście A/A może doprowadzić analityków do zauważenia wzrostu w jednej odmianie, podczas gdy obie są w rzeczywistości identyczne.

Aby tego uniknąć, należy wcześniej zdecydować o wielkości próbki, której chcemy użyć. Podejmij tę decyzję na podstawie:

• Minimalna wielkość efektu: minimalny wzrost, poniżej którego efekt nie ma znaczenia dla Twojej organizacji
• Moc
• Poziomy istotności, które uważasz za akceptowalne

Celem testu A/A byłoby wówczas uniknięcie uzyskania statystycznie istotnego wyniku po osiągnięciu wielkości próby.

Jakie są wyzwania testowania A/A?

Oprócz wielu korzyści, jakie test A/A może wnieść do strategii eksperymentowania, są to dwie główne wady testów A/A:

1. Układ eksperymentalny A/A zawiera element nieprzewidywalności.
2. Konieczna jest duża wielkość próbki.

Przyjrzyjmy się każdemu z tych wyzwań z osobna.

Losowość

Jak wspomniano wcześniej, jednym z głównych powodów przeprowadzania testu A/A jest ocena dokładności narzędzia testowego.

Załóżmy jednak, że zauważasz różnicę między konwersjami kontrolnymi a konwersjami odmian.

Problem z testowaniem A/A polega na tym, że zawsze występuje jakiś element losowości.

W innych okolicznościach istotność statystyczną uzyskuje się wyłącznie przez przypadek. Oznacza to, że różnica we współczynnikach konwersji między dwiema odmianami ma charakter probabilistyczny, a nie bezwzględny.

Duży rozmiar próbki

Porównując podobne odmiany, wymagana jest duża próba, aby określić, czy któraś z nich jest faworyzowana w stosunku do jej identycznego odpowiednika.

To wymaga dużo czasu.

Przeprowadzanie testów A/A może zająć „rzeczywisty” czas testowania.

Sztuczka programu optymalizacyjnego na dużą skalę polega na zmniejszeniu stosunku kosztów zasobów do możliwości, aby zapewnić szybkość testowania wydajności i tego, czego się uczysz, poprzez całkowite usunięcie marnotrawstwa, głupoty i nieefektywności z procesu.

Prowadzenie eksperymentów w witrynie przypomina trochę prowadzenie ruchliwej linii lotniczej na dużym międzynarodowym lotnisku — masz ograniczone czasy startów i musisz się upewnić, że korzystasz z nich efektywnie.

Craig Sullivan dla CXL

Konwertuj doświadczenia i testy A/A

Testy A/A często pojawiają się w bardziej „zaawansowanych” żądaniach pomocy technicznej.

Poniższe sugestie pracowników pomocy technicznej Convert oparte są na dziesiątkach rozwiązanych spraw:

1. Aby przetestować platformę do testów A/B, najpierw przeprowadź test A/A. Jeśli różnica między nimi jest statystycznie istotna na wybranym poziomie, Twoja platforma może być zepsuta.
2. Wykonaj test A/A/B lub A/A/B/B (więcej na ten temat poniżej) i odrzuć wyniki, jeśli dwie odmiany A lub dwie odmiany B dają statystycznie istotne różnice na wybranym poziomie.
3. Skonfiguruj wiele testów A/A. Jeśli więcej testów niż oczekiwano wykaże statystycznie istotne różnice, Twoja platforma jest zepsuta.

Jak skonfigurować testy A/A w ramach konwertowania doświadczeń?

Przyjrzyjmy się teraz, jak skonfigurować kilka różnych typów testów A/A (tak, liczba mnoga) za pomocą funkcji Convert.

Czyste doświadczenie A/A

Najbardziej typowa konfiguracja A/A to podział 50/50 na dwie identyczne strony.

Celem jest sprawdzenie poprawności konfiguracji środowiska przez upewnienie się, że każda odmiana ma mniej więcej taką samą wydajność.

Sprawdzasz to samo ze sobą, aby odkryć, czy dane zawierają szum, a nie przydatne informacje.

Aby skonfigurować to proste doświadczenie A/A, kliknij menu Doświadczenia. Następnie kliknij przycisk „Nowe doświadczenie” w prawym górnym rogu.

Wypełnij szczegóły „Kreatora tworzenia doświadczeń” i wybierz typ doświadczenia „A/A Experience”.

Teraz Twoje doświadczenie A/A powinno zostać stworzone. Będzie on identyczny z innymi rodzajami eksperymentów na platformie, poza tym, że nie będzie opcji „Edytuj wariacje”.

Aktywuj doświadczenie, zmieniając jego status:

Skalibrowane doświadczenie A/A/B lub A/A/B/B

Ideą tego skalibrowanego testu A/A/B lub A/A/B/B jest to, że replikowane warianty A lub B zapewniają miarę dokładności testu A/B.

Jeśli różnica między A i A lub B i B jest statystycznie istotna, test jest uważany za nieważny, a wyniki odrzucane.

Aby skonfigurować taki test, musisz rozpocząć doświadczenie A/B, a nie A/A.

Kliknij przycisk „Nowe doświadczenie” po prawej stronie ekranu, aby rozpocząć tworzenie nowego doświadczenia.

Po kliknięciu tego przycisku zobaczysz to menu podręczne. Wybierz opcję A/B:

Następnie wprowadź swój adres URL w drugim polu.

Zostaniesz przeniesiony do Edytora wizualnego, który wyświetla wybrany adres URL i pasek narzędzi u góry:

W sekcji Odmiany strony w lewym górnym rogu zauważysz, że "Odmiana 1" jest domyślnie wybrana.

Oznacza to, że wszelkie zmiany, jakie wprowadzamy w tej wersji adresu URL, nie wpłyną na pierwotny adres URL.

Spowoduje to klasyczny test A/B, w którym wersja „A” to strona oryginalna, a wersja „B” to Wariant 1.

W przypadku wersji A/A/B lub A/A/B/B musisz dodać kolejną odmianę A i inną odmianę B, które są identyczne odpowiednio z odmianą A i B.

To powinno wyglądać tak:

Kliknij przycisk „Zapisz i kontynuuj” i gotowe!

Przeprowadź wiele imprez A/A

Już to omówiliśmy, ale jeśli przeprowadzasz 1000 kolejnych testów A/A z dużą liczbą odbiorców, przestrzegasz wszystkich wymagań i osiągasz statystycznie istotne wyniki znacznie częściej niż przewidywano, możliwe, że Twoje ramy testów A/B są zepsute.

Możliwe, że próbki nie są odpowiednio randomizowane. A może te dwie odmiany nie wykluczają się wzajemnie.

Oto jak to może wyglądać:

Czy mogę przeprowadzić wydarzenie A/A w tym samym czasie co wydarzenie A/B?

Istnieje prawdopodobieństwo, że będziesz musiał przeprowadzić test A/A w tym samym czasie, co test A/B, na tej samej stronie internetowej.

W takim przypadku jest kilka możliwości:

1. Nie musisz się martwić, że testy będą ze sobą kolidować, jeśli uruchomisz je jednocześnie.
2. Możesz przeprowadzać eksperymenty jednocześnie, ale z różnymi odbiorcami.
3. Możesz wykonać testy we właściwej kolejności (ukończ test 1 (test A/A) przed przejściem do testu 2 (test A/B)).

Opcja 3 jest najbezpieczniejsza, ale drastycznie ogranicza możliwości Twojego doświadczenia.

Całkowicie możliwe jest uruchamianie wielu doświadczeń na tej samej stronie lub zestawie stron w tym samym czasie.

Pamiętaj jednak, że grupowanie w jednym eksperymencie może mieć wpływ na dane z innego, zachodzącego jednocześnie eksperymentu.

Oto dwie najważniejsze techniki konwertowania, których należy używać podczas przeprowadzania testów równoległych:

1. Przydziel 50% ruchu do testu A/A, jednocześnie zezwalając pozostałym 50% ruchu na inne działające środowiska A/B.
2. Wyklucz odwiedzających A/A z innych testów A/B.

Proces kontroli jakości przed testem: ciekawa alternatywa dla testów A/A

Przy podejmowaniu decyzji o przeprowadzeniu testu A/A odpowiedzi będą się różnić w zależności od tego, kogo zapytasz. Nie ma wątpliwości, że testy A/A to kontrowersyjna kwestia.

Jednym z najczęstszych argumentów przeciwko testom A/A jest to, że trwa to zbyt długo.

Testy A/A pochłaniają znaczną ilość czasu i często wymagają znacznie większej próbki niż testy A/B.

Porównując dwie identyczne wersje witryny, wymagana jest duża próbka, aby wykazać znaczną stronniczość.

W rezultacie test będzie trwał dłużej, co może skrócić czas poświęcony na inne ważne testy.

W takich przypadkach, gdy masz mało czasu lub duży ruch, najlepiej rozważyć przeprowadzenie przedtestowego procesu kontroli jakości.

W tym artykule na blogu przeprowadzimy Cię przez wszystkie kroki, które musisz wykonać, aby przeprowadzić pełny proces kontroli jakości. Metody, z których korzystasz, zależą od Ciebie i zależą od tego, ile masz czasu.

Czy SRM może istnieć w testach A/A?

Zadaj sobie następujące pytanie: Czy faktyczna liczba użytkowników zaobserwowana podczas testu A/A jest zbliżona do stosunku 50/50 (lub 90/10 lub jakiegokolwiek innego), jeśli podzielisz ich na pół?

Jeśli nie, masz do czynienia z jednym z dwóch problemów: albo występuje problem z wywoływaniem infrastruktury testowej z poziomu kodu (co powoduje, że jest „nieszczelny” z jednej strony), albo występuje problem z infrastrukturą testową mechanizm przydzielania.

Błąd niedopasowania proporcji próbek (błąd SRM) to defekt, który może wykryć test A/A.

Jeśli Twój stosunek wynosi około 65/35, powinieneś zbadać problem przed uruchomieniem kolejnego testu A/B przy użyciu tej samej strategii kierowania.

Czy zalety testów A/A przeważają nad wadami?

Chociaż testów A/A nie należy przeprowadzać co miesiąc, warto przetestować dane podczas konfigurowania nowego narzędzia A/B.

Jeśli teraz złapiesz błędne dane, będziesz mieć większe zaufanie do wyników testu A/B w przyszłości.

Chociaż decyzja należy do Ciebie, zdecydowanie zaleca się przeprowadzenie testów A/A, jeśli zaczynasz pracę z nowym narzędziem. Jeśli nie, zalecamy skonfigurowanie ścisłej przedtestowej procedury kontroli jakości, ponieważ testy A/B pozwolą zaoszczędzić czas, pieniądze i ruch.

Mamy nadzieję, że powyższe zrzuty ekranu odpowiadają na Twoje pytania, ale jeśli nie, zapisz się na demo, aby przekonać się, jak łatwo jest skonfigurować test A/A z Convert Experiences.