Jak zmniejszyć zanieczyszczenie wielkości próbki, aby uzyskać dokładne wyniki testu A/B?

Spędziłeś godziny na opracowywaniu strategii testu.

Twój zespół tworzy hipotezę.

Uruchamiasz test i czekasz na wyniki.

Ale okazuje się, że twój test się nie powiódł. Wyniki zostały skażone. Ale jak?

Nie bój się. W świecie testów istnieje mały, brudny sekret zwany zanieczyszczeniem wielkości próbki .

Zanieczyszczenie próbki odbiorców może nieświadomie spowodować, że testy zostaną skazane na niepowodzenie, zanim jeszcze się rozpoczną.

Istnieje długa lista potencjalnych przyczyn niepowodzenia testów, ale jednym z najbardziej frustrujących jest zanieczyszczenie wielkości próbki.

Ten artykuł pomoże Ci zrozumieć:

• Dlaczego występuje zanieczyszczenie wielkości próbki.
• Jak sprawdzić, czy test jest zanieczyszczony.
• Kroki, które należy podjąć, aby zminimalizować zanieczyszczenie wielkości próbki.

Spójrzmy…

Wielkość próbki 101

Definicja wielkości próbki

Możesz użyć narzędzi, takich jak kalkulator czasu trwania testu A/B Convert, który oferuje kalkulator wielkości próbki lub kalkulator wielkości próbki CXL.

Większość kalkulatorów online jest prosta w użyciu. W kalkulatorze Convert wystarczy podać tylko trzy wartości:

• Obecny współczynnik konwersji
• Oczekiwana poprawa
• Poziom zaufania

Przykład:

Jeśli obecny współczynnik konwersji wynosi 3%, a oczekiwana poprawa wynosi 20% podczas testowania dwóch odmian przy poziomie ufności 95%, do uzyskania wiarygodnych wyników potrzebna jest próbka o wielkości 42 034. Według naszego kalkulatora czasu trwania przy 2000 odwiedzających dziennie w tej grupie testowej zajęłoby to 22 dni.

Określ, kto będzie w Twojej próbce

Najprostszy sposób, aby odpowiedzieć na to pytanie „KTO?” lub segment, sprawdzając dane demograficzne i źródła obecnych użytkowników witryny. Skorzystaj z istniejących danych, aby uzyskać wskazówki. Kim oni są? Skąd pochodzą?

Narzędzia takie jak Convert Experiments faktycznie umożliwiają testowanie przy użyciu określonego segmentu odwiedzających witrynę i tworzenie niestandardowych odbiorców.

Kilka czynników może pomóc w ukryciu „kto”:

• Rodzaj ruchu
  Czy masz ruch sezonowy? Spodziewasz się napływu odwiedzających w związku ze zbliżającymi się świętami? Czy Twoje dane o ruchu wahają się w zależności od dnia tygodnia?
  
• Źródło ruchu
  Skąd pochodzi Twój ruch? Ludzie zachowują się inaczej w zależności od źródła, z którego wchodzą do Twojej witryny. Na przykład odwiedzający z LinkedIn może nie wchodzić w interakcję z Twoją witryną w taki sam sposób, jak osoba pochodząca z Facebooka.
  
  Sprawdź Google Analytics, aby uzyskać przegląd zaangażowania użytkowników na podstawie źródła.

• Nowy kontra stary
  Statystyki pokazują, że powracający użytkownicy pozostają w Twojej witrynie dłużej niż nowi użytkownicy. Zastanów się, jak wpłynie to na twój test.

Celem tego etapu rozważań jest pomoc w tworzeniu reprezentatywnych próbek .

Encyclopedia of Survey Research Methods definiuje reprezentatywne próbki jako:

Próba reprezentatywna to taka, która ma silną wiarygodność zewnętrzną w stosunku do populacji docelowej, którą próbka ma reprezentować. W związku z tym wyniki ankiety można z pewnością uogólnić na populację zainteresowaną.

Aby upewnić się, że masz reprezentatywną próbkę, Convert sugeruje przeprowadzenie testu dla co najmniej jednego cyklu biznesowego. Dzięki temu test ma czas na uwzględnienie wariancji odwiedzających, która może wystąpić w ramach cyklu.

Co to jest zanieczyszczenie wielkości próbki?

Teraz, kiedy już wiesz, jaka jest wielkość próbki, możesz zbadać czynniki, które mogą zaburzyć wielkość próbki i zepsuć test. W ten sposób wielkość próby wpływa na trafność. Czynniki wielkości próbki, które negatywnie wpływają na wyniki testu, są znane jako zanieczyszczenie wielkości próbki.

Invespcro definiuje zanieczyszczenie próbki jako:

„… czynniki, które unieważniają dane z testu A/B, wpływając na próbki lub dane użyte podczas przeprowadzania testu”.

Ten problem jest bardziej powszechny. Spójrz na tę skargę:

Próbka stronnicza

W większości przypadków zależy Ci na losowym próbkowaniu, co oznacza, że ​​każdy użytkownik Twojej witryny ma taką samą szansę na zobaczenie określonej odmiany, zanim zostanie zgrupowany. Po umieszczeniu w wiadrze użytkownik będzie widział ten sam wariant przez cały czas trwania testu.

Jeśli jednak używasz narzędzia do testowania A/B, które nie wykonuje dobrze randomizacji, randomizacja nie jest gwarantowana i może unieważnić test.

Prostym sposobem na walkę z tendencyjnym próbkowaniem jest użycie dobrego narzędzia do testowania A/B, takiego jak Convert, które prawidłowo przeprowadza randomizację i dzielenie. Rozpocznij test od testu A/A, aby sprawdzić, czy randomizacja działa prawidłowo.

Chcesz mieć świadomość potencjalnego błędu próby, gdy rozważasz szczegóły swojego testu.

Źródła, które powodują zanieczyszczenie wielkości próbki

Istnieją cztery typowe typy zanieczyszczenia próbek: czas, urządzenie, przeglądarka i plik cookie.

Przyjrzyjmy się każdemu z nich…

wyczucie czasu

Długość twojego testu wpływa na ważność twoich wyników. Nic więc dziwnego, że „jak długo powinienem przeprowadzać test A/B” to częste pytanie.

Specjaliści CRO mają sprzeczne poglądy na to, co jest akceptowalnym punktem odniesienia. W rzeczywistości zmienne testowe powinny kierować odpowiednią długością testu.

Może się wydawać, że prostym rozwiązaniem jest po prostu umożliwienie uruchomienia i uruchomienia testu. Ale to też może powodować problemy. Dodatkowy czas oznacza wzrost potencjalnego zanieczyszczenia od czynników zewnętrznych.

Chcesz znaleźć idealne miejsce.

Innym częstym błędem dotyczącym długości testowania jest zbyt wczesne zatrzymanie testu. Może to nie prowadzić do zanieczyszczenia wielkości próbki, ale może negatywnie wpłynąć na test.

To samo dotyczy sytuacji, gdy test zostanie zatrzymany, gdy osiągniesz istotność statystyczną. Aby test był ważny, powinien również osiągnąć obliczoną wielkość próbki dla żądanego MDE (minimalnego wykrywalnego efektu).

W podobny sposób nigdy nie przerywaj wariantu testu biegowego. Spowoduje to katastrofalne zanieczyszczenie . Nie byłbyś w stanie porównać wariantu „zatrzymanego” z kontrolką „cały czas w biegu”. Nie miałbyś możliwości porównania „jabłek z jabłkami”. Nigdy nie zatrzymuj, a później ponownie uruchamiaj wariant w teście.

Nie przerywaj testów, dopóki dane nie będą zgodne z wielkością próbki.

Zanieczyszczenie plików cookie

Pliki cookie mogą powodować najbardziej podstępną formę zanieczyszczenia wielkości próbki.

Zgodnie z definicją techopedii pliki cookie to:

Plik cookie to plik tekstowy, który przeglądarka internetowa przechowuje na komputerze użytkownika. Pliki cookie umożliwiają aplikacjom internetowym utrzymywanie stanu aplikacji. Są one używane przez witryny internetowe do uwierzytelniania, przechowywania informacji o witrynie/preferencji, innych informacji dotyczących przeglądania i wszystkiego, co może pomóc przeglądarce sieci Web podczas uzyskiwania dostępu do serwerów sieci Web. Pliki cookie HTTP są znane pod wieloma różnymi nazwami, w tym pliki cookie przeglądarki, pliki cookie sieci Web lub pliki cookie HTTP.

Jako marketerom pliki cookie umożliwiają śledzenie zachowań odwiedzających na Twojej stronie.

Żywotność plików cookie jest zmienna. Odwiedzający mogą je usunąć według własnego uznania.

Im dłużej trwa test, tym bardziej jesteś narażony na usuwanie plików cookie – co ponownie prowadzi do innej formy zanieczyszczenia wielkości próbki. Aby złagodzić to zjawisko, Convert zaleca klientom przeprowadzanie testów nie dłużej niż 90 dni.

Zanieczyszczenie urządzenia

Odwiedzający odwiedzają Twoją witrynę z wielu urządzeń: telefonów komórkowych, laptopów, tabletów, komputerów stacjonarnych, a nawet smartwatchów.

Pomyśl tylko o swoim zachowaniu podczas przeglądania. Możesz zauważyć coś na swoim urządzeniu mobilnym na siłowni. Później w ciągu dnia możesz ponownie odwiedzić witrynę na swoim komputerze stacjonarnym.

Jeśli dzieje się tak w ramach testu A/B, może się wydawać, że dwie różne osoby odwiedziły Twoją witrynę, podczas gdy w rzeczywistości jest to ta sama osoba przeglądająca z dwóch różnych urządzeń.

Jeszcze bardziej niebezpieczne dla twoich wysiłków testowych jest to, że ta sama osoba może zobaczyć inny wariant na każdym urządzeniu.

Jest na to odwrotny przykład. Co się stanie, gdy dwie osoby użyją tego samego urządzenia do odwiedzenia Twojej witryny?

Wyobraź sobie dwóch braci mieszkających w tym samym domu. Dzielą komputer stacjonarny. Oboje przygotowują się do wakacji i muszą zamówić nowe koszulki i obuwie. Jeśli test A/B jest przeprowadzany w witrynie e-commerce w czasie ich wizyty, dane pokażą te dwie osoby jako jednego użytkownika, co ponownie uszkodzi wielkość próbki.

Zanieczyszczenie przeglądarki

Kiedy przeciętna osoba korzysta z Internetu, nie bierze pod uwagę konsekwencji korzystania z różnych przeglądarek w celu odwiedzenia tej samej witryny w teście A/B. Ale przejście do tej samej witryny z jednej przeglądarki do drugiej, takiej jak Safari, a następnie Chrome, może prowadzić do zanieczyszczenia o podobnej wielkości próbki, które występuje na wielu urządzeniach.

Jednak ta konkretna forma zanieczyszczenia jest rzadka, ponieważ większość ludzi będzie trzymać się jednej preferowanej przeglądarki na urządzenie.

Nowe niebezpieczeństwa

Przeglądarki, typ urządzenia, pliki cookie i czas trwania testów to najczęstsze zanieczyszczenia o wielkości próbki, ale wygląda na to, że do rozmowy wkracza nowy zanieczyszczenia. Specjaliści z branży narzekają, że boty powodują zanieczyszczenie wielkości próbki.

Na szczęście w Convert posiadamy silne środki łagodzące boty wbudowane w nasze narzędzie, więc nie będzie to stanowiło problemu.

Wskazówki, jak zmniejszyć zanieczyszczenie wielkości próbki

Ponieważ zanieczyszczenie wielkości próbki jest poważnym problemem, wiele firm wymyśla kreatywne rozwiązania, takie jak umieszczanie użytkowników w różnych segmentach w zależności od lokalizacji.

Ale taka taktyka może usuwać testy „losowości użytkownika” i może zmniejszyć twoją pewność, że wyniki testu są prawidłowe.

Poniżej znajduje się kilka rzeczy, które możesz zrobić, aby zmniejszyć ryzyko zanieczyszczenia próbki:

• Uruchom test dla oddzielnych urządzeń.
• Uruchom test dla osobnych przeglądarek.
• Zidentyfikuj wzorce. Jak wyglądały Twoje dane w przeszłości? Podobnie powinno być podczas testowania – spójność danych.

Oto kilka rzeczy do rozważenia…

Zrozum wariancję

Wariancja i odchylenie standardowe idą w parze ze spójnością. Zasadniczo powiedzą ci, jak daleko od średniej są twoje liczby. Niska wariancja oznacza, że ​​Twoje dane są zgodne ze średnią, co zmniejsza ryzyko zanieczyszczenia.

Możesz wykonać obliczenia ręcznie lub po prostu użyć prostego kalkulatora odchylenia standardowego.

Bądź świadomy potencjalnych problemów z próbkowaniem

Z testami A/B wiążą się nieodłączne problemy, w tym możliwość zanieczyszczenia wielkości próbki.

Znajomość potencjalnych problemów z wielkością próbki umożliwia dokonywanie lepszych wyborów podczas wybierania celów testowych, tworzenia terapii i przeprowadzania eksperymentów.

Teraz możesz pokonać zanieczyszczenia próbek

Dobre praktyki testowania oznaczają, że rozpoczynasz swoje projekty z pełnym zrozumieniem tego, co może pójść nie tak.

Zanieczyszczenie wielkości próbki jest negatywnym produktem ubocznym, który pojawia się podczas przeprowadzania testów A/B. Twoim zadaniem jest ograniczenie tych negatywnych skutków tak bardzo, jak to tylko możliwe, abyś mógł mieć pomyślny test.

Pamiętaj, że łagodzenie ma miejsce przed rozpoczęciem testu.

Korzystaj z solidnego narzędzia, takiego jak Convert, które daje możliwość segmentacji testów, zwalczania nieznośnych botów, używania dobrych technik randomizacji, a wszystko to w ramach prostej platformy obsługującej złożone testy.

Twoja strategia eksperymentowania i moc oprogramowania wpłyną na to, jak dobrze zminimalizujesz zanieczyszczenie wielkości próbki.

Teraz, gdy znasz ten potencjalny martwy punkt podczas testów, nie może cię to podkraść.