57 częstych błędów w testach A/B i jak ich uniknąć

Czy przeprowadzasz testy A/B, ale nie masz pewności, czy działają prawidłowo?

Czy chcesz poznać typowe błędy podczas testów A/B, aby nie tracić cennego czasu na zepsutą kampanię?

Dobra wiadomość! W tym artykule przeprowadzimy Cię przez 57 powszechnych (i czasami rzadkich) błędów testów A/B, które widzimy, dzięki czemu możesz je ominąć lub zorientować się, kiedy się pojawiają i szybko je naprawić.

Podzieliliśmy je na 3 kluczowe sekcje:

• Błędy przed rozpoczęciem testów,
• Problemy, które mogą wystąpić podczas testu,
• I błędy, które możesz popełnić po zakończeniu testu.

Możesz po prostu przeczytać i zobaczyć, czy sam coś robisz.

I pamiętaj:

Każda awaria jest cenną lekcją, zarówno w testowaniu, jak i błędach konfiguracyjnych. Kluczem jest uczenie się od nich!

Zanurzmy się więc w…

Typowe błędy w testach A/B, które można popełnić jeszcze przed uruchomieniem testu

#1. Pchanie czegoś na żywo przed testowaniem!

Możesz mieć fantastyczną nową stronę lub projekt witryny i naprawdę chcesz ją opublikować bez testowania.

Powstrzymać!

Najpierw uruchom szybki test, aby zobaczyć, jak to działa. Nie chcesz wprowadzać radykalnych zmian na żywo bez uzyskania pewnych danych, ponieważ możesz stracić sprzedaż i konwersje.

Czasami ta nowa zmiana może oznaczać znaczny spadek wydajności. Więc najpierw przetestuj go.

#2. Brak rzeczywistego testu A/B

Test A/B działa poprzez uruchomienie pojedynczego źródła ruchu na stronę kontrolną i odmianę tej strony. Celem jest sprawdzenie, czy wprowadzona zmiana sprawia, że ​​odbiorcy lepiej konwertują i podejmują działania.

Chodzi o to, aby upewnić się, że ten test jest kontrolowany i uczciwy, musimy przeprowadzić ten test z określonymi parametrami. Potrzebujemy tych samych źródeł ruchu oglądających kampanię w tym samym czasie, aby nie mieć żadnych zewnętrznych czynników wpływających na jeden test, a nie na drugi.

Niektórzy popełniają błąd polegający na wykonywaniu testu po kolei. Uruchamiają swoją obecną stronę przez X czasu, a następnie nową wersję przez X, a następnie mierzą różnicę.

Te wyniki nie są całkowicie dokładne, ponieważ wiele rzeczy mogło się wydarzyć podczas tych okien testowych. Możesz uzyskać nowy ruch, zorganizować wydarzenie, powodując, że dwie strony będą miały bardzo różnych odbiorców i wyniki.

Upewnij się więc, że przeprowadzasz rzeczywisty test A/B, w którym dzielisz ruch między dwie wersje i testujesz je dokładnie w tym samym czasie.

#3. Nie testuję, aby sprawdzić, czy narzędzie działa

Żadne narzędzie testowe nie jest w 100% dokładne. Najlepszą rzeczą, jaką możesz zrobić na początku, jest przeprowadzenie testu A/A, aby sprawdzić, jak precyzyjne jest Twoje narzędzie.

Jak? Po prostu uruchom test, w którym dzielisz ruch 50:50 między jedną stronę. (Upewnij się, że jest to strona, na której Twoi odbiorcy mogą dokonać konwersji, abyś mógł zmierzyć konkretny wynik).

Czemu?

Ponieważ oba zestawy Twoich odbiorców widzą dokładnie tę samą stronę, wyniki konwersji powinny być identyczne po obu stronach testu, prawda?

Cóż, czasami nie są, co oznacza, że ​​Twoje narzędzie może być nieprawidłowo skonfigurowane. Więc śmiało sprawdź swoje narzędzie testowe przed uruchomieniem jakichkolwiek kampanii.

#4. Korzystanie z narzędzia niskiej jakości i flashowanie treści

Niektóre narzędzia nie są tak dobre jak inne. Wykonują swoją pracę, ale walczą pod obciążeniem ruchu lub „mrugają” i migoczą.

Może to w rzeczywistości spowodować niepowodzenie testu, nawet jeśli masz potencjalny zwycięski wariant.

Załóżmy, że testujesz obraz na swojej stronie. Strona kontrolna ładuje się dobrze, ale różnica między nowym obrazem testowym a oryginałem migocze tylko przez ułamek sekundy. (A może za każdym razem, gdy użytkownik przewija stronę w górę iw dół).

Może to rozpraszać i powodować problemy z zaufaniem, obniżając współczynnik konwersji.

W rzeczywistości twój nowy obraz może teoretycznie nawet lepiej konwertować, ale migotanie narzędzia obniża wyniki, dając niedokładny test tego obrazu.

Upewnij się, że masz wystarczająco dobre narzędzie do testowania.

(Jest to tak ważny czynnik doświadczenia użytkownika, że ​​Google obecnie dostosowuje swoje rankingi do witryn, które nie mają migoczących lub ruchomych elementów).

#5. Brak testowej kontroli jakości

Super prosty błąd, ale czy sprawdziłeś, że wszystko działa?

• Czy przeszedłeś proces sprzedaży?
• Masz innych? (I na urządzeniach bez pamięci podręcznej, ponieważ czasami to, co jest zapisywane w przeglądarce, nie jest tym, jak wygląda strona).
• Czy strony ładują się prawidłowo? Czy są powolne? Czy projekty są pomieszane?
• Czy wszystkie przyciski działają?
• Czy działa śledzenie przychodów?
• Czy sprawdziłeś, że strona działa na wielu urządzeniach?
• Czy masz raport o błędach, jeśli coś się zepsuje?

To wszystko warto sprawdzić ZANIM zaczniesz kierować ruch do dowolnej kampanii.

#6. Czy nowe leczenie/wariacja działa?

Podobnie, czy sprawdziłeś i sprawdziłeś, czy Twoja nowa odmiana działa, zanim przeprowadzisz test?

Może to być pomijana część testów kontroli jakości, ale kampanie często mogą być uruchamiane z uszkodzonymi przyciskami, starymi linkami i nie tylko. Najpierw sprawdź, a potem przetestuj.

7. Nie podążanie za hipotezą i po prostu testowanie starych rzeczy

Niektórzy ludzie po prostu testują wszystko, nie zastanawiając się nad tym.

Wpadają na pomysł zmiany i chcą ją przetestować, ale bez rzeczywistej analizy tego, w jaki sposób strona obecnie konwertuje, ani nawet dlaczego testowana zmiana może mieć znaczenie. (Możliwe, że obniżają konwersję, ale nawet o tym nie wiedzą, ponieważ nie mają jeszcze śledzonego wyniku podstawowego).

Sformułowanie hipotezy o tym, gdzie leży problem, jego przyczyna i jak możesz go rozwiązać, będzie miało ogromny wpływ na Twój program testowy.

#8. Posiadanie niesprawdzalnej hipotezy

Nie każda hipoteza jest poprawna. Jest okej. W rzeczywistości słowo to dosłownie oznacza „Mam pomysł oparty na informacjach o X i myślę, że Y może się wydarzyć w okolicznościach Z”.

Ale będziesz potrzebować hipotezy, którą można przetestować, co oznacza, że ​​można ją udowodnić lub obalić za pomocą testów. Testowalne hipotezy wprowadzają innowacje w ruch i promują aktywne eksperymentowanie. Mogą albo doprowadzić do sukcesu (w takim przypadku twoje przeczucie było poprawne) albo do porażki – pokazując, że przez cały czas się myliłeś. Ale dadzą ci wgląd. Może to oznaczać, że Twój test musi być wykonany lepiej, Twoje dane były nieprawidłowe/błędnie odczytane lub znalazłeś coś, co nie działało, co często daje wgląd w nowy test, który może działać znacznie lepiej.

#9. Nie wyznaczanie z góry jasnego celu testu

Gdy masz hipotezę, możesz jej użyć, aby dopasować ją do konkretnego wyniku, który chcesz osiągnąć.

Czasami ludzie po prostu prowadzą kampanię i widzą, co się zmienia, ale na pewno uzyskasz więcej potencjalnych klientów/konwersji lub sprzedaży, jeśli masz jasność co do tego, w którym konkretnym elemencie chcesz zobaczyć wzrost.

(To również powstrzymuje cię przed zauważeniem spadku ważnego elementu, ale uznanie testu za wygrany, ponieważ „ma więcej akcji”).

A propos…

#10. Koncentrowanie się na powierzchownych metrykach

Twój test powinien być zawsze powiązany z danymi Guardrail lub jakimś elementem, który bezpośrednio wpływa na Twoją sprzedaż. Jeśli jest więcej leadów, powinieneś wiedzieć co do dolara, ile jest wart lead i jaką wartość ma zwiększenie tego współczynnika konwersji.

Jednocześnie należy zazwyczaj unikać metryk, które nie łączą się z wymiernymi wynikami ani nie prowadzą do nich. Więcej polubień na Facebooku niekoniecznie oznacza większą sprzedaż. Usuń te przyciski udostępniania społecznościowego i po prostu obserwuj, ile więcej potencjalnych klientów pozyskujesz. Uważaj na wskaźniki próżności i pamiętaj, że to, że jeden wyciek został naprawiony, nie oznacza, że ​​nie ma innego, którym można by się zająć!

Oto lista typowych wskaźników bariery ochronnej Bena Labaya dla programów eksperymentalnych:

# 11. Wykorzystywanie danych ilościowych tylko do tworzenia pomysłów na testy

Wykorzystywanie danych ilościowych do pozyskiwania pomysłów jest świetne, ale jest też trochę wadliwe. Zwłaszcza jeśli jedyne dane, z których korzystamy, pochodzą z naszych analiz.

Czemu?

Z naszych danych wiemy, że X osób nie kliknęło, ale możemy nie wiedzieć dlaczego.

• Czy przycisk znajduje się zbyt nisko na stronie?
• Czy to niejasne?
• Czy jest to zgodne z oczekiwaniami widza?
• Czy to w ogóle działa?

Najlepsi testerzy słuchają również swojej publiczności. Dowiadują się, czego potrzebują, co ich popycha do przodu, co ich powstrzymuje, a następnie wykorzystują to do formułowania nowych pomysłów, testów i pisemnej kopii.

Czasami Twoi użytkownicy są powstrzymywani przez problemy z zaufaniem i wątpliwości. Innym razem jest to klarowność i połamane formy lub złe projekty. Kluczem jest to, że są to rzeczy, o których dane ilościowe nie zawsze mogą ci powiedzieć, więc zawsze pytaj odbiorców i używaj ich do planowania.

#12. Kopiowanie konkurencji

Gotowy na sekret?

Przez większość czasu twoi konkurenci po prostu to robią. Jeśli nie mają kogoś, kto prowadził długoterminowe kampanie wzrostu, mogą po prostu próbować różnych rzeczy, aby zobaczyć, co działa, czasami bez wykorzystywania jakichkolwiek danych do swoich pomysłów.

A nawet wtedy to, co dla nich działa, może nie działać dla Ciebie. Więc tak, używaj ich jako inspiracji, ale nie ograniczaj swoich pomysłów na testy tylko do tego, co widzisz, robią. Możesz nawet wyjść poza swoją branżę w poszukiwaniu inspiracji i sprawdzić, czy rodzi to pewne hipotezy.

#13. Testowanie tylko „najlepszych praktyk branżowych”

Ponownie, to, co działa dla jednego, nie zawsze działa dla drugiego.

Na przykład obrazy suwaków zwykle mają straszną wydajność, ale w niektórych witrynach mogą faktycznie generować więcej konwersji. Przetestuj wszystko. Nie masz nic do stracenia i wszystko do zyskania.

# 14. Koncentrowanie się najpierw na zadaniach o małym wpływie, gdy dostępne są duże nagrody / nisko wiszące owoce o dużym wpływie

Wszyscy możemy być winni skupiania się na drobiazgach. Możemy mieć stronę, którą chcemy lepiej wykonywać i testować projekty układów i obrazy, a nawet kolory przycisków. (Osobiście mam stronę sprzedaży, która jest w piątej iteracji.)

Chodzi o to, że prawdopodobnie są teraz o wiele ważniejsze strony do przetestowania.

Priorytetowe oddziaływanie przede wszystkim:

• Czy ta strona bezpośrednio wpłynie na sprzedaż?
• Czy inne strony w procesie sprzedaży mają znacznie gorsze wyniki?

Jeśli tak, skup się najpierw na nich.

Wzrost o 1% na stronie sprzedaży jest świetny, ale wzrost o 20% na stronie, która je tam prowadzi, może być znacznie ważniejszy. (Zwłaszcza jeśli na tej konkretnej stronie tracisz większość odbiorców).

Czasami nie tylko szukamy więcej windy, ale zamiast tego naprawić coś, co jest wąskim gardłem.

Przetestuj i popraw największy wpływ, najpierw najniżej wiszące owoce. To właśnie robią agencje i dlatego wykonują taką samą liczbę testów jak zespoły wewnętrzne, ale z wyższym ROI. Agencje uzyskują o 21% więcej wygranych za taką samą liczbę testów!

#15. Testowanie wielu rzeczy na raz i niewiedza, która zmiana spowodowała rezultat

Nie ma nic złego w przeprowadzaniu radykalnych testów, w których zmieniasz wiele rzeczy naraz i przeprojektowujesz całą stronę.

W rzeczywistości te radykalne zmiany mogą czasami mieć największy wpływ na Twój zwrot z inwestycji, nawet jeśli masz witrynę o małym natężeniu ruchu, a zwłaszcza jeśli jesteś na stałym poziomie i wydaje się, że nie możesz już uzyskać większego wzrostu.

Pamiętaj jednak, że nie każdy test A/B powinien dotyczyć tak radykalnej zmiany. W 99% przypadków po prostu testujemy zmianę jednej rzeczy, na przykład

• Nowe nagłówki
• Nowe obrazy
• Nowy układ tej samej treści
• Nowe ceny itp.

Jednak kluczem do wykonania testu pojedynczego elementu jest właśnie to. Utrzymuj test tylko w JEDNYM elemencie zmiany, abyś mógł zobaczyć, co robi różnicę i wyciągnąć z tego wnioski. Za dużo zmian i nie wiesz, co zadziałało.

#16. Nieprzeprowadzenie prawidłowej analizy przed testem

Czy masz wystarczającą liczbę odwiedzających w swojej grupie testowej? Czy test jest w ogóle wart twojego czasu?

Zrobić matematykę! Upewnij się, że masz wystarczający ruch przed uruchomieniem testu – w przeciwnym razie to tylko strata czasu i pieniędzy. Wiele testów kończy się niepowodzeniem z powodu niewystarczającego ruchu lub słabej czułości (lub obu).

Wykonaj analizę przed testem, aby określić wielkość próbki i minimalny wykrywalny efekt dla twojego eksperymentu. Kalkulator istotności testów A/B, taki jak Convert, poda ci wielkość próbki i MDE dla twojego testu, co pomoże ci zdecydować, czy warto go uruchomić. Możesz również wykorzystać te informacje, aby określić, jak długo powinien trwać test i jak mały wzrost nie chciałbyś przegapić, zanim uznasz, że test był udany, czy nie.

#17. Błędne oznaczenie testów

Bardzo prosty błąd, ale się zdarza. Błędnie oznaczasz testy, a następnie otrzymujesz złe wyniki. Odmiana wygrywa, ale nazywa się kontrolą, a wtedy nigdy nie wdrażasz wygranej i pozostajesz z przegranym!

Zawsze sprawdzaj dwukrotnie!

#18. Uruchamianie testów z niewłaściwym adresem URL

Kolejny prosty błąd. Albo adres URL strony został wprowadzony niepoprawnie, albo test jest przeprowadzany w „witrynie testowej”, w której wprowadzono zmiany, a nie w opublikowanej wersji.

Dla Ciebie może wyglądać dobrze, ale w rzeczywistości nie będzie się ładować dla Twoich odbiorców.

# 19. Dodawanie arbitralnych reguł wyświetlania do testu

Ponownie, musisz przetestować jedną rzecz podczas leczenia i nic więcej.

Jeśli to obraz, przetestuj obraz. Wszystko inne powinno być takie samo, w tym pora dnia, kiedy ludzie mogą zobaczyć obie strony!

Niektóre narzędzia umożliwiają testowanie różnych pór dnia, aby sprawdzić, jak wygląda ruch w różnych ramach czasowych. Jest to przydatne, jeśli chcesz sprawdzić, kiedy w witrynie występuje największy ruch, ale nie jest przydatne, gdy strony są dzielone według tego, kto je widzi ORAZ mają różne odmiany.

Na przykład ruch na naszych własnych blogach spada w weekendy (jak większość blogów biznesowych).

Wyobraź sobie, że przeprowadzamy test od poniedziałku do środy na stronie kontrolnej, a następnie pokazujemy ruch z piątku na ndz. Miałby znacznie mniejszy ruch do testowania i prawdopodobnie inne wyniki.

#20. Testowanie niewłaściwego ruchu dla Twojego celu

Najlepiej, gdy przeprowadzając test, chcesz mieć pewność, że testujesz tylko jeden segment odbiorców. Zwykle są to nowi użytkownicy organiczni, aby zobaczyć, jak reagują po raz pierwszy w Twojej witrynie.

Czasami możesz chcieć przetestować powracających odwiedzających, subskrybentów poczty e-mail, a nawet płatny ruch. Sztuką jest przetestowanie tylko jednego z nich na raz, aby uzyskać dokładną reprezentację tego, jak ta grupa radzi sobie z daną stroną.

Podczas konfigurowania testu wybierz odbiorców, z którymi chcesz pracować, i usuń wszystkie inne, które mogą zanieczyścić wynik, takie jak powracający odwiedzający.

#21. Niewykluczenie powracających odwiedzających z testu i wypaczenie wyników

Nazywamy to zanieczyszczeniem próbki.

Zasadniczo, jeśli użytkownik zobaczy stronę Twojej witryny, powróci i zobaczy Twoją odmianę, zareaguje zupełnie inaczej, niż gdyby zobaczył tylko jedną z nich.

Mogą być zdezorientowani, odbijać się, a nawet konwertować wyżej, po prostu z powodu tych dodatkowych interakcji.

Chodzi o to, że powoduje to zanieczyszczenie danych i zmniejszenie ich dokładności. Najlepiej byłoby użyć narzędzia, które losowo wyświetla stronę, którą widzą, ale potem zawsze wyświetla tę samą wersję, dopóki test się nie zakończy.

#22. Nie usuwam swoich adresów IP z testu

Mówiąc o zanieczyszczeniu próbek, oto kolejny sposób na zanieczyszczenie danych (i tak jest to dobra praktyka dla analityki).

Upewnij się, że blokujesz adresy IP Ciebie i Twoich pracowników w narzędziu analitycznym i testowym. Ostatnią rzeczą, jakiej chcesz, jest to, abyś Ty lub członek zespołu „zameldował się” na stronie i został oznaczony w teście.

#23. Brak segmentacji odmian grupy kontrolnej (efekt sieciowy)

Kolejna opcja zanieczyszczenia, która jest rzadka, ale może się zdarzyć, zwłaszcza jeśli masz sieć dla swoich odbiorców.

Oto przykład.

Załóżmy, że masz platformę, na której Twoi odbiorcy mogą się komunikować. Być może strona na Facebooku lub sekcja komentarzy, ale KAŻDY ma do niej dostęp.

W takiej sytuacji możesz mieć osoby, które widzą jedną stronę, a inne widzą odmianę, ale wszystkie znajdują się w tej samej sieci społecznościowej. Może to w rzeczywistości zniekształcić Twoje dane, ponieważ mogą one wzajemnie wpływać na wybory i interakcje ze stroną. Linkedin segmentuje swoich odbiorców podczas testowania nowych funkcji, aby zapobiec problemom z efektem sieciowym.

Najlepiej byłoby rozdzielić komunikację między dwiema grupami testowymi do czasu zakończenia testu.

#24. Przeprowadzanie testów podczas wydarzeń sezonowych lub ważnych wydarzeń w witrynie/platformie

O ile nie testujesz na wydarzenie sezonowe, nigdy nie chcesz przeprowadzać kampanii testowej w okresie świątecznym ani żadnego innego ważnego wydarzenia, takiego jak specjalna wyprzedaż lub wydarzenie na świecie.

Czasami nie możesz na to poradzić. Przeprowadzisz test, a Google po prostu zaimplementuje nową podstawową aktualizację i namiesza w źródłach odwiedzin w połowie kampanii *kaszel*.

Najlepszą rzeczą do zrobienia jest po prostu ponowne uruchomienie po tym, jak wszystko ucichnie.

#25. Ignorowanie różnic kulturowych

Możesz mieć cel dla strony, ale prowadzisz też globalną kampanię z wieloma odmianami wyświetlanymi w różnych językach i krajach.

Musisz wziąć to pod uwagę podczas przeprowadzania testu. Niektóre zmiany można wprowadzić globalnie, takie jak proste przesunięcie układu lub dodanie sygnałów zaufania itp.

Innym razem musisz wziąć pod uwagę różnice kulturowe. Jak ludzie widzą układ, jak wyświetlają obrazy i awatary na Twojej stronie.

Netflix robi to z miniaturami wszystkich swoich programów, testując różne elementy, które mogą spodobać się różnym odbiorcom (zamiast tego występują konkretni aktorzy słynni z tego kraju).

To, co uzyskuje kliknięcia w jednym kraju, może być bardzo różne w innych. Nie wiesz jednak, dopóki nie przetestujesz!

#26. Prowadzenie wielu połączonych kampanii jednocześnie

Łatwo się ekscytować i chcesz przeprowadzić wiele testów naraz.

Pamiętaj tylko: możesz uruchomić wiele testów dla podobnych punktów w procesie sprzedaży w tym samym czasie, ale nie przeprowadzaj wielu testów dla wielu połączonych punktów w lejku.

Oto co mam na myśli.

Możesz całkiem łatwo uruchomić testy na każdej stronie generowania leadów, którą posiadasz, jednocześnie.

Jednak nie chciałbyś jednocześnie testować stron potencjalnych klientów, stron sprzedaży i stron kasy, ponieważ może to wprowadzić tak wiele różnych elementów do procesu testowania, wymagając ogromnych ilości ruchu i konwersji, aby uzyskać przydatny wgląd.

Nie tylko to, ale każdy element może wywołać na następnej stronie inne efekty, zarówno dobre, jak i złe. Jeśli nie masz setek tysięcy odwiedzających tygodniowo, prawdopodobnie będziesz miał trudności z uzyskaniem dokładnych wyników.

Bądź więc cierpliwy i testuj tylko jeden etap na raz lub strony, które nie są połączone w procesie.

Dygresja:

Konwertuj umożliwia wykluczenie osób biorących udział w jednym eksperymencie z oglądania innych. Możesz więc teoretycznie przetestować pełny cykl sprzedaży, a następnie zobaczyć tylko kontrolę innych stron.

#27. Nierówne ważenie ruchu

Nie ma znaczenia, czy przeprowadzasz test A/B, A/B/n czy wielowymiarowy. Musisz przydzielić jednakowy ruch do każdej wersji, aby uzyskać dokładny pomiar.

Ustaw je tak, aby były równe od samego początku. Większość narzędzi pozwoli Ci to zrobić.

Typowe błędy w testach A/B, które możesz popełnić podczas testu

#28. Nie działa wystarczająco długo, aby uzyskać dokładne wyniki

Aby przeprowadzić test i uzyskać dokładne wyniki, należy wziąć pod uwagę 3 ważne czynniki:

• Znaczenie statystyczne,
• Cykl sprzedaży oraz
• Wielkość próbki.

Więc podzielmy to.

Większość ludzi kończy testy, gdy ich narzędzie testowe powie im, że jeden wynik jest lepszy od drugiego ORAZ wynik jest statystycznie istotny, tj. jeśli test nadal działa w ten sposób, jest to zdecydowany zwycięzca.

Chodzi o to, że czasami możesz dość szybko trafić w „stat sig” przy niewielkim ruchu. Losowo wszystkie konwersje mają miejsce na jednej stronie, a żadna na drugiej.

Jednak nie zawsze tak będzie. Możliwe, że test wystartował, jest dzień wypłaty i tego dnia masz mnóstwo sprzedaży.

Dlatego musimy wziąć pod uwagę cykl sprzedaży. Sprzedaż i ruch mogą się zmieniać w zależności od dnia tygodnia lub miesiąca. Aby uzyskać dokładniejszą reprezentację przebiegu testu, najlepiej, aby trwał od 2 do 4 tygodni.

Wreszcie masz wielkość próbki.

Jeśli przeprowadzasz test przez miesiąc, prawdopodobnie uzyskasz wystarczający ruch, aby uzyskać dokładne wyniki. Za mało, a test po prostu nie da ci pewności, że będzie działał tak, jak powinien.

Więc z reguły

• Wybierz wskaźnik zaufania 95%.
• Biegaj przez miesiąc.
• Ustal z wyprzedzeniem, jakiej wielkości próbki potrzebujesz i nie przerywaj testu, dopóki nie trafisz LUB uzyskasz niesamowity wynik, który bez cienia wątpliwości dowodzi, że masz zwycięzcę.

#29. Monitorowanie/podglądanie helikoptera

Peeking to termin używany do opisania, kiedy tester przygląda się swojemu testowi, aby zobaczyć, jak działa.

Idealnie, nigdy nie chcemy patrzeć na nasz test po uruchomieniu i nigdy nie podejmujemy decyzji, dopóki nie zakończy się pełnego cyklu, z odpowiednią wielkością próbki i osiągnięciem istotności statystycznej.

Jednak… A jeśli test się nie uruchamia?

A jeśli coś się zepsuje?

Cóż, w takim razie nie chcesz czekać miesiąca, aby zobaczyć, że jest zepsuty, prawda? Dlatego zawsze sprawdzam, czy test daje wyniki w zakresie kontroli i zmienności, 24 godziny po uruchomieniu.

Jeśli widzę, że zarówno otrzymują ruch, jak i kliknięcia/konwersje, odchodzę i pozwalam, by robił swoje. Nie podejmuję ŻADNYCH decyzji, dopóki test nie zostanie ukończony.

#30. Brak śledzenia opinii użytkowników (szczególnie ważne, jeśli test wpływa na bezpośrednie, natychmiastowe działanie)

Załóżmy, że test uzyskuje kliknięcia, a ruch jest rozłożony, więc *wygląda* na to, że działa, ale nagle pojawiają się raporty, że ludzie nie mogą wypełnić formularza sprzedaży. (Lub jeszcze lepiej, otrzymasz automatyczny alert, że metryka poręczy spadła znacznie poniżej akceptowalnych poziomów).

Cóż, twoja pierwsza myśl powinna brzmieć, że coś jest zepsute.

Nie zawsze. Możesz uzyskiwać kliknięcia od odbiorców, które nie pasują do Twojej oferty, ale na wszelki wypadek warto sprawdzić ten formularz.

Jeśli jest zepsuty, napraw go i uruchom ponownie.

# 31. Wprowadzanie zmian w trakcie testu

Mogło to być jasne na podstawie ostatnich kilku punktów, ale nigdy nie chcemy wprowadzać żadnych zmian w teście po jego opublikowaniu.

Jasne, coś może się zepsuć, ale to jedyna zmiana, jaką powinniśmy kiedykolwiek wprowadzić. Nie zmieniamy projektu, nie kopiujemy, ani nic.

Jeśli test działa, pozwól mu się uruchomić, a dane zadecydują, co działa.

#32. Zmiana alokacji ruchu % w trakcie testu lub usuwanie słabych wyników

Tak jak nie zmieniamy testowanych stron, nie usuwamy żadnych odmian ani nie zmieniamy rozkładu ruchu w trakcie testu.

Czemu?

Załóżmy, że przeprowadzasz test A/B/n z kontrolą i 3 odmianami. Rozpoczynasz test i po tygodniu niegrzecznie rzucasz okiem i zauważasz, że 2 wersje radzą sobie świetnie, a jedna kiepsko.

Teraz byłoby kuszące, aby wyłączyć „przegrywającą” odmianę i ponownie rozdzielić ruch między inne odmiany, prawda? Heck… możesz nawet wziąć dodatkowe 25% ruchu i po prostu wysłać je do najskuteczniejszego, ale nie rób tego.

Czemu?

Ta redystrybucja wpłynie nie tylko na wydajność testu, ale może bezpośrednio wpłynąć na wyniki i sposób ich wyświetlania w narzędziu do raportowania.

Wszyscy użytkownicy, którzy byli wcześniej przydzieleni do usuniętego wariantu, będą musieli zostać ponownie przydzieleni do wariantu i w krótkim czasie zobaczą zmienioną stronę internetową, co może wpłynąć na ich zachowanie i późniejsze wybory.

Dlatego nigdy nie zmieniasz ruchu ani nie wyłączasz odmian w połowie drogi. (A także dlaczego nie powinieneś podglądać!)

#33. Nie przerywanie testu, gdy masz dokładne wyniki

Czasami po prostu zapomniałeś zatrzymać test!

Nadal działa i dostarcza 50% odbiorców na słabszą stronę i 50% na zwycięzcę. Ups!

Na szczęście narzędzia takie jak Convert Experiences można skonfigurować tak, aby zatrzymać kampanię i automatycznie pokazać zwycięzcę po spełnieniu określonych kryteriów (takich jak rozmiar próbki, sygnał statystyczny, konwersje i ramy czasowe).

#34. Bycie emocjonalnie zainwestowanym w utratę wariacji

Jako testerzy musimy być bezstronni. Czasami jednak możesz mieć konkretny projekt lub pomysł, który po prostu kochasz i jesteś przekonany, że powinien był wygrać, więc przedłużasz test coraz dłużej, aby zobaczyć, czy się rozwija.

Zdejmij bandaż.

Możesz mieć dobry pomysł, który wymaga tylko poprawy, ale nie możesz tego zrobić, dopóki nie zakończysz bieżącego testu.

#35. Zbyt długie przeprowadzanie testów i brak śledzenia

Oto kolejny potencjalny problem z zanieczyszczeniem próbki.

Jeśli przeprowadzasz test na dłużej niż 4 tygodnie, istnieje prawdopodobieństwo, że pliki cookie użytkowników zostaną usunięte. Może to powodować brak śledzenia zdarzeń, ale mogą one nawet zwracać i ponownie zanieczyszczać przykładowe dane.

#36. Nie używanie narzędzia, które pozwala zatrzymać/wdrożyć test!

Kolejny rzadki problem.

Niektóre programy testujące nalegają na tworzenie testów zakodowanych na stałe. czyli programista i inżynier budują kampanię od podstaw.

Nie jest to jednak wspaniałe, gdy test się kończy i musisz poczekać, aż ten sam programista go wyłączy i zainstaluje zwycięską odmianę. Jest to nie tylko frustrujące, ale może poważnie spowolnić liczbę testów, które możesz przeprowadzić, a nawet ROI strony w oczekiwaniu na jej uruchomienie.

Typowe błędy w testach A/B, które możesz popełnić po zakończeniu testu

#37. Rezygnacja po jednym teście!

9 na 10 testów zwykle kończy się niepowodzeniem.

Oznacza to, że musisz przeprowadzić 10 testów, aby uzyskać tego zwycięzcę. To wymaga wysiłku, ale zawsze warto, więc nie zatrzymuj się po jednej kampanii!

#38. Rezygnacja z dobrej hipotezy przed przetestowaniem wszystkich jej wersji

Porażka może po prostu oznaczać, że twoja hipoteza jest poprawna, ale musi być lepiej wykonana.

Wypróbuj nowe sposoby, nowe projekty, nowy układ, nowe obrazy, nowe awatary, nowy język. Masz pomysł i widzisz, czy możesz go lepiej zrealizować.

Potrzeba było 21 iteracji CXL, aby ulepszyć stronę swojego klienta, ale zajęło im to współczynnik konwersji z 12,1% do 79,3%.

#39. Cały czas spodziewasz się ogromnych wygranych

Faktem jest, że możesz wygrać tylko 1 na 10 lub więcej zwycięskich kampanii.

To jest wporządku. Ciągle testujemy i ciągle się poprawiamy, bo nawet o 1% zwiększamy z czasem związki. Popraw go i osiągnij 2%, a teraz podwoiłeś skuteczność.

Jakie rodzaje testów dają najlepsze wyniki?

Prawda jest taka, że ​​różne eksperymenty mają różne efekty. Według badań Jakuba Linowskiego z ponad 300 testów, eksperymenty z układem prowadzą do lepszych wyników.

Jaki typ ekranu jest najtrudniejszy do optymalizacji? To samo badanie ujawnia ekrany kasowe (z medianą +0,4% z 25 testów).

#40. Nie sprawdzanie ważności po teście

Więc test jest skończony. Biegałeś wystarczająco długo, widziałeś wyniki i otrzymałeś sygnał statystyczny, ale czy możesz zaufać dokładności danych?

Możliwe, że coś się zepsuło w trakcie testowania. Nigdy nie zaszkodzi sprawdzić.

#41. Nieprawidłowe odczytywanie wyników

Co tak naprawdę mówią ci twoje wyniki? Niepoprawne ich odczytanie może łatwo zabrać potencjalnego zwycięzcę i wydawać się kompletną porażką.

• Zanurz się głęboko w swoje analizy.
• Spójrz na wszelkie posiadane dane jakościowe.

Co zadziałało, a co nie? Dlaczego to się stało?

Im lepiej rozumiesz swoje wyniki, tym lepiej.

#42. Nie patrzenie na wyniki według segmentów

Zawsze opłaca się zanurkować trochę głębiej.

Na przykład nowy wariant może wydawać się słabą konwersją, ale na urządzeniach mobilnych ma 40% wzrost konwersji!

Możesz się tego dowiedzieć tylko poprzez segmentację w swoich wynikach. Przyjrzyj się zastosowanym urządzeniom i ich wynikom. Możesz znaleźć cenne spostrzeżenia!

Po prostu bądź świadomy znaczenia rozmiaru swojego segmentu. Być może nie masz wystarczającego ruchu do każdego segmentu, aby w pełni mu zaufać, ale zawsze możesz przeprowadzić test tylko dla urządzeń mobilnych (lub innego kanału) i sprawdzić, jak działa.

#43. Nie uczenie się na podstawie wyników

Utrata testów może dać ci wgląd w to, gdzie musisz jeszcze poprawić lub przeprowadzić więcej badań. Najbardziej irytującą rzeczą jako CRO są klienci, którzy odmawiają uczenia się na podstawie tego, co właśnie zobaczyli. Mają dane, ale ich nie używają…

#44. Zabieranie przegranych

Albo, co gorsza, przyjmują wariant przegrywający.

Może wolą projekt, a współczynnik konwersji różni się tylko o 1%, ale z biegiem czasu te efekty się potęgują. Weź te małe wygrane!

#45. Niepodejmowanie działań w związku z wynikami

Jeszcze gorzej?

Zdobywasz wygraną, ale jej nie wdrażasz! Mają dane i po prostu nic z nimi nie robią. Bez zmian, bez wglądu i bez nowych testów.

#46. Brak iteracji i poprawy na wygranych

Czasem można się podwieźć, ale jest więcej do zdobycia. Like we said earlier, it's very rare that every win will give you a double-digit lift.

But that doesn't mean that you can't get there by running new iterations and improvements and clawing your way up 1% at a time.

It all adds up so keep on improving!

#47. Not sharing winning findings in other areas or departments

One of the biggest things we see with hyper-successful/mature CRO teams is that they share their winnings and findings with other departments in the company.

This gives other departments insights into how they can also improve.

• Find some winning sales page copy? Preframe it in your adverts that get them to the page!
• Find a style of lead magnet that works great? Test it across the entire site.

#48. Not testing those changes in other departments

And that's the key here. Even if you share insights with other departments, you should still test to see how it works.

A style design that gives lift in one area might give a drop in others, so always test!

#49. Too much iteration on a single page

We call this hitting the 'local maximum'.

The page you're running tests on has plateaued and you just can't seem to get any more lift from it.

You can try radical redesigns, but what next?

Simply move onto another page in the sales process and improve on that. (Ironically this can actually prove to give a higher ROI anyway.)

Taking a sales page from a 10% to 11% conversion can be less important than taking the page that drives traffic to it from 2% to 5%, as you will essentially more than double the traffic on that previous page.

If in doubt, find the next most important test on your list and start improving there. You may even find it helps conversion on that stuck page anyway, simply by feeding better prospects to it.

#50. Not testing enough!

Tests take time and there's just only so many that we can run at once.

So what can we do?

Simply reduce the downtime between tests!

Complete a test, analyze the result, and either iterate or run a different test. (Ideally, have them queued up and ready to go).

This way you'll see a much higher return for your time investment.

#51. Not documenting tests

Another habit mature CRO teams have is creating an internal database of tests, which includes data about the page, the hypothesis, what worked, what didn't, the lift, etc.

Not only can you then learn from older tests, but it can also stop you from re-running a test by accident.

#52. Forgetting about false positives and not double-checking huge lift campaigns

Sometimes a result is just too good to be true. Either something was set up or recording wrong, or this just happens to be that 1 in 20 tests that gives a false positive.

So what can you do?

Simply re-run the test, set a high confidence level, and make sure you run them for long enough.

#53. Not tracking downline results

When tracking your test results, it's also important to remember your end goal and track downline metrics before deciding on a winner.

A new variant might technically get fewer clicks through but drives more sales from the people who do click.

In this instance, this page would actually be more profitable to run, assuming the traffic that clicks continues to convert as well…

#54. Fail to account for primacy and novelty effects, which may bias the treatment results

Let's say you're not just targeting new visitors with a change, but all traffic.

We're still segmenting them so 50% see the original and 50% see the new version, but we're allowing past visitors into the campaign. This means people who've seen your site before, read your content, seen your calls to action, etc.

Also, for the duration of the campaign, they only see their specific test version.

When you make a new change, it can actually have a novelty effect on your past audience.

Maybe they see the same CTA all the time and now just ignore it, right? In this case, a new CTA button or design can actually see a lift from past visitors, not because they want it more now, but because it's new and interesting.

Sometimes, you might even get more clicks because the layout has changed and they're exploring the design.

Because of this, you will usually get an initial lift in response, but which dies back down over time.

The key when running your test is to segment the audience after and see if the new visitors are responding as well as the old ones.

If it's much lower, then it could be a novelty effect with the old users clicking around. If it's on a similar level, you might have a new winner on your hands.

Either way, let it run for the full cycle and balance out.

#55. Bieżące zmiany okresu rozpatrywania wniosków

Kolejną rzeczą do rozważenia podczas testowania jest każdy wariant, który może zmienić okres rozważania odbiorców.

Co mam na myśli?

Załóżmy, że zwykle nie otrzymujesz natychmiastowej sprzedaży. Leady mogą być w 30-dniowym lub nawet dłuższym cyklu sprzedaży.

Jeśli testujesz wezwanie do działania, które bezpośrednio wpływa na ich czas na rozważenie i zakup, może to zniekształcić Twoje wyniki. Po pierwsze, Twoja kontrola może uzyskać sprzedaż, ale nie będzie trwać w okresie testowym, więc przegapisz je.

Innym scenariuszem jest to, że jeśli masz CTA, które oferuje ofertę, punkt cenowy czegokolwiek innego, co sprawia, że ​​chcą podjąć działanie teraz, to prawie zawsze spowoduje to zniekształcenie wyników, aby ta wersja wyglądała, jakby konwertowała znacznie lepiej.

Pamiętaj o tym i przejrzyj swoje analizy w trakcie i po teście, aby mieć pewność.

#56. Brak ponownego testowania po X czasie

Mniej chodzi o pewną stronę lub błąd testowy, ale bardziej o filozofię testowania.

Tak, możesz mieć niesamowitą stronę i tak, mogłeś zrobić na niej 20 iteracji, aby dostać się tam, gdzie jest dzisiaj.

Rzecz w tym, że za kilka lat może być konieczne ponowne przerobienie całej strony. Zmieniają się środowiska, używany język i terminy, produkt można dostosować.

Zawsze bądź gotowy na powrót do starej kampanii i ponowne przetestowanie. (Kolejny powód, dla którego posiadanie repozytorium testowego działa świetnie.)

#57. Testowanie tylko ścieżki, a nie produktu

Prawie każdy z nas skupia się na ścieżce do sprzedaży i testuje to. Ale rzeczywistość jest taka, że ​​produkt można również przetestować i udoskonalić pod kątem A/B, a nawet zapewnić wyższy udźwig.

Pomyśl o iPhonie.

Firma Apple przetestowała swoją witrynę internetową i poprawiła ją, ale to iteracje i ulepszenia produktów nadal napędzają jeszcze większy wzrost.

Teraz możesz nie mieć fizycznego produktu. Możesz mieć program lub ofertę cyfrową, ale dowiedzenie się więcej o potrzebach odbiorców i przetestowanie ich, a następnie przeniesienie ich z powrotem na stronę sprzedaży może być OGROMNE pod względem wzrostu.

Wniosek

Więc masz to. 57 powszechnych i nietypowych błędów testów A/B, które widzimy i jak można ich uniknąć.

Możesz skorzystać z tego przewodnika, aby ominąć te problemy we wszystkich przyszłych kampaniach.