Kiedy szukać lokalnego i globalnego maksimum w testach A/B

Wyobraź sobie, że wspinasz się na Mount Everest w gęstej mgle z amnezją. Widzisz tylko na odległość wyciągniętej ręki. Nie wiesz, gdzie jesteś ani w jakim kierunku podążać, wiesz tylko, że musisz zdobyć szczyt. Jakie są szanse, że to zrobisz?

Pewnie tak nisko, jak wysoka jest góra.

Jakkolwiek dramatyczna jest ta analogia, zrobiono ją w odniesieniu do podstaw popularnej metody testowania A/B. Ten szczyt to najlepsza wersja Twojej strony docelowej po kliknięciu, a Ty jesteś zdezorientowany, prawie ślepy i zagubiony na zboczu góry bieżącej strony.

Co gorsza, prawdopodobnie dostałeś niewłaściwą mapę od swoich ulubionych blogerów marketingowych. Możesz pomyśleć, że przeprowadzasz testy A/B we właściwy sposób — że zmierzasz w kierunku tego szczytu. Istnieje jednak prawdopodobieństwo, że wkrótce trafisz w ślepy zaułek i nigdy nie znajdziesz najskuteczniejszej odmiany strony docelowej po kliknięciu.

Mit dotyczący testów A/B, który dezorientuje początkujących

Niektóre z najpopularniejszych blogów marketingowych w Internecie nadal podtrzymują mit dotyczący testów A/B, który skazuje początkujących od samego początku. Mnie też to prześladowało, kiedy zaczynałem.

„Nie zmieniaj więcej niż jednego elementu strony na jeden test A/B” – czytałem w kółko. Nie kwestionowałem tego, ponieważ źródła były godne zaufania i przede wszystkim dlatego, że po prostu miało to sens.

Celem testów A/B jest zebranie danych, które można wykorzystać do optymalizacji strony, wiadomości e-mail, reklamy lub czegokolwiek, co akurat testujesz. Skąd miałem wiedzieć, co spowodowało zmianę współczynnika konwersji na zakończenie testu, jeśli dokonałem więcej niż jednej korekty między wersjami „A” i „B”? Jakiego rodzaju miałyby to być dane?

Testowałem więc elementy pojedynczo: nagłówek strony docelowej „A” po kliknięciu vs. nagłówek strony docelowej „B” po kliknięciu. Następnie był to niebieski przycisk na stronie docelowej „A” po kliknięciu w porównaniu z zielonym przyciskiem na stronie docelowej „B” po kliknięciu. Tak zrobili profesjonaliści, Amazon i Google. Jeśli to było wystarczająco dobre dla wielomiliardowych firm, to było wystarczająco dobre dla mnie.

Problem, który przeoczyłem, a który boleśnie uświadomiłem sobie kilka miesięcy później, polega na tym, że nie byłem Amazonem ani Google. Ich strony internetowe generują duży ruch, co oznacza, że ​​niewielkie wzrosty uzyskane dzięki tym frywolnym testom kolorów przycisków mogą przełożyć się na miliony dolarów przychodów.

Jednak dla większości ludzi są one stratą czasu i zasobów. Dla większości ludzi korzystanie z tej metody testowania A/B jest jak wspinanie się na Mount Everest w gęstej mgle z amnezją.

Heurystyka wspinaczki górskiej

W naszym codziennym życiu napotykamy problemy, dla których rozwiązanie jest jasne. Ale co się stanie, gdy napotkasz nieznaną iw dużej mierze wyjątkową przeszkodę? Weźmy na przykład ten labirynt:

Nie ma wpisów na blogu o najlepszym sposobie poruszania się po tym konkretnym labiryncie. Twój przyjaciel (najprawdopodobniej) nie może cię przez to przeprowadzić. Nie masz mapy. Jak więc dostać się z punktu A do punktu B?

Odpowiedź można znaleźć w programie komputerowym o nazwie „The General Problem Solver”, stworzonym w 1963 roku przez Newella, Simona i Shawa w celu badania sztucznej inteligencji. Ich badania zostały również zastosowane do rozwiązywania problemów ludzkich. Dr Russ Dewey wyjaśnia:

Newell i Simon zdefiniowali każdy problem jako przestrzeń. Na jednym końcu przestrzeni znajduje się punkt startowy, a po drugiej cel. Sama procedura rozwiązywania problemów jest pomyślana jako zestaw operacji przekraczających tę przestrzeń, aby przejść od punktu początkowego do stanu docelowego, krok po kroku.

W Ogólnym rozwiązywaniu problemów program testuje różne działania (które Newell i Simon nazwali operatorami), aby zobaczyć, które zbliżą go do stanu docelowego. Operator to dowolna czynność, która zmienia stan systemu. Ogólne narzędzie do rozwiązywania problemów zawsze wybiera operację, która wydaje się przybliżać go do celu. Ta taktyka nazywana jest wspinaczką górską, ponieważ przypomina taktykę polegającą na robieniu zawsze kroku w kierunku szczytu wzgórza lub góry.

W powyższym labiryncie każdy ślepy zaułek to „przestrzeń” — problem, który musisz pokonać za pomocą „operacji”, czyli działań, które przybliżają cię do celu (dotarcie z „A” do „B”).

Zaczynasz więc od „A” i podążasz ścieżką, która Twoim zdaniem najszybciej doprowadzi Cię do „B”. Kiedy trafisz w ślepy zaułek, wracasz i próbujesz alternatywnej trasy. Powtarzasz ten proces, aż osiągniesz swój cel.

To właśnie robisz, gdy przeprowadzasz testy A/B małych elementów. Identyfikujesz problem, np. niezauważalny przycisk. Następnie zbliżasz się do celu, jakim jest stworzenie najlepszej wersji strony docelowej po kliknięciu (a przynajmniej tak Ci się wydaje), testując to, co Twoim zdaniem jest lepsze. Jeśli to nie zadziała, testujesz inny.

Jednak w pewnym momencie osiągniesz punkt malejących zwrotów zwany „lokalnym maksimum”.

Maksimum lokalne i maksimum globalne

Powodem, dla którego powyższa metoda jest nazywana heurystyką „wspinaczki górskiej”, jest to, że ma ona poważne ograniczenie, które może sprawić, że będziesz drapać się po głowie na wzgórzu, patrząc na szczyt góry — gdzie znajduje się najlepsza strona docelowa po kliknięciu. Dr Dewey wyjaśnia:

Wspinaczka górska to prosta strategia, ale nie zawsze skuteczna. Jedną z potencjalnych pułapek jest „problem podgórski”. Jeśli wybierzesz krok, który zaprowadzi cię pod górę (lub w określonym kierunku), możesz wspiąć się na podnóże, które leży między tobą a górą, ignorując znacznie wydajniejszą procedurę obejścia go. Innymi słowy, jeśli zmierzasz prosto do celu bez elastyczności, możesz zapłacić wysoką cenę, zmarnować dużo energii lub spowodować więcej pracy dla siebie, nie przyczyniając się do osiągnięcia celu.

W terminologii optymalizacyjnej to „pogórze” nazywane jest „maksimum lokalnym”. To najlepsza wersja Twojej obecnej strony, która po dalszych testach A/B przyniesie malejące zyski. Szczyt góry nazywany jest „globalnym maksimum”. To najlepsza wersja strony docelowej po kliknięciu. Oto pomocna grafika do zilustrowania:

Zaczynając od pojedynczej strony docelowej po kliknięciu i testując A/B małe elementy pojedynczo, aby ją ulepszyć, zbliżasz się do tego lokalnego maksimum, ale ta metoda nigdy nie doprowadzi Cię do szczytu tej góry. Jak więc się tam poruszać?

Testy A/B, aby osiągnąć globalne maksimum

W poście na blogu zatytułowanym „Nie wpadnij w pułapkę testów A/B Minutiae” Rand Fishkin z Moz wyjaśnia frustrujący scenariusz, który może trafić zbyt blisko domu:

Załóżmy, że znajdujesz stronę/koncepcję, z której jesteś względnie zadowolony, i zaczynasz testować małe rzeczy – optymalizację wokół lokalnego minimum. Możesz przeprowadzać testy przez 4-6 miesięcy, uzyskać 5% poprawę ogólnego współczynnika konwersji i czuć się całkiem nieźle. Dopóki...

Przeprowadzasz kolejny duży, nowy pomysł w teście i dalej się poprawiasz. Teraz wiesz, że marnowałeś czas na optymalizację i udoskonalanie strony, której ogólna koncepcja nie jest tak dobra, jak nowa, wstępna, niezoptymalizowana strona, którą właśnie przetestowałeś po raz pierwszy.

Zamiast tego Fishkin, podobnie jak inne osoby mające wpływ na marketing, zaleca najpierw testowanie A/B „remontów” i „wielkich pomysłów” — innymi słowy, testowanie radykalnie różnych stron. Spośród tych radykalnie różnych stron ta, która osiąga najlepsze wyniki, jest najbliższa światowemu maksimum. To jest ten, który powinieneś dostroić za pomocą testów wielowymiarowych: przycisk vs. przycisk, nagłówek vs. nagłówek itp. Kilka studiów przypadków wspiera tę metodę.

Testy A/B dla globalnego maksimum

1.Facebook

W 2008 roku Facebook przetestował całkowicie nowy projekt nawigacji. Ich zespół przeniósł go z lewej strony do listy rozwijanej po prawej stronie. Jednak robiąc to, sprawili, że aplikacje w nawigacji były mniej widoczne dla użytkowników, co spowodowało znacznie mniejszy ruch do tych aplikacji. Ponieważ były cennym źródłem dochodów dla Facebooka, był to problem.

Po próbie uratowania nowego projektu za pomocą kilku sztuczek angażujących zespół optymalizacyjny zdał sobie sprawę, że osiągnął lokalne maksimum i odrzucił całość. Od dewelopera produktu na Facebooku, Adama Mosseriego:

To, co tutaj robiliśmy, to optymalizacja pod kątem lokalnego maksimum. W tych ramach ruch był tylko taki, jaki mogliśmy skierować do aplikacji. A potrzebowaliśmy zmiany strukturalnej. Nasze założenie było wyłączone. Nasze interesy sprowadziły nas na złą drogę. Nie zdawaliśmy sobie z tego sprawy […] optymalizowaliśmy coś lokalnie i musieliśmy trochę przeszkadzać, aby się z tego wydostać.

2. Moż

Ta strona z odmianami, stworzona przez ekspertów ds. współczynnika konwersji dla Moz, była sześć razy dłuższa niż oryginał. Zawierała więcej infografik, inny nagłówek i wideo, a także inne elementy, których nie było na oryginalnej stronie. Przewyższył kontrolę o 52%.

Gdyby zespół pracował tylko nad poprawą elementów na oryginalnej stronie, nigdy nie dodałby treści, które zwiększyły konwersje o połowę. Od testerów:

W naszej analizie skutecznej prezentacji Randa w bezpośredniej rozmowie zauważyliśmy, że potrzebował co najmniej pięciu minut, aby uzasadnić płatny produkt Moza. Istniejąca strona była bardziej jak jednominutowe podsumowanie. Po dodaniu kluczowych elementów prezentacji Randa strona stała się znacznie dłuższa.

3. Gęstość serwerów

Większość analiz przypadków testów A/B, które można znaleźć w Internecie, dotyczy wyglądu stron internetowych. Są to: kolor przycisku vs. kolor przycisku lub obraz vs. obraz, a ich liczba rośnie każdego dnia. W rezultacie większość osób zajmujących się testami A/B zakłada, że ​​można ich używać tylko do projektowania stron internetowych.

Koncepcję testów A/B można jednak zastosować do wszystkiego, w tym do projektowania produktów, a nawet do struktury cen, jak widać na przykładzie z Sever Density.

Firma, która świadczy usługi monitorowania serwerów i stron internetowych, pozwoliła swoim klientom płacić na podstawie liczby monitorowanych serwerów i stron internetowych:

Struktura miała na celu poszerzenie bazy klientów i tak się stało, ale teraz zespół skupił się na wyższych przychodach. Więc przetestowali A/B całkowitą zmianę swoich cen, z modelem w pakiecie:

Nowa struktura faktycznie wygenerowała mniej konwersji, ale wartość każdej z nich gwałtownie wzrosła. Oto wyniki:

Średnia wartość zamówienia wynosiła teraz ponad 55 USD w porównaniu ze starym: 19,70 USD. Dania na wynos przypominają testerom o dwóch kluczowych rzeczach:

Testy A/B mogą być wykorzystywane nie tylko do powierzchownych zmian w projekcie.
Konwersje to nie wszystko. Czasami mniejsza liczba konwersji daje lepsze wyniki.

Jak znaleźć globalne i lokalne maksimum?

Pamiętaj: siła testów A/B polega na zbliżeniu się do globalnego maksimum przy dużych zmianach. Aby znaleźć lokalne maksimum, lepiej zamiast tego użyć testów wielowymiarowych.

Czy wpadłeś w pułapkę testowania ściśle jednego elementu strony na raz? Czy dokonujesz wielu zmian na test, aby znaleźć globalne maksimum?

Dowiedz się, jak zapewnić personalizację reklam 1:1 dla każdej grupy odbiorców dzięki demonstracji Instapage Enterprise już dziś.