„Przetestuj wszystko” — od wersji papierowej po praktykę

Powiedzmy sobie jasno.

Przeprowadzanie większej liczby testów A/B nigdy nie jest błędem , nawet jeśli nie wpływają one bezpośrednio na sprzedaż i przychody, o ile dobrze je wykonujesz i wyciągasz wnioski z procesu.

Ale…

Każdy test wymaga inwestycji czasu, wysiłku, kapitału ludzkiego i nie tylko .

Dlaczego więc niektórzy eksperci zalecają testowanie wszystkiego? A jaki jest środek… specjalnie dla ciebie… tak… czytasz ten artykuł.

Teraz możesz mieć mnóstwo dobrych pomysłów na testowanie i chcesz wiedzieć, czy powinieneś przetestować je wszystkie. Ale nie o to chodzi! Jak wspomina Natalia w rozmowie z Benem Labayem ze Speero:

Istnieją setki świetnych pomysłów, ale nie o to chodzi. Chodzi o to, by znaleźć właściwy do pracy we właściwym czasie .

Może wydawać się kuszące, aby zacząć losowe testowanie wszystkiego, ale kluczowe jest ustalenie priorytetów testowania właściwej hipotezy we właściwym czasie .

Przy odpowiednim ustalaniu priorytetów możesz kultywować mentalność „przetestuj wszystko” . Jednak większość modeli priorytetyzacji hipotez jest niewystarczająca.

Przyjrzyjmy się trochę głębiej, aby zrozumieć, czy powinieneś wszystko testować A/B, w jaki sposób ustalanie priorytetów pomaga w podejmowaniu decyzji i jak stworzyć własny model ustalania priorytetów, który przezwycięży ograniczenia tradycyjnych opcji.

Przetestuj wszystko: dlaczego jest to zalecane?

Zacznijmy od zbadania tego kontrowersyjnego podejścia: czy testowanie wszystkiego ma sens?

Dalej, wybierz stronę.

Jakie jest Twoje domyślne działanie?

Co jest dla Ciebie „smaczne” bez przeczytania reszty tego artykułu i zebrania większej ilości danych?

Gotowe?

Zobaczmy teraz, czy nasze rozumowanie zgadza się z twoim.

Zanim zajmiemy się zagadką „testowania wszystkiego”, musimy zrozumieć, co oznaczają testy A/B i ich wyniki.

Ważność statystyczna

Testy A/B to statystycznie poprawny sposób sprawdzenia, czy zmiany, o których myślisz, wpływają na kluczowe wskaźniki wydajności (KPI).

Na przykład, jeśli Twoim celem jest zwiększenie liczby odwiedzin bloga, możesz dodać go do głównego menu nawigacyjnego. Nowe menu nie jest już kopią starego . Ale ta zmiana jest bezużyteczna, jeśli nie wpłynie pozytywnie na zachowanie użytkowników witryny.

Prosty fakt, że obie wersje różnią się strukturalnie, nie ma znaczenia. Ogólnie rzecz biorąc, liczy się realizacja pożądanego i oczekiwanego rezultatu. Czy ludzie są bardziej skłonni do odwiedzania bloga, gdy widzą go w menu głównym, niż gdy jest schowany w stopce ?

Zdrowy rozsądek mógłby powiedzieć TAK , powinien być (pozytywny) efekt . Twój test może jednak nie wykazywać żadnych zmian w danych, które monitorujesz jako miarę wpływu.

Jeśli to prawda, testy A/B również zmniejszają ryzyko.

Ograniczenie ryzyka

Wprowadzanie zmian w całej witrynie jest złożoną i zupełnie inną grą w piłkę.

Możesz w końcu wprowadzić zmiany i zaryzykować marnowanie zasobów , tworząc funkcje, których użytkownicy nie chcą, i dostosowując elementy witryny, które nie przynoszą oczekiwanych rezultatów. Jest to jeden z głównych powodów, dla których konieczne jest przeprowadzenie testów A/B, ponieważ jest to test kwasowości proponowanego rozwiązania przed jego faktycznym wdrożeniem.

Wersje testów A/B (zwłaszcza kompilacje po stronie klienta) wymagają mniej zasobów niż zakodowane na stałe zmiany w witrynie i funkcje o wysokiej wierności. Daje to zielone światło, aby nie podążać określoną drogą, zwłaszcza gdy wyniki wskazują, że kluczowe KPI nie idą we właściwym kierunku.

Bez testowania inwestujesz w doświadczenia, które po prostu nie działają. To ślepe ryzyko, które podejmujesz, nie wiedząc, że być może będziesz musiał wrócić do poprzedniego projektu , aby chronić przychody i wydajność.

Georgi, twórca Analytics-toolkit.com, twierdzi nawet, że testy A/B są ze swej istoty narzędziem do zarządzania ryzykiem:

Po co ryzykować, skoro możesz testować?

(—Więcej na ten temat w dalszej części bloga. Czytaj dalej!—)

Analiza trendów

Gdy konsekwentnie przeprowadzasz testy, z których się uczysz , zaczynasz dostrzegać trendy w reakcjach odbiorców na określone dane wejściowe. Najlepiej nie zakładać, że z pojedynczej iteracji można uzyskać cokolwiek wartościowego. Ale metaanaliza (w środowisku testowym A/B z pojedynczą zmienną) może dać ci pewność, że testowanie danej hipotezy może być traktowane priorytetowo względem innych.

Niektórzy eksperci stoją za testowaniem wszystkiego, biorąc pod uwagę, że eksperymentowanie ma wiele zalet.

Z drugiej strony wielu ekspertów zaleca przynajmniej czerpanie inspiracji z powtarzalnych wyników z poprzednich eksperymentów, aby odpowiedzieć na ważne pytania .

Redaktor naczelny GoodUI, Jakub Linowski, jest jednym z najbardziej godnych uwagi. Twierdzi, że eksperymenty generują wiedzę, która umożliwia przewidywanie. Uważa, że ​​ważne jest poszukiwanie wiedzy, taktyk, wzorców, najlepszych praktyk i heurystyk.

Wiedza, którą zdobywasz dzięki eksperymentom, pomaga tworzyć bardziej wiarygodne prognozy. To z kolei pozwala tworzyć dokładniejsze hipotezy i lepiej je priorytetyzować.

Na pierwszy rzut oka te perspektywy mogą wydawać się sprzeczne. Ale wzmacniają ten sam argument: „ eksperymenty dają pewność w niepewnym świecie ”.

Albo robisz założenia na swoim zestawie danych, albo przenosisz przekonania z testów przeprowadzonych dla podobnych pożądanych wyników końcowych, w wielu branżach i branżach.

W Convert czerpiemy inspirację z obu poglądów i widzimy, jak jeden aspekt buduje następny na dwa następujące proste sposoby.

Nauka i testowanie: Praktyczny duet do inspirujących testów

Kwestionuj wszystko

Jest to trwałe nauczanie mistrzów stoickich .

Kiedy kwestionujesz wszystko wokół siebie, zdajesz sobie sprawę, że jesteś połączeniem tego, co odbierasz od ludzi, których spotykasz, kultury, w której żyjesz, i heurystyk, które twój mózg wybiera.

Ten „instynkt” , który zazwyczaj nas napędza, zwykle nie jest nasz.

Na przykład wielu z nas marzy o prowadzeniu wystawnego stylu życia skoncentrowanego na konsumpcji. Ale czy to naprawdę wyszło od nas? A może jesteśmy ofiarami reklamy, mediów i Hollywood?

Media i reklama zaczęły odgrywać główną rolę w kształtowaniu marzeń i pragnień indywidualnej osoby, aby stać się przede wszystkim konsumentem… i stało się możliwe uwieść indywidualną osobę i sprawić, by uwierzyła, że ​​to, czego pragnie, jest wolną decyzją wypływającą z wnętrza go (ale w rzeczywistości jest uwięziony przez setki reklam, które generowały pragnienie, które, jak powiedział, jest subiektywne i stworzyło dla niego automatyczne pragnienie .

Abdel Wahab El-Messiri

Podejmowanie zmian i decyzji biznesowych przy użyciu TYLKO własnego „instynktu” jest nierozsądne. Jeśli nie możemy być pewni, że zmiany, które chcemy wprowadzić i decyzje, które chcemy egzekwować w naszym biznesie, pochodzą od nas, dlaczego jesteśmy do nich przywiązani?

Kwestionowanie wszystkiego jest niezbędne . Twoje przeczucie, najlepsze praktyki, modele ustalania priorytetów i tak dalej.

A jeśli już wszystko kwestionujemy, następnym krokiem jest poddanie tego matematycznej weryfikacji poprzez eksperymenty. Ponieważ zatrzymanie się na przesłuchaniu nie zamyka pętli od niepewności do pewności.

Ucz się na eksperymentach

Nie możesz się uczyć, jeśli nie testujesz.

Upewnij się, że odpowiednio obliczysz swoje spostrzeżenia. Musisz wykorzystać zarówno dane jakościowe, jak i ilościowe w testach A/B, aby przełożyć swoje wnioski na coś znaczącego. Na przykład pogrupuj średni wpływ według kontekstu, typu testu, lokalizacji testu, monitorowanych wskaźników KPI, wyniku testu itd.

Doskonałym przykładem tego metodycznego podejścia jest baza danych GOODUI .

Identyfikuje wzorce, które powtarzają się w testach A/B, pomagając firmom osiągać lepsze i szybsze konwersje.

GOODUI zawiera 124 wzorce oparte na 366 testach (tylko członkowie) i dodaje ponad 5 nowych wiarygodnych testów co miesiąc. Ucząc się na podstawie eksperymentów i przeliczając te wnioski na wzorce, baza danych GOODUI skraca żmudny proces testowania A/B i umożliwia klientom uzyskanie większej liczby wygranych!

Zainspiruj się tymi wzorami:

Wzór nr 2: Etykiety ikon: https://goodui.org/patterns/2/

Wzór #20: Gotowa odpowiedź: https://goodui.org/patterns/20/

Wzór #43: Długie tytuły: https://goodui.org/patterns/43/

Ale skup się na… priorytetach pomysłów

Nadaj priorytet pomysłom, które są zgodne z Twoimi nadrzędnymi celami biznesowymi, biorąc pod uwagę wyniki specyficzne dla firmy.

Wyobraź sobie to.

Prowadzisz firmę z przyzwoitą bazą klientów. Jednak wskaźnik retencji tych klientów wynosi poniżej 15% . Twoim głównym celem jest zbudowanie zrównoważonego biznesu, który utrzymuje klientów w znacznie wyższym tempie. Ten cel powinien mieć wpływ na ustalanie priorytetów.

Załóżmy, że masz dwa pomysły i chcesz wiedzieć, który najpierw przetestować — jeden, który prawdopodobnie zwiększy współczynnik utrzymania, a drugi, który zwiększy sprzedaż wśród nowych klientów . Prawdopodobnie powinieneś nadać priorytet pierwszemu pomysłowi, mimo że ten drugi ma znacznie większy potencjał do poprawy.

Dzieje się tak, ponieważ wyższy wskaźnik utrzymania klientów oznacza bardziej stabilny biznes w dłuższej perspektywie. Jest to idealnie dopasowane do Twoich nadrzędnych celów biznesowych i strategii.

Inny pomysł może zapewnić znacznie większą sprzedaż. Ale ostatecznie Twoja firma nadal będzie przeciekać ponad 85% swoich klientów.

Modele priorytetyzacji dla eksperymentów zawsze nie uwzględniają strategicznego znaczenia tego, co jest testowane. Analizują prawdopodobny wpływ, wysiłek itp. wielu różnych pomysłów, ale nie biorą pod uwagę, które z tych pomysłów najlepiej pasują do strategii i kierunku biznesowego .

Jonny Longden, przez Testuj wszystko

Gdzie brakuje większości modeli priorytetyzacji?

Jeśli jesteś zapalonym optymalizatorem, możesz mieć długą listę pomysłów na testy A/B. Nie możesz jednak przetestować ich wszystkich naraz, nawet jeśli zdecydujesz się przetestować wszystko, ze względu na ograniczony ruch i zasoby .

To tak, jakby mieć długą listę rzeczy do zrobienia i wiedzieć, że po prostu nie możesz zająć się wszystkim jednocześnie. Dlatego ustalasz priorytety i zaczynasz od tych o NAJWYŻSZYM PRIORYTECIE. Dotyczy to osiągania zysków dzięki eksperymentom. Przy odpowiednim ustaleniu priorytetów Twój program testowy odniesie znacznie większy sukces.

Ale ustalanie priorytetów w testach A/B, jak napisał David Mannheim w swoim artykule, jest bardzo trudne. Dzieje się tak głównie dlatego, że

• Często tworzysz pomysły, które nie są skoncentrowane i dopasowane do celów biznesowych.
• Nie bierz pod uwagę iteracji i uczenia się z poprzednich eksperymentów.
• Użyj dysfunkcyjnych modeli priorytetyzacji i spróbuj dodać do problemu dowolne ramy.

Są to również niektóre obszary, które nawet najpopularniejsze modele ustalania priorytetów mają tendencję do pomijania i błędnych informacji. Ale dlaczego tak jest? Oto kilka krytycznych elementów, które przyczyniają się do braku odpowiedniej priorytetyzacji.

• Czynniki wprowadzające w błąd: Czynniki, których używają do wyboru testów, są wysoce mylące. Najpierw jest wysiłek, co sprawia wrażenie, że pomysły niewymagające dużego wysiłku zasługują na szybkie ustalenie priorytetów.
• Funkcja wagi: większość modeli przypisuje czynnikom dowolne wagi. Nie możesz po prostu ustalać priorytetów losowo; potrzebujesz powodu.
• Złożone iteracje: nie potrafią odróżnić istniejących iteracji testów (napędzanych przez uczenie się) od zupełnie nowych pomysłów w celu ustalenia priorytetów.

Po pierwsze, struktura priorytetów PIE szereguje hipotezy na podstawie:

• Potencjał do poprawy
• Znaczenie
• Łatwość

Ale jak obiektywnie określić potencjał pomysłu na test? Gdybyśmy mogli to wiedzieć z góry, jak Peep Laja, założyciel Wyjaśniono, że CXL nie potrzebuje modeli ustalania priorytetów.

Model PIE jest bardzo subiektywny. Nie pasuje też do celów biznesowych i promuje rozwiązania o niskim ryzyku. Łatwość jest myląca, ponieważ sugeruje, że należy traktować priorytetowo pomysły niewymagające wysiłku.

Im większe ryzyko, tym większa nagroda .

I to ma zastosowanie tylko wtedy, gdy rzucasz sobie wyzwanie bardziej wyrafinowanymi pomysłami.

Inny popularny model, model punktacji ICE (Impact, Confidence, and Ease), jest bardzo podobny do PIE i ma te same wady co PIE .

Ramy PXL są ulepszeniem w stosunku do tych dwóch i sprawiają, że każda ocena „potencjalna” lub „wpływu” jest znacznie bardziej obiektywna. Jednak nadal ma swoje wady.

Po pierwsze, nie uwzględnia dostosowania do celów biznesowych . Po drugie, nie odróżnia bieżących iteracji testów od zupełnie nowych pomysłów.

David Mannheim, globalny wiceprezes ds. optymalizacji współczynnika konwersji w firmie Brainlabs, ujawnił, że 50% wszystkich ponad 200 eksperymentów, które zbudowali dla klienta w jego poprzedniej firmie konsultingowej, User Conversion, było wzajemną iteracją. Stworzyli również kiedyś 80% lepszą wartość od pierwotnej hipotezy i stwierdzili:

Wiedzieliśmy, że „koncepcja” działa, ale zmieniając wykonanie, jeśli mogę dodać, w ponad 6 różnych iteracjach, zauważyliśmy przyrost o ponad 80% w stosunku do oryginału .

W swoim raporcie „Running Experience Informed Experiments ” Convert stwierdził, że prawie wszyscy ankietowani eksperci byli zgodni, że uczenie się napędza skuteczne pomysły. Można to dodatkowo wesprzeć podejściem H&M do wzorców uczenia się.

Prawie każdy inny eksperyment, który przeprowadzamy w H&M w naszym zespole produktowym, jest poparty udokumentowaną wiedzą z poprzedniego eksperymentu lub inną metodologią badawczą .

Matthias Mandiau

Jak stworzyć własny model priorytetyzacji testów A/B?

Ustalanie priorytetów zachęca do myślenia „przetestuj wszystko”. Daje pewność, aby przetestować (najpierw) pomysły i hipotezy, które najbardziej wpływają na najbardziej palący problem.

Ale każdy biznes jest inny. Nie może więc istnieć uniwersalne podejście do ustalania priorytetów eksperymentów. Kontekst, jak zauważył David, jest królem .

Zasadniczo wszystkie modele są błędne, ale niektóre są przydatne .

George EP Box, statystyk

Z powyższych przykładów możemy powiedzieć, że wszystkie modele są wadliwe, ale niektóre są przydatne. Sekret polega na stworzeniu najbardziej użytecznego i skutecznego modelu dla Twojej firmy.

Oto cztery kroki do zbudowania modelu:

1. Zainspiruj się przykładami

Jednym z najbardziej owocnych sposobów opracowania dobrego modelu ustalania priorytetów jest wybieranie możliwości z różnych modeli, mieszanie i dopasowywanie oraz tworzenie mieszanki z ograniczonym szukaniem dziury w całym.

Na przykład możesz czerpać inspirację z bardziej obiektywnego podejścia PXL do oceny , które zadaje pytania typu „Dodaj lub usuń element?” . Jednocześnie możesz wziąć pod uwagę kąt uderzenia ICE i dodać go.

2. Zrób miejsce na czynniki, które się liczą

Uwzględnij czynniki, które są zgodne z Twoimi celami biznesowymi . Pomoże Ci to bardziej skoncentrować się na głównych czynnikach wzrostu i wskaźnikach KPI, takich jak długoterminowa wartość klienta (LTV) i wskaźnik utrzymania klienta, a nie tylko na metrykach i wynikach na poziomie powierzchni.

Jak wspomniano wcześniej, przy ustalaniu priorytetów eksperymentów kluczowe znaczenie ma również uczenie się specyficzne dla firmy . Czy niektóre rozwiązania konsekwentnie i historycznie przewyższają inne dla Twoich odbiorców?

Weź również pod uwagę potencjał iteracji . Iteracje mogą pomóc w poczynieniu większych postępów w kierunku rozwiązania konkretnego problemu biznesowego i są bardziej skuteczne. Jeśli są prawdziwe, hipotezy z możliwością iteracji mogą i powinny być traktowane priorytetowo w stosunku do testów niezależnych. Ponadto eksperymentowanie jest niczym innym, jak kołem zamachowym, w którym wysiłki łączą się ze sobą.

Na koniec weź pod uwagę inwestycje w zasoby , w tym złożoność, czas, koszt i tradycyjne miary stosowane do ustalania priorytetów eksperymentów.

3. Waga ma kluczowe znaczenie

Zdecyduj, co chcesz uzyskać z testów, które przeprowadzasz. Czy bada nowe, przełomowe pomysły ? Lub eksploatować problematyczny obszar , dopóki nie znajdziesz rozwiązania?

Dostosuj system punktacji do swoich potrzeb. Rozważmy dwa różne typy eksperymentów, aby lepiej to zrozumieć.

1. Dodanie bloga do menu nawigacyjnego zwiększy liczbę odwiedzin bloga.
2. Zmniejszenie liczby wypełnień formularzy na stronie kasy zmniejszy współczynnik porzucania koszyka.

W tym przykładzie załóżmy, że wybraliśmy tylko dwa czynniki dla naszego modelu ustalania priorytetów. Jeden to potencjał iteracji, a drugi to potencjał wpływu i oceń każdą hipotezę w skali 1-5 dla każdego czynnika.

Naszym głównym celem testowania jest teraz naprawienie problemu porzucania kart w witrynie e-commerce . Powinniśmy przykładać większą wagę do potencjału iteracji, ponieważ prawdopodobnie nie naprawimy tego testem. I prawdopodobnie będziemy powtarzać wiele razy w ramach jednej hipotezy, zanim zauważalnie zmniejszymy porzucanie koszyka.

Możemy zważyć czynnik potencjału iteracji , podwajając jego wynik.

Przyjmijmy pierwszą hipotezę „4” dla współczynnika potencjału uderzeniowego. I „2” dla potencjału iteracji. Następnie, dla hipotezy wypełniania formularza, „3” zarówno dla czynników potencjału wpływu, jak i iteracji.

Bez nacisku na potencjał iteracji byłby to remis: „4 + 2 = 3 + 3”

Ale po podwojeniu wyniku w tym czynniku wygrywa hipoteza numer dwa:

Ostateczny wynik dla pierwszej hipotezy : „4 + 2(2) = 8 ”

Ostateczny wynik dla drugiej hipotezy : „3 + 3(2) = 9 ”

Najważniejsze jest to, że wyniki ustalania priorytetów tych samych ram powinny się zmieniać wraz ze zmianą uwarunkowań zewnętrznych i wewnętrznych.

4. Opłucz i powtarzaj, aż trafisz we właściwy akronim

Staraj się nie oczekiwać dobrych wyników po jednej iteracji. Kontynuuj modyfikację, aż uzyskasz odpowiedni model priorytetów dla swojej firmy.

Na przykład ConversionAdvocates stworzyli własny framework IIEA , który oznacza:

• Wgląd
• Pomysł
• Eksperymentowanie
• Analiza

IIEA próbuje rozwiązać dwa główne problemy większości modeli, wymieniając przed rozpoczęciem każdego eksperymentu cele edukacyjne i biznesowe każdego eksperymentu.

Niezależnie od tego, jaki akronim stworzysz, stale go przeglądaj i oceniaj ponownie. Sina Fak, Head of Optimization w ConversionAdvocates, wspomniała, że ​​od pięciu lat udoskonalają IIEA .

Od 2013 r. używają tej niestandardowej struktury, aby pomóc kilku firmom w rozwiązywaniu krytycznych problemów, takich jak obniżanie kosztów i zwiększanie konwersji.

Twój może nie będzie wygodnym ICE lub PIE , ale wyniki będą pyszne.

Dzięki nowemu, niezwykle przydatnemu modelowi ustalania priorytetów możesz zapożyczyć się ze starszej nauki ORAZ potencjalnie „przetestować wszystko” .

W naszej księdze wygrana-wygrana!