Testowanie serii map myśli: Jak myśleć jak CRO Pro (część 11)

Wywiad z Rubenem de Boer

Czy jesteś kimś, kto chce uzyskać więcej z eksperymentów?

Nasz dzisiejszy gość robi to od lat i może pomóc Ci rozpocząć własną eksperymentalną podróż. Poza tym ma kilka świetnych rad, jak upewnić się, że eksperymenty przyniosą odpowiedni zwrot z inwestycji.

Gdy już wszystko zrozumiesz, będziesz chciał śledzić wszystkie wnioski, aby móc je zastosować w całej firmie. Nasz ekspert ma mnóstwo porad, jak to zrobić.

Zanurzmy się.

Ruben, opowiedz nam o sobie. Co zainspirowało Cię do rozpoczęcia testów i optymalizacji?

W 2009 roku pomogłem firmie, która nauczyła ludzi, aby dzięki lepszym umiejętnościom społecznym byli szczęśliwsi i pewniejsi siebie. W tamtym czasie naprawdę uderzyło mnie znaczenie wspierania i inspirowania innych poprzez to, co kochasz robić. Zafascynowało mnie też pytanie:

Jeśli możemy zmienić zachowanie ludzi offline, jak możemy to zrobić online?

W ten sposób zajęłam się badaniami nad ludzkim zachowaniem i psychologią. Dane zawsze były moją sprawą. Lubię znajdować wzorce i rozwiązania w danych (w szkole byłem znacznie lepszy w tematach z danymi niż w jakimkolwiek innym temacie).

Uwielbiam optymalizację i uzyskiwanie wyników. Nie tylko w pracy, ale także w życiu osobistym.

To połączenie zainteresowań i pasji w naturalny sposób popchnęło mnie do pracy w zakresie testowania i optymalizacji.

Ile lat zajmujesz się optymalizacją? Jakie zasoby polecasz początkującym testerom i optymalizatorom?

W 2009 roku zacząłem optymalizować strony internetowe oraz analizować dane biznesowe i internetowe. Dopiero w 2011 roku zrobiłem swój pierwszy test A/B. Oczywiście popełniłem wszystkie błędy, które można popełnić, zaczynając od Optymalizacji Współczynnika Konwersji.

Moim zasobem numer jeden są spotkania z innymi specjalistami w tej dziedzinie. Dziel się pomysłami i doświadczeniami i ucz się od siebie. Na imprezach czerp pomysły nie tylko od prelegentów, ale także od publiczności. Pomagając sobie nawzajem i ucząc się razem, możemy przenieść siebie i naszą pracę na wyższy poziom.

Odpowiedz w 5 lub mniej słowach: Czym jest dla Ciebie dyscyplina optymalizacji?

Nastawienie na ciągłe doskonalenie, uczenie się i eksperymentowanie.

Jakie są 3 najważniejsze rzeczy, które ludzie MUSZĄ zrozumieć, zanim zaczną optymalizować?

Najpierw dobrze zapoznaj się z podstawami . Specjaliści często przeprowadzają eksperymenty w oparciu o powszechne praktyki. Praktyki te zostały jednak przetestowane na różnych stronach internetowych (jeśli w ogóle zostały przetestowane) i mogą w ogóle nie działać w przypadku Twojej witryny lub (cyfrowego) produktu.

Uzyskaj pomysły na testy na podstawie danych, użytkowników i badań naukowych. A kiedy zakończysz eksperyment, zastanów się, czego się nauczyłeś i jakie nowe pomysły na testy możesz wymyślić na podstawie tych wniosków. Te źródła pomogą ci stworzyć solidne pomysły na testy z większą szansą na znalezienie zwycięskich odmian.

Innym podstawowym postępowaniem, w którym wielu specjalistów się myli, jest statystyka. W przypadku każdego eksperymentu wykonaj analizę przedtestową . Oblicz minimalną wielkość próbki i czas trwania testu i zatrzymaj test dopiero po ich osiągnięciu.

Jeśli okaże się, że masz niewystarczający ruch na potrzeby testów A/B w obliczeniach przedtestowych, znajdź inne sposoby weryfikacji swoich pomysłów na test, na przykład poprzez testy użyteczności.

Po drugie, proces jest kluczowy . Bez odpowiedniego procesu nie odniesiesz sukcesu. Aby zoptymalizować swój proces, musisz zrozumieć zwrot z inwestycji (ROI) eksperymentowania:

ROI = (Ilość * Jakość) / Koszty

Ilość to liczba przeprowadzanych eksperymentów. Jakość to wskaźnik wygranych i wartość na zwycięzcę. Koszty to czas i pieniądze, a więc Twoja wydajność.

Mając odpowiedni proces (w tym narzędzie do śledzenia procesu, postępów i spostrzeżeń!), możesz zoptymalizować ROI i sukces eksperymentów.

Po trzecie, zrozum, że Twoim zadaniem nie jest tylko przeprowadzanie testów A/B. Duża część Twojej pracy powinna być poświęcona zarządzaniu zmianą . Aby rozwijać się i pracować nad kulturą eksperymentowania, testy A/B nie wystarczą. Musisz zmienić kulturę, sposób myślenia i sposób działania całej organizacji. Zacznij od zaangażowania ludzi, zwłaszcza wyższego kierownictwa.

Jak traktujesz dane jakościowe i ilościowe, aby mogły opowiedzieć ci bezstronną historię?

W skrócie:

Pierwszym krokiem jest przeprowadzenie dokładnych badań przy użyciu różnych zasobów, takich jak dane internetowe, obsługa klienta, ankiety, sondaże i artykuły naukowe.

Drugim krokiem w tym procesie jest przekształcenie spostrzeżeń twoich badań w solidne, nadrzędne hipotezy . Celuj w pięć do dziesięciu hipotez, które mówią coś o twoich (potencjalnych) klientach, niezwiązanych z pojedynczym elementem lub stroną internetową.

Na przykład:

• Klienci uważają nasze produkty za zbyt drogie
• Ludzie potrzebują więcej informacji o naszej usłudze przed zarejestrowaniem się
• Ludzie stają się naszymi klientami, ponieważ mają potrzebę przynależności

Następnie możesz zweryfikować te hipotezy za pomocą kilku powiązanych eksperymentów, również opartych na twoich badaniach. Nazywa się to metaanalizą .

Czemu? Pojedynczy test A/B jest podatny na błędy. Eksperyment może dać fałszywie pozytywny wynik lub powód zwycięskiego eksperymentu może być inny niż podany w Twojej hipotezie. Dzięki metaanalizie zbliżamy się do prawdy. Dlatego nasze spostrzeżenia są bardziej wiarygodne i tworzymy lepsze eksperymenty kontrolne.

Metaanaliza jest dowodem najwyższej jakości, jaki można uzyskać, opartym na hierarchii dowodów.

Ostatnim krokiem w procesie jest śledzenie, która nadrzędna hipoteza działa i gdzie na ścieżce klienta (na której stronie) oraz ustalanie na tej podstawie priorytetów pomysłów na testy, aby zmaksymalizować współczynnik wygranych i wiedzę.

Jaki program szkoleniowy skonfigurowałeś dla swojego zespołu ds. optymalizacji? I dlaczego przyjąłeś to konkretne podejście?

Opisany powyżej proces pomoże Ci zebrać wiarygodne informacje, z których Ty i Twoja organizacja możecie się naprawdę nauczyć.

Kiedy dobrze udokumentujesz te metaanalizy (w narzędziu takim jak Airtable), łatwiej będzie zobaczyć, gdzie leży Twój sukces. Oznaczając każdy eksperyment nadrzędną hipotezą i kierunkiem psychologicznym, otrzymujesz niesamowitą wiedzę na temat potrzeb (i problemów) potencjalnych klientów, jednocześnie wiedząc, w którym miejscu na ścieżce klienta się do nich zaadresować i za pomocą jakiego rodzaju eksperymentów.

Po przeprowadzeniu wielu eksperymentów i uzyskaniu jasnego obrazu możesz podzielić się tymi spostrzeżeniami, a cała organizacja może się uczyć i czerpać korzyści.

Jaki jest najbardziej irytujący mit optymalizacji, który chciałbyś, aby zniknął?

wspomnę o dwóch

Eksperymentowanie z niesamowitymi ulepszeniami, które można osiągnąć (pojedynczy test A/B). Winą za to głównie są niektórzy dostawcy, ponieważ w ich przypadkach i na swoich stronach docelowych reklamują się z ogromnym wzrostem, co skutkuje fałszywymi oczekiwaniami.

Organizacje, które stosują eksperymenty w celu lepszego podejmowania decyzji, często prosperują. Nie ci, którzy skupiają się wyłącznie na pieniądzach.

Po drugie, ogólnie nazwa Optymalizacja współczynnika konwersji. Daje złe wrażenie i jest zbyt wąski jak na to, co mogą osiągnąć specjaliści od eksperymentów.

Mamy nadzieję, że nasz wywiad z Rubenem pomoże poprowadzić twoją strategię eksperymentowania we właściwym kierunku! Jaka rada najbardziej do ciebie przemówiła?

Bądź na bieżąco z naszym następnym wywiadem z ekspertem CRO, który przeprowadzi nas przez jeszcze bardziej zaawansowane strategie! A jeśli jeszcze tego nie zrobiłeś, sprawdź nasze wywiady z Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Andra Baragan , a ostatni z Rich Page .