Testowanie serii map myśli: Jak myśleć jak CRO Pro (część 6)

Wywiad z Jakubem Linowskim z GoodUI

Czy zastanawiałeś się kiedyś, dlaczego niektórzy ludzie po prostu wydają się mieć talent do CRO?

Nie tylko dlatego, że są dobrzy w przeprowadzaniu eksperymentów. Wiedzą również, jak myśleć o rzeczach w inny sposób, w czym ta seria pomoże również Tobie. Przyjrzymy się bliżej nastawienia, które składają się na udaną CRO i jak możesz je zastosować w swojej strategii.

Jeśli uda ci się wejść w odpowiedni nastrój, sukces przyjdzie o wiele łatwiej, niż gdybyś próbował bez uprzedniego zrozumienia, gdzie mogą znajdować się twoje martwe pola. Ostatecznie seria Testing Mind Map Series ma pomóc Ci lepiej zaplanować strategię optymalizacji i przeprowadzać testy z większą pewnością!

W tym artykule Jakub Linowski z GoodUI dzieli się tym, że siła eksperymentowania leży nie tylko w jego zdolności jako użytecznej metody, ale także w generowaniu potężnych spostrzeżeń, które mogą pomóc w podejmowaniu lepszych decyzji.

Jakubie, opowiedz nam o sobie. Co zainspirowało Cię do rozpoczęcia testów i optymalizacji?

Zostałem przyciągnięty do świata eksperymentów około 2014 roku, kiedy moje doświadczenie projektowe doprowadziło mnie na tę ścieżkę. Gdy ludzie zaczęli dzielić się przykładami dobrego interfejsu użytkownika i listami „najlepszych praktyk”, ja również i tak powstał GoodUI.org. Nie zajęło mi jednak dużo czasu, aby zdać sobie sprawę, że wszystkie moje sugestie i wzorce interfejsu użytkownika były bliższe hipotezom wizualnym niż czemukolwiek popartemu dowodami. Naprawdę chciałem zyskać więcej pewności siebie i lepiej odfiltrować dobre pomysły od złych.

Kiedy więc usłyszałem o testach A/B, bardzo mnie to podekscytowało (chociaż nie miałem pojęcia, czym jest przedział ufności). Zatrudniłem programistę front-end i założyliśmy małą agencję zajmującą się optymalizacją. Zaczęliśmy testować wszelkie pomysły, które przeczytaliśmy na blogach, usłyszeliśmy od naszych klientów, a także z naszej własnej, powstającej biblioteki wzorców GoodUI. Ponieważ większość naszych klientów pozwalała nam otwarcie publikować testy a/b, zaczęło być jasne, że niektóre wzorce są lepsze od innych. Niektórzy nie zrobili wiele. Inni dobrze się replikowali. A inne skutkowały negatywnymi wynikami.

Teraz musieliśmy zważyć te eksperymenty.

I tak GoodUI.org szybko zaczął przekształcać się w repozytorium podobnych i porównywalnych eksperymentów z pełną pętlą sprzężenia zwrotnego. Rzeczy, które działały lepiej z większą częstotliwością i wpływem, zostały wyeksponowane na górze (przy użyciu danych zbiorczych z mediany). Podczas gdy wyniki testów dla podobnych wzorców zostały wprowadzone z powrotem do naszej bazy danych, poprawiając nasze przewidywania i zwiększając dokładność.

Więc tak, lubię eksperymentować zarówno ze względu na wspaniałą metodę , jaką jest, ale także jako potężne źródło profesjonalnej wiedzy , która pozwala nam lepiej przewidywać.

Ile lat zajmujesz się optymalizacją? Jakie zasoby polecasz początkującym testerom i optymalizatorom?

Przeprowadziliśmy nasz pierwszy test skoku a/b w maju 2014 r. na stronie docelowej wyceny dla dużej firmy ubezpieczeniowej. Wariant zawierał wszystko, co wiedzieliśmy w tamtym czasie o ulepszaniu formularzy, kopiowaniu i ołowiu w oparciu o nasze własne ograniczone doświadczenie. Wynikiem był względny wzrost liczby odprowadzeń o 53% (±28, p-val 0,0002). To mój pierwszy eksperyment, który mnie wciągnął.

Jeśli chodzi o zasoby, uwielbiam uczyć się z tego, co testują inni. Szczególnie ekscytujące i cenne jest wyszukiwanie eksperymentów dużych graczy, takich jak Netflix, Airbnb i Amazon, o których wiemy, że mają dobrą wielkość próbki i przeprowadzają wiele testów. Ogólnie rzecz biorąc, myślę, że zawsze dobrym pomysłem jest uczenie się od ludzi kilka kroków przed nami (co sugeruje wielu, w tym w Mastery Roberta Greene'a).

Odpowiedz w 5 lub mniej słowach: Czym jest dla Ciebie dyscyplina optymalizacji?

Optymalizacja oznacza, że ​​coś ulepszamy.

(Wyniki mają kluczowe znaczenie dla optymalizacji. Na przykład sto płaskich lub niepożądanych wyników eksperymentów nie jest wystarczająco dobrych. Możesz się nauczyć wielu, tak. Ale aby coś zoptymalizować, musimy przesunąć igłę w pożądanym kierunku .)

Jakie są 3 najważniejsze rzeczy, które ludzie MUSZĄ zrozumieć, zanim zaczną optymalizować?

EKSPLORACJA – generowanie jak największej liczby pomysłów.

WYKORZYSTANIE – ustalanie priorytetów pomysłów z wynikami z przeszłości dla większej szybkości.

EKSPERYMENT – otwieranie naszych pomysłów na fałszowanie lub walidację.

Jak traktujesz dane jakościowe i ilościowe, aby mogły opowiedzieć ci bezstronną historię?

Zgadzam się z pomysłem walidacji wyników testów a/b. Ogólnie rzecz biorąc, im więcej mamy spójnych miar, tym bardziej wiarygodne i godne zaufania mogą stać się nasze eksperymenty.

Jeśli chodzi o porównywanie wyników, możemy to zrobić na kilka sposobów:

• Porównywanie wielu wskaźników z tego samego eksperymentu (np. spójność efektu w: dodatkach do koszyka, sprzedaży, przychodach, zakupach zwrotnych itp.)
• Porównywanie danych historycznych w różnych eksperymentach (np. spójność efektu między dwoma oddzielnymi eksperymentami prowadzonymi na 2 oddzielnych stronach internetowych)

Jaki program szkoleniowy skonfigurowałeś dla swojego zespołu ds. optymalizacji? I dlaczego przyjąłeś to konkretne podejście?

Mocno wierzę, że replikacja eksperymentów jest kluczowym elementem w lepszym przewidywaniu wyników testów (generowaniu wiedzy zawodowej).

Dlatego na naszej własnej platformie grupujemy podobne eksperymenty i agregujemy podobne dane.

Podczas budowania bazy wiedzy na podstawie eksperymentów inną ważną rzeczą jest zminimalizowanie stronniczości publikacji . Oznacza to prowadzenie rejestru wszystkich eksperymentów niezależnie od ich wyników (w tym pozytywnych, negatywnych, znaczących i nieistotnych).

Jaki jest najbardziej irytujący mit optymalizacji, który chciałbyś, aby zniknął?

Ostatnio zirytowali mnie ludzie, którzy twierdzą, że eksperymentowanie nie ma wad (ładnie uchwycone przez ten wspaniały wątek na LinkedIn). Subtelnym sposobem, w jaki czasami to wychodzi, są stwierdzenia brzmiące podobnie do „nie ma przegranych testów, tylko nauka”.

Może to być prawdą w światach z wieżami z kości słoniowej, gdzie nauka jest kluczowym celem i gdzie eksperymentator jest chroniony przed kosztami.

Jednak jako zawód, kiedy używamy eksperymentów jako narzędzia do optymalizacji stron internetowych klientów, nie ma darmowego lunchu. Prowadzenie eksperymentów wiąże się z kosztami, ryzykiem, wadami i zaletami. Z tego punktu widzenia uważam, że niezwykle zdrowe jest śledzenie i przyznawanie wyników takimi, jakie naprawdę są (w tym wygodne przyznawanie się do serii negatywnych testów i nie wybielanie ich). Wszystkie zawody potrzebują zarówno pozytywnych, jak i negatywnych pętli sprzężenia zwrotnego, aby być coraz lepszym.

Mamy nadzieję, że nasz wywiad z Jakubem pomoże poprowadzić Twoją strategię konwersji we właściwym kierunku! Jaka rada najbardziej do ciebie przemówiła?

Bądź na bieżąco z naszym następnym wywiadem z ekspertem CRO, który przeprowadzi nas przez jeszcze bardziej zaawansowane strategie! A jeśli jeszcze tego nie zrobiłeś, sprawdź nasze wywiady z Gursimranem Gujralem z OptiPhoenix , Haley Carpenter z Speero , Rishi Rawat z Frictionless Commerce , Siną Fak z ConversionAdvocates i Eden Bidani z Green Light Copy !