Testowanie serii map myśli: Jak myśleć jak CRO Pro (część 22)

Wywiad z Nilsem Koppelmannem

Nils Koppelmann jest gorącym orędownikiem korzyści płynących z eksperymentowania i podejmowania decyzji w oparciu o dane. Rozumie, że udane testy A/B to nie tylko sprawdzenie, czy coś działa, ale dlaczego tak się dzieje – i jest tutaj, aby rozwiać dwa powszechne mity na temat tej praktyki.

Że testy A/B wprowadzają ryzyko, a małe firmy nie mogą skutecznie testować. Wręcz przeciwnie, Nils uważa, że ​​testy A/B mogą pomóc w zmniejszeniu ryzyka, zapewniając wgląd w to, co działa, a co nie. I chociaż małe firmy mogą mieć mniejszy ruch niż duże, w rzeczywistości mogą testować odważniej, ponieważ stawka jest mniejsza.

Więc następnym razem, gdy uznasz, że testowanie A/B wydaje się zbyt ryzykowne lub kosztowne, przeczytaj ten wywiad z Nilsem, aby uzyskać wskazówki, jak skutecznie testować w swojej witrynie bez wprowadzania niepotrzebnego ryzyka.

Nils, opowiedz nam o sobie. Co zainspirowało Cię do rozpoczęcia testów i optymalizacji?

Od ponad 8 lat buduję strony i sklepy internetowe, aby pomóc klientom dużym i małym „zoptymalizować” ich obecność w sieci.

Jakiś czas temu moje myśli skierowały się na to, jak zapewnić, aby nasze projekty naprawdę miały pożądany efekt.

Kiedy po raz pierwszy zetknąłem się z terminem „Optymalizacja współczynnika konwersji” około 3,5 roku temu, zastanawiałem się, dlaczego nie było to coś, na czym już się skupiliśmy. Od tego momentu przeniosłem się z dostarczania projektu i technologii na dostarczanie spostrzeżeń i wyników.

Świat optymalizacji kryje w sobie tak duży potencjał, że większość firm internetowych nadal w dużej mierze nie jest eksplorowana. Powinniśmy korzystać z ogromnej ilości dostępnych danych, a także uczyć się z nich, abyśmy mogli stale się doskonalić.

Jedną z najbardziej uderzających rzeczy jest dla mnie to, jak fajnie jest się uczyć od nowa. Nigdy nie sądziłem, że dobrowolnie otworzę książkę o statystyce (pozdrawiam Georgi Georgieva i jego wspaniałą książkę Statistical Methods of Online A/B Testing) i faktycznie ją przeczytam. Ten i wiele innych aspektów wciąż inspiruje mnie do testowania do nauki.

Ile lat optymalizujesz?

Chęć optymalizacji wynika z niezadowolenia ze status quo, ciekawości i pewności, że wszystko można poprawić.

W kontekście zawodowym zajmuję się optymalizacją od około 8 lat. Początkowo budowanie i optymalizowanie projektów pobocznych oraz pomaganie firmom w ulepszaniu stron i sklepów internetowych. Teraz pomagamy nowym i ugruntowanym firmom w tworzeniu kultury eksperymentowania i wykorzystywaniu mocy eksperymentów do ich rozwoju.

Myśląc wstecz, nie przypominam sobie, bym kiedykolwiek nie optymalizował. Już jako dziecko zawsze kwestionowałem sposób, w jaki to robiono. Pamiętam, jak mój tata mówił, że zadawałem „zbyt wiele” pytań, co z perspektywy czasu bardzo się cieszę, że zrobiłem i nadal robię.

Nawet w życiu osobistym jestem znany ze śledzenia i optymalizacji większości aspektów mojego życia.

Jakie zasoby polecasz początkującym testerom i optymalizatorom?

Istnieje wiele zasobów, które poleciłbym dla początkujących, ale zróbmy to trochę bardziej praktyczne.

Oto kilka sugestii na początek:

1. Bądź bardziej ciekawski i zacznij zastanawiać się, dlaczego coś jest zrobione tak, jak jest. Już samo to otworzy zupełnie nowe spojrzenie na świat.
2. Poświęć więcej czasu na myślenie o problemie niż na szukanie rozwiązań. Najpierw musisz naprawdę zrozumieć problem, wtedy rozwiązania przyjdą łatwiej.
   
   Jak to ujął Albert Einstein: „Gdybym miał godzinę na rozwiązanie problemu, poświęciłbym 55 minut na myślenie o problemie i 5 minut na myślenie o rozwiązaniach”.
   
   To powiedziawszy, ważne jest, aby myśleć nieszablonowo, co oznacza nie tylko myślenie w ramach parametrów problemu, ale także rozważanie zewnętrznych kątów i możliwości.
   
   Kluczem jest znalezienie równowagi między nimi.
3. Naucz się zadawać lepsze pytania. Jest to jedno z najbardziej pomocnych narzędzi, jakie każdy optymalizator może mieć w swoim arsenale, ponieważ umożliwia i wykorzystuje ciekawość.

Ponadto dzielę się interesującymi artykułami, zasobami i narzędziami w moim cotygodniowym biuletynie dotyczącym eksperymentów, który jest skierowany zarówno do początkujących, jak i weteranów eksperymentów.

Odpowiedz w 5 lub mniej słowach: Czym jest dla Ciebie dyscyplina optymalizacji?

Test, aby się nauczyć. Ciągłe doskonalenie. Eksperymentowanie. Systemy budowlane.

Jakie są 3 najważniejsze rzeczy, które ludzie MUSZĄ zrozumieć, zanim zaczną optymalizować?

Najpierw zbadaj, a potem przetestuj. Zanim zaczniesz optymalizować, upewnij się, że poparłeś swoje założenia danymi jakościowymi i ilościowymi. Następnie stwórz na tej podstawie mocne hipotezy.

Nie optymalizuj tylko pod kątem krótkoterminowych wzrostów – chociaż niezwykle ważne jest, aby program miał pozytywny zwrot z inwestycji, powinien nie tylko koncentrować się na tym, ale także brać pod uwagę ogromną liczbę możliwości uczenia się i ograniczanie ryzyka, jakie niesie ze sobą eksperymentowanie.

Wysiłki optymalizacyjne nie powinny mieć na celu udowodnienia, że ​​masz rację lub nie, ale ustalenie, dlaczego – w obu przypadkach. Nie ma sensu optymalizować czegokolwiek, jeśli nie rozumiesz, jak się tam dostałeś i jak to powtórzyć. Aby odnieść długoterminowy sukces w testach A/B, kluczowe jest posiadanie dobrych systemów.

Jak traktujesz dane jakościowe i ilościowe, aby opowiadały bezstronną historię?

Nie ma bezstronnych danych, ale aby zminimalizować stronniczość w stosunku do wszelkiego rodzaju danych, ważne jest, aby zrozumieć, w jaki sposób dane zostały zebrane, jak są interpretowane i jakie wnioski są z nich wyciągane.

Aby sklasyfikować wiarygodność danych, o których mówisz, zapoznaj się z Hierarchią dowodów.

Używamy danych ilościowych do wstępnego filtrowania, a następnie wykorzystujemy dane jakościowe i zasoby naukowe, aby wejść głębiej, a następnie ponownie dane ilościowe, aby udowodnić lub obalić wstępne założenia i hipotezy.

U szczytu naszych wysiłków znajduje się tak zwana metaanaliza, która pozwala nam szukać wzorców w poprzednich eksperymentach i dostosowywać dalsze badania i eksperymenty.

Innym dobrym sposobem na usunięcie stronniczości jest stworzenie rozłączenia między osobą, która tworzy eksperyment, a osobą, która ocenia jego wyniki. Minimalizuje to stronniczość w kierunku sukcesu eksperymentu.

Jaki jest najbardziej irytujący mit optymalizacji, który chciałbyś, aby zniknął?

Chciałbym rozwiać dwa mity:

1. Testowanie wprowadza ryzyko, podczas gdy w rzeczywistości zmniejsza je, gdy jest wykonywane prawidłowo
2. Że małe firmy nie mogą testować, podczas gdy w rzeczywistości małe firmy z małym ruchem mogą testować odważniej, ponieważ jest mniej ryzyka / mniej zagrożone.

Mamy nadzieję, że nasz wywiad z Nilsem pomoże poprowadzić twoją strategię eksperymentowania we właściwym kierunku!

Jaka rada najbardziej do ciebie przemówiła?

A jeśli jeszcze tego nie zrobiłeś, sprawdź nasze poprzednie wywiady z legendami CRO Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Deborah O'Malley , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough , Alex Birkett , John Ostrowski , Ryan Levander , Ryan Thomas , Bhavik Patel , Siobhan Solberg , Tim Mehta , Rommil Santiago i nasz ostatni ze Steph Le Prevost .