Testowanie serii map myśli: Jak myśleć jak CRO Pro (część 14)

Wywiad z „Pozytywnym” Johnem Ostrowskim (Positive Experiments)

Dobry osąd i umiejętności podejmowania decyzji są niezbędne do sukcesu w CRO. Dla Johna Ostrowskiego optymalizacja polega na zrozumieniu problemu, poznaniu odbiorców i sprawieniu, by rozwój był wysiłkiem zespołu.

Uważa, że ​​każdy wskaźnik wyniku można do pewnego stopnia poprawić poprzez eksperymentowanie – ale nie zawsze jest to warte wysiłku. Nie możesz po prostu patrzeć na liczby w próżni – musisz wziąć pod uwagę koszty alternatywne, ryzyko i inne czynniki. Wiedza, kiedy „sok jest wart wyciskania” (czyli ustalanie priorytetów) jest jednym z największych wyzwań, przed jakimi stają eksperymentatorzy. W tym miejscu należy wykorzystywać dane jakościowe i ilościowe w celu zwiększenia pewności decyzji.

John oferuje świeże podejście do CRO, niepodobne do niczego, co kiedykolwiek czytałeś.

Zanurzmy się w…

John, opowiedz nam o sobie. Co zainspirowało Cię do rozpoczęcia testów i optymalizacji?

Od Brazylii po USA, Węgry i Polskę. Od inżyniera mechanika po analityka danych, eksperymentatora i mentora rozwoju.

Byłem optymalizatorem bez względu na to, gdzie i co robiłem.

Narzędzia ewoluowały.

Lean Manufacturing przekształciła się w Lean Startup.

Six Sigma stała się ramami rozwoju produktu.

Wspólnym mianownikiem pozostało ciągłe doskonalenie, Kaizen.

Punktem zwrotnym do przejścia na pełną cyfryzację była wizja, którą miałem na Węgrzech: „Wyobraź sobie świat, w którym pracuję przed laptopem, z dowolnego miejsca, bez dojazdów do fabryki…”

Ile lat zajmujesz się optymalizacją? Jakie zasoby polecasz początkującym testerom i optymalizatorom?

W czasach branży około dziewięciu lat coś optymalizuje. Prowadzenie działań optymalizacyjnych online, w szczególności przez około 5 lat.

Pierwszy eksperyment, jaki pamiętam, odbył się między dwiema maszynami do tłoczenia na zimno o różnych konfiguracjach, aby poznać różne tolerancje między liniami produkcyjnymi. Dobre czasy.

Jeśli chodzi o zasoby, polecam jeden kurs, jedną książkę, jeden podcast i jeden biuletyn.

Kurs online:

Reforge's Experimentation Deep Dive przenosi grę optymalizacyjną na poziom strategiczny.

Książka:

Nie mogę wystarczająco polecić Online Trustworthy Experiments Ronny'ego Kohaviego. Samo czytanie daje supermoce.

Podcast:

Niezliczone bryłki złota w kawiarni CRO Guido.

Biuletyn Informacyjny:

Bezwstydna wtyczka do biuletynu Positive Experiments, mojego zakątka internetu, w którym dzielę się swoimi przemyśleniami na temat eksperymentów rozwojowych, wolności finansowej i pozytywności

Odpowiedz w 5 lub mniej słowach: Czym jest dla Ciebie dyscyplina optymalizacji?

Wyciskanie soku wartego wyciśnięcia.

— Pamiętaj, że określenie, co oznacza wartość dla Twojej firmy, jest samo w sobie ćwiczeniem.

Jakie są 3 najważniejsze rzeczy, które ludzie MUSZĄ zrozumieć, zanim zaczną optymalizować?

„Gdybym miał godzinę na rozwiązanie problemu, poświęciłbym 55 minut na myślenie o problemie i 5 na myślenie o rozwiązaniach”.

1. Zrozum problem. Co próbujesz rozwiązać i dlaczego jest to ważne? Jak to pomaga w rozwoju biznesu? Jaką historię opowiadasz?
2. Poznaj swoich odbiorców . Dynamika mocy to niewidzialna siła w organizacjach, na którą nie jesteś narażony podczas onboardingu. Jak interesariusze reagują na dane i jakie typy danych preferują? Co je napędza? Poznaj swoich odbiorców. Bądź mistrzem.
3. Rozwój to wysiłek zespołowy i gra długoterminowa . Dla mnie „growth hacki” należą do tej samej kategorii, co „szybkie wzbogacenie się”. Słyszysz historie o tych, które odniosły sukces, a wszystkie inne miliony, które zawiodły, są tłumione. Błąd przeżywalności. Platformy WYSIWYG umożliwiają indywidualnym współpracownikom tylko tyle. Dowiedz się, co jest pod twoją kontrolą, a co nie. Dowiedz się, jak znaleźć dźwignię, czy to pracę, czy kapitał.

Jak traktujesz dane jakościowe i ilościowe, aby opowiadały bezstronną historię?

Moje podejście do badań oparte na podejmowaniu decyzji jest mieszanką Behzoda Sirjaniego i Douglasa Hubbarda.

Dla mnie życie, biznes i inwestycje sprowadzają się do dobrego osądu i podejmowania decyzji.

Dlatego jakość i ilość stają się dowodami na podjęcie decyzji, która niesie ze sobą ryzyko.

Myślę o pięciu krokach Applied Information Economics (DDCMM):

1. Zdefiniuj decyzję.
2. Określ teraz, co wiesz.
3. Oblicz wartość dodatkowych informacji w stosunku do kosztów niepodejmowania decyzji. (Jeśli nie, przejdź do kroku 5.)
4. Mierz tam, gdzie wartość informacji jest wysoka. (Wróć do kroków 2 i 3, aż dalsze pomiary nie będą potrzebne.)
5. Podejmij decyzję i postępuj zgodnie z nią.

Wybór metody badawczej (krok 4) jest sam w sobie krokiem priorytetyzacji.

Poznaj swoich odbiorców i jakie dowody zwiększą pewność podjęcia decyzji, a następnie określ najlepszą metodę.

Unikaj stosowania „przeprowadźmy badania metody X” bez wcześniejszego określenia, jaki rodzaj dowodów będzie bardziej przydatny dla Twojej decyzji.

Bądź świadomy swoich odbiorców – czasami interesariusz lepiej odpowie na wywiady z klientami lub anegdoty.

Warto wspomnieć, że moje najbardziej znaczące eksperymenty były hipotezami wywodzącymi się z badań jakości, a dokładniej z wywiadów z szczęśliwymi użytkownikami.

Jaki program szkoleniowy skonfigurowałeś dla swojego zespołu ds. optymalizacji? I dlaczego przyjąłeś to konkretne podejście?

Nasz rozdział dotyczący eksperymentów to grupa 10 osób nastawionych na rozwój, studentów przez całe życie, którzy uwielbiają, gdy dane się mylą.

Siedemdziesiąt lat doświadczenia w optymalizacji połączone z wieloma doświadczeniami.

Oprócz tego, czego można się spodziewać po ceremoniach kapituł i recenzowaniu, mamy Reforge dla naszego zespołu.

Prosimy wszystkich o przejście zarówno serii Experimentation Deep Dive, jak i Growth.

Posiadanie wspólnego języka jest niedocenianą supermocą dla wysokowydajnych zespołów.

Jaki jest najbardziej irytujący mit optymalizacji, który chciałbyś, aby zniknął?

Eksperymentowanie? Err.. masz na myśli CRO, prawda?

W ten sposób przemyślam to w czterech krokach:

1. Istnieją podstawowe elementy konstrukcyjne (strategia, narzędzia i technologia, proces, ludzie)
2. Które pomagają kształtować strukturę zarządzania (hybrydową, scentralizowaną, zdecentralizowaną)
3. To musi istnieć, aby kultura eksperymentowania mogła się rozwijać (koło zamachowe testowania AB)
4. W zależności od struktury organizacji (np. opartej na produkcie) ustawiane są różne przepływy pracy — dla iTech Media, inicjatyw OKR, CRO i Safety Net, czytaj więcej tutaj.

Jako branża lepiej odejść od tej fałszywej dychotomii.

Możemy zrobić lepiej.

Mamy nadzieję, że nasz wywiad z Johnem pomoże poprowadzić twoją strategię eksperymentowania we właściwym kierunku!

Jaka rada najbardziej do ciebie przemówiła?

Bądź na bieżąco z naszym następnym wywiadem z ekspertem CRO, który przeprowadzi nas przez jeszcze bardziej zaawansowane strategie! A jeśli jeszcze tego nie zrobiłeś, sprawdź nasze wywiady z Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough i nasze najnowsze Alex Birkett .