Testen von Mind Map-Serien: Wie man wie ein CRO-Profi denkt (Teil 14)

Interview mit dem „Positiven“ John Ostrowski (Positive Experiments)

Gutes Urteils- und Entscheidungsvermögen sind für den Erfolg im CRO unerlässlich. Für John Ostrowski geht es bei der Optimierung darum, das Problem zu verstehen, Ihr Publikum zu kennen und Wachstum zu einer Teamleistung zu machen.

Er glaubt, dass jede Ergebnismetrik bis zu einem gewissen Grad durch Experimentieren verbessert werden kann – aber es lohnt sich nicht immer. Sie können Zahlen nicht einfach im luftleeren Raum betrachten – Sie müssen Opportunitätskosten, Risiken und andere Faktoren berücksichtigen. Zu wissen, wann „der Saft den Druck wert ist“ (auch bekannt als Priorisierung), ist eine der größten Herausforderungen, denen Experimentatoren gegenüberstehen. Hier sollten qualitative und quantitative Daten genutzt werden, um die Entscheidungssicherheit zu erhöhen.

John bietet einen frischen Ansatz für CRO, der anders ist als alles, was Sie bisher gelesen haben.

Tauchen wir ein…

John, erzähl uns von dir. Was hat Sie dazu inspiriert, in Testing & Optimization einzusteigen?

Von Brasilien über die USA, Ungarn und Polen. Vom Maschinenbauingenieur zum Datenanalysten, Experimentator und Wachstumsmentor.

Ich war ein Optimierer, egal wo oder was ich tat.

Die Werkzeuge entwickelten sich.

Aus Lean Manufacturing wurde Lean Startup.

Six Sigma wurde zu Frameworks für das Produktwachstum.

Kontinuierliche Verbesserung, Kaizen, blieb der gemeinsame Nenner.

Der Wendepunkt für die vollständige Digitalisierung war eine Vision, die ich damals in Ungarn hatte: „Stellen Sie sich eine Welt vor, in der ich vor einem Laptop arbeite, von überall aus, ohne zur Fabrik pendeln zu müssen …“

Seit wie vielen Jahren optimieren Sie? Welche Ressource empfehlen Sie angehenden Testern und Optimierern?

Mit den Industrietagen wird seit etwa neun Jahren etwas optimiert. Durchführung von Online-Optimierungsbemühungen, insbesondere seit etwa 5 Jahren.

Das erste Experiment, an das ich mich erinnere, war zwischen zwei Kaltprägemaschinen mit unterschiedlichen Einstellungen, um etwas über die unterschiedlichen Toleranzen zwischen den Produktionslinien zu erfahren. Lustige Zeiten.

Was die Ressourcen betrifft, empfehle ich einen Kurs, ein Buch, einen Podcast und einen Newsletter.

Online Kurs:

Reforges Experimentation Deep Dive bringt das Optimierungsspiel auf eine strategische Ebene.

Buch:

Ich kann Ronny Kohavi's Online Trustworthy Experiments nicht genug empfehlen. Es gibt dir Superkräfte, wenn du es einfach liest.

Podcast:

Unzählige Goldnuggets in Guidos CRO-Café.

Newsletter:

Schamloser Plug für den Positive Experiments Newsletter, meine Ecke im Internet, wo ich meine Gedanken über Wachstumsexperimente, finanzielle Freiheit und Positivität teile

Antworten Sie in maximal 5 Wörtern: Was ist für Sie die Disziplin der Optimierung?

Saft extrahieren lohnt sich.

— Beachten Sie, dass die Definition dessen, was Wert für Ihr Unternehmen bedeutet, eine Übung für sich ist.

Was sind die wichtigsten 3 Dinge, die Menschen verstehen MÜSSEN , bevor sie mit der Optimierung beginnen?

„Wenn ich eine Stunde Zeit hätte, um ein Problem zu lösen, würde ich 55 Minuten damit verbringen, über das Problem nachzudenken, und 5 Minuten, um über Lösungen nachzudenken.“

1. Verstehen Sie das Problem. Was versuchen Sie zu lösen, und warum ist es wichtig? Wie hilft es dem Unternehmenswachstum? Was ist die Geschichte, die du erzählst?
2. Kennen Sie Ihr Publikum . Machtdynamiken sind die unsichtbare Kraft in Organisationen, der Sie während des Onboardings nicht ausgesetzt sind. Wie reagieren Stakeholder auf Daten und welche Arten von Daten bevorzugen sie? Was bringt sie zum Ticken? Kenne deine Zuhörer. Ein Sieger sein.
3. Wachstum ist eine Teamleistung und ein langfristiges Spiel . Für mich gehören „Growth Hacks“ in die gleiche Kategorie wie „schnell reich werden“. Man hört Geschichten über die Erfolgreichen, und all die anderen Millionen, die gescheitert sind, werden unterdrückt. Survivorship-Bias. WYSIWYG-Plattformen ermöglichen es einzelnen Mitwirkenden, nur so viel zu tun. Wissen, was in Ihrer Kontrolle liegt und was nicht. Erfahren Sie, wie Sie Hebel finden, sei es Arbeit oder Kapital.

Wie gehen Sie mit qualitativen und quantitativen Daten um, damit sie eine unvoreingenommene Geschichte erzählen?

Mein entscheidungsorientierter Forschungsansatz ist eine Mischung aus Behzod Sirjani und Douglas Hubbard.

Für mich dreht sich im Leben, im Geschäft und bei Investitionen alles um gutes Urteilsvermögen und Entscheidungsfindung.

Daher werden Qual und Quant zu Beweisstücken für eine Entscheidung, die ein Risiko birgt.

Ich denke durch die fünf Schritte der Angewandten Informationsökonomie (DDCMM):

1. Definieren Sie die Entscheidung.
2. Bestimme jetzt, was du weißt.
3. Berechnen Sie den Wert zusätzlicher Informationen gegen die Kosten, die entstehen, wenn Sie sich nicht entscheiden. (Falls keine, fahren Sie mit Schritt 5 fort.)
4. Messen Sie dort, wo der Informationswert hoch ist. (Kehren Sie zu den Schritten 2 und 3 zurück, bis keine weitere Messung erforderlich ist.)
5. Treffen Sie eine Entscheidung und handeln Sie danach.

Die Auswahl der Forschungsmethode (Schritt 4) ist ein Priorisierungsschritt für sich.

Kennen Sie Ihr Publikum und welche Beweise das Vertrauen für die Entscheidungsfindung stärken, und definieren Sie dann die beste Methode.

Vermeiden Sie es, standardmäßig auf „Lassen Sie uns Forschungsmethode X durchführen“ zu verzichten, ohne vorher zu definieren, welche Art von Beweisen für Ihre Entscheidung nützlicher ist.

Achten Sie auf Ihr Publikum – manchmal reagiert ein Stakeholder besser auf Kundeninterviews oder Anekdoten.

Es ist erwähnenswert, dass meine einflussreichsten Experimente Hypothesen waren, die aus qualifizierter Forschung entstanden sind, genauer gesagt aus zufriedenen Benutzerinterviews.

Welche Art von Lernprogramm haben Sie für Ihr Optimierungsteam eingerichtet? Und warum haben Sie diesen speziellen Ansatz gewählt?

Unser Experimentierkapitel ist eine Gruppe von 10 wachstumsorientierten Individuen, lebenslangen Studenten, die es lieben, durch Daten als falsch bewiesen zu werden.

Siebzig Jahre Optimierungserfahrung kombiniert, alle mit unterschiedlichen Hintergründen.

Abgesehen von dem, was Sie von Chapter-Zeremonien und Peer-Review erwarten können, haben wir Reforge für unser Team.

Wir bitten alle, sowohl die Experimentation Deep Dive als auch die Growth Series zu durchlaufen.

Eine gemeinsame Sprache zu haben, ist eine unterschätzte Superkraft für leistungsstarke Teams.

Was ist der nervigste Optimierungsmythos, von dem Sie sich wünschen, dass er verschwindet?

Experimentieren? Äh... du meinst CRO, richtig?

So denke ich das durch, in vier Schritten:

1. Es gibt grundlegende Bausteine ​​(Strategie, Tools & Technik, Prozesse, Menschen)
2. die die Governance-Struktur mitgestalten (hybrid, zentralisiert, dezentralisiert)
3. Das muss vorhanden sein, damit eine Kultur des Experimentierens gedeihen kann (AB-Testschwungrad)
4. Und abhängig von Ihrer Organisationsstruktur (z. B. produktorientiert) werden unterschiedliche Workflows festgelegt – für iTech Media, OKR-Initiativen, CRO und Safety Net, lesen Sie hier mehr.

Als Branche sind wir besser dran, uns von dieser falschen Dichotomie zu lösen.

Wir können es besser.

Hoffentlich hilft unser Interview mit John dabei, Ihre Experimentierstrategie in die richtige Richtung zu lenken!

Welcher Ratschlag hat bei Ihnen am meisten Anklang gefunden?

Seien Sie gespannt auf unser nächstes Interview mit einem CRO-Experten, der uns durch noch fortschrittlichere Strategien führt! Und falls Sie es noch nicht getan haben, sehen Sie sich unsere Interviews mit Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough und unseren neuesten mit an Alex Birkett .