Testen von Mind Map-Serien: Wie man wie ein CRO-Profi denkt (Teil 11)

Interview mit Ruben de Boer

Sind Sie jemand, der mehr aus dem Experimentieren herausholen möchte?

Unser heutiger Gast tut dies seit Jahren und kann Ihnen helfen, Ihre eigene Experimentierreise zu beginnen. Außerdem hat er einige großartige Ratschläge, wie Sie sicherstellen können, dass Ihre Experimente Ihnen den richtigen ROI liefern.

Sobald Sie all das herausgefunden haben, möchten Sie alle Erkenntnisse verfolgen, damit Sie sie in Ihrem Unternehmen anwenden können. Unser Experte hat unzählige Ratschläge, wie Sie genau das tun können.

Tauchen wir ein.

Ruben, erzähl uns von dir. Was hat Sie dazu inspiriert, in Testing & Optimization einzusteigen?

2009 half ich einem Unternehmen, das Menschen beibrachte, durch verbesserte soziale Fähigkeiten glücklicher und selbstbewusster zu werden. Damals wurde mir wirklich klar, wie wichtig es ist, andere durch das zu unterstützen und zu inspirieren, was man gerne tut. Mich hat auch die Frage fasziniert:

Wenn wir das Verhalten der Menschen offline ändern können, wie können wir das dann online tun?

So kam ich zur Erforschung des menschlichen Verhaltens und der Psychologie. Daten waren schon immer mein Ding. Ich genieße es, Muster und Lösungen in Daten zu finden (in der Schule war ich in Datenthemen viel besser als in jedem anderen Thema).

Und ich liebe die Optimierung und das Erzielen von Ergebnissen. Nicht nur in meiner Arbeit, sondern auch in meinem Privatleben.

Diese Kombination aus Interessen und Leidenschaften hat mich natürlich dazu gebracht, im Bereich Testing & Optimization zu arbeiten.

Seit wie vielen Jahren optimieren Sie? Welche Ressource empfehlen Sie angehenden Testern und Optimierern?

2009 begann ich mit der Optimierung von Websites und der Analyse von Geschäfts- und Onlinedaten. Erst 2011 habe ich meinen ersten A/B-Test gemacht. Natürlich habe ich alle Fehler gemacht, die man machen kann, wenn man mit der Conversion-Rate-Optimierung beginnt.

Meine wichtigste Ressource ist das Treffen mit anderen Spezialisten auf diesem Gebiet. Tauschen Sie Ideen und Erfahrungen aus und lernen Sie voneinander. Holen Sie sich bei Veranstaltungen nicht nur Anregungen von den Referenten, sondern auch von den Zuhörern. Indem wir uns gegenseitig helfen und gemeinsam lernen, können wir uns und unsere Arbeit auf die nächste Stufe bringen.

Antworten Sie in maximal 5 Wörtern: Was ist für Sie die Disziplin der Optimierung?

Kontinuierliche Verbesserungsmentalität, Lernen und Experimentieren.

Was sind die wichtigsten 3 Dinge, die Menschen verstehen MÜSSEN , bevor sie mit der Optimierung beginnen?

Besorgen Sie sich zuerst die richtigen Grundlagen . Spezialisten führen häufig Experimente auf der Grundlage gängiger Praktiken durch. Diese Praktiken wurden jedoch auf verschiedenen Websites getestet (falls überhaupt getestet) und funktionieren möglicherweise überhaupt nicht für Ihre Website oder Ihr (digitales) Produkt.

Holen Sie sich Ihre Testideen aus Ihren Daten, Benutzern und wissenschaftlichen Forschungen. Und wenn Sie ein Experiment abschließen, denken Sie darüber nach, was Sie gelernt haben und welche neuen Testideen Sie auf der Grundlage dieser Erkenntnisse entwickeln können. Diese Quellen helfen Ihnen, solide Testideen zu entwickeln, mit einer größeren Chance, erfolgreiche Variationen zu finden.

Ein weiteres grundlegendes Verfahren, bei dem ich sehe, dass viele Spezialisten falsch liegen, ist die Statistik. Führen Sie für jedes Experiment Ihre Vortestanalyse durch . Berechnen Sie die minimale Stichprobengröße und Testdauer und beenden Sie den Test erst, wenn Sie diese erreicht haben.

Wenn Sie feststellen, dass Sie in Ihren Pre-Test-Berechnungen nicht genügend Traffic für A/B-Tests haben, finden Sie andere Mittel, um Ihre Testideen zu validieren, z. B. durch Usability-Tests.

Zweitens ist der Prozess entscheidend . Ohne einen geeigneten Prozess werden Sie nicht erfolgreich sein. Um Ihren Prozess zu optimieren, müssen Sie den Return of Investment (ROI) des Experimentierens verstehen:

ROI = (Menge * Qualität) / Kosten

Menge ist die Anzahl der Experimente, die Sie ausführen. Qualität ist die Gewinnrate und der Wert pro Gewinner. Kosten sind Zeit und Geld, also Ihre Effizienz.

Mit dem richtigen Prozess (einschließlich eines Tools, mit dem Sie Ihren Prozess, Ihren Fortschritt und Ihre Erkenntnisse verfolgen können!) können Sie Ihren ROI und Ihren Experimentiererfolg optimieren.

Und drittens müssen Sie verstehen, dass Ihre Aufgabe nicht nur darin besteht, A/B-Tests durchzuführen. Ein Großteil Ihrer Arbeit sollte dem Change Management gewidmet sein. Um erfolgreich zu sein und auf eine Experimentierkultur hinzuarbeiten, reichen A/B-Tests nicht aus. Sie müssen die Kultur, die Denkweise und die Arbeitsweise Ihrer gesamten Organisation ändern. Beginnen Sie damit, Menschen einzubeziehen, insbesondere das höhere Management.

Wie gehen Sie mit qualitativen und quantitativen Daten um, damit sie Ihnen eine unvoreingenommene Geschichte erzählen können?

Kurzgesagt:

Der erste Schritt besteht darin, eine gründliche Recherche mit verschiedenen Ressourcen wie Webdaten, Kundenservice, Umfragen, Umfragen und wissenschaftlichen Artikeln durchzuführen.

Der zweite Schritt in diesem Prozess besteht darin , die Erkenntnisse Ihrer Forschung in solide übergreifende Hypothesen umzuwandeln . Streben Sie fünf bis zehn Hypothesen an, die etwas über Ihre (potenziellen) Kunden aussagen und sich nicht auf ein einzelnes Element oder eine einzelne Webseite beziehen.

Zum Beispiel:

• Kunden finden unsere Produkte zu teuer
• Menschen benötigen weitere Informationen zu unserem Service, bevor sie sich anmelden
• Menschen werden zu unseren Kunden, weil sie das Bedürfnis haben, dazuzugehören

Sie können diese Hypothesen dann durch mehrere verwandte Experimente validieren, die ebenfalls auf Ihrer Forschung basieren. Dies wird als Metaanalyse bezeichnet .

Wieso den? Ein einzelner A/B-Test ist fehleranfällig. Ihr Experiment könnte zu einem falsch positiven Ergebnis führen, oder der Grund für ein erfolgreiches Experiment kann sich von dem in Ihrer Hypothese angegebenen unterscheiden. Mit einer Metaanalyse kommen wir der Wahrheit am nächsten. Daher sind unsere Erkenntnisse zuverlässiger und wir erstellen bessere Folgeexperimente.

Die Meta-Analyse ist die höchste Beweisqualität, die Sie erhalten können, basierend auf der Beweishierarchie.

Der letzte Schritt in diesem Prozess besteht darin, den Überblick darüber zu behalten, welche übergreifende Hypothese funktioniert und wo in der Customer Journey (auf welcher Seite), und Ihre Testideen darauf basierend zu priorisieren, um Ihre Gewinnrate und Ihre Erkenntnisse zu maximieren.

Welche Art von Lernprogramm haben Sie für Ihr Optimierungsteam eingerichtet? Und warum haben Sie diesen speziellen Ansatz gewählt?

Der oben beschriebene Prozess hilft Ihnen, zuverlässige Erkenntnisse zu gewinnen, aus denen Sie und Ihr Unternehmen wirklich lernen können.

Wenn Sie diese Metaanalysen gut dokumentieren (in einem Tool wie Airtable), wird es einfacher zu erkennen, wo Ihr Erfolg liegt. Indem Sie jedes Experiment mit der übergreifenden Hypothese und der psychologischen Richtung versehen, erhalten Sie unglaublich viel Wissen über die Bedürfnisse (und Probleme) Ihrer potenziellen Kunden und wissen gleichzeitig, wo in der Customer Journey sie angesprochen werden müssen und durch welche Art von Experimenten.

Sobald Sie viele Experimente durchgeführt haben und beginnen, sich ein klares Bild zu machen, können Sie diese Erkenntnisse teilen und die gesamte Organisation kann daraus lernen und davon profitieren.

Was ist der nervigste Optimierungsmythos, von dem Sie sich wünschen, dass er verschwindet?

Ich nenne zwei

Die unglaublichen Uplift-Experimente können (mit einem einzigen A/B-Test) erreicht werden. Daran sind vor allem einige Anbieter schuld, die in ihren Cases und auf ihren Landingpages mit enormen Uplifts werben und damit falsche Erwartungen wecken.

Organisationen, die Experimente für eine bessere Entscheidungsfindung einsetzen, sind oft diejenigen, die erfolgreich sind. Nicht diejenigen, die sich nur auf das Geld konzentrieren.

Und zweitens der Name Conversion-Rate-Optimierung im Allgemeinen. Es vermittelt einen falschen Eindruck und ist zu eng für das, was Spezialisten im Experimentieren leisten können.

Hoffentlich hilft unser Interview mit Ruben dabei, Ihre Experimentierstrategie in die richtige Richtung zu lenken! Welcher Ratschlag hat bei Ihnen am meisten Anklang gefunden?

Seien Sie gespannt auf unser nächstes Interview mit einem CRO-Experten, der uns durch noch fortschrittlichere Strategien führt! Und falls Sie es noch nicht getan haben, sehen Sie sich unsere Interviews mit Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Andra Baragan und unser neuestes Interview mit Rich Page an.