Testen von Mind Map-Serien: Wie man wie ein CRO-Profi denkt (Teil 16)

Interview mit Ryan Thomas

Es gibt viele Best Practices in der CRO-Welt, denen Menschen blindlings folgen. „Sie müssen einen Test mindestens zwei Wochen lang durchführen“, zum Beispiel, oder „Sie sollten immer nur einen Test auf derselben Seite durchführen“.

In diesem Artikel fordert Koalatative-Mitbegründer Ryan Thomas die Menschen auf, darüber nachzudenken, wann und warum es sinnvoll ist, diese Best Practices zu verwerfen. Und sich auf das zu konzentrieren, was am wichtigsten ist: gut darin zu werden, mit Kunden zu sprechen und ihre Motivationen und Anliegen zu verstehen.

Ryan glaubt, dass die Testdauer oder die Anzahl gleichzeitiger Tests nicht in Stein gemeißelt werden sollten, da sie stark kontextabhängig sind.

In der realen Welt hat die Conversion-Rate-Optimierung nur wenige feste Regeln – hinterfragen Sie also immer das Dogma und lernen Sie, indem Sie es tun!

Nun zum Vorstellungsgespräch …

Ryan, erzähl uns von dir. Was hat Sie dazu inspiriert, in Testing & Optimization einzusteigen?

Ich war seit Anfang der 2010er Jahre vage mit CRO vertraut, indem ich Blogbeiträge las und Videos ansah. Ich habe versucht, einige der Konzepte auf die von mir erstellten Websites anzuwenden, aber ich war an keinem Projekt beteiligt, bei dem ich es wirklich in großem Umfang in die Praxis umsetzen könnte.

Eines der Dinge, die mich zu einem Karrierewechsel in diese Richtung inspirierten, war das Lesen von Steve Blanks Büchern „The Startup Owner's Manual“ und „The Four Steps to the Epiphany“, in denen eines der Hauptthemen darin besteht, „aus dem Gebäude herauszukommen“. die Annahmen und Vorurteile des internen Teams.

Die Kombination aus Analysedaten, qualitativer Forschung und Tests in CRO schien ein perfekter Weg, dies für Websites zu tun. Und das nicht nur für Startups, da es scheint, als könnten Organisationen sehr groß werden und dennoch hauptsächlich auf der Grundlage von Meinungen arbeiten, die innerhalb des „Gebäudes“ generiert werden. Daher gibt es viele Möglichkeiten, diese externe, kundenorientierte und datenbasierte Perspektive anzubieten.

Seit wie vielen Jahren optimieren Sie? Welche Ressource empfehlen Sie angehenden Testern und Optimierern?

Ich traf 2017 die Entscheidung, mich auf CRO zu spezialisieren, und meldete mich für den CXL-Zertifizierungskurs an, der dazu führte, dass ich kurz nach Abschluss von der Agenturseite ihres Geschäfts eingestellt wurde. Es war im Grunde ein Katapult direkt an die Spitze der Branche. Es gibt viele Kurse da draußen, aber keiner von ihnen ist wirklich mit CXL vergleichbar, daher empfehle ich das definitiv als soliden Ausgangspunkt für angehende Optimierer.

Aber wenn ich eine Ressource auswählen müsste, wäre es: Kunden . Wenn Sie gut darin werden, tatsächlich mit Kunden zu sprechen und ihre Motivationen, Bedürfnisse, Zögern und ihre Denkweise zu verstehen, dann sind Kurse zum Erlernen bestimmter Tools und Methoden das Sahnehäubchen auf dem Kuchen. Wenn Sie sich an diese Idee gewöhnen, scheint es fast wie Betrug.

Die Antworten auf einige der schwierigsten Geschäftsgeheimnisse sind nur ein oder zwei Fragen entfernt, wenn Sie mit den Menschen zu tun haben, an die Sie verkaufen möchten.

Antworten Sie in maximal 5 Wörtern: Was ist für Sie die Disziplin der Optimierung?

Hill-Climbing-Algorithmus für die Website-Performance.

Was sind die wichtigsten 3 Dinge, die Menschen verstehen MÜSSEN , bevor sie mit der Optimierung beginnen?

1. Was Sie in quantitativen Daten sehen, ist eher ein Artefakt des Tracking-Setups als echtes Benutzerverhalten.
2. Die Fallstudien, die Sie mit 500 % Uplifts und ohne Informationen zur Testplanung und Stichprobengröße sehen, sind totaler Quatsch.
3. Es gibt viele Dogmen in der CRO-Welt, die Sie unbedingt hinterfragen sollten. Dinge wie „Sie müssen einen Test mindestens 2 Wochen lang durchführen“ oder „Sie sollten jeweils nur einen Test für dieselbe Seite und/oder Metrik durchführen“. So ziemlich alles hängt vom Kontext ab, es gibt immer mehr zur Geschichte, und obwohl es für einige dieser Handelsregeln eine legitime Grundlage geben mag, sollte keine davon in Stein gemeißelt sein. Folgen Sie also zunächst dem Dogma, aber wenn Sie lernen, sollten Sie herausfinden, wann und warum diese Regeln gebrochen werden sollten.

Wie gehen Sie mit qualitativen und quantitativen Daten um, damit sie eine unvoreingenommene Geschichte erzählen?

Quantitative Daten sagen Ihnen, was passiert, qualitative sagen Ihnen, warum.

Normalerweise stöbere ich in den Analysen herum, schaue mir verschiedene Berichte an, und wenn ich dann etwas Interessantes sehe, gehe ich tiefer hinein, indem ich Segmente und sekundäre Dimensionen anwende, und überprüfe das Tracking-Setup, um herauszufinden, ob es sich um echtes Benutzerverhalten handelt.

Sobald Tracking-Probleme ausgeschlossen wurden, überprüfe ich die betroffenen Seiten auf Hinweise, die den Befund erklären, und richte dann eine qualitative Datensammlung ein, um die Benutzer- / Kundenperspektive zu erhalten.

Das allein ist ein ziemlich guter Anfang, um Vorurteile zu beseitigen, aber ein Experiment durchzuführen, um Ihre Hypothese zu testen, bringt Sie viel näher (Sie können Vorurteile nie vollständig beseitigen).

Ein weiterer Tipp dafür ist das, was ich eine „naive Einschätzung“ nenne. Ihre Naivität zu Beginn eines Projekts ist tatsächlich eine wirklich wertvolle Ressource, also versuchen Sie, sie zu nutzen, bevor Sie zu viel über die Website, die Kunden und das Unternehmen erfahren. Es ist einfacher, wie ein Kunde zu denken, wenn man nicht mehr über das Geschäft weiß als sie selbst, daher führe ich gerne so früh wie möglich im Projekt ein erstes leichtes Audit durch.

Welche Art von Lernprogramm haben Sie für Ihr Optimierungsteam eingerichtet? Und warum haben Sie diesen speziellen Ansatz gewählt?

Unser Team ist noch klein, aber in der Regel haben unsere neuen Mitarbeiter bereits einige CRO-Kurse absolviert. Das anfängliche Lernen wird also auf den Inhalten basieren, die wir bei Koalatative produzieren, die so konzipiert sind, dass sie den Lärm aller anderen Kurse und Inhalte da draußen durchdringen und gleichzeitig einen allgemeineren Überblick darüber bieten, wie man verschiedene Themen in CRO angeht.

Sobald sie die Grundlagen dafür haben, wie wir über Dinge und unsere Prozesse denken, lernen sie am besten durch Handeln. Also bringen wir sie in Kundengespräche und lassen sie dann die Verantwortung für ein Stück des CRO-Puzzles übernehmen. Es gibt unzählige fähige und motivierte Leute da draußen, die beruflich in den CRO einsteigen wollen und viele Kurse besucht haben, aber es schwer haben, irgendetwas davon zum Bleiben zu bringen, weil sie keine Möglichkeit haben, das anzuwenden, was sie sind Lernen.

Was ist der nervigste Optimierungsmythos, von dem Sie sich wünschen, dass er verschwindet?

Dieser CRO ist ein schlechter Ruf für das, was wir tun, und das sollte geändert werden. Es gibt viele prominente Stimmen, die diese Idee vorantreiben, und in den meisten oder allen Fällen kann sie auf eine bewusste strategische Erzählung zurückgeführt werden, um ein bestimmtes Produkt oder Werkzeug voranzutreiben, oder auf eine Taktik der Differenzierung.

CRO erhält nach Jahren der Dunkelheit endlich mehr Aufmerksamkeit im Mainstream, und sicher gibt es Leute da draußen, die es auf betrügerische Weise tun, aber es scheint ein Schritt in die falsche Richtung zu sein, diesen Leuten einfach den Begriff zu geben und von vorne zu beginnen Sensibilisierung für den neuen Begriff. Wenn Sie es vorwärts spielen, wird sich derselbe Zyklus einfach fortsetzen, also ist es an den White Hats in der Branche, bewährte Praktiken zu fördern und Praktiker darüber aufzuklären, wie man CRO richtig macht.

Hoffentlich hilft unser Interview dabei, Ihre Experimentierstrategie in die richtige Richtung zu lenken!

Welcher Ratschlag hat bei Ihnen am meisten Anklang gefunden?

Seien Sie gespannt auf unser nächstes Interview mit einem CRO-Experten, der uns durch noch fortschrittlichere Strategien führt!

Und falls Sie es noch nicht getan haben, sehen Sie sich unsere Interviews mit den CRO-Legenden Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Deborah O'Malley , Andra Baragan , Rich Page und Ruben de Boer an , Abi Hough , Alex Birkett , John Ostrowski und unser neuestes mit Ryan Levander .