Testen der Mind Map-Serie: Wie man wie ein CRO-Profi denkt (Teil 6)

Interview mit Jakub Linowski von GoodUI

Haben Sie sich jemals gefragt, warum manche Leute einfach ein Händchen für CRO zu haben scheinen?

Das liegt nicht nur daran, dass sie gut darin sind, Experimente aufzubauen. Sie wissen auch, wie man Dinge anders betrachtet, und diese Serie wird Ihnen dabei helfen. Wir werfen einen genauen Blick auf die Denkweisen, die erfolgreiche CRO ausmachen, und wie Sie sie auf Ihre Strategie anwenden können.

Wenn Sie sich in die richtige Stimmung bringen können, wird der Erfolg viel einfacher sein, als wenn Sie es versuchen, ohne vorher zu verstehen, wo Ihre blinden Flecken sein könnten. Letztendlich soll die Testing Mind Map Series Ihnen helfen, Ihre Optimierungsstrategie besser zu planen und Tests mit mehr Vertrauen durchzuführen!

In diesem Artikel teilt Jakub Linowski von GoodUI mit, dass die Kraft des Experimentierens nicht nur in seiner Fähigkeit als nützliche Methode liegt, sondern auch darin, aussagekräftige Erkenntnisse zu gewinnen, die bessere Entscheidungen treffen können.

Jakub, erzähl uns von dir. Was hat Sie dazu inspiriert, in Testing & Optimization einzusteigen?

Irgendwann um 2014 zog es mich in die Welt des Experimentierens, als mich mein Designhintergrund auf diesen Weg führte. Als die Leute anfingen, Beispiele für gute Benutzeroberflächen und „Best-Practice“-Listen zu teilen, tat ich das auch, und so entstand GoodUI.org. Es dauerte jedoch nicht lange, bis mir klar wurde, dass alle meine Vorschläge und UI-Muster eher visuellen Hypothesen entsprachen als irgendetwas, das durch Beweise gestützt wurde. Ich wollte unbedingt mehr Selbstvertrauen gewinnen und die guten Ideen besser von den schlechten unterscheiden.

Als ich also von A/B-Tests hörte, war ich ziemlich aufgeregt (obwohl ich keine Ahnung hatte, was ein Konfidenzintervall ist). Ich habe einen Frontend-Entwickler eingestellt und wir haben eine kleine Optimierungsagentur gegründet. Wir haben angefangen, alle Ideen zu testen, die wir in Blogs gelesen, von unseren Kunden gehört haben, sowie von unserer eigenen, entstehenden GoodUI-Musterbibliothek. Da die meisten unserer Kunden uns erlaubten, a/b-Tests offen zu veröffentlichen, wurde deutlich, dass einige Muster besser waren als andere. Einige haben nicht viel getan. Andere repliziert gut. Und andere führten zu negativen Ergebnissen.

Diese Experimente mussten wir nun abwägen.

Und so verwandelte sich GoodUI.org schnell in eine Sammlung ähnlicher und vergleichbarer Experimente mit einer vollständigen Feedback-Schleife. Dinge, die mit höherer Häufigkeit und Wirkung besser abschnitten, wurden ganz oben angezeigt (unter Verwendung von aggregierten Mediandaten). Während Testergebnisse für ähnliche Muster in unsere Datenbank zurückgemeldet wurden, korrigierten wir unsere Vorhersagen und erhöhten die Genauigkeit.

Also ja, ich genieße das Experimentieren sowohl wegen der wunderbaren Methode , die es ist, als auch als mächtige Quelle professionellen Wissens , das es uns ermöglicht, bessere Vorhersagen zu treffen.

Seit wie vielen Jahren optimieren Sie? Welche Ressource empfehlen Sie angehenden Testern und Optimierern?

Wir haben unseren ersten Sprung-a/b-Test im Mai 2014 auf einer Angebots-Landingpage für eine große Versicherungsgesellschaft durchgeführt. Die Variation umfasste alles, was wir zu diesem Zeitpunkt aufgrund unserer eigenen begrenzten Erfahrung über die Verbesserung von Formularen, Kopier- und Lead-Formularen wussten. Das Ergebnis war ein relativer Anstieg der Leads um +53 % (±28, p-Wert 0,0002). Dies ist mein erstes Experiment, das mich süchtig gemacht hat.

Als Ressource liebe ich es, von dem zu lernen, was andere testen. Es ist besonders spannend und wertvoll, Experimente von großen Playern wie Netflix, Airbnb und Amazon nachzuschlagen, von denen wir wissen, dass sie eine gute Stichprobengröße haben und viele Tests durchführen. Insgesamt denke ich, dass es immer eine gute Idee ist, von Leuten zu lernen, die uns ein paar Schritte voraus sind (wie von vielen vorgeschlagen, einschließlich Inside Mastery von Robert Greene).

Antworten Sie in maximal 5 Wörtern: Was ist für Sie die Disziplin der Optimierung?

Optimierung bedeutet, dass wir Dinge verbessern.

(Ergebnisse sind entscheidend für die Optimierung. Zum Beispiel sind hundert flache oder unerwünschte Experimentergebnisse nicht gut genug. Sie könnten eine Menge lernen, ja. Aber damit wir etwas optimieren können, müssen wir die Nadel in die gewünschte Richtung bewegen .)

Was sind die wichtigsten 3 Dinge, die Menschen verstehen MÜSSEN , bevor sie mit der Optimierung beginnen?

EXPLORATION – so viele Ideen wie möglich generieren.

AUSWERTUNG – Priorisierung von Ideen mit früheren Ergebnissen für mehr Geschwindigkeit.

EXPERIMENTIEREN – Öffnen unserer Ideen, um sie zu falsifizieren oder zu validieren.

Wie gehen Sie mit qualitativen und quantitativen Daten um, damit sie Ihnen eine unvoreingenommene Geschichte erzählen können?

Ich stimme der Idee zu, a/b-Testergebnisse zu validieren. Im Allgemeinen können unsere Experimente umso zuverlässiger und vertrauenswürdiger werden, je mehr kohärente Messungen wir haben.

Wenn es um den Vergleich von Ergebnissen geht, gibt es einige Möglichkeiten, wie wir dies tun können:

• Vergleich mehrerer Metriken aus demselben Experiment (z. B. Konsistenz des Effekts über: Hinzufügen zum Warenkorb, Verkäufe, Einnahmen, Rückkäufe usw.)
• Vergleich historischer Daten über separate Experimente (z. B. Konsistenz der Wirkung zwischen zwei separaten Experimenten, die auf 2 separaten Websites durchgeführt wurden)

Welche Art von Lernprogramm haben Sie für Ihr Optimierungsteam eingerichtet? Und warum haben Sie diesen speziellen Ansatz gewählt?

Ich bin der festen Überzeugung, dass die Replikation von Experimenten ein entscheidendes Element ist, um Testergebnisse besser vorhersagen zu können (Erzeugung von professionellem Wissen).

Daher gruppieren wir auf unserer eigenen Plattform ähnliche Experimente und aggregieren ähnliche Metriken.

Beim Aufbau einer Wissensbasis aus Experimenten ist die andere wichtige Sache, die Veröffentlichungsverzerrung zu minimieren . Das heißt, alle Experimente unabhängig von ihren Ergebnissen (einschließlich positiver, negativer, signifikanter und unbedeutender) aufzuzeichnen.

Was ist der nervigste Optimierungsmythos, von dem Sie sich wünschen, dass er verschwindet?

In letzter Zeit habe ich mich über Leute geärgert, die behaupteten, Experimente hätten keine Nachteile (schön eingefangen von diesem wunderbaren LinkedIn-Thread). Eine subtile Art und Weise, wie dies manchmal zum Ausdruck kommt, sind Aussagen, die ähnlich klingen wie „Es gibt keine verlorenen Tests, nur Erkenntnisse“.

Dies könnte in Elfenbeinturmwelten der Fall sein, in denen das Lernen das Hauptziel ist und in denen der Experimentator vor Kosten geschützt ist.

Wenn wir jedoch beruflich Experimente als Werkzeug zur Optimierung der Websites von Kunden einsetzen, gibt es kein kostenloses Mittagessen. Das Ausführen von Experimenten ist mit Kosten, Risiken, Vor- und Nachteilen verbunden. Aus diesem Blickwinkel denke ich, dass es äußerst gesund ist, die Ergebnisse zu verfolgen und als das einzugestehen, was sie wirklich sind (einschließlich der Tatsache, dass man es sich bequem macht, Streifen negativer Tests zuzugeben und sie nicht zu beschönigen). Alle Berufe brauchen sowohl positive als auch negative Feedbackschleifen, um immer besser zu werden.

Hoffentlich hilft unser Interview mit Jakub dabei, Ihre Conversion-Strategie in die richtige Richtung zu lenken! Welcher Ratschlag hat bei Ihnen am meisten Anklang gefunden?

Seien Sie gespannt auf unser nächstes Interview mit einem CRO-Experten, der uns durch noch fortschrittlichere Strategien führt! Und falls Sie es noch nicht getan haben, sehen Sie sich unsere Interviews mit Gursimran Gujral von OptiPhoenix , Haley Carpenter von Speero , Rishi Rawat von Frictionless Commerce , Sina Fak von ConversionAdvocates und Eden Bidani von Green Light Copy an !