„Alles testen“ – Vom Papier bis zur Praxis

Damit wir uns verstehen.

Es ist nie ein Fehler , mehr A/B-Tests durchzuführen, auch wenn sie sich nicht direkt auf Umsatz und Umsatz auswirken, solange Sie sie gut ausführen und aus dem Prozess lernen.

Aber…

Jeder Test erfordert eine Investition von Zeit, Mühe, Humankapital und mehr .

Warum plädieren einige Experten also dafür, alles zu testen? Und was ist der Mittelweg… besonders für Sie… ja… Sie lesen diesen Artikel.

Jetzt haben Sie vielleicht jede Menge gute Testideen und möchten wissen, ob Sie sie alle testen sollten. Aber das ist nicht der Punkt! Wie Natalia in einem Interview mit Ben Labay von Speero erwähnt:

Es gibt Hunderte von großartigen Ideen da draußen, aber das ist nicht der Punkt. Es geht darum, zur richtigen Zeit den richtigen zu finden, an dem man arbeiten kann .

Es mag verlockend klingen, alles nach dem Zufallsprinzip zu testen, aber das Priorisieren des Testens der richtigen Hypothese zum richtigen Zeitpunkt ist der Schlüssel .

Mit der richtigen Priorisierung können Sie eine „Alles testen“ -Mentalität kultivieren. Die meisten Modelle zur Priorisierung von Hypothesen greifen jedoch zu kurz.

Lassen Sie uns ein wenig tiefer gehen, um zu verstehen, ob Sie alles A/B-testen sollten, wie die Priorisierung Ihnen hilft, Entscheidungen zu treffen, und wie Sie Ihr eigenes Priorisierungsmodell erstellen , das die Einschränkungen herkömmlicher Optionen überwindet.

Testen Sie alles: Warum wird es empfohlen?

Lassen Sie uns zunächst diesen kontroversen Ansatz untersuchen: Macht es Sinn, alles zu testen?

Los, wähle eine Seite.

Was ist Ihre Standardaktion?

Was ist für Sie „schmackhaft“, ohne den Rest dieses Artikels zu lesen und weitere Daten zu sammeln?

Fertig?

Mal sehen, ob unsere Argumentation mit Ihrer übereinstimmt.

Bevor wir uns mit dem Rätsel „Alles testen“ auseinandersetzen, müssen wir verstehen, was A/B-Tests und ihre Ergebnisse implizieren.

Statistische Gültigkeit

A/B-Tests sind eine statistisch gültige Methode, um zu sehen, ob sich die Änderungen, die Sie im Sinn haben, auf Ihre Key Performance Indicators (KPIs) auswirken.

Wenn Ihr Blog beispielsweise mehr Besuche erhalten soll, können Sie ihn zum Hauptnavigationsmenü hinzufügen. Das neue Menü ist keine Kopie des alten mehr . Diese Änderung ist jedoch nutzlos, wenn sie sich nicht positiv auf das Verhalten Ihrer Website-Besucher auswirkt.

Die einfache Tatsache, dass die beiden Versionen strukturell unterschiedlich sind, spielt keine Rolle. Alles in allem kommt es darauf an, dass Sie das von Ihnen gewünschte und erwartete Ergebnis realisieren. Sind Leute eher geneigt, den Blog zu besuchen, wenn sie ihn im Hauptmenü sehen, als wenn er in der Fußzeile versteckt ist ?

Der gesunde Menschenverstand mag ja sagen , es sollte einen (positiven) Effekt geben. Ihr Test zeigt jedoch möglicherweise keine Änderung der Metriken, die Sie zur Überwachung als Maß für die Auswirkung ausgewählt haben.

Wenn dies zutrifft, mindern A/B-Tests auch das Risiko.

Risikominderung

Das Implementieren von Site-weiten Änderungen ist komplex und ein ganz anderes Ballspiel.

Sie können am Ende eine Änderung vornehmen und riskieren, Ressourcen zu verschwenden, indem Sie Funktionen erstellen, die Benutzer nicht möchten, und Website-Elemente anpassen, die nicht die erwarteten Ergebnisse liefern. Dies ist einer der Hauptgründe für die Notwendigkeit von A/B-Tests, da es der Härtetest für die vorgeschlagene Lösung ist, bevor sie tatsächlich implementiert wird.

A/B-Testaufbauten (insbesondere clientseitige Builds) sind weniger ressourcenintensiv als hartcodierte Websiteänderungen und High-Fidelity-Funktionen. Dies gibt Ihnen grünes Licht, einen bestimmten Weg nicht einzuschlagen, insbesondere wenn die Ergebnisse darauf hindeuten, dass sich die wichtigsten KPIs nicht in die richtige Richtung bewegen.

Ohne Tests investieren Sie in Erfahrungen, die einfach nicht funktionieren. Es ist ein blindes Risiko, das Sie eingehen, ohne zu wissen, dass Sie möglicherweise zum vorherigen Design zurückkehren müssen, um Einnahmen und Leistung zu schützen.

Georgi, der Schöpfer von Analytics-toolkit.com, argumentiert sogar, dass A/B-Tests im Wesentlichen ein Risikomanagement-Tool sind:

Warum es riskieren, wenn Sie es testen können?

(—Mehr dazu später im Blog. Lesen Sie weiter!—)

Trend analysen

Wenn Sie regelmäßig Tests durchführen, aus denen Sie lernen , beginnen Sie, Trends in der Reaktion Ihres Publikums auf bestimmte Eingaben zu erkennen. Es ist am besten, nicht davon auszugehen, dass Sie aus einer einzigen Iteration irgendetwas Wertvolles ableiten können. Aber eine Meta-Analyse (in einer A/B-Testumgebung mit einer einzigen Variablen) kann Ihnen im Laufe der Zeit das Vertrauen geben, möglicherweise das Testen einer bestimmten Hypothese gegenüber anderen zu priorisieren.

Einige Experten stehen hinter dem Testen von allem, da das Experimentieren viele Vorteile hat.

Andererseits plädieren viele Experten dafür, sich zumindest von wiederholbaren Ergebnissen früherer Experimente inspirieren zu lassen, um die großen Fragen zu beantworten .

Der Chefredakteur von GoodUI, Jakub Linowski, gehört zu den bemerkenswertesten. Er argumentiert, dass Experimente Wissen generieren, das Vorhersagen ermöglicht. Er hält es für wichtig, Wissen, Taktiken, Muster, Best Practices und Heuristiken zu verfolgen.

Das Wissen, das Sie aus Experimenten gewinnen, hilft Ihnen, zuverlässigere Vorhersagen zu treffen. Dies wiederum ermöglicht es Ihnen, genauere Hypothesen zu erstellen und diese besser zu priorisieren.

Auf den ersten Blick mögen diese Perspektiven widersprüchlich erscheinen. Aber sie bekräftigen dasselbe Argument: „ Experimente bringen Gewissheit in einer unsicheren Welt “.

Sie treffen entweder Annahmen zu Ihrem Datensatz oder übernehmen Überzeugungen aus Tests, die für ähnliche gewünschte Endergebnisse in mehreren Branchen und Branchen durchgeführt wurden.

Bei Convert lassen wir uns von beiden Ansichten inspirieren und sehen auf die folgenden zwei einfachen Arten, wie eine Facette die nächste aufbaut.

Lernen & Testen: Das praktische Duo für inspiriertes Testen

Hinterfrage alles

Dies ist eine bleibende Lehre der stoischen Meister .

Wenn Sie alles um sich herum in Frage stellen, erkennen Sie, dass Sie eine Zusammensetzung aus dem sind, was Sie von den Menschen, denen Sie begegnen, der Kultur, in der Sie leben, und den Heuristiken, denen Ihr Gehirn folgt, aufgreifen.

Dieses „Bauchgefühl“ , das uns typischerweise antreibt, ist normalerweise nicht unseres.

Viele von uns träumen zum Beispiel davon, einen verschwenderischen Lebensstil zu führen, der auf Konsum ausgerichtet ist. Aber kam das wirklich von uns? Oder sind wir Opfer von Werbung, Medien und Hollywood?

Die Medien und die Werbung spielten eine wichtige Rolle bei der Gestaltung der Träume und Wünsche der einzelnen Person, um in erster Linie ein Konsument zu werden … und es wurde möglich, die einzelne Person zu verführen und sie glauben zu machen, dass das, was sie wünscht, eine freie Entscheidung ist, die von innen stammt ihn (aber tatsächlich ist er Gefangener von Hunderten von Anzeigen, die das Verlangen erzeugten, von dem er sagte, dass es subjektiv sei, und das für ihn das automatische Verlangen erzeugte .

Abdel Wahab El-Messiri

Es ist unklug, Änderungen und Geschäftsentscheidungen NUR mit Ihrem eigenen „Bauchgefühl“ zu treffen. Wenn wir nicht sicher sein können, dass die Veränderungen, die wir vornehmen wollen, und die Entscheidungen, die wir in unserem Unternehmen durchsetzen wollen, von uns kommen, warum hängen wir dann überhaupt daran?

Alles zu hinterfragen ist wichtig . Ihr Bauchgefühl, Best Practices, Priorisierungsmodelle und so weiter.

Und wenn wir doch alles in Frage stellen, wird es im nächsten Schritt durch Experimente mathematisch verifiziert. Denn mit Fragen aufzuhören, schließt den Kreis von Ungewissheit zu Gewissheit nicht.

Aus Experimenten lernen

Sie können nicht lernen, wenn Sie nicht testen.

Stellen Sie sicher, dass Sie Ihre Erkenntnisse richtig quantifizieren. Sie müssen sowohl qualitative als auch quantitative Daten in A/B-Tests nutzen, um Ihre Erkenntnisse in etwas Sinnvolles zu übersetzen. Gruppieren Sie beispielsweise die durchschnittliche Auswirkung nach Kontext, Testtyp, Testort, überwachten KPIs, Testergebnis usw.

Ein gutes Beispiel für diesen methodischen Ansatz ist die GOODUI-Datenbank .

Es identifiziert Muster, die in A/B-Tests wiederholt auftreten, und hilft Unternehmen, bessere und schnellere Conversions zu erzielen.

GOODUI bietet 124 Muster basierend auf 366 Tests (nur für Mitglieder) und fügt jeden Monat mehr als 5 neue zuverlässige Tests hinzu. Durch das Lernen aus Experimenten und die Quantifizierung dieser Erkenntnisse in Muster verkürzt die GOODUI-Datenbank den langwierigen A/B-Testprozess und ermöglicht es Kunden, mehr Gewinne zu erzielen!

Lassen Sie sich von diesen Mustern inspirieren:

Muster Nr. 2: Symbolbezeichnungen: https://goodui.org/patterns/2/

Muster #20: vorgefertigte Antwort: https://goodui.org/patterns/20/

Muster Nr. 43: Lange Titel: https://goodui.org/patterns/43/

Aber konzentrieren Sie sich auf … Priorisierung von Ideen

Priorisieren Sie Ideen, die mit Ihren übergeordneten Geschäftszielen übereinstimmen, und berücksichtigen Sie dabei die unternehmensspezifischen Ergebnisse.

Stellen Sie sich das vor.

Sie führen ein Unternehmen mit einem anständigen Kundenstamm. Die Bindungsrate dieser Kunden liegt jedoch unter 15 % . Ihr Hauptziel ist es, ein nachhaltiges Geschäft aufzubauen, das Kunden mit einer viel höheren Rate bindet. Dieses Ziel sollte Ihre Priorisierung beeinflussen.

Nehmen wir an, Sie haben zwei Ideen und möchten wissen, welche Sie zuerst testen sollten – eine, die wahrscheinlich die Bindungsrate erhöht, und eine andere, die wahrscheinlich den Umsatz von Neukunden steigert . Wahrscheinlich sollten Sie die erste Idee priorisieren, obwohl letztere ein viel höheres Verbesserungspotenzial hat.

Denn eine höhere Kundenbindungsrate bedeutet langfristig ein stabileres Geschäft. Dies passt perfekt zu Ihren übergeordneten Geschäftszielen und Ihrer Strategie.

Die andere Idee kann Ihnen viel mehr neue Verkäufe bringen. Aber letztendlich wird Ihr Unternehmen immer noch mehr als 85 % seiner Kunden verlieren.

Priorisierungsmodelle für Experimente berücksichtigen immer die strategische Bedeutung dessen, was getestet wird. Sie betrachten die wahrscheinlichen Auswirkungen, den Aufwand usw. einer Vielzahl unterschiedlicher Ideen, berücksichtigen jedoch nicht, welche dieser Ideen am besten zur Geschäftsstrategie und -ausrichtung passen .

Jonny Longden, über Alles testen

Wo greifen die meisten Priorisierungsmodelle zu kurz?

Wenn Sie ein begeisterter Optimierer sind, haben Sie vielleicht eine lange Liste von A/B-Testideen. Aufgrund des begrenzten Datenverkehrs und der begrenzten Ressourcen können Sie jedoch nicht alle auf einmal testen, selbst wenn Sie sich entscheiden, alles zu testen.

Es ist, als hätte man eine lange To-Do-Liste und weiß, dass man nicht alles gleichzeitig angehen kann. Also priorisieren Sie und beginnen mit denen mit der HÖCHSTEN PRIORITÄT. Dies gilt für das Erzielen von Gewinnen durch Experimentieren. Mit der richtigen Priorisierung wird Ihr Testprogramm viel erfolgreicher sein.

Aber die Priorisierung im A/B-Testing, wie David Mannheim in seinem Artikel schrieb, ist so schwierig. Das liegt vor allem daran, dass

• Sie produzieren oft Ideen, die nicht auf die Geschäftsziele ausgerichtet und ausgerichtet sind.
• Ziehen Sie Iteration und Lernen aus früheren Experimenten nicht in Betracht .
• Verwenden Sie dysfunktionale Priorisierungsmodelle und versuchen Sie, dem Problem willkürliche Rahmenbedingungen hinzuzufügen.

Und dies sind auch einige Bereiche, die selbst die beliebtesten Priorisierungsmodelle tendenziell übersehen und falsch machen. Aber warum ist das so? Hier sind einige kritische Elemente, die zu ihrer fehlenden richtigen Priorisierung beitragen.

• Irreführende Faktoren: Die Faktoren, die sie zur Auswahl von Tests verwenden, sind höchst irreführend. An erster Stelle steht der Aufwand, der den Eindruck erweckt, dass Ideen mit geringem Aufwand eine schnelle Priorisierung verdienen.
• Gewichtsfunktion: Die meisten Modelle weisen Faktoren beliebige Gewichte zu. Sie können nicht einfach zufällig Prioritäten setzen; du brauchst einen grund dafür.
• Komplexe Iterationen: Sie können vorhandene Testiterationen (angetrieben durch Lernen) nicht von brandneuen Ideen für Priorisierungszwecke unterscheiden.

Für den Anfang ordnet das PIE-Priorisierungs-Framework Hypothesen basierend auf:

• Verbesserungspotential
• Bedeutung
• Leichtigkeit

Doch wie ermittelt man objektiv das Potenzial einer Testidee? Wenn wir das vorher wissen könnten, wie Peep Laja, Gründer von CXL, erklärte, würden wir keine Priorisierungsmodelle brauchen.

Das PIE-Modell ist sehr subjektiv. Es passt auch nicht gut zu den Geschäftszielen und fördert risikoarme Lösungen. Leichtigkeit ist irreführend, da sie suggeriert, dass Ideen mit geringem Aufwand Vorrang haben sollten.

Je größer das Risiko, desto größer die Belohnung .

Und das gilt nur, wenn man sich selbst mit ausgefeilteren Ideen herausfordert.

Ein weiteres beliebtes Modell, das Bewertungsmodell ICE (Impact, Confidence, and Ease), ist PIE sehr ähnlich und hat die gleichen Mängel wie PIE .

Das PXL-Framework ist eine Verbesserung gegenüber diesen beiden und macht jede „Potenzial“- oder „Wirkungs“-Bewertung viel objektiver. Es hat jedoch immer noch seine Mängel.

Erstens berücksichtigt es nicht die Ausrichtung an Geschäftszielen . Zweitens unterscheidet es aktuelle Testiterationen nicht von brandneuen Ideen.

David Mannheim, Global VP of Conversion Rate Optimization, Brainlabs, enthüllte, dass 50 % aller über 200 Experimente, die sie für einen Kunden seiner früheren Beratungsfirma User Conversion erstellten, Iterationen voneinander waren. Sie haben auch einmal einen um 80 % verbesserten Wert aus der ursprünglichen Hypothese erstellt und festgestellt:

Wir wussten, dass das „Konzept“ funktionierte, aber durch die Änderung der Ausführung, über 6 verschiedene Iterationen, wenn ich das hinzufügen möchte, sahen wir einen inkrementellen Gewinn von über 80 % gegenüber dem Original .

In seinem Bericht „Running Experience Informed Experiments “ stellte Convert fest, dass fast alle befragten Experten der Meinung waren, dass Lernen die erfolgreiche Ideenfindung vorantreibt. Dies kann durch H&Ms Übernahme von Lernmustern weiter unterstützt werden.

Fast jedes andere Experiment, das wir bei H&M in unserem Produktteam durchführen, basiert auf dokumentierten Erkenntnissen aus früheren Experimenten oder anderen Forschungsmethoden .

Mathias Mandiau

Wie erstellt man sein eigenes Priorisierungsmodell für A/B-Tests?

Priorisierung fördert die Denkweise „alles testen“. Es vermittelt Selbstvertrauen, die Ideen und Hypothesen (zuerst) zu testen, die das drängendste Problem am stärksten belasten.

Aber jedes Geschäft ist anders. Es kann also keinen einheitlichen Ansatz für die Priorisierung von Experimenten geben. Wie David betonte, ist der Kontext entscheidend .

Im Wesentlichen sind alle Modelle falsch, aber einige sind nützlich .

George EP Box, ein Statistiker

Aus den obigen Beispielen können wir sagen, dass alle Modelle fehlerhaft sind, aber einige nützlich sind. Das Geheimnis besteht darin, das nützlichste und wirkungsvollste Modell für Ihr Unternehmen zu erstellen.

Hier sind vier Schritte zum Erstellen eines Modells:

1. Lassen Sie sich von Beispielen inspirieren

Eine der fruchtbarsten Methoden zur Entwicklung eines guten Priorisierungsmodells besteht darin, Fähigkeiten aus verschiedenen Modellen auszuwählen, zu mischen und anzupassen und eine Mischung mit begrenzter Spitzfindigkeit zu erstellen.

Sie können sich beispielsweise vom objektiveren Bewertungsansatz von PXL inspirieren lassen, der Fragen wie „Element hinzufügen oder entfernen?“ stellt. . Gleichzeitig können Sie den Aufprallwinkel von ICE berücksichtigen und hinzufügen.

2. Schaffen Sie Platz für Faktoren, die zählen

Beziehen Sie Faktoren ein, die mit Ihren Geschäftszielen übereinstimmen . Dies wird Ihnen helfen, sich mehr auf zentrale Wachstumstreiber und KPIs wie den Customer Lifetime Value (LTV) und die Kundenbindungsrate zu konzentrieren, anstatt nur auf oberflächliche Metriken und Ergebnisse.

Wie bereits erwähnt, ist unternehmensspezifisches Lernen auch bei der Priorisierung von Experimenten entscheidend. Übertreffen bestimmte Lösungen beständig und in der Vergangenheit andere für Ihr Publikum?

Berücksichtigen Sie auch das Iterationspotential . Iterationen können dazu beitragen, bei der Lösung eines bestimmten Geschäftsproblems weiter voranzukommen, und sind erfolgreicher. Wenn dies zutrifft, können und sollten Hypothesen mit Iterationspotenzial gegenüber eigenständigen Tests priorisiert werden. Darüber hinaus ist Experimentieren nichts anderes als ein Schwungrad, bei dem sich Bemühungen gegenseitig beeinflussen.

Berücksichtigen Sie schließlich die Ressourceninvestitionen , einschließlich Komplexität, Zeit, Kosten und die herkömmlichen Maßnahmen zur Priorisierung von Experimenten.

3. Gewicht ist entscheidend

Entscheiden Sie, was Sie aus den durchgeführten Tests herausholen möchten. Erforscht es neue, bahnbrechende Ideen ? Oder einen Problembereich ausnutzen, bis Sie eine Lösung finden?

Passen Sie das Bewertungssystem an Ihre Bedürfnisse an. Betrachten wir zwei verschiedene Arten von Experimenten, um dies besser zu verstehen.

1. Das Hinzufügen des Blogs zum Navigationsmenü erhöht die Besuche des Blogs.
2. Durch die Verringerung der Formularausfüllungen auf der Checkout-Seite wird die Abbruchrate des Einkaufswagens verringert.

Nehmen wir für dieses Beispiel an, dass wir nur zwei Faktoren für unser Priorisierungsmodell ausgewählt haben. Das eine ist das Iterationspotenzial und das andere das Auswirkungspotenzial . Bewerten Sie jede Hypothese auf einer Skala von 1 bis 5 für jeden Faktor.

Unser Hauptziel für die Tests besteht jetzt darin, das Problem mit der Kartenaufgabe für eine E-Commerce-Website zu beheben . Wir sollten dem Iterationspotential mehr Gewicht geben, da wir das wahrscheinlich nicht mit einem Test beheben werden. Und wir werden wahrscheinlich viele Male innerhalb einer einzigen Hypothese iterieren, bevor wir den Warenkorbabbruch merklich reduzieren.

Wir können den Iterationspotentialfaktor gewichten, indem wir seine Punktzahl verdoppeln.

Geben wir der ersten Hypothese eine „4“ für den Impact-Potential-Faktor. Und „2“ für Iterationspotential. Dann, für die formularfüllende Hypothese, „3“ sowohl für Auswirkungs- als auch Iterationspotenzialfaktoren.

Ohne die Betonung des Iterationspotenzials wäre es ein Unentschieden: „4 + 2 = 3 + 3“

Aber nach der Verdopplung der Punktzahl bei diesem Faktor gewinnt Hypothese Nummer zwei:

Die Endnote für die erste Hypothese : „4 + 2(2) = 8 “

Die Endnote für die zweite Hypothese : „3 + 3(2) = 9 “

Unter dem Strich sollte sich die Priorisierungsausgabe desselben Frameworks ändern, wenn sich externe und interne Überlegungen ändern.

4. Spülen und wiederholen, bis Sie das richtige Akronym treffen

Versuchen Sie nicht, mit einer einzigen Iteration gute Ergebnisse zu erwarten. Ändern Sie weiter, bis Sie am Ende das richtige Priorisierungsmodell für Ihr Unternehmen haben.

Beispielsweise hat ConversionAdvocates sein eigenes Framework IIEA erstellt , das für Folgendes steht:

• Einblick
• Ideenfindung
• Experimentieren
• Analyse

IIEA versucht, zwei Hauptprobleme der meisten Modelle zu lösen, indem es die Lern- und Geschäftsziele jedes Experiments vor dem Start auflistet.

Unabhängig davon, welches Akronym Sie am Ende erstellen, überprüfen Sie es ständig und bewerten Sie es neu. Sina Fak, Head of Optimization bei ConversionAdvocates, erwähnte, dass sie IIEA in den letzten fünf Jahren verfeinert haben.

Seit 2013 verwenden sie dieses benutzerdefinierte Framework, um mehreren Unternehmen bei der Lösung kritischer Probleme zu helfen, z. B. bei der Reduzierung von Kosten und der Steigerung von Conversions.

Ihr ist vielleicht kein praktisches ICE oder PIE , aber die Ergebnisse werden köstlich sein.

Mit Ihrem neuen äußerst nützlichen Priorisierungsmodell können Sie sich altes Lernen aneignen UND potenziell „alles testen“ .

Ein Gewinn für uns!