Wann Sie mit Ihren A/B-Tests das lokale und globale Maximum anstreben sollten

Stellen Sie sich vor, Sie besteigen den Mount Everest in dichtem Nebel mit Amnesie. Sie können nur bis zu Ihrer ausgestreckten Hand sehen. Du weißt nicht, wo du bist oder in welche Richtung es gehen soll, nur dass du den Gipfel erreichen musst. Was sind die Chancen, die Sie tun?

Wahrscheinlich so niedrig wie der Berg hoch ist.

So dramatisch diese Analogie auch ist, sie bezieht sich auf die Grundlage einer beliebten A/B-Testmethode. Dieser Gipfel ist die beste Version Ihrer Post-Click-Zielseite, und Sie sind verwirrt, fast blind und verloren auf dem Berghang Ihrer aktuellen Seite.

Was noch schlimmer ist, Sie haben wahrscheinlich von Ihren Lieblings-Marketing-Bloggern eine falsche Karte erhalten. Sie denken vielleicht, dass Sie A/B-Tests auf die richtige Art und Weise durchführen – dass Sie auf diesen Höhepunkt zusteuern. Die Chancen stehen jedoch gut, dass Sie bald in eine Sackgasse geraten, und Sie werden nie die leistungsstärkste Variante Ihrer Post-Click-Zielseite finden.

Der A/B-Test-Mythos, der Anfänger verwirrt

Einige der beliebtesten Marketing-Blogs im Internet halten weiterhin einen Mythos von A/B-Tests aufrecht, der Anfänger von Anfang an zum Scheitern verurteilt. Es hat mich auch schikaniert, als ich anfing.

„Ändere nicht mehr als ein Seitenelement pro A/B-Test“ las ich immer wieder. Ich habe es nicht in Frage gestellt, weil die Quellen vertrauenswürdig waren und weil es meistens einfach Sinn machte.

Der Sinn von A/B-Tests besteht darin, Daten zu sammeln, die Sie verwenden können, um eine Seite, E-Mail, Werbung oder was auch immer Sie gerade testen, zu optimieren. Woher sollte ich wissen, was die Änderung der Conversion-Rate am Ende des Tests verursacht hat, wenn ich mehr als eine Anpassung zwischen den Versionen „A“ und „B“ vorgenommen habe? Was wären das für Daten?

Also habe ich die Elemente einzeln getestet: Überschrift der Post-Click-Landingpage „A“ vs. Überschrift der Post-Click-Landingpage „B“. Als nächstes war es der blaue Button auf der Post-Click-Landingpage „A“ im Vergleich zum grünen Button auf der Post-Click-Landingpage „B“. So haben es die Profis und Amazon und Google gemacht. Wenn es für Multi-Milliarden-Dollar-Unternehmen gut genug war, war es gut genug für mich.

Das Problem, das ich übersehen habe und das mir Monate später schmerzlich bewusst wurde, ist, dass ich nicht Amazon oder Google war. Ihre Websites generieren viel Verkehr, was bedeutet, dass die kleinen Aufzüge, die durch diese frivolen Farbtests für Schaltflächen erzielt werden, zu Einnahmen in Millionenhöhe führen können.

Für die meisten Menschen sind sie jedoch Zeit- und Ressourcenverschwendung. Für die meisten Menschen ist die Verwendung dieser A/B-Testmethode wie eine Besteigung des Mount Everest in dichtem Nebel mit Amnesie.

Die Hill-Climbing-Heuristik

In unserem Alltag begegnen uns Probleme, für die die Lösung klar ist. Aber was passiert, wenn Sie auf ein unbekanntes und weitgehend einzigartiges Hindernis stoßen? Nehmen Sie zum Beispiel dieses Labyrinth:

Es gibt keine Blogbeiträge darüber, wie man sich in diesem speziellen Labyrinth am besten zurechtfindet. Ihr Freund (höchstwahrscheinlich) kann Sie nicht durch die Sache führen. Sie haben keine Karte. Also, wie kommt man von A nach B?

Die Antwort findet sich in einem Computerprogramm namens „The General Problem Solver“, das 1963 von Newell, Simon und Shaw entwickelt wurde, um künstliche Intelligenz zu untersuchen. Ihre Forschung wurde auch auf die menschliche Problemlösung angewendet. Dr. Russ Dewey erklärt:

Newell und Simon definierten jedes Problem als Raum. An einem Ende des Raumes befindet sich der Startpunkt, auf der anderen Seite das Ziel. Das Problemlösungsverfahren selbst ist als eine Reihe von Operationen konzipiert, um diesen Raum zu durchqueren, um Schritt für Schritt vom Ausgangspunkt zum Zielzustand zu gelangen.

Im General Problem Solver testet das Programm verschiedene Aktionen (die Newell und Simon Operatoren nannten), um zu sehen, welche es dem Zielzustand näher bringen. Ein Bediener ist jede Aktivität, die den Zustand des Systems ändert. Der General Problem Solver wählt immer die Operation, die ihn seinem Ziel näher zu bringen scheint. Diese Taktik wird Bergsteigen genannt, weil sie der Taktik ähnelt, immer einen Schritt in Richtung der Spitze eines Hügels oder Berges zu machen.

Im Labyrinth oben ist jede Sackgasse ein „Raum“ – ein Problem, das Sie mit „Operationen“ überwinden müssen, d. h. Aktionen, die Sie Ihrem Ziel näher bringen (von „A“ nach „B“).

Du fängst also bei „A“ an und folgst dem Weg, von dem du denkst, dass er dich am schnellsten zu „B“ bringt. Wenn Sie in eine Sackgasse geraten, gehen Sie zurück und versuchen eine alternative Route. Sie wiederholen den Vorgang, bis Sie Ihr Ziel erreicht haben.

Dies ist, was Sie tun, wenn Sie kleine Elemente A/B-testen. Sie identifizieren ein Problem, z. B. eine nicht wahrnehmbare Schaltfläche. Dann nähern Sie sich Ihrem Ziel, die beste Version Ihrer Post-Click-Zielseite zu erstellen (so denken Sie jedenfalls), indem Sie testen, was Ihrer Meinung nach die bessere ist. Wenn das nicht funktioniert, testet man einen anderen.

Irgendwann werden Sie jedoch einen Punkt mit abnehmender Rendite erreichen, der als „lokales Maximum“ bezeichnet wird.

Das lokale Maximum und das globale Maximum

Der Grund, warum die obige Methode als „Hill-Climbing“-Heuristik bezeichnet wird, liegt darin, dass sie eine große Einschränkung hat, die dazu führen kann, dass Sie sich auf einem Hügel am Kopf kratzen und auf den Gipfel des Berges blicken – wo Ihre beste Post-Click-Landingpage ist. Dr. Dewey erklärt:

Bergsteigen ist eine einfache Strategie, aber sie funktioniert nicht immer. Eine mögliche Falle ist das „Vorbergproblem“. Wenn Sie den Schritt wählen, der Sie bergauf (oder in eine bestimmte Richtung) führt, könnten Sie am Ende einen Ausläufer erklimmen, der zwischen Ihnen und dem Berg liegt, und das viel effizientere Verfahren ignorieren, ihn zu umgehen. Mit anderen Worten, wenn Sie ohne Flexibilität direkt auf ein Ziel zusteuern, zahlen Sie möglicherweise einen hohen Preis, verschwenden viel Energie oder verursachen sich selbst mehr Arbeit, ohne zum Ziel beizutragen.

In der Optimierungssprache wird dieser „Ausläufer“ als „lokales Maximum“ bezeichnet. Es ist die beste Version Ihrer aktuellen Seite, die bei weiteren A/B-Tests abnehmende Renditen liefert. Der Gipfel des Berges wird als „globales Maximum“ bezeichnet. Das ist die beste Version Ihrer Post-Click-Zielseite. Hier ist eine hilfreiche Grafik zur Veranschaulichung:

Indem Sie mit einer einzelnen Post-Click-Zielseite beginnen und kleine Elemente nacheinander A/B-testen, um sie zu verbessern, kommen Sie diesem lokalen Maximum näher, aber diese Methode wird Sie niemals an die Spitze dieses Berges bringen. Wie navigierst du dich dorthin?

A/B-Tests, um das globale Maximum zu erreichen

In einem Blog-Beitrag mit dem Titel „Gehen Sie nicht in die Falle des A/B-Testens von Minutien“, erklärt Rand Fishkin von Moz ein frustrierendes Szenario, das zu nah an Ihrem Ziel liegen könnte:

Angenommen, Sie finden eine Seite/ein Konzept, mit dem Sie relativ zufrieden sind, und fangen an, die kleinen Dinge zu testen – und optimieren um das lokale Minimum herum. Sie können Tests für 4-6 Monate durchführen, eine 5%ige Verbesserung Ihrer Gesamt-Conversion-Rate anstreben und sich ziemlich gut fühlen. Bis um...

Sie führen eine weitere große, neue Idee in einem Test durch und verbessern sich weiter. Jetzt wissen Sie, dass Sie Ihre Zeit damit verschwendet haben, eine Seite zu optimieren und zu perfektionieren, deren Gesamtkonzept nicht so gut ist wie die neue, grobe, nicht optimierte Seite, die Sie gerade zum ersten Mal getestet haben.

Stattdessen empfiehlt Fishkin, wie andere Marketing-Influencer, zuerst A/B-Tests von „Überholungen“ und „großen Ideen“ – oder mit anderen Worten, radikal andere Seiten zu testen. Von diesen radikal unterschiedlichen Seiten ist diejenige mit der besten Leistung dem globalen Maximum am nächsten. Das ist es, was Sie mit multivariaten Tests optimieren sollten: Schaltfläche vs. Schaltfläche, Überschrift vs. Überschrift usw. Mehrere Fallstudien unterstützen diese Methode.

A/B-Testing für das globale Maximum

1. Facebook

2008 testete Facebook ein völlig neues Navigationsdesign. Ihr Team hat es von links auf der Seite in ein Dropdown-Menü auf der rechten Seite verschoben. Dadurch machten sie die Apps innerhalb der Navigation für Benutzer jedoch weniger sichtbar, was zu viel weniger Verkehr zu diesen Apps führte. Da sie eine wertvolle Einnahmequelle für Facebook waren, war das ein Problem.

Nachdem das Optimierungsteam versucht hatte, das neue Design mit ein paar Interaktionstricks zu retten, stellte es fest, dass es das lokale Maximum erreicht hatte, und verschrottete das Ganze. Vom Facebook-Produktentwickler Adam Mosseri:

Was wir hier gemacht haben, ist, dass wir für ein lokales Maximum optimiert haben. Innerhalb dieses Rahmens gab es nur so viel Verkehr, den wir zu Anwendungen leiten konnten. Und was wir brauchten, war eine strukturelle Veränderung. Unsere Prämisse war aus. Unsere Interessen führten uns auf die falsche Fährte. Wir haben es nicht bemerkt […] wir haben für etwas Lokales optimiert, und wir mussten etwas störend sein, um irgendwie herauszukommen.

2. Moz

Diese Variationsseite, die von Conversion Rate Experts für Moz erstellt wurde, war sechsmal länger als das Original. Es enthielt mehr Infografiken, eine andere Überschrift und ein Video, neben anderen Elementen, die nicht auf der Originalseite waren. Es übertraf die Kontrolle um 52 %.

Wenn das Team nur daran gearbeitet hätte, die Elemente auf der Originalseite zu verbessern, hätte es niemals den Inhalt hinzugefügt, der die Conversions um die Hälfte gesteigert hat. Von den Testern:

Bei unserer Analyse von Rands effektiver persönlicher Präsentation stellten wir fest, dass er mindestens fünf Minuten brauchte, um für das kostenpflichtige Produkt von Moz zu werben. Die bestehende Seite war eher eine einminütige Zusammenfassung. Nachdem wir die Schlüsselelemente von Rands Präsentation hinzugefügt hatten, wurde die Seite viel länger.

3. Serverdichte

Die meisten Fallstudien zu A/B-Tests, die Sie online finden, haben mit dem Erscheinungsbild von Webseiten zu tun. Sie sind Schaltflächenfarbe vs. Schaltflächenfarbe oder Bild vs. Bild, und die Anzahl von ihnen wächst jeden Tag. Infolgedessen gehen die meisten Leute, die sich mit A/B-Tests beschäftigen, davon aus, dass sie nur für das Webdesign verwendet werden können.

Das Konzept des A/B-Tests kann jedoch auf alles angewendet werden, einschließlich Produktdesign oder sogar Preisstruktur, wie Sie an diesem Beispiel von Sever Density sehen werden.

Das Unternehmen, ein Server- und Website-Überwachungsdienst, erlaubte seinen Kunden, basierend darauf zu bezahlen, wie viele Server und Websites überwacht werden mussten:

Die Struktur sollte die Kundenbasis verbreitern, was auch geschah, aber jetzt konzentrierte sich das Team auf höhere Einnahmen. Also testeten sie A/B eine komplette Überarbeitung ihrer Preise mit einem Paketmodell:

Die neue Struktur führte tatsächlich zu weniger Conversions, aber der Wert jeder Conversion stieg sprunghaft an. Hier waren die Ergebnisse:

Der durchschnittliche Bestellwert lag jetzt bei über 55 $ im Vergleich zum alten: 19,70 $. Die Imbissbuden erinnern die Tester an zwei entscheidende Dinge:

A/B-Tests können für mehr als nur oberflächliche Designänderungen verwendet werden.
Conversions sind nicht das A und O. Manchmal erzielen Sie mit weniger Conversions bessere Ergebnisse.

Wie finden Sie das globale und lokale Maximum?

Denken Sie daran: Die Stärke von A/B-Tests kommt mit großen Änderungen so nah wie möglich an das globale Maximum heran. Um das lokale Maximum zu finden, ist es besser, stattdessen multivariate Tests zu verwenden.

Sind Sie in die Falle getappt, nur ein Seitenelement nach dem anderen zu testen? Nehmen Sie mehrere Änderungen pro Test vor, um das globale Maximum zu finden?

Erfahren Sie noch heute, wie Sie mit einer Instapage Enterprise-Demo 1:1-Anzeigenpersonalisierung für jede Ihrer Zielgruppen bereitstellen können.