Der empfohlene A/B-Test-Stack für fortgeschrittene digitale Vermarkter

Das Konzept hinter A/B-Tests ist einfach. Sie vergleichen zwei Inhaltsversionen miteinander, um festzustellen, welche besser abschneidet.

Als Ergebnis der Durchführung von Split-Tests profitieren Ihr Unternehmen und Ihre Website von mehr Leads und höheren Konversionsraten.

Mein Name ist Lars Lofgren und bevor ich ein Unternehmen bei Quick Sprout leitete, begann ich meine Karriere bei Growth. Als Director of Growth bei KISSmetrics und I Will Teach You To Be Rich war ich persönlich dafür verantwortlich, unsere Lead-Ziele zu erreichen, und führte unsere A/B-Testprogramme durch, um die Conversions auf jeder Website zu verbessern.

Ich habe im Laufe meiner Karriere Hunderte von A/B-Tests durchgeführt.

Bei beiden Unternehmen habe ich die Konversionsraten verdoppelt und verdreifacht. Genauer gesagt habe ich den monatlichen Lead-Fluss bei KISSmetrics vervierfacht und bei I Will Teach You To Be Rich eine Maschine zur Lead-Generierung gebaut, die 40.000 Leads pro Monat generiert.

Während meiner Marketingkarriere habe ich so ziemlich jede verfügbare Software zum Testen ausprobiert. Einige waren erstaunlich, andere nicht. Wenn ich ein A/B-Testprogramm noch einmal hochfahren würde, wären dies die 11 Tools, denen ich vertrauen würde.

Die besten Tools für A/B-Tests

Es gibt einige verschiedene Arten von Tools, die Sie für A/B-Tests benötigen. Es geht weit über ein einzelnes Tool zum Ausführen von Tests hinaus. Lassen Sie uns alle zutreffenden Kategorien durchgehen.

Transaktions- und benutzerdefinierte E-Mails

Um Transaktions-E-Mails richtig zu testen, müssen Sie die vollständige Kontrolle über Ihre E-Mail-Erstellung und -Analyse haben. SendGrid bietet diese Art der Kontrolle. Beliebtere E-Mail-Tools wie MailChimp sind einfach nicht robust genug, selbst viele Marketing-Automatisierungstools sind nicht flexibel genug. Es ist besser, ein E-Mail-Tool zu haben, das Ihre Entwickler vollständig kontrollieren können.

Sendgrid hat einige A/B-Tests eingebaut, aber es ist begrenzt:

Die Magie von Sendgrid kommt nicht von den integrierten Funktionen. Es kommt daher, dass Ihre Entwickler ganze E-Mails und Trichter A/B-testen können, da sie die vollständige Kontrolle haben. Wenn Sie die volle Kontrolle haben, können Sie alle gewünschten Tests ausführen.

Erstens mache ich mir persönlich nie die Mühe, Betreffzeilen oder Klickraten zu testen. Sie haben keine wesentlichen Auswirkungen auf das Geschäft. Zweitens ist das Testen von Inhalten in Ordnung, aber ich teste lieber ganz andere E-Mail-Trichter. Dort fand ich meine größten Gewinne. Aus diesem Grund ignoriere ich die integrierte Test-Benutzeroberfläche und verwende Sendgrid für ganze E-Mails.

Die meisten meiner A/B-E-Mail-Tests sind eigentlich Hold-Out-Tests. Senden Sie Ihre E-Mail an 50 % der Testgruppe, senden Sie nichts an die anderen 50 %. Sie können die wahre Wirkung dieser E-Mail sehen.

Umfragen

SurveyMonkey ist der Industriestandard für Online-Umfragen. Fast alle von Ihnen, die dies lesen, haben irgendwann an einer Umfrage über ihre Plattform teilgenommen.

Ich mag SurveyMonkey, weil es sehr einfach zu bedienen ist. Da fast jeder damit vertraut ist, nehmen Benutzer bequem an Umfragen teil, die von ihrer Software unterstützt werden.

Sie fragen sich vielleicht: „Warum betrachte ich Umfragen als Teil meines A/B-Testing-Stacks?“

Umfrageantworten fördern die Erkenntnisse, die zu A/B-Testsiegen führen. Bevor ich irgendwelche Tests durchführe, beginne ich mit qualitativer Forschung. Je besser ich die Kunden verstehe, desto höher sind die Chancen, dass ich mit A/B-Tests einen Gewinner finde.

Beachten Sie diese Tipps, um wertvolle qualitative Erkenntnisse zu sammeln:

• Machen Sie Ihre Umfragen nicht zu kompliziert. Konzentrieren Sie sich darauf, 5 bis 10 Fragen zu stellen, die Sie wirklich wissen müssen.
• Konzentrieren Sie den Großteil Ihrer Fragen auf die Probleme der Kunden.
• Beginnen Sie mit offenen Fragen, bis Sie eine wirklich gute Intuition für den Befragten haben.

Für weitere Anleitungen finden Sie hier eine Reihe großartiger Umfragetipps.

Benutzertests

Eine weitere großartige Möglichkeit, qualitative Erkenntnisse für A/B-Testsiege zu gewinnen, sind Benutzertests. Das beste Werkzeug für diese Experimente ist UserTesting.

Das erste, was Sie tun müssen, ist, Ihr Publikum auszuwählen. Sie können Ihre eigene Zielgruppe verwenden oder sich über das Panel von UserTesting mit einem bestimmten Ziel verbinden. Die Plattform ermöglicht es Ihnen, mit demografischen und anderen Faktoren präzise zu sein, um die besten Benutzer für Ihre Experimente zu finden.

Wählen Sie als Nächstes 5 oder 10 Benutzer aus, um Ihren Onboarding-Prozess oder andere herkömmliche Benutzerflussaktionen auf Ihrer Website zu durchlaufen. UserTesting stellt Videos dieser Benutzer bereit, die mit Ihren Inhalten interagieren. Als Ergebnis können Sie die wichtigsten Reibungspunkte identifizieren, um Sie bei A/B-Tests zu gewinnen.

Dies ist eine Goldmine für A/B-Testsiege. Ich empfehle dringend, einige davon in Ihren Registrierungs- oder Onboarding-Flows auszuführen. Ich finde immer einen großen Reibungspunkt, der später zu großen Gewinnen führt. Bei KISSmetrics haben wir gelernt, wie schwierig es für Leute war, alle Daten zu erfassen, die sie nachverfolgen mussten. Dann haben wir unser Onboarding überarbeitet, es strukturierter gestaltet und die Leute Schritt für Schritt durch alle Daten geführt.

Business Intelligence

Für diejenigen unter Ihnen, die ein ernsthaftes A/B-Testprogramm wünschen, müssen Sie alle Ihre Daten und Berichte intern mitbringen. Um dies effektiv zu tun, benötigen Sie eine Art Data Warehouse. Sobald dies eingerichtet ist, können Sie das (meiner Meinung nach) beste Tool für Business-Intelligence-Berichte implementieren – Tableau.

Ich bevorzuge Tableau, weil es mir die vollständige Kontrolle gibt und jeden gewünschten Bericht generiert. Da ich die genauen Abfragen, Berichte und Visualisierungen kenne, die ich benötige, kann ich alles so erstellen, wie ich es möchte.

Die unglückliche Nachricht ist jedoch, dass jemand es verwalten und die Berichte erstellen muss, die Sie benötigen, was ein Vollzeitjob ist. Sie benötigen auch das Fachwissen auf Führungsebene, um zu wissen, welche Berichterstattung erforderlich ist. Ein herkömmlicher BI-Analyst kann die Berichte erstellen, weiß aber nicht, welche Berichte und Metriken für das Unternehmen am wichtigsten sind. All das wird schnell teuer.

Diese Lösung ist nicht jedermanns Sache. Gehen Sie diesen Weg nur, wenn Sie über das Fachwissen und das Budget verfügen, um sicherzustellen, dass er ordnungsgemäß ausgeführt wird.

Statistischer Signifikanzrechner

Abhängig von Ihrem Kenntnisstand werden zwei Tools für statistische Signifikanzberechnungen empfohlen.

Einfacher Rechner
Der A/B Significance Calculator von Neil Patel ist Ihre einfachste Option. Es ist lediglich erforderlich, die Anzahl der Besucher und Conversions für jede Variante manuell einzugeben:

Der Rechner bestimmt dann, ob der Test signifikant genug war, um Schlussfolgerungen zu ziehen.

Erweiterter Rechner
Für eine fortgeschrittenere Option ist der AB Testguide-Rechner Ihre beste Lösung. Dieses Tool stellt Ihnen weitere Parameter zur Verfügung, die Sie in die Berechnung einbeziehen können.

Mit diesem Rechner können Sie eine Hypothese auswählen und Ihr Konfidenzniveau auswählen. Auch die Ergebnisse des Tests sind fortgeschrittener. Das Tool zeigt Ihnen nicht nur ein Diagramm, sondern auch andere statistische Daten wie die beobachtete Leistung, den p-Wert, den z-Wert und den Standardfehler der Differenz:

Es sind ein paar zusätzliche Details, die nur Sinn machen, wenn Sie viele Tests durchgeführt haben oder einen Hintergrund in Statistik haben. Wem das zu kompliziert ist, entscheidet sich für den einfacheren Rechner.

Warum verwende ich diese?

Berechnen die meisten Testwerkzeuge keine statistische Signifikanz?

Wenn ich eine Lektion gelernt habe, dann ist es, neuen Tools nicht blind zu vertrauen. Überprüfen Sie statistische Signifikanzberechnungen, bis Sie sicher sind, dass einem A/B-Testtool vertraut werden kann. Es gibt viele Möglichkeiten, die statistische Signifikanz zu berechnen, und es ist auch einfach, dieses Zeug durcheinander zu bringen.

Wenn ich also mit neuer Prüfsoftware arbeite, verwende ich immer einen der obigen Rechner, bis ich sicher bin, dass ihre Berechnungen solide sind.

Netz Analyse

Suchen Sie nicht weiter als Google Analytics, der König der Verkehrsanalyse.

Um eine Website A/B-testen zu können, müssen Sie die Traffic-Dynamik verstehen, insbesondere:

• Welche Seiten erhalten den meisten Traffic?
• Welche Traffic-Quellen wachsen oder gehen zurück?
• Welche Seiten bringen den meisten Traffic?

Selbst wenn Sie Google Analytics nur verwenden, um zu bestätigen, dass Sie genügend Traffic auf den Seiten haben, die Sie für A/B-Tests beabsichtigen, lohnt sich die Installation problemlos. Es ist auch völlig kostenlos und ein Weltklasse-Tool.

Es gibt einen Grund, warum es auf fast jeder Website da draußen installiert ist. Die Qualität der Daten, die Menge an Berichten und Erkenntnissen und die Tatsache, dass es völlig kostenlos ist, machen Google Analytics zu einem unschlagbaren Angebot.

Früher habe ich Google Analytics-Profile stark angepasst. Derzeit berühre ich die Einstellungen jedoch selten und verlasse mich auf die integrierten Berichte. Also schlage ich vor, dass Sie dasselbe tun.

Benutzeranalyse

Warum ein zweites Analysetool anschaffen? Reicht Google Analytics nicht aus?

Auch nach all diesen Jahren zeichnet sich Google Analytics bei der Verkehrsanalyse aus. Ja, es hat jetzt Benutzerverfolgung, aber es wurde nie dafür entwickelt. Sie müssen ein Power-User von Google Analytics sein, um es für eine echte Benutzeranalyse zu verwenden.

Aus diesem Grund ist Amplitude mein Lieblingstool für Benutzeranalysen und Kundendaten, da Sie Benutzertrichter einfach verfolgen können:

Die meisten A/B-Testprogramme konzentrieren sich in der Regel auf Anmelde- und Onboarding-Trichter. Es gibt nicht nur viel Volumen zum Testen, sondern kleine Verbesserungen an diesen Trichtern können auch große Auswirkungen auf das Geschäft haben.

Wenn Sie Ihre Trichter testen, sollten Sie sie jeden Monat überwachen, um sicherzustellen, dass sie sich stetig verbessern. A/B-Tests melden möglicherweise ein Ergebnis, aber Ihre monatlichen KPIs stimmen nicht perfekt überein.

Wenn Sie sich entschieden haben, mit einem Data Warehouse und einem Business-Intelligence-Tool wie Tableau All-In zu gehen, können Sie das Benutzeranalyse-Tool vollständig überspringen. Ich finde, dass ein Benutzeranalysetool ein guter Zwischenschritt ist, wenn ein Unternehmen nicht bereit ist, die gesamte Infrastruktur aufzubauen.

Post-Click-Landingpages

Für Post-Ad-Klicks benötigen Sie eine dedizierte Lösung, die auf Landing-Page-Erlebnisse spezialisiert ist – keine All-in-One-Software, die zufällig über „A/B-Tests“ oder einen „Builder“ verfügt. Dies gilt insbesondere dann, wenn jede Kampagne eine einzigartige Post-Click-Zielseite und A/B-Tests jeder Seite im Prozess verdient. Instapage hilft Ihnen nicht nur dabei, die Landingpage-Produktion für jede Kampagne zu skalieren, es verfügt auch über integrierte A/B-Tests. Wenn Sie Erfolge finden, können Sie diese sofort starten:

Meine Marketingprogramme enden immer mit Tonnen von Zielseiten. Wenn Sie die Seiten mit den meisten Zugriffen nicht A/B-testen, lassen Sie Einnahmen auf dem Tisch.

Heatmaps

In der Kundenforschung gibt es einen gemeinsamen Ratschlag: „Konzentrieren Sie sich nicht darauf, was die Leute sagen, konzentrieren Sie sich auf das, was sie tun.“ Aus diesem Grund sind Heatmaps eine weitere großartige Datenerfassungsressource für qualitative Erkenntnisse. Heatmaps sind perfekt, um eine bessere Vorstellung davon zu bekommen, wie sich Menschen verhalten. Außerdem sind sie super einfach zu verstehen.

Zu wissen, worauf die Leute klicken, wie weit sie scrollen und wohin sich ihre Maus bewegt, spornt alle möglichen Ideen zur Optimierung an – das ist eine weitere Goldgrube an Ideen für A/B-Tests.

Instapage hat Heatmaps in ihre Plattform integriert, die alle drei für Post-Click-Landingpages ausführen können (das Bild unten ist nur die Klickkarte):

Sie sollten auch Heatmaps auf Ihrer Hauptseite ausführen. In diesem Fall würde ich Crazy Egg empfehlen:

Führen Sie Heatmaps auf Ihren Homepages, Preisseiten und Onboarding-Flows aus. Suchen Sie nach Dingen, die viele Klicks erhalten, die Sie nicht erwartet haben, und nach Elementen, von denen Sie dachten, dass sie mehr Aufmerksamkeit erhalten würden, dies aber nicht der Fall ist. Überlegen Sie sich dann Testideen, die hervorheben, was die Leute wollen, während sie die Dinge, die ihnen egal sind, weniger hervorheben.

CXL hat hier viele tolle Tipps zur Verwendung von Heatmaps.

A/B-Tests

Was ist mit dem A/B-Testing-Tool selbst? Was ist die beste Option zum Testen von Homepages, Onboarding-Flows und Produkten? Meiner Meinung nach VWO:

VWO hat ein solides A/B-Testprodukt, das bei 199 $/Monat beginnt. Im Vergleich zu anderen Tools, die leicht Zehntausende von Dollar pro Jahr kosten können, ist VWO viel zugänglicher. Der Wert pro Dollar ist außergewöhnlich hoch.

Mit VWO können Sie mehrere Split-Tests gleichzeitig durchführen. Es gibt auch einen visuellen Editor, mit dem Sie A/B-Tests ausführen können, ohne Code zu bearbeiten. Perfekt zum Testen von Elementen wie Überschriften. Sie können auch den Code-Editor verwenden, um erweiterte Änderungen an Ihren Tests vorzunehmen. Der Code-Editor ist eine enorme Verbesserung.

WordPress-A/B-Tests

WordPress ist das beliebteste CMS der Welt, aber das Ausführen von A/B-Tests auf einer gesamten WordPress-Seite kann mühsam sein. Dafür ist die Plattform definitiv nicht ausgelegt.

Deshalb solltest du ein Plugin wie Nelio für WordPress A/B-Tests verwenden:

Sei gewarnt; Sie möchten Ihre Website in Ordnung bringen, bevor Sie diesen Test durchführen. Wenn Sie nicht alles aufräumen, werden Sie auf unzählige Plugin-Konflikte stoßen und Ihre Website kann Testvarianten nicht schnell genug für gültige Tests bereitstellen. Da WordPress nie für seitenweite Tests konzipiert wurde, können A/B-Tests leicht mit Plugins, Themes und schlecht aufgebauten Seiten in Konflikt geraten.

Stellen Sie zunächst sicher, dass Sie einen guten Webhoster bekommen. Das Letzte, was Sie wollen, ist ein langsamer Host, der die Bereitstellung der Variante verzögert, damit der Benutzer die Änderung bemerkt. Bereinigen Sie dann Ihr WordPress-Theme und entfernen Sie alle unnötigen Plugins. Dadurch werden Plugin-Konflikte reduziert und Ihre Tests schnell genug ausgeführt, um nicht bemerkt zu werden.

Sobald Ihre WordPress-Site aufgeräumt ist und eine schnelle Ladezeit hat, installieren Sie Nelio und verwenden Sie es, um Site-weite A/B-Tests durchzuführen. Früher habe ich viele Tests in unserem Blog durchgeführt, um die Conversions zu E-Mail-Abonnements zu steigern.

Fazit

Ein echtes A/B-Testprogramm benötigt eine Reihe von Tools, um effektiv zu funktionieren. Nachdem ich selbst Hunderte von Tools in mehreren Unternehmen und Hunderte von Tests getestet habe, bevorzuge ich den obigen Stack, weil sie sich auf verschiedene Bereiche des digitalen Marketings konzentrieren und keines in allen Kategorien „das Beste“ ist.

Wenn es ein heißes, neues Tool gibt, das Sie in Betracht gezogen haben, können Sie eines davon austauschen. Meine allgemeine Regel lautet, oft mit Tools zu experimentieren, die einfach zu starten und zu stoppen sind, wie Benutzeraufzeichnungs- oder Umfragetools. Aber für Infrastruktur-Tools wie Analytics wähle ich das, das zuverlässig ist und auf das ich mich jahrelang verlassen kann.

Über den Autor
Lars ist derzeit CEO von QuickSprout. Davor war er Director of Growth bei I Will Teach You To Be Rich und KISSmetrics.