Multivariate Tests: So führen Sie die besten Tests für die besten Ergebnisse durch

A/B-Tests sind eine der einfachsten Methoden, um Optimierungsideen für Ihre Post-Click-Zielseiten zu finden, aber nicht immer die effizienteste Methode.

Bevor Sie mit dem Testen von zwei, drei oder vier Seiten gleichzeitig beginnen, finden Sie heraus, wie Sie noch mehr testen können, und entdecken Sie die beste Kombination von Elementen, um Ihre Besucher zu konvertieren.

Was ist A/B-Testing?

A/B-Tests, auch bekannt als Split-Tests, ermöglichen es Ihnen, zwei verschiedene Versionen einer Webseite zu vergleichen, um festzustellen, welche Besucher besser konvertiert.

Diese beiden Seiten können sein:

• Etwas anders

Wenn Sie ein hochkonvertierendes Design haben und herausfinden möchten, wie Sie ein einzelnes Element verbessern können, können Sie zwei verschiedene Seiten mit nur einem Unterschied testen. Wenn Sie sehen möchten, ob eine auf Kuriositäten oder Nachrichten ausgerichtete Überschrift besser abschneidet, können Sie Überschrift vs. Überschrift testen. Wenn Sie sehen möchten, ob ein Video oder ein GIF die Conversions stärker beeinflusst, können Sie auf jeder Seite eines testen.

Nachdem jeder den gleichen Traffic erhalten hat, ist derjenige der Gewinner, der die meisten Conversions generiert. Und der Grund, warum man mehr Conversions generiert hat, ist klar, da es nur einen Unterschied zwischen den beiden Seiten gibt.

• Drastisch anders

Sie können auch zwei Seiten testen, die sich in mehrfacher Hinsicht unterscheiden. Ihre Originalseite kann eine andere Überschrift, ein ausgewähltes Bild und eine andere Call-to-Action-Schaltfläche haben als Ihre Variante. Das Testen könnte in etwa so aussehen:

Nachdem der gleiche Traffic sowohl auf die Originalseite (A oder „Kontrolle“) als auch auf die Variationsseite (B) gelenkt wurde, ist diejenige, die besser konvertiert, der Gewinner. Aber anders als wenn Sie nur ein Element pro Test ändern, gibt es beim Testen drastisch unterschiedlicher Seiten keine Möglichkeit, den Grund für den Sieg einer bestimmten Seite zu ermitteln.

Wenn wir die Ergebnisse des obigen Beispiels nehmen, würden wir nur wissen, dass Version „b“ besser ist als Version „a“, aber nicht den Grund, warum sie besser ist, da es eine Reihe von Ursachen gibt, denen sie zugeschrieben werden könnte. Conversions könnten von der Anpassung der Navigationsleiste von links nach rechts oder vom Anmeldeformular von oben nach unten stammen. Alles, was Sie sicher sagen können, wenn Sie drastisch unterschiedliche Designs A/B testen, ist, dass eine Seite besser ist als die andere.

Es gibt jedoch eine andere Art von Test, den Sie ausführen können, um festzustellen, wie Änderungen an mehreren Elementen miteinander interagieren. Es heißt multivariater Test.

Was ist multivariates Testen?

Multivariate Tests sind der Prozess, der von Optimierern verwendet wird, um zwei verschiedene Webseiten zu vergleichen. Die Methode konzentriert sich darauf, subtile Änderungen zwischen mehreren Elementen zu vergleichen und dann zu messen, wie diese Elemente miteinander interagieren, mit dem Ziel, den leistungsstärksten zu finden.

Der Unterschied zwischen A/B-Tests und multivariaten Tests

Sie haben wahrscheinlich viele Fallstudien zu A/B-Tests gelesen, die eine Gewinnerseite finden, indem sie eine Überschrift mit einer anderen vergleichen, ein vorgestelltes Bild mit einem Video oder einen Call-to-Action mit einer etwas anderen vergleichen. Obwohl sie dafür mit Genauigkeit verwendet werden können, gibt es laut den Optimierern von Widemile einen idealeren Weg, A/B-Tests zu verwenden:

Die ideale Verwendung für A/B-Tests, sagen sie, ist das „Testen von zwei oder mehr radikal unterschiedlichen Seiten“. In Bezug auf das Testen ist es besser, A/B-Tests zu finden, um das sogenannte „globale Maximum“ zu finden, und multivariate Tests, um das „lokale Maximum“ zu verfeinern.

Das globale Maximum und das lokale Maximum

So schwer es auch ist, stellen Sie sich für eine Sekunde vor, Sie hätten noch nie in Ihrem Leben eine Kugel Eiscreme gegessen, und Sie stehen in einer Eisdiele und versuchen zu entscheiden, welche von 30 verschiedenen Geschmacksrichtungen Sie kaufen möchten .

Es gibt 10 verschiedene Schokoladensorten, 10 verschiedene Vanillesorten und 10 verschiedene Erdbeervariationen. Wirst du alle 30 Geschmacksrichtungen probieren, bevor du dich entscheidest, von welcher du eine Kugel möchtest?

Wahrscheinlich nicht. Sie werden wahrscheinlich einen von jedem drastisch unterschiedlichen Geschmack probieren – eine Schokolade, eine Erdbeere und eine Vanille – um einzugrenzen, welche Sorte Ihnen am besten gefällt. Wenn Sie entdecken, dass Sie Schokolade statt Vanille und Erdbeere mögen, probieren Sie Geschmacksrichtungen wie „Schokoladenkeksteig“ und „Schoko-Erdnussbutter“ und „Schoko-Fudge“, um zu entscheiden, welche der Pralinen Ihnen am besten gefällt.

Statistisch gesehen würden wir die Sorte, die Ihnen am besten gefällt (Schokolade, Vanille oder Erdbeere), als globales Maximum bezeichnen. Dies ist der Geschmack, der Ihnen von den drei drastisch unterschiedlichen Typen am besten schmeckt. Der spezifische Geschmack der Sorte (Chocolate Fudge, Chocolate Chip Cookie Dough, Chocolate Peanut Butter) wäre das lokale Maximum. Es ist die beste Version der Sorte, die Sie ausgewählt haben.

Als Optimierer möchten Sie beim Testen ähnlich vorgehen. Sie möchten die Seite finden, die Ihre Besucher am besten konvertiert (globales Maximum), und dann die spezifischen Elemente auf dieser Seite optimieren, um sie auf die Seite mit der höchsten Konversion zu verbessern, die sie sein kann (lokales Maximum). Wonach Sie suchen, bestimmt, welchen Test Sie verwenden.

Wann sollten A/B-Tests und wann multivariate Tests eingesetzt werden?

A/B-Tests eignen sich am besten zum Testen des globalen Maximums. Sie können am besten herausfinden, auf welcher Seite Ihre Besucher konvertieren möchten. Nehmen Sie dieses Beispiel von MarketingExperiments, das einen A/B-Test verwendet hat, um Investopedia dabei zu helfen, die Conversions für seinen Newsletter Investopedia Advisor zu steigern.

Das Angebot war einfach – ein kostenloser Newsletter mit Börsentipps – und die ursprüngliche Seite spiegelte dies wider. Es war nicht lang, kompliziert oder mit vielen Elementen überladen. Es enthielt ein Lead-Capture-Formular mit einem Feld, eine Kopie mit Aufzählungszeichen und eine Infografik:

Aber trotz des wertvollen kostenlosen Angebots wurden nur 1,33 % konvertiert. Das Team von MarketingExperiments entschied sich, die Seite komplett zu überarbeiten. Sie änderten unter anderem die Überschrift, das Layout, die CTA-Schaltfläche und fügten einige Abzeichen hinzu. Dann testeten sie die neue Seite im A/B-Vergleich mit dem Original und stellten fest, dass die neue Seite 89,4 % höher konvertierte. So sah es aus:

Es ist wichtig, sich daran zu erinnern, dass die Experimentatoren bei diesem A/B-Test nicht genau herausgefunden haben, warum die neue Seite besser konvertiert als die alte, aber sie haben einen neuen höheren Konverter gefunden. Mit anderen Worten, sie fanden ein neues globales Maximum. An diesem Punkt könnten sie diese Seite auf Wunsch mit multivariaten Tests verfeinern, um festzustellen, welche Kombination von Elementen die meisten Besucher konvertiert.

Genau das wollen zum Beispiel Tester in diesem hypothetischen Beispiel von Optimizely tun. Sie wollen herausfinden, welche Kombination aus Überschrift und Bild die meisten Besucher konvertiert.

Sie erstellen also mehrere Seiten mit unterschiedlichen Kombinationen von Überschriften und Bildern, um zu sehen, welche am besten abschneidet.

Welche dieser vier Varianten mit der höchsten Conversion Rate aus dem Test hervorgeht, ist Sieger. Wenn die beiden Versionen mit der Glühbirne besser abschneiden als die beiden mit dem Zahnrad, könnten Sie daraus schließen, dass das Glühbirnen-Image den größten Einfluss auf die Conversions hat. Von dort aus würden Sie sehen, welche begleitende Überschrift zu mehr Conversions geführt hat, und diese Seite verwenden.

Wie man einen multivariaten Test durchführt

Als VWO-Gründer Paras Chopra vor einigen Jahren die Downloads auf seiner Webseite steigern wollte, verwendete er multivariate Tests, um herauszufinden, wie das geht. Wenn Sie mit den Schritten zur Durchführung eines A/B-Tests vertraut sind, werden Sie die meisten Schritte in diesem multivariaten Testbeispiel wiedererkennen.

1. Identifizieren Sie ein Problem

Bevor Sie mit der Verbesserung Ihrer Webseite beginnen können, ist es am besten, sich mit Daten zu beschäftigen und herauszufinden, wie Besucher damit interagieren. Er fand heraus, dass die Leute nicht so oft auf seine „Download“-Schaltfläche klickten, wie er erwartet hatte, also untersuchte er die Seite, um herauszufinden, warum.

2. Formulieren Sie eine Hypothese

Nach gründlicher Prüfung stellte er fest, dass der Download-Link ziemlich unauffällig war. Also stellte er eine Hypothese zur Verbesserung der Seite auf:

Eine offensichtliche Lösung, um Besucher auf den Download-Link aufmerksam zu machen, besteht darin, den Download-Bereich zum prominentesten Teil der Seite zu machen. Beim Seitendesign fügten sich die Größe und Farbe der Überschrift „Download“ gut in den Rest der Seite ein, was dazu führte, dass den Leuten der Download-Link entging.

Indem er den „Download“-Link auffälliger machte, glaubte er, die Conversions steigern zu können. So entschied er sich dafür.

3. Variationen erstellen

Nun war es an der Zeit, Variationsseiten für den Test zu erstellen. Laut Paras:

Für den multivariaten Test habe ich auf der Seite zum Erstellen von Varianten zwei Faktoren ausgewählt: die Überschrift „Download“ in der Seitenleiste und den Download-Link „PDFProducer“ darunter. Der Fokus des Tests lag darauf, die Wirkung des Wortes „kostenlos“ und die Wirkung der Hervorhebung des Download-Bereichs zu beobachten.

So beschloss er, den Download-Bereich auffälliger und verlockender zu gestalten.

Für den ursprünglichen „Download“-Link testete er drei verschiedene Varianten:

• „Herunterladen“ in Rot
• „Kostenlos herunterladen“ in Rot
• „Download“ in Standardfarbe, aber größerer Schriftgröße

Für den ursprünglichen „PDFProducer“-Link testete er zwei verschiedene Varianten:

• „PDFProducer“ in Standardfarbe, aber größerer Schriftgröße
• „PDFProducer“ in Rot

So sahen alle Kombinationen aus:

Mit vier Versionen des Download-Links (einschließlich des Originals) und drei Versionen des „PDFProducer“-Texts (wieder einschließlich des Originals) wurden 12 verschiedene Varianten gebildet, um einen vollfaktoriellen Test durchzuführen. Eine volle Fakultät testet alle Kombinationen im Gegensatz zu einer fraktionalen Fakultät, die nur die wirkungsvollsten testet.

Obwohl es mehrere Methoden der multivariaten Analyse gibt – vollfaktoriell, teilfaktoriell und Taguchi – empfehlen die meisten Optimierer die Durchführung einer vollfaktoriellen Analyse wegen ihrer Genauigkeit, behauptet Alex Birkett von CXL.

4. Bestimmen Sie Ihre Stichprobengröße

Bevor Sie damit beginnen, Traffic auf Ihre Seiten zu lenken, müssen Sie Ihre Stichprobengröße bestimmen – die Anzahl der Besucher, die jede Seite generieren muss, bevor Sie Rückschlüsse auf die Ergebnisse Ihres Tests ziehen können.

Dieser Rechner von VWO hilft Ihnen herauszufinden, wie viele Besucher Sie haben und wie lange Sie brauchen, um Ihren Test basierend auf Ihrem Website-Traffic, der Anzahl Ihrer Variationen und Ihrer statistischen Signifikanz durchzuführen.

Um mehr über das Erreichen statistischer Signifikanz und alles, was Sie in den Rechner eingeben müssen, zu erfahren, lesen Sie diesen Blogbeitrag.

5. Testen Sie Ihre Tools

Testen Sie alles, bevor Sie den Datenverkehr starten. Sieht Ihre Post-Click-Landingpage in jedem Browser gleich aus? Funktioniert Ihr CTA-Button? Sind alle Links in Ihren Anzeigen korrekt?

Bevor Sie mit der Ausführung beginnen, ist es wichtig, jeden Aspekt Ihrer Kampagne einer Qualitätssicherung zu unterziehen, um sicherzustellen, dass nichts Ihre Ergebnisse vergiftet.

6. Starten Sie den Verkehr

Nachdem Sie nun Ihre Variationen erstellt haben und wissen, wie viel Traffic Sie für jede Variation generieren müssen, können Sie damit beginnen, Traffic zu ihnen zu leiten. Der größte Nachteil multivariater Tests ist die kolossale Menge an Datenverkehr, die Sie benötigen, bevor Sie sie abschließen können. Sie müssen also geduldig sein.

Wenn Sie A/B-Tests durchführen, gibt es nur zwei Seiten, auf die Sie erheblichen Traffic lenken müssen. Aber in einem multivariaten Test, wie beispielsweise dem von Paras, gibt es 12 verschiedene Seiten, die eine große Stichprobengröße sammeln müssen, bevor Sie den Test aufrufen können.

Halten Sie Ausschau nach Bedrohungen Ihrer Validität und vergessen Sie nicht, die erhöhte Rate falsch positiver Ergebnisse zu berücksichtigen, sagt Leonid Pekelis:

„Sie führen im Wesentlichen für jede Interaktion einen separaten A/B-Test durch. Wenn Sie 20 Interaktionen messen müssen und Ihr Testverfahren eine 5-prozentige Rate an falsch positiven Ergebnissen für jede aufweist, erwarten Sie plötzlich, dass ungefähr eine Interaktion zufällig als signifikant erkannt wird. Es gibt Möglichkeiten, dies zu berücksichtigen, sie werden im Allgemeinen als mehrfache Testkorrekturen bezeichnet, aber der Preis ist, dass Sie tendenziell mehr Besucher benötigen, um schlüssige Ergebnisse zu sehen.“

7. Analysieren Sie Ihre Ergebnisse

Nachdem er seinen Test vier Wochen lang durchgeführt hatte, fand Paras Folgendes heraus:

Sie können beobachten, dass die Überschrift „Kostenlos herunterladen“ in Rot die Download-Conversion-Rate von 39 % auf 63 % erhöht hat, was einer satten Steigerung von 60 % entspricht. „Herunterladen“ in großer Schriftgröße (kombiniert mit roter Linkfarbe) hatte ebenfalls eine positive (43 %) Verbesserung gegenüber dem Standard. Von allen Ergebnissen sind die ersten drei mit einem Konfidenzniveau von 95 % oder mehr statistisch signifikant.

Paras hätte seine neue Seite implementieren und diesen Test vergessen können, aber stattdessen betont er einen wichtigen letzten Schritt:

8. Lernen Sie aus Ihren Ergebnissen

Jeder Ihrer Tests sollte verwendet werden, um etwas über Ihre Webseiten und ihre Besucher zu erfahren, das Sie als Grundlage für zukünftige Tests verwenden können.

Das hat er auf seiner Webseite erfahren:

• Das Wort „kostenlos“ fand bei seinen Website-Besuchern Anklang.
• Der kostenlose Charakter des Angebots wird am besten auf oder in der Nähe des Call-to-Action beworben.
• Die Farbe Rot zog die Aufmerksamkeit seiner Besucher auf sich.
• Ein größerer Call-to-Action zog mehr Aufmerksamkeit der Besucher auf sich.

Aber denken Sie daran, dies sind die Ergebnisse seines Tests. Während das Wort „kostenlos“ auf jeder Webseite, die für ein kostenloses Angebot wirbt, immer gut zu verwenden ist, können die beste Position, Größe und Farbe Ihres CTA auf Ihren Webseiten anders sein. Der einzige Weg, es sicher zu wissen, ist zu testen.

Haben Sie multivariate Tests ausprobiert?

Sind Sie vom multivariaten Testen abgewichen, weil Sie es für zu kompliziert hielten? Melden Sie sich noch heute für eine Instapage Enterprise-Demo an.