Der vollständige Leitfaden für multivariate Tests im Jahr 2022

Sind multivariate Tests (MVT) nicht nur mehrere gleichzeitig laufende A/B-Tests?

Nein. Das ist einer der beliebtesten Mythen über MVT. Es ist viel nuancierter als das.

Multivariate Tests sind wie A/B-Tests, aber Sie testen Ihre Kontrolle anhand mehrerer Varianten, nicht einer. Sehen Sie, es ist nicht nur A gegen B, es ist auch gegen C, D, E und so weiter. Und es ist eine effiziente Möglichkeit für stark frequentierte Websites, die Kombination von Änderungen zu finden, die am besten funktioniert.

So…

• Wann sollten Sie MVTs anstelle von A/B-Tests verwenden?
• Ist multivariates Testen dasselbe wie A/B/n-Testen?
• Was sind einige Beispiele für multivariate Tests?
• Wie können Sie eine ausführen, um zuverlässige Ergebnisse zu erhalten?

Wir beantworten Ihre Fragen zu multivariaten Tests und fördern dabei Ihre Experimentier- und CRO-Fähigkeiten, sodass Sie am Ende dieses Leitfadens Ihre eigenen in 30 Minuten einsetzen können.

Wenn Sie Ihre Experimentierfähigkeiten auf die nächste Stufe heben möchten, ist dieser Leitfaden genau das Richtige für Sie.

Klingt gut? Lass uns anfangen…

Was ist multivariates Testen?

Stellen Sie sich vor, Sie möchten verschiedene Versionen verschiedener Elemente auf einer Webseite gleichzeitig testen, um zu erfahren, wie sie zusammen funktionieren. Der multivariate Test ist der Test, den Sie ausführen.

Multivariate Tests (MVT-Tests) sind eine Technik zum Testen mehrerer Variablen auf einer Webseite in verschiedenen Kombinationen. Diese möglichen Kombinationen erzeugen mehr als eine Variante der Seite, daher das „Multi“.

Multivariate Tests ähneln also A/B/n-Tests, da wir zwei oder mehr Varianten gegen die Kontrolle testen. Der Unterschied besteht darin, dass A/B/n-Tests univariabel sind, während multivariate Tests eine Kombination von Änderungen im Tandem testen.

Wenn Sie beispielsweise zwei verschiedene Überschriften, zwei Bilder und zwei Schaltflächenfarben auf der Seite testen möchten, sieht Ihr MVT-Test folgendermaßen aus:

Im obigen MVT-Test testen Sie verschiedene Elemente (Überschriften, Farbe und Bild) gleichzeitig in verschiedenen Kombinationen, um das beste zu finden.

Aber das bedeutet nicht, dass es nicht möglich ist, mehr als zwei Variationen eines einzelnen Elements zu machen. Sie können 3, 4 oder mehr haben und sie gleichzeitig testen. Die Leute bevorzugen nur eine Änderung, damit sie die Erhöhung der Conversion-Rate darauf zurückführen können.

Ein weiterer wichtiger Punkt ist, dass MVT-Testen nicht dasselbe ist wie gleichzeitiges Testen . Beim gleichzeitigen Testen werden mehrere Experimente gleichzeitig mit demselben Stichprobensatz ausgeführt. Und das kann zu Störungen führen.

Ein gleichzeitiger Test kann wie folgt aussehen: Durchführen eines A/B-Tests, um die beste Überschrift zwischen zwei Versionen zu finden, und Durchführen eines MVT-Tests, um die beste Kombination aus Überschrift, Hero-Image und CTA oder Aktionsschaltfläche auf derselben Landingpage zu finden gleiche Zeit.

Bei A/B/n- (oder multivariaten) Tests arbeiten wir mit mehreren Varianten, die dieselbe Benutzerverhaltenshypothese bedienen. Stellen Sie sich viele A/B-Tests auf dieser Zielseite vor, die gleichzeitig ausgeführt werden, um eine Frage zu beantworten. Zum Beispiel: „Welche Version aus dieser Menge gibt uns den besten Auftrieb?“

Multivariate Tests vs. A/B-Tests: Was ist der Unterschied?

Für das ungeschulte Auge mag es so aussehen, als ob MVT-Tests eine fortgeschrittenere Form des A/B-Tests sind. Aber beide Arten von Tests sind sehr unterschiedlich.

Der Unterschied zwischen A/B-Tests und multivariaten Tests liegt in der Anzahl der Varianten, die gleichzeitig getestet werden. Bei A/B-Tests wird eine einzelne Variante gegen die Kontrolle getestet, während bei multivariaten Tests zwei oder mehr getestet werden.

A/B-Tests testen ein Element. Sie testen beispielsweise das Hinzufügen eines Bildes zu Ihrer Webseite. So könnte Ihr Experiment aussehen:

• Steuerung = Kein Bild
• Variante 1 = Bild

In diesem Fall testen Sie nur das Bild auf Ihrer Website, es handelt sich also um einen A/B-Test.

Beim A/B/n-Testen können Sie wie beim multivariaten Testen mehrere Varianten haben. Aber der Unterschied besteht darin, dass Sie bei einem A/B/n-Test nur ein Element (oder eine Variable) testen, während Sie bei multivariaten Tests mehrere Elemente in jeder Variante testen.

Hier ist ein herausragendes Beispiel von iProspect, einer Convert-Partneragentur. Die Agentur führte einen Test durch, der Informationen auf der Preisseite enthielt. Ihr Experiment beinhaltete:

• Ein Steuerelement ohne Preisinformationen,
• Variante 1 mit niedrigem Einstiegspreis,
• Variante 2 mit hohem Startpreis.

Kannst du erraten, um welche Art von Test es sich handelt?

In diesem Fall testen wir nur ein Element und fügen Preisinformationen hinzu, sodass wir einen A/B/C- (oder A/B/n-) Testtyp haben.

Was zwischen A/B-Tests und multivariaten Tests besser ist, hängt davon ab, was Sie erreichen möchten. Es gibt Zeiten, in denen MVTs effizienter sind als A/B-Tests.

Wenn Sie verschiedene Elemente auf einer Seite (und ihre Interaktionseffekte) testen möchten, ist es einfacher, MVTs anstelle von A/B-Tests zu verwenden. Bei A/B-Tests müssen Sie mehrere aufeinanderfolgende Tests für Variationen von Elementen erstellen. In der Zwischenzeit verarbeitet multivariate sie sofort.

Wann sollten multivariate Tests durchgeführt werden?

Wenn Sie messen möchten, wie eine Variante im Vergleich zu Ihrem Original abschneidet, verwenden Sie A/B-Tests. Dies funktioniert, wenn Sie ein Element ändern, z. B. eine andere Überschrift oder eine andere Schaltflächenfarbe. Solange diese Änderungen unter eine Variante fallen und Sie A gegen B erhalten.

Wenn Sie mehr als eine Variante gegen die Kontrolle getestet haben, aber jeweils nur ein Element ändern, verwenden Sie A/B/n-Tests.

Zur Veranschaulichung: Sie möchten testen, ob das Hinzufügen einer Überschrift zu Ihrer Zielseite die Conversions verbessert. Sie können einen A/B/n-Test wie Split Base, eine Convert-Partneragentur, durchführen. Sie führten einen Test durch, um festzustellen, ob das Hinzufügen einer nutzenorientierten Überschrift die Conversions erhöht.

P.S.: Hat es! Es erhöhte das Endergebnis um 27 %.

Sie verwenden multivariate Tests, wenn Sie mehr als eine Variante und mehr als eine Variable haben. Angenommen, Sie haben 2 weitere Überschriftenideen und CTA-Optionen und das führt dazu, dass Sie die Varianten C und D erstellen. MVT ist der effizienteste Weg, um zu sehen, wie diese Änderungen interagieren.

„Was wäre, wenn ich Überschrift 2 mit Schaltflächenfarbe 3 verwenden würde? Wie wird sich das auf die Anzahl der Anmeldungen auswirken?“ Das sind die Fragen, die MVTs beantworten – die Auswirkungen auf die Leistung, die durch Seitenelementänderungen verursacht werden, wenn sie gleichzeitig zusammenarbeiten.

Multivariate Tests gehen über das Testen einer Überschrift hinaus und testen weitere Variationen dieser Seite. Es ist komplexer zu entwerfen und auszuführen, daher muss es sich lohnen, es gegenüber A/B-Tests zu wählen.

Oft reichen A/B-Tests aus, um die Antworten zu liefern, nach denen wir suchen. MVT eignet sich viel besser für Fälle, in denen Sie glauben, dass eine oder mehrere Varianten eine Chance haben, Ihr A und B zu schlagen.

Einige dieser Fälle sind:

1. Sie haben ein hohes Verkehrsaufkommen und möchten in kürzerer Zeit mehr lernen. Multivariate Tests bieten stark frequentierten Websites die Möglichkeit, eine Kombination von Ideen in kürzerer Zeit zu testen, aber es müssen qualitativ hochwertige Ideen sein, um keine Ressourcen zu verschwenden.
2. Sie müssen wissen, welche Kombination von Elementen zu einer Conversion-Steigerung geführt hat. Denn eine Abfolge verschiedener A/B-Tests wird einfach überflüssig.

Es ist schwierig, eine Variante bereitzustellen, die alle gewünschten Änderungen enthält. Vielleicht lässt Ihre Testplattform diese Freiheit nicht zu. Dies ist eine Möglichkeit, dies zu umgehen. Wenn es jedoch nicht möglich ist, diese Änderungen später fest zu codieren, können Sie Ihre Testergebnisse nicht verwenden.

Die Vorteile multivariater Tests

Multivariate Tests haben einen unbestreitbaren Einfluss auf Konversionsraten und Einnahmen. Denk darüber nach. Wenn dies nicht der Fall wäre, würde niemand darüber sprechen, es zu verwenden!

Ein Vorteil des MVT-Tests besteht darin, dass Sie herausfinden können, wie sich Änderungen auf Ihrer Website auf die Conversion-Raten auswirken. Und multivariate Tests ermöglichen es Ihnen, den Interaktionseffekt zwischen diesen Änderungen zu messen. Sie können den zusammengesetzten Effekt verschiedener kleiner Änderungen messen und sehen, wie sich dies auf Ihre Konversationsrate auswirkt.

Die Nachteile multivariater Tests

Es gibt Gründe, warum nur Websites mit hohem Traffic und großen Budgets multivariate Tests durchführen. Lassen Sie uns über die Nachteile eines MVT-Tests sprechen.

1. Es erfordert eine große Stichprobengröße

Je mehr Elementänderungen Sie testen, desto mehr Variationen haben Sie. Jede dieser Varianten muss ausreichend Traffic erhalten, um die Stat-Sig zu erreichen, sodass Sie länger warten müssen, um genaue Ergebnisse zu erhalten. Aus diesem Grund können viele Websites keine MVT-Tests durchführen, da ihnen der Traffic dafür fehlt.

2. MVT-Tests brauchen Zeit

Wie wir oben erwähnt haben, benötigt jede Variante Verkehr und viel davon. Je mehr Kombinationen Sie testen, desto mehr verschiedene Variationen und desto länger müssen Sie warten.

Dies ist aber in den meisten CRO-Fällen gerechtfertigt. Denn wenn Sie einen MVT-Test in eine Folge von A/B-Tests aufteilen würden, würden Sie mehr Zeit und Traffic aufwenden.

3. Der Betrieb kostet mehr

Sie benötigen zusätzliche Zeit (und Geld), um jede Variante zu entwickeln und zu prüfen. Aus diesem Grund muss Ihre Entscheidung, diese Tests gegenüber einfacheren A/B-Tests durchzuführen, solide Gründe haben, sonst wird Ihr Test-ROI beeinträchtigt.

4. Sie sind anfälliger für Fehler

Wenn Sie A/B/N-Tests durchführen, wenden Sie nicht dieselben Statistiken an, die Sie für A/B-Tests verwenden. Die zusätzlichen Varianten erfordern eine Anpassung der statistischen Signifikanztests. Die erhöhte familiäre Fehlerrate (FWER) bedeutet, dass Sie eher einen Typ-I-Fehler machen und die falsche Variante als Gewinner markieren.

Beispiele für multivariate Tests, die große Wirkung gezeigt haben

1. Microsoft führte einen multivariaten Test auf seiner SMB-Website durch und landete eine Variante, die die Konversion um 40 % steigerte!

2. Im Jahr 2009 führte YouTube auf seiner Homepage ein MVT durch, um mehr Menschen dazu zu bringen, sich für ein Konto anzumelden. Sie nennen es das „1.024-Rezept-Experiment“. Eine Variante gewann mit einer Steigerung von 15,7 %.

3. Booking.com ist für Tests bekannt. Sie verwenden multivariate Tests, um zu erfahren, wie neue Funktionen mit einem kleineren Publikum verwendet werden, bevor sie eingeführt werden.

4. HawkHost wollte Lift auf ihrer Homepage sehen und sie haben es bekommen. Diese testeten ihre Überschrift, Unterüberschrift und ihr Heldenimage in einem multivariaten Test, der zu einer Umsatzsteigerung von 204 % führte. Das ist riesig.

5. Das Landingpage-Layout von Amazon ist das Ergebnis multivariater Tests. Sie nutzten es zusammen mit maschinellem Lernen, um das optimale Layout zu finden, das die Conversion vorantreibt, und erreichten einen Sweetspot, der die Kaufrate in 7 Tagen um 21 % steigerte.

Quelle

Multivariate Teststatistik: Einführung in die multivariate Analyse

Wenn Sie neugierig sind, wie multivariates Testen unter der ausgefallenen Benutzeroberfläche von Testwerkzeugen und den Prinzipien dahinter funktioniert, lassen Sie sich von uns begeistern:

Die multivariate Analyse (MVA) ist eine Art statistischer Analyse, bei der mehr als eine abhängige Variable zusammen mit anderen Variablen gleichzeitig analysiert wird. Es basiert darauf, wie die reale Welt funktioniert: Mehr als ein Faktor ist für ein bestimmtes Ergebnis verantwortlich.

Es wird nicht nur im digitalen Marketing (z. B. Conversion-Rate-Optimierung) als Teil der explorativen Datenanalyse verwendet, sondern auch in verschiedenen Bereichen wie Gesundheitswesen, Fertigung, Transport usw. Es treibt viele Entscheidungen in der Unternehmenswelt voran sowie in der Regierung.

Obwohl es komplex ist, ist es eine genaue Methode, um die Beziehung zwischen abhängigen und unabhängigen Variablen zu analysieren.

MVT & Traffic: Wie berechnet man die Stichprobengröße für einen multivariaten Test?

Verwenden Sie am besten unser Tool zur Berechnung der Stichprobengröße. Dadurch erhalten Sie alles, was Sie für den Einstieg in die Entwicklung eines gesunden multivariaten Tests benötigen.

Wann ist ein multivariater Test zu stoppen?

Ein zu frühes Abbrechen eines Tests kann zu Fehlern führen, da die gesammelten Daten nicht ausreichen würden, um eine genaue Analyse durchzuführen.

Sie haben vielleicht gehört, dass einige Leute sagen, Sie sollten aufhören, wenn es einen klaren Gewinner gibt, oder eine Variante stoppen, wenn ihre Conversion-Rate unter 10 % fällt, und ihren Traffic auf die Top-Performer verschieben – seien Sie versichert, dies wird die Ergebnisse erheblich verfälschen.

Sie sollten einen multivariaten Test nie abbrechen, bevor:

1. Sammeln einer ausreichend großen Stichprobengröße für jede Variante. Lassen Sie es also länger laufen, um genügend Conversions zu sammeln, um relevant zu sein.
2. Führen Sie 1 oder 2 vollständige Verkaufszyklen durch, um den Verkehr und die Einkaufsperioden über 30-60 Tage auszugleichen.
3. Statistische Signifikanz erreichen. Das bedeutet, dass es in der Lage sein sollte, seine Ergebnisse mit einer Genauigkeit von 95 % zu replizieren, wenn es live geschaltet wird.

Wie entwirft man einen multivariaten Test?

A/B-Tests und multivariate Tests sind in ihrer Konzeption und Durchführung ähnlich.

Im Folgenden skizzieren wir eine Schritt-für-Schritt-Testmethodik zur Durchführung eines MVT. Aber hier ist ein kurzer Take:

1. Identifizieren Sie ein Problem und formulieren Sie ein Ziel: Wenn Sie Ihre Daten durchgehen, versuchen Sie zu verstehen, was Website-Besucher erleben, und finden Sie ein Problem. Formulieren Sie eine Hypothese (eine Lösung mit einem Ziel) und stützen Sie Ihren Test darauf.
2. Entscheiden Sie, was getestet werden soll: Ihre Hypothese beinhaltet eine Kombination von Webseitenelementen. Überlegen Sie, was Sie mit ihnen tun würden, um das Ziel zu erreichen. Erstellen Sie Varianten davon, um dem Original entgegenzuwirken.
3. Schätzen Sie Ihren Zeitrahmen und Ihre Stichprobengröße: Sie müssen dies nicht selbst tun. Verwenden Sie unseren Rechner für die Stichprobengröße vor dem Test. Es wird Ihnen helfen, die wesentlichen Zahlen herauszufinden, die Sie brauchen.
4. Erstellen Sie den Test: Richten Sie in Ihrer Testplattform Ihre Variationen in ihren Kombinationen ein.
5. Stellen Sie sicher, dass es funktioniert: Führen Sie Qualitätssicherungstests für jede neue Behandlung durch, um sicherzustellen, dass sie wie beabsichtigt funktionieren.
6. Führen Sie Ihren Test durch: Fangen Sie an, Traffic zu ihnen zu leiten.

Schauen wir uns nun jeden Schritt genau an – von der Datenerfassung bis zur Qualitätssicherung:

Datenerhebung für multivariate Tests

Wie werden Daten während multivariater Tests gesammelt? Es gibt zwei Hauptansätze, auf die Sie achten sollten:

1. Vollfaktoriell

So funktioniert es: Jede Variante in Ihrem MVT erhält gleiche Mengen des gesamten Traffics, der auf Ihre Website kommt. Wenn Sie 5 Varianten haben, erhält jede von ihnen 20 % des Traffics, der auf Ihre Website kommt.

Um statistische Signifikanz zu erreichen, erfordert diese Methode natürlich viel Verkehr und muss lange laufen. Aber diese Eigenschaft macht auch die volle Fakultät zur genauesten Option.

2. Bruchfakultät

Im Gegensatz zu seinem „vollständigen“ Gegenstück testet Fractional Factorial nur eine Teilmenge Ihrer Varianten. Deshalb steckt „Bruch“ im Namen.

Wenn Sie 10 Varianten haben, werden 5 davon getestet und basierend auf den Ergebnissen die Leistung der 5 nicht getesteten Varianten vorhergesagt.

Aus diesem Grund läuft es schneller als vollfaktoriell, ist aber deutlich ungenauer. Sein Vorteil ist, dass Sie einen Eindruck davon bekommen, wie der vollständige Test aussehen wird, bevor Sie sich verpflichten.

Was ist mit der Taguchi-Methode? Einige sagen, es sei ein anderer Name für gebrochene Fakultät. Es ist komplex zu bedienen. Die meisten Tools bieten es also nicht an.

Hypothesengenerierung für multivariate Tests

Sie müssen Ihre multivariate Testhypothese auf der Grundlage genauer qualitativer und quantitativer Daten erstellen.

Sie möchten nicht raten oder allgemeine Testideen verwenden, die Sie in einem Blog gefunden haben, um Ihre Tests durchzuführen. Wählen Sie etwas Relevantes aus, z. B. das Lösen eines Problems, das Sie beim Durchsuchen Ihrer Daten gefunden haben, oder das Testen einer Idee, von der Sie glauben, dass sie Auftrieb erzeugen kann.

Dies dient als Ziel Ihres Tests. Sie können unseren Hypothesengenerator verwenden, um eine solide Hypothese zu finden.

Qualitätssicherung für multivariate Tests

Ohne Qualitätssicherung kann jeder Test irreführend sein. Ohne Qualitätssicherung fortzufahren ist riskant und kann teure Fehler verursachen. Bevor Sie den Erkenntnissen Ihres Tests vertrauen, durchlaufen Sie mehrere Kontrollpunkte:

• QA-Einrichtung: Wenn Sie sich für die Einrichtung entscheiden, die Sie für Ihren QA-Prozess verwenden möchten, identifizieren Sie spezielle Anwendungsfälle, um die Benutzererfahrung auf den Geräten und Browsern zu testen, die Sie der QA unterziehen, usw.
• Externe Faktoren: Erkennen Sie Faktoren, die Sie nicht kontrollieren können und die den Test beeinflussen können, wie Ereignisse oder Feiertage, andere gleichzeitig laufende Tests, Ereignisse und Website-Traffic.
• Versuchsaufbau: Überprüfen Sie die Qualität der Hypothesenformulierung, die Verkehrszuweisung, ob Flimmern den Test beeinflusst, andere Verzögerungen und Fehler usw.
• Browser- und geräteübergreifend: Sie müssen Typografie, Schriftarten und Farbschemata über Geräte und Bildschirmauflösungen hinweg überprüfen, Ränder und Auffüllungen überprüfen, die Benutzerfreundlichkeit überprüfen, die Leistung von Seitenelementen auf verschiedenen Geräten überprüfen und vieles mehr.

Und andere Diskrepanzen, die Sie möglicherweise entdeckt haben: Es ist notwendig, Ihr Team darüber zu informieren, um Korrekturen zu erhalten.

Wie führt man einen multivariaten Test durch? Bereitstellen eines multivariaten Tests in Convert Experiences.

Das Erstellen eines multivariaten Tests in Convert Experiences erfordert nur 4 einfache Schritte. Folgendes ist zu tun:

1. Benennen Sie Ihre Erfahrung
   
   Wählen Sie in „Erlebnisse konvertieren“ „Neues Erlebnis“ und dann „Multivariat“ aus und benennen Sie Ihr Erlebnis:

   

2. Machen Sie die Variation
   
   Nachdem die URL der Seite, die Sie für den Test verwenden, geladen wurde, kann die erste Variante bearbeitet werden. Sie können die Kopie bearbeiten, neue Visuals hinzufügen, Sie benennen es. Im folgenden Beispiel haben wir:
   
   – Auf ein Element geklickt, um es zu ändern (es ist orange hervorgehoben)
   – Auswahl einer Aktion im Menü, z. B. Ändern der Bildquelle

   

3. Benennen Sie die Variante
   
   Das ist ziemlich selbsterklärend. Sie sollten etwas auswählen, das Ihnen später bei der Berichterstattung auffallen wird.
4. Definieren Sie die Ziele und Zielgruppen
   
   Gehen Sie zur Testzusammenfassung und richten Sie Ihre Zielgruppe und Ihre Testziele ein.
   
   Hier hast du es! Ihre Erfahrung ist in Betrieb.

Nachdem Sie nun verstanden haben, was multivariate Tests sind und wie Sie einen multivariaten Test erfolgreich einrichten, lassen Sie uns einige verschiedene Plattformen aufschlüsseln, aus denen Sie auswählen können. Viele der besten A/B-Testing-Tools auf dem Markt bieten multivariate Tests und A/B-Tests in einer Software. Welches ist also am besten für Ihre Bedürfnisse geeignet?

Wenn die multivariate Testmethode für Sie ausschlaggebend ist, sind Sie hier genau richtig. Die folgende Liste zeigt Ihnen die 9 Top-Player für multivariate Tests auf dem Markt.

Was sind die besten verfügbaren A/B- und multivariaten Testtools?

Hier ist ein Blick auf die von CRO-Experten bevorzugten multivariaten Testwerkzeuge sowie die von ihnen angebotenen multivariaten Testmethoden:

• Erfahrungen umwandeln – Vollfaktoriell
• AB Tasty – Vollfaktoriell
• Google Optimize & Optimize 360 ​​– Hybrider Ansatz, der weder vollfaktoriell noch fraktional ist
• Adobe Target – Vollfaktoriell und Taguchi
• Kameleoon – Vollfaktoriell und Bruchfaktoriell
• Optimieren – Full Factorial, Partial und Taguchi
• Sitespect – Vollfaktoriell und Bruchfaktoriell
• VWO – Vollfaktoriell
• Webtrends Optimize – Full Factorial und Fractional Factorial

Sie sind sich immer noch nicht sicher, welches multivariate Testtool Sie wählen sollen? Sehen Sie sich diese vollständige Aufschlüsselung der besten Tools für multivariate Tests an.

Die wichtigsten Fehler beim multivariaten Testen, die es 2022 zu vermeiden gilt

Diese Tests können Ihnen nur helfen, Ihre Optimierungsziele zu erreichen, wenn Sie sie richtig einsetzen.

Aber andererseits sind wir Menschen und unsere Werkzeuge sind nicht perfekt, also passieren Fehler. Sie können die Wahrscheinlichkeit verringern, dass Ihre Tests ruiniert werden, indem Sie Folgendes vermeiden:

1. Testen Sie Ihr MVT-Tool nicht auf Genauigkeit

Erstellen Sie Variationen Ihrer Seite, aber ändern Sie nichts. Behalten Sie es bei und führen Sie den Rest aus. Da die Leute dasselbe sehen, sollten die Ergebnisse dieselben sein.

2. Nicht mit einer soliden Hypothese beginnen

Das Ausführen eines Tests ohne Baseline und das, was zu erwarten ist, ist ein blindes Ausführen. Es hilft Ihnen oder der Website, auf der Sie testen, nicht. Erstellen Sie zuerst eine Hypothese.

3. Kopieren Sie Ihre Konkurrenten

Ihre Organisation ist einzigartig und Ihre Ziele sind unterschiedlich. Das Kopieren Ihrer Konkurrenten ist nicht vorteilhaft. Viele ihrer Tests werden nicht nur nicht auf Ihren Fall zutreffen, sondern sie wissen möglicherweise auch nicht, was sie tun.

4. Durchführung von Tests während saisonaler Ereignisse oder wichtiger Website-/Plattformereignisse

Wenn Ihr Test nicht für ein Ereignis gedacht ist, sollten Sie während eines Ereignisses keinen multivariaten Test durchführen. Die Ergebnisse spiegeln nicht die genaue Leistung eines normalen Tages wider.

5. Spähen

Der Versuchung kann man nur schwer widerstehen. Du willst einfach sehen, wie es läuft. Vielleicht haben Sie sogar auf eine Variante gewettet und wollen sehen, welche gewinnt. Nicht.

Sie werden nicht nur ungenaue Erwartungen bekommen, sondern Sie könnten auf der Grundlage dieser auch falsche Entscheidungen treffen. Sie können überprüfen, ob sie ausgeführt werden oder ob Fehler vorliegen, und das war's.

6. Führen Sie Ihre Tests nicht lange genug durch

Multivariate Tests müssen lange ausgeführt werden. Stellen Sie es sich wie separate A/B-Tests vor, die genügend Traffic erhalten müssen, um statistische Signifikanz zu erreichen. Lassen Sie Ihre multivariaten Tests lange genug laufen, damit Sie genaue und aussagekräftige Ergebnisse erhalten.

7. Änderungen vornehmen, während der Test läuft

Sie können Fehler beheben, aber Sie können Ihre Website nicht umgestalten oder Textänderungen vornehmen. Alles, was das Erscheinungsbild der Varianten verändert, sollte nach dem Go-Live des Tests unverändert bleiben.

8. Vergessen, einen Test zu stoppen, nachdem Sie genaue Ergebnisse erhalten haben

Es passiert öfter als man denkt. Das bedeutet, nachdem Sie einen klaren Gewinner ermittelt haben, zeigen Sie dem Rest Ihres Traffics immer noch eine schwächere Version Ihrer Website. Das willst du nicht.

9. Nach einem Test aufgeben

Vielleicht sind alle deine Varianten schlechter geworden als die Kontrolle, na und? Sie haben gerade gelernt, wie es nicht funktioniert. Führen Sie mehr Tests durch und erhalten Sie mehr Einblicke. Alles Wissen ist wertvoll.

10. Keine Überprüfung der Validität nach dem Test

Wenn alles gesagt und getan ist und Sie Ihre Ergebnisse erhalten haben, ist das das Ende? Fahren Sie die Testplattform herunter und fahren Sie fort? Es empfiehlt sich, sich zurückzulehnen und zu prüfen, ob alles reibungslos gelaufen ist, bevor man auf die Genauigkeit der Ergebnisse vertraut.

11. Es werden nicht genügend Tests ausgeführt

Wenn Sie einen Test durchführen, egal ob Sieger oder Verlierer, lernen Sie daraus. Verwenden Sie Ihr neu gewonnenes Wissen, um eine fundiertere Hypothese zu erstellen und erneut zu laufen. Und wieder. So lässt du Experimente für dich arbeiten.

12. Tests nicht dokumentieren

Führen Sie eine Datenbank Ihrer Tests. Dadurch wird die Leistung Ihres Optimierungsteams verbessert, selbst wenn dieses Team nur aus Ihnen besteht. Wir alle müssen aus früheren Erfahrungen lernen, um die nächste besser zu machen.

Und auch, um Zeitverschwendung durch zweimaliges Ausführen derselben Tests zu vermeiden.

Fazit

Unabhängig davon, ob Sie einen E-Commerce-Shop, SaaS oder eine einfache Zielseite haben, es gibt Szenarien, in denen es sinnvoll ist, einen multivariaten Test durchzuführen. Möglicherweise haben Sie eine stark frequentierte Website, aber Sie müssen dennoch entscheiden, ob multivariate Tests für Ihre Website geeignet sind. Bewerten Sie die Kosten, den Datenverkehr und die Notwendigkeit einer multivariaten Lösung, bevor Sie eine ausführen.