Die beliebtesten multivariaten Testtools im Jahr 2022

Sie führen also derzeit A/B-Tests durch und möchten Ihr Testprogramm skalieren.

Sie haben guten Traffic, Sie sehen großartige Ergebnisse und jetzt möchten Sie viel mehr Tests durchführen und diese Daten so schnell wie möglich erhalten.

Aber wie können Sie schneller mit dem Testen beginnen? Oder noch besser, wie können Sie im gleichen Zeitraum mehr Tests durchführen und mehr Informationen erhalten?

Hier kommt das multivariate Testen ins Spiel. Es ermöglicht Ihnen, mehrere Varianten gleichzeitig zu testen, um zu sehen, welche am besten funktioniert.

In diesem Leitfaden werden wir aufschlüsseln, was MVT ist, wie es funktioniert, was Sie an Ort und Stelle benötigen, um es zu verwenden, und eine Auswahl der besten verfügbaren multivariaten Testwerkzeuge aufschlüsseln.

Alles, von ihrem Preis und ihren Funktionen bis hin zu ihrer Geschäftstätigkeit, damit Sie die richtige Wahl treffen können, wenn Sie sich für ein multivariates Testtool entscheiden.

Tauchen wir also ein…

Was ist multivariates Testen?

Der beste Weg, multivariate Tests zu verstehen, besteht darin, sie mit anderen Testmethoden zu vergleichen und zu sehen, wie sie sich unterscheiden.

Schauen wir uns also einen A/B-Test und einen multivariaten Test an und wie sie sich vergleichen.

Bei einem A/B-Test testen wir eine einzelne Variante gegen eine ursprüngliche Kontrollversion. Vielleicht haben wir eine Idee, wie wir die Überschrift verbessern können, also erstellen wir diese Variation und sehen dann, welche am besten funktioniert.

So sieht Ihr A/B-Test aus:

Überschrift 1 (Kontrolle) vs. Überschrift 2 (die Variationsidee)

Ein weiterer Test, den wir durchführen könnten, ist ein A/B/n-Test.

Hier können wir mehrere Varianten gegen die Kontrolle testen, um den Gesamtsieger zu ermitteln. A/B/n-Tests sind univariabel.

Zum Beispiel könnten wir einen Haufen Ideen für Schlagzeilen haben und sind uns nicht sicher, welche funktionieren werden. Aber da wir genügend Traffic haben, um ein paar Testvariationen durchzuführen und dennoch genaue Ergebnisse zu erhalten, entscheiden wir uns, mehrere Schlagzeilen-Ideen zu testen, um zu sehen, welche am besten abschneidet.

Überschrift 1 (Kontrolle) vs. Überschrift 2 vs. Überschrift 3

Sobald wir die siegreiche Schlagzeilenvariante gefunden haben, testen wir möglicherweise eine Reihe von Hero-Shot-Bildern und dann vielleicht eine Reihe von CTA-Winkeln.

Wie Sie sich denken können, braucht das alles Zeit, oder?

Eine andere Möglichkeit besteht darin, einen Test durchzuführen, bei dem wir eine Reihe von Dingen auf einmal ändern und sehen, ob dies die Metriken verbessert.

Wir neigen dazu, dies bei den meisten A/B-Tests nicht zu tun, es sei denn, wir wollen eine radikale Änderung vornehmen, dh ein Ave Maria werfen, um einen neuen Gewinner zu finden, weil alle anderen Testideen stagnieren oder keine Wirkung erzielen.

Warum empfehlen wir solche radikalen Änderungen nicht für normale Kampagnen und was hat das mit multivariaten Tests zu tun?

Wir testen ein Element nach dem anderen, denn wenn wir große Änderungen vornehmen und die neue Seite gewinnt oder fehlschlägt, sind wir uns nicht sicher, welche dieser Änderungen diese Steigerung verursacht hat.

Multivariate Tests oder MVT ermöglichen es uns, mehrere Varianten zu testen und gleichzeitig jede dieser Änderungen und ihre Auswirkungen auf das Ergebnis zu verfolgen.

Wir können nicht nur mehrere Variationen von Elementen testen, sondern sogar verschiedene Kombinationen davon testen, bis wir den ultimativen Gewinner finden.

Nehmen wir an, wir wollten unsere Homepage verbessern und haben ein paar Ideen, was wir testen können, um die größte Steigerung zu erzielen:

• Die Schlagzeile
• Das Heldenbild
• Der CTA.

Mit einem multivariaten Test konnten wir nicht nur jede Schlagzeilen-Idee, jede Hero-Shot-Bildoption und jeden CTA-Winkel testen, sondern wir können auch jede Kombination dieser Variationen testen, um die Gewinnerkombination zu finden:

Überschrift 1 + Hero-Bild 1 + CTA 1 vs

Überschrift 1 + Hero-Bild 2 + CTA 1 vs

Überschrift 1 + Hero-Bild 1 + CTA 2 vs

Überschrift 2 + Hero-Bild 1 + CTA 1 vs

Überschrift 2 + Hero-Bild 2 + CTA 1 vs

Überschrift 2 + Hero-Bild 2 + CTA 2

Multivariate Tests können Ihnen helfen, die beste Kombination von Elementen herauszufinden und zu verstehen, was diese Änderungen verursacht hat.

Dennoch erfordert die Durchführung ordnungsgemäßer multivariater Tests viel Zeit und Ressourcen. Sind Sie bereit, so viele Ressourcen zu investieren, nicht nur für Tests, sondern auch für QA und Analyse? In einigen Szenarien könnte dies jedoch die bessere Option sein. Mal sehen, welche das sind.

Wann sollten multivariate Tests eingesetzt werden?

Wofür werden multivariate Tests verwendet? Hier sind einige der Fälle, in denen ein MVT-Test nützlicher sein könnte als ein A/B-Test.

1. Wenn Sie viel Verkehr haben und Ihr Testprogramm aufstocken möchten

Der Verkehr ist der wichtigste Kernpunkt des multivariaten Testens. Sie benötigen ein hohes Verkehrsaufkommen, um jede Änderung testen und Ihren Testergebnissen vertrauen zu können.

Aber wenn Sie den Datenverkehr haben und Ihre Tests skalieren möchten, um mehr Daten zu erhalten und mehr Entscheidungen zu treffen, können Sie mit MVT mehrere Ideen gleichzeitig ausführen.

2. Wenn Sie den Auftrieb erhöhen möchten und ein paar Ideen haben, aber nicht warten möchten, um sie einzeln zu testen

Einige Leute denken, dass man MVT aufgrund des Zeitaufwands nur verwenden sollte, um aktuelle Webseiten mit geringfügigen Änderungen zu verfeinern, aber das stimmt nicht. Sicher, Sie können es dafür verwenden, aber Sie können es auch für breitere „Was wäre wenn“-Tests größerer Elemente verwenden.

(Vielleicht sind Sie sich nicht sicher, welches Element den besten Auftrieb bietet, und möchten daher versuchen, einige klug hypothetische Ideen an die Wand zu werfen, um zu sehen, welche funktionieren.)

Wenn Sie das Verkehrsvolumen haben, um ein MVT auszuführen, ist es ein Kinderspiel, nicht zu versuchen, breite Seitenkombinationen viel schneller zu finden. Stellen Sie nur sicher, dass Sie die Auswirkungen dieses Verkehrs NACH dem Test auch für jede Variante messen, da Sie dadurch weitere Einblicke in Ihr Publikum erhalten und wissen, warum es funktioniert hat.

Auf Facebook können Sie beispielsweise einfache multivariate Testanzeigen einrichten, indem Sie Variationen eines Miniaturbilds, einer Überschrift und eines Fließtexts usw. hinzufügen.

Der Test wird ausgeführt und zeigt Ihnen, welche Variante dieser Anzeige die höchste Klickrate erzielt.

Wenn Ihr Ziel darin besteht, nur Klicks zu erhalten, würde diese Anzeige gewinnen, richtig?

Aber wenn all dieser Traffic dann von der Seite abprallt, an die Sie ihn senden, dann haben Sie nur eine Variation gefunden, die diese Zielgruppe zum Klicken veranlasst, und nicht eine, die sie dazu bringt, zu bleiben und zu konvertieren.

Das gleiche gilt, wenn Sie einen MVT-Test auf einer Seite ausführen, insbesondere wenn Sie ihn als breitere Methode zum Sammeln von Ideen verwenden. Überprüfen Sie, was auf der Seite passiert, aber auch, was passiert, nachdem sie geklickt haben.

3. Wenn Sie einen vorherigen Test verfeinern, um eine inkrementelle Steigerung zu erhalten

Sie können MVT auch verwenden, um kleine Verfeinerungen zu messen und zu verbessern. Tatsächlich nutzen viele Agenturen sie gerne, um noch mehr Erfolg bei aktuellen erfolgreichen Kampagnen zu erzielen und kleine Änderungen zu testen.

Angenommen, Sie haben eine Seite bereits mehrfach A/B-getestet, um eine erfolgreiche Variante zu finden, möchten aber so viel Auftrieb wie möglich erzielen, selbst wenn es nur 0,5 % sind. Sie können auf dieser Seite MVT-Tests durchführen, um weiter zu testen (denn bei 100.000 Besuchern pro Monat sind alle 0,5 % hilfreich!).

4. Bei der Suche nach dem maximal möglichen Auftrieb durch eine Kombination von Ideen (Interaktionseffekte)

Manchmal kann uns ein aufeinanderfolgender A/B-Test Gewinner auf dem Papier bringen, aber wenn wir sie kombinieren, sind sie nicht immer die leistungsstärkste Option für unsere Seite.

Hier ist ein Beispiel:

• Sie führen einen Schlagzeilentest durch und wählen einen Gewinner aus und implementieren ihn.
• Dann führen Sie auf derselben Seite einen Hero-Shot-Image-Test mit der siegreichen Schlagzeilen-Variation und -Implementierung durch.
• Dann führen Sie einen CTA-Test auf derselben Seite mit den vorherigen Gewinnerelementen durch und implementieren sie.

Theoretisch sollte dies die leistungsstärkste Version Ihrer Seite sein, aber aufgrund von Interaktionen oder deren Fehlen können seltsame Dinge passieren. Einfach ausgedrückt, es ist möglich, dass ein unterlegenes Element in einem Test Ihren sequentiellen A/B-Testsieger manchmal übertrifft, wenn es mit einer anderen Elementvariation kombiniert wird.

Wie?

Nun, vielleicht sorgt eine schlechte Überschrift aus dem ersten Test für eine höhere Conversion-Rate im Backend, wenn sie mit den Gewinnern aus dem Bild- und CTA-Test kombiniert wird.

Das kann passieren, aber Sie würden es nie erfahren, wenn Sie nur A/B-Tests durchführen würden. Stattdessen hätten Sie es aus den Optionen entfernt, bevor Sie die anderen Elemente jemals getestet hätten. Aus diesem Grund ist multivariates Testen so leistungsfähig. Es ermöglicht Ihnen, die höchste Gesamtleistung der Seite zu finden, auch wenn dies bedeutet, dass ein weniger leistungsstarkes Element aus einem Teil des Tests genommen wird.

Besser noch, es kann Ihnen sogar sagen, welches Element am meisten geholfen hat …

5. Bei der Suche nach dem wichtigsten Element auf der Seite für Ihr Publikum, für zukünftige Tests und Seiten

MVT zeigt Ihnen nicht nur die Gewinnerkombination Ihrer verschiedenen Variationen und Elemente, sondern auch das Element, das den meisten Auftrieb bietet.

Vielleicht erhält Ihr Hero Shot mehr Auftrieb, aber Sie sehen auch, dass es von all Ihren Elementen auf Ihrer Variationsseite am meisten zu Ihrem Endergebnis beiträgt?

Dies gibt Ihnen dann einen Einblick, wo Sie zuerst nach weiteren Verbesserungen suchen können, damit Sie sich zuerst auf Verbesserungen bei Heldenschüssen usw. konzentrieren können.

6. Bei der Anwendung von maschinellem Lernen auf Ihren Testprozess

Aufgrund der Natur von MVT, die große Mengen an Daten und Interaktionen erfordert und verfolgt, kann es tatsächlich als großartige Quelle für Testprogramme für maschinelles Lernen verwendet werden.

ML erfordert große Datenmengen, um optimal zu funktionieren, aber sobald es diese erhält, kann es tatsächlich anfangen, Muster zu erkennen und Ergebnisse und Verhaltensweisen mit weniger Verkehr im Laufe der Zeit vorherzusagen. Tatsächlich tun Seiten wie Amazon genau das…

Beispiele für multivariate Tests

Multivariates Testbeispiel Nr. 1

Amazon nutzte MVT und maschinelles Lernen, um das Layout seiner Zielseiten anzupassen, was zu einer Steigerung der Kaufrate um 21 % in nur 7 Tagen führte!

Multivariates Testbeispiel Nr. 2

Booking.com verwendet multivariate Tests, um neue einzigartige Funktionen für bestimmte Zielgruppen zu testen, und misst dann ihre Leistung, bevor sie sie auf der gesamten Website einführen.

Multivariates Testbeispiel Nr. 3

Microsoft verzeichnete einen Anstieg der Konversionsrate für seine SMB-Website um 40 %, nachdem ein MVT-Test mit mehreren Seitenelementen (8×4!) durchgeführt wurde.

Multivariates Testbeispiel Nr. 4

Es sind jedoch nicht nur die Juggernauts, die MVT verwenden können. HawkHost verzeichnete eine Umsatzsteigerung von 204 %, als sie einen MVT-Test auf ihrer Homepage durchführten (Testen ihrer Überschrift, Unterüberschrift und Heldenaufnahme).

Die Vor- und Nachteile multivariater Tests

Wenn multivariate Tests so leistungsfähig sind, warum nutzen wir sie dann nicht alle?

Sie sehen, das Schöne an einem A/B-Test ist, dass Sie eine Idee schnell mit einer relativ kleinen Zielgruppe testen können. Dies bedeutet, dass die meisten Unternehmen einen Test durchführen können, selbst wenn sie einen relativ geringen Datenverkehr haben, und dann innerhalb von 14 bis 30 Tagen ein Ergebnis sehen.

Bei einem multivariaten Test benötigen Sie jedoch ein viel größeres Publikum, da Sie mehrere Dinge gleichzeitig testen. (Vor allem, wenn Sie mehrseitige Tests durchführen oder mehrere Kombinationen von Variationen testen.)

Nehmen wir an, wir wollten eine Überschrift auf unserer Startseite testen:

• Schlagzeilenkontrolle
• Schlagzeilenvariation

Wir testen nur die einzelne Variante, also insgesamt 2 Optionen.

Nehmen wir nun als einfaches Beispiel an, dass wir 1.000 Besucher auf jede Version der Seite (die Variante und die Kontrolle) bekommen wollen, damit wir sicher sein können, dass die Testergebnisse vertrauenswürdig sind.

(Der benötigte Traffic kann je nach Seite und Konversionsrate variieren, aber wir vereinfachen hier, damit Sie sich ein Bild machen können.)

Das bedeutet, dass wir 2.000 Besucher benötigen würden, um den Test durchzuführen und den Ergebnissen zu vertrauen, wobei 1.000 Besucher auf jede Seite gehen würden.

Was wäre, wenn wir testen wollten:

• 3 Überschriften
• 3 Heldenbilder und
• 3 CTAs?

Das sind nicht insgesamt 9 Varianten, sondern tatsächlich 27 Kombinationen aus 9 Varianten (3x3x3).

Das bedeutet, wenn wir 1000 Besucher pro Variante wollten, dann wäre unsere Traffic-Anforderung stattdessen 27.000 Besucher, um den Test durchzuführen und den Ergebnissen zu vertrauen (basierend auf unserer zu starken Vereinfachung, dass 1.000 Besucher pro Seite ausreichen).

In Wirklichkeit würden Sie wahrscheinlich mehr als 10.000 Besucher pro Variante benötigen, um genaue Daten zu erhalten, da der Traffic allein nicht ausreicht, Sie müssen auch Conversions sehen.

Aus diesem Grund führen viele Unternehmen keine MVT-Tests durch, einfach weil sie nicht über den Datenverkehr verfügen, um sie effektiv durchzuführen. Tatsächlich empfehlen die meisten Agenturen, etwa 100.000 monatliche Besucher zu haben, bevor Sie mit der Durchführung von MVT-Kampagnen beginnen, es sei denn, die Seite hat bereits eine sehr hohe Konversionsrate. Und selbst dann empfehlen sie immer noch, nur maximal 6 Variationen auszuführen, um sie schneller ausführen zu können.

Aber wenn Sie diese Art von Verkehr haben?

Nun, dann kann Ihnen MVT ermöglichen, das Äquivalent von weitaus mehr Tests in fast genau demselben Zeitrahmen durchzuführen …

Was wäre, wenn wir das obige Beispiel nehmen und jeden Test über einen vollen Verkaufszyklus von 30 Tagen laufen lassen, um ein genaues Messfenster zu erhalten?

Angenommen, wir haben den Traffic, könnten wir 27 Testkombinationen auf einmal auf dieser einen Seite über vielleicht 30-60 Tage als einen einzigen multivariaten Test ausführen. Nicht schlecht, wenn man das mit der Durchführung von 27 aufeinanderfolgenden A/B-Tests auf dieser Seite über einen Zeitraum von 27 Monaten vergleicht!

(Auch hier vereinfache ich hier und gehe davon aus, dass Sie bei jedem Test einen vollständigen Verkaufszyklus durchlaufen.)

Aber wie Sie sehen, können Sie mit multivariaten Tests Erkenntnisse und Ideen gewinnen, diese schneller umsetzen und die Betriebszeit bei aufeinanderfolgenden Verlusttests verkürzen.

Ziemlich gut, oder!?

Offensichtlich gibt es neben den Verkehrsanforderungen noch einige andere Nachteile beim MVT-Testen.

Aufgrund der großen Anzahl von Variationen und Kombinationen, die Sie ausführen können, verlängert dies Ihre QA-Zeit vor und nach dem Test erheblich.

Sie müssen sicherstellen, dass jede Variante funktioniert und auch sinnvoll ist. (Es wird keine Überschrift und kein Bild angezeigt, die nicht übereinstimmen usw.) und erhöht daher Ihre Einrichtungszeit und -kosten erheblich.

Achten Sie auch darauf, die Effekte zu überprüfen.

Nur weil Sie auf dieser bestimmten Seite eine Conversion-Steigerung sehen, verfolgen Sie sie bis zu Ihren endgültigen Zielen. Das Letzte, was Sie wollen, sind mehr Klicks, aber eine schlechte Benutzererfahrung oder eine hohe Absprungrate (oder mehr Klicks, aber keine Verkäufe).

Die Vorteile multivariater Tests

• Vorausgesetzt, Sie haben den Traffic, können Sie mit multivariaten Tests viele Variationen schnell testen.
• MVT kann Ihnen helfen, Ihr Testprogramm zu erweitern, um mehr Daten darüber zu finden, was funktioniert und was nicht.
• Es kann Ihnen helfen, Gewinnkombinationen schneller zu finden als aufeinanderfolgende A/B-Tests.
• Es kann Ihnen helfen, Gewinnkombinationen zu finden, die Sie bei der Durchführung aufeinanderfolgender Tests möglicherweise übersehen haben. (Stellen Sie sich vor, eine Schlagzeile wäre die zweite Leistung und Sie schneiden sie heraus, aber zusammen mit der dritten Bildvariation hätte sie irgendwie die Steigerung verdoppelt? Bei einem aufeinanderfolgenden Test wäre Ihnen dies entgangen. Ein multivariater Test erfordert ein höheres Maß an Interaktionseffekten).
• Einige A/B-Testsoftware ermöglicht es Ihnen zu sehen, welches bestimmte Element dazu beigetragen hat, den größten Auftrieb zu erzielen (was Ihnen ein tieferes Verständnis Ihres Publikums vermittelt).
• Es kann auch verwendet werden, um kleinere Lifts auf leistungsstarken Seiten zu finden. (Stellen Sie sich vor, Sie haben bereits eine leistungsstarke Seite und Sie schießen auf neue Ideen, um kleinere Verbesserungen wie Farbänderungen zu sehen.)

Die Nachteile multivariater Tests

• Benötigen Sie ein hohes Verkehrsvolumen, um ausgeführt zu werden, insbesondere wenn Sie eine Statistik wünschen, damit Sie Ihren Ergebnissen vertrauen können und keine falsch positiven oder negativen Fehler (Typ-1- und Typ-2-Fehler) sehen, und eine Statistikleistung, um einen geringeren prozentualen Anstieg zu messen.
• Die Verkehrsanforderungen wachsen schnell, je mehr Variationen und Kombinationen Sie testen, also denken Sie daran. Erwägen Sie, zusätzliche Elemente zu entfernen, wenn sie möglicherweise nicht viel Auftrieb bieten. (dh testen Sie die Überschrift, bevor Sie sich Gedanken über das Testen der Fußzeilenfarben usw. machen. Sie können diese später immer noch testen, wenn Sie das wirklich wollen.)
• Es ist nicht nur der Verkehr, der die Stichprobengröße beeinflusst. Die Konversionsrate der aktuellen Seite und Variablen wirken sich alle auf das Volumen der Stichprobengröße aus, die erforderlich ist, um statistische Signifikanz zu erreichen. Bessere Conversions können den erforderlichen Traffic verringern, niedrigere Conversions erhöhen diese Anforderung.
• Die Fehlerquote beim Testen von mehr Variablen erhöht auch das erforderliche Datenverkehrsvolumen, bevor Sie den Ergebnissen vertrauen können.
• Es müssen intensive QA-Tests durchgeführt werden, um sicherzustellen, dass alle im Voraus funktionieren.
• Sie müssen auch QA ausführen, um sicherzustellen, dass die Variationen zusammen sinnvoll sind und keine gegensätzlichen oder widersprüchlichen Kombinationen aufweisen. (CTAs, die nicht mit Angeboten übereinstimmen, Schlagzeilen für einen Strandurlaub, während für einen Skiausflug geworben wird, oder sogar widersprüchliche oder gemischte Schrift- und Hintergrundfarben.)
• Wenn Sie keine Quelle mit hohem Datenverkehr haben, können Sie trotzdem einen MVT-Test durchführen, es kann nur VIEL länger dauern, bis Sie die Stat-Sig erreichen und den Test beenden können. (Manchmal mehrere Monate oder länger). Tatsächlich kann es manchmal schneller und effizienter sein, einfach aufeinanderfolgende A/B-Tests durchzuführen.
• Sie können einige Einblicke in das Publikum verlieren, indem Sie einfach mehrere Dinge gleichzeitig testen. (Das Testen eines einzelnen Elements oder Blickwinkels kann Ihnen manchmal dabei helfen, Ihr Publikum besser zu verstehen.)

Multivariate Teststatistiken: Die Mathematik hinter MVT

Also lasst uns ein bisschen nerden…

Beim multivariaten Testen verwenden wir eine andere statistische Analysemethode als herkömmliche A/B-Tests oder Split-Tests.

Ich möchte nicht zu sehr in die Mathematik einsteigen, aber hier ist eine Vereinfachung:

• Bei A/B-Tests verwenden wir einen t-Test (oder z-Test), um den Unterschied zwischen 2 oder mehr Ergebnissätzen zu messen.
• Bei multivariaten Tests wird eine andere Methode verwendet, um die Testergebnisse zu finden, die als ANOVA oder "Varianzanalyse" bezeichnet wird. Sie müssen nicht alle Details kennen, aber hier ist das Wesentliche. Der Hauptunterschied besteht darin, dass ANOVA auch die Verbindung und Auswirkung zwischen Variablen misst. Dies ist eine der Hauptstärken von MVT , da es uns ermöglicht zu sehen, wie Kombinationen von Elementen sich gegenseitig beeinflussen.

Je nachdem, welches Tool Sie verwenden, können bei der Durchführung einer MVT-Kampagne 3 Arten von multivariaten Testmethoden angeboten werden. Jeder von ihnen beeinflusst die Mathematik, wie Ihr Test funktionieren wird.

Wir nennen diese:

• Vollfaktoriell,
• Bruchfakultät und
• Taguchi.

Was bedeuten sie also?

Volle Fakultät

Fast jedes MVT-Tool bietet Full Factorial Testing als Grundlage für sein Haupttestmodell und es ist so ziemlich das, was Sie ständig verwenden möchten.

Diese Methode bezieht sich auf die „vollständige“ Verteilung des Datenverkehrs in Ihrem Test.

Einfach ausgedrückt, hier testen Sie jede Kombination auf einmal und teilen den zu testenden Datenverkehr gleichmäßig auf jede Variante auf.

Mit einem A/B-Test teilen Sie den Traffic 50:50 auf. Aber bei einem MVT, wenn Sie 10 Varianten hätten, würde dies bedeuten, dass nur 10 % des Traffics an jede Variante gehen.

Aufgrund der Anzahl der Varianten und des Verkehrs, der erforderlich ist, um mit jeder Variante eine statistische Signifikanz zu erreichen, erfordert die vollfaktorielle Methode zwar eine sehr große Verkehrsquelle, ist aber die genaueste Methode.

Einige A/B-Testplattformen bieten jedoch als Alternative auch so genannte „Fraction Factorial“-Tests an.

Bruch Fakultät

Bei dieser Methode wird versucht, einige der größeren Traffic-Anforderungen zu umgehen, indem nur eine kleinere Stichprobe von Variationen getestet und dann die End-Conversion-Raten basierend auf den aktuellen Testergebnissen geschätzt werden .

Sein Ziel liegt nicht in der Genauigkeit der Vorhersage vertrauenswürdiger Ergebnisse für die normale Skalierung, dh wenn wir dies auf eine X-Zielgruppe skalieren, wird es die gleiche Leistung erbringen.

Stattdessen soll es Ihnen helfen zu sehen, wo die frühe Traktion beginnt, damit Sie einen Einblick erhalten, bevor Sie tiefer oder mit einer anderen Methode testen.

Angenommen, Sie haben 10 Variationen, die Sie testen möchten.

Fractional Factorial testet stattdessen 5 von ihnen und versucht dann, die Conversion-Rate dieser anderen 5 Tests basierend auf den bisherigen Ergebnissen abzuleiten.

Wie Sie sich vorstellen können, ist dies nicht so genau und kann zu Fehlern und Fehlalarmen führen und ist tatsächlich eine Streitquelle zwischen Optimierern und Vermarktern. (Fast alle empfehlen vollfaktoriell als Haupttestmethode.)

Taguchi

Schließlich haben Sie die Taguchi-Methode des multivariaten Testens. Ursprünglich als Methode zur Messung der Qualitätskontrolle gegen Annahmen akzeptabler Verluste in F+E für die Produktherstellung konzipiert.

Die meisten Tools bieten dies aufgrund ihrer Komplexität nicht an.

Wann ist ein multivariater Test zu stoppen?

Es gibt 3 wichtige Dinge, die wir bei der Durchführung eines Tests beachten müssen, bevor wir ihn stoppen sollten:

• Damit der Test lange genug gelaufen ist, um eine ausreichend große Stichprobengröße für jede Variante zu sammeln, und damit der Test genügend Conversions gesammelt hat, um relevant zu sein.
• Damit der Test entweder 1 oder sogar 2 vollständige Verkaufszyklen durchlaufen hat (um Verkehrs- und Einkaufsperioden über 30-60 Tage auszugleichen).
• Und schließlich, damit die Ergebnisse statistisch signifikant sind, dh wenn wir diesen Test in der freien Natur durchführen und ihn vergrößern, können wir zu 95 % sicher sein, dass er weiterhin auf die gleiche Weise funktioniert.

Wir empfehlen, dass Sie keinen Test vor diesem Zeitpunkt abbrechen. Andernfalls reichen die Daten nicht aus, um damit zu arbeiten. Wir können jedoch einen Test unterbrechen und dann neu starten, wenn es Probleme mit der Leistung gibt, z. B. wenn die Zahlungsformulare einer Variante nicht funktionieren usw., aber idealerweise versuchen wir, nicht einmal einen Blick darauf zu werfen, wenn er läuft.

(Einige Agenturen empfehlen, frühzeitig zu stoppen, wenn es einen klaren Gewinner gibt, oder sogar bestimmte Variationen zu stoppen, wenn ihre Conversion-Rate unter 10 % fällt, und den Test dann weiterlaufen zu lassen, während mehr Traffic zu den Leistungsträgern gefiltert wird. Dies kann sich natürlich auswirken die Testergebnisse sehr.)

Wie richte ich einen multivariaten Test ein und führe ihn durch?

Der Prozess der Einrichtung eines multivariaten Tests ist einem A/B-Test sehr ähnlich.

Schritt Nr. 1: Entscheiden Sie sich für Ihr Endziel

Zunächst müssen Sie eine Hypothese für Ihre Seite, ihr Ziel, ihre aktuellen Ergebnisse und Verbesserungsmöglichkeiten aufstellen.

Mit unserem Hypothesengenerator können Sie klären, was Sie erreichen möchten, und sich konkrete Ziele setzen.

Schritt Nr. 2: Finden Sie heraus, was getestet werden soll

Entscheiden Sie dann, welche Elemente Sie testen möchten und welche Variationen Ihrer Meinung nach Ihre aktuellen Ergebnisse verbessern könnten.

Zum Beispiel denken Sie vielleicht, dass das Testen der „Kernelemente“ „above the fold“ die Conversions steigern wird, also sollten Sie die Überschrift, den Hero Shot und den Text der CTA-Schaltfläche testen.

Schritt Nr. 3: Testzeitrahmen berechnen

Bevor Sie den Test ausführen oder Assets erstellen, empfehlen wir Ihnen, vor dem Test eine Berechnung der Stichprobengröße durchzuführen, damit Sie den Zeitrahmen und die Verkehrsanforderungen für die Ausführung dieses Tests abschätzen können. Dies gibt Ihnen einen Einblick, wie viele Variationen Sie mit Ihrem wiederkehrenden Traffic ausführen können und trotzdem schnelle Ergebnisse erzielen. (Oder lassen Sie es sogar wissen, wenn Sie weniger Optionen testen müssen).

Im obigen Beispiel haben Sie 3 Elemente: die Überschrift, den Hero Shot und den Text der CTA-Schaltfläche.

Wenn Sie jeweils eine einzelne Variante testen möchten, wären das 2x2x2=8 Kombinationen. Wenn Sie dies wissen, können Sie anfangen herauszufinden, wie viel Traffic Sie benötigen.

Geben Sie Ihren aktuellen wöchentlichen Seitenverkehr und Ihre Konversionsrate in den Rechner ein (zusammen mit allen Leistungs- und Vertrauenseinstellungen).

Legen Sie dann die Anzahl der Seiten fest, die Sie testen möchten. (8 in diesem Beispiel)

Dies gibt Ihnen dann einen Zeitrahmen dafür, wie lange Sie laufen müssen, um den minimalen Hub erkennen zu können.

Schritt Nr. 4: Erstellen Sie den Test

Gehen Sie als Nächstes zu Ihrem Tool und richten Sie die verschiedenen Versionen und Kombinationen für Ihren multivariaten Test ein.

Beginnen Sie mit der Auswahl der multivariaten Testoption.

Geben Sie ihm einen Namen und fügen Sie dann die URL der Seite hinzu, die Sie testen möchten (damit das Tool sie für die WYSIWYG-Bearbeitungen abrufen kann).

In diesem Beispiel arbeiten wir daran, die Konversionsrate unserer Homepage zu verbessern.

Sobald die Seite im Tool geladen ist, müssen Sie Ihre Testelemente einrichten.

Hier bei Convert verwenden wir 2 Benennungskonvertierungen für die Teile, die in multivariaten Tests bearbeitet werden sollen:

• Der Abschnitt, der sich auf das Element auf der Seite bezieht, das Sie testen möchten, z. B. eine Überschrift oder ein CTA, und
• Die Variation, die Ihre Bearbeitung dieses bestimmten Elements ist.

Ich empfehle, dass Sie jeweils einen Abschnitt auswählen, um jede Variation zu bearbeiten und hinzuzufügen.

Geben Sie dem Abschnitt einen Namen, z. B. „Überschrift“, und bearbeiten Sie ihn dann und fügen Sie die Variationen für diesen Abschnitt hinzu. (Achten Sie darauf, jede Variation zu speichern, während Sie daran arbeiten.)

Fahren Sie dann mit dem nächsten „Abschnitt“ oder Element fort, das Sie testen möchten. In diesem Beispiel würde es eine weitere Hero-Aufnahme im Hintergrund und dann eine Textvariation für die CTA-Schaltfläche einrichten.

Schritt Nr. 5: Stellen Sie sicher, dass alles funktioniert

Nachdem Sie jede Variation eingerichtet haben, führen Sie einen QA-Test für jede neue Behandlung durch, um sicherzustellen, dass sie alle funktionieren und dass jedes Element sinnvoll zusammenpasst. (Keine konkurrierenden CTAs oder nicht übereinstimmende Informationen/Bilder oder Verdoppelung von Schriftfarbe und Schaltflächen.)

Klicken Sie auf „Speichern und fortfahren“ und eine neue Seite wird geladen. Fahren Sie dann fort und klicken Sie auf die Registerkarte „Berichte“.

Von hier aus sehen Sie Seitenvariationen und Informationen dazu. Klicken Sie auf das „Augensymbol“ neben jeder Seite, um eine Vorschau davon anzuzeigen und zu testen, ob die Links funktionieren.

Von hier aus können Sie einen QA-Test durchführen und dieselbe URL für mobile Tests verwenden.

Schritt Nr. 6: Pushen Sie es live

Solange alle Varianten funktionieren, können Sie jetzt den Test starten und laufen lassen, bis Sie genügend Daten haben.

(Beachten Sie, dass es eine Option gibt, den Test direkt von der Berichtsseite, auf der Sie die QA-Tests geöffnet haben, live zu übertragen.)

Die besten multivariaten Testwerkzeuge zur Ausreifung Ihres Optimierungsprogramms

Nachdem Sie nun verstanden haben, wie multivariate Tests funktionieren, lassen Sie uns die Website-Optimierungsplattformen auf dem Markt aufschlüsseln, die multivariate Tests anbieten. Wir werden ihre Funktionen zusammen mit ihren Preisen behandeln, wenn sie kostenlose Testversionen und einige andere Details anbieten.

Eine schnelle Sache, bevor wir das tun.

Denken Sie daran, dass das von Ihnen verwendete Werkzeug NUR so gut ist wie die Person, die es einrichtet . Wenn der Cashflow knapp ist, dann investieren Sie zuerst in jemanden, der intern hilft (oder wenden Sie sich an eine externe Agentur) und verwenden Sie vorerst einfach ein billigeres Tool.

Es ist alles sehr schön, ein erstaunliches MVT-Testtool zu haben, aber es ist sinnlos, wenn die Person es nicht richtig und schnell genug einrichten oder die Daten verstehen kann!

#teamovertools

1. Konvertieren Sie Erfahrungen

G2-Bewertung : 4,7/5,0 (46 Bewertungen)

Preise: Ab 699 $ pro Monat, danach 199 $ pro 100.000 Besucher.

Bieten sie einen kostenlosen Plan oder eine Testversion an? Ja, 14 Tage kostenlose Testversion ohne Kreditkarte erforderlich.

Kosten pro 100.000 Besucher: 199 $.

Vorteile

• Vollständig datenschutzkonform: Es werden niemals personenbezogene Daten gespeichert
• Genaue Berichterstattung aufgrund der Verwendung von Cookies von Erstanbietern
• Schnell und flimmerfrei
• Führen Sie unbegrenzte Tests durch
• Bedingungsstapelung mit über 40 Filtern zur Ausrichtung auf granulare Zielgruppensegmente
• Flexible JavaScript-Einfügung auf Projekt-, Experiment- und Variationsebene
• Benutzerdefinierte JS-Bedingungszielauslösung
• Integration mit über 100 Tools von Drittanbietern (z. B. Shopify, WordPress, Mixpanel, Hotjar)
• 4x schneller, menschlicher Kundensupport per Telefon, E-Mail & Chat.

Nachteile

• Grundlegende Beitragssegmentierung im Kickstart-Plan

Multivariate Testfunktionen : Vollfaktoriell. Wir bieten auch direkte Unterstützung und Beratung bei der Durchführung dieser Tests

Clientseitig, serverseitig oder beides? Convert funktioniert als clientseitiger WYSIWYG-Editor, kann aber auch serverseitig eingerichtet werden und benutzerdefiniertes JS ausführen.

Dienen sie Enterprise? Ja. Wir sind das Tool der Wahl für Unternehmen wie Sony, Jabra, Unicef ​​und andere.

Bieten sie Kundensupport an? Ja, gleich zu Beginn des Prozesses. Welche Art? Live-Chat, Blog und Wissensdatenbank, weitere werden folgen.

Interessieren sie sich für den Datenschutz ? Wir sind vollständig DSGVO-konform. Wir haben sogar aufgehört, für unsere interne Arbeit Tools von anderen Unternehmen zu verwenden, die die DSGVO nicht erfüllen, so viel bedeutet es uns.

Interessieren sie sich für die Welt? Ja. Es ist in unserer DNA. Wir pflanzen Bäume, führen Gemeinschaftsprogramme durch, setzen uns von der ersten Bewerbung an für Vielfalt ein, spenden an Wohltätigkeitsorganisationen und vieles mehr. Verdammt, wir sind 15x CO2-negativ.

TrustRadius-Überprüfung:

2. AB Lecker

G2-Bewertung: 4,5/5,0 (76 Bewertungen)

Preise: Beginnt bei 1900 $/Monat für 400.000 monatlich getestete Besucher für den Essentials-Plan. Der Wachstumsplan kostet 3800 $/Monat, während der Elite-Plan bei 5700 $/Monat beginnt.

Bieten sie einen kostenlosen Plan oder eine Testversion an? Nein. Sie können einen Demoanruf anfordern, um die neuen Funktionen zu sehen.

Kosten pro 100.000 Besucher: ca. 475 $.

Vorteile:

• KI und ML sind in die Optimierung integriert
• Führen Sie unbegrenzte Experimente durch
• Saubere und einfach zu bedienende Benutzeroberfläche
• Einfache Einrichtung und Vorschau von Tests
• Dynamische Widgets
• Mehrere Integrationen
• Umfangreiche Analyseberichte
• Große Auswahl an Targeting-Optionen verfügbar, zusammen mit Personalisierung
• Zuverlässiger Kundensupport
• Der Preis liegt im mittleren Bereich

Nachteile:

• Keine Marketingautomatisierung, um Einblicke in die Publikumsleistung zu geben (insbesondere für ein aktives Experiment) und erfordert manchmal den Kundensupport, um dies zu sehen.
• Der statistische Signifikanzrechner ist in seiner UX etwas einfach
• Die Integration von Google Analytics ist komplex und erfordert Codierung
• Keine kostenlose Testversion

Multivariate Testfunktionen: Vollfaktoriell

Clientseitig, serverseitig oder beides? Beide

Frequentist oder Bayesianer? Bayesianisch.

Unterstützt es Full Stack? Ja.

Core Web Vitals Bereit? Ja. Dieses Tool lädt schnell.

Hat ML oder KI? Ja.

Dienen sie Enterprise? Ja. Sie sind das Tool der Wahl für Unternehmen wie Disney, L'Oreal, Kalviyo und andere.

Bieten sie Kundensupport an? Ja. Sie haben eine Wissensdatenbank und einen Live-Chat.

Interessieren sie sich für den Datenschutz? Ja. Benutzer-IP-Adressen werden verwendet, um einen ID-Code zu erstellen, und dann sofort gelöscht, bevor sie in das Tool verschoben werden. ID-Codes werden anonymisiert und nach 13 Monaten gelöscht.

Interessieren sie sich für die Welt? Sie spenden direkt an NGOs, sie arbeiten mit sozialen Aktionsgruppen zusammen, sie recyceln und sponsern Bienenstöcke.

TrustRadius-Überprüfung :

So sieht dieses multivariate Testtool in Aktion aus:

3. Google Optimize & Optimize 360

G2-Bewertung: 4.3/5.0 (27 Bewertungen)

Preise : Es gibt 2 Versionen dieses Tools. Optimize ist kostenlos, aber für erweiterte Funktionen müssen Sie sich für Google Optimize 360 ​​entscheiden.

Die Preise für Optimize 360 ​​sind kundenspezifisch (obwohl Gerüchten zufolge rund 150.000 US-Dollar pro Jahr liegen). Um Ihren monatlichen Preis zu erhalten, müssen Sie ein Formular ausfüllen, um das Verkaufsteam zu kontaktieren.

Bieten sie einen kostenlosen Plan an? Ja.

Kosten pro 100.000 Besucher: N/A

Vorteile:

• Benutzerfreundlich – wenig technisches Wissen erforderlich
• Ideal für erstmalige A/B-Tester
• Schnelle Integration mit Google Analytics
• Hat dank der riesigen Datenressourcen von Google eine super detaillierte Zielgruppensegmentierung

Nachteile:

• Begrenzt auf 5 Tests gleichzeitig im kostenlosen Kontingent
• Keine Drag-and-Drop-Editor-Funktionalität
• Bilder können nicht direkt hochgeladen werden
• Apps können nicht getestet werden, nur Browser
• Nicht geeignet für komplizierte Tests
• UI/UX und Berichte sind visuell nicht so ansprechend wie die meisten anderen Tools auf dem Markt
• Flimmern tritt manchmal auf.

Multivariate Testfunktionen: Anscheinend verwendet Optimize einen hybriden Ansatz, der weder vollfaktoriell noch fraktional ist. Entsprechend ihrer Unterstützungsbasis

„Unsere Modelle ermöglichen uns einen hybriden Ansatz, sodass Sie diesen Kompromiss nicht eingehen müssen. Wir servieren alle Kombinationen eines Tests, damit Sie mehr über Wechselwirkungen und die besten Kombinationen erfahren. Aber wir modellieren auch die Tatsache, dass einige Varianten in Kombinationen auftauchen – und so können wir mehr über Varianten innerhalb eines Faktors erfahren, nicht nur über Kombinationen.“

Clientseitig, serverseitig oder beides? Beide.

Frequentist oder Bayesianer? Google Optimize verwendet Bayes'sche Methoden anstelle von Frequentisten-Methoden, auch bekannt als Null Hypothesis Significance Testing (NHST).

Unterstützt es Full Stack? Ja.

Core Web Vitals Bereit? Ja. Dieses Tool wird schnell geladen, obwohl es flackern kann, was zu CLS-Problemen führen kann.

Hat ML oder KI? Nein.

Dienen sie Enterprise? Ja, aber nur über Optimize 360.

Bieten sie Kundensupport an? Sie haben einen Ressourcen-Hub mit Tipps, Video-Tutorials, Hilfe-Community und mehr.

Ist ihnen die Privatsphäre wichtig? Sie halten die geltenden Datenschutzgesetze in den Ländern ein, in denen ihre Produkte verwendet werden.

Sie arbeiten auch mit Dritten und Datenschutzbehörden zusammen, um die Daten der Benutzer zu schützen.

Interessieren sie sich für die Welt? Google ist seit 2007 klimaneutral und plant, bis 2030 kohlenstofffrei zu sein. Abgesehen davon sind sie mit ihrem 1-Milliarden-Dollar-Engagement für zahlreiche philanthropische Gesten bekannt.

TrustRadius-Überprüfung :

So sieht dieses MVT-Testtool in Aktion aus:

4. Adobe Target

G2-Bewertung: 4.0/5.0 (29 Bewertungen)

Preise : Nur verfügbar nach einem 11-teiligen Formular, einer E-Mail und einem Anruf. Der Startpreis beträgt 10.000 US-Dollar pro Monat.

Bieten sie einen kostenlosen Plan oder eine Testversion an? Nein.

Kosten pro 100.000 Besucher: N/A

Vorteile

• Die Benutzeroberfläche ist einfach zu bedienen
• Bietet genaue Echtzeit-Datenberichte
• Lässt sich gut in Adobe Analytics integrieren und ist als Upsell-Angebot konzipiert
• Website-Personalisierungstools für Anfänger und Experten
• Führt Sie durch den Einrichtungs- und Testprozess
• Verfügt über fortschrittliche KI, um Kampagnen und Personalisierung kontinuierlich zu testen und zu verbessern

Nachteile

• Die Optimierung in großem Maßstab kann langsam sein
• Erfordert ein sehr hohes Verkehrsaufkommen, um optimal zu funktionieren
• Der formularbasierte Editor erfordert eine Lernkurve
• Hoher Preispunkt
• Keine Testoption
• Funktioniert am besten, wenn Sie bereits Adobe Analytics verwenden
• Kann großartige Einblicke erhalten, wenn es mit anderen kostenpflichtigen Adobe Marketing Cloud-Tools verbunden ist

Multivariate Testfunktionen: Vollfaktoriell und Taguchi (als Teilfaktormethode).

Clientseitig, serverseitig oder beides? Beide.

Dienen sie Enterprise? Ja. Fast ausschließlich aus Kostengründen.

Bieten sie Kundensupport an? Ja, in Form einer Wissensdatenbank und Video-Schulungsprogrammen.

Interessieren sie sich für den Datenschutz? Ja, aber ironischerweise benötigen sie Ihre E-Mail-Adresse und Telefonnummer, um mehr darüber zu erfahren. Sie leisten jedoch viel Arbeit in Erstanbieterdaten für ein nicht-intrusives Tracking.

Interessieren sie sich für die Welt? Besonders gern. Sie setzen sich für Vielfalt ein, arbeiten auf Gebäude mit 100 % erneuerbarer Energie hin, senken Emissionen, führen kommunale Aktionsprogramme durch und vieles mehr.

TrustRadius-Überprüfung :

So sieht dieses multivariate Testtool in Aktion aus:

5. Kameleon

G2-Bewertung: 4,7/5,0 (24 Bewertungen)

Preisgestaltung : Individuell nach Ihren Wünschen. Sie erhalten Ihren einzigartigen Preis, indem Sie sich an das Verkaufsteam wenden.

Bieten sie einen kostenlosen Plan an? Ja.

Kosten pro 100.000 Besucher: N/A

Vorteile

• Einfach einzurichtendes Klick-Tracking
• Reibungslose Integration mit vielen anderen Tools
• Hat einen benutzerfreundlichen WYSIWYG-Editor für Nicht-Entwickler
• Fortschrittliche Anti-Flimmer-Technologie
• Kompetentes und hilfsbereites Support-Team
• Präzise und detaillierte Planung und Durchführung von Tests

Nachteile

• Der WYSIWYG-Editor wird langsam geladen
• Das Reporting-Dashboard könnte etwas mehr Personalisierung vertragen
• Benötigen Sie Fähigkeiten auf Entwicklerebene, um einige komplexe Szenarien zu implementieren
• Tests können nicht archiviert werden
• Alte Browser wie IE7 sind von den Tests ausgeschlossen

Multivariate Testfunktionen: Full Factorial und Fractional Factorial (über Zuordnungen im Testaufbau).

Clientseitig, serverseitig oder beides? Beide. Sie können Änderungen im WYSIWYG-Editor vornehmen und den integrierten Code-Editor von Kameleoon verwenden, um CSS und JS zu bearbeiten.

Dienen sie Enterprise? Ja. Lexus, Unity, Providence, Toyota und Rakuten verwenden Kameleoon.

Bieten sie Kundensupport an? Ja. Sie können sogar einen dedizierten Account Manager bekommen, der Sie bei komplizierten Projekten unterstützt.

Interessieren sie sich für den Datenschutz? Sie sind HIPAA-, GDPR- und CCPA-konform. Sie haben auch eine flexible Einwilligungsverwaltungsfunktion, um Ihre Datenschutzrichtlinie für jeden A/B-Test anzupassen.

Interessieren sie sich für die Welt? Ich konnte keine Hinweise auf eine Wohltätigkeitsorganisation finden, die sie sponsern, oder auf Umweltbelange, die sie unterstützen. Es ist jedoch interessant zu wissen, dass sie zwei lebende Chamäleons in ihren Büros in Deutschland und Frankreich haben.

TrustRadius-Überprüfung :

So sieht dieses MVT-Testtool in Aktion aus:

6. Optimiert

G2-Bewertung: 4,3/5,0 (109 Bewertungen)

Preisgestaltung : Sie verwenden ein benutzerdefiniertes Preismodell. Aber Splitbase prognostiziert, dass sie mindestens 36.000 US-Dollar pro Jahr kosten.

Bieten sie einen kostenlosen Plan an? Nein. Sie haben den kostenlosen Plan 2018 eingestellt.

Kosten pro 100.000 Besucher : N/A

Vorteile:

• Führen Sie unbegrenzte Experimente durch
• Saubere und einfach zu bedienende Benutzeroberfläche
• Die Widget-Funktion macht Spaß
• Große Auswahl an erweiterten Targeting-Optionen verfügbar
• Zuverlässiger Kundensupport

Nachteile:

• Gibt keine automatischen Einblicke in die Publikumsleistung (insbesondere bei einem aktiven Test)
• Die Integration von Google Analytics ist komplex und erfordert Codierung
• Optimizely-Snippets erhöhen normalerweise die Ladezeit der Seite

Multivariate Testfunktionen: Full Factorial, Partial und Taguchi.

Clientseitig, serverseitig oder beides? Beide. Optimizely bietet clientseitiges Experimentieren über ein Javascript-Snippet und serverseitiges Experimentieren über Entwickler-SDKs.

Frequentist oder Bayesianer? Die Stats Engine von Optimizely verwendet sequentielles Experimentieren, nicht die Experimente mit festem Horizont, die Sie auf anderen Plattformen sehen würden.

Unterstützt es Full Stack? Ja.

Core Web Vitals Bereit? Ja, dieses Tool lädt schnell.

Hat ML oder KI? Ja.

Dienen sie Enterprise? Aufgrund der Preisgestaltung richtet es sich hauptsächlich an Unternehmen. Marken wie Microsoft, IBM, HP, eBay, Yamaha, Pizza Hut und Atlassian verwenden es.

Bieten sie Kundensupport an? Ja. Sie verfügen über eine Reihe von Ressourcen, die Benutzern helfen, aus der Klemme zu kommen, und Telefonnummern, unter denen sie rund um die Uhr Hilfe rufen können.

Interessieren sie sich für den Datenschutz? Sie berücksichtigen alte und neue Datenschutzgesetze und integrieren dies in ihre Produkte, sodass Sie sich als Benutzer keine Gedanken über die Einhaltung machen müssen.

Interessieren sie sich für die Welt? Die meisten neuen Mitarbeiter werden am zweiten Tag als Freiwillige in die Gemeinde entsandt.

TrustRadius-Überprüfung :

So sieht dieses multivariate Testtool in Aktion aus:

7. SiteSpect

G2-Bewertung: 4,4/5,0 (50 Bewertungen)

Preise : Sie müssen SiteSpect kontaktieren, um einen auf Ihre Bedürfnisse zugeschnittenen Preis zu erhalten.

Bieten sie einen kostenlosen Plan an? Ja, sie bieten eine kostenlose Testversion an.

Kosten pro 100.000 Besucher: N/A

Vorteile:

• Unterstützt alle Auszeichnungssprachen (HTML, WML, XML und JSON), Stylesheets und Skriptsprachen
• Kein Javascript-Tag bedeutet keine Inhaltsaktualisierung oder Flimmern
• Vielseitig genug, um fast jedes Szenario zu testen
• Nicht-intrusives Testen
• Integriert sich in Analysetools
• Die Produktionsversion Ihres Codes muss nicht geändert werden

Nachteile:

• Technisches Wissen, das zur Durchführung von Tests erforderlich ist
• Fügt einen zusätzlichen Hop hinzu, der Ihre Website etwas verlangsamen könnte
• Die Reporting-Schnittstelle könnte besser sein

Multivariate Testfunktionen: Full Factorial und Fraction Factorial (Das Tool empfiehlt den Wechsel zu Fractional, wenn mehr als 128 Kombinationen getestet werden).

Clientseitig, serverseitig oder beides? Beide.

Frequentist oder Bayesianer? SiteSpect verwendet beim Vergleich von Variationen mit Kontrollen einen zweiseitigen t-Test, um den Punkt zu bestimmen, an dem sich Konfidenzintervalle nicht überschneiden und somit Signifikanz anzeigen. SiteSpect berechnet auch den Z-Score und verwendet ihn in Berichten.

Unterstützt es Full Stack? Ja.

Core Web Vitals Bereit? Ja. Dieses Tool ist unglaublich schnell.

Hat ML oder KI? Ja.

Dienen sie Enterprise? Ja. Staples, PetSmart, AmericanGirl und Urban Outfitters verwenden SiteSpect.

Bieten sie Kundensupport an? Der Kundensupport ist per Telefonanruf und E-Mail für kostenlose und kostenpflichtige Versionen verfügbar. In ihrer Wissensdatenbank sind auch vorab aufgezeichnete Webinare verfügbar.

Interessieren sie sich für den Datenschutz? Tun sie. Sie sind PCI DSS 3.2-zertifiziert; GDPR-, CCPA- und Privacy Shield-konform und HIPAA-fähig.

Interessieren sie sich für die Welt? SiteSpect ist dafür bekannt, seit 2014 einige Wohltätigkeitsprojekte zu sponsern.

TrustRadius-Überprüfung :

So sieht dieses multivariate Testtool in Aktion aus:

8. VWO-Tests

G2-Bewertung: 4.2/5.0 (239 Bewertungen)

Preise : Beginnt bei 99 $/Monat. Alles andere erfordert eine individuelle Preisgestaltung nach Ihren Bedürfnissen. Und Sie müssen sich für Ihren an das VWO-Verkaufsteam wenden.

Bieten sie einen kostenlosen Plan an? Ja, Sie können mit einer 30-tägigen kostenlosen Testversion beginnen.

Kosten pro 100.000 Besucher: ~500 $

Vorteile:

• Flexible Anpassungsoptionen, um Ihren Test an viele Szenarien anzupassen
• Einfache Planung und Durchführung von Tests mit wenig Programmierkenntnissen
• Engagiertes Support-Team, das Sie durch alle Herausforderungen führt
• Hat die Fähigkeit, langfristige Ziele zu verfolgen
• Fähigkeit, Tests zusammen zu gruppieren
• Nützliche Aufzeichnungen zur Beobachtung von Benutzern und zur Fehlerbehebung

Nachteile:

• Es gibt eine Lernkurve, um die volle Funktionalität von VWO zu verstehen
• Preispläne ändern sich häufig
• Sie testen nur die Clientseite

Multivariate Testfunktionen: Vollfaktoriell (obwohl Sie Traffic-Prozentsätze pro Seitenvariation einrichten können).

Clientseitig, serverseitig oder beides? Nur Client-Seite.

Dienen sie Enterprise? Ja. Zu ihren Unternehmenskunden gehören Ubisoft, AMD, Penn Foster, Optimeria und die IMB Bank.

Bieten sie Kundensupport an? Ja, Sie können sie anrufen, wenn Sie Hilfe benötigen. Oder konsultieren Sie ihre Ressourcenseite.

Interessieren sie sich für den Datenschutz? Ja. Sie halten sich an die wichtigsten Datenschutzgesetze und -vorschriften, speichern jedoch einige Besucherdaten auf ihren Servern.

Interessieren sie sich für die Welt? Kürzlich twitterte der Vorsitzende von Wingify (der Marke hinter VWO), Paras Chopra, seine Unterstützung für einige COVID-Hilfsinitiativen, darunter die Einrichtung einer COVID-Pflegeeinrichtung mit 10 Betten in Delhi.

TrustRadius-Überprüfung :

So sieht dieses MVT-Testtool in Aktion aus:

9: Webtrends optimieren

G2-Bewertung: 4,9/5,0 (107 Bewertungen)

Preise : Beginnt bei 212 $ pro Monat, kann aber je nach Bedarf niedriger oder höher sein. Sie haben eine sehr flexible Preisstruktur, aber Sie müssen mit den Verkaufsteams sprechen, um Ihren Preis zu bestätigen.

Bieten sie einen kostenlosen Plan an? Ja, für weniger als 1.500 Sitzungen pro Monat.

Kosten pro 100.000 Besucher: N/A

Vorteile:

• Benutzerfreundlich, geeignet für nicht-technische Benutzer mit einem WYSIWYG-Editor
• Unterstützt die Zusammenarbeit im Team
• Gibt datengesteuerte Einblicke
• Das Support-Team zeigt echtes Interesse an Ihrem Erfolg
• Reibungslose Integration mit Ihrer Website und bestehenden Tools
• Klare und unkomplizierte Berichte

Nachteile:

• Die Benutzeroberfläche kann für neue Benutzer schwierig zu verwenden sein
• Es braucht Zeit, selbst einfache Tests einzurichten
• Die Kosten für den vollen Service sind auf der hohen Seite

Multivariate Testfunktionen: Full Factorial und Fractional Factorial.

Clientseitig, serverseitig oder beides? Beide. Sie verfügen über einen visuellen Editor ohne Proxy für clientseitiges Rendering und serverseitige Testfunktionen.

Dienen sie Enterprise? Microsoft, London North Eastern Railway, Marks and Spencer und Virgin Wines verwenden Optimize.

Bieten sie Kundensupport an? Ja. Sie erhalten Zugang zu technischem Support, Schulungen und Ihrem eigenen Berater für Conversion-Optimierung.

Interessieren sie sich für den Datenschutz? Sie sind vollständig DSGVO-konform.

Interessieren sie sich für die Welt? Im April 2021 hat sich Webtrends Optimize bei einer GoFundMe-Veranstaltung zu 100 Liegestützen pro Tag herausgefordert, um Spenden für Cancer Research UK zu sammeln. Und sie haben 2020 etwas Ähnliches namens Xmas Charity Donations gemacht. Sie kümmern sich also darum.

Überprüfung des Vertrauensradius :

Obwohl es Bewertungen auf Trust Radius für dieses Tool gibt, war die letzte im Dezember 2019 und davor 2018. Da sich ein Tool und der Service ändern können, habe ich ihre neueste Bewertung von G2 gezogen.

So sieht dieses multivariate Testtool in Aktion aus:

Fazit

Da haben Sie es also.

Unsere Liste der besten A/B-Testtools, die 2021 multivariate Tests anbieten. Wir zeigen auch, welche Methode sie zum Testen verwenden, ihre Funktionen, Preise und Bewertungen.

Jetzt können Sie die besten multivariaten Tools für diese verschiedenen Parameter vergleichen und eines auswählen, das für Ihre Testanforderungen am besten geeignet ist.