Sollten Sie simultane Experimente durchführen? Ein Leitfaden zur Vermeidung widersprüchlicher Ergebnisse

In der Optimierungswelt gibt es einige Debatten darüber, ob gleichzeitige Experimente durchgeführt werden sollen oder nicht. Einige glauben, dass die gleichzeitige Durchführung von A/B-Tests Ihre Ergebnisse verfälscht und ungenaue Daten liefert. Andere argumentieren, dass die gleichzeitige Ausführung von A/B-Erfahrungen auf verschiedenen Seiten Ihrer Website Ihnen helfen kann, mehr Dinge zu testen und Gewinnstrategien schneller zu identifizieren.

Also, was ist richtig?

In diesem Blogbeitrag untersuchen wir die Vor- und Nachteile simultaner Experimente – und helfen Ihnen bei der Entscheidung, welcher Ansatz für Ihr Optimierungsprogramm am besten geeignet ist.

Nach der Lektüre dieses Blogartikels werden Sie in der Lage sein, die folgenden Fragen zu beantworten:

• Kann ich gleichzeitig geteilte URL-Erfahrungen ausführen?
• Kann ich gleichzeitig A/B-Erlebnisse ausführen?
• Kann ich gleichzeitig ein A/A-Erlebnis und ein A/B-Erlebnis durchführen?

Die kurze Antwort lautet ja , mehrere Erlebnisse können gleichzeitig auf einer einzigen Seite oder einem Satz von Seiten ausgeführt werden. Beachten Sie jedoch, dass das Bucketing in einem Erlebnis Auswirkungen auf Daten aus einem anderen gleichzeitig auftretenden Erlebnis haben kann.

Wie kommt es zu Erfahrungsüberschneidungen und sollten Sie sich Sorgen machen?

Bei der Durchführung simultaner Experimente ist eines zu beachten. In manchen Fällen können zwei Veränderungen interagieren, was zu einer anderen Wirkung auf das Verhalten führt, wenn sie kombiniert werden als wenn sie isoliert sind. Dies kann vorkommen, wenn Experimente auf derselben Seite, mit demselben Benutzerfluss usw. ausgeführt werden.

Sehen wir uns einige Beispiele an, wo es zu Überschneidungen von Erfahrungen kommen kann und ob dies als Problem angesehen werden sollte.

Testen des gleichen Elements

Ein Beispiel für einen A/B-Test, den Sie durchführen können, ist das Ändern des Designs Ihrer Produktseiten, um Prämienfunktionen hervorzuheben, wie z. B. ein kostenloses Rückgaberecht und eine kostenlose Lieferung.

Einer unserer Kunden hat genau dieses Szenario getestet. Basierend auf Daten ihrer Kundendienstabteilung stellten sie die Hypothese auf, dass die Kunden die kostenlose Rückgaberichtlinie der Marke nicht kannten, weil die Funktion auf den Produktseiten nicht ausreichend sichtbar war. Anschließend führten sie einen A/B-Test durch, der die Funktion deutlicher hervorhob, und maßen, wie die Kunden reagierten.

So sehen Original und Variante aus:

Allerdings gestaltete sich die Durchführung des Tests etwas aufwändiger, da Änderungen nicht auf jeder Produktseite vorgenommen werden sollten. Einige Produkte waren nicht für kostenlose Rücksendungen berechtigt, bestimmte Artikel im Angebot konnten nicht geändert werden usw. Aus diesen Gründen entschieden sie sich, parallel eine weitere A/B-Erfahrung durchzuführen, bei der dasselbe Element geändert und eine Kopie des Haftungsausschlusses für viele von ihnen hinzugefügt wurde Diese Seiten sagen: „Artikel ist vom Umtausch ausgeschlossen“.

Wie Sie sehen können, wirken sich die beiden A/B-Erfahrungen auf dasselbe Website-Element aus und verursachen daher eine Art Überschneidung in den Ergebnissen, was es schwierig macht, klare Schlussfolgerungen zu ziehen.

Testen auf derselben Seite

Ein weiteres Beispiel für ein A/B-Erlebnis war, als ein Kunde von uns seine Produktseiten optimierte, um die Zahl der Besuche zur Bestellung zu erhöhen.

Als sie jedes Element der Produktseiten analysierten und die Zielkonversionen verfolgten, stellten sie fest, dass die Links der Hauptnavigationsleiste die meisten Klicks erhielten, insbesondere „Jetzt einkaufen“. Unser Kunde hat erkannt, wie wichtig es ist, mehr qualifizierten Traffic auf Kategorieseiten zu leiten, anstatt ihn auf der Startseite herumwandern zu lassen.

Infolgedessen entschied sich der Kunde, die Rubrik „Jetzt einkaufen“ durch andere Kategorien wie „Supersparer“, „Basar“ usw. zu ersetzen. Außerdem wurde der Abschnitt „Jetzt einkaufen“ auf die linke Seite der Website verschoben, um die Seite visuell ansprechender zu gestalten und qualifizierte Besucher anzuziehen.

So sah die Produktseite zuerst aus:

In der Zwischenzeit wurde auf den Produktseiten ein weiteres A/B-Experiment durchgeführt, um festzustellen, ob eine andere Farbe des „Jetzt kaufen“-Buttons zu besseren Conversions führen würde.

Da diese beiden A/B-Erfahrungen dieselben Elemente auf derselben Seite betreffen, ist eine gewisse Überschneidung in den Ergebnissen unvermeidlich.

Testen von Benutzern, die am selben Trichter/Flow teilnehmen

Beim Testen von Benutzern, die am selben Trichter teilnehmen, kann es auch zu Überschneidungen von Erfahrungen kommen. Die meisten Websites treiben Conversions durch mehrere Trichter voran. Während der Hauptfokus möglicherweise auf Käufen liegt, kann die Kontoerstellung oder -akquisition auch eine wichtige treibende Kraft im Geschäft sein.

Das Ausführen von Erfahrungen auf einer Produktseite wirkt sich wahrscheinlich auf die Kaufkonversion aus. Das Testen des Formularlayouts auf einer Kontoerstellungsseite kann jedoch helfen, diesen Trichter zu verbessern. Akquisitionstests umfassen alles, von der Steigerung des Traffics auf die Website bis hin zum Sammeln von E-Mail-Adressen für Marketingzwecke.

Erfahrungen auf denselben Seiten der Website zu haben, kann dazu führen, dass sie sich überschneiden, was zu Fehlern führt. Die Ergebnisse werden wahrscheinlich beeinflusst, wenn die Erfahrungsziele auf dieselben Trichter ausgerichtet sind.

Angenommen, Sie versuchen, mehr abgeschlossene Anmeldungen zu erhalten. Bei der Landung auf Ihrer Website werden Benutzer gebeten, sich zu registrieren:

Um einen Conversion-Trichter für Anmeldungen einzurichten, könnten Sie die folgenden Ereignisse verfolgen:

• Anzahl der Benutzer bei der Anmeldung
• Anzahl der abgeschlossenen Anmeldungen
• Anzahl der Aufrufe des Homepage-Bildschirms

Sie können dann mehrere Hypothesen formulieren, wie Sie den Trichter verbessern können, indem Sie die folgenden Änderungen testen:

1. Fügen Sie Onboarding zum Anmeldeprozess hinzu
2. Kürzen Sie das Anmeldeformular, um es benutzerfreundlicher zu machen
3. Registrierung vollständig entfernen

In diesem Fall ist es jedoch nicht möglich, die genauen Auswirkungen einer Änderung aus A/B-Tests zu bestimmen, da die A/B-Erfahrungen denselben Trichter betreffen, sodass sich ihre Ergebnisse teilweise überschneiden.

Site-weite Erlebnisse ausführen

Es kann vorkommen, dass Sie mit einem Element experimentieren müssen, das auf allen Seiten erscheint. Angenommen, Sie möchten die Farbe oder Schriftgröße des Call-to-Action in der Fußzeile testen, um zu sehen, wie viele Conversions Sie erzielen können.

Der Prozess ist mit Convert einfach zu implementieren: Fügen Sie einfach alle Seiten zu Ihrem Targeting hinzu.

Das ist alles!

Websiteweites Targeting wirkt sich jedoch auf andere A/B-Tests aus, die auf diesen Seiten ausgeführt werden, was zu einer Überschneidung der Erfahrung führt.

Testen derselben Zielgruppe/Besucher

Betrachten Sie die folgende Fallstudie: Sie möchten zwei Aspekte Ihres E-Commerce-Systems bewerten, also entwickeln Sie zwei A/B-Tests für mobile Benutzer und Desktop-Benutzer.

1. Sie versuchen herauszufinden, ob es mehr Klicks gibt, wenn Sie die Schaltfläche „In den Einkaufswagen“ rot statt blau machen.
2. Sie testen einen neuen Checkout-Prozess, der die Anzahl der Schritte von fünf auf zwei reduziert, um zu sehen, ob Sie mehr Anmeldungen erhalten.

Wenn beide Aktionen zum gleichen Erfolgsereignis (einer abgeschlossenen Transaktion) führen, kann es schwierig sein festzustellen, ob der rote Knopf oder das bessere Checkout-Erlebnis die Conversions auf Desktop- und Mobilgeräten gesteigert hat.

Um sich überschneidende Ergebnisse und andere Probleme bei der Erlebnisbereitstellung zu vermeiden, sollten Sie die oben genannten Tests für unterschiedliche Zielgruppen durchführen (z. B. nur für Mobilgeräte oder nur für Desktops).

Der einzige Nachteil von Segmentierungstests besteht darin, dass Ihre Verkehrszahlen niedriger sind, was sich auf die Dauer Ihres Tests auswirken kann. Da es jedoch auf Personalisierungstechniken basiert, ist dies die bevorzugte Methode, um Erfahrungsüberschneidungen beim A/B-Testen zu vermeiden. Wenn Segmente sorgfältig ausgewählt werden, ist ihr Einfluss auf das Gesamterlebnis minimal.

Ausführen eines Erlebnisses, das einen erheblichen Einfluss auf ein Ziel haben kann, das mit anderen Erlebnissen geteilt wird

Es versteht sich von selbst, dass, wenn Ihre Ziele in allen Tests ähnlich sind, Ihre Ergebnisse um dieses individuelle Ziel herum zentriert werden. Damit jede Erfahrung ihren Zweck erfüllen kann, dürfen die jeweiligen Ziele nicht miteinander in Konflikt geraten.

Strategien zum Ausführen erfolgreicher Tests

Es gibt keine Einheitslösung, wenn es darum geht, Tests durchzuführen, die sich nicht überschneiden. Während Sie sich durch jede Phase Ihrer Experimentierreise bewegen, werden Ihre Bedürfnisse bestimmen, wie Sie vorgehen.

Um Ihnen zu helfen, eine fundierte Entscheidung zu treffen, gehen wir die gängigsten Strategien durch, die Sie verwenden können, um mit Überschneidungen umzugehen.

1. Gleichzeitige Erfahrungen ohne Überschneidung (isoliert)

Die einfachste Strategie ist normalerweise die, die Sie bisher verwendet haben: isolierte Erfahrungen, die gleichzeitig ausgeführt werden.

Wie wir oben besprochen haben, haben isolierte Erfahrungen keine Überschneidung und die Ergebnisse einer Erfahrung werden die Ergebnisse einer anderen nicht beeinflussen.

Die folgenden Fälle erfordern diese Strategie:

• Wenn eine Überlappung technisch unmöglich ist : Wenn Sie auf eine Weise testen, die alle oben genannten möglichen Überlappungskombinationen ausschließt.
• Wenn die Benutzererfahrung beeinträchtigt werden kann : Einige Kombinationen von Erfahrungen können die Benutzererfahrung ruinieren, daher müssen diese Erfahrungen separat ausgeführt werden.
• Wenn das primäre Ziel eine präzise Metrik ist und daher nur vereinzelte Experimente sinnvoll sind.

In diesen Fällen kann sich ein Erlebnis nicht auf das andere auswirken, wenn Sie zwei Erlebnisse gleichzeitig auf zwei verschiedenen Seiten mit zwei unterschiedlichen Zielen ausführen. Besucher, die an Erlebnis 1 teilnehmen, nehmen nicht an Erlebnis 2 teil und umgekehrt.

Abgesehen von den oben genannten Fällen ist es aus Effizienzsicht nicht sinnvoll, Erfahrungen in gleichzeitig isolierten Bahnen auszuführen. Das Ausführen von zwei Erlebnissen in separaten Bahnen dauert genauso lange wie das Ausführen nacheinander für eine beliebige Anzahl von Benutzern oder Sitzungen. Wenn Sie jeden Monat 10.000 Benutzer haben und zwei Erlebnisse ausführen müssen, von denen jedes 5.000 Personen erfordert, dauert es immer noch einen Monat, bis das Erlebnis abgeschlossen ist.

Außerdem hat diese Strategie einen offensichtlichen Nachteil: Lauferfahrungen in isolierten Bahnen werden zweifellos die Untersuchung möglicher Wechselwirkungen zwischen Varianten verhindern.

Es wäre dasselbe, als würde man ein Experiment mit Desktop-Benutzern durchführen, bevor man die Gewinnervariante sowohl Desktop- als auch mobilen Benutzern zur Verfügung stellt, wenn es separate Testwege gäbe. Die Auswirkungen auf mobile Benutzer können die gleichen sein wie auf Desktop-Benutzer, aber es ist auch möglich, dass es einen beträchtlichen Unterschied gibt.

2. Nicht gleichzeitige (sequentielle) Erfahrungen

Wenn es keine Möglichkeit gibt, die Erfahrungsüberschneidung zu vermeiden, sollten Sie die Verwendung sequenzieller Erfahrungen in Betracht ziehen. Dies bedeutet, dass jede Erfahrung, die sich möglicherweise mit einer anderen überschneidet, nacheinander ausgeführt werden sollte.

Sie können die Konvertierungsspalten „Gestartet/Geplant“ und „Gestoppt“ verwenden, um einen Überblick über Ihre sequentiellen Tests zu erhalten:

Diese Strategie kann mit einer Priorisierungs-Roadmap noch effektiver gestaltet werden.

PIE- und ICE-Frameworks sind zwei effektive Optionen, um Erfahrungen für Ihr Team zu priorisieren.

Das PIE-Framework (entwickelt von Widerfunnel) ist eine beliebte Priorisierungsmethode, die Tests anhand von drei Kriterien einstuft: Potenzial, Wichtigkeit und Einfachheit. Mithilfe der PIE-Punktzahl können Sie jeden Test basierend auf der durchschnittlichen Punktzahl jedes dieser Kriterien ordnen und priorisieren.

Das Impact, Confidence, and Ease (ICE)-Modell (entwickelt von Sean Ellis von Growthhackers) ist PIE sehr ähnlich, außer dass es einen Vertrauensfaktor anstelle von „Potenzial“ verwendet.

Wenn Sie keine Roadmap haben, werden Sie nur eingeschränkt in der Lage sein, das Beste aus Ihrem Traffic und Ihren Ressourcen zu machen.

So kann sich beispielsweise ungewollt ein Stau an Homepage-Ideen ansammeln, die nach und nach umgesetzt werden müssen. Wenn dieser Engpass weiterhin besteht, werden Sie möglicherweise in ein Wartespiel gezwungen, anstatt gleichzeitig andere Teile Ihrer Website testen zu können. Oder Sie führen stattdessen mehrere Tests gleichzeitig durch, ohne mögliche Überlappungseffekte zu berücksichtigen, die zu verdächtigen Ergebnissen führen würden.

3. Gleichzeitige Erfahrungen mit Überschneidung

Nachdem Sie Ihre Erfahrungen analysiert haben, sind Sie zu dem Schluss gekommen, dass sie sich überschneiden; daher ist es notwendig, sie zu isolieren. Wie machst du das? Es ist einfach! Führen Sie den ersten Test durch, dann den zweiten, richtig? Wie das funktioniert, erklärt der folgende Abschnitt.

Stellen Sie sich jedoch vor, Sie möchten während der Weihnachtszeit oder einer Ferienzeit ein paar Tests durchführen, da Sie aus irgendeinem Grund dann mehr Besucher erhalten und die Erfahrungen einen größeren Einfluss haben können. Dann was? Sind Sie in der Lage, alle Ihre Erfahrungen nacheinander auszuführen? Offensichtlich nein.

Mit den folgenden Strategien können Sie Ihre Erlebnisse gleichzeitig ausführen, ohne sich Gedanken über Überschneidungen machen zu müssen.

a. A/B/N-Erfahrungen

Die erste Strategie in dieser Kategorie ist das A/B/N-Testen, bei dem mehr als zwei Varianten gleichzeitig getestet werden. A/B/N bezieht sich nicht auf eine dritte Variante, sondern auf eine beliebige Anzahl zusätzlicher Varianten: A/B/C, A/B/C/D und alle anderen erweiterten A/B-Tests.

Die Prinzipien des A/B/N-Tests bleiben unabhängig von der Anzahl zusätzlicher Variationen gleich: Nutzer in Gruppen einteilen, Variationen (typischerweise von Landingpages oder anderen Webseiten) Gruppen zuweisen, die Änderung einer Schlüsselmetrik (typischerweise Conversion-Rate) überwachen ), untersuchen Sie die Erfahrungsergebnisse auf statistische Signifikanz und setzen Sie die Gewinnervariante ein.

Das Experimentieren mit zu vielen Variationen (wenn nur eine ausgewählt werden kann) kann den Traffic auf der Website jedoch weiter aufteilen. Es kann daher den Zeit- und Verkehrsaufwand erhöhen, der erforderlich ist, um ein statistisch signifikantes Ergebnis zu erzielen, und „statistisches Rauschen“ erzeugen.

Auch bei der Durchführung mehrerer A/B/N-Experimente ist es wichtig, das große Ganze nicht aus den Augen zu verlieren. Es gibt keine Garantie dafür, dass verschiedene Variablen gut zusammenarbeiten, nur weil sie in ihren Experimenten am besten abgeschnitten haben.

Erwägen Sie in solchen Fällen die Durchführung multivariater Tests, um alle Variationen zu testen und sicherzustellen, dass Verbesserungen bis in die Metriken der obersten Ebene übernommen werden.

b. Multivariate Experiences (MVT): Kombinieren Sie viele Erfahrungen in einem einzigen Test

Bei einem multivariaten Erlebnis (MVT) werden zahlreiche Kombinationen verschiedener Änderungen gleichzeitig ausgeführt.

Um zu bestimmen, welches Element aus allen möglichen Kombinationen den größten Einfluss auf die Ziele hat, müssen viele Elemente gleichzeitig auf derselben Seite geändert werden.

Im Gegensatz zu A/B/N-Tests können Sie beim multivariaten Testen feststellen, welche Kombination von Änderungen den Anforderungen Ihrer Besucher am besten entspricht. Mit multivariaten Tests können Sie bestimmen, welche Kombination von Variablen am besten abschneidet, wenn mehrere Variablen geändert werden.

Wenn Sie beispielsweise zwei verschiedene Überschriften, zwei Bilder und zwei Schaltflächenfarben auf der Seite testen möchten, sieht Ihr MVT-Test folgendermaßen aus:

Der obige MVT-Test testet verschiedene Elemente (Überschrift, Farbe und Bild) gleichzeitig in verschiedenen Kombinationen.

So richten Sie ein MVT in Convert Experiences ein

Wählen Sie zunächst auf der Registerkarte „Erfahrungen“ in Ihrem Convert-Konto „Neue Erfahrung“ aus:

Jetzt können Sie Ihre Erfahrung benennen. Lassen Sie uns „My first MVT“ verwenden, wählen Sie die multivariate Option und klicken Sie auf Continue:

Es gibt Abschnitte und Variationen in einem MVT. Abschnitte sind die Stellen auf Ihrer Seite, an denen Sie eine oder mehrere Varianten testen möchten.

Im Folgenden finden Sie Beispiele für Abschnitte:

• Logo
• Überschrift
• Erster Paragraph
• Anmeldeformular

Es gibt auch Variationen (in diesen Abschnitten), die wie folgt aufgebaut sind:

• Abschnitt: Logo
  
  
  • Original-Logo
  • Variante 1) Logo links
  • Variante 2) Logo rechts

• Abschnitt: Überschrift
  
  
  • Ursprüngliche Überschrift
  • Variante 1) Überschrift „Search Now My Friend“
  • Variante 2) Überschrift „Geben Sie der Suche eine Chance“
• Abschnitt: Erster Absatz
  
  
  • Ursprünglicher erster Absatz
  • Variante 1) erster Absatz „rot“
  • Variante 2) erster Absatz „blau“
• Abschnitt: Anmeldeformular
  
  
  • Original Opt-in-Formular
  • Variante 1) Anmeldeformular mit zusätzlichem Feld Nachname
  • Variante 2) Opt-In-Formular mit Checkbox „Whitepaper“
  • Variante 3) Opt-in-Formular schwebend links
  • Variante 4) Anmeldeformular „Frauengesicht“

So wird die obige Struktur im Convert Visual Editor angezeigt.

Die URL für die Seite, die Sie testen möchten, wird im Visual Editor geladen. Danach können Sie die erste Variante bearbeiten. Das Ändern von Inhalten ist so einfach wie das Klicken auf einen orange hervorgehobenen Bereich. Durch Klicken auf das grüne Pluszeichen neben den Variantennamen können Sie neue Varianten hinzufügen.

Sie können zum Beispiel:

• Klicken Sie auf ein Element, um es zu ändern (Elemente werden mit orangefarbenen Rändern hervorgehoben).
• Wählen Sie im Menü eine Aktion aus, z. B. das Ändern einer Bildquelle

Die Zusammenfassung der MVT-Erfahrung sieht folgendermaßen aus:

MVT ist jedoch mit einigen Einschränkungen verbunden.

Die erste Einschränkung bezieht sich auf die Anzahl der Besucher, die erforderlich sind, um die Ergebnisse Ihrer multivariaten Erfahrung statistisch signifikant zu machen.

Die Erhöhung der Anzahl der Variablen in einem multivariaten Test kann zu vielen Variationen führen. Im Gegensatz zu einem Standard-A/B-Test, bei dem 50 % des Datenverkehrs der Originalversion und 50 % der Variation zugewiesen werden, weist ein multivariater Test jeder Kombination nur 5, 10 oder 15 % des Datenverkehrs zu. In der Praxis führt dies zu längeren Testzeiten und der Unfähigkeit, die für eine Entscheidung erforderliche statistische Signifikanz zu erreichen.

Eine weitere Einschränkung ist die Komplexität von MVTs. Ein A/B-Test ist oft einfacher einzurichten und zu analysieren als ein multivariater Test. Selbst das Erstellen eines einfachen multivariaten Tests ist zeitaufwändig und es ist zu leicht, dass etwas schief geht. Es kann einige Wochen oder sogar Monate dauern, bis sich ein kleiner Fehler im Experience-Design zeigt.

Wenn Sie nicht viel Testerfahrung haben – wenn Sie eine Vielzahl verschiedener Arten von Tests auf verschiedenen Websites durchführen – sollten Sie einen multivariaten Test nicht einmal in Betracht ziehen. Vielleicht bist du mit der nächsten Strategie, die ich behandle, besser dran, Erfahrungen, die sich gegenseitig ausschließen.

c. Sich gegenseitig ausschließende Erfahrungen

Sie können Erlebnisse mit Überschneidungen auch gleichzeitig ausführen, indem Sie sicherstellen, dass sie sich gegenseitig ausschließen. Denken Sie daran, dass Sie je nach A/B-Testplattform möglicherweise Erfahrungen machen können, die sich gegenseitig ausschließen. Im Wesentlichen müssen Sie Ihren Datenverkehr in so viele Gruppen aufteilen, wie Erlebnisse ausgeführt werden, und sicherstellen, dass jede Gruppe nur an einem Erlebnis teilnimmt.

Convert ermöglicht gegenseitige Ausschließlichkeit, und unten zeigen wir, wie es konfiguriert wird, damit Besucher, die Erlebnis A sehen, Erlebnis B nicht sehen.

Die Reihenfolge, in der Erlebnisse ausgeführt werden:

Der erste Schritt bei der Einrichtung besteht darin, zu verstehen, wie Convert-Erfahrungen ausgeführt werden. Erlebnisbedingungen werden nacheinander auf einer Seite ausgewertet, wobei ihre Erlebnis-ID berücksichtigt wird.

Das Erlebnis mit der niedrigsten ID wird zuerst ausgewertet, und nachdem alle seine Bedingungen erfüllt sind, wird ein neues Erlebnis initiiert. Im Screenshot unten läuft also zuerst das Erlebnis mit der ID 100243925 und der Rest folgt.

Zwei sich gegenseitig ausschließende Erfahrungen

Diese Schritte müssen befolgt werden, wenn Sie zwei Erlebnisse gleichzeitig ausführen und sie sich gegenseitig ausschließen möchten:

1. Stellen Sie die Verkehrsverteilung bei der ersten Erfahrung auf unter 100 % ein

Stellen Sie das Erlebnis mit der niedrigsten ID so ein, dass es weniger als 100 % des Datenverkehrs verwendet. Sie können dies im Abschnitt Traffic-Verteilung der Erfahrungszusammenfassung tun.

2. Legen Sie die Zielgruppenbedingung für das zweite Erlebnis auf „Erfahrung im Eimer ist Nein“ fest

Stellen Sie dann in der zweiten Erfahrung eine Publikumsbedingung von „Eimerte Erfahrung ist Nein“ ein. Diese finden Sie, wenn Sie eine neue Zielgruppe hinzufügen (unter Besucherdaten). Diese Bedingung bedeutet, dass der Besucher nur getestet wird, wenn er noch nie zuvor getestet wurde. Dadurch wird verhindert, dass derselbe Besucher zweimal getestet wird.

Viele sich gegenseitig ausschließende Erfahrungen

Wenn Sie mehr als zwei Erfahrungen haben, die sich gegenseitig ausschließen müssen, können Sie die folgenden Schritte ausführen:

1. Traffic-Verteilung für alle Erlebnisse auf unter 100 % festlegen

Stellen Sie alle parallelen Erfahrungen so ein, dass nur weniger als 100 % des Datenverkehrs verwendet werden. Sie können dies im Abschnitt Traffic-Verteilung der Erfahrungszusammenfassung tun.

2. Legen Sie eine erweiterte Zielgruppe basierend auf dem Besucher-Cookie fest

Verwenden Sie dann in allen Erlebnissen mit Ausnahme des Erlebnisses mit der niedrigsten ID eine erweiterte Zielgruppe basierend auf Besucher-Cookies, um Besucher auszuschließen, die in den anderen parallelen Erlebnissen enthalten waren.

Nehmen wir zum Beispiel an, wir haben diese 4 Erfahrungen:

1. Erlebnis A mit ID 123456, Traffic-Verteilung 80 %
2. Erfahrung B mit ID 123457, Traffic-Verteilung 50 %
3. Erlebnis C mit ID 123458, Verkehrsverteilung 30 %
4. Erlebnis D mit ID 123459, Verkehrsverteilung 75 %

Erlebnis B sollte dieses fortgeschrittene Publikum haben:

Experience C sollte dieses fortgeschrittene Publikum haben:

Und schließlich sollte Experience D dieses fortgeschrittene Publikum haben:

Wie Sie oben sehen können, ist der Cookie-Wert wie folgt formatiert:

xxxxxx.{v.1-

Dies liegt daran, dass, wenn Sie versuchen, Besucher auszuschließen, die in einem Erlebnis enthalten waren, das mit weniger als 100 % Verkehr konfiguriert wurde, ein Cookie trotzdem geschrieben wird, wenn der Besucher die Site-Area- und Audience-Bedingungen erfüllt, der Besucher dies jedoch aufgrund der Traffic-Verteilung nicht war in dieser Erfahrung enthalten.

Das Konvertierungs-Cookie _conv_v sieht ungefähr so ​​aus:

exp:{12345678.{v.1-g.{}}}

Beachten Sie, dass es im obigen Format keinen Variationswert gibt – nur v.1 – da der Besucher nicht in das Erlebnis einbezogen wurde. Wir verfolgen dies jedoch mit Cookies, damit der Besucher beim nächsten Besuch der Seite wieder von der gleichen Erfahrung ausgeschlossen wird.

Fazit

Die gleichzeitige Ausführung mehrerer Erfahrungen bringt einige Komplexität mit sich – Sie sind sich nicht immer sicher, welche Tests die Conversions steigern oder ob es versteckte Wechselwirkungen zwischen ihnen gibt. Dies ist jedoch kein großes Problem, da es Strategien gibt, um diese Komplexität zu mindern.

Wir haben 5 Strategien für den Umgang mit den Problemen besprochen, die durch mehrere gleichzeitig laufende Tests verursacht werden:

1. Lauferlebnisse gleichzeitig, wenn sie sich nicht überschneiden
2. Nacheinander ausgeführte Erlebnisse, wenn Sie die Überschneidung von Erlebnissen nicht vermeiden können
3. Ausführen von A/B/N-Erfahrungen
4. Ausführen von MVT-Tests
5. Ausführen von Erfahrungen, die sich gegenseitig ausschließen

Wir haben auch gezeigt, wie Convert alle oben genannten Teststrategien unterstützt, was es zu einem sehr vielseitigen Tool macht.

Es ist wichtig, all diese Komplexitäten bei der Durchführung von A/B-Tests zu berücksichtigen, damit Sie in jedem Fall die am besten geeignete Strategie auswählen können. Wir helfen Ihnen gerne weiter, wenn Sie noch Fragen haben.