So reduzieren Sie die Verschmutzung durch Stichprobengröße für genaue A/B-Testergebnisse

Sie haben Stunden damit verbracht, Ihren Test zu planen.

Ihr Team erstellt eine Hypothese.

Sie führen den Test durch und warten auf die Ergebnisse.

Aber Sie stellen fest, dass Ihr Test fehlgeschlagen ist. Die Ergebnisse sind verfälscht. Aber wie?

Mach dich nicht fertig. Es gibt ein schmutziges kleines Geheimnis in der Welt der Tests, das sich Stichprobengrößenverschmutzung nennt.

Die Verschmutzung Ihres Stichprobenpublikums kann unwissentlich dazu führen, dass Tests zum Scheitern verurteilt sind, bevor sie überhaupt begonnen haben.

Es gibt eine lange Liste möglicher Gründe für das Scheitern von Tests, aber einer der frustrierendsten ist die Verschmutzung durch die Stichprobengröße.

Dieser Artikel hilft Ihnen zu verstehen:

• Warum es zu einer Verschmutzung der Stichprobengröße kommt.
• So erkennen Sie, ob Ihr Test verunreinigt ist.
• Schritte, die ergriffen werden müssen, um eine Verschmutzung durch Stichprobengröße zu minimieren.

Werfen wir einen Blick…

Stichprobengröße 101

Definition der Stichprobengröße

Sie können Tools wie den A/B-Testdauerrechner von Convert verwenden, der einen Stichprobengrößenrechner oder einen CXL-Stichprobengrößenrechner bietet.

Die meisten Online-Rechner sind einfach zu bedienen. Mit dem Rechner von Convert müssen Sie nur drei Werte eingeben:

• Bestehende Conversion-Rate
• Erwartete Verbesserung
• Konfidenzniveau

Beispiel:

Wenn die vorhandene Conversion-Rate 3 % und die erwartete Verbesserung 20 % beträgt, während Sie zwei Varianten mit einem Konfidenzniveau von 95 % testen, benötigen Sie eine Stichprobengröße von 42.034, um zuverlässige Ergebnisse zu erhalten. Bei 2.000 täglichen Besuchern dieser Testgruppe würde es laut unserem Dauerrechner 22 Tage dauern.

Bestimmen Sie, wer in Ihrer Probe sein wird

Der einfachste Weg, diese Frage „WER?“ zu beantworten oder das Segment, besteht darin, die demografischen Daten und Quellen Ihrer aktuellen Website-Besucher zu überprüfen. Tippen Sie auf die vorhandenen Daten, um Hinweise zu erhalten. Wer sind Sie? Wo kommen sie her?

Tools wie Konvertierungsexperimente ermöglichen es Ihnen tatsächlich, mit einem bestimmten Segment Ihrer Website-Besucher zu testen und benutzerdefinierte Zielgruppen zu erstellen.

Mehrere Faktoren können Ihnen dabei helfen, das „Wer“ zu entdecken:

• Art des Verkehrs
  Erhalten Sie saisonalen Traffic? Erwarten Sie aufgrund der bevorstehenden Feiertage einen Besucheransturm? Schwanken Ihre Verkehrszahlen je nach Wochentag?
  
• Verkehrsquelle
  Woher kommt Ihr Traffic? Menschen verhalten sich je nach Quelle, von der aus sie auf Ihre Website gelangen, unterschiedlich. Beispielsweise interagiert ein Besucher von LinkedIn möglicherweise nicht so mit Ihrer Website wie jemand, der von Facebook kommt.
  
  Untersuchen Sie Google Analytics, um einen Überblick über das Besucherengagement basierend auf der Quelle zu erhalten.

• Neu gegen Alt
  Statistiken zeigen, dass wiederkehrende Besucher länger auf Ihrer Website bleiben als neue Besucher. Überlegen Sie, wie sich dies auf Ihren Test auswirkt.

Das Ziel dieser Betrachtungsphase besteht darin, Ihnen bei der Erstellung repräsentativer Stichproben zu helfen.

Die Encyclopedia of Survey Research Methods definiert repräsentative Stichproben als:

Eine repräsentative Stichprobe hat eine starke externe Validität in Bezug auf die Zielpopulation, die die Stichprobe repräsentieren soll. Daher können die Ergebnisse der Umfrage mit Zuversicht auf die interessierende Bevölkerung verallgemeinert werden.

Um sicherzustellen, dass Sie eine repräsentative Stichprobe haben, schlägt Convert vor, einen Test für mindestens einen Geschäftszyklus durchzuführen. Dadurch wird sichergestellt, dass Ihr Test genügend Zeit hat, um Besuchervarianzen zu berücksichtigen, die innerhalb eines Zyklus auftreten können.

Was ist Probengrößenverschmutzung?

Jetzt, da Sie verstehen, was eine Stichprobengröße ist, können Sie die Faktoren untersuchen, die Ihre Stichprobengröße verfälschen und Ihren Test vermasseln können. So wirkt sich die Stichprobengröße auf die Validität aus. Stichprobengrößenfaktoren, die die Testergebnisse negativ beeinflussen, werden als Stichprobengrößenverschmutzung bezeichnet.

Invespcro definiert Probenverschmutzung als:

„…Faktoren, die Ihre A/B-Testdaten ungültig machen, indem sie die Proben oder Daten beeinflussen, die während der Durchführung Ihres Tests verwendet werden.“

Dieses Problem ist häufiger. Sehen Sie sich diese Beschwerde an:

Voreingenommene Probe

In den meisten Fällen möchten Sie eine zufällige Auswahl, was bedeutet, dass jeder Besucher Ihrer Website die gleiche Chance hat, eine bestimmte Variante zu sehen, bevor er in einen Bucket geworfen wird. Einmal in einen Eimer gelegt, sieht der Benutzer für die Dauer des Tests dieselbe Variante.

Wenn Sie jedoch ein A/B-Testtool verwenden, das die Randomisierung nicht gut durchführt, ist die Randomisierung nicht garantiert und kann den Test ungültig machen.

Eine einfache Möglichkeit, voreingenommene Stichproben zu bekämpfen, besteht darin, ein gutes A/B-Testtool wie Convert zu verwenden, das Randomisierung und Bucketing korrekt durchführt. Beginnen Sie Ihre Tests mit einem A/A-Test, um zu überprüfen, ob die Randomisierung richtig funktioniert.

Sie möchten sich der potenziellen Stichprobenverzerrung bewusst sein, wenn Sie die Details Ihres Tests betrachten.

Quellen, die eine Verschmutzung durch Stichprobengröße verursachen

Es gibt vier gängige Arten der Probenverschmutzung: Timing, Gerät, Browser und Cookie.

Schauen wir uns jeden von ihnen an …

Zeitliche Koordinierung

Die Länge Ihres Tests beeinflusst die Gültigkeit Ihrer Ergebnisse. Daher überrascht es nicht, dass „Wie lange sollte ich meinen A/B-Test durchführen“ eine häufig gestellte Frage ist.

CRO-Experten haben widersprüchliche Vorstellungen darüber, was ein akzeptabler Benchmark ist. Eigentlich sollten Ihre Testvariablen die richtige Länge Ihres Tests steuern.

Eine einfache Lösung scheint darin zu bestehen, Ihren Test einfach laufen und laufen und laufen zu lassen. Aber auch das kann zu Problemen führen. Zusätzliche Zeit bedeutet eine Erhöhung der potenziellen Verschmutzung durch externe Faktoren.

Sie wollen den Sweet Spot finden.

Ein weiterer häufiger Fehler in Bezug auf die Testdauer ist das vorzeitige Abbrechen eines Tests. Dies führt möglicherweise nicht zu einer Verschmutzung der Probengröße, kann sich jedoch negativ auf Ihren Test auswirken.

Das gleiche gilt, wenn Sie den Test stoppen, wenn Sie statistische Signifikanz erreichen. Für einen gültigen Test sollte es auch Ihre berechnete Probengröße für Ihren gewünschten MDE (Minimum Detectable Effect) erreichen.

Stoppen Sie in ähnlicher Weise niemals eine Variante eines laufenden Tests. Dies wird eine katastrophale Umweltverschmutzung verursachen . Sie könnten die „gestoppte“ Variante nicht mit der „läuft ständig“-Kontrolle vergleichen. Sie hätten keine Möglichkeit, „Äpfel mit Äpfeln“ zu vergleichen. Niemals eine Variante in einem Test anhalten und später neu starten.

Unterbrechen Sie Ihre Tests nicht, bis die Daten für die Stichprobengröße konsistent sind.

Cookie-Verschmutzung

Cookies können die heimtückischste Form der Verschmutzung der Stichprobengröße verursachen.

Basierend auf der Definition von Techopedia sind Cookies:

Ein Cookie ist eine Textdatei, die ein Webbrowser auf dem Computer eines Benutzers speichert. Cookies sind eine Möglichkeit für Webanwendungen, den Anwendungsstatus beizubehalten. Sie werden von Websites zur Authentifizierung, zum Speichern von Website-Informationen/Einstellungen, anderen Browsing-Informationen und allem anderen verwendet, was dem Webbrowser beim Zugriff auf Webserver helfen kann. HTTP-Cookies sind unter vielen verschiedenen Namen bekannt, darunter Browser-Cookies, Web-Cookies oder HTTP-Cookies.

Als Vermarkter ermöglichen Ihnen Cookies, das Verhalten Ihrer Besucher auf Ihrer Website zu verfolgen.

Die Lebensdauer von Cookies ist volatil. Besucher können sie nach Lust und Laune löschen.

Je länger Ihre Testläufe sind, desto anfälliger sind Sie für das Löschen von Cookies – was wiederum zu einer anderen Form der Probengrößenverschmutzung führt. Um dieses Phänomen zu mindern, empfiehlt Convert Kunden, Tests nicht länger als 90 Tage durchzuführen.

Geräteverschmutzung

Besucher besuchen Ihre Website von mehreren Geräten aus: Mobilgeräten, Laptops, Tablets, Desktops und sogar Smartwatches.

Denken Sie nur an Ihr Surfverhalten. Möglicherweise entdecken Sie etwas auf Ihrem Mobilgerät, während Sie sich in den Fitnessstudios aufhalten. Später am Tag können Sie die Website auf Ihrem Desktop-Computer erneut besuchen.

Wenn dies im Rahmen Ihres A/B-Tests passiert, kann es den Anschein haben, dass zwei verschiedene Personen Ihre Website besucht haben, obwohl es sich tatsächlich um dieselbe Person handelt, die von zwei verschiedenen Geräten aus surft.

Noch gefährlicher für Ihre Testbemühungen ist, dass dieselbe Person möglicherweise auf jedem Gerät eine andere Variante sieht.

Dafür gibt es ein umgekehrtes Beispiel. Was passiert, wenn zwei Personen dasselbe Gerät verwenden, um Ihre Website zu besuchen?

Stellen Sie sich vor, zwei Brüder leben im selben Haus. Sie teilen sich einen Desktop-Computer. Beide bereiten sich auf den Urlaub vor und müssen neue T-Shirts und Schuhe bestellen. Wenn zum Zeitpunkt ihres Besuchs ein A/B-Test auf der E-Commerce-Website läuft, würden die Daten diese beiden Personen wiederum als einen einzigen Benutzer anzeigen, was Ihre Stichprobengröße verfälschen würde.

Browser-Verschmutzung

Wenn die durchschnittliche Person online geht, berücksichtigt sie nicht die Auswirkungen, die die Verwendung verschiedener Browser zum Besuch derselben Website auf einen A/B-Test haben wird. Aber das Aufrufen derselben Website von einem Browser zum anderen, wie Safari und dann Chrome, kann zu einer ähnlichen Verschmutzung der Stichprobengröße führen, die bei mehreren Geräten auftritt.

Diese spezifische Form der Verschmutzung ist jedoch selten, da die meisten Menschen sich daran halten, einen bevorzugten Browser pro Gerät zu verwenden.

Neue Gefahren

Browser, Gerätetyp, Cookies und Testdauer sind die häufigsten Schadstoffe in Stichprobengröße, aber es sieht so aus, als würde ein neuer Schadstoff ins Gespräch kommen. Branchenexperten beschweren sich darüber, dass Bots eine Verschmutzung durch Stichprobengrößen verursachen.

Zum Glück haben wir bei Convert starke Maßnahmen zur Abwehr von Bots in unser Tool eingebettet, sodass dies kein Problem darstellen wird.

Tipps zum Reduzieren der Verschmutzung durch Probengröße

Da die Verschmutzung durch Stichprobengröße ein großes Problem ist, haben viele Unternehmen kreative Lösungen entwickelt, wie z.

Aber solche Taktiken können Tests der „Benutzerzufälligkeit“ entziehen und Ihr Vertrauen in die Gültigkeit der Testergebnisse verringern.

Im Folgenden sind einige Dinge aufgeführt, die Sie tun können, um die Wahrscheinlichkeit einer Probenverschmutzung zu verringern:

• Führen Sie den Test für separate Geräte durch.
• Test für separate Browser ausführen.
• Muster erkennen. Wie sahen Ihre Daten in der Vergangenheit aus? Beim Testen sollte es ähnlich sein – Datenkonsistenz.

Hier sind noch ein paar Dinge zu beachten…

Varianz verstehen

Varianz und Standardabweichung gehen Hand in Hand mit Konsistenz. Im Wesentlichen sagen sie Ihnen, wie weit Ihre Zahlen vom Durchschnitt entfernt sind. Eine geringe Varianz bedeutet, dass Ihre Daten mit dem Durchschnitt übereinstimmen, wodurch Sie einem geringeren Verschmutzungsrisiko ausgesetzt sind.

Sie können die Berechnung selbst durchführen oder einfach einen einfachen Rechner für die Standardabweichung verwenden.

Achten Sie auf mögliche Probleme bei der Probenahme

Es gibt inhärente Probleme mit A/B-Tests, einschließlich der Möglichkeit einer Stichprobengrößenverunreinigung.

Die Kenntnis potenzieller Probleme mit der Stichprobengröße versetzt Sie in die Lage, bessere Entscheidungen zu treffen, wenn Sie Ihre Testziele auswählen, Behandlungen erstellen und Experimente durchführen.

Jetzt können Sie die Probenverschmutzung besiegen

Gute Testpraktiken bedeuten, dass Sie Ihre Projekte mit einem umfassenden Verständnis dafür beginnen, was schief gehen kann.

Die Verschmutzung durch Stichprobengröße ist ein negatives Nebenprodukt, das bei der Durchführung von A/B-Tests auftritt. Ihre Aufgabe ist es, diese negativen Auswirkungen so weit wie möglich zu reduzieren, damit Sie einen erfolgreichen Test durchführen können.

Denken Sie daran, dass die Risikominderung vor Beginn des Tests stattfindet.

Verwenden Sie ein robustes Tool wie Convert, mit dem Sie Tests segmentieren, lästige Bots bekämpfen und gute Randomisierungstechniken verwenden können, und das alles innerhalb einer einfachen Plattform, die komplexe Tests unterstützt.

Ihre Experimentierstrategie und die Leistungsfähigkeit Ihrer Software werden den Unterschied ausmachen, wie gut Sie die Verschmutzung durch die Probengröße minimieren.

Jetzt, da Sie diesen potenziellen blinden Fleck bei Ihren Tests kennen, kann er sich nicht mehr an Sie heranschleichen.