Sample Ratio Mismatch (SRM): Ein vollständiger Leitfaden mit Lösungen für Kundenfälle

Was ist schlimmer als ein nicht bestandener Test?

Probleme mit der Testdatenqualität, die die Testergebnisse unzuverlässig machen.

Aber wie können Sie sich von schlechten Daten fernhalten?

Die Überprüfung auf Sample Ratio Mismatch (SRM) ist eine einfache Möglichkeit, potenzielle Probleme frühzeitig zu erkennen. Wenn etwas faul ist, dann ist es umso besser, je früher Sie es herausfinden.

Lesen Sie weiter, um mehr über Sample Ratio Mismatch zu erfahren, wie Sie es erkennen, wie es sich auf Ihre Tests auswirkt und welche A/B-Testplattformen mit integrierten SRM-Prüfungen ausgestattet sind (damit Sie keine Tabelle nebenbei führen müssen). .

Was ist Sample Ratio Mismatch (SRM)?

Sample Ratio Mismatch oder SRM tritt bei A/B-Tests auf, wenn die tatsächliche Anzahl der Samples (oder Besucher in einer Behandlungsgruppe) nicht mit der erwarteten übereinstimmt.

Lassen Sie uns dies an einem Beispiel veranschaulichen.

Angenommen, eine Website hat etwa 15.000 Besucher pro Woche. Wir haben 3 Variationen, das Original (das ist die unveränderte Seite) und 2 Variationen. Wie viel Traffic erwarten Sie für jeden, wenn der Traffic gleichmäßig verteilt wird? In einer idealen Welt wäre die Antwort, dass jede Variation 15.000 / 3 = 5.000 Besucher erhalten sollte.

Nun ist es sehr unwahrscheinlich, dass jede Variation tatsächlich 5000 Besucher erhält, aber eine Zahl, die sehr nahe daran liegt, wie 4982 oder 5021. Diese geringfügige Variation ist normal und auf einfache Zufälligkeit zurückzuführen! Aber wenn eine der Varianten 3500 Besucher bekommt und die anderen um die 5000, dann könnte mit dieser etwas nicht stimmen!

Anstatt sich auf unsere eigene Intuition zu verlassen, um diese Probleme zu erkennen, können wir stattdessen den SRM-Test durchführen. Es verwendet den Chi-Quadrat-Anpassungstest, um uns zum Beispiel zu sagen, ob 4850 oder 4750 Besucher im Vergleich zu den anderen erhaltenen Besucherzahlen „normal“ sind oder nicht!

Statistisch gesehen vergleicht der Chi-Quadrat-Anpassungstest die beobachtete Anzahl von Stichproben mit der erwarteten. Und wenn es einen echten Unterschied gibt, ist der p-Wert kleiner als das eingestellte Signifikanzniveau von 0,01, was einer Konfidenz von 99 % entspricht.

Verfügt Ihr A/B-Test über ein SRM? Wie berechnet man Sample Ratio Mismatch?

Bei A/B-Tests kann SRM ein echter Buhmann sein, der zu ungenauen Ergebnissen und fehlgeleiteten Schlussfolgerungen führt. Die gute Nachricht ist, dass es Tools gibt, die Ihnen helfen können, Kopfschmerzen zu vermeiden.

Verwenden von Tabellenkalkulationen

Tabellenkalkulationen sind aufgrund der breiten Verfügbarkeit von Microsoft Excel und/oder Google-Produkten die einfachste Methode zur Berechnung von SRM.

Lassen Sie uns Ihnen ein anderes Beispiel zeigen.

Wir berechnen SRM für einen A/B-Test mit einer Traffic-Aufteilung von 50/50 und beobachteten Besucherzahlen von 214.598 bzw. 241.156 für das Original und die Variante.

Wir verwenden den Chi-Quadrat-Test, um festzustellen, ob die beobachtete Verkehrsaufteilung mit der erwarteten Verkehrsaufteilung übereinstimmt. Falls dies nicht der Fall ist, möchten Sie wissen, ob die beobachteten Werte ausreichend von den erwarteten Werten abweichen, um Anlass zur Sorge zu geben und das Verwerfen der Ergebnisse zu rechtfertigen.

Sie müssen die CHIQ.TEST-Funktion in Ihrer Tabelle verwenden, um den p-Wert zu berechnen, wie in der Tabelle unten dargestellt.

In unserem Beispiel ist der p-Wert 0. Mit einem p-Wert unter 0,05 haben Sie einen SRM in der Hand und genügend Beweise, um die Testergebnisse in den meisten Fällen zu verwerfen.

Verwenden von Online-Rechnern für Mismatch-Stichprobenverhältnisse

1. Der Rechner von Convert kann bei der Diagnose von Abweichungen beim Abtastverhältnis helfen und zeigt Ihnen auch, wie lange Sie warten müssen, bis Ihr Experiment abgeschlossen ist!
   

   

2. Ein weiterer SRM-spezifischer Online-Rechner ist der von Lukas Vermeer entworfene. Diese Methode berechnet SRM auf die gleiche Weise wie die vorherige Technik. Wenn Sie also den Prozess befolgt und verstanden haben, sollten Sie in der Lage sein, diesen Online-SRM-Rechner zu verwenden. Geben Sie einfach die Zahlen für Ihre Proben ein und das Ergebnis wird so angezeigt
   

   

Wie wirkt sich SRM auf A/B-Tests aus?

Wahrscheinlich haben Sie sich während eines Experiments die Traffic-Aufteilung zwischen den Varianten angesehen und sich gefragt, wie genau sie war.

Vielleicht einer, der wie der Bericht unten aussieht. Sie könnten es sich ansehen und sich fragen, ob es normal ist, dass das Original 1330 Besucher hatte, aber die Variation 1713.

Eine kurze statistische Berechnung des SRM-Verhältnisses (mit einer der beiden oben genannten Methoden) wird Ihnen sagen, ob das Variationsverhältnis akzeptabel ist oder nicht.

Entspricht die tatsächliche Aufteilung zwischen den beiden Varianten (Original und Variante 1) den erwarteten Werten? Ist dies nicht der Fall, sollten Sie die Daten ablehnen und den Test neu starten, wenn Sie das Problem gelöst haben.

Beeinflusst SRM sowohl Frequentistische als auch Bayessche Statistikmodelle?

Ja.

Die Ursachen von SRM haben einen identischen Einfluss auf die Validität der Ergebnisse eines Experiments, unabhängig davon, ob die Daten mit Bayesianischen (Google Optimize, Optimizely, VWO, A/B Tasty) oder Frequentistischen (Convert Experiences, Dynamic Yield) Ansätzen analysiert werden.

Die obigen SRM-Rechner können also auch verwendet werden, um auf Plattformen, die Bayessche Statistiken verwenden, nach SRM zu suchen.

Wann sollten Sie SRM berücksichtigen?

Wenn Sie in Ihren Tests eine Stichprobenverhältnis-Nichtübereinstimmung finden, bedeutet dies nicht unbedingt, dass Sie die Ergebnisse verwerfen müssen.

Wann ist es also wirklich notwendig, die SRM-Berechnung ernst zu nehmen?

Finden wir es anhand einiger Beispiele heraus.

Beispiel 1

Sie führen ein Experiment durch, bei dem dem Original und der Variation jeweils 50 % der Nutzer zugewiesen werden. Sie erwarten daher, dass Sie jeweils ungefähr die gleiche Anzahl von Benutzern sehen.

Die Ergebnisse kommen zurück als

• Kontrolle: 21.588 Benutzer
• Behandlung: 15.482 Benutzer

Lassen Sie sie uns durch den SRM-Checker führen:

Ist dies ein Grund zur Sorge?

Der p-Wert für das obige Stichprobenverhältnis ist <0,0001, sodass die Wahrscheinlichkeit, dieses Verhältnis oder ein extremeres Verhältnis zu sehen, bei einem Design, das gleiche Proportionen erfordert, <0,0001 ist!

Sie sollten sich absolut Sorgen machen, dass etwas nicht stimmt , da Sie gerade ein äußerst unwahrscheinliches Ereignis beobachtet haben. Es ist daher wahrscheinlicher, dass es einen Fehler in der Implementierung des Experiments gibt und Sie keinem der Ergebnisse vertrauen sollten.

Beispiel #2

Sie führen ein weiteres Experiment durch, bei dem dem Original und der Variante ein gleicher Prozentsatz an Benutzern zugewiesen wird. Sie berechnen den p-Wert und er ist <0,002, also ein sehr unwahrscheinliches Ereignis.

Wie schlecht könnten die Metriken sein? Muss man die Ergebnisse wirklich verwerfen?

Mit einer Experimentierplattform wie Convert Experiences können Sie die Ergebnisse nach dem Test segmentieren und feststellen, dass der SRM weg ist, wenn Sie Internet Explorer-Benutzer ausschließen.

In diesem Fall verwenden die ausgeschlossenen Benutzer höchstwahrscheinlich einen alten IE-Browser, was die Ursache für das SRM war; Ein Bot wurde aufgrund einiger Änderungen in der Variation nicht richtig klassifiziert, was zu einer Nichtübereinstimmung des Verhältnisses führte.

Ohne das Segment ist der verbleibende Prozentsatz der Benutzer richtig ausgeglichen und die Metriken erscheinen normal.

Wäre das SRM nicht entdeckt worden, wäre das gesamte Experiment als großer Fehlschlag gewertet worden.

Aber sobald das SRM entdeckt wurde, konnte ein kleines Segment entfernt und das Experiment für die richtige Analyse verwendet werden.

In einem ähnlichen Szenario können Sie die ausgeschlossenen Benutzer ignorieren und das Experiment verwenden .

Beispiel #3

Sie führen ein Experiment durch und stellen fest, dass Ihr Test mit SRM gekennzeichnet ist.

Wenn Sie jedoch auf Ihre Diagramme achten, werden Sie feststellen, dass die Conversion-Rate-Kurven parallel bleiben und die berechnete Konfidenz 99,99 % beträgt. Dieses Muster sollte Ihnen genügend Gewissheit geben, dass die Tests gültig sind.

In diesem Fall können Sie den SRM getrost ignorieren und Ihren Daten weiterhin vertrauen .

Wo sollten Sie überprüfen, ob SRM vorhanden ist?

Es gibt einige Bereiche, in denen SRM auftreten kann. Werfen wir einen Blick auf Lukas Vermeers Taxonomie der Ursachen:

1. Experimentzuweisung – Es kann zu einem falschen Bucketing (Benutzer werden in falschen Clustern platziert), einer fehlerhaften Randomisierungsfunktion oder beschädigten Benutzer-IDs kommen.
2. Experimentausführung – Variationen können zu unterschiedlichen Zeiten begonnen haben (was zu Diskrepanzen führt), oder es kann Verzögerungen bei der Filterausführung geben (bestimmt, welche Gruppen dem Experiment unterzogen werden).
3. Experimentprotokollverarbeitung – Automatische Bots entfernen echte Benutzer, eine Verzögerung beim Eintreffen von Informationen in den Protokollen.
4. Versuchsanalyse – Falsches Auslösen der Variation oder falscher Start.
5. Experimentstörung – Das Experiment kann Angriffen und Hacks ausgesetzt sein, oder die Auswirkungen eines anderen laufenden Experiments können das aktuelle Experiment stören.

Wenn Sie ein SRM haben und nicht sicher sind, wo Sie nach einer Antwort suchen sollen, ist die obige Taxonomie ein wertvoller Ausgangspunkt.

Und um die Dinge klarer zu machen, geben wir Ihnen jetzt für jeden dieser Fälle ein Beispiel aus der Praxis.

Versuchsaufgabe

Hier ist eines der interessantesten Dinge, die Sie im Auge behalten sollten, die Randomisierungsfunktion, die Ihre A/B-Testplattform verwendet.

Im folgenden Beispiel entdeckten Data Scientists bei Wish SRM-Probleme bei einem A/A-Test und kamen nach langer Untersuchung zu dem Schluss, dass das SRM entstanden ist, weil ihre Randomisierung nicht vollständig zufällig war.

Um valide Versuchsergebnisse zu erzielen, ist das Randomisierungsverfahren entscheidend.

Eine entscheidende Annahme der statistischen Tests, die beim A/B-Testing verwendet werden, ist die Verwendung von zufälligen Stichproben. Zwischen den Experiment-Buckets gleicht die Randomisierung sowohl beobachtete als auch unbeobachtete Benutzerattribute aus und stellt eine kausale Beziehung zwischen der getesteten Produktfunktion und allen Ergebnisunterschieden in den Testergebnissen her.

Versuchsdurchführung

Wenn es um die Durchführung von Experimenten geht, gibt es zwei Hauptgründe, die SRM in Ihren Erfahrungen verursachen können.

1. Das Skript ist auf einer der Variationen nicht korrekt installiert

Überprüfen Sie immer, ob das Skript Ihrer A/B-Testplattform korrekt auf dem Original und den Variationen installiert ist.

Unser Kundensupportteam hat kürzlich einen Fall gelöst, bei dem das Convert-Skript nicht zu einer der Varianten hinzugefügt wurde, was zu einem SRM beim Test führte.

Stellen Sie sicher, dass Sie das Skript auf allen Seiten hinzufügen, auf denen das Erlebnis ausgeführt werden soll, wie unten gezeigt:

2. Das Seiten-Targeting ist falsch konfiguriert

In diesem Fall liegt die SRM-Nichtübereinstimmung daran, dass das Targeting des Tests falsch eingerichtet wurde.

Bei falscher Einrichtung werden einige Besucher ausgewählt, die zur Variante weitergeleitet werden, aber die Weiterleitung schlägt fehl, höchstwahrscheinlich, weil der ursprüngliche URL-Ausdruck nicht mit jeder URL aller Besucher übereinstimmt, die auf den Test gebuckelt und weitergeleitet wurden.

Um dies zu vermeiden, konfigurieren Sie die URL-Ausdrücke der Testvariationen neu und führen Sie den Test erneut aus.

Hier sind zwei weitere Szenarien, die Ihnen zeigen, wie Sie Ihr Seiten-Targeting mit Convert Experiences einrichten, um SRM auf Split-URL-Tests zu vermeiden.

Szenario 1: Zielen Sie nur auf die Homepage (https://www.convert.com) mit der Split-URL und übergeben Sie alle Abfrageparameter, die die Besucher haben könnten

Hier im Site-Bereich muss die Seiten-URL genau mit https://www.convert.com übereinstimmen. Im Exclude-Abschnitt sollte der Query-String v1=true enthalten, damit Sie Umleitungen vermeiden (denn die Bedingungen des Experiments werden immer noch übereinstimmen, wenn Sie auf https://www.convert.com ?v1=true landen und der Traffic Verteilung könnte am Ende ungleichmäßig sein).

Wenn Sie dann Ihre Variationen definieren, halten Sie es so:

Szenario 2: Richten Sie alle Seiten, nicht nur die Startseite (https://www.convert.com), mit der geteilten URL aus und übergeben Sie Abfrageparameter

Hier müssen Sie Ihren Site-Bereich mit einer „Seiten-URL“ definieren, die https://www.convert.com enthält. Im Ausschlussabschnitt sollte die Abfrage v1=true enthalten.

Verwenden Sie beim Definieren der Variationen das unten stehende Regex-Rezept, um alle Seiten abzufangen:

Verarbeitung von Experimentprotokollen

Als Hauptgrund für SRMs identifizieren wir hier die Bots, die auf Ihre Erfahrung abzielen können. Sie können uns kontaktieren, um die zusätzlichen Protokolle zu überprüfen, die wir führen, wenn wir ungewöhnliche Muster in den Benutzeragenten finden.

Beispielsweise hat unser Support-Team einen Kunden unterstützt, dessen Test SRM hatte.

Als wir in ihrem Fall den Bericht nach Browser=Other filterten, sahen wir eine ungleichmäßige Aufteilung und SRM. Aber als wir denselben Bericht nach Browser=Chrome+Safari filterten, wurde kein SRM erkannt und keine ungleichmäßige Verteilung.

Also haben wir ein paar Ereignisse überprüft, bei denen der Browser auf „ Andere“ eingestellt war, und alle zeigten einen Benutzeragenten von „site24x7“. Wir wussten sofort, dass dies eine Art Überwachungssoftware war, was ein Glück war, da sie Werbung war und einen bestimmten Benutzeragenten verwendete. Wenn dies hinter einem normalen User Agent versteckt gewesen wäre, wäre es unmöglich gewesen, es zu finden.

Um das Problem zu lösen, haben wir diesen User-Agent zur Liste der Bots hinzugefügt, die wir vom Datenverkehr ausschließen. Leider kann diese Änderung Auswirkungen auf zukünftige Daten haben, nachdem wir den Bot der Liste hinzugefügt haben, aber zumindest wurde er gefunden und behoben.

Experimentanalyse

Diese Kategorie betrifft hauptsächlich Erfahrungen, die mit manueller Auslösung festgelegt wurden.

Dies passiert zum Beispiel bei Single Page Applications, wo Sie sich selbst um die Auslösung kümmern müssen.

Wann immer Sie dies manuell tun müssen, indem Sie einen ähnlichen Code wie den folgenden verwenden, achten Sie bei Ihrem Test genau auf potenzielle SRMs.

 window._conv_q = _conv_q || [];
window._conv_q.push(["run","true"]);

Experiment Interferenz

Dies bezieht sich auf einen Benutzereingriff, bei dem eine der Variationen während des Erlebnisses angehalten wird. Stellen Sie sich vor, Sie haben einen Split-URL-Test, der einige Wochen läuft, und entweder aus Versehen oder absichtlich pausieren Sie die Variation und lassen nur das Original laufen.

Unmittelbar danach und abhängig von Ihrem Website-Traffic werden Sie feststellen, dass SRM für Ihren Test berechnet wurde.

In diesem Fall können Sie entweder den Zeitraum ausschließen, in dem die Variation pausiert wurde, oder die Erfahrungsdaten zurücksetzen.

Nicht experimentelle Gründe

Wenn keine der oben genannten Kategorien die Grundursache Ihres SRM aufzeigt, empfehlen wir Ihnen, Ihrer Website eine Fehlerverfolgungssoftware (wie Sentry) hinzuzufügen, um tiefere Probleme mit Ihrer Website zu identifizieren.

A/B-Testplattformen, die SRM-Warnungen unterstützen

Sie fragen sich vielleicht, welche A/B-Testplattformen diese SRM-Funktionalität unterstützen und Ihnen Warnungen geben, ohne dass Sie es selbst berechnen müssen.

Wir haben die Recherche abgeschlossen und eine Liste von Tools zusammengestellt.

Erfahrungen umwandeln

Ab Dezember 2021 haben wir unsere eigene SRM-Methode eingeführt.

Wenn Sie ein Benutzer sind, können Sie SRM-Prüfungen über Projektkonfiguration > Weitere Einstellungen aktivieren.

Dann können Sie die SRM-Tags in den Berichten sehen:

Optimiert

Optimizely hat im September 2021 eine sequenzielle Testlösung als Open Source bereitgestellt, die jeder implementieren kann, um SRM zu erkennen.

Optimizely hat den ssrm-test in einen produktionsreifen Backend-Microservice verwandelt, der auf allen laufenden Experimenten gleichzeitig ausgeführt werden kann.

Auf der Ergebnisseite von Optimizely können Sie Benachrichtigungen einrichten und Echtzeitergebnisse des ssrm-Tests erhalten:

Michael Lindon, Statistiker bei Optimizely, sagt, dass SRM ein typisches Problem ist, das auftritt, wenn Tests schlecht durchgeführt werden.

Um ein Produktexperiment durchzuführen, ist eine beträchtliche Menge an Infrastruktur erforderlich, sodass Fehler auftreten können. Wenn beispielsweise Website-Besucher nicht konsequent in eine Testvariante eingeordnet werden und sowohl unter Original- als auch unter Variationsbedingungen konvertieren, sind die für diesen Benutzer erhaltenen Daten nicht gültig, um die Auswirkung des Experiments zu bewerten.

Das Hauptproblem besteht darin, wenn SRM ungenaue Daten produziert, die sich auf Ihre Metriken auswirken und unentdeckt bleiben könnten.

Adobe Target über MiaProva

Im April 2021 ging Adobe Target eine Partnerschaft mit MiaProva ein, um SRM-Warnungen zu A/B-Aktivitäten bereitzustellen.

Diese Warnungen benachrichtigen MiaProva-Kunden, die Adobe Target verwenden, wenn eine Diskrepanz erkannt wird. Dieser Ansatz wendet automatisch einen Chi-Quadrat-Test auf jeden Live-A/B-Test an.

WachstumsBuch

GrowthBook ist eine Open-Source-A/B-Testplattform mit einer Bayes'schen Statistik-Engine und automatischen SRM-Prüfungen für jedes Experiment.

Jedes Experiment sucht nach einem SRM und warnt Benutzer, wenn einer identifiziert wird.

Wenn Sie eine bestimmte Traffic-Aufteilung vorhersagen (z. B. 50/50), aber stattdessen etwas drastisch anderes sehen (z. B. 40/60), erhalten Sie eine Warnung. Dies wird nur angezeigt, wenn der p-Wert kleiner als 0,001 ist, was darauf hinweist, dass es äußerst unwahrscheinlich ist, dass es zufällig auftritt.

Den Ergebnissen eines solchen Tests sollte nicht vertraut werden, da sie möglicherweise irreführend sind, daher die Warnung. Stattdessen sollten Benutzer die Quelle des Fehlers lokalisieren und korrigieren, bevor sie das Experiment neu starten.

Split.io

Split ist eine Feature-Delivery-Plattform, die Feature-Flag-Management, Software-Experimente und Continuous Delivery unterstützt.

Bei jeder Berechnungsaktualisierung überprüft die Split-Plattform das Stichprobenverhältnis, um festzustellen, ob es einen wesentlichen Unterschied zwischen den angestrebten und aktuellen Stichprobenverhältnissen gibt. Diese Überprüfung des Stichprobenverhältnisses befindet sich unter der Zusammenfassung der Schlüssel- und Organisationsmetriken, zusammen mit anderen wichtigen Details wie Dauer und letzte Aktualisierung.

Nichtübereinstimmung des Stichprobengrößenverhältnisses entmystifiziert

Sie fragen sich vielleicht, wie oft es „normal“ ist, ein SRM zu sehen?

Lukas Vermeer hat es am besten gesagt. Selbst große Technologieunternehmen beobachten in ihren online kontrollierten Experimenten eine natürliche Häufigkeit von SRMs von 6% bis 10%.

Wenn sich das SRM nun häufiger wiederholt, rechtfertigt dies eine eingehendere Untersuchung des Versuchsdesigns oder der Website.

Unser Team steht Ihnen jederzeit zur Verfügung, wenn Sie Probleme wie die oben genannten haben! Klicken Sie hier, um unser Team zu erreichen.