Stellen Sie sicher, dass Ihre A/B-Tests mit Qualitätssicherung narrensicher sind: Der vollständige Leitfaden zur Qualitätssicherung Ihrer A/B-Tests

A/B-Tests, die nicht richtig funktionieren, konvertieren nicht.

Ein A/B-Test kann eine erhebliche Menge an Zeit, Geld und Ressourcen für Optimierer verschlingen. Und natürlich möchte niemand, dass seine harte Arbeit umsonst ist. Aus diesem Grund müssen Sie eine Qualitätssicherung (QA) für Websites, Zielseiten, Personalisierungen, A/B-Tests, E-Mail-Kampagnen usw. durchführen, um sicherzustellen, dass alles so funktioniert, wie es sollte .

Und der beste Weg, um einfache, benutzerfreundliche, intuitive, fehlerfreie und effiziente A/B-Tests zu erstellen, ist die Einführung eines geeigneten QA-Prozesses . Auf diese Weise erhalten die Besucher ein wertvolles, zuverlässiges und höchst interaktives Endprodukt.

QA ist der Schlüssel zur Katastrophenprävention. Seine Fähigkeit, Fehler und Schwachstellen aufzudecken, bevor sie kritisch werden, hilft Optimierern, hohe Kosten im Verlauf des Testens zu vermeiden.

Obwohl allgemein bekannt ist, dass Qualitätssicherung wichtig ist, nehmen sich viele Optimierer nicht wirklich die Zeit, ihre Tests richtig zu prüfen. Daher scheitern diese Tests oft. Es gäbe weniger Websites, die „nicht funktionierten“, wenn sie es täten.

Was ist Qualitätssicherung?

Lassen Sie uns zunächst einige kurze Definitionen aus dem Weg räumen.

Was ist Qualität?

Qualität bedeutet übersetzt „für den Gebrauch oder Zweck geeignet“. Im Zusammenhang mit A/B-Tests von Funktionalität, Design, Zuverlässigkeit, Haltbarkeit und Preis geht es darum, die Wünsche und Erwartungen der Kunden zu erfüllen .

Was ist Versicherung?

Zusicherung ist einfach eine positive Aussage über einen A/B-Test, die Vertrauen schafft. Es ist die Gewissheit, dass ein A/B-Test richtig und gemäß den Erwartungen oder Anforderungen funktioniert.

Qualitätssicherung im A/B-Testing

Einfach ausgedrückt ist Qualitätssicherung eine Technik, um die Qualität eines A/B-Tests zu ermitteln . Es bringt Optimierer und Entwickler zusammen, um sicherzustellen, dass alles auf allen relevanten Geräten und Browsern richtig aussieht und funktioniert.

Mit anderen Worten, eine Website (oder Zielseite, Variation, E-Mail-Kampagne usw.) muss von hoher Qualität sein, um Besucher nicht Reibungspunkten und anderen Schmerzpunkten auszusetzen.

Benutzertests:

• Untersucht, wie echte Menschen eine Website nutzen und wie sich dies von dem unterscheidet, was die Entwickler beabsichtigt haben
• Erkennen Sie potenzielle Besuchermissverständnisse und Reibungspunkte in einer realen Nutzungsumgebung.

Qualitätssicherung:

• Zeigt Fehler und defekte Elemente auf der Website an
• Verbessert die Leistung der Website

Sie sind also unterschiedlich, wobei QA ein viel weiter gefasster Begriff ist.

Warum ist QA bei A/B-Tests wichtig?

Sicher, ein paar Bugs hier und da sind irritierend .

Aber wirken sie sich am Ende des Tages auf das Endergebnis aus? Lohnt es sich, in QA mehr Ressourcen zu investieren? Welchen Unterschied macht es, wenn die Dinge nicht perfekt sind?

Obwohl wir erhebliche Hürden bei der Qualitätssicherung überwunden haben, unterschätzen viele Organisationen diese noch immer.

Lassen Sie uns die größten Risiken herausfinden, die QA betreffen, und warum es eine so große Rolle bei A/B-Tests spielt.

Optimierer und Entwickler sind zu nah am A/B-Testing

Optimierer und Entwickler arbeiten normalerweise zusammen, um A/B-Tests einzurichten. Sie sind so nah dran, dass man in der Qualitätssicherung leicht über kleine, aber entscheidende Aspekte hinwegsieht.

QS-Tester stellen jedoch sicher, dass auf Qualität geachtet wird. Sie führen nicht offensichtliche Funktionen aus, die eine Anwendung auf „unerwartete Weise“ vorantreiben, oft nie beabsichtigt. QA-Tester weigern sich zu akzeptieren, dass „Fehler behoben wurden“, es sei denn, sie haben Beweise. Sie haben keine Angst, neue Dinge auszuprobieren und zu scheitern. Wenn sie beim ersten Mal keinen Fehler finden, werden sie beim Testen kreativer und richten es an den erwarteten Standards aus.

Ein zweites Augenpaar auf A/B-Tests und deren Design kann unerwartete Schwachstellen aufdecken.

Emulatoren sind nicht das einzig Wahre

Endbenutzer verwenden keinen Emulator; stattdessen ein echtes Gerät mit einem Browser. Es ist durchaus möglich, browserspezifische Probleme zu übersehen, wenn Sie sie nicht auf echten Geräten oder Browsern untersuchen.

Wir haben viele Support-Fälle gesehen, in denen Benutzer ziemlich zuversichtlich sind, dass ihr A/B-Experiment auf BrowserStack gut funktioniert (es wird simuliert, wie ein A/B-Test in verschiedenen Browsern aussieht). Aber wenn der Test für echte Besucher gestartet wird, wenden sie sich an unsere Support-Mitarbeiter, um eine Fehlfunktion des A/B-Tests zu melden.

Echter Supportfall:

Ich habe ein Problem mit einer Konvertierung in meinem Projekt.

Click_Cart_Checkout_1 scheint auf dem iPhone XR/Safari nicht ausgelöst zu werden. Ich habe die Entwicklertools-Konsole auf beiden überprüft (chrome://inspect und ein iPhone mit einem Macbook verknüpfen), und ich kann den Code sehen, der für diese Konvertierung ausgeführt wird, aber er wird nicht in der Berichterstellung nachverfolgt.

Die Konvertierung wird verfolgt, wenn XR verwendet wird, um ein iPhone in devtools zu emulieren, aber nicht in Tests in der realen Welt.

Wir haben auf zwei separaten iPhones getestet. Unser QA-Tester und meiner.

Sie können möglicherweise nicht testen, ob Ihre Metrikkonfiguration korrekt ist, es sei denn, Sie führen eine manuelle QA für alle Browser durch. Nach einigen Wochen überprüfen Sie möglicherweise sogar Ihre Ergebnisse und stellen fest, dass Ihre primäre Aktion in einigen Browsern nicht richtig oder überhaupt nicht ausgelöst wird!

Stellen Sie also sicher, dass Sie Ihre Tests in verschiedenen Umgebungen einer Qualitätssicherung unterziehen, nicht nur in Emulatoren.

Interaktionen

Sie können auch Fehler im Zusammenhang mit Seiten- oder Variationsinteraktionen übersehen, wenn Sie die Variationen nicht manuell untersuchen . Dies kann zu einfachen Problemen führen, wie z. B. Schwierigkeiten beim Öffnen eines Akkordeons, beim Drücken eines Knopfs oder etwas Bedeutendem, das den gesamten Trichter betrifft.

Echter Supportfall:

Auf der Variantenseite haben wir Probleme mit der CheckOut-Schaltfläche und manchmal Probleme mit der PayPal-Schaltfläche, obwohl auf der Originalseite alles gut funktioniert.

Wenn ich auf den Checkout-Button klicke, wird er mich hierher umleiten: cart.php/checkout.php, sollte aber /checkout.php sein

Wir haben auch Probleme mit dem Logo; manchmal wird es angezeigt, manchmal nicht.

Bei A/B-Tests geht es nicht nur darum, neue Elemente zu Seitenvariationen hinzuzufügen und wie diese Elemente miteinander interagieren und wie sie die allgemeine Website-Funktionalität verbessern.

Haltepunkte und Ändern des Geräteanzeigemodus

Wenn Sie Emulatoren verwenden, übersehen Sie möglicherweise Probleme beim Ändern des Gerätemodus von Hochformat in Querformat oder umgekehrt. Sie können schnell stichprobenartig überprüfen, ob die Variation in beiden Modi korrekt angezeigt wird und ob der Benutzer zwischen den beiden Modi wechselt, indem Sie die Qualität der Variationen auf echten Mobil- oder Tablet-Geräten überprüfen.

Echter Supportfall:

Wir führten einen multivariaten Test für unser Projekt durch und der Kunde bemerkte, dass die Bilder im mobilen Querformat falsch angezeigt wurden. Kann ich Ihre Hilfe bekommen, um herauszufinden, warum?

Tests aus menschlicher Sicht

Nur eine manuelle QA, die von einem Menschen durchgeführt wird, kann feststellen, ob etwas „seltsam“ erscheint. Automatisierte Testmethoden erkennen diese visuellen Mängel nicht. Ein QA-Ingenieur kann Usability-Probleme und Störungen der Benutzeroberfläche (UI) finden, indem er mit einer Website interagiert, als wäre er ein Benutzer. Automatisierte Testskripte können diese nicht testen.

Was passiert, wenn Sie A/B-Tests nicht der QA unterziehen?

Nun, da klar ist, dass QA den Unterschied zwischen geschäftlichem Erfolg oder Misserfolg ausmachen kann, wollen wir sehen, was passiert, wenn Sie es ignorieren (Tipp: es ist nicht schön) .

Verzögerungen beim Starten von A/B-Tests

Um den Erfolg eines A/B-Tests sicherzustellen, ist es entscheidend, im Vorfeld genügend Zeit für die Qualitätssicherung einzuplanen. Dazu gehört, sicherzustellen, dass alle Web- oder App-Elemente ordnungsgemäß funktionieren und die Geschäfts- und Kundenanforderungen erfüllen. QA hilft beim Identifizieren und Beheben von Problemen, bevor Sie mit dem Testen beginnen, um Startverzögerungen zu vermeiden.

Fehler in Berichtsergebnissen

Ohne QA treten Abweichungsfehler auf und können statistische Fehler in den Berichtsergebnissen verursachen.

Ein falsch-positives Ergebnis (auch bekannt als Typ-I-Fehler ) tritt auf, wenn die Testergebnisse einen signifikanten Unterschied zwischen dem Original und der Variation zeigen, wenn es keine gibt. Ein weiterer Fehler ist ein falsches Negativ (auch bekannt als Typ-II-Fehler ), wenn die Ergebnisse keinen signifikanten Unterschied zwischen Variation und Original zeigen, aber es gibt einen.

Schlechte Kompatibilität

Ihre Besucher greifen von verschiedenen Orten und Browsern auf Ihre Dienste zu.

Kompatibilität mit Geräten und Sprachen sollten Sie sich überlegen und ggf. testen. Es liegt in Ihrer Verantwortung sicherzustellen, dass Ihre Anwendung in verschiedenen Browsern funktioniert, insbesondere in allen Versionen.

Kundenfrust und Reputationsverlust

Wussten Sie, dass unzufriedene Verbraucher eher eine öffentliche Bewertung hinterlassen als zufriedene Kunden?

Online- und Offline-Beschwerden sowie Produktabbrüche sind schlechte Nachrichten für Ihr Unternehmen. Aufgrund der negativen Informationen zögern andere potenzielle Käufer, das Produkt zu kaufen. Ein paar verärgerte (und unverblümte) Kunden können ein geringeres Vertrauen in Ihre Marke bedeuten. Wenn Verbraucher online eine negative Bewertung abgeben, kann sich ihre Unzufriedenheit auf zukünftige Einkäufe auswirken.

Mangelndes Vertrauen in das A/B-Testing-Tool

Der einzige Grund, warum Marken überhaupt in eine A/B-Testlösung investieren, ist, fundierte Entscheidungen zu treffen und ihren Besuchern das bestmögliche Online-Erlebnis zu bieten. Sie können sich nicht darauf verlassen, dass Ihre Optimierungsbemühungen zu sinnvollen Vorteilen führen, wenn Sie Ihrer A/B-Testlösung nicht vertrauen können.

Indem Sie sicherstellen, dass alle A/B-Tests qualitätsgesichert sind, wissen Sie, dass die Daten angemessen erfasst werden und Ihre Optimierungsbemühungen Ihren Besuchern echte Vorteile bringen .

Technische Probleme bei A/B-Tests sind kritisch, da sie erhebliche Risiken für Marken darstellen, darunter Datenverlust, verzerrte Berichterstattung und voreingenommene Entscheidungsfindung. Sie haben auch schwerwiegende finanzielle Folgen. Marken müssen ihrer Lösung voll und ganz vertrauen, da sie ein Entscheidungstool ist, das sich direkt auf steigende Konversionsraten sowie Verkäufe und Einnahmen auswirkt.

Das Geschäft leidet unter Umsatzeinbußen

Sie haben nur eine Chance, einen ersten Eindruck zu hinterlassen. Es stimmt in vielerlei Hinsicht, und wenn Sie sich nicht die Zeit für die Qualitätssicherung nehmen, lassen Sie möglicherweise Geld auf dem Tisch.

Scheinbar kleine Dinge wie das Verhindern des Checkout-Fortschritts oder das Nichtanzeigen von CTAs können dazu führen, dass Ihre Kunden Ihr Geschäft verlassen. Sie müssen all dies testen, um das Kundenerlebnis zu bereichern .

Der Schlüssel zum Kundenerfolg und zur Kundenzufriedenheit liegt in der Lieferung eines qualitativ hochwertigen Produkts. Zufriedene Kunden kommen wieder und können sogar weiterempfehlen.

4 Best Practices für QA A/B-Tests

Wenn Sie bis zu diesem Punkt gelesen haben, verstehen Sie den Wert der Qualitätssicherung und möchten mehr darüber erfahren. Aber welche Teile eines A/B-Tests können Sie einer QA unterziehen? Und was sind die Best Practices, die man befolgen sollte?

Hier sind einige Möglichkeiten, um Ihnen den Einstieg zu erleichtern.

1. Entwickeln Sie eine QA-Strategie

Erstellen Sie eine Strategie oder etablieren Sie einen strukturierten Prozess, bevor Sie Ihre A/B-Tests einer Qualitätssicherung unterziehen. Es sollte ein klares Ziel und spezifische Qualitätsstandards haben, an denen sich die QA messen lässt.

Besprechen Sie die Schmerzpunkte auch mit Ihren Entwicklungs- und Optimierungsteams. Bringen Sie alle Beteiligten auf dieselbe Seite, indem Sie unterschiedliche Perspektiven berücksichtigen und gemeinsame Ziele und Standards festlegen.

Ihre QA-Strategie sollte auch an Ihren Konversionszielen ausgerichtet sein . Wenn die Zeit und die Ressourcen, die Sie für die Qualitätssicherung aufwenden, letztendlich nicht zu Conversions beitragen, müssen Sie möglicherweise den gesamten Prozess überdenken.

Was brauchen Sie normalerweise, um eine praktische Strategie zu entwickeln?

• Grundlagen schaffen und Rollen zuweisen
• Genau wissen, was QA ist
• Prognoseprobleme, die auftreten können, und Möglichkeiten, sie zu beheben
• Variationen auflisten
• Identifizieren, für wen die QA bestimmt ist (Zielbenutzergruppe)
• Standards für QA setzen

2. Identifizieren Sie, was in einem A/B-Test einer QA unterzogen werden soll

Die Qualitätssicherung eines A/B-Tests kann ziemlich mühsam und komplex sein, wenn Sie nicht wissen, was und wie Sie sich auf eine QA vorbereiten müssen. Hier sind einige der kritischsten Aspekte, die es zu beachten gilt.

On-Page-Elemente

On-Page-Elemente sind das Fleisch eines A/B-Tests. Da sie kundenorientiert sind und sich direkt auf die Seitengeschwindigkeit und das Benutzererlebnis auswirken, müssen Sie sie ständig auf Qualität testen. Bevor Sie beginnen, bereiten Sie eine Liste aller Elemente für die QA vor. Dies sollte ein größerer Teil Ihrer QA-Strategie sein, um erfolgreiche Audits durchzuführen, die Bearbeitungszeit zu verkürzen und eklatante Schwächen und Probleme der Website zu identifizieren und zu beheben.

Einige kritische Bereiche, auf die Sie sich konzentrieren sollten:

• Seitengeschwindigkeit und Reaktionsfähigkeit: Dies sind die wesentlichsten Faktoren, die bei einer QA übersehen werden. Viele dynamische Website-Faktoren beeinflussen die Seitenleistung und Reaktionsfähigkeit. Und während Sie diese Faktoren für einzelne Funktionalitäten bewerten können, schauen Sie sich an, ob sie Ihre Website langsam machen und wie sie den Unterschied ausmachen können. Sie müssen ein größeres Bild schaffen und alle Möglichkeiten eines responsiven Designs erkunden, wobei Sie sowohl die Leistung Ihrer Website als auch das Kundenerlebnis im Auge behalten.
• Gerätetyp: Bildschirmauflösungen unterscheiden sich je nach Gerät, von dem aus auf eine Seite zugegriffen wird. Dies ist äußerst wichtig beim Testen für ein mobiles Publikum, bei dem Auflösungen das Benutzerverhalten stark beeinflussen. Um ein qualitativ hochwertiges Erlebnis zu ermöglichen, müssen Sie identifizieren, welches Gerät Ihre Verbraucher verwenden. Verfolgen Sie Muster und führen Sie eine entsprechende QA Ihrer Testelemente (für diese Geräte) durch.
• Grafiken und visuelle Elemente: Alle grafischen und visuellen Seitenelemente sollten einer Qualitätssicherung unterzogen werden, was sich auf die Seitenleistung und die Ladezeit auswirkt. Idealerweise müssen Sie verstehen, wie Sie Bilder in Ihren A/B-Tests verwenden. Jedes Bild, das Sie verwenden, sollte mit der Struktur und dem Design Ihrer Website synchronisiert und auf verschiedenen Geräten ordnungsgemäß geladen werden.
• Eigentlich alles: Funktionieren die On-Page-Formulare einwandfrei? Hat sich eine Änderung daran auf die Qualität der Website ausgewirkt? Wie sieht alt vs. neu aus? Wir können Hunderte von QA-Elementen auf einer Website diskutieren, verfehlen aber immer noch den Punkt. Aus diesem Grund sollten Sie jedes kleine Detail kennen, das validiert und getestet werden muss. Und wie machst du das? Indem Sie die Ergebnisse, die Ihre Änderungen bringen, ständig überprüfen und absichern.

Integrationen mit Tools von Drittanbietern

Wenn Sie eine Google Analytics-Integration (oder eine andere Schnittstelle von Drittanbietern wie Google Analytics, Mixpanel oder Kissmetrics) eingerichtet haben, um variantenspezifische Daten zwischen Plattformen zu senden, stellen Sie sicher, dass die Daten reibungslos und genau fließen.

Blinken oder Flackern

Entfernen Sie jegliches Flimmern, bevor Sie den Test live schalten.

Wenn Sie ein asynchrones Code-Snippet auf Ihrer Website verwenden, sehen Sie möglicherweise das Original, bevor die Variation geladen wird. Um Ihren Besuchern ein reibungsloses Website-Erlebnis zu bieten, wechseln Sie zu einer „synchronen Website“. Für die kurze Ladezeit wird das Original ausgeblendet und Ihr Besucher sieht nur die Variante

Cross-Browser und Cross-Device

Eines der häufigsten Probleme bei A/B-Tests ist die „Browser- und Gerätekompatibilität“. Untersuchen Sie, wie die Variation in den gängigsten Browsern angezeigt wird, einschließlich Chrome, Safari, Firefox, Edge, und den Gerätetypen Desktop, Tablet und Mobilgerät.

Nur weil Ihre Website responsive ist, heißt das nicht, dass sie auf allen Geräten korrekt angezeigt und funktioniert. Sie müssen immer noch die QA durchführen und dabei mobilspezifische Probleme berücksichtigen . Denken Sie daran, dass eine gute „Desktop-Erfahrung“ nicht dasselbe ist wie eine gute „mobile Erfahrung“.

Sie müssen trotzdem eine QA durchführen. Sie sollten auch mobilspezifische Probleme berücksichtigen. Denken Sie daran, dass ein gutes Desktop-Erlebnis nicht dasselbe ist wie ein gutes mobiles Erlebnis.

Talia Wolf, Conversion Optimization Consultant bei GetUplift, fasst die geräteübergreifenden Probleme ziemlich gut zusammen und bietet einige mögliche Lösungen an:

Talias Sicht auf die Benutzerfreundlichkeit von Geräten beleuchtet mehr als nur die üblichen Aspekte der Geräteerfahrung und konzentriert sich im Wesentlichen auf Bereiche, die eine einfache Navigation und einfache Handhabung ermöglichen. Sie müssen weit darüber hinausgehen und vorhandene und zukünftige Gerätefunktionen berücksichtigen, um die richtige Qualität zu liefern.

3. Konzentrieren Sie sich auf die Seitenerfahrung

Wozu unternehmen Sie all die Anstrengungen, wenn sie letztendlich nicht das Seitenerlebnis verbessern? Die Funktionalität einer Seite wirkt sich erheblich auf die Seitenerfahrung aus und sollte umgehend einer QA unterzogen werden.

• Benutzerinteraktion: Analysieren Sie zunächst, wie ein Benutzer mit einer Seite interagiert. Listen Sie verschiedene Berührungspunkte für Interaktionen auf und kategorisieren Sie sie nach ihrer technischen Beschaffenheit. Stellen Sie sicher, dass Sie das kleinste Detail überprüfen. Ist alles anklickbar und richtig umleitbar? Wie sieht der Navigations-Hover aus? Gibt es Seitenstörungen oder Bounce-Trigger?
• Seitenladezeit : Bevor Sie einen A/B-Test durchführen und direkt nachdem Sie ihn gestartet haben, überprüfen Sie Ihre Seitenladezeit. Jeder Unterschied in der Seitenladezeit ist normalerweise vernachlässigbar, aber überprüfen Sie die Variationsänderungen erneut, wenn Sie einen signifikanten Anstieg feststellen. Dies kann daran liegen, dass Änderungen, die Sie an der Variante vorgenommen haben, lange zum Laden brauchen, oder die Geschwindigkeit des Tracking-Code-Snippets.

Es ist erwähnenswert, dass die Ladezeit länger als gewöhnlich ist, wenn die QA mit einem Testtool durchgeführt wird – eine ungenaue Darstellung der tatsächlichen Seitenladezeit.

Darüber hinaus garantiert die Vorschau des Tests in verschiedenen Variationen, dass er ordnungsgemäß geladen wird und die erwarteten Ergebnisse liefert.

4. Richten Sie QA an Ihren Conversion-Zielen aus

A/B-Testing ist der Vorläufer von Conversions. Wenn Ihre Tests letztendlich nicht mit Ihren Konversions- und A/B-Testzielen übereinstimmen, sind Sie auf lange Sicht unterwegs und laufen Gefahr, vorhandene Ressourcen zu erschöpfen.

Wenn man sich nach Brians Worten richten kann, sollten alle zuvor besprochenen Elemente Ihre Besucher nicht nur durch den Konversionstrichter führen, sondern auch zu Konversionen führen . Sie können nur so lange testen und versuchen und erneut testen, wie Sie die Zeit, die Leute und das Budget haben. Dies erfordert die Optimierung all dieser Bereiche in einer Weise, die sich auf Ihr Endergebnis auswirkt und Ihr Geschäft am Laufen hält.

Hier ist ein Anwendungsfall:

Wenn Sie CSS-Selektoren in Ihrer Konsole ausführen, können Sie sehen, ob die erzeugten Elemente das sind, wonach Sie suchen. Wenn irgendetwas abweicht, überprüfen Sie, ob die regulären Ausdrücke nicht eng genug waren. Nehmen Sie zur Sicherheit eine Handvoll Website-URLs und führen Sie sie mit einem Tool wie RegEx Pal aus. Dies gilt sowohl für die Durchführung Ihrer Tests als auch für das Tracking von Conversions. Sie können weiter überprüfen, ob Sie Ihren Test auf Seiten ausführen, die nicht dafür entwickelt wurden?

Das alles mag nach viel erscheinen, aber der Prozess sollte den umfangreichen Tests ähneln, die Sie bei der Veröffentlichung einer neuen Website/App durchführen würden, was Tage und viel Aufwand in Anspruch nehmen kann.

Warum QA nicht richtig gemacht wird

Die folgenden Faktoren tragen dazu bei, dass Ihre A/B-Tests nicht ausreichend QA-geprüft werden.

Zeitbeschränkungen

Entwicklungsteams stehen unter ständigem Druck, ein hohes Split-Testing-Tempo beizubehalten, um ein schnelleres Wachstum zu erreichen. Allerdings werden A/B-Tests unter einer solchen Last eher falsch umgesetzt.

Falsch implementierte Tracking-Codes

Dies ist ein einfacher Fehler, der jedoch enorme Folgen haben kann. Wenn Sie Tracking-Codes falsch implementieren oder ganz vergessen, werden die Daten eines A/B-Tests unbrauchbar, weil es keine Möglichkeit gibt, zu wissen, welche Variante besser darin war, Besucher in Leads und Kunden umzuwandeln.

Keine klaren Hypothesen

Neue Hypothesen werden in A/B-Tests gegen Ihre Originalseite getestet – nicht mehr und nicht weniger . Und sie müssen angemessen abgegrenzt und definiert werden.

Beispielsweise möchten Sie vielleicht sehen, ob das Einfügen eines Zitats von einem CEO die Konversionsrate einer Zielseite erhöht oder verringert. Die Nullhypothese besagt, dass das integrierte Zitat keinen nennenswerten Einfluss auf die Conversion-Rate hat. Sie können eine gezielte Hypothese entwickeln: Die Einbeziehung des Zitats führt zu einer viel höheren Conversion-Rate .

Unzureichende Stichprobengröße

Dies kann bei kleinen Online-Shops und Websites der Fall sein, bei denen die Tests nicht sinnvoll oder angemessen sind. Aufgrund der geringen Stichprobengröße sind die Ergebnisse anfällig für starke Schwankungen und Verzerrungen.

Je „kleiner“ die Stichprobe, desto „größer“ ist die Wahrscheinlichkeit einer Schätzungsungenauigkeit.

Auch zu große Stichproben können ein Problem darstellen. Selbst geringfügige Mittelwertunterschiede werden in großen Stichproben signifikant, wenn intervallskalierte Daten verwendet werden, z. B. die Messung der Aufenthaltsdauer. Die Berechnung der Effektgröße und der idealen Stichprobengröße kann Ihnen helfen, diese Herausforderung zu lösen.

Wie Convert typische QA-Herausforderungen überwindet

Jedes Unternehmen, das Experimente in seine digitale Marketingstrategie einführt, sollte QA-Maßnahmen in seine betrieblichen Arbeitsabläufe integrieren, wie z. B. die Zertifizierung von Integrationen und die Vorschau von Erfahrungen, bevor es live geht.

Bei Convert integrieren wir die vielen Teile eines Puzzles, um auf einfachste Weise eine personalisierte Strategie zu erstellen . Wir haben Hunderten von Unternehmen dabei geholfen, ihre Fähigkeiten zum Erstellen, Testen, Überprüfen und Starten von Erfahrungen mit unseren vielfältigen Tools und Ressourcen zu verbessern.

Lassen Sie uns Ihnen zeigen, was sie sind und wie sie eine abgerundete Lösung für all Ihre QA-Probleme sein können.

Der Google Chrome Convert-Debugger

Unsere Google Chrome-Erweiterung gibt „Skriptprotokolle konvertieren“ an die Chrome Developer Tools-Konsole aus. Es umfasst Experimente und bestimmte ausgelöste Variationen. Dieses Tool ermöglicht es Ihnen, die Abfolge von Testereignissen zu bestimmen und liefert wertvolle Informationen beim Debuggen eines Tests.

Denken Sie daran: Verwenden Sie diesen Debugger während des gesamten QA-Prozesses, um zu entscheiden, ob Sie in das Experiment aufgenommen werden, und beobachten Sie Variationen.

Es kommt häufig vor, dass man mit der ursprünglichen Variante überhäuft wird und fälschlicherweise davon ausgeht, dass das Experiment nicht funktioniert. Wir empfehlen, die Erweiterung zu aktivieren und die QA in Inkognito-Sitzungen durchzuführen, um dieses Problem zu beheben . Alle Verweise auf Variationen und Experimente in der Debugger-Ausgabe werden mit den entsprechenden IDs erstellt.

Variations-URLs in der Vorschau anzeigen

Diese URLs unterstützen das Entwickeln oder Entwerfen eines Erlebnisses mit dem Visual Editor . Während des Betriebs sollte der QA-Tester des Experiments zwischen diesen URLs und der Ansicht des visuellen Editors hin und her wechseln. Die Ansicht ist möglicherweise nicht ganz genau, da das Bearbeitungsfenster nur einen Rahmen hat. Außerdem wird der Code, der Änderungen im Editor vornimmt, wiederholt ausgeführt, um die Benutzererfahrung zu verbessern .

Beachten Sie bei der Vorschau von Variations-URLs einige Dinge:

• Site-Bereich und Zielgruppenbedingungen werden bei der Vorschau mit der „Live-Vorschau-URL“ nicht berücksichtigt.
• Die Änderungen werden an der Seiten-URL vorgenommen, an der Parameter angehängt werden. Dies dient zum einfachen Testen verschiedener Ansichten.

Variations-URLs erzwingen

Force Variation URLs bieten Ihnen einen eindeutigen Testausblick. Damit testen Sie Ihr Experiment in einer besucherähnlichen Umgebung.

Denken Sie daran: Sie sollten diese URLs für den abschließenden Test Ihres Experiments verwenden.

Variationen, die mit dieser URL bereitgestellt werden, werden von dem CDN-Server bereitgestellt, der zum Bereitstellen der Experimente verwendet wird.

Bei Verwendung einer Force Variation URL werden die Testbedingungen ausgewertet, stellen Sie also sicher, dass sie übereinstimmen. Denken Sie auch daran, dass Zielkonfigurationen häufig URL-Bedingungen enthalten. Dies könnte der Grund sein, warum Ihre Ziele nicht mit einer Force Variation URL ausgelöst werden.

Verwenden von Abfrageparametern in QA-Zielgruppen

Sie können die Besucher einschränken, die Ihr Experiment sehen, indem Sie ihm eine QA-Zielgruppe hinzufügen.

Um eine „neue Zielgruppe“ zu erstellen, können Sie eine Bedingung verwenden wie:

Mittel: Entspricht genau qa

Mit der QA-Zielgruppe können Sie einen Test „aktivieren“ und verifizieren, ohne Besucher darin zu bündeln.

• Ordnen Sie Ihrem Experiment zunächst eine Zielgruppe zu.
• Öffnen Sie zum Testen ein neues Inkognito-Fenster in Ihrem Browser.
• Öffnen Sie keinen zweiten Tab und stellen Sie sicher, dass keine anderen Inkognito-Fenster geöffnet sind.
• Schließen Sie das Fenster, wenn Sie mit dem aktuellen Test fertig sind, und öffnen Sie für jeden neuen Test ein neues Fenster.

Sie besuchen meistens die URL, die den „Site Area“-Bedingungen entspricht. Abhängig von der Struktur Ihres Experiments können Sie in einigen Fällen zuerst eine andere Seite besuchen und dann zu dem Websitebereich navigieren, der die Ausführung des Experiments auslöst. Stellen Sie in jedem Fall sicher, dass Sie den Abfrageparameter der allerersten URL hinzufügen, die Sie besuchen . Dieser Parameter wird gespeichert, auch wenn Sie zu anderen Seiten navigieren.

Wenn Sie die obigen Anweisungen befolgen, können Sie jede Variation des Experiments sehen, da sie zufällig ausgewählt wurde. Wenn Sie nicht bereits mit der URL begonnen haben, die den Site-Area-Bedingungen entspricht, können Sie außerdem diejenige aufrufen, die dies tut. Sie sollten dann entweder das „Original“ oder eine der Variationen sehen, je nachdem, was das Experiment zufällig auswählt.

Denken Sie daran: Das Hinzufügen einer QA-Zielgruppe kann sich auf Ihre Fähigkeit auswirken, Site-Bereich und Ziel-URL-Bedingungen abzugleichen.

Live-Protokolle

Live-Protokolle in Convert Experiences verfolgen, wie Endbenutzer mit Webseiten und Experimenten auf Projekt- und Experimentebene in Echtzeit interagieren. Sie erfassen Informationen wie den Zeitstempel, wenn ein Ziel ausgelöst wird, die Art des ausgelösten Ereignisses, die dem Endbenutzer präsentierte Variation und mehr.

Hier können Sie auf eine beliebige Stelle in der Zeile klicken, um weitere Details der Aktivität anzuzeigen, z. B. den Namen des Experiments, den Browsertyp, das für den Zugriff auf das Experiment verwendete Gerät, das Land des Benutzers, während eines Besuchs ausgelöste Ziele usw.

Mit Live-Protokollen können Sie nachverfolgen und überwachen, wie Conversions erfolgen. Sie machen es Ihnen auch leicht, Ihre Einrichtung zu validieren und alle Probleme zu beheben, die während der Testeinrichtung oder Konvertierungen gefunden wurden. Live-Protokolle fungieren auch als Quelle, um Ihnen dabei zu helfen, den Umsatz zu verfolgen und das Experiment und die festgelegten Ziele zu validieren.

Immer nach vorne schauen!

A/B-QA-Tests sind unerlässlich, um sicherzustellen, dass Ihre Website voll funktionsfähig und fehlerfrei ist. QA hilft nicht nur bei der Lösung aktueller Probleme, sondern legt auch den Grundstein für die Vermeidung zukünftiger Probleme.

Es kann jedoch schwierig sein, einen QA-Prozess zusammenzustellen. Bei so vielen potenziellen Benutzern auf vielen Geräten mit unterschiedlichen Zielen und Ambitionen ist es schwierig zu wissen, wo man anfangen und welche Fragen man stellen soll.

Wir haben die Conversion-Rate-Optimierungs-Community zur Bedeutung von QA befragt.

Die Antwort war eindeutig.

Das QA-Verfahren ist laut 100 % der Befragten wichtig für den Erfolg eines Experiments.

Wir haben branchenweite Best Practices für QA mit Erkenntnissen von Converts zertifizierten Agenturpartnern kombiniert, um eine umfassende Checkliste zu erstellen, die Sie immer wieder verwenden werden.

Die obige Checkliste soll keine vollständige Liste von allem sein, was Sie überprüfen sollten, sondern eher ein Ausgangspunkt, um darüber nachzudenken, was getan werden muss, bevor Sie Ihre A/B-Tests starten. Es ist wichtig, sich daran zu erinnern, dass QA eine Reise ist, kein Ziel, und dass sie regelmäßig und während größerer Änderungen durchgeführt werden sollte.