Wie behandelt man qualitative und quantitative Daten, um A/B-Tests zu gewinnen?

Wenn wir es auf seine Kernkonzepte herunterbrechen, geht es bei CRO weniger um Conversions als vielmehr darum, Ihr Publikum zu verstehen und wie es mit Ihrer Website interagiert.

Je besser Sie sie verstehen, was sie wollen und wie sie sich auf Ihrer Website verhalten, desto bessere Kundenerlebnisse und Angebote können Sie bieten.

Das bedeutet, dass unser primäres Ziel als Tester darin besteht, so viele Informationen wie möglich zu erhalten . Je mehr Daten wir haben, desto besser können wir Tests planen und versuchen, eine Steigerung der Ergebnisse zu sehen.

Das Problem?

Wir sind nicht immer gut darin, diese Daten zu sammeln oder zu verstehen. Vielleicht kennen wir die zu verwendenden Tools nicht, die Prozesse zum Auffinden der Informationen nicht, oder vielleicht analysieren wir nicht und erhalten keine genauen Erkenntnisse, entweder aus Mangel an Erfahrung oder schlimmer noch, indem wir unsere eigene Voreingenommenheit hinzufügen, die die Ergebnisse verfälscht.

Das werden wir im heutigen Leitfaden behandeln: Wie Sie Informationen über Ihr Publikum sammeln, verstehen und verwenden. Wir werden sogar tief eintauchen und uns andere Tester und ihre Prozesse ansehen, damit Sie noch mehr Ideen und Erkenntnisse für Ihre neuen Tests sammeln können.

Lesen Sie weiter, um mehr zu erfahren, oder klicken Sie hier, um zu erfahren, „wie man Daten nutzt, um erfolgreiche A/B-Tests voranzutreiben“.

Wenn es darum geht, Informationen für Ihre Website oder App zu testen und herauszufinden, gibt es zwei Arten von Daten, die wir uns ansehen möchten.

Beispiele für quantitative Datenanalysen könnten sein:

• Traffic auf einer Seite messen
• Die Absprungrate dieses Traffics
• Die Klickrate
• Abonnententarif
• Verkaufspreis
• Durchschnittlicher Verkaufswert.

Die meisten Testprogramme beginnen sowohl mit einer technischen Analyse, um Daten darüber zu erhalten, was auf einer Website funktioniert oder nicht funktioniert, als auch mit einer quantitativen Analyse, um eine Basislinie für die aktuelle Leistung der Website zu erhalten, bevor sie mit einer qualitativen Analyse fortfahren.

Beispiele für qualitative Daten sind

• Benutzerforschung
• Karten scrollen
• Klick-Tracking
• Heat-Mapping
• Umfragen.

Das Ziel ist einfach, ein besseres Verständnis der Zielgruppe und ihrer Interaktion zu erlangen, damit wir potenzielle Probleme bei der Nutzung der Website erkennen oder externe Probleme erfahren können, die sich auf ihre Aktionen auf der Website auswirken können.

Obwohl wir zum Beispiel wissen, dass ein CTA nicht viele Klicks erhält, finden wir nur durch Kundeninterviews heraus, dass die Sprache nicht klar ist oder beim Publikum nicht ankommt.

Was ist der richtige Weg, Daten in A/B-Tests zu verwenden?

Obwohl es so aussieht, als würden wir nur bestimmte Conversion-Ereignisse verfolgen oder das Nutzerverhalten überwachen, besteht das Ziel darin , sowohl quantitative als auch qualitative Daten zu kombinieren . Vielleicht, um technische Fehler oder allgemeine Probleme zu finden, aber idealerweise kombinieren wir sie, damit wir uns weiterbilden und einen ganzheitlicheren Einblick in unser Publikum gewinnen können.

Wir wollen auch nicht nur sofortige Informationen. Wir wollen herausfinden, warum etwas passiert, und dann einen Schritt weiter gehen, um die eigentliche Ursache zu finden.

Nehmen wir an, wir betreiben quantitative Forschung und stellen fest, dass die Konversionsrate auf einer Seite niedrig ist. Ist das Angebot oder Produkt einfach nicht erwünscht? Oder müssen wir den Prozess verbessern?

Wir führen dann eine Heatmap auf der Zielseite aus und sehen, dass die Mehrheit der Zielgruppe nicht auf einen bestimmten CTA klickt, und so können wir Hypothesen darüber aufstellen, warum. Vielleicht ist die Sprache nicht klar?

Aber bei genauerer Betrachtung sehen wir, dass es bei einigen Geräten einfach außerhalb des Bildschirms liegt, während es bei anderen nicht genug auffällt, um überhaupt klar zu sein, dass es sich um eine Taste handelt, die gedrückt werden muss.

• Wenn wir uns nur die qualitativen Daten ansehen würden, würden wir einfach denken, dass es sich um eine niedrige CTR handelt.
• Wenn wir uns nur die qualitativen Daten ansehen würden, könnten wir annehmen, dass die Leute einfach nicht klicken.

Aber wenn wir sie kombinieren, können wir viel tiefer sehen. (So ​​verstehen wir Daten im A/B-Testing wirklich.)

Die alte Redewendung ist insofern wahr, als „was gemessen wird, wird verwaltet“. Der Schlüssel ist natürlich, sicherzustellen, dass wir keine Entscheidungen auf der Grundlage begrenzter oder fehlerhafter Datensätze treffen, also schauen Sie sich IMMER mehrere Datenquellen an.

Zu lernen, langsamer zu werden, nach dem Warum zu fragen und die Daten sacken zu lassen, wird Ihnen helfen, ein viel besserer Tester und Problemlöser zu werden.

Anstatt zu versuchen, die Antwort sofort zu finden, fragen Sie sich, ob Sie genügend Informationen haben:

• Haben Ihre Benutzer ein leicht zu behebendes Problem (defekte Schaltfläche oder schwacher CTA) oder könnte es noch mehr geben, das ebenfalls verbessert werden könnte?
• Haben Sie eine inhärente Voreingenommenheit oder frühere Erfahrungen, die Ihre anfänglichen Ideen beeinflussen?
• Könnten Sie zuerst mehr über Ihr Publikum herausfinden?

Was ist, wenn Sie sich dieses CTA- und Layout-Problem genauer ansehen und feststellen, dass die Mehrheit Ihrer Zielgruppe veraltete Mobilgeräte mit unterschiedlichen Bildschirmauflösungen und Ladegeschwindigkeiten verwendet? Es könnte sein, dass ihnen die meisten Ihrer Inhalte und Interaktionen fehlen und nicht nur Ihr CTA und Ihre Verkaufsseiten. Sogar Ihre Social Media- und Blog-Inhalte könnten betroffen sein!

Gehen Sie wieder tiefer. Warum haben sie diese Geräte? Können sie sich kein teureres Gerät leisten? Ist es ihnen nicht wichtig? Wenn nicht, was dann?

Versuchen Sie nicht, alle Ihre Entscheidungen von dem zu treffen, was Sie bisher haben. Nehmen Sie sich Zeit, denken Sie nach und tauchen Sie mit jedem Ergebnis, das Sie erhalten, tiefer ein. Finde den Grund dafür.

Große Fehler, die Sie beim Sammeln und Analysieren von Daten vermeiden sollten

Machen Sie sich jetzt keine Sorgen, wenn Sie der Typ Tester sind, der versucht, aus seiner anfänglichen Recherche sofort einen Einblick zu gewinnen, da Sie damit nicht allein sind.

Dies ist nur eines der wenigen wiederkehrenden Probleme, die die meisten Menschen machen, wenn sie versuchen, ihre Daten zu sammeln oder zu verstehen …

Problem Nr. 1: Sammeln von Daten, um eine Meinung zu beweisen

Nutzen Sie Daten, um neue Erkenntnisse zu gewinnen? Oder verwenden Sie Daten, um aktuelle Ideen zu validieren?

Es ist in Ordnung, Daten zu verwenden, um eine Idee zu validieren. Das ist das Ziel der Hypothese. Wir haben eine Vorstellung davon, was falsch ist und wie man es beheben kann, und deshalb versuchen wir, dies mit dem Test und seinen Ergebnissen zu beweisen.

Aber vergessen Sie nicht die wissenschaftliche Methode! Wir können uns nicht an unsere Ideen und Meinungen binden. Wir müssen den Daten vertrauen und den wahren Grund finden. Das liegt uns am Herzen. Es ist in Ordnung, mit einer Hypothese „falsch“ zu liegen. Wenn Sie aus einem fehlgeschlagenen Test eine andere Erkenntnis gewinnen, lernen Sie einfach mehr über Ihr Publikum!

Seien Sie nur vorsichtig, wenn die Daten Ihnen eine Sache sagen, aber Sie verzerren sie, um zu versuchen, etwas anderes zu beweisen.

Problem Nr. 2: Sponsoring-Analyse, ohne das Problem klar zu artikulieren

Ein häufiges Problem beim Testen (und sogar in den meisten Unternehmen) ist, dass die Person, die die Daten analysiert, nicht immer der Analyst ist.

Stattdessen wird der Analyst als Medium verwendet, um Informationen in Berichte für Dritte zu ziehen, die versuchen, ein Problem zu lösen. (Sie werden fast zu einem verherrlichten Armaturenbrett.)

Hier ist ein Beispiel:

• Ihr Chef hat ein Ziel und ein Problem.
• Sie haben eine ungefähre Vorstellung von der Lösung und der Ursache und fragen den Analysten daher nach Daten zu XYZ, jedoch ohne Kontext. Sie versuchen herauszufinden, ob dieses Problem und die Lösung funktionieren könnten.
• Normalerweise gibt es ein Hin und Her, um weitere Daten anzufordern. Diese Anfrage unterstützt entweder fälschlicherweise die Idee, oder es ist kein weiteres Verständnis erfolgt.
• Und so werden neue Tests oder Ideen vorgebracht, und das Problem bleibt ungelöst.

Nicht toll, oder?

Aber stellen Sie sich vor, der Chef käme mit dem Kontext des jeweiligen Problems zum Analysten und sie arbeiteten zusammen, um das Problem zu artikulieren und die Grundursache zu finden?

Dies könnte sowohl das Verständnis als auch die neuen Tests zur Lösung beschleunigen.

Problem Nr. 3: Sich auf eine einzige Datenquelle verlassen, ohne in verschiedene Perspektiven einzutauchen

Wir haben dies bereits angedeutet, aber es ist so wichtig, sich nicht nur an eine einzige Datenquelle zu halten, da Sie Ihr Verständnis und Ihre potenziellen Testlösungen und Ideen stark einschränken.

Je mehr Quellen Sie haben, desto besser können Sie sich ein Bild davon machen, was passiert und warum.

Ja, es braucht Zeit, aber bei der Optimierung der Conversion-Rate geht es darum, diese Zielgruppe zu verstehen. Arbeite und lerne so viel wie möglich.

Je mehr Sie wissen, desto besser!

über GIPHY

Problem Nr. 4: Kritisches Denken nicht als Fähigkeit priorisieren

Unser Gehirn ist seltsam. Wir funktionieren auf Basis eines Systems von Basisimpulsen, emotionalen Treibern und früheren Erfahrungen. Das Ziel ist, uns am Leben zu erhalten, uns fortzupflanzen und Entscheidungen zu treffen, ohne zu viel Energie zu verschwenden.

Mit diesem Wissen ist es für Tester (und jeden Geschäftsinhaber) immer klug, sich des Prozesses sowohl des kritischen Denkens als auch der kognitiven Verzerrung bewusst zu sein und wie sie unser Verständnis und unsere Entscheidungen beeinflussen …

Was ist kritisches Denken?

Kritisches Denken ist die Fähigkeit, Fakten und Daten zu analysieren, um sich ein unvoreingenommenes Urteil zu bilden.

Es gibt Hunderte von verschiedenen Dingen, die in unsere Entscheidungsfindung einfließen, von denen eine die Voreingenommenheit von Entscheidungen ist, die auf früheren Lebenserfahrungen oder Situationen basieren. Wir nennen diese kognitiven Verzerrungen .

Diejenigen, die kritisches Denken praktizieren, verstehen dies und wenden daher einen bestimmten Prozess an, der ihnen hilft, unvoreingenommene Urteile zu fällen:

• Identifikation . Finden Sie das Problem.
• Sammeln Sie Daten . Stellen Sie sicher, dass Sie mehrere Quellen verwenden. Achten Sie darauf, der Quellenauswahl keine Vorurteile hinzuzufügen.
• Analyse . Kann man diesen Quellen vertrauen? Sind sie zuverlässig? Ist der Datensatz groß genug, um wahr zu sein?
• Interpretation + Schlussfolgerung. Welche Muster können Sie aus diesen Daten erkennen? Was sagt es dir bisher? Was ist das Wichtigste? Sehen Sie Kausalität oder Korrelation?
• Erklärung . Warum passiert das Ihrer Meinung nach?
• Selbstregulierung . Haben Sie irgendwelche kognitiven Verzerrungen, die diese Analyse und Testhypothesen beeinflussen? Gehen Sie von falschen Annahmen aus? Arbeiten Sie sie durch, um sicherzugehen.
• Aufgeschlossenheit und Problemlösung. Wie können Sie dieses Problem mit Ihrem aktuellen Verständnis lösen? Müssen Sie zuerst mehr lernen?

Wie Sie sehen können, ist es unglaublich wichtig, einen Prozess zur Analyse dieser Informationen zu haben. Trotzdem sollten Sie sich alle unbewussten Vorurteile ansehen, die sich darauf auswirken könnten, wie Sie Entscheidungen treffen und diese Daten analysieren.

Was sind kognitive Verzerrungen?

Kognitive Verzerrungen sind Cheat-Codes für unser Gehirn, um mithilfe von Mustererkennung Energie bei Entscheidungen zu sparen. Das Problem ist natürlich, dass unsere Vorurteile nicht immer richtig sind und unsere Entscheidungen und Handlungen positiv oder negativ beeinflussen können. Ik Das macht sich besonders beim Testen bemerkbar.

Hier sind einige Beispiele:

• Aktionsverzerrung : Die Tendenz, Maßnahmen ergreifen zu wollen, selbst wenn die Daten darauf hindeuten, dass keine Verbesserung möglich ist?
• Verankerungsvoreingenommenheit: Die Tendenz, Entscheidungen auf zuvor erworbene Informationen zu stützen.
• Autoritätsverzerrung: Die Tendenz, Meinungen aus Autoritätspositionen einen höheren Wert beizumessen.

Sehen Sie, wie sich diese auf Ihre Datenanalyse und Testideen auswirken könnten?

Es gibt viel zu viele davon, als dass ich sie hier behandeln könnte (einige schätzen insgesamt etwa 150). Ich empfehle Ihnen dringend, eine eigene Liste zu erstellen. Dann können Sie versuchen, einen kritischen Denkprozess für die Analyse Ihrer Daten einzubauen, wie wir es zuvor beschrieben haben, und alle potenziellen Verzerrungen, die Ihre Analyse beeinflussen könnten, auf eine „Checkliste“ setzen.

Problem Nr. 5: Korrelation als Kausalität nehmen

Dies knüpft fast an eine kognitive Verzerrung an, da wir Muster in Daten sehen, die möglicherweise vorhanden sind, aber möglicherweise nicht die Ursache des Ergebnisses sind.

Sie treten einfach oft zusammen auf, entweder als Nebenprodukt oder als einfacher Zufall.

Zum Beispiel arbeiten die meisten Surfer nicht vormittags und surfen stattdessen. (Es ist, wenn Sie den besten Offshore-Wind für die Wellen haben).

Für die Person, die am Strand zuschaut, würden Sie annehmen, dass diese Leute vielleicht keine Arbeit haben oder sich krank gemeldet haben. Nach mehreren Gesprächen im Meer wurde jedoch klar, dass fast jeder da draußen beim Surfen für sich selbst arbeitet und sich daher seine Stunden aussuchen kann.

Nun fingen einige von ihnen mit dem Surfen an, weil sie diese Flexibilität und Freizeit hatten (Korrelation), andere wählten Berufe, in denen sie diese Flexibilität haben konnten, um surfen zu gehen (Kausation).

Ziemlich cool, oder?

Tatsache ist jedoch, dass es selbst nach den anfänglichen Recherchen und „Interviews“ leicht wäre, eine ungenaue Ansicht des Datensatzes zu erhalten. Schauen Sie sich Ihre Daten unvoreingenommen an und tauchen Sie tiefer ein, um die wahre Ursache zu finden.

Verschiedene Methoden zur Erhebung qualitativer und quantitativer Daten

Womit können wir diese Daten erheben?

Für die quantitative Datenerfassung sehen wir uns normalerweise zwei Arten von Tools an:

• Ein Analysetool wie Google Analytics oder ein Drittanbieter, um aktuelle Ergebnisse zu erhalten.
• Ein A/B-Testtool wie Convert Experiences, mit dem Sie die numerische Änderung der Leistung zwischen den Variationen und der Kontrolle messen können.

Beides wird uns numerische Rohdaten liefern.

(Schauen Sie sich hier unseren Vergleichsleitfaden für A/B-Testing-Tools an, damit Sie sehen können, welches für Sie am besten funktioniert.)

Für die qualitative Forschung sehen wir uns eine breitere Auswahl an, da wir mehrere verschiedene Elemente testen:

• Heat-Mapping
• Klick-Tracking
• Eyetracking
• Benutzeraufzeichnungen
• Vor-Ort-Umfragen und
• Direkte Kundenbefragungen.

Eye Tracking ist aufgrund der Hardwareanforderungen tendenziell das kostenintensivste Tool. Es stehen einige Softwareoptionen zur Verfügung, die intern installiert und verwendet werden können, während eine andere Option darin besteht, externe Unternehmen zu beauftragen, die Eye-Tracking-Brillen oder Kameras einrichten, um Augenbewegungen und interessante Orte zu überprüfen.

Für Heat Mapping, Klick-Tracking, einfache Benutzeraufzeichnung und Umfragen können Sie ein kostengünstiges Tool wie Hotjar verwenden, das all diese Funktionen kombiniert. Es hilft Ihnen, häufige Probleme zu erkennen und fast sofort einen Einblick zu erhalten, ohne die Unterstützung von Drittanbietern in Anspruch nehmen zu müssen, und führt *fast* ähnliche Funktionen wie Eyetracking aus.

Schließlich können Sie die Benutzeraufzeichnung noch einen Schritt weiter gehen und Agenturen beauftragen, die unabhängige Benutzer dazu bringen, Ihre Webseite zu verwenden, sie dazu bringen, festgelegte Aufgaben auszuführen, und dann ihre Interaktionen aufzeichnen und die Informationen an Sie weitergeben.

Randnotiz:

Obwohl wir diese nicht im Abschnitt „Quantitative Tools“ aufgeführt haben, gibt es manchmal eine Überschneidung, wenn qualitative Tools für die quantitative Datenerfassung verwendet werden können.

Sie könnten ein Umfragetool verwenden und die Antworten von X Teilnehmern messen, um einen numerischen Wert ihrer Meinung zu Verkaufstexten zu erhalten und wie sie denken, dass sie darauf reagieren werden.

Allerdings ... Dies ist immer noch subjektiv , da das, was die Leute sagen, nicht immer das ist, was sie tun .

Es ist immer eine gute Idee, ihr Feedback für eine Aktion (was sie sagen) und dann auch die tatsächliche Reaktion auf die Aktion (die Aktion, die sie ergreifen) zu messen. Manchmal kann Ihnen dies eine tiefere Vorstellung davon geben, was Sie bereitstellen und wie Sie es gestalten können.

Wie gehen Experimentierprofis mit qualitativen und quantitativen Daten um?

Möchten Sie wissen, wie die Profis Daten sammeln und verwenden? Wir haben kürzlich im Rahmen unserer Serie „Denken Sie wie ein CRO-Profi“ 7 CRO-Profis interviewt.

Ich werde ihre Interviews nicht verderben, da ich Ihnen dringend empfehle, sie zu lesen, aber ich habe unten einige interessante Leckerbissen darüber herausgezogen, wie sie über Daten denken, sowie meine Gedanken zu ihren Methoden …

Gursimran Gurjal – OptiPhoenix

Quantitative Daten sind im Allgemeinen gut, um grundlegende Konversionslücken aufzudecken, um zu verstehen, wo Benutzer abspringen, wie verschiedene Kanäle funktionieren, CR von verschiedenen Geräten, wo Benutzer die Website verlassen usw., während qualitative Daten uns helfen, Details darüber aufzudecken, warum Benutzer abbrechen oder eine bestimmte Aktion ausführen .

Die Kombination von „Where+Why“ mit Experimenten zeichnet ein vollständiges Bild des Nutzerverhaltens.

Das Studium qualitativer Daten wie Heatmaps, Sitzungsaufzeichnungen, Umfrageergebnisse oder das Durchführen von Usability-Tests erfordert viel mehr Zeit, um ein statistisch signifikantes Muster zu erstellen, während quantitative Daten einfacher zu analysieren sind. Wenn Sie detailliertere und aussagekräftigere Erkenntnisse gewinnen möchten, ist dies wichtig sich nicht nur auf GA oder Hotjar zu verlassen, um Daten zu sammeln, sondern Ihre eigenen benutzerdefinierten Ereignisse voranzutreiben, um die Daten aussagekräftiger zu machen, z oder die Sortieroption am häufigsten verwendet wird usw., damit Sie die verfügbaren Daten optimal nutzen können .

Das Hinzufügen von benutzerdefinierten Tags, um einen Datendurchlauf zu erhalten, ist eine fantastische Idee. Auf diese Weise können Sie nicht nur das Problem sehen und wohin es geführt hat, sondern auch, wo es entstanden ist und die Traffic-Quelle.

Haley Carpenter, Senior CRO-Strategieexpertin

Erinnere dich ständig daran, dass wir alle Vorurteile haben. Wisse, dass es deine Aufgabe ist, so wahrheitsgetreu und genau wie möglich zu berichten. Integrität ist ein Schlüsselwert, den es hoch zu halten gilt.

Überprüfen Sie Ihre Arbeit auch noch einmal oder lassen Sie sie von jemand anderem überprüfen, wenn Sie sich bei etwas nicht sicher sind. Ein zweites Augenpaar kann manchmal sehr nützlich sein, besonders wenn Sie stunden-, tage- oder wochenlang auf etwas gestarrt haben.

Ich habe einmal an einem Anthropologiekurs teilgenommen, wo wir Aufnahmen transkribieren mussten. Der Professor betonte, dass es von größter Bedeutung sei, dass die Transkriptionen der Person entsprechen, die die Worte gesprochen hat. Wir durften nicht einmal ein Wort aus zwei Buchstaben streichen oder einen kleinen Grammatikfehler korrigieren.

Ich habe diese Lektion bis heute bei mir und wende sie auf die Datenanalyse an … insbesondere auf Aufzeichnungen von Benutzertests. Es ist wichtig, dass Ihre Analyse so originalgetreu wie möglich bleibt

Mehrere Augen auf Forschung und Ergebnisse zu haben, ist eine großartige Möglichkeit, keine Probleme zu übersehen, potenzielle Vorurteile zu beseitigen und unterschiedliche Standpunkte einzunehmen. Dies kann oft zu Erkenntnissen führen, die einem einzelnen Tester entgangen wären.

Rishi Rawat – Reibungsloser Handel

Meine Meinung zu quantitativen Daten:

Die Daten sind die Daten. Schielen Sie nicht, um es zu verstehen. Sei nicht emotional daran gebunden. Formulieren Sie Ihre Hypothese, bevor die Datenerhebung beginnt. Wenn die Daten Ihre Instinkte widerlegen, entwerfen Sie einen neuen Test und starten Sie ihn. Die Daten sind die Daten. Respektiere es.

Meine Ansichten zu qualitativen Daten:

Wir haben eine kontroverse Meinung zu diesem Thema. Wir glauben nicht an Endbenutzerforschung, das heißt, ich spreche nicht mit Leuten, die das Produkt gekauft haben. Es ist nicht so, dass ich diese Art von Forschung nicht für wichtig halte, das ist sie; es ist nur teuer. Ich ziehe es vor, alle meine qualitativen Daten vom Gründer oder Erfinder des Produkts zu erhalten, an dem ich arbeite.

Während die Benutzererfahrung des Endkäufers nur eine Momentaufnahme des einen Kaufs ist, der in diesem einen Moment getätigt wurde, hat der Erfinder einen Kontext über die gesamte Reise. Ich möchte mein quantitatives „Gefühl“ vom Gründer bekommen. Der Gründer/Erfinder hat so viel institutionelles Wissen, dass Ihnen der Kopf schwirrt. Es ist nur so, dass sie schon so lange in der „Mitte“ sind, dass sie nicht wissen, wo sie anfangen sollen. Hier kommen die Fragestellungsfähigkeiten des Optimierers ins Spiel. Der Optimierer hilft dem Ersteller bei der Außensicht. Ich lege sehr viel Wert auf diese Art von qualitativen Daten

Das ist jetzt eine interessante Idee …

Bei CRO konzentrieren wir uns in der Regel auf den Benutzer, um die Customer Journey zu verstehen. Das Problem ist, dass Kunden manchmal nicht wissen, was falsch ist oder wie sie es artikulieren sollen.

Ebenso kann der Geschäftsinhaber das Produkt jedoch in- und auswendig kennen, aber schlecht darin sein, es zu kommunizieren. Für sie ist es offensichtlich, weil sie all die Erfahrung haben, aber für den Kunden kann dieser Botschaft etwas fehlen. In einer idealen Welt möchten Sie, wenn Sie Tests für ein anderes Unternehmen durchführen, sowohl mit dem Publikum als auch mit dem Eigentümer sprechen.

Wenn Ihnen die Zeit oder die Ressourcen ausgehen, sprechen Sie mit dem Geschäftsinhaber. Wie Rishi sagt, haben sie oft all diese Einsichten, die herausgezogen werden können. Unsere Aufgabe als Tester besteht dann darin, herauszufinden, wo das fehlt und wie es beim Kunden ankommen könnte.

Sina Fak – Befürworter der Konversion

Die Realität ist, dass in alle Daten systematische Verzerrungen eingebaut sind.

Alles, von der Art und Weise, wie die Daten gesammelt wurden, über die für die Analyse verwendeten Beispieldaten bis hin zur Person, die die Daten überprüft und die Analyse durchführt – es gibt ein Element der Voreingenommenheit, das wir nicht vollständig kontrollieren können.

Daten allein liefern Ihnen nicht die ganze Geschichte. Es wird Ihnen nur einen Ausgangspunkt geben, um einen Teil der Geschichte zu verstehen und Einblicke zu gewinnen. Die einzige Möglichkeit, Daten so zu behandeln, dass sie eine unvoreingenommene Geschichte erzählen, besteht darin, sie auf die Probe zu stellen und ein Experiment damit durchzuführen

Dies knüpft an das an, was wir zuvor gesagt haben.

Jeder Test und jede Forschung ist voreingenommen. Wir können versuchen, einiges davon mit kritischem Denken und Analyseprozessen zu negieren, aber es kann sich immer noch einschleichen.

Testen Sie die Idee, finden Sie heraus und testen Sie noch mehr. Vergessen Sie nicht die wissenschaftliche Methode. Wir können nach vorne scheitern und auch die Antworten finden, nach denen wir suchen.

Jakub Linowski – GoodUI

Im Allgemeinen können unsere Experimente umso zuverlässiger und vertrauenswürdiger werden, je mehr kohärente Messungen wir haben.

Beim Vergleich von A/B-Testergebnissen gibt es mehrere Möglichkeiten:

● Vergleich mehrerer Metriken aus demselben Experiment (z. B. Konsistenz des Effekts bei Hinzufügungen zum Warenkorb, Verkäufen, Einnahmen, Rückkäufen usw.)

● Vergleich historischer Daten über separate Experimente hinweg (z. B. Konsistenz der Wirkung zwischen zwei separaten Experimenten, die auf zwei separaten Websites durchgeführt wurden

Vergessen Sie nicht, dass die Quant- und Qual-Datenanalyse NACH DEM TEST genauso wichtig ist wie in unserer anfänglichen Planung.

Ein Prozess zur Checkliste potenzieller Probleme und Orte für „Aha-Momente“ kann zu weitaus besseren Ergebnissen führen als ein erster Blick.

(Manchmal sind die Daten genau dort und wir vermissen sie.)

Eden Bidani – Green Light Copy

Ich versuche, so viel wie möglich mit beiden Arten von Daten nebeneinander vor mir zu arbeiten. Für mich hilft das, das Gesamtbild auszugleichen.

Die Qual-Daten verleihen dem Quant Tiefe und Bedeutung, und die Quant-Daten geben die allgemeine Richtung vor, welchen Elementen der Qual-Daten mehr Gewicht gegeben werden sollte .

Beide Datensätze zusammen zu haben, damit Sie vergleichen und gegenüberstellen können, ist der beste Weg, um zu analysieren und zu verstehen, was passiert.

Dies knüpft an das an, was wir zuvor über einen einzigen Datensatz gesagt haben, um die Probleme und Lösungen zu finden. Wenn wir nur einen hätten, würden wir zu anderen Schlussfolgerungen kommen. Verwenden Sie beide, um zu versuchen, diese Korrelation zu finden.

Shiva Manjunath – Speero

Die Art und Weise, wie ich an die Quant + Qual-Analyse herangehe, ist wie ein Polizeiverhör. Es gibt ein Motiv oder eine Hypothese, aber Sie können nicht davon ausgehen, dass die Person, die Sie zum Verhör gebracht haben, unschuldig oder schuldig ist. Es wird angenommen, dass die eingeschleppte Person (Experimentdaten) unschuldig ist, und es ist Ihre Aufgabe, ihre Schuld zweifelsfrei zu beweisen (statistische Signifikanz).

So können Sie sich die Daten selbst ansehen, andere Personen befragen (qualitative Daten) und vielleicht Kontoauszüge einsehen oder sich die Protokolle ansehen, wenn jemand zur Arbeit gekommen/gestempelt ist, um zu sehen, ob sein Alibi ausgecheckt ist (quantitative Daten).

Vielleicht nicht das beste Beispiel, aber man muss es immer objektiv angehen. Und bestätigen Sie Datenquellen (z. B. Heatmaps mit Umfragen auf der Website mit quantitativen Daten), um eine Geschichte zu entwickeln, und sehen Sie, ob diese die Hypothese stützt oder nicht. Natürlich mit statistischer Strenge !

Ich liebe diese Analogie und sie erinnert mich an Sherlock Holmes und knüpft direkt an das Testen an.

Ich habe noch keine Daten. (Oder nicht genug). Es ist ein großer Fehler, zu theoretisieren, bevor man Daten hat. Unmerklich fängt man an, Tatsachen zu verdrehen, damit sie zu Theorien passen, statt Theorien zu Tatsachen.

Als Experimentatoren müssen wir alle Vorurteile beseitigen. Entweder erfahren oder einfach, weil wir die Hypothese aufgestellt haben. Stattdessen müssen wir die Ergebnisse fair behandeln und die Wahrheit finden.

Unser Ziel ist es nicht, Recht zu haben. Es geht darum herauszufinden, was funktioniert, damit wir darauf aufbauen können!

Was ist der beste Weg, um Daten zum Entwerfen erfolgreicher Tests zu verwenden?

Wenn Sie schon eine Weile testen, wissen Sie, dass die meisten Tests keine Gewinner hervorbringen. Tatsächlich werden nur etwa 3/10 gewinnen, während die anderen als Versager gelten.

Die Terminologie von Sieg oder Niederlage ist jedoch nicht großartig. Ja, der Test hat keinen Auftrieb gebracht, aber er liefert uns Daten, die wir verwenden können, um uns zu verbessern und herauszufinden, warum.

Denken Sie daran:

Wir konzentrieren uns nicht auf einen einzigen Test. Selbst wenn es gewinnt, verwenden wir immer noch einen iterativen Lern- und Verbesserungsprozess. Wir testen, lernen, stellen Hypothesen auf und testen erneut.

Dies hilft uns, eine Feedbackschleife mit neuen Daten zu erstellen, um Ideen entweder zu unterstützen oder zu widerlegen.

• Wir testen und scheitern, aber wir lernen.
• Wir nehmen diese Erkenntnisse und testen sie, bis wir gewinnen und eine Verbesserung erzielen.
• Und dann testen wir weiter, bis wir die lokalen Maxima erreichen und uns nicht mehr verbessern können.

Konzentrieren Sie sich nicht darauf, sofort einen Gewinner zu erzielen. Dies ist der schnelle Weg, um zu behaupten, dass CRO für Sie nicht funktioniert. Verwandeln Sie stattdessen Daten in Erkenntnisse und lernen Sie jedes Mal mehr.

Sie könnten einem Gewinner nahe sein, aber es braucht nur eine bessere Ausführung.

Oder Sie stehen kurz vor einem Aha -Moment, der Ihre gesamte Botschaft grundlegend verändern kann. Bleib dran und lerne mit jedem Test weiter!

Bauen Sie diese Feedback-Schleife in Ihren Datenverarbeitungs- und Testprozess ein.

Aber am wichtigsten? Stellen Sie sicher, dass Sie auf die von Ihnen gesammelten Daten zugreifen und diese verstehen können, dass Sie diese Daten korrekt verwenden und dass Sie ihnen vertrauen können!…

So verbessern Sie die Datenzugänglichkeit in der Organisation

Es ist schön und gut, Daten zu haben, mit denen man arbeiten kann, aber es ist nutzlos, wenn man nicht darauf zugreifen kann, um daraus zu lernen!

Einige Unternehmen haben oft einen Engpass in ihrem Datenfluss, da sie nur über ihren Datenwissenschaftler auf ihre Daten zugreifen können. Wenn Sie die Informationen benötigen, müssen Sie entweder darauf zugreifen oder direkt mit ihnen arbeiten, was zu Problemen führt.

Eine gute Möglichkeit, dies zu umgehen, ist die Demokratisierung des Datenzugriffs:

• Ermöglichen Sie den Teams, die ihn benötigen, den Datenzugriff für herkömmliche Einzelrollen-Tools (GA usw.).
• Sehen Sie sich die Verwendung von Self-Service-Tools an, die über eingebaute Datenberichtsfunktionen verfügen, die das gesamte Team nutzen kann,
• Erstellen Sie ein zentrales Lern-Repository mit Datenergebnissen. Dies ermöglicht der gesamten Organisation, Dateneinblicke zu erhalten, nicht nur dem direkten Testteam.

Warum sich um den Datenzugriff kümmern?

Weil der Zugriff auf Daten die Anzahl der Entscheidungen erhöht, die getroffen werden können, die sich auf den ROI Ihres Unternehmens auswirken können.

Der Trick besteht natürlich darin, sicherzustellen, dass Sie, sobald Sie Zugriff haben, finden können, was Sie wollen ...

Wie man die Nutzbarkeit von Daten verbessert, indem man vertrauenswürdige Daten sammelt

Datenverwendbarkeit bezieht sich auf die Leichtigkeit, mit der Daten verwendet werden können, um Fragen zu beantworten.

Wenn wir es aus der Übersicht betrachten, sollte das Ziel mit Ihren Daten sein:

• Um Einblicke zu finden, die sich auf den ROI des Unternehmens auswirken . Ohne das sind es nur Infodaten ohne Ziel.
• Um sie schnell zu finden und sich nicht um die Informationen bemühen zu müssen.
• Und um diese Erkenntnisse zu nutzen, um schnelle und verlässliche Entscheidungen zu treffen . Entweder, weil den Daten vertraut wird, oder weil Sie die Ergebnisse verstehen und nicht manipulieren oder mit falschen positiven Ergebnissen gefüttert werden.

Wie Sie sich vorstellen können, kann es hier einige Probleme geben, abhängig von den Systemen und Prozessen, die Sie verwenden.

Wir haben bereits besprochen, wie wichtig es ist, auf diese Informationen zugreifen zu können, und die Vorteile von Tools oder Prozessen mit Self-Service-Funktionen, um Datenberichte unternehmensweit zu öffnen.

Aber jetzt, da wir Zugriff auf diese Daten haben, müssen wir sicherstellen, dass wir die gewünschten Informationen sowohl finden als auch ihnen vertrauen können.

Idealerweise müssen Sie proaktiv Prozesse ausführen, um Ihre Datensätze zu organisieren:

• Machen Sie die wichtigsten Metriken leicht auffindbar.
• Verwenden Sie Referenzmodelle und Ziele, um bestimmte Datensätze zu finden, die herkömmliche Tools möglicherweise nicht verfolgen.
• Stellen Sie die Synchronisierung zwischen Datenquellen sicher, damit Aktualisierungen und Bearbeitungen sowie neue Informationen nicht verloren gehen.
• Und lassen Sie Ihr Data-Science-Team Ihre Big Data verarbeiten, damit Sie all diese Informationen leicht finden und ihnen vertrauen können!

Sobald Sie dieses Endziel für Ihre Daten im Auge haben, wird es einfacher, im Voraus mit dem Aufbau von Vorbereitungsprozessen für neu eingehende Datensätze zu beginnen. (Es ist viel einfacher, sich daran zu erinnern, bestimmte Aktionen im Voraus zu markieren, wenn Sie wissen, dass Sie es möchten später finden können).

So führen Sie eine unvoreingenommene Datenanalyse durch, um Erkenntnisse zu generieren, die Hypothesen untermauern

Wie nutzen wir diese Daten also, um Erkenntnisse und Ideen zu gewinnen?

Nun, Spoiler-Alarm, wir haben dies bisher in diesem Handbuch vollständig behandelt.

• Versuchen Sie, mehrere Datenquellen für ein umfassenderes Bild zu verwenden.
• Versuchen Sie, unvoreingenommene Prozesse zu verwenden, um diese Daten zu sammeln. Beschränken Sie sich nach Möglichkeit nicht auf bestimmte demografische Merkmale oder Geräte.
• Verwenden Sie kritisches Denken, um die Informationen zu bewerten.
• Sehen Sie sich kognitive Verzerrungen an und wie sie Ihre Analyse beeinflussen können.
• Stellen Sie sicher, dass Sie jede Datenquelle kombiniert untersuchen. (Technisch, quantitativ und qualitativ zusammen).

Lassen Sie das Lernen aus Tests zu mehr Tests anregen

Sie sollten Ihre Tests als Feedback-Schleife für weitere Verbesserungen behandeln. Dies kann sich auf Ihren aktuellen Test beziehen, um sich weiter zu verbessern und mehr Auftrieb zu erhalten, oder Sie können dies sogar auf ältere Tests anwenden, bei denen Ihre neuen Erkenntnisse noch weiter helfen könnten.

In jedem Fall sollte das Ziel sein, zu testen, zu lernen, zu verbessern und zu wiederholen, bis Sie keinen Auftrieb mehr bekommen.

Aber… Wie lernen wir eigentlich aus diesen Testergebnissen?

Nun, die gute Nachricht ist, dass wir einen 7-Schritte-Leitfaden zum Lernen aus Ihren A/B-Testergebnissen geschrieben haben, den Sie hier einsehen können.

Wenn Sie gerade keine Zeit haben, hier eine kurze Zusammenfassung:

• Stellen Sie zunächst sicher, dass Sie Ihren Ergebnissen vertrauen können. Sind sie genau? Sind sie signifikant? Sind Sie von ihnen überzeugt? War der Testlauf lange genug? Gab es äußere Faktoren, die sie beeinflussten?
• Gehen Sie Mikro und Makro. Nur weil ein Test gewonnen oder fehlgeschlagen ist, müssen Sie sehen, wie er sich auf Ihre Leitplankenmetriken auswirkt. Ironischerweise kann eine Erhöhung der CTR zu niedrigeren Verkäufen führen, wenn sie das falsche Publikum anspricht. Ebenso kann ein Rückgang der CTR zu einer Umsatzsteigerung führen, da dies derzeit möglicherweise nur für die beste Zielgruppe attraktiv ist. Überprüfen Sie also Ihre Messwerte, nicht nur Ihre Testergebnisse.
• Gehen Sie tiefer und segmentieren Sie Ihre Ergebnisse. Nicht alle Zielgruppen, Verkehrskanäle und Geräte werden die gleiche Leistung erbringen. Einige Kanäle können defekt sein. Dies kann dann Ergebnisse verzerren, wo es gut oder schlecht erscheint, da Sie kein detailliertes Bild haben. (Dies kann Ihnen auch einen Einblick in Varianten geben, die für bestimmte Kanäle am besten funktionieren, und Ihnen helfen, Ihre Lieferung für eine höhere Steigerung zu segmentieren).
• Überprüfen Sie die Leistung und das Benutzerverhalten. Just because we ran a qualitative and quantitative data analysis before, doesn't mean you should skip it after the test. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. What went wrong? How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

Fazit

Da haben Sie es also. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!