Sie brauchen ein A/B-Test-Lern-Repository, um erfahrungsbasierte Experimente durchzuführen (Experten sagen)

Hat Ihr Testprogramm den Eindruck, dass es an Struktur oder Wirkung mangelt?

Führen Sie Tests ohne Angriffsplan durch und sind sich nicht sicher, was Sie priorisieren oder wo Sie als Nächstes arbeiten sollen?

Vielleicht verlieren Sie sich bei dem Versuch, sich daran zu erinnern, welche Tests Sie zuvor ausprobiert haben, was funktioniert hat und was fehlgeschlagen ist?

Oder sind Sie vielleicht gerade einem bestehenden Programm beigetreten und haben keine Ahnung, was dort bereits läuft, wie es funktioniert oder wo Sie anfangen sollen?

Es kann leicht sein, sich beim A/B-Testen im Unkraut zu verlieren, aber glücklicherweise gibt es eine einfache Möglichkeit, all dies zu lösen.

Wir haben kürzlich 5 professionelle CROs befragt und eines war sofort klar: Wenn Sie erfahrungsbasierte Experimente durchführen und Ihre Testkultur ausbauen möchten, benötigen Sie ein zentrales Insights-Repository.

Was ist ein Lernspeicher?

Einfach ausgedrückt, es ist ein einzigartiger Ort, um alle Informationen über vergangene Tests zu speichern, die Sie durchgeführt haben.

• Die Zielseite,
• Die Hypothese und was Sie umgesetzt haben,
• Die Testelemente und Varianten,
• Die Ergebnisse,
• Seine Auswirkungen auf wichtige Metriken usw.

Es kann so einfach sein wie ein Ordner auf einem Laptop oder ein Asana-Projekt, aber ein Lernarchiv ist viel mehr als nur ein verherrlichtes Ablagesystem …

Ein „Experiment Learning Repository“ ermöglicht es dem breiteren Unternehmen und den Interessengruppen, zu sehen, welche Experimente bisher durchgeführt wurden und welche Erkenntnisse gewonnen wurden. Das Repository bietet dem Leser die Möglichkeit, den Inhalt zu seiner eigenen Zeit und Geschwindigkeit zu konsumieren, was in einem globalen Geschäft wichtig ist.

– Max Bradley, Managing Web Experimentation bei Zendesk

Dies bedeutet einfachen Zugriff auf alle Ihre vergangenen Tests für Ihr gesamtes Team, was Ihnen tatsächlich dabei helfen kann, diese Testkultur aufzubauen.

Wie?

Je mehr Menschen am Testen beteiligt sind und Tests laufen sehen, desto schneller übernehmen sie die Denkweise.

Indem Sie sehen, welche Tests bereits durchgeführt wurden, und deren Ergebnisse, können neue Ideen und Blickwinkel für jeden entstehen, der Zugriff auf diese Informationen hat. Das kann dann zu einem Aha! Moment in verschiedenen Bereichen des Unternehmens außerhalb des Testteams, die sie dann selbst testen oder an das Testteam weiterleiten können.

Wenn die Abteilung für bezahlte Anzeigen beispielsweise die effektivste Sprache identifiziert hat, die in Seitentests positiv aufgefallen ist, sollten sie dies möglicherweise in ihren Anzeigentexten, der bezahlten Suche oder in den sozialen Medien ausprobieren, da dies beim Publikum eindeutig ankommt.

Der Zugriff auf vergangene Tests eröffnet nicht nur neue Ideen mit externen Teammitgliedern, sondern reduziert auch den Zeitaufwand für die Suche nach wichtigen Informationen.

Ein Learning Repository ist jedoch mehr als nur unternehmensweiter Zugriff und Zeitersparnis:

Lernen ist das Kernprinzip beim Erstellen sinnvoller und effektiver Produkte, und die einzige Möglichkeit, sinnvolle und validierte Erkenntnisse zu sammeln, besteht darin, Experimente durchzuführen und all diese Erkenntnisse in einem zentralen Repository zu sammeln. Die Erkenntnisse in diesem Repository können in vielen Übungen verwendet werden, wie zum Beispiel: Opportunity/Solution Trees, wo Sie mit mehreren unterschiedlichen Lösungsansätzen auf ein bestimmtes Benutzerziel hinarbeiten.

Der Schlüssel zur Durchführung erfahrungsbasierter Experimente ist ein zentrales Repository, das zugänglich, strukturiert, durchsuchbar und ordnungsgemäß aktualisiert/verwaltet ist. Eine erfolgreiche Durchführung kann sich exponentiell auf die Produktivität und Qualität des gesamten Ergebnisses des Experimentierprogramms auswirken .

– Matthias Mandiau, Experte für Experimente und Datenanalyse bei der H&M Group

Wie Matthias sagt, je besser wir unser Publikum verstehen, desto besser können wir Produkte und Dienstleistungen für sie bereitstellen.

Wir erhalten die Erkenntnisse möglicherweise nicht sofort, aber sie können uns auf den richtigen Weg bringen, und von dort aus können wir uns weiter verbessern und das beste Produkt und die beste Benutzererfahrung bieten.

Noch besser?

Fortwährendes Lernen und Verwalten der Ergebnisse aus unseren Tests kann uns helfen, kostspielige Fehler zu vermeiden…

Sie haben Experimente durchgeführt, jetzt vermeiden Sie diese Fehler

Es ist großartig, einen Ort zum Speichern und Zugreifen auf frühere Daten zu haben, aber das ist nicht der einzige Vorteil.

Tatsächlich haben wir während unserer Interviews eine Reihe von häufigen Fehlern in Testprogrammen festgestellt, über die immer wieder gesprochen wurde – die fast alle durch die Einrichtung eines Lernspeichers behoben wurden.

Missachtung „teurer“ Unternehmensdaten

Eines der überzeugendsten Argumente für ein Learning Repository ist die einfache Tatsache, dass alle Daten aus Tests Firmeneigentum sind.

Sie verbringen wertvolle Zeit und Geld damit, diese Daten zu sammeln. Das Letzte, was Sie tun möchten, ist, es nicht zu speichern oder zu verwenden, oder schlimmer noch, nie wieder darauf zurückzukommen, um Ihnen bei der Planung neuer Tests zu helfen und aus früheren zu lernen:

Warum so viel Geld in ein Experimentierprogramm investieren, wenn man sich nicht um das Hauptergebnis (Lernen) kümmert?

Ein guter Überblick ist wichtig, um zu verstehen, woran bereits gearbeitet wurde, was jetzt im Fokus stehen soll und woran bald gearbeitet werden soll. Auch auf diese Weise hängt das Wissen nicht von Menschen ab, denn Menschen kommen und gehen in Unternehmen.

Darüber hinaus ermöglicht es einen besseren Wissensaustausch, ein besseres Onboarding, die Vorbereitung besserer Geschäftsfälle, eine bessere Recherche …

– Matthias Mandiau

Eine meilenhohe Übersicht über Ihr Testprogramm kann Ihnen helfen, nicht nur besser zu testen, sondern auch neue Mitarbeiter oder sogar Teamleiter zu schulen. (Und umgehen Sie das Problem, alle Erkenntnisse zu verlieren, wenn der CRO-Manager das Unternehmen verlässt).

Wie?

Nun, jetzt können neue Mitglieder sehen, was zuvor versucht wurde, was funktioniert hat und was möglicherweise das Potenzial hatte, zu funktionieren, aber nicht richtig implementiert wurde oder weiter iteriert werden könnte …

Es wird verpasst, ein unternehmensweites „Bauchgefühl“ zu entwickeln, das auf Erfahrungen (und Daten) basiert

Es ist nichts falsch daran, Testideen aus dem Bauch heraus zu entwickeln. Manchmal haben Sie einfach eine Intuition aus Daten oder Erfahrungen, die Ihnen helfen können, eine Hypothese zu bilden und einen ersten Test abzuschließen.

Allerdings muss man aufpassen, dass man sich immer auf dieses Bauchgefühl verlässt und nicht auf Forschung und Daten achtet.

Eine Sache, die ich meinem Team (bei Bouqs) sage, ist … wenn Sie keine Daten haben (protokolliertes Lernen/Artefakte aus Tests), müssen Sie Entscheidungen entweder auf der Grundlage Ihres Bauchgefühls oder des Bauchgefühls der Beteiligten treffen. Eine Lerndatenbank erstellt a
Bauch für uns alle, den wir als Bauchtest verwenden können, aber einer, der nicht nur unser eigener oder voreingenommener ist.

– Natalia Contreras-Brown, Vizepräsidentin des Produktmanagements bei The Bouqs

Die größten Unternehmen mit den ausgereiftesten CRO-Programmen sind fast alle datengesteuert. Sie treffen Entscheidungen basierend auf dem, was die Daten ihnen als das Wichtigste verraten, und das ist oft der Grund, warum sie Marktführer werden.

Machen Sie sich nicht schuldig, nur auf Bauchentscheidungen und Meinungen zu testen, und konzentrieren Sie sich nicht nur auf Metriken. Nehmen Sie sich die Zeit, um die kontextbezogenen Erkenntnisse aus jedem Testergebnis zu finden. Befolgen Sie die Informationen und, was am wichtigsten ist, verfolgen und speichern Sie, was passiert ist und warum Sie denken, dass es passiert ist, damit Sie nicht den Fehler machen, zu vergessen, was Sie versucht haben und warum es funktioniert hat.

Wiederholen von Tests, die zuvor ausgeführt wurden

Wir haben dies bereits angedeutet, aber ohne zu verfolgen, was Sie tun, wird es sehr einfach, eine Testidee, die Sie bereits ausprobiert haben, erneut auszuführen oder eine Testidee zu übersehen, weil Sie glauben, dass sie bereits ausgeführt wurde.

Ein Lernrepository hilft dabei, bereits durchgeführte Experimente nicht erneut auszuführen. Es reduziert auch den Zeitaufwand für die Beantwortung von Fragen zu Ergebnissen und Erkenntnissen von Stakeholdern für das Experimentierteam.

– Max Bradley

Seien Sie nett zu sich und Ihrem zukünftigen Team und führen Sie Aufzeichnungen darüber, was Sie durchgeführt haben, und führen Sie alle Details zu jedem Test auf.

Es könnte sein, dass Sie etwas Ähnliches ausführen möchten, aber ohne die Details dessen, was Sie zuvor versucht haben, kann es leicht passieren, dass Sie Daten verpassen oder weitere 30 Tage damit verbringen, Daten zu erhalten, die Sie hätten speichern sollen.

Schlechte Kommunikation oder mangelnder Zugang zu Informationen

Einer der größten Unterschiede bei ausgereiften CRO-Teams ist ihre Fähigkeit, schnell und einfach zu kommunizieren oder auf Informationen zuzugreifen. Nicht nur in Bezug auf den einfachen Zugriff, sondern auch darauf, wie effizient sie die richtigen Informationen bereitstellen können.

Ein gut dokumentiertes und organisiertes Lernrepository kann Kommunikationsbarrieren abbauen und sogar dabei helfen, Testworkflows nicht beiseite zu schieben, während Sie nach Informationen suchen und Dinge pausieren.

(Ein Experimentier-Repository) ist ein Wissensmanagementsystem, das alle Daten detailliert enthält und für das Team im Allgemeinen zugänglich ist, aber vor allem die Erstellung von Kommunikationsartefakten (Kommunikationsschicht) für die richtigen Personen im richtigen Format erleichtert richtige Zeit.

Es ist die „Datenschicht“ im Testablauf, wie hier zu sehen:

– Ben Labay, Geschäftsführer / CRO & Experimentation @ Speero by CXL

Lernen (und Geld) auf dem Tisch lassen

Vergessen Sie nicht, dass die meisten Tests fehlschlagen. Nur durch Iteration und das Lernen aus früheren Tests können Sie sich verbessern und diese ROI-beeinflussenden Gewinne erzielen.

Ohne nachzuverfolgen, was Sie gelaufen sind und wo Sie waren, wird es sehr schwierig, voranzukommen und Fortschritte zu sehen oder sich in Ihrem Testprozess überhaupt sicher zu fühlen.

Stefan Thomke sagte es treffend: „Obwohl die heutigen Manager von Informationen aus allen Richtungen überschwemmt werden, agieren sie in einer unsicheren Welt, in der es ihnen an den richtigen Daten für strategische und taktische Entscheidungen fehlt“. Experimentieren validiert und Validierung hilft uns zu lernen . Es ist wichtig, diese Erkenntnisse in einem leicht zugänglichen Repository zu sammeln, um diese Erkenntnisse für zukünftige Entscheidungen zu überprüfen.

– David Mannheim, Vizepräsident von CRO, BrainLabs

Hier ist eine visuelle Darstellung des idealen Prozesses von Ruben de Boer:

Aus jedem Test, den Sie durchführen, zu lernen und sich zu verbessern, ist unglaublich wichtig. Es ist nicht nur direkt mit dem Erfolg Ihrer zukünftigen Tests verbunden, sondern kann Ihnen sogar dabei helfen, aktuelle Erfolge auf andere Bereiche oder sogar andere Standorte auszudehnen.

Nahezu jedes andere Experiment, das wir bei H&M in unserem Produktteam durchführen, basiert auf einem dokumentierten Lernen aus einem früheren Experiment oder einer anderen Forschungsmethode.

– Matthias Mandiau

Diese Angewohnheit des Lernens und Wiederholens taucht bei fast allen, die wir interviewt haben, immer wieder auf.

Bei Brainlabs waren etwa 40–50 % unserer Experimente für Flannels, ein bekanntes Geschäft für Herrenbekleidung, Iterationen voneinander. Dies zeigte die Kraft des Lernens innerhalb eines einzigen Experiments und wie sich daraus etwas anderes entwickeln kann; weil wir immer daraus lernen, wie sich praktische Stimuli auf eine Variable auswirken können .

– David Mannheim

Lassen Sie uns Ihnen ein anderes Beispiel geben.

Angenommen, Sie haben eine Lead-Erfassungsseite und das von Ihnen verwendete Layout funktioniert gut für eine Seite. Sie können es dann an andere auf Ihrer Website anpassen, um zu sehen, ob es auch dort die Aufwertung erhöht.

Was ist, wenn Sie eine Agentur mit mehreren Kunden in ähnlichen Nischen sind?

Einblicke und Gewinne von einem Unternehmen könnten zu Ideen und Designs führen, die auch für Ihre anderen Kunden funktionieren könnten …

Was einmal funktioniert hat, hat gute Chancen noch nicht ausgeschöpft zu sein:

• Es funktioniert möglicherweise wieder mit einer größeren Intensität (für den gleichen Kunden)
• Möglicherweise funktioniert es woanders wieder (für denselben Kunden)
• Vielleicht funktioniert es für jemand ganz anderen wieder

Mit anderen Worten, frühere Gewinne haben ein Vorhersagepotenzial, das die Optimierung beschleunigen kann (mehr Gewinne, größere Erfolgswahrscheinlichkeit, größere Auswirkungen).

– Jakub Linowski, GOODUI.org

Die Drip Agency hat genau das mit 2 ihrer Kunden gemacht.

Sie nahmen erfolgreiche Seitenlayout-Designs von einem Kunden und testeten sie dann auf einem anderen, um die Conversions sofort zu steigern.

GoodUI hat etwas Ähnliches getan. Sie nahmen überzeugende Testideen und Informationen von einem Kunden und nutzten sie als Grundlage, um andere Seiten der Website zu testen.

Dadurch stiegen die Conversions um 42 %!

Dann gingen sie noch einen Schritt weiter.

Anstatt nur erfolgreiche Designs für einen Kunden zu implementieren, führten sie eine Fallstudie durch, um zu sehen, ob Sie erfolgreiche Tests auf der Grundlage früherer Kampagnen auf mehreren Websites vorhersagen können.

Die Theorie besagt, dass bestimmte UX-Designs in anderen Branchen funktionieren können.

Und so führten sie 51 Tests mit früheren Siegerdesign-Layouts durch und erreichten eine Erfolgsquote von 71 %, als sie frühere Gewinner nutzten, um bei der Gestaltung neuer Tests auf anderen Websites zu helfen.

Ziemlich cool, oder?

Nun, hier ist ein weiterer Grund, warum ein Lernarchiv so hilfreich ist und warum gute Tester sich frühere Gewinner ansehen.

Wenn Sie darüber nachdenken, ist GoodUI im Grunde eine Art Lernspeicher, da es sich um eine Datenbank vergangener Tests und Gewinner über mehrere Standorte und Branchen hinweg handelt.

Die Sache ist die, dass sie oft Designs sehen, die auf anderen Websites wiederverwendet werden, und feststellen, dass bestimmte Muster für Auftrieb sorgen. Vielleicht hat jemand anderes den Test durchgeführt, aber er hat funktioniert usw.

Da es sich um intelligente Cookies handelt, verwendet GoodUI diese speziellen Muster als Inspiration für Tests, die für neue Kunden ausgeführt werden sollen …

Und es macht Sinn, oder? Sobald Sie technische Probleme behoben und sich für eine Seite zum Testen entschieden haben, schadet es nicht, sich frühere Testelemente auf ähnlichen Seiten anzusehen und herauszufinden, was funktioniert hat.

Sie können sich zu Beginn von anderen Websites inspirieren lassen, aber alle Experten sind sich einig. Sie müssen so schnell wie möglich mit dem Aufbau Ihres eigenen Repositorys beginnen.

Investieren Sie in ein Experimentier-Repository

Jakub Linowski sagte auf LinkedIn, dass, wenn man sich Berufe wie Ärzte, Ingenieure, Sportler und das Militär ansieht, man sieht, dass die meisten ihrer Erfolge und ihr Wachstum auf den Erkenntnissen beruhen, die sie aus früheren Experimenten gewonnen haben.

Mit dieser Vorstellung können Sie sich vorstellen, wie schnell der CRO-Bereich insgesamt wachsen kann, wenn Experimente nicht immer bei Level 0 beginnen müssen. Aber ohne Lernspeicher ist genau das der Fall.

Und viele interne CRO-Teams sind daran schuld.

Wenn Sie diese Idee näher bringen, wird klar, wie das Aufbauen auf dem, was Sie bereits wissen, eine solide Möglichkeit ist, die Bemühungen Ihres Experimentierprogramms zu verstärken.

Repository = Höhere Chance auf Experimenterfolg

Nur wenn Sie die Denkweise haben, Tests (und frühere Tests) zu lernen, schätzen Sie wirklich, was das Experimentieren bietet, dh eine Vorstellung davon, was funktioniert und was nicht, angesichts des Kontexts und der Umstände.

20 „gute Entscheidungen“ in den Bereichen UX, UI, Produkt und Marketing (dank Experimentieren) können helfen, Entscheidungsmuskeln zu trainieren und Instinkte zu schärfen. Je mehr Sie Ihre Meinungen herunterschrauben oder bestätigen sehen, desto mehr müssen Sie einen Kompass finden, um herauszufinden, was funktioniert und was Ihr Publikum braucht.

Wer auf Konversionsraten testet, verpasst dieses große Ganze. Es geht darum zu lernen, was Ihr Publikum braucht, und nicht darum, Recht zu haben.

Lassen Sie uns Ihnen zeigen, wie:

So strukturieren Sie Ihr Lernrepository

Ein Lernrepository soll Datensilos beseitigen, die Zusammenarbeit fördern und die Kommunikation stärken.

Wenn Ihre nicht richtig strukturiert ist, wird es extrem schwierig sein, diese grundlegenden Anforderungen zu erfüllen. Aber die Sache mit der Strukturierung Ihres Lernspeichers ist, dass es Optionen gibt. Sie arbeiten für verschiedene Organisationen unterschiedlich.

Das ist kein Problem, denn wir beschreiben Ihnen die 3 Modelle und Sie können sich dann vorstellen, welches perfekt zu Ihrem Team, Ihrer Abteilung oder Ihrer Organisation passen würde. Besser noch, Experten empfehlen ein bestimmtes Modell.

Es scheint einen Gewinner in Sachen Experimentierteamstruktur zu geben: Center of Excellence.

1. Ein Center of Excellence (CoE) ermöglicht und stattet abteilungsspezifische Experimentierteams aus

In diesem Modell ist das Experimentierteam das CoE für das Experimentierprogramm der gesamten Organisation.

Sie sind also eine Art Concierge für jeden in anderen Abteilungen, der Experimente durchführen möchte. Du gehst sie durch und sie helfen bei der Einrichtung.

Dann überwachen sie die Integrität dieser Experimente und halten alles mit den allgemeinen Experimentierzielen der Organisation in Einklang.

Wenn Sie heute auf diese Weise strukturieren, werden Downline-Probleme morgen beseitigt. Weil alles auf dem gleichen Weg bleibt, einfach zu überwachen und der Aufbau eines Lernspeichers auf diese Weise einfach zu koordinieren ist.

Die größte Herausforderung dabei ist, dass es nicht so zugänglich wäre wie ein dezentralisiertes Modell.

2. Dezentrale Einheiten sitzen abteilungsübergreifend und holen alle an Bord

Dezentrale Einheiten sitzen in verschiedenen Abteilungen und führen die eigentlichen Tests durch. Dies ist eine großartige Strategie, da sie über das meiste Know-how ihrer eigenen Wachstumsschleifen und -metriken verfügen und somit in der besten Position sind, um wirkungsvolle Experimente zu entwerfen und durchzuführen.

In diesem Modell kann jeder Tests durchführen – unabhängig von seiner Abteilung und Erfahrung mit Experimenten. In Kombination mit CoE zieht es einige Bewunderer an …

Ich bin ein großer Fan von dezentralisierten Experimenten und arbeite mit einem Kompetenzzentrum zusammen, um die Qualität zu kontrollieren und AB-Tests zu evangelisieren. Meiner Erfahrung nach funktionieren diese Strukturen am besten für jene Kulturen, die die Kraft des Experimentierens wirklich annehmen. In Bezug auf ein Lernrepository sollte dies folgen; Teammitglieder sollten befähigt werden, Experimente durchzuführen und die Erkenntnisse aus den Früchten ihrer Arbeit hervorzuheben .

– David Mannheim

Damit folgt auch die Verantwortung für die Pflege des Lernrepositorys.

3. Verwaltet von einer Person, um Experimentiererfahrungen zu sammeln und zu pflegen

Im Gegensatz zum CoE-Modell allein ist das Lernrepository des dezentralisierten Modells jedoch schwieriger zu koordinieren.

Es ist hilfreich, eine bestimmte Rolle zu haben, die für die Dokumentation und Pflege des Lernens verantwortlich ist. Und das hat etwas Gutes:

Verwaltet vom Programm-/Projektmanager (der den Überblick behält) und dem primären Teststrategen (der die „Storys“ eingibt), aber wenn es richtig gemacht wird, kann es in allen Phasen Eingaben haben, da Eingaben als Formulareinträge wie Ausgabeformulare neu eingehen Kampagnen-Tracker, neue Ideen für Testlösungen usw .

– Ben Labay , Geschäftsführer / CRO & Experimente @ Speero by CXL

Matthias Mandiau stimmt Ben zu.

Ich bevorzuge eine Mischung aus zentral/dezentral:

Das Repository muss immer erreichbar sein (Cloud).

Müssen in der Lage sein, verschiedene Forschungsmethoden zu kombinieren, um starke Hypothesen zu erstellen.

Die Einrichtung und Verwaltung des Repositorys und die Eigentümerschaft sollten bei 1 Team/Manager (zentralisiert) liegen. Es ist gut, den KPI für die Leistung von Makroexperimenten auf zentraler Ebene zu verfolgen.

Jedes Produktteam, das mit Experimenten arbeitet, sollte einen Stakeholder (Datenanalyst/CRO) haben, der dafür verantwortlich ist, sich angemessen um alle gesammelten Erkenntnisse zu kümmern, die im richtigen Format in das zentrale Repository hochgeladen werden. Auch gut geeignet, um den KPI für die Leistung von Mikroexperimenten auf Produktteamebene innerhalb des dezentralisierten Teams zu verfolgen. Könnte beispielsweise ein Dashboard sein, das mit GA oder dem Repository verknüpft ist .

Bei Zendesk ist ein Manager für die Pflege des Repositorys verantwortlich, aber die Eingaben kommen von den „Testbesitzern“:

Derzeit wird das Repository von einem Team innerhalb des Unternehmens verwaltet, wobei eine Person die Gesamtverantwortung dafür übernimmt. Test-„Eigentümer“ werden gebeten, die Erkenntnisse nach Abschluss des Tests in den entsprechenden Bereich des Repositorys aufzunehmen.

– Max Bradley

Und so kann eine Person (oder ein kleines Team), die ein dezentralisiertes Modell verwaltet, das Experimentier-Lern-Repository effizient und qualitätsgesichert halten.

Es ist ähnlich wie bei GoodUI – es nutzt Erkenntnisse aus verschiedenen Branchen und Kunden, um eine hervorragende Ressource für experimentelle Erkenntnisse zu schaffen.

Selbst wenn Sie also noch kein Lernarchiv haben, können Sie aus einem Fundus an Wissen schöpfen. Die Pläne von Convert werden mit einem ermäßigten GoodUI-Abonnement geliefert.

So dokumentieren Sie Ihr Lernen

Genau wie jedes organisierte Ablagesystem kann Ihr Lernrepo kein Ort sein, an dem Daten abgelegt werden. Es muss eine eindeutige und angemessene Art und Weise der Dokumentation des Lernens geben, die für alle nützlich ist.

Dies bedeutet eine intuitive visuelle Darstellung von Daten, Datengeschichten ohne Fachjargon und eine einfache Methode, um bei Bedarf bestimmte Tests zu finden.

Hier ist wie.

Erfassen und zeichnen Sie alle Metadaten von Tests auf

Der offensichtliche erste Schritt ist das Sammeln der Daten aus Tests. Aber welche Daten sammeln Sie? Es ist leicht zu sagen, alles zu sammeln, aber das kann leicht überwältigend sein – und entmutigend.

Welche Daten müssen also in Ihr Experiment-Repository aufgenommen werden?

Es sind die vollständigen Metadaten eines Testkonzepts. Und es sollte in erster Linie Inputs verfolgen, die auf den Fragen basieren, die gestellt werden müssen, die in Kategorien Standard sind:

• Testtypen
• Seiten
• Berührpunkte
• Publikum
• Wachstumsflächen

Dies ist jedoch kein Standard INNERHALB dieser Kategorien, z. B. unterscheiden sich die Zielgruppen je nach Unternehmen, aber alle Unternehmen testen unterschiedliche Zielgruppensegmente.

– Ben Labay

Und wie sieht diese aus?

Lassen Sie uns jede dieser Kategorien untersuchen, damit Sie ein klareres Bild erhalten:

• Testtypen

Was war das für ein Test? A/B-Test? MVT? A/B/n-Tests?

• Seiten

Hier geben Sie die Seite oder Seiten Ihrer Website an, auf denen der Test stattgefunden hat. Ist es die Homepage? Eine bestimmte Produktseite? Die Preisseite Ihrer SaaS-Marke?

• Berührpunkte

Touchpoints sind Bereiche auf der Reise Ihrer Kunden, an denen sie mit Ihrer Marke interagieren. Dies kann eine Anzeige, ein Produktkatalog, ein Blogbeitrag, Marketing-E-Mails, Ihre App usw. sein.

• Publikum

Wer ist Ihre Zielgruppe für den Test? Sprechen Sie bestimmte Segmente basierend auf irgendwelchen Kriterien an? Verhaltensdaten? Ziele? Besucherquelle? Geolokalisierung? Oder sind sie alle zufällig ausgewählt?

• Wachstumsflächen

Dies bezieht sich auf eine Interaktion oder Funktion, die Benutzer dazu ermutigt, auf Ihrer Website zu bleiben oder tiefer in ihre Beziehung zu Ihrer Marke einzutauchen. Es ist also eine Art Aufhänger, der den Wert jedes Besuchers steigert. Dies kann ein kostenloses Testangebot oder eine Demo sein.

Um Ihre Metadaten anzureichern, sollten Sie außerdem Folgendes einbeziehen:

• Termine
• URL/Regex
• Wiederholung eines vorherigen Tests – Link zu einem vorherigen Test, der die Grundlage des Tests bildet, über den Sie berichten.

Und Sie versiegeln dies mit aussagekräftigeren Informationen. Enthalten…

• Screenshots von A und B
• Isoliert oder nicht (Anzahl der Änderungen)
• Auswirkung % mit Konfidenzintervallen
• Metriktyp

– Jakob Linowski

Je mehr desto besser. Aber halten Sie es relevant und nützlich.

Hier ist ein weiteres Beispiel von Max Bradley von Zendesk:

Für einen einfachen Tracking-Bericht oder ein Repository zeigt Ihnen der Bericht von Convert auch den Gewinner und was Sie getestet haben.

Respektieren Sie unterschiedliche Lernstile, während Sie Informationen bewahren

Sie müssen die verschiedenen Arten ansprechen, wie Menschen beim Speichern von Experimentdaten Informationen bevorzugen.

Dabei gibt es einiges zu beachten…

Wir haben viele verschiedene Methoden ausprobiert. Als Agentur haben wir es zu jedem Zeitpunkt mit mehreren verschiedenen Interessengruppen aus verschiedenen Unternehmen zu tun. Darin liegt die Herausforderung – Menschen nehmen Wissen auf und lernen anders. Sind sie visuelle, auditive oder kinästhetische Lerner? Wo sind sie auf dem Myers-Briggs-Schlüssel? Wie Sie mit Ihren Stakeholdern kommunizieren, ist fast so wichtig wie der Inhalt, in dem Sie kommunizieren. Aus meiner Erfahrung habe ich gelernt, dass ein Lernrepository zwei Dinge sein sollte, um erfolgreich zu sein:

• Thematierbar und notiert, damit es leicht gefiltert werden kann
• Prägnant für scannbare Erkenntnisse.

– David Mannheim

Sie können so viele Informationen wie möglich über das gemeldete Experiment bereitstellen. Und das in verschiedenen Formaten. Deshalb brauchen Sie die Screenshots, Videoaufnahmen und eine Geschichte, um all den Zahlen einen Kontext zu geben.

Denken Sie daran , es relevant, prägnant und überschaubar zu halten .

Kennzeichnen Sie Ihre Tests, um das Lernen zu maximieren

Durch das Markieren Ihrer Tests ist alles leicht erreichbar.

Es hilft Ihnen auch, den Zweck eines Tests auf einen Blick zu verstehen.

Wenn Ihr Repository stetig wächst, werden Sie eines Tages Tausende von Tests aufgezeichnet haben und Hunderte von Menschen werden es verwenden, um Ideen zu sammeln, Erkenntnisse zu extrahieren und Entscheidungen zu treffen.

Die Erkenntnisse sind nützlicher, wenn die Mitarbeiter ein Gefühl für die Position jedes Tests im Lösungsspektrum Ihrer Organisation bekommen können.

Wie Sie Ihre Erkenntnisse für maximale Wirkung kommunizieren

Ihr Lernrepository wird Ihrem Experimentierprogramm nur dann zugute kommen, wenn die Leute es tatsächlich verwenden.

Machen Sie es also nicht nur zugänglich, sondern präsentieren Sie es dem Rest Ihres Teams und Ihrer Organisation auf eine Weise, die Sinn macht und das Interesse am Experimentieren weckt.

Aber wie macht man das? Dies sind Zahlen und einige branchenspezifische Begriffe, die missverstanden werden könnten. Wie bringen Sie Menschen aus verschiedenen Disziplinen dazu, die von Ihnen gesammelten Erkenntnisse zu schätzen?

Die Kommunikation von A/B-Tests kann schwierig sein, aber wenn Sie diese Schritte befolgen, werden Sie diese Barrieren überwinden und das Beste aus Ihrem Lernspeicher herausholen.

Machen Sie es sich zur Gewohnheit

Zunächst einmal, wenn Experimentieren dort, wo Sie sich befinden, ein Fremdwort ist, kann es einige Zeit dauern, es sich zur Gewohnheit zu machen, durch das Lernen zu gehen. Packen Sie also auf dieser Reise etwas Geduld ein.

Ihre Aufgabe hier ist es, dies zu einem Teil Ihrer üblichen wöchentlichen Aktivitäten zu machen. Es könnte Teil des Inspirationsteils des Brainstormings oder ein Spiel sein, das Sie zum Abschluss von Meetings spielen. Zum Beispiel Ihre eigene Version von „Welcher Test hat gewonnen?“

Es ist Teil des großartigen Bildes, eine Kultur aufzubauen, in der das Experimentieren eine Norm ist …

Machen Sie es sich zur Gewohnheit, Lerninhalte mit dem Team auf konsistente, unterhaltsame und inspirierende Weise durchzugehen. Es muss Teil des üblichen Geschäfts sein. Mindestens einmal pro Woche sollte ein Treffen stattfinden, um Hypothesen und Versuchsergebnisse durchzugehen. Jeder Sprint sollte mindestens 1 oder 2 Experimente enthalten, und Experimente zur Gewohnheit zu machen, schafft eine positive Kultur.

– Matthias Mandiau

Repository-Tests werden nicht nur in Teambesprechungen vorgestellt, sondern können auch sehr einfach in Learning-Newslettern geteilt werden. Die Angewohnheit, sie hier hinzuzufügen, erleichtert auch die seitenweite Einführung von Experimenten.

Seien Sie bescheiden und transparent, um Vertrauen aufzubauen

Es mag cool erscheinen, Menschen davon zu überzeugen, dass Experimente alle Antworten liefern, aber das wird irreführend sein. Helfen Sie Ihren Kollegen zu verstehen, wie alles funktioniert, was die Zahlen darstellen und wie viel Vertrauen Sie in eine bestimmte Erkenntnis haben können, die Sie gezogen haben.

Präsentieren Sie Erkenntnisse nicht so, als ob sie mit 100 %iger Sicherheit kämen. Zeigen Sie ihnen stattdessen, dass dies eine der besten Möglichkeiten ist, Entscheidungen zu treffen, im Gegensatz zu „Bauchgefühl“ und Best Practices.

Wenn Sie das Gegenteil tun, verlieren sie das Vertrauen in das von Ihnen erstellte Lernrepository, und es könnte aufgegeben werden, um Staub zu sammeln.

Hier sind einige weitere Tipps von Ben Labay von Speero zur Kommunikation von Ergebnissen:

Verstecke keine verlorenen Tests. Nutzen Sie dies stattdessen als Gelegenheit, um den doppelseitigen Nutzen des Testens aufzuzeigen.

Wenn Sie gewonnen haben, haben Sie einen Einblick in das bekommen, was funktioniert. Wenn es verloren geht, haben Sie gelernt, was nicht funktioniert, sodass Sie vermeiden, eine Änderung vorzunehmen, die Schlüsselmetriken schadet.

In beiden Fällen haben Sie etwas gelernt, das verbessert werden kann.

Wenn Sie präsentieren, strukturieren Sie es in einer Geschichte, die die Anwendung der Erkenntnisse in der realen Welt zeigt, und laden Sie die Beteiligten ein, sich am Schreiben der Geschichte zu beteiligen, genau wie Max es tut:

Wir präsentieren die neuesten Erkenntnisse alle zwei Wochen unserem breiteren Team und monatlich dem breiteren Unternehmen. Wir versuchen, so transparent wie möglich zu sein, indem wir Tests präsentieren, die so viel verloren haben wie diejenigen, die gewonnen haben. Darüber hinaus bitten wir alle Rezensenten, ihre Ideen einzureichen oder Fragen zu stellen, die sie in unserem speziellen Slack-Kanal haben. Wo es möglich ist, möchten wir den Nutzen zusätzlich zur prozentualen Erhöhung auch in tatsächlichen Zahlen demonstrieren, um ihn für die Leser wirkungsvoller zu machen.

– Max Bradley

Blenden Sie das Lernen nicht aus, beziehen Sie alle ein

Experimentieren ist nicht nur etwas für Marketing-, Optimierungs-, Produktions- und/oder Wachstumsteams. Ein datengesteuertes Unternehmen zu sein bedeutet, den Großteil der Entscheidungsprozesse mit Erkenntnissen aus gut durchgeführten Tests zu sättigen.

Und Ihr Lernspeicher befindet sich mitten in der gesamten Mission.

Holen Sie also alle an Bord.

Ja, die Leute werden unterschiedliche Erfahrungsniveaus auf diesem Gebiet haben, aber lassen Sie das dem Programm nicht schaden. Solange jedes Team jemanden oder Leute mit tieferer Erfahrung mit Experimenten hat, haben Sie etwas am Laufen.

Es ist auch ermutigend, einige Leute im Team zu haben, die mit Experimenten besser vertraut sind, und andere, die weniger Erfahrung damit haben. Mindestens 2 oder 3 Personen im Team zu haben, die Erfahrung mit Experimenten haben, macht einen großen Unterschied .

– Matthias Mandiau

Der Einfluss breitet sich auf natürliche Weise auf diese Weise aus.

Investieren Sie in ein frisches Paar Augen und eine gegenseitige Befruchtung von Ideen

Manchmal bringt dir eine andere Perspektive Ideen, an die du nicht gedacht hast. Lassen Sie also Ihre experimentellen Erkenntnisse nicht in einer Blase ruhen.

Seien Sie bereit, es mit anderen Experten auf Ihrem Gebiet zu teilen und zu sehen, was Sie aus ihrem Feedback lernen können.

Vielleicht gibt es etwas, das in einem Kundensegment nicht funktioniert hat, aber es gibt eine etwas andere Version davon, die für ein anderes funktionieren kann?

Oder sind Sie vielleicht auf etwas gestoßen, über das alle diskutieren, und jetzt können Sie sich an der Unterhaltung beteiligen, um mehr zu erfahren?

Sie werden begeistert sein, was Sie entdecken können, wenn Sie andere CRO-Experten einbeziehen. Auch Coaching-Gespräche können Teil Ihrer Strategie sein, um eine andere Sichtweise einzunehmen.

Coaching – www.goodui.org/coaching – ein oder zwei monatliche Anrufe mit Experimentierteams, um: Testpläne zu überprüfen, Feedback zu Testdesigns zu geben und aufzuzeigen, was bei anderen funktioniert hat.
– Jakob Linowski

Machen Sie das Lernen teilbar

Einige Leute verwenden Notion, andere Google Slides und einige CRO-Experten schlagen vor, Miro-Boards zu verwenden, aber der Zweck ist derselbe …

Kommunizieren von Testdaten und Erkenntnissen mit dem Rest des Teams (oder anderen Stakeholdern), um sicherzustellen, dass die Erkenntnisse genügend Reichweite erhalten.

Wenn Sie diese Online-Tools wie Notion, Google Slides, Miro und alle anderen verwenden, die Sie für Ihr Team attraktiv finden, machen Sie es einfach, von jedem Gerät und von überall aus auf das Repository zuzugreifen.

Das ist großartig für Remote-Teams und um das frische Paar Augen zu bekommen, über das wir zuvor gesprochen haben.

Es ist tragbar und kann leicht geteilt werden. Jetzt verleihen Sie Ihrem Experimentierlernen wirklich Flügel, um eine volle Wirkung zu erzielen.

Verwenden Sie Einblicke, um Tests zu planen

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

Also lasst uns alles aufschlüsseln…

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Zu seinen Merkmalen gehören:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

Wieso den?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

Starten Sie das Repository ab Tag 1. Beginnen Sie damit, die Interessengruppen darüber aufzuklären, dass es beim Experimentieren um Validierung und Lernen geht, nicht unbedingt um Geld. Je mehr Sie demonstrieren „wir haben X aus diesem Test gelernt“ oder „Y aus diesem Test“, desto besser werden Sie und Ihre Stakeholder aufeinander abgestimmt sein.

– David Mannheim

3. Bauen Sie Buy-in mit Nachweis auf

Wenn niemand oder nur wenige Personen ihre Tests dokumentieren und Erkenntnisse abteilungsübergreifend austauschen, müssen Sie zeigen, warum sich alle anderen an den Bemühungen beteiligen müssen.

Der erfolgreiche Nachweis der Vorteile eines Learning Repos für die Unterstützung von C-Suites ist nur der erste Schritt. Als Nächstes müssen Sie diese Vorteile auch anderen Beteiligten mitteilen.

Matthias teilte einen fantastischen Weg, dies zu tun:

Fangen Sie klein, schlank & agil an. Bringen Sie Experimente zum Laufen, sammeln Sie Erkenntnisse und investieren Sie viel Mühe in deren Dokumentation. Erstellen Sie nach jedem Experiment einen anständigen Bericht und versenden Sie regelmäßig (monatlich, vierteljährlich, jährlich). Konzentrieren Sie sich zunächst auf die großen Fischexperimente mit positiver Wirkung und starken Erkenntnissen. Positive Ergebnisse motivieren zum Einstieg.

Sobald Sie ein paar starke Erkenntnisse gesammelt haben, kann es auch nützlich sein, negative Ergebnisse aufzuzeigen und zu erklären, welche negativen Auswirkungen es gegeben hätte, wenn wir dies ohne Experiment implementiert hätten. Erklären Sie dann, wie wichtig diese Erkenntnisse für das Geschäft und für bessere Produktentscheidungen sind.

4. Sobald es funktioniert, schauen Sie sich spezifische Tools an (erst lernen und handeln, später kaufen)

Wenn Sie ein einfaches Repo auf Google Slides oder einer anderen kostenlosen Plattform Ihrer Wahl eingerichtet und die Schritte 2 und 3 abgeschlossen haben, können Sie Geld in ein Tool investieren.

Überspringen Sie nicht die Waffe und pumpen Sie kein Geld in eine Lerndatenbank, bis Sie sicher sind, dass es einen ermutigenden ROI zu realisieren gibt.

Fazit

Wenn Sie aus diesem Artikel eine wichtige Erkenntnis mitnehmen, sollten Sie damit beginnen, Experimentiererfahrungen als Unternehmenswert zu betrachten. Mit diesem Vorteil sparen Sie Zeit und Geld. Und es wird ein stärker datengesteuertes Optimierungsprogramm in Ihrem Unternehmen vorantreiben.

Führen Sie nicht einfach einen Test durch, gewinnen oder scheitern Sie und eilen Sie dann zu Ihrer nächsten Idee. Wenn Sie sich die Zeit nehmen, zu kommunizieren und zu strukturieren, was Sie in Ihrem Lernarchiv entdeckt haben, wird dies Ihrer Experimentierreise Struktur verleihen.

Darüber hinaus ist es der einfachste Weg, den Stab weiterzugeben, die Auswirkungen von Tests zu bewerten und eine aufregende Experimentierkultur zu fördern.

Und wie fangen Sie an, all diese zu bekommen?

Machen Sie es wie die Experten sagen: Fangen Sie einfach an.