A/B-Testen von Chatbots: So fangen Sie an (und warum müssen Sie)

"Sie da

Ich bin ein Bottybot!

Womit kann ich Ihnen behilflich sein?"

Ich weiß nicht, welche Websites Sie heute besuchen werden … aber Sie werden am Ende mindestens eine besuchen, auf der Sie ein *Pop*-Geräusch hören und ein Bot beginnt, mit Ihnen zu „sprechen“.

… Ihnen Pre-Sales-Support anzubieten.

Oder unterstützen Sie bei Ihren Post-Sales-Fragen.

Oder einfach Unterstützung anbieten.

Jeden Tag führen Chatbots Millionen solcher Gespräche mit Benutzern; Erzielen Sie echte, greifbare Geschäftsergebnisse wie mehr Leads, mehr Verkäufe und eine höhere Kundenbindung. Und sie sind ziemlich Mainstream mit satten 80 % der Unternehmen, die sie voraussichtlich bis 2020 einsetzen werden.

Da Chatbots den Umsatz steigern, können sie – wie jeder andere Einnahmekanal – für bessere Ergebnisse optimiert werden.

Optimierung von Chatbots mit A/B-Tests (und anderen Experimenten)

Abhängig davon, wie Sie Chatbots in Ihrer Marketing-, Vertriebs- und Supportstrategie einsetzen, kann das Ausführen von Experimenten mit ihnen viele Vorteile bieten.

Beispielsweise können Chatbot-Experimente Ihnen dabei helfen, Folgendes zu identifizieren:

• Pre-Sales-Sequenzen, die mehr und bessere Leads generieren
• Test-Messaging, das mehr Leads in Kunden umwandelt
• Onboarding-Erfahrungen, die besser konvertieren
• Kundenerfolgssequenzen, die zu einer höheren Kundenzufriedenheit (und Loyalität) führen
• …. Und Support-Sequenzen, die zu weniger Tickets führen

Kurz gesagt: Wenn Sie ein Unternehmen sind, das Chatbots verwendet, können Sie Ihren ROI aus dem Kanal mit A/B-Tests verbessern.

Nicht wenige Chatbot-Lösungen verfügen sogar über native A/B-Testfunktionen, die es Unternehmen ermöglichen, Experimente durchzuführen, um die leistungsstärksten Nachrichten, Sequenzen, Auslöser und mehr zu finden.

Aber um aussagekräftige CRO-Experimente für Chatbots durchzuführen, müssen Sie den richtigen Optimierungsprozess verwenden.

A/B-Testen von Chatbots: Der Prozess

Bevor Sie mit der Erstellung Ihrer Chatbot-Experimente beginnen, wählen Sie zunächst die Metriken aus, die Sie verbessern möchten.

Wenn Sie beispielsweise einen Chatbot für Marketingzwecke verwenden, könnte Ihr Messwert die Anzahl der Leads sein, die sich nach einer erfolgreichen Chatbot-Interaktion anmelden .

Wenn Sie alternativ einen Chatbot zur Umsatzsteigerung verwenden, könnte Ihr Messwert die Anzahl der Test-Leads sein, deren Engagement-Score sich aufgrund der Interaktion mit dem Chatbot verbessert .

Wenn Sie schließlich einen Chatbot zum Anbieten von Support verwenden, könnte Ihr Messwert der prozentuale Rückgang der Anzahl eingehender Tickets sein .

Was auch immer es ist, sobald Sie die zu optimierende Metrik (oder Metriken) identifiziert haben, können Sie mit der Arbeit an Ihrem Chatbot-Experiment beginnen.

Hier sind drei einfache Schritte zum Einrichten und Ausführen erfolgreicher Chatbot-A/B-Tests:

Schritt Nr. 1: Erstellung von Hypothesen

Genau wie normale Website- oder App-Experimente beginnen auch Chatbot-Experimente mit einer klaren Hypothese.

Als beispielsweise Magoosh, ein Unternehmen für die Vorbereitung von Online-Tests, beschloss, ein Onboarding-Experiment durchzuführen, begann es mit einer klaren Hypothese:

Wenn wir Testkunden eine willkommene Onboarding-Nachricht senden, wenn sie sich zum ersten Mal bei einem Magoosh-Produkt anmelden, werden sie in Zukunft eher Premium-Konten erwerben.

Während Magoosh einen Chatbot nicht genau getestet hat, hat es getestet, ob das Senden einer automatischen Willkommens-Chat-Nachricht zum Onboarding von Kunden zu mehr Conversions beitragen könnte.

In Ihrer Strategie zum Testen von Chatbots könnte Ihre Hypothese lauten: „ Das Anbieten von automatischer Chatbot-Unterstützung für neue Anmeldungen zu Testversionen würde zu … führen. “

Sie haben die Idee, richtig?

Hilfreiche Ressourcen:

Tools zum Schreiben von Hypothesen für Ihre Experimente: Dies sind fünf wirklich coole CRO-Tools, die Ihnen helfen werden, eine überzeugende Hypothese für A/B-Tests Ihrer Chatbots zu schreiben.

So erstellen Sie eine erfolgreiche A/B-Testhypothese: Dieses Webinar unterteilt den Prozess des Schreibens einer erfolgreichen Hypothese in fünf einfache Schritte. Ein Muss, wenn Sie gerade erst mit Experimenten beginnen.

Generierung komplexer A/B-Testhypothesen: Dies ist ein weiteres hervorragendes Tutorial zum Schreiben von Hypothesen für Ihr Experiment. Diese hypothetischen Taktiken lassen sich nahtlos auf Chatbot-Experimente anwenden.

Schritt Nr. 2: Entwerfen der Experimente

Genau wie bei einem normalen A/B-Test oder CRO-Experiment müssen Sie in Ihrem zweiten Schritt Ihre Chatbot-Experimente „erstellen“.

In diesem Schritt müssen Sie Ihre Hypothese zum Testen in eine „Änderung“ (oder eine Reihe von Änderungen) übersetzen.

Wenn Sie beispielsweise die Hypothese aufgestellt haben, dass ein „markenstärkerer“ Chatbot bessere Ergebnisse für Ihr Marketingteam erzielen wird, müssen Sie in diesem Schritt sehen, welche Elemente Ihrer Chatbox besser gebrandet werden könnten. Es könnte die Stimme oder der Ton Ihres Chatbots oder einfach die visuelle Schnittstelle sein.

Während Sie bei diesem Schritt sind, sehen Sie sich diesen Leitfaden von den großartigen Leuten von Alma an. Es wird sehr hilfreich für die Gestaltung Ihrer Experimente sein. Besuchen Sie beispielsweise in diesem Branding-Experiment einfach den Persönlichkeitsbereich dieses Chatbot-Testleitfadens und Sie werden einige Fragen sehen, die Ihnen zeigen, mit welchen Branding-Elementen Sie tatsächlich experimentieren könnten. Sehen Sie sich den Screenshot unten als Inspiration an:

Sobald Sie wissen, welches Element/welche Elemente Sie testen werden (basierend auf Ihrer Hypothese), bestimmen Sie die Länge Ihres Chatbot-Experiments und die Stichprobengröße.

Hilfreiche Ressourcen:

Tools zur Berechnung der Dauer und Stichprobengröße Ihrer Experimente: Hier sind einige der besten CRO-Tools zur Berechnung der idealen Stichprobengröße und -dauer für Ihre Chatbot-Experimente.

A/B-Testdauer-Rechner von Convert: Geben Sie einfach Ihre Daten in diesen Rechner ein und Sie wissen, wie lange Ihr Chatbot-Test oder -Experiment laufen sollte. A/B-Testdauer-Rechner von Convert: Geben Sie einfach Ihre Daten in diesen Rechner ein und Sie wissen, wie lange Ihr Chatbot-Test oder -Experiment laufen soll.

Schritt Nr. 3: Aus Experimenten lernen

Sobald Ihr Experiment beendet ist und die Daten vorliegen, ist es an der Zeit, Ihre Ergebnisse zu analysieren.

Normalerweise gibt es bei jedem Optimierungsexperiment nur drei Ergebnisse, einschließlich derjenigen, die Sie für Ihre Chatbots ausführen. Diese sind:

• Die Kontrolle geht verloren. Hier wird Ihre Hypothese validiert und Ihre Änderung wirkt sich positiv auf die Zahlen aus. Ein Beispiel für ein solches Ergebnis wäre, 1000 Opt-ins statt 890 zu erhalten, indem Sie das Profilbild Ihres Chatbots von einem Cartoon in ein Maskottchen ändern.
• Die Kontrolle gewinnt. Hier muss Ihre Hypothese verworfen werden, da sich Ihre Änderung negativ auf die Zahlen auswirkt. Zum Beispiel erhält das neue Maskottchen-Profilbild viel weniger Anmeldungen als das normale Cartoon-Bild.
• Der Test ist nicht schlüssig. Dies sind normalerweise die häufigsten und oft die frustrierendsten Ergebnisse, da Sie keine statistische Signifikanz erhalten, um einen klaren Gewinner zu haben.

Sobald Sie also Ihre Testergebnisse haben, müssen Sie zu Schritt Nr. 1 Ihres Experimentierens zurückkehren: dem Hypothesenschritt.

Entweder Sie können ein neues Experiment starten, um eine neue Hypothese zu testen, oder mit iterativem Testen fortfahren, was bedeutet, zu einer Hypothese zurückzukehren, die nicht validiert wurde (entweder wegen eines verlorenen oder eines nicht schlüssigen Tests), sie zu verbessern und dann erneut zu testen. Ausführen des Tests.

Stellen Sie bei iterativen Tests sicher, dass Sie sich Zeit nehmen, um zu verstehen, warum Ihr Test beim ersten Mal fehlgeschlagen ist.

Denken:

Wurde ein falsches Testsegment ausgewählt?

War es die ganze Zeit eine schlechte Hypothese?

War Ihre Testlogistik schlecht? Die Idee hier ist, alles, was Sie können, aus Ihren Siegen, Verlieren und sogar Ihren nicht schlüssigen Chatbot-Experimenten zu lernen, denn so optimieren Sie – durch kontinuierliches Lernen.

Verpacken …

Wenn Sie technisch versierter sind, können Sie Ihre Chatbot-Experimente auf eine ganz neue Ebene heben, indem Sie mit den Inhalten testen, mit denen Sie Ihren Chatbot (oder seine „Wissensdatenbank“) füttern.

Oder Sie können auch einen anderen Lernalgorithmus ausprobieren.

Chatbots sind hier, um zu bleiben, und wenn das maschinelle Lernen ausgereift ist, werden sie vorne und im Mittelpunkt stehen und als erster Berührungspunkt mit großen Teilen Ihrer potenziellen Kunden fungieren.

Es macht einfach Sinn, mit A/B-Tests ihrer Leistung an Bord zu gehen.