Chatboty do testowania A/B: jak zacząć (i dlaczego musisz)

"No hej

Jestem Bottybotem!

Jak mogę ci pomóc?"

Nie wiem, które witryny zamierzasz dzisiaj odwiedzić… ale w końcu odwiedzisz przynajmniej jedną, na której usłyszysz dźwięk *Pop* i bot zacznie do Ciebie „rozmawiać”.

… Oferowanie wsparcia przedsprzedażowego.

Lub udzielając odpowiedzi na pytania posprzedażowe.

Lub po prostu oferując wsparcie.

Chatboty prowadzą codziennie miliony takich rozmów z użytkownikami; przynosząc realne, namacalne wyniki biznesowe, takie jak większa liczba leadów, większa sprzedaż i większa lojalność klientów. Są dość popularne, a 80% firm przewiduje, że będzie ich używać do 2020 roku.

Ponieważ chatboty generują przychody, można je — tak jak każdy inny kanał przychodów — zoptymalizować w celu uzyskania lepszych wyników.

Optymalizacja Chatbotów za pomocą testów A/B (i innych eksperymentów)

W zależności od tego, jak korzystasz z chatbotów w swojej strategii marketingowej, sprzedaży i wsparcia, przeprowadzanie na nich eksperymentów może przynieść wiele korzyści.

Na przykład eksperymenty z chatbotem mogą pomóc w identyfikacji:

• Sekwencje przedsprzedażowe, które generują więcej i lepszych leadów
• Przekaz próbny, który zamienia więcej potencjalnych klientów w klientów
• Doświadczenia onboardingowe, które dają lepszą konwersję
• Sekwencje sukcesu klienta, które skutkują wyższą satysfakcją klienta (i lojalnością)
• …. I obsługują sekwencje, które skutkują mniejszą liczbą biletów

W skrócie: jeśli prowadzisz firmę korzystającą z chatbotów, możesz zwiększyć ROI z kanału dzięki testom A/B.

Wiele rozwiązań chatbotów ma nawet natywne funkcje testowania A/B, które pozwalają firmom przeprowadzać eksperymenty w celu znalezienia najlepiej działających komunikatów, sekwencji, wyzwalaczy i nie tylko.

Aby jednak przeprowadzić sensowne eksperymenty CRO dla chatbotów, musisz użyć odpowiedniego procesu optymalizacji.

Chatboty do testowania A/B: proces

Zanim zaczniesz tworzyć eksperymenty chatbota, najpierw wybierz dane, które chcesz poprawić.

Jeśli na przykład używasz chatbota do celów marketingowych, Twoim wskaźnikiem może być liczba potencjalnych klientów, którzy zgłosili się po udanej interakcji z chatbotem .

Alternatywnie, jeśli używasz chatbota do zwiększania sprzedaży, Twoim wskaźnikiem może być liczba próbnych potencjalnych klientów, których wskaźnik zaangażowania poprawia się dzięki interakcji z chatbotem .

Wreszcie, jeśli korzystasz z chatbota do oferowania wsparcia, miarą może być procentowy spadek liczby biletów przychodzących .

Cokolwiek to jest, po zidentyfikowaniu metryki (lub metryk) do optymalizacji, możesz rozpocząć pracę nad eksperymentem chatbota.

Oto trzy proste kroki, aby skonfigurować i uruchomić zwycięskie testy A/B chatbota:

Krok #1: Tworzenie hipotez

Podobnie jak zwykłe eksperymenty z witryną lub aplikacjami, eksperymenty z chatbotem również zaczynają się od jasnej hipotezy.

Na przykład, kiedy Magoosh, firma przygotowująca testy online, postanowiła przeprowadzić eksperyment wprowadzający, zaczęła się od jasnej hipotezy:

Jeśli wyślemy klientom próbnym powitalną wiadomość powitalną, gdy po raz pierwszy zalogują się do produktu Magoosh, będą bardziej skłonni do zakupu kont premium w przyszłości.

Chociaż Magoosh nie testował dokładnie chatbota, sprawdził, czy wysłanie automatycznej wiadomości powitalnej na czacie powitalnym może pomóc w większej liczbie konwersji.

W Twojej strategii testowania chatbotów Twoja hipoteza może brzmieć : „Oferowanie zautomatyzowanej pomocy chatbota nowym rejestracjom próbnym skutkowałoby… ”

Masz pomysł, prawda?

Pomocne zasoby:

Narzędzia do pisania hipotez do eksperymentów: to pięć naprawdę fajnych narzędzi CRO, które pomogą Ci napisać zwycięską hipotezę do testowania A/B Twoich chatbotów.

Jak stworzyć zwycięską hipotezę testu A/B: Ten webinar dzieli proces pisania zwycięskiej hipotezy na pięć prostych kroków. Obowiązkowa obserwacja, jeśli dopiero zaczynasz eksperymentować.

Generowanie złożonych hipotez testów A/B: To kolejny doskonały samouczek dotyczący pisania hipotez do eksperymentu. Te taktyki hipotetyczne można bezproblemowo zastosować w eksperymentach z chatbotami.

Krok #2: Projektowanie eksperymentów

Tak jak w zwykłym teście A/B lub eksperymencie CRO, w drugim kroku musisz „utworzyć” eksperymenty chatbota.

W tym kroku musisz przetłumaczyć swoją hipotezę na „zmianę” (lub zestaw zmian) do przetestowania.

Na przykład, jeśli postawisz hipotezę, że chatbot „bardziej markowy” zapewni lepsze wyniki Twojemu zespołowi marketingowemu, w tym kroku będziesz musiał zobaczyć, które elementy Twojego chatboxa mogą być lepiej oznakowane. Może to być głos lub ton Twojego chatbota lub po prostu interfejs wizualny.

Będąc na tym etapie, zapoznaj się z tym przewodnikiem od wspaniałych ludzi z Almy. Będzie to bardzo pomocne przy projektowaniu eksperymentów. Na przykład w tym eksperymencie brandingowym po prostu odwiedź sekcję poświęconą osobowości tego przewodnika po testowaniu chatbota, a zobaczysz kilka pytań, które pokażą ci elementy brandingowe, z którymi możesz faktycznie eksperymentować. Zobacz zrzut ekranu poniżej, aby uzyskać inspirację:

Gdy już wiesz, jaki element/elementy będziesz testować (na podstawie swojej hipotezy), określ długość eksperymentu chatbota i wielkość próbki.

Pomocne zasoby:

Narzędzia do obliczania czasu trwania i wielkości próbki Twoich eksperymentów: Oto niektóre z najlepszych narzędzi CRO do obliczania idealnej wielkości próbki i czasu trwania eksperymentów z chatbotem.

Kalkulator czasu trwania testu A/B firmy Convert: Wystarczy wprowadzić dane do tego kalkulatora, a dowiesz się, jak długo powinien trwać test lub eksperyment chatbota. Kalkulator czasu trwania testu A/B firmy Convert: Wystarczy wprowadzić dane do tego kalkulatora, a dowiesz się, jak długo powinien trwać test lub eksperyment chatbota.

Krok 3: Uczenie się z eksperymentów

Po zakończeniu eksperymentu i uzyskaniu danych nadszedł czas na analizę wyników.

Zazwyczaj każdy eksperyment optymalizacyjny ma tylko trzy wyniki, w tym te, które przeprowadzisz dla swoich chatbotów. To są:

• Kontrola traci. Tutaj Twoja hipoteza zostaje zweryfikowana, a Twoja zmiana ma pozytywny wpływ na liczby. Przykładem takiego wyniku może być uzyskanie 1000 akceptacji zamiast 890 poprzez zmianę zdjęcia profilowego chatbota z kreskówki na maskotkę.
• Kontrola wygrywa. Tutaj twoja hipoteza musi zostać odrzucona, ponieważ twoja zmiana ma negatywny wpływ na liczby. Na przykład nowe zdjęcie profilowe maskotki ma znacznie mniejszą liczbę rejestracji niż zwykłe zdjęcie z kreskówek.
• Test jest niejednoznaczny. Są to zazwyczaj najczęstsze i często najbardziej frustrujące wyniki, ponieważ nie ma znaczenia statystycznego, aby wyłonić wyraźnego zwycięzcę.

Więc kiedy już masz wyniki testu, musisz wrócić do kroku 1 eksperymentowania: kroku hipotezy.

Albo możesz rozpocząć nowy eksperyment, aby przetestować nową hipotezę, albo przejść do testowania iteracyjnego, co oznacza powrót do hipotezy, która nie została zweryfikowana (z powodu przegranego lub niejednoznacznego testu), ulepszenie jej, a następnie ponowne uruchomienie testu.

Wykonując testy iteracyjne, poświęć trochę czasu na zrozumienie, dlaczego test zakończył się niepowodzeniem za pierwszym razem.

Myśleć:

Czy wybór niewłaściwego segmentu testowego?

Czy od początku była to zła hipoteza?

Czy twoja logistyka testowa była zła? Pomysł polega na tym, aby nauczyć się wszystkiego, co możesz, ze swoich wygranych, przegranych, a nawet z niejednoznacznych eksperymentów z chatbotami, ponieważ w ten sposób optymalizujesz — dzięki ciągłemu uczeniu się.

Podsumowując…

Jeśli jesteś bardziej obeznany z technologią, możesz przenieść swoje eksperymenty z chatbotem na zupełnie nowy poziom, testując zawartość, którą dostarczasz chatbotowi (lub jego „bazie wiedzy”).

Możesz też wypróbować inny algorytm uczenia.

Chatboty nie znikną, a wraz z dojrzewaniem uczenia maszynowego będą one znajdować się w centrum uwagi, stanowiąc pierwszy punkt kontaktu z dużymi segmentami potencjalnych klientów.

Po prostu sensowne jest wejście na pokład z testowaniem A/B ich wydajności.