Testare A/B Chatbots: Cum să începeți (și de ce trebuie)

"Hei acolo

Sunt un Bottybot!

Cu ce ​​vă pot ajuta?"

Nu știu ce site-uri web veți vizita astăzi... dar veți ajunge să vizitați cel puțin unul în care veți auzi un sunet *Pop* și un bot va începe să vă „vorbească”.

… Oferind asistență înainte de vânzare.

Sau vă ajut cu întrebările dvs. post-vânzare.

Sau pur și simplu oferind sprijin.

În fiecare zi, chatboții au milioane de astfel de conversații cu utilizatorii; aducând rezultate de afaceri reale, tangibile, cum ar fi mai multe clienți potențiali, mai multe vânzări și o loialitate mai mare a clienților. Și sunt destul de populare, cu 80% dintre companii estimate că le vor folosi până în 2020.

Deoarece chatboții generează venituri, pot fi optimizați pentru rezultate mai bune, la fel ca orice alt canal de venit.

Optimizarea chatbot-urilor cu testarea A/B (și alte experimente)

În funcție de modul în care utilizați chatboții în strategia dvs. de marketing, vânzări și asistență, desfășurarea experimentelor pe aceștia poate oferi multe beneficii.

De exemplu, experimentele cu chatbot vă pot ajuta să identificați:

• Secvențe de pre-vânzare care generează clienți potențiali mai mulți și mai buni
• Mesaje de probă care transformă mai mulți clienți potențiali în clienți
• Experiențe de integrare care se convertesc mai bine
• Secvențe de succes ale clienților care au ca rezultat o mai mare satisfacție a clienților (și loialitate)
• …. Și secvențe de sprijin care au ca rezultat mai puține bilete

Pe scurt: dacă sunteți o companie care folosește chatbot, vă puteți îmbunătăți rentabilitatea investiției de pe canal cu testarea A/B.

Destul de multe soluții de chatbot vin chiar cu funcționalități native de testare A/B care permit companiilor să efectueze experimente pentru a găsi cele mai bune mesaje, secvențe, declanșatoare și multe altele.

Dar pentru a rula experimente CRO semnificative pentru chatbot, trebuie să utilizați procesul de optimizare corect.

Testarea A/B Chatbots: Procesul

Înainte de a începe să vă creați experimentele chatbot, alegeți mai întâi valorile pe care doriți să le îmbunătățiți.

De exemplu, dacă utilizați un chatbot pentru marketing, valoarea dvs. ar putea fi numărul de clienți potențiali care s-au înscris după o interacțiune de succes cu chatbot .

În mod alternativ, dacă utilizați un chatbot pentru a crește vânzările, valoarea dvs. ar putea fi numărul de clienți potențiali de probă al căror scor de implicare se îmbunătățește datorită interacțiunii cu chatbot-ul .

În cele din urmă, dacă utilizați un chatbot pentru a oferi asistență, valoarea dvs. ar putea fi scăderea procentuală a numărului de bilete de intrare .

Oricare ar fi, odată ce ați identificat valoarea (sau valorile) de optimizat, sunteți gata să începeți să lucrați la experimentul dvs. chatbot.

Iată trei pași simpli pentru configurarea și rularea testelor A/B de chatbot câștigătoare:

Pasul #1: Crearea ipotezei

La fel ca experimentele obișnuite cu site-uri sau aplicații, experimentele cu chatbot încep cu o ipoteză clară.

De exemplu, când Magoosh, o companie online de pregătire a testelor, a decis să desfășoare un experiment de onboarding, a început cu o ipoteză clară:

Dacă trimitem clienților de probă un mesaj de bun venit când se conectează pentru prima dată la un produs Magoosh, ei vor avea mai multe șanse să cumpere conturi premium în viitor.

Deși Magoosh nu a testat în mod exact un chatbot, a testat dacă trimiterea unui mesaj automatizat de întâmpinare a clientului ar putea ajuta la mai multe conversii.

În strategia dvs. de testare a chatbot-ului, ipoteza dvs. ar putea deveni „Oferirea de asistență automată a chatbot-ului noilor înscrieri de probă ar duce la... ”

Ai înțeles ideea, nu?

Resurse utile:

Instrumente pentru scrierea ipotezei pentru experimentele dvs.: Acestea sunt cinci instrumente CRO cu adevărat interesante care vă vor ajuta să scrieți o ipoteză câștigătoare pentru testarea A/B a chatbot-urilor dvs.

Cum se creează o ipoteză de test A/B câștigătoare: Acest webinar descompune procesul de scriere a unei ipoteze câștigătoare în cinci pași simpli. O vizionare obligatorie dacă sunteți abia la început cu experimente.

Generarea de ipoteze de testare complexă A/B: Acesta este un alt tutorial excelent despre scrierea ipotezelor pentru experimentul dvs. Aceste tactici de ipoteză se aplică perfect experimentelor cu chatbot.

Pasul 2: Proiectarea experimentelor

Așa cum ați proceda într-un test obișnuit A/B sau un experiment CRO, în al doilea pas, trebuie să vă „creați” experimentele chatbot.

În acest pas, trebuie să traduceți ipoteza într-o „schimbare” (sau un set de modificări) pentru a testa.

De exemplu, dacă ați emis ipoteza că un chatbot „mai marcat” va obține rezultate mai bune pentru echipa dvs. de marketing, în acest pas, va trebui să vedeți ce elemente ale casetei dvs. de chat ar putea fi mai bine marcate. Ar putea fi vocea sau tonul chatbot-ului sau pur și simplu interfața vizuală.

În timp ce sunteți la acest pas, consultați acest ghid de la oameni minunați de la Alma. Va fi foarte util pentru proiectarea experimentelor dvs. De exemplu, în acest experiment de branding, trebuie doar să vizitați secțiunea de personalitate a acestui ghid de testare chatbot și veți vedea câteva întrebări care vă vor arăta elementele de branding cu care ați putea experimenta efectiv. Vedeți captura de ecran de mai jos pentru inspirație:

După ce știți ce element/elementele veți testa (pe baza ipotezei dvs.), determinați durata experimentului dvs. de chatbot și dimensiunea eșantionului.

Resurse utile:

Instrumente pentru calcularea duratei și a dimensiunii eșantionului experimentelor dvs.: Iată câteva dintre cele mai bune instrumente CRO pentru a calcula dimensiunea și durata eșantionului ideal pentru experimentele dvs. chatbot.

Calculatorul de durată a testului A/B de la Convert: doar introduceți datele în acest calculator și veți ști cât timp ar trebui să ruleze testul sau experimentul dvs. de chatbot. Calculatorul de durată a testului A/B de la Convert: doar introduceți datele în acest calculator și veți ști cât timp ar trebui să ruleze testul sau experimentul dvs. de chatbot.

Pasul 3: Învățați din experimente

Odată ce experimentul dvs. s-a încheiat și datele sunt introduse, este timpul să vă analizați constatările.

De obicei, există doar trei rezultate pentru orice experiment de optimizare, inclusiv cele pe care le veți rula pentru chatboții dvs. Acestea sunt:

• Controlul pierde. Aici, ipoteza ta este validată și schimbarea ta aduce un impact pozitiv asupra cifrelor. Un exemplu de astfel de rezultat ar fi obținerea a 1000 de înscrieri în loc de 890 prin schimbarea imaginii de profil a chatbot-ului dvs. dintr-un desen animat la o mascota.
• Controlul câștigă. Aici, ipoteza dvs. trebuie respinsă, deoarece schimbarea dvs. aduce un impact negativ asupra cifrelor. De exemplu, noua poză de profil a mascotei primește înregistrări mult mai mici decât imaginea de desene animate obișnuite.
• Testul este neconcludent. Acestea sunt de obicei cele mai comune și adesea cele mai frustrante rezultate, deoarece nu obțineți o semnificație statistică pentru a avea un câștigător clar.

Așa că, odată ce ai rezultatele testului, trebuie să te întorci la pasul #1 al experimentului tău: pasul de ipoteză.

Fie puteți începe un nou experiment pentru a testa o nouă ipoteză, fie puteți trece cu testarea iterativă, ceea ce înseamnă să reveniți la o ipoteză care nu a fost validată (fie din cauza unui test pierdut, fie din cauza unui test neconcludent), îmbunătățirea acesteia și apoi re- rularea testului.

Când efectuați teste iterative, asigurați-vă că petreceți timp pentru a înțelege de ce testul a eșuat din prima încercare.

Gândi:

A fost alegerea unui segment de testare greșit?

A fost o ipoteză proastă tot timpul?

Logistica dvs. de testare a fost proastă? Ideea aici este să înveți tot ce poți din experimentele tale de câștig, pierdere și chiar neconcludente, pentru că așa optimizezi - cu învățare continuă.

Încheind-o…

Dacă sunteți mai priceput la tehnologie, puteți duce experimentele dvs. cu chatbot la un nivel cu totul nou testând cu conținutul pe care îl alimentați pe chatbot (sau „baza sa de cunoștințe”).

Sau puteți încerca și un alt algoritm de învățare.

Chatboții sunt aici pentru a rămâne și, pe măsură ce învățarea automată se maturizează, ei vor fi în față și în centru, acționând ca primul punct de contact cu segmente mari ale potențialilor dvs.

Este logic să te îmbarci cu A/B testându-le performanța.