Chatbot Pengujian A/B: Cara Memulai (dan Mengapa Anda Harus)

“Hei disana

Saya seorang Bottybot!

Apa yang bisa saya bantu?"

Saya tidak tahu situs web mana yang akan Anda kunjungi hari ini ... tetapi Anda akan mengunjungi setidaknya satu situs di mana Anda akan mendengar suara * Pop * dan bot akan mulai "berbicara" dengan Anda.

… Menawarkan dukungan pra-penjualan kepada Anda.

Atau membantu Anda dengan pertanyaan pasca-penjualan Anda.

Atau sekadar menawarkan dukungan.

Setiap hari chatbot memiliki jutaan percakapan seperti itu dengan pengguna; membawa hasil bisnis yang nyata dan nyata seperti lebih banyak prospek, lebih banyak penjualan, dan loyalitas pelanggan yang lebih tinggi. Dan mereka cukup mainstream dengan 80% bisnis diprediksi akan menggunakannya pada tahun 2020.

Karena chatbots mendorong pendapatan, mereka dapat — sama seperti saluran pendapatan lainnya — dioptimalkan untuk hasil yang lebih baik.

Mengoptimalkan Chatbot dengan Pengujian A/B (dan eksperimen lainnya)

Bergantung pada bagaimana Anda menggunakan chatbots dalam strategi pemasaran, penjualan, dan dukungan Anda, menjalankan eksperimen pada mereka dapat menawarkan banyak manfaat.

Misalnya, eksperimen chatbot dapat membantu Anda mengidentifikasi:

• Urutan pra-penjualan yang menghasilkan prospek lebih banyak dan lebih baik
• Pesan percobaan yang mengubah lebih banyak prospek menjadi pelanggan
• Pengalaman orientasi yang mengubah lebih baik
• Urutan kesuksesan pelanggan yang menghasilkan kepuasan (dan loyalitas) pelanggan yang lebih tinggi
• …. Dan mendukung urutan yang menghasilkan lebih sedikit tiket

Singkatnya: Jika Anda adalah bisnis yang menggunakan chatbot, Anda dapat meningkatkan ROI dari saluran dengan pengujian A/B.

Beberapa solusi chatbot bahkan hadir dengan fungsi pengujian A/B asli yang memungkinkan bisnis menjalankan eksperimen untuk menemukan perpesanan, urutan, pemicu, dan lainnya dengan performa terbaik.

Tetapi untuk menjalankan eksperimen CRO yang berarti untuk chatbot, Anda harus menggunakan proses pengoptimalan yang tepat.

Chatbot Pengujian A/B: Proses

Sebelum Anda mulai membuat eksperimen chatbot, pertama-tama pilih metrik yang ingin Anda tingkatkan.

Misalnya, jika Anda menggunakan chatbot untuk pemasaran, metrik Anda dapat berupa jumlah prospek yang ikut serta setelah interaksi chatbot yang berhasil .

Atau, jika Anda menggunakan chatbot untuk meningkatkan penjualan, metrik Anda dapat berupa jumlah prospek uji coba yang skor keterlibatannya meningkat karena berinteraksi dengan chatbot .

Terakhir, jika Anda menggunakan chatbot untuk menawarkan dukungan, metrik Anda dapat berupa persentase penurunan jumlah tiket masuk .

Apa pun itu, setelah Anda mengidentifikasi metrik (atau metrik) yang akan dioptimalkan, Anda siap untuk mulai mengerjakan eksperimen chatbot Anda.

Berikut adalah tiga langkah sederhana untuk menyiapkan dan menjalankan pengujian A/B chatbot yang menang:

Langkah #1: Pembuatan Hipotesis

Sama seperti eksperimen situs web atau aplikasi biasa, eksperimen chatbot juga dimulai dengan hipotesis yang jelas.

Misalnya, ketika Magoosh, sebuah perusahaan persiapan ujian online, memutuskan untuk menjalankan eksperimen orientasi, itu dimulai dengan hipotesis yang jelas:

Jika kami mengirimkan pesan selamat datang kepada pelanggan uji coba saat mereka pertama kali masuk ke produk Magoosh, mereka akan cenderung membeli akun premium di masa mendatang.

Meskipun Magoosh tidak benar-benar menguji chatbot, itu menguji apakah mengirim pesan obrolan orientasi pelanggan selamat datang otomatis dapat membantu dengan lebih banyak konversi.

Dalam strategi pengujian chatbot Anda, hipotesis Anda bisa menjadi "Menawarkan bantuan chatbot otomatis untuk pendaftaran percobaan baru akan menghasilkan ... "

Anda mendapatkan ide, kan?

Sumber daya yang bermanfaat:

Alat untuk Menulis Hipotesis untuk Eksperimen Anda: Ini adalah lima alat CRO yang sangat keren yang akan membantu Anda menulis hipotesis pemenang untuk pengujian A/B pada chatbot Anda.

Cara Membuat Hipotesis Uji A/B yang Menang: Webinar ini memecah proses penulisan hipotesis yang menang menjadi lima langkah sederhana. A must-watch jika Anda baru memulai dengan eksperimen.

Pembuatan Hipotesis Pengujian A/B Kompleks: Ini adalah tutorial bagus lainnya tentang menulis hipotesis untuk eksperimen Anda. Taktik hipotesis ini berlaku mulus untuk eksperimen chatbot.

Langkah #2: Merancang Eksperimen

Seperti yang Anda lakukan dalam pengujian A/B atau eksperimen CRO biasa, pada langkah kedua Anda, Anda perlu "membuat" eksperimen chatbot Anda.

Pada langkah ini, Anda perlu menerjemahkan hipotesis Anda menjadi "perubahan" (atau serangkaian perubahan) untuk diuji.

Misalnya, jika Anda berhipotesis bahwa chatbot "lebih bermerek" akan mendapatkan hasil yang lebih baik untuk tim pemasaran Anda, pada langkah ini, Anda harus melihat elemen kotak obrolan Anda yang dapat diberi merek lebih baik. Ini bisa berupa suara atau nada chatbot Anda atau hanya antarmuka visual.

Saat Anda berada di langkah ini, lihat panduan ini dari orang-orang hebat dari Alma. Ini akan sangat membantu untuk merancang eksperimen Anda. Misalnya, dalam eksperimen branding ini, cukup kunjungi bagian kepribadian dari panduan pengujian chatbot ini dan Anda akan melihat beberapa pertanyaan yang akan menunjukkan item branding yang sebenarnya bisa Anda coba. Lihat tangkapan layar di bawah untuk inspirasi:

Setelah Anda mengetahui elemen/elemen apa yang akan Anda uji (berdasarkan hipotesis Anda), tentukan panjang eksperimen chatbot Anda dan ukuran sampelnya.

Sumber daya yang bermanfaat:

Alat untuk Menghitung Durasi dan Ukuran Sampel Eksperimen Anda: Berikut adalah beberapa alat CRO terbaik untuk menghitung ukuran sampel dan durasi ideal untuk eksperimen chatbot Anda.

Kalkulator Durasi Tes A/B Konversi: Cukup masukkan data Anda ke dalam kalkulator ini, dan Anda akan tahu berapa lama pengujian atau eksperimen chatbot Anda harus berjalan. Kalkulator Durasi Tes A/B Konversi: Cukup masukkan data Anda ke dalam kalkulator ini, dan Anda akan tahu berapa lama pengujian atau eksperimen chatbot Anda harus berjalan.

Langkah #3: Belajar dari Eksperimen

Setelah eksperimen Anda selesai dan datanya masuk, inilah saatnya untuk menganalisis temuan Anda.

Biasanya, hanya ada tiga hasil untuk setiap eksperimen pengoptimalan, termasuk yang akan Anda jalankan untuk chatbot Anda. Ini adalah:

• Kontrolnya kalah. Di sini, hipotesis Anda divalidasi dan perubahan Anda membawa dampak positif pada angka. Contoh hasil seperti itu akan mendapatkan 1000 opt-in, bukan 890 dengan mengubah gambar profil chatbot Anda dari kartun menjadi maskot.
• Kontrol menang. Di sini, hipotesis Anda perlu ditolak karena perubahan Anda membawa dampak negatif pada angka. Misalnya, gambar profil maskot baru mendapatkan pendaftaran yang jauh lebih rendah daripada gambar kartun biasa.
• Tes ini tidak meyakinkan. Ini biasanya merupakan hasil yang paling umum dan seringkali paling membuat frustrasi karena Anda tidak mendapatkan signifikansi statistik untuk memiliki pemenang yang jelas.

Jadi setelah Anda mendapatkan hasil tes Anda, Anda harus kembali ke langkah #1 dari eksperimen Anda: langkah hipotesis.

Anda dapat memulai eksperimen baru untuk menguji hipotesis baru atau melakukan pengujian berulang, yang berarti kembali ke hipotesis yang tidak divalidasi (baik karena kalah atau uji tidak meyakinkan), memperbaikinya, dan kemudian kembali menjalankan tes.

Saat melakukan pengujian berulang, pastikan Anda meluangkan waktu untuk memahami mengapa pengujian Anda gagal pada percobaan pertama.

Memikirkan:

Apakah itu memilih segmen tes yang salah?

Apakah itu hipotesis yang buruk selama ini?

Apakah logistik pengujian Anda buruk? Idenya di sini adalah untuk mempelajari semua yang Anda bisa dari kemenangan, kekalahan, dan bahkan eksperimen chatbot Anda yang tidak meyakinkan karena itulah cara Anda mengoptimalkan — dengan pembelajaran berkelanjutan.

Membungkusnya…

Jika Anda lebih paham teknologi, Anda dapat membawa eksperimen chatbot Anda ke tingkat yang sama sekali baru dengan menguji konten yang Anda berikan pada chatbot Anda (atau "basis pengetahuannya").

Atau, Anda juga dapat mencoba algoritma pembelajaran yang berbeda.

Chatbot akan tetap ada dan seiring dengan matangnya pembelajaran mesin, mereka akan berada di depan dan tengah, bertindak sebagai titik kontak pertama dengan segmen besar prospek Anda.

Masuk akal untuk bergabung dengan A/B menguji kinerjanya.