การทดสอบ A/B Chatbots: วิธีเริ่มต้น (และทำไมคุณต้อง)

"สวัสดี

ฉันคือบอทตี้บอท!

ฉันจะช่วยคุณได้อย่างไร?"

ฉันไม่รู้ว่าคุณจะเยี่ยมชมเว็บไซต์ใดในวันนี้ … แต่คุณจะต้องไปเยี่ยมชมอย่างน้อยหนึ่งแห่ง ซึ่งคุณจะได้ยินเสียง *ป๊อป* และบอทจะเริ่ม "พูด" กับคุณ

… ให้การสนับสนุนก่อนการขายแก่คุณ

หรือช่วยเหลือคุณเกี่ยวกับคำถามหลังการขายของคุณ

หรือเพียงแค่ให้การสนับสนุน

แชทบอททุกวันมีการสนทนากับผู้ใช้หลายล้านรายการ นำผลลัพธ์ทางธุรกิจที่แท้จริงและจับต้องได้ เช่น โอกาสในการขายที่มากขึ้น ยอดขายที่มากขึ้น และความภักดีของลูกค้าที่สูงขึ้น และพวกเขาค่อนข้างเป็นกระแสหลักโดย 80% ของธุรกิจที่คาดการณ์ว่าจะใช้งานภายในปี 2020

เนื่องจากแชทบอทสร้างรายได้ จึงสามารถเพิ่มประสิทธิภาพได้เช่นเดียวกับช่องทางรายได้อื่นๆ เช่นเดียวกันกับช่องทางรายได้อื่นๆ

การเพิ่มประสิทธิภาพ Chatbots ด้วยการทดสอบ A/B (และการทดลองอื่นๆ)

ขึ้นอยู่กับว่าคุณใช้แชทบ็อตในกลยุทธ์การตลาด การขาย และการสนับสนุนของคุณอย่างไร การทดสอบกับบอทเหล่านี้สามารถให้ประโยชน์มากมาย

ตัวอย่างเช่น การทดลองแชทบอทสามารถช่วยคุณระบุ:

• ลำดับก่อนการขายที่สร้างโอกาสในการขายมากขึ้นเรื่อยๆ
• ข้อความทดลองที่แปลงลีดให้กลายเป็นลูกค้ามากขึ้น
• ประสบการณ์การเริ่มต้นใช้งานที่เปลี่ยนให้ดีขึ้น
• ลำดับความสำเร็จของลูกค้าซึ่งส่งผลให้ลูกค้าพึงพอใจ (และความภักดี) สูงขึ้น
• …. และรองรับลำดับที่ส่งผลให้ตั๋วน้อยลง

กล่าวโดยย่อ: หากคุณเป็นธุรกิจที่ใช้แชทบอท คุณสามารถปรับปรุง ROI ของคุณจากช่องได้ด้วยการทดสอบ A/B

โซลูชันแชทบอทบางตัวยังมาพร้อมกับฟังก์ชันการทดสอบ A/B ดั้งเดิมที่ช่วยให้ธุรกิจทำการทดสอบเพื่อค้นหาข้อความ ลำดับ ทริกเกอร์ และอื่นๆ ที่มีประสิทธิภาพดีที่สุด

แต่เพื่อที่จะเรียกใช้การทดสอบ CRO ที่มีความหมายสำหรับแชทบอท คุณต้องใช้กระบวนการปรับให้เหมาะสมที่เหมาะสม

การทดสอบ A/B Chatbots: กระบวนการ

ก่อนที่คุณจะเริ่มสร้างการทดสอบแชทบ็อต ให้เลือกเมตริกที่คุณต้องการปรับปรุงก่อน

ตัวอย่างเช่น หากคุณกำลังใช้แชทบอทเพื่อการตลาด เมตริกของคุณอาจเป็น จำนวน ลีด ที่เลือกเข้าร่วมหลังจากการโต้ตอบแชทบอทที่ประสบความสำเร็จ

อีกทางหนึ่ง หากคุณกำลังใช้แชทบอทเพื่อเพิ่มยอดขาย เมตริกของคุณอาจเป็น จำนวนลีดรุ่นทดลองที่มีคะแนนการมีส่วนร่วมเพิ่มขึ้นเนื่องจากการโต้ตอบกับแชทบ็ อต

สุดท้าย หากคุณกำลังใช้แชทบอทเพื่อเสนอการสนับสนุน ตัวชี้วัดของคุณอาจเป็น เปอร์เซ็นต์ที่ลดลงในจำนวนตั๋วขาเข้า

ไม่ว่ามันจะเป็นอะไร เมื่อคุณระบุตัววัด (หรือตัววัด) ที่จะปรับให้เหมาะสมแล้ว คุณก็พร้อมที่จะเริ่มทำงานกับการทดสอบแชทบอทของคุณ

ต่อไปนี้คือขั้นตอนง่ายๆ สามขั้นตอนในการตั้งค่าและเรียกใช้การทดสอบ Chatbot A/B ที่ชนะ:

ขั้นตอนที่ #1:การประดิษฐ์สมมุติฐาน

เช่นเดียวกับการทดสอบเว็บไซต์หรือแอปทั่วไป การทดสอบแชทบอทก็เริ่มต้นด้วยสมมติฐานที่ชัดเจน

ตัวอย่างเช่น เมื่อ Magoosh ซึ่งเป็นบริษัทเตรียมการทดสอบออนไลน์ ตัดสินใจทำการทดสอบการเริ่มต้นใช้งาน บริษัทเริ่มต้นด้วยสมมติฐานที่ชัดเจน:

หากเราส่งข้อความต้อนรับลูกค้ารุ่นทดลองเมื่อพวกเขาเข้าสู่ระบบผลิตภัณฑ์ Magoosh เป็นครั้งแรก พวกเขาจะมีแนวโน้มมากขึ้นที่จะซื้อบัญชีพรีเมียมในอนาคต

แม้ว่า Magoosh จะไม่ได้ทดสอบแชทบ็อตอย่างแน่นอน แต่ก็ได้ทดสอบว่าการส่งข้อความแชทต้อนรับลูกค้าแบบอัตโนมัติสามารถช่วยให้มี Conversion มากขึ้นได้หรือไม่

ในกลยุทธ์การทดสอบแชทบอท สมมติฐานของคุณอาจกลายเป็น “การให้ความช่วยเหลือแชทบอทอัตโนมัติแก่การสมัครทดลองใช้งานใหม่จะส่งผลให้ … “

คุณได้รับความคิดใช่มั้ย?

แหล่งข้อมูลที่เป็นประโยชน์:

เครื่องมือสำหรับการเขียนสมมติฐานสำหรับการทดลองของคุณ: นี่คือเครื่องมือ CRO ที่ยอดเยี่ยมจริง ๆ ห้าเครื่องมือที่จะช่วยให้คุณเขียนสมมติฐานที่ชนะสำหรับการทดสอบ A/B แชทบอทของคุณ

วิธีสร้างสมมติฐานการทดสอบ A/B ที่ชนะ: การสัมมนาผ่านเว็บนี้แบ่งขั้นตอนการเขียนสมมติฐานที่ชนะออกเป็นห้าขั้นตอนง่ายๆ สิ่งที่ต้องดูหากคุณเพิ่งเริ่มต้นจากการทดลอง

การสร้างสมมติฐานการทดสอบ A/B ที่ซับซ้อน: นี่เป็นอีกหนึ่งบทช่วยสอนที่ยอดเยี่ยมเกี่ยวกับการเขียนสมมติฐานสำหรับการทดสอบของคุณ กลยุทธ์การตั้งสมมติฐานเหล่านี้นำไปใช้กับการทดลองแชทบอทได้อย่างราบรื่น

ขั้นตอนที่ #2:การออกแบบการทดลอง

เช่นเดียวกับที่คุณทำในการทดสอบ A/B ปกติหรือการทดสอบ CRO ในขั้นตอนที่สอง คุณต้อง "สร้าง" การทดลองแชทบ็อตของคุณ

ในขั้นตอนนี้ คุณต้องแปลสมมติฐานของคุณเป็น "การเปลี่ยนแปลง" (หรือชุดการเปลี่ยนแปลง) เพื่อทดสอบ

ตัวอย่างเช่น หากคุณตั้งสมมติฐานว่าแชทบ็อตที่ "มีแบรนด์มากขึ้น" จะให้ผลลัพธ์ที่ดีกว่าสำหรับทีมการตลาดของคุณในขั้นตอนนี้ คุณจะต้องดูว่าองค์ประกอบใดของกล่องแชทของคุณที่สามารถสร้างแบรนด์ได้ดีกว่า อาจเป็นเสียงหรือโทนของแชทบ็อตหรือเพียงแค่อินเทอร์เฟซแบบภาพ

ขณะที่คุณอยู่ในขั้นตอนนี้ ให้ตรวจดูคู่มือนี้จากคนที่ยอดเยี่ยมจาก Alma มันจะมีประโยชน์มากในการออกแบบการทดลองของคุณ ตัวอย่างเช่น ในการทดสอบการสร้างแบรนด์นี้ เพียงไปที่ส่วนบุคลิกภาพของคู่มือการทดสอบแชทบ็อต แล้วคุณจะเห็นคำถามบางข้อที่จะแสดงรายการการสร้างแบรนด์ที่คุณสามารถทดลองได้จริง ดูภาพหน้าจอด้านล่างเพื่อเป็นแรงบันดาลใจ:

เมื่อคุณทราบองค์ประกอบ/องค์ประกอบที่คุณจะทดสอบแล้ว (ตามสมมติฐานของคุณ) ให้กำหนดความยาวของการทดสอบแชทบ็อตและขนาดตัวอย่าง

แหล่งข้อมูลที่เป็นประโยชน์:

เครื่องมือสำหรับคำนวณระยะเวลาและขนาดตัวอย่างสำหรับการทดสอบของคุณ: ต่อไปนี้คือเครื่องมือ CRO ที่ดีที่สุดบางส่วนในการคำนวณขนาดตัวอย่างที่เหมาะสมที่สุดและระยะเวลาสำหรับการทดสอบแชทบ็อตของคุณ

เครื่องคำนวณระยะเวลาการทดสอบ A/B ของ Convert: เพียงแค่ป้อนข้อมูลของคุณลงในเครื่องคำนวณนี้ แล้วคุณจะรู้ว่าการทดสอบแชทบ็อตหรือการทดสอบควรทำงานนานแค่ไหน เครื่องคำนวณระยะเวลาการทดสอบ A/B ของ Convert: เพียงแค่ป้อนข้อมูลของคุณลงในเครื่องคำนวณนี้ แล้วคุณจะรู้ว่าการทดสอบแชทบ็อตหรือการทดสอบควรทำงานนานแค่ไหน

ขั้นตอนที่ #3:เรียนรู้จากการทดลอง

เมื่อการทดสอบของคุณสิ้นสุดลงและข้อมูลอยู่ในนั้น ก็ถึงเวลาวิเคราะห์สิ่งที่คุณค้นพบ

โดยปกติ มีเพียงสามผลลัพธ์ในการทดสอบการเพิ่มประสิทธิภาพ ซึ่งรวมถึงผลลัพธ์ที่คุณจะใช้กับแชทบอทของคุณ เหล่านี้คือ:

• การควบคุมสูญเสีย ที่นี่ สมมติฐานของคุณได้รับการตรวจสอบแล้ว และการเปลี่ยนแปลงของคุณส่งผลดีต่อตัวเลข ตัวอย่างของผลลัพธ์ดังกล่าวคือการได้รับ 1,000 ตัวเลือกแทนที่จะเป็น 890 โดยเปลี่ยนรูปโปรไฟล์ของแชทบ็อตจากการ์ตูนเป็นมาสคอต
• การควบคุมชนะ ในที่นี้ สมมติฐานของคุณต้องถูกปฏิเสธเนื่องจากการเปลี่ยนแปลงของคุณส่งผลเสียต่อตัวเลข ตัวอย่างเช่น รูปโปรไฟล์มาสคอตใหม่ได้รับการสมัครน้อยกว่ารูปการ์ตูนทั่วไป
• การทดสอบไม่สามารถสรุปได้ สิ่งเหล่านี้มักจะเป็นผลลัพธ์ที่พบบ่อยที่สุดและมักจะเป็นผลลัพธ์ที่น่าผิดหวังที่สุด เนื่องจากคุณไม่มีนัยสำคัญทางสถิติที่จะมีผู้ชนะที่ชัดเจน

เมื่อคุณได้ผลการทดสอบแล้ว คุณต้องกลับไปที่ขั้นตอนที่ 1 ของการทดสอบ นั่นคือขั้นตอนสมมติฐาน

คุณสามารถเริ่มการทดสอบใหม่เพื่อทดสอบสมมติฐานใหม่หรือทำการทดสอบซ้ำ ซึ่งหมายถึงการย้อนกลับไปยังสมมติฐานที่ไม่ได้รับการตรวจสอบความถูกต้อง (อาจเป็นเพราะการทดสอบที่แพ้หรือไม่สามารถสรุปผลได้) ปรับปรุง และจากนั้นทำใหม่ ดำเนินการทดสอบ

เมื่อทำการทดสอบซ้ำ ควรแน่ใจว่าคุณใช้เวลาทำความเข้าใจว่าทำไมการทดสอบของคุณจึงล้มเหลวในครั้งแรก

คิด:

เป็นการเลือกส่วนการทดสอบที่ไม่ถูกต้องหรือไม่?

มันเป็นสมมติฐานที่ไม่ดีมาตลอดหรือไม่?

โลจิสติกส์ทดสอบของคุณแย่หรือไม่? แนวคิดในที่นี้คือการเรียนรู้ทุกสิ่งที่ทำได้จากการชนะ แพ้ และแม้แต่การทดลองแชทบ็อตที่สรุปไม่ได้ เพราะนั่นคือวิธีเพิ่มประสิทธิภาพ - ด้วยการเรียนรู้อย่างต่อเนื่อง

ปิดท้าย…

หากคุณเชี่ยวชาญด้านเทคโนโลยีมากขึ้น คุณสามารถยกระดับการทดลองแชทบอทของคุณไปอีกระดับโดยการทดสอบกับเนื้อหาที่คุณป้อนให้กับแชทบ็อตของคุณ (หรือ “ฐานความรู้”)

หรือคุณอาจลองใช้อัลกอริทึมการเรียนรู้แบบอื่นก็ได้

Chatbots อยู่ที่นี่เสมอและเมื่อแมชชีนเลิร์นนิงเติบโตเต็มที่ พวกเขาจะตรงไปตรงมาและเป็นศูนย์กลาง โดยทำหน้าที่เป็นจุดสัมผัสแรกที่ผู้มีแนวโน้มจะเป็นลูกค้ากลุ่มใหญ่ของคุณ

การเข้าร่วมทดสอบประสิทธิภาพด้วย A/B เป็นเรื่องที่สมเหตุสมผล