7 ขั้นตอนสำคัญในการเรียนรู้และปรับปรุงจากผลการทดสอบ A/B ของคุณ

การทดสอบ A/B ของคุณเพิ่งเสร็จสิ้น แต่คุณไม่เห็นผลลัพธ์ที่คาดหวัง

คนอื่นๆ กำลังแชร์กรณีศึกษาที่พวกเขาเห็นการเพิ่มขึ้นอย่างมากด้วยการเปลี่ยนสีของปุ่มหรือการปรับแต่งเล็กน้อย แต่การทดสอบของคุณไม่ได้รับการปรับปรุงใดๆ ในการแปลง หรือแย่กว่านั้น ดูเหมือนว่าจะเสียเงินแทน และตอนนี้คุณต้อง นำเสนอสิ่งนี้ต่อเจ้านายของคุณ

เกิดอะไรขึ้นถ้าการทดสอบของคุณไม่ได้เป็นผู้แพ้จริง ๆ ล่ะ?

เกิดอะไรขึ้นถ้ามันเป็นผู้ชนะปลอมตัว?

และถ้ามันเป็นผู้แพ้ ถ้าการทดสอบที่แพ้นั้นดีจริงล่ะ?

ในคู่มือนี้ เราจะช่วยให้คุณมีมุมมองที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับผลการทดสอบ A/B ของคุณ เพื่อให้คุณสามารถวิเคราะห์และแยกย่อยเพื่อค้นหาทองคำ

เราจะอธิบายว่าเหตุใดการเรียนรู้จากการทดสอบ A/B ของคุณจึงมีความสำคัญ และเหตุใดผู้แพ้จึงสามารถขายให้คุณได้ เราแชร์กระบวนการที่คุณสามารถติดตามได้ เพื่อให้คุณสามารถวิเคราะห์การทดสอบของคุณทีละขั้นตอนและรู้สึกมั่นใจเกี่ยวกับสิ่งที่คุณเห็น ชนะหรือล้มเหลว

ยิ่งไปกว่านั้น เราจะช่วยคุณเปลี่ยนจากข้อมูลที่กังวลใจและไม่ต้องการตรวจสอบการวิเคราะห์ของคุณ ไปสู่ความมั่นใจในการแบ่งปันผลลัพธ์ของคุณกับเพื่อนร่วมงาน

เลยดำดิ่งลงไป…

ทำไมคุณต้องเรียนรู้จากการทดสอบ A/B?

สำหรับการเริ่มต้น มีค่าใช้จ่ายที่ชัดเจนที่เกี่ยวข้อง การทดสอบแต่ละครั้งมีค่าใช้จ่ายในการตั้งค่า หากคุณสูญเสียตัวเลือกสินค้า คุณจะเห็นยอดขายลดลงสำหรับตัวเลือกสินค้านั้น

นี่คือสิ่งที่แม้ว่า:

การทดสอบ A/B (และ CRO โดยทั่วไป) ไม่ใช่แค่การทำเงินมากขึ้นเท่านั้น มันเกี่ยวกับการซื้อข้อมูล ข้อมูลเกี่ยวกับผู้ชมของคุณสามารถช่วยให้คุณเข้าใจพวกเขาได้ดีขึ้นและนำเสนอผลิตภัณฑ์และบริการที่ดียิ่งขึ้น สิ่งนี้จะนำไปสู่ยอดขายที่เพิ่มขึ้นและประสบการณ์ของลูกค้าที่ดีขึ้น และแม้กระทั่งข้อมูลเชิงลึกเกี่ยวกับข้อเสนอผลิตภัณฑ์ใหม่

ยิ่งคุณเรียนรู้เกี่ยวกับคนที่คุณรับใช้มากเท่าไหร่ คุณก็จะยิ่งทำได้ดีมากขึ้นเท่านั้น การทดสอบและทดสอบบ่อยๆ จึงเป็นเรื่องสำคัญมาก แม้ว่าการทดสอบส่วนใหญ่จะล้มเหลวก็ตาม

เราไม่ได้อยู่คนเดียวในความคิดนี้เช่นกัน

อันที่จริง เมื่อเราดูข้อมูลภายในของการทดสอบ 28,304 รายการด้วยเครื่องมือของเรา พร้อมกับการสนทนากับหน่วยงานทดสอบผู้เชี่ยวชาญ เราพบว่าบริษัทส่วนใหญ่พบผู้ชนะเพียง 1 รายการจากการทดสอบทุก ๆ 10 รายการ ในขณะที่หน่วยงานมักจะเห็นผู้ชนะ 1 รายการจากทุก ๆ 4.

และฉันรู้ว่าคุณกำลังคิดอะไร

นั่นหมายความว่าฉันเสียเงิน 90% ของการทดสอบแต่ละครั้งใช่หรือไม่

ใช่ แต่เพียงครึ่งหนึ่งของผู้ชมทดสอบของคุณ อีกครึ่งหนึ่งยังคงเห็นเว็บไซต์ของคุณและทำ Conversion ตามปกติ

นอกจากนี้ ข้อมูลที่คุณได้รับยังช่วยให้คุณค้นพบสิ่งที่ใช้ไม่ได้ คุณจึงสามารถเรียนรู้สิ่งที่ใช้ไม่ได้ คุณทดสอบ เรียนรู้ ทดสอบอีกครั้ง และไปต่อจนกว่าคุณจะพบสิ่งที่ได้ผล

และการทดสอบ 10% เหล่านั้นที่ชนะ?

พวกเขาสามารถให้การเพิ่มขึ้นอย่างต่อเนื่องที่สามารถปรับปรุงได้ครั้งแล้วครั้งเล่า ก่อนที่จะถูกขยายทั่วทั้งไซต์ของคุณในทุกหน้าที่คล้ายกันเพื่อให้ได้ผลลัพธ์ที่ดียิ่งขึ้น

นั่นคือความงามของการได้เห็น Conversion ที่เพิ่มขึ้นบนแพลตฟอร์มดิจิทัล การเพิ่มขนาดที่แท้จริงเพียง 1% อาจส่งผลกระทบอย่างใหญ่หลวงต่อธุรกิจของคุณ ทั้งในปัจจุบันและกับการเข้าชมในอนาคตทั้งหมด อันที่จริงแล้ว Jeff Bezos คิดในแนวเดียวกันนั้น โดยเรียก Amazon และเป้าหมายของพวกเขาในการทดสอบและปรับปรุง "สถานที่ที่ดีที่สุดในโลกที่จะล้มเหลว" ในรายงานผู้ถือหุ้นประจำปี:

ให้โอกาส 10 เปอร์เซ็นต์ของผลตอบแทน 100 เท่า คุณควรเดิมพันทุกครั้ง แต่คุณยังคงทำผิดเก้าในสิบ ครั้ง

เจฟฟ์ เบซอส, อเมซอน

ยอดขายและข้อมูลเชิงลึกที่ดีขึ้นไม่ใช่ข้อดีเพียงอย่างเดียวของการทดสอบ A/B

การทดสอบดำเนินการช่วยให้คุณเปลี่ยนจากหัวข้อสิ่งกีดขวางและทฤษฎีกลุ่ม แทนที่จะใช้เวลาหลายเดือนเพื่อพูดคุยเกี่ยวกับการเปลี่ยนแปลงการออกแบบเว็บที่เป็นไปได้และไม่ทำอะไรเลย ให้ดำเนินการกับมันและทดสอบมัน ให้ทีมของคุณมีอิสระในการจดจ่อกับสิ่งอื่น (อย่าลืมทดสอบเอฟเฟกต์ก่อนที่จะเผยแพร่!)

ไม่เพียงเท่านั้น แต่คุณสามารถเรียนรู้สิ่งใหม่ๆ เกี่ยวกับผู้ชมของคุณที่มีเพียงการทดสอบ A/B เท่านั้นที่สามารถบอกคุณได้

การสร้างทฤษฎีและการสำรวจลูกค้านั้นยอดเยี่ยม แต่สิ่งที่ผู้ชมของคุณทำบนไซต์ของคุณนั้นสำคัญที่สุด ไม่ใช่แค่สิ่งที่พวกเขาพูด การทำความเข้าใจการทดสอบของคุณจะช่วยให้คุณพิสูจน์หรือหักล้างความคิดและข้อเสนอแนะเหล่านั้นได้

ยิ่งคุณเข้าใจผลลัพธ์ของคุณมากเท่าไร คุณก็จะยิ่งมั่นใจในการทดสอบมากขึ้นเท่านั้น ช่วยให้คุณ 'พัฒนา' ความพยายาม CRO ของคุณและทำการทดสอบได้บ่อยขึ้น และอาจถึงขั้นเริ่มสร้างทีมทดสอบภายในองค์กร

ตอนนี้คุณเห็นประโยชน์ของการเรียนรู้จากการทดสอบ A/B แต่ละครั้งแล้ว มาดูขั้นตอนง่ายๆ ในการวิเคราะห์การทดสอบใหม่แต่ละรายการที่คุณทำ...

กระบวนการ 7 ขั้นตอนในการเรียนรู้จากการทดสอบ A/B ของคุณ (พร้อมกับระบบที่คุณสามารถใช้เพื่อพัฒนาการทดสอบในอนาคต)

เราได้แบ่งสิ่งนี้ออกเป็น 7 ขั้นตอนสำคัญที่ต้องปฏิบัติตาม

คุณอาจไม่มีวิธีการหรือเครื่องมือทุกอย่างที่เราแนะนำในที่นี้ แต่เมื่อเห็นว่าเหมาะสมแล้ว คุณจะสามารถวัดมูลค่าของวิธีการหรือเครื่องมือเหล่านี้และตัดสินใจว่าคุณต้องการรวมเข้ากับการทดสอบในอนาคตหรือไม่

ขั้นตอนที่ #1: ตรวจสอบว่าข้อมูลของคุณถูกต้อง ถูกต้อง + สำคัญ

นี่เป็นส่วนที่สำคัญที่สุดของกระบวนการทั้งหมดนี้ ตรวจสอบให้แน่ใจว่าข้อมูลที่คุณมีในการทดสอบนั้นถูกต้องและถูกต้อง เพื่อให้คุณมั่นใจในผลลัพธ์

แล้วคุณจะแน่ใจได้อย่างไรว่าผลการทดสอบของคุณให้ข้อมูลที่คุณเชื่อถือได้?

มีบางสิ่งที่คุณสามารถทำได้...

ตรวจสอบความถูกต้องของเครื่องมือของคุณ

ตอนนี้คนส่วนใหญ่คิดถึงสิ่งนี้ ข้ามไปได้เลยหากเว็บไซต์ของคุณมีผู้เข้าชมไม่เกิน 10,000 คนต่อเดือน ในทางเทคนิค ไม่จำเป็นต้องเริ่มต้นกับ CRO และทำงานได้ดีที่สุดกับไซต์ที่มีปริมาณการเข้าชมมาก แต่ฉันจะไม่รวมไว้ที่นี่ เนื่องจากไซต์ขนาดใหญ่สามารถเห็นความแตกต่างได้จริงๆ

ตามหลักการแล้ว คุณได้เรียกใช้การทดสอบ A/A กับเครื่องมือทดสอบปัจจุบันของคุณแล้ว เพื่อดูว่ามีความแม่นยำเพียงใดและมีปัญหาใดๆ หรือไม่

ยังไง?

คุณเรียกใช้การทดสอบแบบแยกส่วนอย่างง่ายด้วยสำเนาหน้าเว็บที่เหมือนกัน 2 ชุด จากนั้นจึงติดตามผลลัพธ์ในหน้าเว็บที่เหมือนกันทั้ง 2 หน้า

เนื่องจากไม่มีความแตกต่างกัน ผลลัพธ์ของคุณควรเหมือนกันในแต่ละหน้า อย่างไรก็ตาม อาจมีความคลาดเคลื่อนบางประการที่เกิดจากเครื่องมือและวิธีการวัดหรือติดตามข้อมูลของคุณ

การทราบล่วงหน้าจะช่วยให้คุณมีความอดทนต่อความถูกต้องของผลการทดสอบ และใช้เป็นแนวทางสำหรับการทดสอบในอนาคตทั้งหมด

ตัวอย่าง

หากคุณสังเกตเห็นว่าการทดสอบ A/A ของคุณแสดงอัตรา Conversion แตกต่างกัน 0.5% ระหว่างสองหน้าที่เหมือนกัน คุณอาจระวังผลการทดสอบที่แสดงผู้ชนะเมื่อมีความแตกต่างเพียง 0.5% ระหว่างตัวควบคุมและตัวแปร

คุณสามารถกำหนดหลักเกณฑ์ภายในที่ระบุว่าการทดสอบต้องแสดงการเพิ่มขึ้น 1% หรือสูงกว่านั้นก่อนที่คุณจะเชื่อผลลัพธ์ ขอย้ำอีกครั้งว่า คุณต้องเรียกใช้การทดสอบ A/A เพียงครั้งเดียวเท่านั้นเมื่อคุณลองใช้เครื่องมือใหม่ หรือหากคุณคิดว่าเครื่องมือปัจจุบันของคุณอาจมีปัญหาในการรายงานหรือมีการตั้งค่าอย่างไม่ถูกต้อง

การทดสอบ A/A ทำงานได้ดีที่สุดกับไซต์ที่มีการเข้าชมขนาดใหญ่ เนื่องจากข้อมูลตัวอย่างที่จำเป็นในการตรวจสอบอย่างถูกต้องอาจมีขนาดใหญ่มาก แต่ข้อผิดพลาด 1% อาจมีความแตกต่างกันอย่างมาก

ทำการทดสอบของคุณให้นานพอที่จะได้มุมมองที่ถูกต้องว่าลูกค้าของคุณโต้ตอบกับเว็บไซต์ของคุณอย่างไร

เมื่อคุณไว้วางใจเครื่องมือของคุณแล้ว คุณต้องการทดสอบเป็นเวลา 2-4 สัปดาห์ แม้ว่าคุณจะได้รับ Conversion มากพอที่จะสามารถปิดการทำงานตามสถิติได้ก่อนหน้านี้ก็ตาม

ทำไม

เนื่องจากผู้ชมของคุณมักจะโต้ตอบกับไซต์ของคุณแตกต่างกันไปขึ้นอยู่กับวันในสัปดาห์หรือบางช่วงของเดือน

ตัวอย่าง

หากผู้ชมของคุณได้รับเงินในวันพฤหัสบดี คุณจะเห็นการขึ้นที่คุณอาจพลาดหากการทดสอบของคุณดำเนินการตั้งแต่วันจันทร์ถึงวันพุธเท่านั้นใช่ไหม

ในทำนองเดียวกัน ผู้ใช้รายอื่นอาจได้รับเงินรายปักษ์หรือรายเดือน ซึ่งอาจทำให้ผลการทดสอบของคุณไม่ตรงกันอีกครั้ง หากการทดสอบของคุณไม่ได้ดำเนินการนานพอที่จะรวมไว้ในการทดสอบ คุณเพียงแค่ถือว่ายอดขายหรือการเข้าชมลดลงในช่วงเวลาที่คุณพลาดไป

ระวังปัจจัยภายในหรือภายนอกที่อาจส่งผลต่อผลลัพธ์ของคุณ

เหตุการณ์เหล่านี้เป็นเหตุการณ์ที่ไม่ซ้ำหรือตามกำหนดการซึ่งอาจบิดเบือนข้อมูลของคุณ

ตัวอย่างเช่น หาก CEO หรือบริษัทของคุณเป็นข่าว หรือหากคุณกำลังใช้แคมเปญการตลาดหรือการส่งเสริมการขายในปัจจุบัน ตลอดจนปัจจัยภายนอกใดๆ เช่น วันหยุดประจำชาติ หรือแม้แต่การเข้าชมแบบสุ่ม

ทั้งหมดนี้อาจส่งผลต่อการเข้าชมไซต์ของคุณ และส่งผลต่อความแม่นยำของผลลัพธ์ในช่วงเวลานั้น

เรื่องจริง:

เมื่อประมาณ 6 ปีที่แล้ว ฉันเคยเป็นเจ้าของบริษัทเสื้อผ้าเซิร์ฟ

อยู่มาวันหนึ่ง การเข้าชมของเราพุ่งขึ้นราวๆ 800% จากที่ไหนเลย และอัตราตีกลับของเราก็พุ่งสูงขึ้น เราไม่ได้ใช้แคมเปญการตลาดใหม่ ดังนั้นฉันจึงตรวจสอบเล็กน้อยเพื่อค้นหาว่าการเข้าชมมาจากไหน

ปรากฎว่าเสื้อยืดตัวหนึ่งของเรามีชื่อผลิตภัณฑ์ที่มีชื่อเดียวกับเพลงใหม่ของวงดนตรีป๊อปเกาหลี และเป็นเวลา 2 วันที่เราจัดอันดับและดึงดูดผู้เข้าชม

แน่นอน ผู้ชมใหม่นี้ไม่สนใจผลิตภัณฑ์ของเราเลย และไม่นานพวกเขาก็จากไป

บ้าใช่มั้ย?

อีกครั้งหนึ่ง บล็อกการตลาดของฉันเริ่มจัดอันดับสำหรับชื่อแบรนด์ของบริษัททีวี และสิ่งเดียวกันก็เกิดขึ้น เราได้รับการเข้าชมจากผู้ชมที่ไม่ถูกต้อง

สิ่งเหล่านี้สามารถเกิดขึ้นได้โดยบังเอิญ ดังนั้นจงระวังเหตุการณ์ภายนอกหรือภายในเช่นนี้ คุณสามารถตรวจสอบการวิเคราะห์ของคุณเพื่อดูว่าทราฟฟิกมาจากไหน จากนั้นเริ่มการทดสอบใหม่เมื่อทุกอย่างกลับสู่สภาวะปกติ

ตรวจสอบให้แน่ใจว่าได้ข้อมูลเพียงพอ

คุณต้องการให้แน่ใจว่าการทดสอบของคุณมี Conversion เพียงพอเพื่อให้เข้าใจถึงประสิทธิภาพที่ถูกต้อง

การควบคุมและตัวแปรที่มี Conversion ทั้งหมดเพียง 50 รายการและความแตกต่างเพียงเล็กน้อยเท่านั้นไม่เพียงพอที่จะรับข้อมูลเชิงลึกเกี่ยวกับผู้ชมของคุณ แม้ว่าผลการทดสอบจะมีนัยสำคัญทางสถิติก็ตาม ผู้เชี่ยวชาญส่วนใหญ่เห็นพ้องต้องกันว่า Conversion ประมาณ 300+ รายการต่อตัวแปรมักจะเป็นกฎง่ายๆ ที่ดี (โดยมากหากคุณต้องการแบ่งกลุ่มในภายหลัง)

ยิ่งชุดข้อมูลมีขนาดใหญ่เท่าใด ก็ยิ่งค้นหาข้อมูลเชิงลึกในการวิเคราะห์หลังการทดสอบได้ง่ายขึ้นเท่านั้น

ใช้เครื่องคำนวณนัยสำคัญในการทดสอบ A/B ของเราเพื่อให้ทราบว่าการทดสอบของคุณจะแม่นยำเพียงใด โดยอิงจากรอบการขาย 4 สัปดาห์และข้อมูลในหน้า 'การควบคุม' ปัจจุบันของคุณ

เพียงตั้งค่าพารามิเตอร์การทดสอบของคุณ:

จากนั้น ให้ป้อนข้อมูลว่าการทดสอบของคุณควรได้รับปริมาณการเข้าชมเท่าใดต่อสัปดาห์ พร้อมกับจำนวน Conversion ของหน้าปัจจุบัน จากนั้นค้นหาความถูกต้องและเปอร์เซ็นต์การเพิ่มขึ้นที่การทดสอบของคุณจะสามารถคำนวณได้

ในตัวอย่างข้างต้น เราสามารถวัดการเพิ่มขึ้นเพียง 1.2% หลังจาก 4 สัปดาห์ (หากเราต้องการความแม่นยำที่สูงขึ้น ให้รันการทดสอบนานขึ้นหรือเพิ่มปริมาณการรับส่งข้อมูลในการทดสอบ)

รับผลลัพธ์ที่มีนัยสำคัญทางสถิติ

นี่คือสาเหตุที่นัยสำคัญทางสถิติมีความสำคัญ แต่ไม่ใช่ปัจจัยที่สำคัญที่สุดในการทดสอบ

ใช่ คุณต้องการให้แน่ใจว่าการทดสอบของคุณดำเนินไปนานพอที่จะเห็นคะแนนความเชื่อมั่น 95-99% ในผลลัพธ์ แต่คุณต้องการให้แน่ใจว่าทุกปัจจัยอื่น ๆ ที่เรากล่าวถึงข้างต้นได้รับผลกระทบ

ทำไม

แม้แต่การทดสอบ A/A ก็สามารถแสดงความมั่นใจ 95% ในเวอร์ชันหนึ่งได้ดีกว่าสำเนาที่เหมือนกันหากไม่ได้ใช้งานนานพอ

(อาจสุ่มเห็น Conversion ทั้งหมดในวันหนึ่งและไม่พบ Conversion ทั้งหมดในอีกเวอร์ชันหนึ่ง)

ผู้ทดสอบใหม่จำนวนมากเกินไปจะหยุดแคมเปญเมื่อถึง 'stat sig' ทำให้พวกเขาได้รับข้อมูลเท็จ นั่นเป็นเหตุผลที่เราแนะนำให้คุณได้รับนัยสำคัญทางสถิติที่ 95% หรือสูงกว่า แต่ให้รันการทดสอบด้วยรอบการขาย 2-4 รอบด้วย Conversion 300+ และด้วยขนาดตัวอย่างที่ใหญ่เพียงพอ

หากคุณทำทั้งหมดนี้ คุณจะมั่นใจได้ว่าการทดสอบของคุณจะให้ผลลัพธ์ที่ถูกต้องและแม่นยำ

ฉันไม่สามารถเน้นได้มากพอว่าการปล่อยให้การทดสอบดำเนินไปนั้นสำคัญเพียงใด เพื่อให้คุณมีคุณสมบัติตรงตามเกณฑ์เหล่านี้

การเรียกการทดสอบเร็วเกินไปอาจทำให้คุณได้รับข้อมูลเท็จซึ่งอาจนำไปสู่:

• ไม่พบผู้ชนะที่เป็นไปได้เนื่องจากคุณมีข้อมูลไม่เพียงพอ
• ใช้แคมเปญที่มีประสิทธิภาพต่ำเพราะคุณคิดว่าเป็นผู้ชนะ แต่จริงๆ แล้วมีอัตรา Conversion ที่ต่ำกว่า
• หรือแย่กว่านั้น คุณจะได้รับความมั่นใจที่ผิดพลาดในผลลัพธ์เหล่านั้น แล้วใช้สิ่งที่คุณได้เรียนรู้เพื่อขยายไปยังส่วนอื่นๆ ของไซต์ของคุณ ซึ่งจะทำให้เกิดผลกระทบด้านลบเพิ่มขึ้น

ไซด์โน้ต:

คุณสามารถตั้งค่าเหล่านี้เป็นพารามิเตอร์ก่อนที่การทดสอบของคุณจะทำงานในส่วนสถิติและการตั้งค่าของการทดสอบของคุณในแอป Convert Experiences

จากนั้น คุณสามารถตั้งค่าระดับความเชื่อมั่นที่ต้องการ เวลารันขั้นต่ำ และจำนวนการแปลงที่ต้องการให้ได้ก่อนจึงจะเรียกการทดสอบได้

เมื่อคุณแน่ใจว่าข้อมูลของคุณถูกต้องแล้ว ก็ถึงเวลาวิเคราะห์...

ขั้นตอนที่ #2: ตรวจสอบการวัดไมโคร มาโคร และ Guardrail ของคุณ

คนส่วนใหญ่จะดูการทดสอบและนำผู้ชนะหรือผู้แพ้ตามมูลค่าที่เครื่องมือบอก

ปัญหาแน่นอนคือเครื่องมือนี้สามารถบอกคุณได้ว่าการทดสอบของคุณทำงานอย่างไรตามเกณฑ์ที่คุณตั้งไว้ ในฐานะผู้ทดสอบ CRO เรามักจะต้องการทำความเข้าใจ "อย่างไร" และ "ทำไม" ที่ทำให้ผลลัพธ์เหล่านี้เกิดขึ้นเพื่อให้เราสามารถเรียนรู้จากสิ่งเหล่านี้ได้

ตอนนี้เรากำลังจะทำการตรวจสอบสองสามอย่าง แต่ก่อนอื่น ฉันจะพูดถึงเรื่องที่สำคัญที่สุดสามข้อ นั่นคือที่มาของการติดตามผลไมโครและมาโคร

ให้ฉันอธิบาย:

• การติดตามแบบละเอียดหมายถึงการติดตามเป้าหมายที่คุณเพิ่มประสิทธิภาพการทดสอบของคุณ ซึ่งอาจมีจำนวนคลิก สมัครใช้งานมากขึ้น ฯลฯ
• การติดตามมาโครกำลังมองหาผลกระทบต่อตัวชี้วัด Northstar สำหรับธุรกิจของคุณ ซึ่งมักจะเป็นการขาย

ทำไมเรื่องนี้?

บางครั้ง การเพิ่มขึ้นของเหตุการณ์ขนาดเล็กในหน้าทดสอบของคุณจะไม่ส่งผลต่อมาโครในแบบที่คุณคิด

ตัวอย่าง

สมมติว่าคุณทดสอบ CTA ในหน้าการจับลูกค้าเป้าหมายและผู้แพ้จะได้รับโอกาสในการขายน้อยกว่าการควบคุม

เห็นได้ชัดว่าการทดสอบใดชนะใช่ไหม

แต่ในการตรวจสอบเพิ่มเติมในการวิเคราะห์ของคุณ คุณสังเกตเห็นว่าลีดที่ผ่านการทดสอบ 'แพ้' นั้น แท้จริงแล้วแปลงสูงกว่ามากในแบ็กเอนด์ และสร้าง ROI ที่ใหญ่ขึ้นมาก

ทำไมสิ่งนี้จะเกิดขึ้น?

อาจเป็นไปได้ว่าหน้าปัจจุบันของคุณดึงดูดผู้ชมที่กว้างขึ้นและแปลงโอกาสในการขายมากขึ้น แต่รูปแบบ 'แพ้' ใหม่ของคุณดึงดูดผู้ที่พร้อมจะซื้อในขณะนี้

ในตัวอย่าง แคมเปญที่แพ้จริง ๆ จะเป็นหน้าที่คุณต้องการใช้งานจริง ๆ เพราะมันแปลงได้ดีกว่ามากด้วยเมตริก Northstar ของคุณ

จำเป้าหมายสุดท้ายของคุณและมุ่งเน้นความพยายามของคุณในสิ่งที่ส่งผลกระทบมากที่สุด

ผลลัพธ์ระดับไมโครและมาโครไม่ใช่สิ่งที่คุณต้องค้นหาทั้งหมด

หากคุณยังไม่ได้ทำ ให้ลองเพิ่ม 'ตัวชี้วัด Guardrail' ลงในแคมเปญของคุณ

นี่คือตัวชี้วัดหลักที่คุณต้องการจับตาดูเมื่อทำการเปลี่ยนแปลงอื่นๆ เพื่อที่ว่าหากมันเริ่มลดลง คุณสามารถย้อนกลับหรือหยุดวิธีการทดสอบบางอย่างได้ เนื่องจากประสิทธิภาพของมันสำคัญเกินไป

ที่ Uber เราทำการทดลอง 100 ครั้งในเวลาใดก็ตาม เป้าหมายของการทดลองนี้คือการปรับปรุงผลิตภัณฑ์และประสบการณ์ของผู้ใช้อย่างต่อเนื่อง อย่างไรก็ตาม บางครั้งผู้ทดสอบอาจมีตัววัดหลักอยู่ในใจ และอาจไม่ได้ตระหนักถึงผลกระทบต่อตัวชี้วัดอื่นๆ สองสามตัวที่สำคัญต่อทีมและบริษัทโดยรวม และในขณะที่ทำการทดสอบ ตัวชี้วัดที่ไม่ได้ตรวจสอบเหล่านี้อาจถดถอย

เพื่อตรวจจับและลดสถานการณ์ดังกล่าว เราได้สร้างแพลตฟอร์มการตรวจสอบการทดลองของเรา เป้าหมายคือการระบุและตรวจสอบตัวชี้วัดรั้วบางตัวที่เราไม่ต้องการลดระดับลงระหว่างการทดสอบ เราใช้รูปแบบต่างๆ ของวิธีการ A/B ตามลำดับเพื่อตรวจสอบตัวชี้วัดรั้วเหล่านี้อย่างต่อเนื่องและตรวจหาการถดถอยระหว่างการรักษาและกลุ่มควบคุมของการทดสอบ หากตรวจพบการถดถอย เราจะส่งการแจ้งเตือนไปยังเจ้าของการทดสอบ

Suman Bhattacharya นักวิทยาศาสตร์ข้อมูลอาวุโส Uber

ตัวอย่าง

สมมติว่าคุณต้องการรวบรวมโอกาสในการขายมากขึ้นโดยใช้ป๊อปอัปแบบเต็มหน้าจอ

สำหรับบางไซต์ สิ่งเหล่านี้ใช้งานได้ดี แต่ไม่เสมอไป (นั่นคือเหตุผลที่เราทดสอบ!)

บางทีคุณอาจติดตั้งป๊อปอัปแบบเต็มหน้าจอและเริ่มได้รับโอกาสในการขายเพิ่มขึ้นในหน้าเว็บนั้น แต่อีเมลต้อนรับของคุณที่ส่งถึงสมาชิกใหม่เหล่านี้มีการตีกลับและไม่ส่ง

ปรากฎว่าผู้คนเลือกใช้อีเมลปลอมเพียงเพื่อให้ป๊อปอัปหยุดแสดง

คุณไม่ต้องการให้ลูกค้าเป้าหมายปลอมในรายชื่ออีเมลของคุณ เนื่องจากสามารถลดผลการส่งอีเมลของคุณไปยังสมาชิกจริงได้ คุณไม่ควรต้องการลดประสบการณ์ผู้ใช้ลงมากจนผู้ชมรู้สึกว่าจำเป็นต้องปลอมอีเมล

เนื่องจากการตลาดผ่านอีเมลเป็นส่วนสำคัญของกระบวนการขาย คุณจึงตัดสินใจตั้งค่าการแจ้งเตือนเพื่อแจ้งให้คุณทราบว่าอัตราการตีกลับของอีเมลสูงกว่าจุดที่ตั้งไว้ในขณะที่เรียกใช้การทดสอบ A/B ในหน้าการจับลูกค้าเป้าหมายของคุณ

นี่จะเป็นตัวชี้วัดรั้วของคุณ ในตัวอย่างนี้ คุณจะเห็นว่ามันใช้งานไม่ได้และคุณตัดสินใจที่จะใช้วิธีการดักจับลูกค้าเป้าหมายที่รบกวนน้อยลง

มันสมเหตุสมผลหรือไม่?

ตัวชี้วัด Guardrail ไม่ได้เป็นเพียงการดักจับลูกค้าเป้าหมายและอัตราการตีกลับเท่านั้น เป็นตัวชี้วัดหลักที่คุณไม่ต้องการเห็นการลดลงที่ส่งผลต่อประสบการณ์ของผู้ใช้

เพื่อป้องกันไม่ให้ประสบการณ์การใช้งานของผู้ใช้ลดลงในขณะที่ทำให้แน่ใจว่าคุณกำลังปรับปรุงตัวชี้วัดที่สำคัญด้วย ให้กำหนดตัวชี้วัดรั้วบางตัวที่หากลดลงตามเกณฑ์ที่กำหนด มันจะป้องกันไม่ให้คุณก้าวไปข้างหน้าด้วยการเปิดตัว " ชนะ” ตัวแปร นอกจากนี้ยังช่วยยุติการอภิปรายระหว่างการเพิ่มประสิทธิภาพ Conversion และ UX หรือหลักเกณฑ์ของแบรนด์

Alex Birkett, Omniscient Digital

การตัดสินใจเลือกเมตริกเหล่านั้นสำหรับธุรกิจของคุณขึ้นอยู่กับคุณ ใช้สิ่งเหล่านี้เพื่อดูว่าคุณมีผู้ชนะจริงหรือไม่ หรือหากคุณเพียงแค่เทรดในผลลัพธ์เดียว คุณก็จะขาดทุนในพื้นที่ที่สำคัญกว่า

หากคุณต้องการแรงบันดาลใจ โปรดดูรายการตัวชี้วัดทั่วไปของ Ben Labay ในการทดลองและการทดสอบ:

จากนั้นทำการเปลี่ยนแปลงเหล่านั้นตามนั้น

ตราบใดที่คุณมีแอป Convert Experiences ที่ตั้งค่าด้วยการวิเคราะห์และกลุ่มขั้นสูง คุณควรจะสามารถค้นหาข้อมูลนี้ได้ด้วยการมองไปรอบๆ อย่างรวดเร็ว ตรวจสอบผลกระทบของแต่ละรูปแบบที่มีต่อตัวชี้วัด Northstar ของคุณ เช่นเดียวกับ 'รั้วกั้น' ของคุณ เพื่อให้คุณไม่เพียงแค่เลือกผู้ชนะของเครื่องมือทดสอบเท่านั้น

เมื่อคุณครอบคลุมเมตริกหลักแล้ว มาดูผลลัพธ์ของคุณให้ลึกขึ้นอีกนิด...

ขั้นตอนที่ #3: ลงลึกและแบ่งกลุ่มผลลัพธ์ของคุณ

จำไว้ว่าเมื่อพูดถึงการทดสอบ ค่าเฉลี่ยเป็นเรื่องโกหก

ผลลัพธ์โดยเฉลี่ยสามารถให้ข้อมูลกว้างๆ แก่คุณโดยพิจารณาจากจุดข้อมูลหลายจุดรวมกันเท่านั้น ขึ้นอยู่กับคุณที่จะเข้าใจว่าทำไมผลลัพธ์นั้นจึงเกิดขึ้นแล้วมองให้ลึกขึ้นเพราะมันไม่ได้ดูเหมือนเสมอไป

เราได้เห็นสิ่งนี้แล้วกับผลลัพธ์มาโครที่ได้รับผลกระทบจากการเปลี่ยนแปลงการทดสอบย่อย แต่กลุ่มการวิเคราะห์ของคุณสามารถให้ข้อมูลเชิงลึกที่ลึกซึ้งยิ่งขึ้น

ตัวอย่าง

สมมติว่าคุณกำลังทำการทดสอบเพื่อเพิ่มโอกาสในการขาย เมื่อมองแวบแรก ตัวควบคุมและตัวแปรมีอัตราการแปลงของผู้เข้าชมที่เป็นสมาชิกเท่ากัน

อย่างไรก็ตาม จากการตรวจสอบอย่างละเอียดถี่ถ้วน คุณสังเกตเห็นว่ารูปแบบใหม่บนเดสก์ท็อปเกือบสองเท่าของอัตรา Conversion ของตัวควบคุม แต่สำหรับอุปกรณ์เคลื่อนที่จะเป็นศูนย์ ทำให้ค่าเฉลี่ยของหน้าดูเหมือนเหมือนกันกับตัวควบคุม

เห็นได้ชัดว่ามีบางอย่างผิดปกติ แต่ทำไมสิ่งนี้ถึงเกิดขึ้น?

อาจเป็นไปได้ว่าตัวแปรใหม่ไม่สามารถโหลดได้อย่างถูกต้องบนมือถือ หรือบางทีแบบฟอร์มอาจไม่ทำงานบนอุปกรณ์เฉพาะ ดังนั้นผู้ใช้มือถือที่ต้องการสมัครรับข้อมูลจึงไม่สามารถทำได้ และหากคุณแก้ไขปัญหานี้ อาจเป็นไปได้ว่าตัวแปร 'ผลลัพธ์ที่เท่ากัน' ของคุณมีประสิทธิภาพเหนือกว่าการควบคุมอย่างมาก

คุณจะพบสิ่งเหล่านี้ได้ก็ต่อเมื่อคุณทำงานเพื่อรับข้อมูลเพิ่มเติมเบื้องหลังผลลัพธ์ของคุณ

ในการทดสอบแต่ละครั้ง คุณจะได้ทดลองหาข้อมูลเชิงลึก ซึ่งจะแจ้งการแบ่งกลุ่มอย่างชาญฉลาด ซึ่งจะนำไปสู่ข้อมูลเชิงลึกใหม่ๆ ซึ่งในที่สุดจะนำคุณไปสู่กลยุทธ์ที่มีความหมายมากขึ้น

Shanelle Mullins, Shopify

การแบ่งกลุ่มไม่ใช่เพียงแค่การค้นหาข้อผิดพลาด แต่ยังรวมถึงการค้นหาข้อมูลเชิงลึกของผู้ใช้รายอื่นๆ ด้วย

บางทีหน้าและส่วนควบคุมทั้งหมดทำงานได้ดี แต่เมื่อคุณมองลึกลงไป คุณสังเกตเห็นว่าช่องทางการรับส่งข้อมูลบางช่องทางแปลงได้สูงกว่าการทดสอบใหม่นี้มากหรือไม่

บ่อยครั้งคุณจะมีส่วนที่มีประสิทธิภาพต่ำกว่าและบางส่วนมีประสิทธิภาพเหนือกว่า ข้อมูลนี้สามารถแจ้งแคมเปญการปรับเปลี่ยนในแบบของคุณหรือกลยุทธ์การเข้าชมแบบชำระเงินหรือแบบออร์แกนิกได้

บางทีการควบคุมอาจแปลงได้ดีที่สุดบนเดสก์ท็อป แต่รูปแบบใหม่อาจแปลงได้สูงกว่าบนมือถือ ตัวอย่างเช่น คุณต้องการเลือกเวอร์ชันที่แสดงโดยพิจารณาจากวิธีที่ผู้ดูเห็นไซต์ของคุณ

เมื่อใช้คุณสมบัติการปรับเปลี่ยนในแบบของคุณ คุณสามารถตั้งค่ารูปแบบที่ชนะบนมือถือนั้นเป็นการปรับเปลี่ยนในแบบของคุณสำหรับผู้ชมกลุ่มนั้น

จากนั้น คุณสามารถแสดงเวอร์ชันใหม่เมื่อผู้เยี่ยมชมมาจากอุปกรณ์เคลื่อนที่เครื่องใดก็ได้

แต่ถ้าพวกเขาข้ามจากเดสก์ท็อป พวกเขาจะเห็นเวอร์ชันเดสก์ท็อปแทน

มีวิธีการปรับเปลี่ยนในแบบของคุณมากมายที่คุณสามารถใช้ได้ แต่เมื่อคุณได้รับข้อมูลเชิงลึกจากแคมเปญของคุณแล้ว

กุญแจสำคัญในการวิเคราะห์กลุ่มคือการตรวจสอบผลลัพธ์ของคุณเสมอเพื่อเรียนรู้ว่าเหตุใดจึงเกิดขึ้น

ดูที่:

• ใหม่ Vs ผู้ชมที่กลับมา รูปแบบหนึ่งทำให้ผู้คนกลับมาบ่อยขึ้นหรือไม่ มีคนเปลี่ยนสมาชิกผู้ชมที่เยือกเย็น / ใหม่มากขึ้นหรือไม่?
• แหล่งที่มาของการเข้าชม ช่องหนึ่งทำได้ดีกว่าช่องอื่นหรือไม่? คุณช่วยโฟกัสที่นี่ให้มากกว่านี้ได้ไหม
• การดูเพจ โดยเฉพาะอย่างยิ่งถ้าหน้าทดสอบของคุณพยายามเพิ่มปริมาณการเข้าชมหน้าการขายของคุณ การไม่คลิกในเวอร์ชันเดียวอาจหมายความว่าคุณมีปุ่มที่ใช้งานไม่ได้หรือปัญหา CTA
• อัตราตีกลับ. ซึ่งอาจบ่งบอกถึงลิงก์ที่เสีย/โหลดช้า/ประสบการณ์ UX ที่ไม่ดี หรือแม้แต่กำหนดเป้าหมายผู้ชมที่ไม่ถูกต้อง
• ระบบปฏิบัติการ,
• มือถือกับเดสก์ท็อป
• อุปกรณ์ที่ใช้

ข้อจำกัดความรับผิดชอบเล็กน้อย:

ในการรับข้อมูลสะท้อนที่ถูกต้องของแต่ละช่องเมื่อแบ่งกลุ่มเช่นนี้ คุณต้องมีข้อมูลจำนวนมาก หลักการทั่วไปที่ดีคือการทดสอบด้วยปริมาณ Conversion ประมาณ 10 เท่าของจำนวน Conversion ตามปกติที่คุณอาจเรียกใช้ (หรือ 300 Conversion ต่อแชนเนล ไม่ใช่แค่ต่อหน้าตัวแปร)

คุณอาจกำลังคิดว่า “ไม่มีทางที่เราจะได้ทราฟฟิกมากพอที่จะทำการทดสอบแบบนี้ ” หรือถ้าคุณทำ อาจต้องใช้เวลาเป็นเดือนกว่าจะเกิดขึ้น

แม้ว่าจะเป็นเช่นนั้นก็ตาม อย่าเพิ่งมองข้ามการวิเคราะห์กลุ่มของคุณไป

ทำไม

แม้ว่าคุณอาจมี Conversion ไม่เพียงพอในแต่ละกลุ่มที่จะสรุปโดยใช้ข้อมูล แต่ ก็สามารถให้ข้อมูลเชิงลึกที่ชัดเจนได้หากคุณเริ่มพบปัญหา เช่น การดูหน้าเว็บโดยไม่มีการคลิก หรืออัตราตีกลับในทันที

สิ่งเหล่านี้ล้วนบ่งบอกถึงการทดสอบที่ผิดพลาดและช่วยให้คุณพบผู้ชนะที่อาจพลาด ไปข้างหน้าและมองหาการลดลงและปัญหาที่สำคัญ ทุกอย่างทำงานในแต่ละแพลตฟอร์มและอุปกรณ์หรือไม่?

ตามหลักการแล้ว คุณได้ตรวจสอบทั้งหมดก่อนการทดสอบ แต่สิ่งต่างๆ สามารถทำลายการทดสอบกลางคันได้ ดังนั้นให้ตรวจสอบอีกครั้ง

โดยส่วนตัวแล้วฉันมี WordPress อัปเดตตัวเองโดยอัตโนมัติในช่วงกลางแคมเปญ ซึ่งทำให้รูปแบบการจับลูกค้าเป้าหมายหยุดทำงานกะทันหันระหว่างการทดสอบ คอยตรวจสอบอยู่เสมอ และหากคุณพบเห็นบางสิ่งที่ทำลายความถูกต้องของผลลัพธ์ของคุณ ให้หยุดการทดสอบ แก้ไขปัญหาแล้วเรียกใช้อีกครั้ง

และถ้าทุกอย่างทำงานได้ดี?

มาดูกันว่าทำไมคนถึงไม่ดำเนินการของคุณ...

ขั้นตอนที่ #4: ตรวจสอบพฤติกรรมผู้ใช้สำหรับข้อมูลเชิงลึกเพิ่มเติม

ตามหลักการแล้ว คุณควรมีการติดตามเชิงคุณภาพที่ด้านบนของเครื่องมือทดสอบของคุณ

ทำไม

เนื่องจากสิ่งนี้มักจะให้ข้อมูลเชิงลึกแก่คุณเกี่ยวกับตัวแปรของคุณที่คุณอาจพลาดด้วยการทดสอบปกติ

จดจำ:

เครื่องมือ ทดสอบเชิงปริมาณ เช่น Convert จะบอกคุณว่าเกิดอะไรขึ้น เราสามารถให้ข้อมูลตัวเลขดิบแก่คุณระหว่างจำนวนคนที่คลิกหรือไม่คลิก และช่วยคุณตั้งค่าการทดสอบ A/B แต่ละรายการ

แต่การเพิ่ม เครื่องมือเชิงคุณภาพ จะช่วยให้คุณเข้าใจว่าเหตุใดจึงมีการดำเนินการเกิดขึ้น ช่วยให้คุณเห็นว่าผู้ใช้กำลังทำอะไรและรับข้อมูลเชิงลึกเพิ่มเติมเกี่ยวกับการกระทำของพวกเขา

(การทดสอบมักจะล้มเหลวเนื่องจากการดำเนินการที่ไม่ดีหรือความเข้าใจของผู้ชม และเราสามารถแก้ไขได้โดยการดูว่ามีอะไรผิดพลาดเท่านั้น)

เพื่อให้ได้ข้อมูลเชิงลึก ให้ตั้งค่าการผสานรวม Hotjar – Convert และลองใช้กลยุทธ์ด้านล่าง

ติดตามว่าผู้ใช้อ่านมากแค่ไหน

เพิ่มเครื่องมือแผนที่ความหนาแน่นในหน้าของคุณเพื่อดูว่าผู้ชมเข้าถึง CTA ของคุณได้หรือไม่ ถ้าไม่ คุณสามารถทำการทดสอบอีกครั้งและย้าย CTA ขึ้นไปบนหน้า

ติดตามว่าผู้ใช้คลิกอะไร แต่ไม่ควร

พวกเขาคลิกที่ CTA เชิงกลยุทธ์หรือเป็นข้อความสุ่มที่พวกเขาคิดว่าอาจเป็นลิงก์แทน

ดูการบันทึกหน้าจอเพื่อดูว่าพวกเขาไม่คลิกอะไร แต่ควร

พวกเขาไม่ได้คลิกปุ่ม CTA ของคุณแม้ว่าจะเลื่อนไปไกลพอที่จะเห็นหรือไม่ พวกเขากำลังคลิก แต่มันไม่เปิด? พวกเขาเห็นแต่ไม่รู้ว่าเป็นปุ่มที่ต้องคลิกหรือไม่?

คุณสามารถดูทั้งหมดนี้และเพิ่มโน้ตเมื่อสิ่งเหล่านี้ปรากฏขึ้น

ไม่ใช่แค่เครื่องมือสร้างแผนที่ความร้อนและติดตามการคลิกเท่านั้นที่สามารถช่วยได้

ทำแบบสำรวจไปยังผู้ชมของคุณ

แบบสำรวจช่วยให้คุณไม่เพียงแค่ได้รับความคิดเห็นเกี่ยวกับสิ่งที่ทำให้ผู้ชมของคุณดำเนินการ (หรือหยุดพวกเขา) แต่ยังให้ภาษาที่ใช้อธิบายสิ่งนี้แก่คุณ

ในการเขียนคำโฆษณา เราเรียกสิ่งนี้ว่า 'ภาษาสะท้อน' และมีประสิทธิภาพอย่างเหลือเชื่อในการเชื่อมต่อกับผู้ใช้ รู้สึกเหมือนคุณไม่เพียงรับรู้ปัญหาของพวกเขาแต่เข้าใจปัญหานั้นดีกว่าใครๆ ตามที่คุณอธิบายด้วยคำเดียวกับที่พวกเขาใช้

สองวิธีที่ยอดเยี่ยมในการใช้แบบสำรวจควบคู่ไปกับเครื่องมือทดสอบ A/B ของคุณคือ:

• ออกจากการสำรวจเจตนา ระบุผู้ที่ไม่ได้ใช้เวอร์ชันใหม่ เพื่อที่คุณจะได้ทราบว่าสิ่งใดที่ขัดขวางพวกเขา
  
  มีเหตุผลที่คุณไม่ได้เลือก/ซื้อวันนี้หรือไม่?

• โพลหลังการซื้อ/การแปลง ค้นหาผู้ที่ใช้ตัวแปรนี้และดูว่ามีจุดติดขัดและปัจจัยกระตุ้นหรือไม่
  
  อะไรทำให้คุณตัดสินใจลงมือทำวันนี้” มีอะไรที่ทำให้คุณไม่สามารถตัดสินใจได้หรือเปล่า?

คุณยังสามารถเรียกใช้แบบสำรวจที่คล้ายกันบนตัวควบคุมได้หากต้องการข้อมูลเพิ่มเติม ทั้งหมดนี้จะช่วยให้คุณเข้าใจวิธีการทดสอบเพื่อให้คุณสามารถทำซ้ำและปรับปรุงได้

ที่พูดถึง…

ขั้นตอนที่ #5: เรียนรู้จากการแพ้การทดสอบ

สิ่งสำคัญที่สุดในการทำข้อสอบที่แพ้คือการเรียนรู้บางสิ่งจากผลลัพธ์ ไม่มีการทดสอบที่ไม่ดีตราบเท่าที่คุณสามารถใช้ข้อมูลเชิงลึกเพื่อปรับปรุงหรือทำความเข้าใจผู้ชมของคุณได้ดีขึ้น

การทดสอบ A/B เป็นกระบวนการเชิงโต้ตอบ เราล้มเหลวในขณะที่ได้รับความเข้าใจ คุณมักจะเรียนรู้เพิ่มเติมจากการทำแบบทดสอบที่แพ้ให้กับผู้ชนะมากกว่าแค่การได้ผู้ชนะทันที

จนถึงตอนนี้เราได้ทำ 3 สิ่ง:

• ตรวจสอบให้แน่ใจว่าข้อมูลการทดสอบถูกต้อง
• ดูผลลัพธ์ดิบสำหรับปัญหาใด ๆ และ
• พยายามทำความเข้าใจผู้ใช้ของเราและการกระทำของพวกเขา

ขั้นตอนนี้เป็นวิธีฮิวริสติกมากกว่าเพื่อช่วยให้คุณเข้าใจปัญหาทั่วไปที่อาจทำให้เกิดความล้มเหลว (สมมติว่าข้อมูลการทดสอบถูกต้องและปุ่ม CTA ทำงานทั้งหมด) และวิเคราะห์แนวทางและสมมติฐานของคุณ

สมมติฐานของคุณผิดหรือการทดสอบของคุณไม่ตรงแนวหรือไม่?

นี่เป็นปัญหาทั่วไป โดยเฉพาะในหมู่ผู้ทดสอบใหม่

คุณทำการทดสอบโดยใช้เมตริกหรือแนวคิด 'woo woo' ที่ไม่สอดคล้องกับ KPI จริงหรือไม่

ตัวอย่าง

สมมติว่าคุณต้องการยอดขายเพิ่มขึ้นจากหน้าเว็บ แต่ด้วยเหตุผลบางอย่าง คุณตัดสินใจทดสอบการปรับแต่งปุ่มแชร์บนโซเชียลแทน (แม้ว่าคุณจะไม่มีข้อมูลที่จะแสดงว่าการแบ่งปันทางสังคมส่งผลต่อการขายของคุณมากขึ้น)

ฟังดูบ้าแต่คุณจะแปลกใจที่เหตุการณ์เช่นนี้เกิดขึ้นบ่อยเพียงใด

ถามตัวเอง:

เป้าหมายการทดสอบของฉันสอดคล้องกับ KPI หลักและในลักษณะที่อาจส่งผลกระทบหรือไม่

หากไม่เป็นเช่นนั้นก็ไม่เป็นไร แต่ ตรวจสอบให้แน่ใจว่าการทดสอบครั้งต่อไปนั้นสอดคล้องกันมากขึ้น

เราล้มเหลว เราเรียนรู้ เราพยายามอีกครั้ง

ในการทดสอบครั้งต่อไป อย่าลืมเน้นที่ตัววัด KPI หลักและวิธีที่คุณจะส่งผลต่อมันได้ และให้สถานการณ์ที่ชนะ/ไม่ผ่านที่ชัดเจนแก่การทดสอบด้วย

เราต้องการให้หน้านี้ได้รับโอกาสในการขายมากขึ้น ดังนั้นเราจึงทดสอบสิ่งที่ทำให้พวกเขาเลือกใช้ ซึ่งหมายความว่าเราต้องการสร้าง CTA ที่ดีขึ้น

หรือ

เราต้องการให้หน้านี้ได้รับโอกาสในการขายมากขึ้น และเราพบว่าผู้ใช้ไม่ได้เลื่อนดูจนถึง CTA ของเรา ดังนั้นเราจึงกำลังทดสอบการเพิ่มหน้าดังกล่าว

การทดสอบให้สอดคล้องกับเป้าหมายจะช่วยให้คุณได้เส้นทางที่ถูกต้อง แต่ถึงอย่างนั้นก็อาจยังไม่เห็น Conversion เพิ่มขึ้น...

สมมติฐานถูกต้องและการทดสอบอยู่ในแนวเดียวกัน แต่ก็ยังไม่มีการเปลี่ยนแปลงในผลลัพธ์

สิ่งนี้สามารถเกิดขึ้นได้ 90% และนั่นเป็นสาเหตุที่การทดสอบส่วนใหญ่ล้มเหลว

ตัวอย่าง #1

ข้อมูลผู้ใช้ของคุณแสดงว่าผู้ใช้ไม่เชื่อถือไซต์ของคุณเพียงพอ คุณได้เพิ่มปัจจัยความน่าเชื่อถือ เช่น หลักฐานทางสังคม คำรับรองจากผู้ใช้ ใบรับรอง SSL แต่ Conversion ยังไม่เพิ่มขึ้น

หมายความว่าคุณควรหยุดและลองการทดสอบหรือมุมใหม่หรือไม่?

ไม่เลย…

สมมติฐานเริ่มต้นของคุณอาจถูกต้อง แต่การทดสอบของคุณเพียงแค่ต้องได้รับการปรับปรุงหรือดำเนินการให้ดีขึ้นก่อนที่คุณจะเห็นผล

คุณอาจลองเพิ่มปัจจัยด้านความเชื่อถือหรือขยับไปรอบๆ ปัจจัยที่คุณมีเพื่อให้โดดเด่นยิ่งขึ้น อาจเปลี่ยนคำในภาษาที่ใช้ในพวกเขาเพื่อช่วยให้พวกเขาเชื่อมต่อกับผู้ชมของคุณได้ดียิ่งขึ้น

สิ่งเหล่านี้ยังคงสอดคล้องกับสมมติฐานเริ่มต้น คุณเพียงแค่ต้องทดสอบเวอร์ชันอื่นๆ เพื่อหาผู้ชนะ

ตัวอย่าง #2

CXL ดำเนินการทดสอบ 6 แคมเปญบนหน้า Landing Page นี้เพื่อให้ได้รับโอกาสในการขายมากขึ้นสำหรับการรับรองคนขับรถบรรทุก

พวกเขาเพิ่มอัตราการเลือกใช้จาก 12.1% เป็น 79.3% ทั้งหมดจากการปรับปรุงหน้าต่อไป

(แคมเปญทดสอบเกือบทั้งหมดได้ลองหลายครั้งโดยใช้สมมติฐานเดียวกันก่อนที่จะเห็นการเพิ่มขึ้น จากนั้นจึงดำเนินการต่อไปและทดสอบเพื่อปรับปรุงองค์ประกอบอื่นๆ ในหน้า)

การทดสอบ A/B เป็นกระบวนการที่ทำซ้ำได้ คุณต้องทำการทดสอบและปรับแต่งต่อไปเพื่อค้นหาการปรับปรุง และแม้แต่สิ่งที่ดีที่สุดในธุรกิจก็อาจพบผู้ชนะเพียง 10% ของเวลาเท่านั้น

ถ้าสมมุติว่าคุณเป็นองค์กร และการทดสอบทุกครั้งของคุณประสบความสำเร็จ นั่นจะเป็นสัญญาณไฟแดงในความคิดของฉัน

มันฟังดูขัดกับสัญชาตญาณแต่มันแสดงให้ฉันเห็นว่าคุณกำลังทดสอบสิ่งที่ชัดเจนเท่านั้นและมีความเสี่ยงไม่เพียงพอที่จะขยับเข็ม จริงๆ

Deborah O'Malley เดาการทดสอบ

การเรียนรู้จากสิ่งที่ดีที่สุดเป็นเรื่องดีเสมอ และเรารู้สึกตื่นเต้นที่จะแบ่งปันบทสัมภาษณ์ที่เราทำกับเดโบราห์ เราได้พูดถึงสาเหตุที่การทดสอบไม่เคยล้มเหลว และความสำคัญของการมีความคิดที่ถูกต้องในการทดสอบ เพื่อช่วยให้คุณเริ่มต้นได้ถูกต้อง ฟังบทสัมภาษณ์ของเราที่นี่

นั่นหมายความว่าคุณอาจต้องทำการทดสอบ 9 ครั้งก่อนที่คุณจะเห็นการเพิ่มขึ้นในเชิงบวก ดังนั้นจงยึดมั่นในการทดสอบนั้น

การทดสอบของคุณควรเป็นไปตามระบบลำดับความสำคัญที่มีผลกระทบมากที่สุดไปต่ำสุด การทำการทดสอบและการเปลี่ยนแปลงเพิ่มเติมเพื่อปรับปรุงแคมเปญปัจจุบันของคุณ คุณจะเห็นผลกระทบมากกว่าการข้ามไปยังการทดสอบที่มีความสำคัญต่ำกว่า เนื่องจากคุณจะไม่เห็นผลลัพธ์ในทันทีกับการทดสอบปัจจุบันของคุณ

และหากยังคงไม่เห็นลิฟต์ที่มีการเปลี่ยนแปลงเล็กน้อย ให้ลองใช้การทดสอบเชิงนวัตกรรมที่คุณใช้การออกแบบที่แตกต่างออกไป

อาจเป็นวงสวิงสำหรับรั้ว แต่บางครั้งอาจเป็นการเปลี่ยนแปลงที่คุณต้องทำ

จะเกิดอะไรขึ้นหากหลังจากการทดสอบและปรับแต่งทั้งหมดแล้ว ตัวแปรยังคงเป็นผู้แพ้

ดังนั้น ข้อมูลจึงถูกต้อง และคุณได้ลองปรับแต่งทุก ๆ อย่างและแม้กระทั่งทำการเปลี่ยนแปลงเชิงนวัตกรรมครั้งใหญ่กับทั้งหน้า แต่ก็ยังไม่ได้ผลดีไปกว่าการควบคุม

อาจดูเหมือนไม่ แต่นี่เป็นสิ่งที่ดีจริงๆ

ทำไม

เพราะคุณได้พบสิ่งที่ใช้ไม่ได้กับผู้ชมของคุณ!

เว็บไซต์จำนวนมากทำการเปลี่ยนแปลงครั้งใหญ่โดยไม่ต้องทดสอบอะไรเลยและเปิดตัวโดยไม่คำนึงถึง

ถามตัวเองดังนี้

หากตัวแปรของหน้านั้นแปลงได้แย่กว่าการควบคุมปัจจุบันของคุณเพียง 1% คุณประหยัดเงินได้เท่าไหร่โดยการทดสอบก่อนและไม่เปิดตัว

Back in 2014, Marks and Spencer decided to update their entire website without testing it with a sample audience first.

ผลลัพธ์?

Their online sales dropped by 8.1% in 3 months, causing a loss of $55 million.

This is why testing and finding losers is a really good thing because even losing tests can save you money.

What if the Test and the Variant Have Identical Results?

You checked everything, it all works, you've segmented down and gone into the nitty-gritty, but there's just no discernible difference between your current page and your new variant.

You've even tried complete page overhauls but through some fluke of math, your new page still converts at the same rate as the old one.

In this case, it's simply the dealer's choice.

Does the new variation more actively represent your brand and style?

If so, choose whichever you wish to use. The results are still the same but you are happier with the design.

Note: This should be the only time that you do this. Branding should not sacrifice results; it should aid them, as seen in the previous example.

Step #6: Double Down on Winners and Continue to Improve Them

So far we've been covering losing campaigns, but what if you got a winner right out of the gate?

First off, congratulations!

Second, let's make sure you actually have a winner. Oftentimes, things can happen to affect your results and give you a false positive (ie we think it's a winner but we implement it and nothing happens.)

Go ahead and run the test again with just your control and the winning variant and prove the lift in results first before you make any changes to your site.

Then if it really is a winner? Don't stop there, continue to improve it!

Iterative improvements of a new winning campaign are the easiest new test to run. With each new improvement, you'll see more ongoing ROI. You can even take what you learned with your winning test and then roll it out across similar pages on your site for further tests and see if it also adds lift there too.

Step #7: Create a Learning Repository for Future Tests

This step is relevant to both winning and losing tests.

Not only will it help you with future tests, but it will also help your QA team diagnose any broken campaigns faster, as they can see where issues have appeared in the past.

Better still?

It will help you document your results for clients or your boss, while also standardizing your reporting processes and ramping up your test velocity.

นี่คือวิธีการทำงาน:

You're going to create a master archive or learning repository of all past tests. A place to document your previous wins and losses that you can use to both reference for new campaigns and share with stakeholders or customers.

You can use a folder on your computer for this, but, if you really want to get organized, there's a great tool called GrowthHackers experiments.

Its main goal is to help marketing growth teams communicate and organize campaigns, but you can easily use it to manage your CRO testing and learnings. It will even pull in results from your test tool and allows you to archive each test. (You can simply tag and then add them to the repository.)

Whatever you decide to use, here are some best practices:

Organizing Your Tests

You probably have your own naming conventions but if you're just starting, I recommend naming each test like so:

“Goal – Campaign – Test Date”

ตัวอย่างเช่น:

“CTR lift test – XYZ client – March 1st-14th 2021”

This way, you can organize tests by goals to get inspiration for future tests, search through and find them for client campaigns, or look back on your experiments month by month.

Then, if you wanted to run a CTR test later on, you can swipe through them and see what ideas worked or failed in the past.

How Do We Create Documents for the Learning Repository?

Feel free to add screenshots of your testing tools graphs, confidence, and power level or any data that you think is relevant.

However, I highly recommend creating a slide with the following information:

• The hypothesis and how you came up with the idea (any survey data or information).
• A headline with the test goal.
• A screenshot of the control, the winning variant, and any other failed versions/tests that got some lift but not as much. (Highlight the key elements so you can spot what changed without having to look too hard.)
• Add the micro goal and its percentage lift. (Perhaps 3.2% CTR)
• Then add the macro goal and its percentage lift. (AVG order value up 2.2%, etc.)

นี่คือตัวอย่าง:

You can use these slides to present the test information to anyone else who needs them, while also having a simple file to understand the test at a moment's notice.

Pretty handy, right?

Now that you've analyzed your test and recorded the results, let's walk you through how to present this to your boss in a way that even if the test failed, they're still happy to see your findings…

How To Present This Information To Your Boss (Even When Your Campaigns Failed)

Don't worry if you feel anxious about this, you're not alone. In fact, according to CXL's state of the industry report, presenting test information or getting buy-in from your stakeholders is consistently one of the biggest struggles CROs face.

We've covered the best ways to communicate this information before, but I want to give you a few extra tips on how to get your test results across (even if your test failed).

Tip #1: Get Everyone On Board With CRO and Its Realities as Soon as Possible

Ideally, you covered this when you first broached the topic of running A/B tests but it never hurts to recap.

Make sure they understand that A/B testing is a continual learning process that's more about understanding your audience and improving their experience. The lift in ROI is simply a byproduct of taking action on each test and implementing what you learn, regardless of if it wins or fails.

Winners give lift and losers give insight into where to improve.

No test is ever wasted but the majority of them do fail. You're looking at roughly 1/10 winners for most people's tests and agencies are around 1/4.

Be clear on how many tests fail and the need to run more tests to find winners.

Tip #2: Present the Information as Simply as You Can

Not everyone can read graphs easily. Even if they can, it still means that it takes effort to understand the context of what they are seeing.

The more effort it takes to understand something, the more frustrating it can be and can cause you to lose the other person's attention.

(Top tip for landing pages btw ^^)

Break it down nice and simple by using the slides from your learning repository.

It should already include:

• สิ่งที่คุณเรียนรู้ล่วงหน้าและวิธีที่คุณมาสู่แนวคิดการทดสอบ
• สิ่งที่คุณทดสอบ แสดงส่วนควบคุม รูปแบบต่างๆ และผู้ชนะ
• วิธีการทำงานในระดับไมโครและมาโคร รวมผลลัพธ์

Finally, add any insights you drew from tests to decide on your next important action to take. (Improve execution, test new variations, new hypothesis, etc.)

Providing insight into what happened is HUGE.

เจ้านายของคุณใส่ใจเกี่ยวกับสิ่งที่คุณได้เรียนรู้มากกว่าผลลัพธ์ เนื่องจากสิ่งนั้นสามารถนำไปปฏิบัติได้ การแบ่งปันและให้แนวคิดเกี่ยวกับสิ่งที่ต้องทำต่อไปจะช่วยให้พวกเขาเห็นว่าคุณเป็นผู้ควบคุมสถานการณ์และช่วยให้พวกเขารู้สึกมั่นใจเกี่ยวกับการทดสอบเพิ่มเติม

เคล็ดลับ #3: ทำให้พวกเขาดูดี

ก้าวไปอีกขั้นและเพิ่มข้อมูลที่พวกเขาสนใจ:

• หากการทดสอบล้มเหลว ให้ข้อมูลเชิงลึกว่าทำไมคุณถึงคิดว่าการทดสอบล้มเหลว เพิ่ม ROI ที่บันทึกไว้โดยไม่เปิดตัวการทดสอบที่ล้มเหลว และจะส่งผลต่อ MRR และ ARR อย่างไร
• หากชนะ ให้ข้อมูลเชิงลึกเกี่ยวกับ ROI ที่ทำขึ้นและผลกระทบที่มีต่อรายได้ต่อปี / MRR และ ARR ควบคู่ไปกับโอกาสใดๆ ที่จะขยายขอบเขตให้มากขึ้นและได้รับ ROI ที่เพิ่มขึ้น (เช่น คุณอาจทดสอบหน้าการดักจับลูกค้าเป้าหมายและเห็นการเพิ่มขึ้นเมื่อปรับแต่งเลย์เอาต์ คุณอาจมีหน้าที่คล้ายกันอีก 30 หน้าที่คุณสามารถใช้การทดสอบนี้กับที่อาจเห็นการเพิ่มขึ้นได้)
• หากการทดสอบไม่ราบรื่น ให้แบ่งปันข้อมูลเชิงลึกเกี่ยวกับสิ่งที่คุณคิดว่าเกิดขึ้นและสิ่งที่ต้องทำต่อไป (การดำเนินการที่ดีขึ้น ตัวแปรใหม่ การเปลี่ยนแปลงทั้งหมด หรือการทดสอบที่มีการจัดตำแหน่งที่ดีขึ้น เป็นต้น)

แน่นอนว่าผลกระทบ ARR + MRR หรือ YOY เป็นค่าประมาณคร่าวๆ แต่แสดงผลกระทบที่อาจเกิดขึ้นและมูลค่าของการทดสอบของคุณ นั่นคือสิ่งที่เจ้านายของคุณใส่ใจและสิ่งที่พวกเขาอาจจะนึกถึงเมื่อเห็นผลลัพธ์ของคุณ

เชื่อฉันเถอะ เมื่อคุณนำเสนอข้อมูลของคุณแบบนี้ คุณจะสังเกตเห็นว่ามันง่ายขึ้นมาก คุณเปลี่ยนจากกำหนดกรอบการทดสอบเป็น 'เงินที่เสียไป' หรือเสียเวลาไปแทนที่จะมุ่งเน้นไปที่การออมที่อาจเกิดขึ้น รายได้จริง และการเติบโตต่อไปที่อาจเกิดขึ้น

ไม่เพียงเท่านั้น คุณยังสามารถพิสูจน์คุณค่าในการทดสอบเพิ่มเติม พัฒนา CRO ของคุณ และเพิ่มความเร็วการทดสอบของคุณ

บทสรุป

ที่นั่นคุณมีมัน

ถึงตอนนี้ คุณควรรู้สึกมั่นใจมากขึ้นเกี่ยวกับวิธีการวิเคราะห์และเรียนรู้จากผลการทดสอบ A/B ของคุณ และสามารถนำเสนอข้อมูลนี้ต่อหัวหน้าของคุณหรือใครก็ได้ โดยไม่คำนึงถึงวิธีการทดสอบของคุณ

เพียงทำตามคำแนะนำนี้เพื่อปรับปรุงการวิเคราะห์หลังการทดสอบของการทดสอบ A/B ใหม่แต่ละครั้งที่คุณเรียกใช้!