ทั้งหมดเกี่ยวกับการทดสอบ A/A: ทำไมและเมื่อใดที่คุณควรเรียกใช้การทดสอบ A/A

การทดสอบ A/A ช่วยให้คุณสามารถทดสอบหน้าเว็บที่เหมือนกันสองหน้าและมีประโยชน์อย่างยิ่งเมื่อตั้งค่าเครื่องมือทดสอบ A/B ใหม่

การทดสอบ A/A สามารถใช้เพื่อ

• ประเมินความถูกต้องของแพลตฟอร์มการทดสอบ A/B
• ตรวจสอบว่าแพลตฟอร์มการทดสอบ A/B ของคุณผสานรวมกับการวิเคราะห์ภายในของคุณอย่างสมบูรณ์หรือไม่
• ระบุปัญหาทางเทคนิคที่เป็นไปได้ด้วยเครื่องมือทดสอบ A/B ของคุณ
• ระบุอัตรา Conversion พื้นฐานสำหรับหน้าหรือช่องทาง
• กำหนดขนาดตัวอย่างที่เหมาะสมเพื่อใช้สำหรับการทดสอบ A/B ของคุณและ
• เปรียบเทียบประสิทธิภาพของเพจและช่องทางของคุณ

Convert มีทั้งความสามารถในการทดสอบ A/A และ A/B เพื่อให้แน่ใจว่าคุณมีทุกสิ่งที่จำเป็นในการออกแบบและพัฒนาเว็บไซต์ที่มีการแปลงสูง

อ่านต่อเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับความสำคัญของการทดสอบ A/A และวิธีตั้งค่าประสบการณ์ครั้งแรกของคุณ!

บางทีสิ่งนี้อาจเคยเกิดขึ้นกับคุณมาก่อน ...

• คุณเรียกใช้การทดสอบ A/B เพื่อดูว่าปุ่ม CTA และหัวข้อใหม่จะเพิ่ม Conversion หรือไม่
• ในเดือนถัดไป คุณส่งปริมาณการเข้าชมเท่ากันไปยังหน้า Landing Page ของตัวควบคุมและหน้า Landing Page ของรูปแบบต่างๆ
• ซอฟต์แวร์ของคุณประกาศว่ารูปแบบของคุณเป็นผู้ชนะ (ด้วยความมั่นใจ 99%) ดังนั้นคุณจึงหยุด
• จากนั้นคุณเปิดตัวการออกแบบที่ "ชนะ" แต่หลังจากหลายรอบธุรกิจ คุณจะเห็นว่าอัตราการแปลงที่เพิ่มขึ้น 50% มีผลเพียงเล็กน้อยต่อรายได้สุทธิของคุณ

คำอธิบายที่เป็นไปได้มากที่สุดคือผลการทดสอบที่เป็นเท็จ โชคดีที่มีหลายวิธีในการจัดการกับการทดสอบที่ไม่ถูกต้อง

สิ่งที่คุณอาจเคยได้ยินคือการทดสอบ A/A

การทดสอบ A/A คืออะไร?

ก่อนที่เราจะดำดิ่งสู่การทดสอบ A/A มาพูดถึงการทดสอบ A/B กันก่อน เพื่อให้เราสามารถชี้ให้เห็นความแตกต่างได้

ในประสบการณ์ A/B ทั่วไป การรับส่งข้อมูลจะถูกแยกระหว่างรูปแบบทางเลือกตั้งแต่สองรูปแบบขึ้นไป

รูปแบบหนึ่งมักจะถูกกำหนดให้เป็น "ตัวควบคุม" หรือ "ดั้งเดิม" ประสบการณ์รูปแบบอื่นๆ ทั้งหมดจะถูกนำไปเปรียบเทียบกับกลุ่มควบคุม เพื่อพิจารณาว่ารูปแบบใดทำให้เกิดการยกระดับสูงสุดในเมตริกที่กำหนด

ในทางกลับกัน การทดสอบ A/A กำหนดให้มีการจัดสรรการรับส่งข้อมูลให้กับรูปแบบที่เหมือนกันสองรูปแบบ ซึ่งมักจะใช้การแบ่งแบบ 50/50

ในการทดสอบ A/B ปกติ เป้าหมายคือการหาอัตรา Conversion ที่สูงขึ้น ในขณะที่ในการทดสอบ A/A มักจะมีวัตถุประสงค์เพื่อตรวจสอบว่ารูปแบบต่างๆ มีการเพิ่มแบบเดียวกันหรือไม่

ในการทดสอบ A/A การรับส่งข้อมูลจะถูกสุ่มแยก โดยทั้งสองกลุ่มจะแสดงหน้าเดียวกัน

จากนั้น ระบบจะบันทึกอัตราการแปลงที่รายงาน อัตราการคลิกผ่าน และสถิติที่เกี่ยวข้องสำหรับแต่ละกลุ่มโดยหวังว่าจะได้เรียนรู้อะไรบางอย่าง

การทดสอบ A/A = การทดสอบหน้าเหมือนกัน 2 หน้า

ตอนนี้ มาดูตัวอย่างบางส่วนว่าสามารถใช้ประสบการณ์ A/A ได้ที่ไหน เพื่อพิจารณาว่าสิ่งเหล่านี้จะเป็นประโยชน์กับคุณหรือไม่

ทำไมต้องเรียกใช้การทดสอบ A/A

การทดสอบ A/A อาจมีประสิทธิภาพเป็นพิเศษในทุกขั้นตอนของการออกแบบเว็บและกระบวนการพัฒนา เช่น:

• เมื่อคุณติดตั้งเครื่องมือทดสอบ A/B ใหม่เสร็จแล้ว
• เมื่อการตั้งค่าเครื่องมือทดสอบ A/B ปัจจุบันของคุณได้รับการอัปเกรดหรือเปลี่ยนแปลง
• เมื่อคุณกำลังสร้างเว็บไซต์หรือแอพใหม่
• เมื่อคุณสังเกตเห็นความคลาดเคลื่อนระหว่างรายงานข้อมูลของการทดสอบ A/B กับเครื่องมือวิเคราะห์อื่นๆ ที่คุณใช้

มาเจาะลึกลงไปในแต่ละกรณีการใช้งานเหล่านี้กัน

ตรวจสอบความแม่นยำของแพลตฟอร์มการทดสอบ A/B

ประสบการณ์ A/A สามารถเปิดตัวได้โดยบริษัทที่ต้องการซื้อแพลตฟอร์มการทดสอบ A/B หรือโดยบริษัทที่ต้องการลองใช้ซอฟต์แวร์ทดสอบใหม่ (เพื่อยืนยันว่าได้รับการตั้งค่าอย่างถูกต้อง)

ในประสบการณ์ A/A เราเปรียบเทียบหน้าเว็บเดียวกันสองเวอร์ชันที่เหมือนกันโดยสมบูรณ์ โดยมีเป้าหมายเพื่อให้มีมูลค่า Conversion ใกล้เคียงกัน

ผลลัพธ์ที่คาดหวังจะไม่สามารถสรุปได้หากไม่มีความแตกต่างระหว่างกลุ่มควบคุมและการเปลี่ยนแปลง

ถึงกระนั้นก็ตาม บางครั้ง "ผู้ชนะ" ก็ถูกประกาศด้วยสำเนาที่เหมือนกันสองชุด

เมื่อสิ่งนี้เกิดขึ้น การประเมินแพลตฟอร์มการทดสอบ A/B เป็นสิ่งสำคัญ เนื่องจากเครื่องมืออาจได้รับการกำหนดค่าผิดหรืออาจไม่ได้ผล

ในขั้นตอนต่อไป คุณควร:

1. ตรวจสอบว่าคุณติดตั้งโค้ดติดตาม A/B อย่างถูกต้อง
2. ตรวจสอบพื้นที่เว็บไซต์ของคุณ
3. ตรวจสอบผู้ชมของคุณ
4. ตรวจสอบเป้าหมายของคุณ
5. ติดต่อทีมสนับสนุนการทดสอบ A/B เพื่อดูว่าเป็นสิ่งที่สามารถแก้ไขได้หรือไม่ก่อนที่จะละทิ้งแพลตฟอร์มของคุณ

หวังว่าปัญหาจะเป็นหนึ่งในข้างต้น หากคุณไม่ทราบปัญหา อาจหมายความว่าการทดสอบ A/A นั้นเป็นข้อสรุปและแพลตฟอร์มการทดสอบ A/B ของคุณไม่ถูกต้อง

กำหนดขอบเขตของการผสานรวมกับ Analytics ภายในของคุณ

เมื่อตรวจสอบความถูกต้องของแพลตฟอร์มการทดสอบ A/B คุณสามารถใช้การทดสอบ A/A เพื่อประเมินว่าแพลตฟอร์มนั้นผสานรวมกับเครื่องมือวิเคราะห์ของคุณอย่างสมบูรณ์หรือไม่

ไม่ว่าคุณจะใช้ Google Analytics, Heap Analytics, Adobe Analytics, Plausible, Matomo หรืออื่นๆ คุณสามารถเปรียบเทียบผลการทดสอบ A/A กับเครื่องมือวิเคราะห์ภายในของคุณเพื่อพิจารณาว่าการผสานรวมทำงานตามที่คาดไว้หรือไม่

ตัวอย่างเช่น ด้านล่าง GA ได้ระบุผู้เข้าชม 620 คนในต้นฉบับ และ 592 คนใน Variation (หน้าเหมือนกันกับต้นฉบับ)

สำหรับช่วงวันที่เดียวกัน Convert ได้เปิดเผยผู้เยี่ยมชม 972 รายในต้นฉบับและ 980 รายใน Variation (หน้าเหมือนกันเป็นต้นฉบับ)

นี่อาจเป็นสัญญาณว่าการผสานรวมระหว่างสองแพลตฟอร์มไม่ทำงานตามที่คาดไว้

ระบุปัญหาทางเทคนิคที่เป็นไปได้

คุณยังสามารถใช้การทดสอบ A/A เพื่อระบุปัญหาทางเทคนิคที่เป็นไปได้

ซอฟต์แวร์ทดสอบ A/B ส่วนใหญ่ใช้วิธีการที่ค่อนข้างแตกต่างและอาจส่งผลให้เกิดการเปลี่ยนแปลงที่สำคัญ ขึ้นอยู่กับว่าโปรแกรมถูกผลักออกไปไกลแค่ไหน

สิ่งนี้อาจดูเหมือนเป็นความผิดปกติ แต่ก็สามารถแนะนำปัญหาพื้นฐานที่ร้ายแรงกว่าด้วยสิ่งใดสิ่งหนึ่งต่อไปนี้:

• สูตรคณิตศาสตร์และสถิติ
• อัลกอริธึมการสุ่มตัวอย่าง
• คุกกี้เบราว์เซอร์

คุณสามารถใช้ประสบการณ์ A/A เพื่อเปิดเผยปัญหาข้างต้นได้

ในกรณีด้านล่าง นักวิทยาศาสตร์ด้านข้อมูล Wish สังเกตเห็นข้อกังวลของ SRM ในการทดสอบ A/A หลังจากตรวจสอบอย่างละเอียดถี่ถ้วนแล้ว ก็พบว่า SRM เกิดจากการสุ่มไม่สุ่มทั้งหมด

เทคนิคการสุ่มเป็นสิ่งสำคัญสำหรับผลการทดสอบที่เชื่อถือได้

การใช้ตัวอย่างแบบสุ่มเป็นสมมติฐานที่สำคัญของการทดสอบทางสถิติที่ใช้ในการทดสอบ A/B

การสุ่มสร้างสมดุลระหว่างปัจจัยผู้ใช้ที่สังเกตและไม่ได้สังเกตระหว่างที่เก็บข้อมูลการทดสอบ มันสร้างความสัมพันธ์เชิงสาเหตุระหว่างคุณลักษณะของผลิตภัณฑ์ที่กำลังทดสอบและการเปลี่ยนแปลงใดๆ ในผลการทดลองใช้

ระบุอัตรา Conversion พื้นฐานสำหรับหน้าหรือช่องทางใดๆ

หากคุณต้องการปรับปรุงตัวเลขใดๆ คุณต้องเข้าใจก่อนว่าเส้นฐานของมันเป็นอย่างไร นี่อาจเป็นความเร็ว น้ำหนัก หรือเวลาวิ่งของคุณ

ในทำนองเดียวกัน ก่อนที่คุณจะทำการทดสอบ A/B ใดๆ คุณต้องกำหนดอัตราการแปลงที่คุณจะเปรียบเทียบผลลัพธ์ก่อน นี่คือ อัตราการแปลงพื้นฐาน ของคุณ

คุณอาจเคยได้ยินมาว่ารายได้ที่เพิ่มขึ้นมาจากประสบการณ์เดียว แต่สิ่งนี้อาจทำให้เข้าใจผิดได้ ประสบการณ์เดียวจะไม่บอกคุณว่าการแปลงเว็บไซต์ของคุณดีขึ้นหรือไม่

สิ่งสำคัญคือต้องทราบอัตรา Conversion พื้นฐานของคุณ เนื่องจากหากคุณไม่สามารถหาจำนวนที่เพิ่มขึ้นของทุกประสบการณ์ คุณจะต้องเปรียบเทียบ Conversion ที่คาดหวังโดยรวมและ Conversion ที่สำเร็จเป็นประจำ

ด้วยโชคบางอย่าง ทุกประสบการณ์ที่ถือว่าเป็น "ชัยชนะ" จะช่วยให้ Conversion ของคุณเกินความคาดหมาย

และหากคุณทำเช่นนี้บ่อยพอ การแปลงของคุณก็จะดีขึ้นเท่านั้น!

การทดสอบ A/A คือสิ่งที่จะช่วยให้คุณบรรลุเป้าหมายนั้น

สมมติว่าคุณกำลังทำการทดสอบ A/A ในหน้า Landing Page หน้าใดหน้าหนึ่งของคุณ โดยที่ Original A และ Variation B จะให้ผลลัพธ์ที่เกือบเหมือนกัน: 2.14% และ 2.13%

เป็นผลให้สามารถกำหนดอัตราการแปลงพื้นฐานที่ 2.13-2.14%

เมื่อคำนึงถึงสิ่งนี้ คุณสามารถทำการทดสอบ A/B ในอนาคต โดยมีเป้าหมายที่จะเกินเกณฑ์มาตรฐานนี้

ผลลัพธ์ไม่มีนัยสำคัญทางสถิติหากคุณเรียกใช้การทดสอบ A/B บนหน้า Landing Page เวอร์ชันใหม่และได้รับอัตรา Conversion 2.15%

ค้นหาขนาดตัวอย่างที่จำเป็น

ก่อนใช้งานประสบการณ์ A/B ให้ตรวจสอบขนาดตัวอย่างของคุณอีกครั้ง เช่นเดียวกับที่คุณทำก่อนออกเดินทาง

คุณจะไม่สังเกตเห็นผลประสบการณ์หากมีตัวอย่างไม่เพียงพอ (ผู้ใช้) ในทางกลับกัน หากคุณมีกลุ่มตัวอย่างมากเกินไป คุณอาจเสี่ยงที่จะทำให้ความคืบหน้าของทีมช้าลง โดยทำให้ผู้คนได้รับประสบการณ์ที่ไม่ดีอย่างต่อเนื่อง

ตามหลักการแล้ว คุณไม่ควรเริ่มประสบการณ์โดยไม่ได้กำหนดจำนวนตัวอย่างที่คุณจะรวบรวมก่อน

เพื่อให้เข้าใจว่าเหตุใด ให้พิจารณาสิ่งต่อไปนี้:

สมมติว่าคุณมีเหรียญและสมมติฐานของคุณคือมีโอกาส 50/50 ที่จะออกหัวหรือก้อย เพื่อพิสูจน์สิ่งนี้ คุณต้องโยนมันทิ้งเป็นร้อยครั้ง

แต่สมมติว่าคุณมีสิบหางในการโยนสิบครั้งแรก และตัดสินใจหยุดการทดสอบที่นั่น

การปฏิเสธสมมติฐานว่าง (ว่าเหรียญนั้นยุติธรรม) อาจดูมีนัยสำคัญทางสถิติ แต่คุณยุติการทดสอบก่อนเวลาอันควร คุณไม่รู้ว่าการทดสอบควรใช้เวลานานเท่าใดในการเริ่มต้น

หากคุณไม่ประเมินขนาดกลุ่มตัวอย่าง คุณอาจไม่สามารถระบุได้ว่าจะใช้ประสบการณ์นานเท่าใด

แล้วเราจะเข้าใกล้สิ่งนี้ได้อย่างไร?

การทดสอบ A/A สามารถช่วยคุณในการหาขนาดตัวอย่างที่คุณต้องการจากผู้เยี่ยมชมเว็บไซต์ของคุณ

บางทีผู้เข้าชมในเช้าวันจันทร์ของคุณอาจแตกต่างไปจากผู้เข้าชมในคืนวันเสาร์อย่างสิ้นเชิงทางสถิติ และบางทีนักช็อปในช่วงวันหยุดของคุณอาจแตกต่างทางสถิติจากผู้ที่ซื้อของในช่วงที่ไม่ใช่วันหยุด

ลูกค้าเดสก์ท็อปของคุณอาจแตกต่างจากลูกค้ามือถือของคุณในเชิงสถิติ และลูกค้าของคุณที่มาผ่านโฆษณาที่ได้รับการสนับสนุนจะไม่เหมือนกับลูกค้าที่มาจากการแนะนำแบบปากต่อปาก

เมื่อดูผลลัพธ์ของคุณ ภายในหมวดหมู่ต่างๆ เช่น อุปกรณ์และเบราว์เซอร์ คุณจะทึ่งกับแนวโน้มที่คุณจะค้นพบด้วยขนาดตัวอย่างที่ถูกต้อง

แน่นอน หากขนาดตัวอย่างของคุณเล็กเกินไป ผลลัพธ์อาจไม่น่าเชื่อถือ คุณอาจพลาดบางส่วนซึ่งอาจส่งผลต่อผลลัพธ์ประสบการณ์ของคุณ

ขนาดตัวอย่างที่สูงขึ้นจะเพิ่มโอกาสในการรวมกลุ่มทั้งหมดที่มีอิทธิพลต่อการทดสอบ

เมื่อใช้การทดสอบ A/A คุณจะสามารถระบุได้ว่าขนาดตัวอย่างใดทำให้เกิดความเท่าเทียมกันในอุดมคติระหว่างรูปแบบที่เหมือนกันของคุณ

กล่าวโดยย่อ การทดสอบ A/A ช่วยให้คุณกำหนดขนาดตัวอย่างที่เหมาะสม ซึ่งสามารถนำไปใช้สำหรับการทดสอบ A/B ในอนาคตได้

เกณฑ์มาตรฐานประสิทธิภาพของเพจและช่องทางของคุณ

มีผู้เข้าชมเข้ามาที่หน้าแรก หน้าตะกร้าสินค้า หน้าผลิตภัณฑ์ และหน้าอื่นๆ ของคุณกี่คน?

คุณไม่ต้องกังวลว่าคุณจะพบผู้ชนะหรือไม่เมื่อทำเช่นนี้ แต่คุณกำลังค้นหารูปแบบที่ใหญ่กว่าสำหรับหน้าบางหน้า

ประสบการณ์เหล่านี้สามารถช่วยคุณตอบคำถามต่างๆ เช่น:

• อัตราการแปลงมาโครของหน้าแรกคืออะไร?
• รายละเอียดของอัตราการแปลงตามกลุ่มผู้เข้าชมคืออะไร?
• รายละเอียดของอัตราการแปลงตามกลุ่มอุปกรณ์คืออะไร?

ประสบการณ์ A/A ให้ข้อมูลพื้นฐานแก่คุณ ซึ่งคุณสามารถเปรียบเทียบประสบการณ์ A/B ใหม่ๆ สำหรับส่วนใดๆ ของเว็บไซต์ของคุณได้

อาจมีคนโต้แย้งว่าคุณสามารถรับข้อมูลเดียวกันผ่านการวิเคราะห์ของเว็บไซต์ได้

แต่นี่เป็นทั้งเรื่องจริงและไม่จริง

เครื่องมือทดสอบ A/B ใช้ในการประกาศผู้ชนะเป็นหลัก (ในขณะที่ส่งข้อมูลทดสอบไปยัง Google Analytics หรือทำการคำนวณอื่นๆ) ดังนั้น คุณจึงยังคงต้องการสังเกตตัวชี้วัดของเว็บไซต์เมื่อทำงาน

การสร้างประสบการณ์ A/A

ประสบการณ์ A/A เป็นเครื่องมือที่สำคัญมากสำหรับการเพิ่มประสิทธิภาพอัตราการแปลง

อย่างไรก็ตาม ความท้าทายของประสบการณ์ A/A คือการตัดสินใจว่าจะใช้หน้าใดเมื่อดำเนินการประสบการณ์

ตรวจสอบให้แน่ใจว่าหน้าที่คุณเลือกสำหรับหน้าประสบการณ์ A/A ของคุณมีคุณสมบัติ สอง ประการเหล่านี้:

• ปริมาณการจราจรที่สูง ยิ่งมีคนเข้าชมหน้าเว็บมากเท่าใด คุณก็จะสังเกตเห็นความสอดคล้องระหว่างรูปแบบต่างๆ ได้เร็วขึ้นเท่านั้น
• ผู้เข้าชมสามารถซื้อหรือลงทะเบียนได้ คุณจะต้องปรับแต่งโซลูชันการทดสอบ A/B ของคุณอย่างละเอียดจนถึงเส้นชัย

ข้อกำหนดเหล่านี้เป็นเหตุผลที่เรามักจะทำการทดสอบ A/A บนหน้าแรกของเว็บไซต์

ในส่วนถัดไป ฉันจะอธิบายรายละเอียดเพิ่มเติมเกี่ยวกับวิธีสร้างแคมเปญทดสอบ A/A แต่โดยสรุป ต่อไปนี้คือวิธีตั้งค่าการทดสอบ A/A บนหน้าแรกของเว็บไซต์:

1. สร้างหน้าเดียวกันสองเวอร์ชันที่เหมือนกัน: ตัวควบคุมและรูปแบบ หลังจากที่คุณสร้างรูปแบบต่างๆ เสร็จแล้ว ให้เลือกผู้ชมที่มีขนาดตัวอย่างเหมือนกัน
2. กำหนด KPI ของคุณ KPI เป็นตัวชี้วัดที่วัดประสิทธิภาพเมื่อเวลาผ่านไป ตัวอย่างเช่น KPI ของคุณอาจเป็นจำนวนผู้เข้าชมที่คลิกคำกระตุ้นการตัดสินใจ
3. แบ่งผู้ชมของคุณอย่างสม่ำเสมอและสุ่มโดยใช้เครื่องมือทดสอบของคุณ ส่งกลุ่มหนึ่งไปยังตัวควบคุม และอีกกลุ่มหนึ่งไปยังรูปแบบต่างๆ เรียกใช้ประสบการณ์จนกว่าทั้งตัวควบคุมและรูปแบบจะมีการเข้าชมตามจำนวนที่กำหนด
4. ติดตาม KPI ของทั้งสองกลุ่ม เนื่องจากทั้งสองกลุ่มมีเนื้อหาเหมือนกัน จึงควรดำเนินการในลักษณะเดียวกัน
5. เชื่อมต่อเครื่องมือทดสอบ A/B กับซอฟต์แวร์การวิเคราะห์ของคุณ วิธีนี้จะช่วยให้คุณตรวจสอบได้อีกครั้งว่าข้อมูลของคุณได้รับการรวบรวมอย่างถูกต้องในโปรแกรมวิเคราะห์ของคุณ

จะตีความผลการทดสอบ A/A ได้อย่างไร

เราคาดหวังผลลัพธ์ที่สรุปไม่ได้จากประสบการณ์ A/A

แม้ว่าฤดูกาลจะไม่เปลี่ยนแปลงผลการทดสอบ A/A ก็ตาม จุดมุ่งหมายอย่างหนึ่งคือการตรวจหาผลลัพธ์ที่ไม่คาดคิด ด้วยเหตุผลนี้ เราจึงแนะนำให้ทำการทดสอบอย่างน้อยหนึ่งสัปดาห์ก่อนตรวจสอบผลลัพธ์

เมื่อสิ้นสุดหนึ่งสัปดาห์ คุณควรสังเกตพฤติกรรมต่อไปนี้เมื่อคุณตรวจสอบผลการทดสอบ A/A ของคุณ:

• เมื่อเวลาผ่านไป นัยสำคัญทางสถิติของคุณจะตกลงตามค่าที่กำหนด 10% ของเวลาทั้งหมด นัยสำคัญทางสถิติจะตกลงเหนือ 90%
• เมื่อมีการเก็บรวบรวมข้อมูลมากขึ้น ช่วงความเชื่อมั่นสำหรับการทดสอบของคุณจะลดลง โดยตัดค่าที่ไม่ใช่ศูนย์ออก
• ต้นฉบับและรูปแบบอาจทำงานแตกต่างกันในจุดต่างๆ ระหว่างผลการทดสอบ แต่ไม่ควรระบุว่าเป็นผู้ชนะที่มีนัยสำคัญทางสถิติอย่างเป็นทางการ

เนื่องจากไม่ควรมีความแตกต่างระหว่างรูปแบบต่างๆ คุณควรคาดหวังว่าจะเห็นความแตกต่างเพียงเล็กน้อยและไม่มีผลลัพธ์ที่มีนัยสำคัญทางสถิติ บางที คุณจะเห็นบางสิ่งในแนวนี้:

หมายความว่าอย่างไรหากคุณได้รับรูปแบบที่ไม่เหมือนกัน?

หากมีความแตกต่างกันมากระหว่างสองรูปแบบที่เหมือนกันในประสบการณ์ A/A อาจหมายความว่า ซอฟต์แวร์ทดสอบ A/B ของคุณไม่ได้ใช้งานอย่างถูกต้อง หรือเครื่องมือทดสอบไม่มีประสิทธิภาพ

อย่างไรก็ตาม ยังอาจเป็นไปได้ว่า ประสบการณ์นั้นไม่ได้ดำเนินการอย่างเหมาะสม หรือ ผลลัพธ์นั้นเกิดจากความแปรปรวนแบบสุ่ม ข้อผิดพลาดในการสุ่มตัวอย่างประเภทนี้เกิดขึ้นตามธรรมชาติเมื่อมีการวัดตัวอย่าง ซึ่งต่างจากการวัดผู้เข้าชมทั้งหมด

ตัวอย่างเช่น ระดับความเชื่อมั่น 95% บ่งชี้ว่าผลลัพธ์ที่ชนะจะเกิดขึ้นหนึ่งรายการจากทุกๆ 20 รายการ เนื่องจากข้อผิดพลาดในการสุ่มตัวอย่างมากกว่าความแตกต่างที่มีความหมายในประสิทธิภาพระหว่างสองรูปแบบ

อีกสาเหตุหนึ่งที่ประสบการณ์ A/A ที่ดำเนินการอย่างเหมาะสมอาจไม่ตรวจสอบตัวตนของรูปแบบต่างๆ เป็นเพราะความ แตกต่างของกลุ่มเป้าหมาย

ตัวอย่างเช่น สมมติว่าเราใช้ประสบการณ์ A/A กับกลุ่มผู้หญิง โดยมีอัตรา Conversion ที่หลากหลายสำหรับผู้หญิงที่มีอายุต่างกัน

แม้ว่าเราจะทำการทดสอบอย่างถูกต้อง โดยใช้เครื่องมือทดสอบ A/B ที่แม่นยำ ก็อาจยังคงเปิดเผยความแตกต่างที่สำคัญระหว่างรูปแบบที่เหมือนกันสองรูปแบบ ทำไม ในตัวอย่างนี้ ผู้เยี่ยมชม 50% อาจมีอายุระหว่าง 20 ถึง 90 ปี ในขณะที่อีก 50% อาจอยู่ในช่วง 20 ถึง 50 แทนที่จะเป็นข้อผิดพลาดของแพลตฟอร์ม ผลลัพธ์ที่ไม่สอดคล้องกันเป็นเพียงสัญญาณว่าผู้ชมทั้งสองเป็น แตกต่างกันมาก

สุดท้าย ข้อผิดพลาดทั่วไปอีกประการหนึ่ง เมื่อเรียกใช้การทดสอบใดๆ รวมถึงการทดสอบ A/A คือการ ตรวจสอบผลลัพธ์ต่อไปและ สิ้นสุดการทดสอบก่อนเวลาอันควร เมื่อตรวจพบนัยสำคัญทางสถิติ

แนวทางปฏิบัติในการประกาศรูปแบบที่ชนะเร็วเกินไปนี้เรียกว่า "การแอบดูข้อมูล" และอาจนำไปสู่ผลลัพธ์ที่ไม่ถูกต้อง

การดูข้อมูลในการทดสอบ A/A อาจทำให้นักวิเคราะห์เห็นการเพิ่มขึ้นในรูปแบบเดียว โดยที่จริงแล้วทั้งสองรูปแบบเหมือนกัน

เพื่อหลีกเลี่ยงปัญหานี้ คุณควรตัดสินใจเลือกขนาดตัวอย่างที่คุณต้องการใช้ล่วงหน้า ตัดสินใจโดยอิงจาก:

• ขนาดเอฟเฟกต์ขั้นต่ำ: การเพิ่มขั้นต่ำด้านล่างซึ่งเอฟเฟกต์ไม่มีความหมายต่อองค์กรของคุณ
• พลัง
• ระดับความสำคัญที่คุณคิดว่ายอมรับได้

จุดประสงค์ของการทดสอบ A/A คือเพื่อหลีกเลี่ยงไม่ให้เห็นผลที่มีนัยสำคัญทางสถิติเมื่อได้ขนาดกลุ่มตัวอย่างแล้ว

อะไรคือความท้าทายของการทดสอบ A/A?

นอกเหนือจากประโยชน์มากมายที่การทดสอบ A/A สามารถนำมาสู่กลยุทธ์การทดสอบของคุณ สิ่งเหล่านี้เป็นข้อเสียสำคัญสองประการของการทดสอบ A/A:

1. การตั้งค่าทดลอง A/A มีองค์ประกอบของความคาดเดาไม่ได้
2. จำเป็นต้องมีขนาดตัวอย่างสูง

มาดูความท้าทายเหล่านี้แยกกัน

สุ่ม

ตามที่ระบุไว้ก่อนหน้านี้ เหตุผลหลักประการหนึ่งในการดำเนินการทดสอบ A/A คือการประเมินความถูกต้องของเครื่องมือทดสอบ

แต่ สมมติว่าคุณค้นพบความแตกต่างระหว่าง Conversion การควบคุมและการเปลี่ยนแปลงรูปแบบต่างๆ

ปัญหาเกี่ยวกับการทดสอบ A/A คือมีองค์ประกอบของการสุ่มเข้ามาเกี่ยวข้องอยู่เสมอ

ในกรณีอื่น ๆ นัยสำคัญทางสถิติเกิดขึ้นได้โดยบังเอิญเท่านั้น ซึ่งหมายความว่าความแตกต่างของอัตราการแปลงระหว่างสองรูปแบบมีความน่าจะเป็นมากกว่าแบบสัมบูรณ์

ขนาดตัวอย่างใหญ่

เมื่อเปรียบเทียบความผันแปรที่คล้ายคลึงกัน ต้องใช้ขนาดตัวอย่างขนาดใหญ่เพื่อพิจารณาว่าตัวอย่างหนึ่งดีกว่าตัวอย่างที่เหมือนกันหรือไม่

ต้องใช้เวลาเป็นจำนวนมาก

การทดสอบ A/A ที่รันอยู่อาจกินเวลาการทดสอบ 'จริง'

เคล็ดลับของโปรแกรมการปรับให้เหมาะสมในวงกว้างคือการลดต้นทุนทรัพยากรต่ออัตราส่วนโอกาส เพื่อให้แน่ใจว่าความเร็วของปริมาณงานทดสอบและสิ่งที่คุณเรียนรู้ โดยการกำจัดความสิ้นเปลือง ความโง่เขลา และความไร้ประสิทธิภาพออกจากกระบวนการโดยสิ้นเชิง

การทำการทดสอบบนไซต์ของคุณนั้นเหมือนกับการใช้บริการสายการบินที่วุ่นวายในสนามบินนานาชาติหลัก คุณมีช่องสำหรับขึ้นเครื่องที่จำกัด และคุณต้องแน่ใจว่าคุณใช้ช่องเหล่านี้อย่างมีประสิทธิภาพ

เคร็ก ซัลลิแวน จาก CXL

เปลี่ยนประสบการณ์และการทดสอบ A/A

การทดสอบ A/A มักเกิดขึ้นในคำขอการสนับสนุน "ขั้นสูง" มากกว่า

คำแนะนำต่อไปนี้จากตัวแทนสนับสนุน Convert ขึ้นอยู่กับกรณีที่ได้รับการแก้ไขแล้วหลายสิบกรณี:

1. ในการทดสอบแพลตฟอร์มการทดสอบ A/B ของคุณ ให้ดำเนินการประสบการณ์ A/A ก่อน หากความแตกต่างระหว่างทั้งสองมีนัยสำคัญทางสถิติในระดับที่เลือก แพลตฟอร์มของคุณอาจใช้งานไม่ได้
2. ทำการทดสอบ A/A/B หรือ A/A/B/B (เพิ่มเติมเกี่ยวกับเรื่องนี้ด้านล่าง) และละทิ้งสิ่งที่ค้นพบหากรูปแบบ A สองรูปแบบหรือรูปแบบ B สองรูปแบบสร้างความแตกต่างที่มีนัยสำคัญทางสถิติในระดับที่เลือก
3. ตั้งค่าการทดสอบ A/A จำนวนมาก หากการทดสอบมากกว่าที่คาดไว้แสดงให้เห็นความแตกต่างที่มีนัยสำคัญทางสถิติ แสดงว่าแพลตฟอร์มของคุณใช้งานไม่ได้

จะตั้งค่าการทดสอบ A/A ภายใน Convert Experiences ได้อย่างไร

ตอนนี้ มาดูวิธีตั้งค่าการทดสอบ A/A ประเภทต่างๆ (ใช่ เป็นพหูพจน์) โดยใช้ Convert Experiences

ประสบการณ์ A/A ที่บริสุทธิ์

การตั้งค่า A/A ทั่วไปที่สุดคือการแบ่ง 50/50 ระหว่างสองหน้าที่เหมือนกัน

เป้าหมายคือการตรวจสอบการกำหนดค่าประสบการณ์โดยตรวจสอบให้แน่ใจว่ารูปแบบต่างๆ มีประสิทธิภาพใกล้เคียงกัน

คุณกำลังตรวจสอบสิ่งเดียวกันเพื่อตรวจสอบว่าข้อมูลมีสัญญาณรบกวนมากกว่าข้อมูลที่เป็นประโยชน์หรือไม่

ในการตั้งค่าประสบการณ์ A/A ง่ายๆ นี้ ให้คลิกที่เมนูประสบการณ์ จากนั้นคลิกที่ปุ่ม "ประสบการณ์ใหม่" ที่ด้านขวาบน

กรอกรายละเอียดของ “Experience Creation Wizard” และเลือกประเภทประสบการณ์ “A/A Experience”

ตอนนี้ ประสบการณ์ A/A ของคุณควรถูกสร้างขึ้น จะเหมือนกับการทดสอบประเภทอื่นๆ ในแพลตฟอร์ม นอกจากจะไม่มีตัวเลือกในการ "แก้ไขรูปแบบต่างๆ"

เปิดใช้งานประสบการณ์โดยเปลี่ยนสถานะ:

ประสบการณ์ A/A/B หรือ A/A/B/B ที่ปรับเทียบแล้ว

แนวคิดเบื้องหลังการทดสอบ A/A/B หรือ A/A/B/B ที่สอบเทียบแล้วนี้ก็คือ การแปรผัน A หรือ B ที่จำลองแบบมานั้นเป็นตัววัดความแม่นยำของการทดสอบ A/B

หากความแตกต่างระหว่าง A และ A หรือ B และ B มีนัยสำคัญทางสถิติ จะถือว่าการทดสอบไม่ถูกต้องและผลการทดสอบจะถูกยกเลิก

ในการตั้งค่าการทดสอบดังกล่าว คุณจะต้องเริ่มต้นประสบการณ์ A/B แทนที่จะเป็น A/A

คลิกที่ปุ่ม "ประสบการณ์ใหม่" ที่ด้านขวาของหน้าจอ เพื่อเริ่มสร้างประสบการณ์ใหม่

เมื่อคุณคลิกปุ่มนั้น คุณจะเห็นเมนูป๊อปอัปนี้ เลือกตัวเลือก A/B:

จากนั้นป้อน URL ของคุณในช่องที่สอง

คุณจะถูกนำไปที่ Visual Editor ที่แสดง URL ที่คุณเลือกและแถบเครื่องมือที่ด้านบน:

ในส่วนรูปแบบหน้าเว็บที่ด้านบนซ้าย คุณจะสังเกตเห็นว่า "รูปแบบ 1" ถูกเลือกไว้โดยค่าเริ่มต้น

ซึ่งหมายความว่าการเปลี่ยนแปลงใดๆ ที่เราทำกับ URL เวอร์ชันนี้จะไม่ส่งผลต่อ URL เดิม

ซึ่งจะส่งผลให้มีการทดสอบ A/B แบบคลาสสิก โดยที่เวอร์ชัน "A" เป็นหน้าต้นฉบับ และเวอร์ชัน "B" คือรูปแบบที่ 1

สำหรับ A/A/B หรือ A/A/B/B คุณจะต้องเพิ่มรูปแบบอื่น A และรูปแบบ B อื่นที่เหมือนกันกับรูปแบบ A และรูปแบบ B ตามลำดับ

ควรมีลักษณะดังนี้:

คลิกปุ่ม "บันทึกและดำเนินการต่อ" เท่านี้ก็เรียบร้อย!

เรียกใช้ประสบการณ์ A/A มากมาย

เราได้ครอบคลุมเรื่องนี้แล้ว แต่หากคุณทำการทดสอบ A/A ต่อเนื่อง 1,000 ครั้งกับผู้ชมจำนวนมาก ปฏิบัติตามข้อกำหนดทั้งหมดและบรรลุผลลัพธ์ที่มีนัยสำคัญทางสถิติบ่อยกว่าที่คาดการณ์ไว้มาก อาจเป็นไปได้ว่าเฟรมเวิร์กการทดสอบ A/B ของคุณอาจใช้งานไม่ได้

อาจเป็นไปได้ว่ากลุ่มตัวอย่างไม่ได้รับการสุ่มตัวอย่างอย่างเหมาะสม หรือบางที ทั้งสองรูปแบบอาจไม่แยกจากกัน

นี่คือสิ่งที่อาจดูเหมือน:

ฉันสามารถเรียกใช้ประสบการณ์ A/A ในเวลาเดียวกันกับประสบการณ์ A/B ได้หรือไม่

มีโอกาสที่คุณจะต้องเรียกใช้การทดสอบ A/A พร้อมกันกับการทดสอบ A/B บนเว็บไซต์เดียวกัน

ในกรณีนี้ มีความเป็นไปได้สองสามอย่าง:

1. คุณจะไม่ต้องกังวลกับการทดสอบที่ขัดแย้งกันหากคุณเรียกใช้พร้อมกัน
2. คุณสามารถทำการทดสอบพร้อมกันได้ แต่กับผู้ชมที่แตกต่างกัน
3. คุณสามารถทำการทดสอบในลำดับที่ถูกต้อง (ทำการทดสอบที่ 1 (การทดสอบ A/A) ให้เสร็จสิ้นก่อนที่จะไปยังการทดสอบที่ 2 (การทดสอบ A/B))

ตัวเลือก 3 นั้นปลอดภัยที่สุด แต่จะจำกัดความสามารถของประสบการณ์ของคุณอย่างมาก

เป็นไปได้ทั้งหมดที่จะเรียกใช้ประสบการณ์หลายรายการในหน้าเดียวกันหรือชุดของหน้าพร้อมกัน

แต่พึงระลึกไว้เสมอว่าการฝากข้อมูลในการทดสอบหนึ่งอาจมีผลกระทบต่อข้อมูลจากการทดสอบอื่นที่เกิดขึ้นพร้อมกัน

ต่อไปนี้คือสองเทคนิคการแปลงที่สำคัญที่สุดที่จะใช้เมื่อรันการทดสอบแบบขนาน:

1. จัดสรรการรับส่งข้อมูล 50% ให้กับการทดสอบ A/A ในขณะที่อนุญาตให้อีก 50% ของการรับส่งข้อมูลเข้าสู่ประสบการณ์ A/B อื่นๆ ที่ทำงานอยู่
2. ยกเว้นผู้เยี่ยมชม A/A จากการทดสอบ A/B อื่นๆ

กระบวนการทดสอบก่อนการทดสอบ QA: ทางเลือกที่น่าสนใจสำหรับการทดสอบ A/A

เมื่อตัดสินใจว่าจะทำการทดสอบ A/A หรือไม่ คำตอบจะแตกต่างกันไปขึ้นอยู่กับว่าคุณถามใคร ไม่ต้องสงสัยเลยว่าการทดสอบ A/A เป็นปัญหาที่ถกเถียงกัน

ข้อโต้แย้งที่พบบ่อยที่สุดข้อหนึ่งเกี่ยวกับการทดสอบ A/A คือใช้เวลานานเกินไป

การทดสอบ A/A ใช้เวลานานมาก และมักต้องใช้ขนาดตัวอย่างที่สูงกว่าการทดสอบ A/B อย่างมาก

เมื่อเปรียบเทียบเว็บไซต์สองเวอร์ชันที่เหมือนกัน จำเป็นต้องมีขนาดตัวอย่างที่สูงเพื่อแสดงให้เห็นถึงอคติที่มีนัยสำคัญ

ด้วยเหตุนี้ การทดสอบจึงใช้เวลานานกว่าจะเสร็จสมบูรณ์ ซึ่งอาจลดเวลาที่ใช้ในการทดสอบที่สำคัญอื่นๆ

ในกรณีดังกล่าวที่คุณไม่มีเวลามากหรือมีปริมาณการใช้งานสูง ควรพิจารณาดำเนินการกระบวนการตรวจสอบคุณภาพก่อนการทดสอบ

ในบทความบล็อกนี้ เราจะแนะนำคุณตลอดขั้นตอนทั้งหมดที่คุณต้องปฏิบัติตามเพื่อดำเนินการตามขั้นตอน QA อย่างเต็มรูปแบบ วิธีการที่คุณใช้ขึ้นอยู่กับคุณและขึ้นอยู่กับว่าคุณมีเวลาเหลือเท่าไร

SRM มีอยู่ในการทดสอบ A/A หรือไม่

ถามตัวเองว่า: จำนวนผู้ใช้จริงที่สังเกตระหว่างการทดสอบ A/A ของคุณใกล้เคียงกับอัตราส่วน 50/50 (หรืออัตราส่วน 90/10 หรืออัตราส่วนอื่นใด) หากคุณแบ่งผู้ใช้ออกเป็นครึ่งหนึ่ง

หากไม่เป็นเช่นนั้น คุณกำลังเผชิญกับปัญหาสองประการ: อาจมีปัญหาเกี่ยวกับวิธีเรียกใช้โครงสร้างพื้นฐานการทดสอบจากภายในโค้ดของคุณ (ทำให้ "รั่ว" ด้านหนึ่ง) หรือมีปัญหากับโครงสร้างพื้นฐานการทดสอบ กลไกการมอบหมาย

ข้อผิดพลาดอัตราส่วนตัวอย่างไม่ตรงกัน (ข้อผิดพลาด SRM) เป็นข้อบกพร่องที่การทดสอบ A/A สามารถตรวจพบได้

หากอัตราส่วนของคุณออกมาเป็น 65/35 คุณควรตรวจสอบปัญหาก่อนที่จะทำการทดสอบ A/B อีกครั้งโดยใช้กลยุทธ์การกำหนดเป้าหมายเดียวกัน

ข้อดีของการทดสอบ A/A มีมากกว่าข้อเสียหรือไม่?

แม้ว่าการทดสอบ A/A ไม่ควรทำเป็นรายเดือน แต่ก็ควรทดสอบข้อมูลของคุณเมื่อตั้งค่าเครื่องมือ A/B ใหม่

หากคุณทราบข้อมูลผิดพลาดในตอนนี้ คุณจะมีความมั่นใจมากขึ้นในผลการทดสอบ A/B ในภายหลัง

แม้ว่าการตัดสินใจจะเป็นของคุณในที่สุด ขอแนะนำอย่างยิ่งให้คุณทำการทดสอบ A/A หากคุณกำลังเริ่มต้นใช้งานเครื่องมือใหม่ หากไม่ เราขอแนะนำให้คุณตั้งค่าขั้นตอน QA ก่อนการทดสอบที่เข้มงวด เนื่องจากการทดสอบ A/B จะช่วยคุณประหยัดเวลา เงิน และการรับส่งข้อมูล

เราหวังว่าภาพหน้าจอด้านบนจะตอบคำถามของคุณได้ แต่ถ้าไม่ ให้ลงทะเบียนสำหรับการสาธิตเพื่อดูว่าการตั้งค่าการทดสอบ A/A ด้วย Convert Experiences นั้นง่ายเพียงใด