การทดสอบ A/A คืออะไร และเหตุใดนักการตลาดจึงควรใส่ใจ

คุณเคยผ่านสถานการณ์นี้หรือไม่? คุณตั้งค่าการทดสอบ A/B เพื่อดูว่าชุดค่าผสมของปุ่มและพาดหัวใหม่จะสร้าง Conversion เพิ่มขึ้นหรือไม่...

คุณกระตุ้นให้เกิดการเข้าชมเท่ากันทั้งหน้า Landing Page หลังการคลิกของคุณ — การควบคุมและรูปแบบ — และหยุดหลังจากผ่านไปหนึ่งเดือน เมื่อซอฟต์แวร์ของคุณประกาศว่ารูปแบบของคุณเป็นผู้ชนะด้วยความมั่นใจ 99%...

คุณเปิดตัวการออกแบบใหม่ที่ "ชนะใจ" แต่หลังจากผ่านไปหลายๆ รอบธุรกิจ อัตรา Conversion ที่เพิ่มขึ้น 50% นั้นไม่มีผลกระทบต่อผลกำไรของคุณ คุณสับสน คุณรำคาญ…

และคุณอาจตกเป็นเหยื่อของผลการทดสอบ False Positive

ผลการทดสอบบวกเท็จคืออะไร?

เหตุใดจึงไม่เพิ่มอัตราการแปลงที่ 50% ซึ่งแปลว่ามียอดขายเพิ่มขึ้น Lance Jones จาก Copyhackers กล่าว เหตุผลคือเพราะมันอาจไม่มีอยู่จริง

เป็นไปได้โดยสิ้นเชิง (เป็นไปได้ด้วยซ้ำ) ที่คุณไม่เห็นยอดขายหรือรายได้ที่เพิ่มขึ้นจากการทดสอบของคุณ เนื่องจากการทดสอบของคุณไม่เคยมีมาก่อน คุณอาจได้รับ "ผลบวกลวง" โดยไม่รู้ตัวในการทดสอบของคุณ ซึ่งเรียกว่าข้อผิดพลาดทางสถิติประเภทที่ 1 หรือที่เรียกว่าการปฏิเสธสมมติฐานว่างจริงอย่างไม่ถูกต้อง นั่นเป็นคำพูดเต็มปาก ฉันเลยจำง่ายๆ ว่าเป็นผลบวกลวง

ผิดพลาดหรือไม่ ข้อผิดพลาดทางสถิติประเภทที่ 1 เหล่านี้พบได้บ่อยกว่าที่คุณคิด คาดว่าประมาณ 80% ของผลการทดสอบ AB เป็นเพียงจินตนาการ

หากคุณกำลังทำการตัดสินใจที่สำคัญโดยพิจารณาจากผลบวกลวง ที่ดีที่สุด คุณกำลังปล่อยให้การเพิ่มประสิทธิภาพกลายเป็นโอกาส ที่เลวร้ายที่สุด คุณกำลังทำให้อัตรา Conversion ของหน้า Landing Page ของคุณแย่ลงหลังการคลิก

โชคดีที่มีวิธีต่อสู้กับข้อมูลที่เป็นพิษได้ หนึ่งในนั้นคล้ายกับวิธีการทดสอบที่คุณอาจคุ้นเคยอยู่แล้ว...

การทดสอบ A/A คืออะไร?

การทดสอบ A/B เกี่ยวข้องกับการดึงดูดการเข้าชมไปยังหน้าเว็บสองหน้าที่แตกต่างกัน — หน้าดั้งเดิม (การควบคุมของคุณ) และอีกหน้าหนึ่ง (รูปแบบของคุณ) — เพื่อดูว่าหน้าใดทำงานได้ดีกว่ากัน

ในทำนองเดียวกัน การทดสอบ A/A เกี่ยวข้องกับการเพิ่มการเข้าชมไปยังหน้าสองหน้าเพื่อดูว่าหน้าใดทำงานได้ดีกว่ากัน แต่ไม่เหมือนในการทดสอบ A/B ตรงที่การทดสอบ A/A จะนำหน้าเพจที่ เหมือนกัน สองหน้ามาเทียบกัน และแทนที่จะค้นหาการยกระดับ เป้าหมายของการทดสอบคือการค้นหาความแตกต่างระหว่างการควบคุมและรูปแบบของคุณ

ทำไมคุณถึงต้องทดสอบ A/A?

เราไม่ตำหนิคุณที่เกาหัวและสงสัยว่า “อะไรในโลกนี้ที่ทดสอบหน้าเหมือนกันสองหน้าต่อกันได้สำเร็จ”

อาจฟังดูงี่เง่า แต่เป็นเทคนิคที่ผู้ทดสอบมืออาชีพบางคนใช้เพื่อทดสอบการทดสอบ A/B ก่อนทำการทดสอบ (ฮะ?)

ผลการทดสอบที่แม่นยำต้องการมากกว่านัยสำคัญทางสถิติ

ใครๆ ก็เรียกใช้การทดสอบ A/B ได้ แต่มีเพียงไม่กี่คนที่เรียก ใช้ การทดสอบ A/B ที่ถูกต้องได้ (โปรดจำไว้ว่า มีเพียงประมาณ 20% ของผลการทดสอบเท่านั้นที่ถูกต้องตามกฎหมาย)

การสร้างข้อมูลการทดสอบที่แม่นยำนั้นเกี่ยวข้องมากกว่าการเข้าถึงนัยสำคัญทางสถิติด้วยขนาดตัวอย่างที่ใหญ่และเป็นตัวแทน เพื่อความมั่นใจเกี่ยวกับผลลัพธ์ของคุณ คุณต้องแน่ใจว่าตัวอย่างไม่ได้ถูกคุกคามด้วยความถูกต้องหลายประการ

หนึ่งในภัยคุกคามเหล่านั้น เอ ฟเฟ็กต์เครื่องมือ คือสิ่งที่การทดสอบ A/A มีประโยชน์มากที่สุดสำหรับการต่อสู้

เอฟเฟกต์เครื่องดนตรีคืออะไร?

การป้องกันภัยคุกคามความถูกต้องเริ่มต้นก่อนที่คุณจะเริ่มการทดสอบ A/B Peep Laja จาก CXL กล่าวว่าเอฟเฟ็กต์ของเครื่องมือคือสิ่งที่ทำลายผลการทดสอบมากที่สุด:

นี่เป็นปัญหาที่พบบ่อยที่สุด เมื่อมีบางอย่างเกิดขึ้นกับเครื่องมือทดสอบ (หรือเครื่องมือ) ที่ทำให้ข้อมูลมีข้อบกพร่องในการทดสอบ มักเกิดจากการใส่โค้ดผิดบนเว็บไซต์ และจะทำให้ผลลัพธ์ทั้งหมดผิดเพี้ยนไป

ด้วยเหตุนี้ เมื่อตั้งค่าการทดสอบ สิ่งสำคัญคือต้องแน่ใจว่าเครื่องมือของคุณได้รับการกำหนดค่าอย่างถูกต้องและทำงานตามที่ควร หากไม่เป็นเช่นนั้น ปัญหาทั่วไปเหล่านี้อาจเกิดขึ้นได้:

• การรายงานตัวบ่งชี้ประสิทธิภาพหลักที่ไม่ถูกต้อง ข้อผิดพลาดเพียงข้อเดียวในเครื่องมือเดียวอาจทำให้ข้อมูลของคุณสับสนได้ ซึ่งเป็นเหตุผลที่คุณไม่ควรพึ่งพาแพลตฟอร์มเดียวในการติดตามข้อมูลการทดสอบทั้งหมดของคุณ อย่างน้อยที่สุด ให้รวมเข้ากับ Google Analytics เพื่อตรวจสอบอีกครั้งว่าเมตริกที่คุณเห็นในซอฟต์แวร์ทดสอบและการติดตามเว็บไซต์นั้นถูกต้อง เพื่อให้ได้ผลลัพธ์ที่ดียิ่งขึ้น ให้ตรวจสอบสามครั้งด้วยเครื่องมืออื่น ระแวงรายงานใดๆ ที่ไม่ตรงกัน
• ปัญหาการแสดงหน้า Landing Page หลังการคลิก ข้อผิดพลาดในการเข้ารหัสเพียงเล็กน้อยอาจทำให้เกิดภัยคุกคามด้านความถูกต้องขนาดใหญ่ เช่น ปัญหาการแสดงผล ในระหว่างการทดสอบ A/B ของคุณ นั่นเป็นเหตุผลที่สิ่งสำคัญคือต้องแน่ใจว่าหน้า Landing Page หลังการคลิกของคุณมีลักษณะตามที่ควรจะเป็นในทุกอุปกรณ์และเบราว์เซอร์ และผู้เยี่ยมชมของคุณไม่ได้รับผลกระทบจากสิ่งที่เรียกว่า "เอฟเฟ็กต์การสั่นไหว" เว็บไซต์ที่ทำงานช้าอาจทำให้เกิดปัญหานี้ได้ ซึ่งจะเกิดขึ้นเมื่อส่วนควบคุมของคุณแสดงต่อผู้เยี่ยมชมชั่วขณะก่อนที่จะมีการเปลี่ยนแปลง
• การหยุดการทดสอบเร็วเกินไป ซอฟต์แวร์ทดสอบบางตัวจะประกาศหน้าที่ชนะก่อนกำหนด — เมื่อขนาดตัวอย่างไม่ใหญ่พอ หรือเป็นตัวแทนของลูกค้าเป้าหมายของคุณ ข้อควรจำ: การมีนัยสำคัญทางสถิติ ไม่ได้หมายความว่าถึงเวลาที่ต้องหยุดการทดสอบของคุณ ยิ่งคุณรันนานเท่าไหร่ ผลลัพธ์ของคุณก็จะยิ่งแม่นยำมากขึ้นเท่านั้น

ปัญหาข้อใดข้อหนึ่งเหล่านี้ (และอื่นๆ) อาจนำไปสู่ผลบวกปลอมเมื่อสิ้นสุดการทดสอบ ซึ่งเป็นสาเหตุที่ Peep เตือนผู้ทดสอบให้ระมัดระวัง:

เมื่อคุณตั้งค่าการทดสอบ ให้เฝ้าดูอย่างเหยี่ยวสังเกตว่าทุกเป้าหมายและเมตริกที่คุณติดตามได้รับการบันทึก หากตัววัดบางตัวไม่ส่งข้อมูล (เช่น ข้อมูลการคลิกใส่รถเข็น) ให้หยุดการทดสอบ ค้นหาและแก้ไขปัญหา และเริ่มต้นใหม่ด้วยการรีเซ็ตข้อมูล

แต่ไม่ใช่ทุกคนที่รู้สึกสบายใจในทันทีที่กระโดดเข้าสู่การทดสอบ A/B ด้วยเท้าทั้งสองข้าง — โดยเฉพาะอย่างยิ่งเมื่อใช้ซอฟต์แวร์ใหม่ ดังนั้น เพื่อเป็นการป้องกันไว้ก่อน ผู้ปฏิบัติงานบางคนทำการทดสอบ A/A เพื่อประเมินเครื่องมือของตนก่อนที่จะเริ่มการทดสอบ A/B

หากการตั้งค่าการทดสอบของคุณถูกต้อง เมื่อสิ้นสุดการทดสอบ A/A หน้าเว็บทั้งสองควรจะมีอัตราการแปลงที่ใกล้เคียงกัน ดังที่ผู้ทดสอบต่อไปนี้แสดงไว้ แต่นั่นไม่ได้เกิดขึ้นเสมอไป

ตัวอย่างการทดสอบ A/A

False Positives เป็นเรื่องธรรมดาจริงหรือ? หน้าเดียวมีประสิทธิภาพดีกว่าการลอกแบบจริงหรือ? คนเหล่านี้ใช้การทดสอบ A/A เพื่อค้นหาและเปิดเผยการค้นพบของพวกเขาในบล็อกโพสต์ต่อไปนี้...

1. การทดสอบแยกหน้าแรกเผยให้เห็นข้อบกพร่องที่สำคัญของเครื่องมือทดสอบยอดนิยม

เมื่อวันที่ 11 พฤศจิกายน 2012 ทีมงาน Copyhackers ได้เริ่มการทดสอบแยก A/A บนหน้าแรกของพวกเขา ดังภาพด้านล่าง:

ในวันที่ 18 — 6 วันต่อมา — เครื่องมือทดสอบของพวกเขาประกาศผู้ชนะด้วยความมั่นใจ 95% แต่เพื่อความถูกต้อง ทีมงานจึงตัดสินใจปล่อยให้การทดสอบดำเนินต่อไปอีก 1 วัน ซึ่งเป็นจุดที่ซอฟต์แวร์ของพวกเขาประกาศผู้ชนะที่ระดับความเชื่อมั่น 99.6%:

หน้าแรกของพวกเขามีประสิทธิภาพดีกว่า หน้าเดียวกัน เกือบ 24% และมีโอกาสเพียง 0.4% ที่ผลลัพธ์จะเป็นผลบวกปลอม ตามข้อมูลของซอฟต์แวร์ แต่ถึงกระนั้น ทีมงานก็ปล่อยให้การทดสอบดำเนินต่อไปอีกประมาณสามวัน และในที่สุดความแตกต่างก็คลี่คลายลง:

แต่ไม่ thats จุด. ประเด็นคือ: เครื่องมือทดสอบประกาศผู้ชนะเร็วเกินไป หากทีม Copyhackers ไม่ปล่อยให้มันทำงานต่อไป พวกเขาคงจะเข้าใจผิดว่ามีปัญหากับการทดลองของพวกเขา อ่านเพิ่มเติมเกี่ยวกับการทดสอบที่นี่

2. การทดสอบ A/A: ฉันเพิ่ม Conversion 300% โดยไม่ทำอะไรเลยได้อย่างไร

ชื่อเรื่องประชดประชันนี้มาจากผู้เขียนและประกาศตัวเองว่าเป็น “ผู้ต้องการผู้ประกอบการที่กำลังฟื้นตัว” David Kadavy ซึ่งทำการทดสอบ A/A หลายครั้งในช่วง 8 เดือนกับสมาชิกอีเมล 750,000 ราย ในช่วงเวลานั้น เขาสร้างผลลัพธ์ที่มีนัยสำคัญทางสถิติ เช่น:

ในบรรดาผลลัพธ์เหล่านั้นได้แก่:

• การเปิดอีเมลเพิ่มขึ้น 9%
• จำนวนคลิกเพิ่มขึ้น 300%
• อัตราการยกเลิกการสมัครลดลง 51%

เขาพูดว่า:

สำหรับผู้ประกอบการที่ต้องการหลาย ๆ คน (รวมถึงตัวฉันเองด้วย) สิ่งนี้ดูเหมือนว่า “โอ้ ว้าว คุณเปิดเพิ่มขึ้น 10%!” พวกเขาอาจเจาะเข้าไปในเครื่องคำนวณนัยสำคัญของ Visual Website Optimizer และเห็นว่า p=.048 “มีนัยสำคัญทางสถิติ!” พวกเขา (หรือฉัน) อาจอุทาน

ความจริงก็คือ ทั้งหมดนี้เป็นการทดสอบ A/A เนื้อหาที่ทดสอบเปรียบเทียบกันนั้นเหมือนกัน ดูผลงานของเขาเพิ่มเติมได้ที่นี่

คุณควรทำการทดสอบ A/A หรือไม่

คำตอบสำหรับคำถามนี้ขึ้นอยู่กับว่าคุณถามใคร

Neil Patel ผู้ซึ่งยังคงเห็นว่า Conversion เพิ่มขึ้นอย่างมากซึ่งไม่เท่ากับรายได้ที่เพิ่มขึ้นกล่าวว่า "เป็นเรื่องสำคัญมากที่คุณจะต้องเรียกใช้การทดสอบ A/A ก่อน เพราะวิธีนี้จะช่วยให้แน่ใจว่าคุณจะไม่เสียเวลากับซอฟต์แวร์ที่ไม่ถูกต้อง"

ในทางกลับกัน Peep Laja จาก CXL กล่าวว่าการทดสอบ A/A นั้นเสียเวลาเปล่า แล้วใครล่ะที่ใช่?

ปัญหาหลักสองประการของการทดสอบ A/A

จากมุมมองทางทฤษฎี การทดสอบ A/A นั้นสมเหตุสมผลมาก เหนือสิ่งอื่นใด ความแม่นยำเป็นสิ่งสำคัญที่สุดเมื่อเรียกใช้การทดสอบ A/B และการทดสอบการทดสอบของคุณเป็นเพียงหนึ่งในหลายๆ วิธีที่จะทำให้แน่ใจได้

อย่างไรก็ตาม ในสภาพแวดล้อมการทดสอบในโลกแห่งความเป็นจริง การทดสอบ A/A มีศักยภาพที่จะทำให้เกิดผลเสียมากกว่าผลดี Craig Sullivan อธิบายว่า:

สำหรับฉัน ปัญหาคือการกินปริมาณการใช้งานจริงและเวลาทดสอบเสมอ โดยต้องโหลดเวลาดำเนินการทดสอบล่วงหน้าด้วยระยะเวลาการทดสอบ A/A ถ้าฉันพยายามทำการทดสอบ 40 ครั้งต่อเดือน สิ่งนี้จะทำให้ความสามารถในการเผยแพร่เนื้อหาของฉันพิการ ฉันต้องการทดสอบ QA ครึ่งวันในการทดสอบมากกว่าทำการทดสอบ A/A 2-4 สัปดาห์เพื่อตรวจสอบว่าสอดคล้องกัน

นั่นเป็นปัญหาประการหนึ่ง การทดสอบ A/A มีค่าใช้จ่ายตามเวลาจริงและการเข้าชม ซึ่งคุณสามารถใช้เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับผู้เยี่ยมชมเว็บไซต์ของคุณด้วยการทดสอบ A/B

ปัญหาที่สอง เป็นตัวอย่างในกรณีศึกษาจาก Copyhackers เช่นเดียวกับการทดสอบ A/B การทดสอบ A/A จำเป็นต้องได้รับการออกแบบและตรวจสอบอย่างรอบคอบ เนื่องจากการทดสอบเหล่านี้มีความเสี่ยงที่จะเกิดผลบวกลวงได้เช่นกัน

กล่าวอีกนัยหนึ่ง การทดสอบ A/A ของคุณอาจบอกคุณว่าหน้าหนึ่งทำงานได้ดีกว่าอีกหน้าหนึ่ง ทั้งๆ ที่ไม่ใช่ (โอกาสนั้นสูงกว่าที่คุณคิดมาก — ประมาณ 50%)

หากทีมที่ Copyhackers ได้ฟังเครื่องมือทดสอบของพวกเขาและประกาศผู้ชนะภายในเวลาเพียงหกวัน พวกเขาจะใช้เวลามากขึ้นในการพยายามคิดว่าเหตุใดหน้าแรกของพวกเขาจึงทำงานได้ดีกว่าแฝดที่เหมือนกัน (ทั้งที่จริง ๆ แล้วไม่ใช่) .

ประโยชน์หลักของการทดสอบ A/A

แม้จะมีปัญหาเหล่านี้ การทดสอบ A/A มีศักยภาพที่จะช่วยให้คุณพบปัญหาที่ ใหญ่กว่า ในระหว่างการทดสอบ จริง เมื่อผลลัพธ์ของการทดสอบเหล่านั้นเป็นผลจากการตัดสินใจทางธุรกิจที่สำคัญของคุณ นั่นเป็นประโยชน์อย่างยิ่งที่ควรพิจารณา

หากคุณตัดสินใจทำการทดสอบ A/A มีวิธีที่อาจสิ้นเปลืองน้อยกว่าซึ่งเรียกว่าการทดสอบ A/A/B

การทดสอบ A/A/B กับการทดสอบ A/A

วิธีการทดสอบ A/A แบบเดิมทำให้เสียทราฟฟิกเพราะไม่ได้บอกอะไรเกี่ยวกับผู้เยี่ยมชมของคุณในตอนสรุป แต่ถ้าคุณเพิ่มรูปแบบ "B" ลงในการทดสอบนั้น ก็สามารถทำได้ นี่คือความแตกต่างระหว่างทั้งสอง:

• การทดสอบ A/A = หน้าเว็บที่เหมือนกัน 2 หน้าที่ทดสอบซึ่งกันและกัน
• การทดสอบ A/A/B = หน้าที่เหมือนกัน 2 หน้าและรูปแบบที่ทดสอบเปรียบเทียบกัน

การทดสอบ A/A/B จะแบ่งการเข้าชมของคุณออกเป็นสามกลุ่ม ซึ่งหมายความว่าจะใช้เวลานานกว่าในการเข้าถึงข้อมูลที่มีนัยสำคัญทางสถิติ แต่ข้อดีก็คือ เมื่อคุณทำแล้ว คุณจะมีข้อมูลเกี่ยวกับทั้งเครื่องมือทดสอบและผู้เยี่ยมชมของคุณ

เปรียบเทียบผลลัพธ์ของ A กับ A เพื่อพิจารณาว่าคุณสามารถเชื่อถือการทดสอบของคุณได้หรือไม่ หากมีความคล้ายคลึงกันทางสถิติ ให้เปรียบเทียบผลลัพธ์ของ A กับ B หากไม่เป็นเช่นนั้น คุณจะต้องทิ้งผลลัพธ์ของการทดสอบทั้งหมด (ซึ่งใช้เวลานานกว่าการทดสอบ A/A แบบเดิม เนื่องจากการเข้าชมของคุณแบ่งออกเป็นสามวิธี)

ประโยชน์ของการทดสอบ A/A มีมากกว่าข้อเสียหรือไม่?

ผู้เชี่ยวชาญบางคนบอกว่า “ใช่” ในขณะที่คนอื่น ๆ บอกว่า “ไม่” Andrew First of Leadplum ดูเหมือนจะคิดว่าคำตอบอยู่ระหว่าง:

การทดสอบ A/A อาจไม่ควรทำเป็นรายเดือน แต่เมื่อคุณตั้งค่าเครื่องมือใหม่ คุณควรใช้เวลาในการทดสอบข้อมูลของคุณ หากคุณสกัดกั้นข้อมูลที่ไม่ดีตอนนี้ คุณจะมั่นใจในผลการทดสอบของคุณมากขึ้นในอีกหลายเดือนต่อมา

ท้ายที่สุดก็ขึ้นอยู่กับคุณ หากคุณกำลังใช้เครื่องมือใหม่ คุณควรทำตามคำแนะนำของ Andrew หากคุณไม่เป็นเช่นนั้น คุณควรทำตามผู้นำของ Craig Sullivan และตั้งค่ากระบวนการทดสอบ QA ก่อนการทดสอบที่เข้มงวดแทน ประหยัดเวลา ทรัพยากร และการรับส่งข้อมูลสำหรับการทดสอบ A/B

รับประโยชน์สูงสุดจากความพยายามในการทดสอบและแคมเปญโฆษณาดิจิทัลของคุณ ลงทะเบียนสำหรับการสาธิต Instapage Enterprise วันนี้