อัตราส่วนตัวอย่างไม่ตรงกัน (SRM): คู่มือฉบับสมบูรณ์พร้อมโซลูชันสำหรับกรณีต่างๆ ของลูกค้า

อะไรจะแย่ไปกว่าการทดสอบที่ล้มเหลว?

ทดสอบปัญหาคุณภาพของข้อมูลที่ทำให้ผลการทดสอบไม่น่าเชื่อถือ

แต่คุณจะอยู่ห่างจากข้อมูลที่ไม่ดีได้อย่างไร

การตรวจสอบ Sample Ratio Mismatch (SRM) เป็นวิธีง่ายๆ ในการตรวจจับปัญหาที่อาจเกิดขึ้นตั้งแต่เนิ่นๆ ถ้ามีอะไรคาว ยิ่งรู้เร็วยิ่งดี

อ่านเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับ Sample Ratio Mismatch วิธีสังเกต ผลกระทบต่อการทดสอบของคุณ และแพลตฟอร์มการทดสอบ A/B ใดที่มาพร้อมกับการตรวจสอบ SRM ในตัว (คุณจึงไม่ต้องเก็บสเปรดชีตไว้ด้านข้าง) .

อัตราส่วนตัวอย่างไม่ตรงกัน (SRM) คืออะไร?

อัตราส่วนตัวอย่างไม่ตรงกันหรือ SRM เกิดขึ้นในการทดสอบ A/B เมื่อจำนวนตัวอย่างจริง (หรือผู้เยี่ยมชมในกลุ่มการรักษา) ไม่ตรงกับที่คาดหวัง

ลองอธิบายสิ่งนี้ด้วยตัวอย่าง

สมมติว่าเว็บไซต์มีผู้เข้าชมประมาณ 15,000 คนต่อสัปดาห์ เรามี 3 รูปแบบ ได้แก่ ต้นฉบับ (ซึ่งเป็นหน้าที่ไม่เปลี่ยนแปลง) และ 2 รูปแบบ คุณคาดหวังว่าแต่ละคนจะได้รับปริมาณการใช้งานมากเพียงใดหากมีการจัดสรรการรับส่งข้อมูลเท่าๆ กัน ในโลกอุดมคติ คำตอบก็คือแต่ละรูปแบบควรได้รับผู้เข้าชม 15,000 / 3 = 5,000 คน

ตอนนี้ ไม่น่าเป็นไปได้มากที่แต่ละรูปแบบจะได้รับผู้เข้าชมจริง 5,000 คน แต่จำนวนที่ใกล้เคียงกันมาก เช่น 4982 หรือ 5021 ความผันแปรเล็กน้อยนั้นเป็น เรื่องปกติ และเกิดจากการสุ่มอย่างง่าย! แต่ถ้ารูปแบบใดรูปแบบหนึ่งมีผู้เข้าชม 3500 คนและอีกรูปแบบหนึ่งมีผู้เข้าชมประมาณ 5,000 คน อาจมีบางอย่างผิดปกติกับรูปแบบนั้น!

แทนที่จะใช้สัญชาตญาณของเราเองในการระบุปัญหาเหล่านี้ เราสามารถไปทดสอบ SRM แทนได้ มันใช้การทดสอบความพอดีของ Chi-square เพื่อบอกเราเช่นว่าผู้เข้าชม 4850 หรือ 4750 คนเทียบกับจำนวนผู้เข้าชมอื่น ๆ นั้น "ปกติ" หรือไม่!

ในทางสถิติ การทดสอบความพอดีของไคสแควร์จะเปรียบเทียบจำนวนตัวอย่างที่สังเกตได้กับตัวอย่างที่คาดไว้ และหากมีความแตกต่างจริง ค่า p จะต่ำกว่าระดับนัยสำคัญที่กำหนดไว้ที่ 0.01 ซึ่งสอดคล้องกับความเชื่อมั่นที่ 99%

การทดสอบ A/B ของคุณมี SRM หรือไม่ วิธีการคำนวณอัตราส่วนตัวอย่างไม่ตรงกัน?

ในการทดสอบ A/B SRM อาจเป็นตัวโกงจริง ทำให้เกิดผลลัพธ์ที่ไม่ถูกต้องและข้อสรุปที่ผิดพลาด ข่าวดีก็คือมีเครื่องมือที่ช่วยให้คุณหลีกเลี่ยงอาการปวดหัวได้

การใช้สเปรดชีต

สเปรดชีตเป็นวิธีการที่ง่ายที่สุดในการคำนวณ SRM เนื่องจากมี Microsoft Excel และ/หรือผลิตภัณฑ์ Google พร้อมให้บริการอย่างกว้างขวาง

มาแสดงตัวอย่างอื่นให้คุณดู

เราจะคำนวณ SRM สำหรับการทดสอบ A/B ด้วยการแบ่งการเข้าชม 50/50 และจำนวนผู้เข้าชมที่สังเกตได้ 214,598 และ 241,156 สำหรับต้นฉบับและรูปแบบต่างๆ ตามลำดับ

เราจะใช้การทดสอบ Chi-squared เพื่อดูว่าการแยกการเข้าชมที่สังเกตพบตรงกับการแยกการเข้าชมที่คาดไว้หรือไม่ ในกรณีที่ไม่ คุณจะต้องทราบว่าค่าที่สังเกตได้แตกต่างเพียงพอจากค่าที่คาดไว้หรือไม่ที่จะทำให้เกิดความกังวลและรับประกันการละทิ้งผลลัพธ์

คุณจะต้องใช้ฟังก์ชัน CHISQ.TEST ในสเปรดชีตเพื่อคำนวณค่า p ดังที่แสดงในสเปรดชีตด้านล่าง

ในตัวอย่างของเรา ค่า p คือ 0 ด้วยค่า p ต่ำกว่า 0.05 คุณจะมี SRM อยู่ในมือและมีหลักฐานเพียงพอที่จะปิดผลการทดสอบในกรณีส่วนใหญ่

การใช้เครื่องคำนวณอัตราส่วนตัวอย่างออนไลน์ที่ไม่ตรงกัน

1. เครื่องคิดเลขของ Convert สามารถช่วยในการวินิจฉัยอัตราส่วนตัวอย่างที่ไม่ตรงกัน และยังบอกคุณด้วยว่าคุณต้องรอให้การทดสอบของคุณเสร็จสิ้นนานแค่ไหน!
   

   

2. เครื่องคิดเลขออนไลน์เฉพาะ SRM อีกเครื่องหนึ่งคือเครื่องที่ออกแบบโดย Lukas Vermeer วิธีนี้จะคำนวณ SRM ในลักษณะเดียวกับเทคนิคก่อนหน้านี้ ดังนั้น หากคุณปฏิบัติตามและเข้าใจกระบวนการ คุณควรจะสามารถใช้เครื่องคำนวณ SRM ออนไลน์นี้ได้ เพียงกรอกตัวเลขสำหรับตัวอย่างของคุณแล้วผลลัพธ์จะแสดงดังนี้
   

   

SRM ส่งผลต่อการทดสอบ A/B อย่างไร

เป็นไปได้มากที่คุณได้ดูการแบ่งการเข้าชมระหว่างรูปแบบต่างๆ ระหว่างการทดสอบ และสงสัยว่ามันแม่นยำเพียงใด

บางทีอาจดูเหมือนรายงานด้านล่าง คุณอาจดูและสงสัยว่าเป็นเรื่องปกติที่ Original มีผู้เข้าชม 1330 คน แต่เป็น Variation 1713 หรือไม่

การคำนวณทางสถิติสั้นๆ ของอัตราส่วน SRM (โดยใช้วิธีใดวิธีหนึ่งจากสองวิธีข้างต้น) จะบอกคุณว่าอัตราส่วนความแปรผันเป็นที่ยอมรับหรือไม่

การแบ่งตามจริงระหว่างสองรูปแบบ (ดั้งเดิมและรูปแบบ 1) สอดคล้องกับค่าที่คาดไว้หรือไม่ หากไม่เป็นเช่นนั้น คุณควรปฏิเสธข้อมูลและเปิดการทดสอบอีกครั้งเมื่อคุณแก้ไขปัญหาได้แล้ว

SRM ส่งผลต่อทั้งโมเดลสถิติที่ใช้บ่อยและแบบเบย์หรือไม่

ใช่.

สาเหตุของ SRM มีผลกระทบเหมือนกันกับความถูกต้องของผลการทดสอบ ไม่ว่าข้อมูลจะได้รับการวิเคราะห์ด้วยวิธี Bayesian (Google Optimize, Optimizely, VWO, A/B Tasty) หรือ Frequentist (Convert Experiences, Dynamic Yield)

ดังนั้น เครื่องคำนวณ SRM ด้านบนจึงสามารถใช้ตรวจสอบ SRM บนแพลตฟอร์มที่ใช้สถิติแบบเบย์ได้

คุณควรคำนึงถึง SRM เมื่อใด

การค้นหาอัตราส่วนตัวอย่างที่ไม่ตรงกันในการทดสอบของคุณไม่ได้หมายความว่าคุณจำเป็นต้องละทิ้งผลลัพธ์เสมอไป

ดังนั้นเมื่อใดจึงจำเป็นต้องคำนวณ SRM อย่างจริงจัง?

ลองหาตัวอย่างบางส่วน

ตัวอย่าง #1

คุณทำการทดสอบโดยที่ทั้งต้นฉบับและรูปแบบต่างถูกกำหนดให้กับผู้ใช้ 50% คุณจึงคาดว่าจะเห็นจำนวนผู้ใช้ที่เท่ากันในแต่ละครั้ง

ผลลัพธ์กลับมาเป็น

• การควบคุม: ผู้ใช้ 21,588 คน
• การรักษา: ผู้ใช้ 15,482 ราย

มาลองใช้ SRM Checker กัน:

นี่เป็นสาเหตุของความกังวลหรือไม่?

ค่า p สำหรับอัตราส่วนตัวอย่างด้านบนคือ <0.0001 ดังนั้นความน่าจะเป็นที่จะเห็นอัตราส่วนนี้หรืออัตราส่วนที่รุนแรงกว่านั้น ภายใต้การออกแบบที่เรียกว่าสัดส่วนที่เท่ากันคือ <0.0001!

คุณควรกังวลอย่างยิ่งว่ามีบางอย่างผิดปกติ เนื่องจากคุณเพิ่งสังเกตเห็นเหตุการณ์ที่ไม่น่าเป็นไปได้อย่างยิ่ง ดังนั้นจึงมีโอกาสมากกว่าที่จะมีข้อบกพร่องบางประการในการดำเนินการทดสอบ และคุณไม่ควรเชื่อถือผลลัพธ์ใดๆ

ตัวอย่าง #2

คุณทำการทดสอบอื่น โดยที่ต้นฉบับและรูปแบบถูกกำหนดให้เป็นเปอร์เซ็นต์ที่เท่ากันของผู้ใช้ คุณคำนวณค่า p และมันคือ <0.002 ดังนั้นเหตุการณ์ที่ไม่น่าเป็นไปได้มาก

เมตริกจะเป็นอย่างไร? คุณต้องทิ้งผลลัพธ์จริง ๆ หรือไม่?

การใช้แพลตฟอร์มการทดลอง เช่น Convert Experiences คุณสามารถใช้การแบ่งกลุ่มหลังการทดสอบกับผลลัพธ์ และพบว่าหากคุณยกเว้นผู้ใช้ Internet Explorer SRM จะหายไป

ในกรณีนี้ ผู้ใช้ที่ถูกยกเว้นส่วนใหญ่มักใช้เบราว์เซอร์ IE รุ่นเก่า ซึ่งเป็นสาเหตุของ SRM บอทไม่ได้รับการจัดประเภทอย่างเหมาะสมเนื่องจากมีการเปลี่ยนแปลงบางอย่างใน Variation ทำให้อัตราส่วนไม่ตรงกัน

หากไม่มีกลุ่ม เปอร์เซ็นต์ที่เหลือของผู้ใช้จะมีความสมดุลอย่างเหมาะสม และตัวชี้วัดก็เป็นปกติ

หากไม่พบ SRM การทดลองทั้งหมดจะถือเป็นความล้มเหลวครั้งใหญ่

แต่เมื่อตรวจพบ SRM แล้ว ก็สามารถลบส่วนเล็กๆ ออกได้ และการทดลองจะใช้สำหรับการวิเคราะห์ที่เหมาะสม

ในสถานการณ์ที่คล้ายกัน คุณสามารถ ละเว้นผู้ใช้ที่ถูกยกเว้นได้อย่างปลอดภัย และสามารถใช้การทดสอบได้

ตัวอย่าง #3

คุณทำการทดสอบและพบว่ามีการติดแท็ก SRM ในการทดสอบของคุณ

อย่างไรก็ตาม หากคุณให้ความสนใจกับกราฟของคุณ คุณจะสังเกตเห็นว่าเส้นโค้งของอัตราการแปลงจะขนานกันและความเชื่อมั่นที่คำนวณได้คือ 99.99% รูปแบบดังกล่าวควรให้ความมั่นใจเพียงพอแก่คุณว่าการทดสอบนั้นถูกต้อง

ในกรณีนี้ คุณสามารถ ละเว้น SRM ได้อย่างปลอดภัยและยังคงเชื่อถือข้อมูลของคุณ ต่อไป

คุณควรตรวจสอบว่า SRM มีอยู่ที่ไหน?

มีบางพื้นที่ที่ SRM สามารถเกิดขึ้นได้ ลองดูอนุกรมวิธานของ Lukas Vermeer เกี่ยวกับสาเหตุ:

1. มอบหมายการทดสอบ – อาจมีกรณีของการฝากข้อมูลที่ไม่ถูกต้อง (ผู้ใช้อยู่ในคลัสเตอร์ที่ไม่ถูกต้อง) ฟังก์ชันการสุ่มที่ผิดพลาด หรือ ID ผู้ใช้ที่เสียหาย
2. การ ดำเนินการทดลอง – การเปลี่ยนแปลงอาจเกิดขึ้นในเวลาที่ต่างกัน (ทำให้เกิดความคลาดเคลื่อน) หรืออาจมีความล่าช้าในการดำเนินการกรอง (การพิจารณาว่ากลุ่มใดอยู่ภายใต้การทดสอบ)
3. การประมวลผลบันทึกการทดลอง – บอทอัตโนมัติจะลบผู้ใช้จริง ความล่าช้าของข้อมูลที่เข้ามาในบันทึก
4. การ วิเคราะห์การทดสอบ – การเรียกใช้รูปแบบที่ไม่ถูกต้องหรือเริ่มต้นอย่างไม่ถูกต้อง
5. การ แทรกแซงการทดลอง – การทดสอบอาจมีการโจมตีและการแฮ็ก หรือผลกระทบของการทดลองอื่นที่กำลังดำเนินอยู่อาจรบกวนการทดสอบปัจจุบัน

หากคุณมี SRM และไม่แน่ใจว่าจะหาคำตอบได้จากที่ใด อนุกรมวิธานข้างต้นเป็นจุดเริ่มต้นที่มีค่า

และเพื่อให้ชัดเจนยิ่งขึ้น ตอนนี้เราจะยกตัวอย่างในชีวิตจริง สำหรับแต่ละกรณีเหล่านี้

การมอบหมายการทดสอบ

สิ่งที่น่าสนใจที่สุดอย่างหนึ่งที่ควรจับตามองคือฟังก์ชันการสุ่มที่แพลตฟอร์มการทดสอบ A/B ของคุณใช้อยู่

ในตัวอย่างด้านล่าง นักวิทยาศาสตร์ด้านข้อมูลที่ Wish ค้นพบปัญหา SRM ในการทดสอบ A/A และหลังจากการสอบสวนเป็นเวลานาน สรุปว่า SRM เกิดขึ้นเนื่องจากการสุ่มไม่ได้สุ่มทั้งหมด

เพื่อให้ได้ผลการทดลองที่ถูกต้อง ขั้นตอนการสุ่มจึงมีความสำคัญ

สมมติฐานที่สำคัญของการทดสอบทางสถิติที่ใช้ในการทดสอบ A/B คือการใช้ตัวอย่างแบบสุ่ม ระหว่างกลุ่มทดสอบ การสุ่มสร้างสมดุลระหว่างแอตทริบิวต์ของผู้ใช้ที่สังเกตและไม่ได้สังเกต สร้างความสัมพันธ์เชิงสาเหตุระหว่างคุณลักษณะของผลิตภัณฑ์ภายใต้การทดสอบและความแตกต่างของผลลัพธ์ในผลการทดลอง

การดำเนินการทดลอง

เมื่อพูดถึงการดำเนินการทดลอง มีสองสาเหตุหลักที่อาจทำให้ SRM ในประสบการณ์ของคุณ

1. สคริปต์ไม่ได้ติดตั้งอย่างถูกต้องบน Variations

ตรวจสอบเสมอว่าสคริปต์ของแพลตฟอร์มการทดสอบ A/B ของคุณได้รับการติดตั้งอย่างถูกต้องในต้นฉบับและรูปแบบต่างๆ หรือไม่

ทีมสนับสนุนลูกค้าของเราได้แก้ไขกรณีที่ไม่ได้เพิ่มสคริปต์ Convert ในรูปแบบใดรูปแบบหนึ่ง ทำให้เกิด SRM ในการทดสอบ

ตรวจสอบให้แน่ใจว่าคุณเพิ่มสคริปต์ในทุกหน้าที่คุณต้องการเรียกใช้ประสบการณ์ดังที่แสดงด้านล่าง:

2. การกำหนดค่าการกำหนดเป้าหมายหน้าเว็บไม่ถูกต้อง

ในกรณีนี้ SRM ไม่ตรงกันเกิดจากการกำหนดเป้าหมายของการทดสอบไม่ถูกต้อง

ด้วยการตั้งค่าที่ไม่ถูกต้อง ผู้เข้าชมบางรายจะถูกเลือกให้ส่งต่อไปยังรูปแบบใหม่ แต่การเปลี่ยนเส้นทางล้มเหลว น่าจะเป็นเพราะนิพจน์ URL ดั้งเดิมไม่ตรงกับทุก URL ของผู้เข้าชมทั้งหมดที่ฝากไว้ในการทดสอบและเปลี่ยนเส้นทาง

เพื่อหลีกเลี่ยงปัญหานี้ ให้กำหนดค่านิพจน์ URL ของรูปแบบการทดสอบใหม่และรันการทดสอบอีกครั้ง

ต่อไปนี้คือสถานการณ์อีกสองสถานการณ์ที่แสดงวิธีตั้งค่าการกำหนดเป้าหมายหน้าเว็บของคุณด้วย Convert Experiences เพื่อหลีกเลี่ยง SRM ในการทดสอบ Split URL

สถานการณ์ที่ 1: กำหนดเป้าหมายเฉพาะหน้าแรก (https://www.convert.com) ด้วย Split URL และส่งพารามิเตอร์การค้นหาทั้งหมดที่ผู้เยี่ยมชมอาจมี

ที่นี่ ในบริเวณไซต์ URL ของหน้าต้องตรงกัน ทุกประการกับ https://www.convert.com ในส่วนยกเว้น สตริงข้อความค้นหาควรมี v1=true เพื่อหลีกเลี่ยงการเปลี่ยนเส้นทางใดๆ (เนื่องจากเงื่อนไขของการทดสอบจะยังคงตรงกันหากคุณลงเอยที่ https://www.convert.com ?v1=true และการเข้าชม การกระจายอาจจะจบลงไม่เท่ากัน)

จากนั้น เมื่อคุณกำหนดรูปแบบของคุณ ให้เก็บไว้ดังนี้:

สถานการณ์ที่ 2: กำหนดเป้าหมายทุกหน้า ไม่ใช่แค่หน้าแรก (https://www.convert.com) ด้วย Split URL และส่งผ่านพารามิเตอร์การค้นหา

ที่นี่ คุณต้องกำหนดพื้นที่ไซต์ของคุณด้วย "URL ของหน้า" ที่มี https://www.convert.com ในส่วนที่ไม่รวม เคียวรีควรมี v1=true

เมื่อกำหนดรูปแบบต่างๆ ให้ใช้สูตร regex ด้านล่างเพื่อจับทุกหน้า:

การประมวลผลบันทึกการทดลอง

ที่นี่คือเหตุผลหลักสำหรับ SRM เราระบุบอทที่สามารถกำหนดเป้าหมายประสบการณ์ของคุณได้ คุณสามารถติดต่อเราเพื่อตรวจสอบบันทึกเพิ่มเติมที่เราเก็บไว้ หากพบรูปแบบที่ผิดปกติใดๆ ในตัวแทนผู้ใช้

ตัวอย่างเช่น ทีมสนับสนุนของเราได้ช่วยเหลือลูกค้าที่การทดสอบมี SRM

ในกรณีของพวกเขา เมื่อเรากรองรายงานโดย Browser=Other เราเห็นการแบ่งที่ไม่เท่ากันและ SRM แต่เมื่อเรากรองรายงานเดียวกันโดย Browser=Chrome+Safari ไม่พบ SRM และไม่มีการกระจายที่ไม่สม่ำเสมอ

ดังนั้นเราจึงตรวจสอบเหตุการณ์สองสามเหตุการณ์ที่ตั้งค่า เบราว์เซอร์ เป็น อื่นๆ และทั้งหมดแสดงตัวแทนผู้ใช้ของ “site24x7” เรารู้ทันทีว่านี่เป็นซอฟต์แวร์ตรวจสอบประเภทหนึ่ง ซึ่งโชคดีเพราะเป็นโฆษณาและใช้ตัวแทนผู้ใช้ที่แตกต่างกัน หากสิ่งนี้ถูกซ่อนอยู่หลังตัวแทนผู้ใช้ทั่วไป มันคงเป็นไปไม่ได้ที่จะหามันเจอ

เพื่อแก้ปัญหานี้ เราได้ดำเนินการเพิ่ม User-Agent นี้ในรายการบอทที่เราแยกจากการรับส่งข้อมูล ขออภัย การเปลี่ยนแปลงนี้อาจส่งผลต่อข้อมูลในอนาคต หลังจากที่เราเพิ่มบ็อตในรายการ แต่อย่างน้อยก็พบและแก้ไขแล้ว

การวิเคราะห์การทดลอง

หมวดหมู่นี้มีผลกับประสบการณ์ที่ตั้งค่าด้วยการทริกเกอร์ด้วยตนเองเป็นหลัก

สิ่งนี้เกิดขึ้นเช่นใน Single Page Applications ซึ่งคุณต้องดูแลทริกเกอร์ด้วยตัวเอง

ดังนั้น เมื่อใดก็ตามที่คุณต้องดำเนินการด้วยตนเองโดยใช้โค้ดที่คล้ายกันกับโค้ดด้านล่าง ให้ใส่ใจกับ SRM ที่เป็นไปได้ในการทดสอบของคุณอย่างใกล้ชิด

 window._conv_q = _conv_q || [];
window._conv_q.push(["run","จริง"]);

การแทรกแซงการทดลอง

นี่หมายถึงการแทรกแซงของผู้ใช้โดยที่รูปแบบใดรูปแบบหนึ่งหยุดชั่วคราวระหว่างประสบการณ์ ลองนึกภาพว่าคุณมีการทดสอบ Split URL ที่ทำงานอยู่เป็นเวลาหลายสัปดาห์ และโดยไม่ได้ตั้งใจหรือโดยตั้งใจ คุณหยุด Variation ชั่วคราวและปล่อยให้ Original ทำงานเท่านั้น

ทันทีหลังจากนั้น และขึ้นอยู่กับการเข้าชมเว็บไซต์ของคุณ คุณจะสังเกตเห็น SRM ที่คำนวณสำหรับการทดสอบของคุณ

ในกรณีนี้ คุณสามารถยกเว้นช่วงวันที่เมื่อรูปแบบหยุดชั่วคราวหรือรีเซ็ตข้อมูลประสบการณ์ได้

เหตุผลที่ไม่ใช่การทดลอง

หากหมวดหมู่ข้างต้นไม่เปิดเผยสาเหตุหลักของ SRM ของคุณ เราขอแนะนำให้คุณเพิ่มซอฟต์แวร์ติดตามข้อผิดพลาดในเว็บไซต์ของคุณ (เช่น Sentry) เพื่อระบุปัญหาที่ลึกซึ้งยิ่งขึ้นกับเว็บไซต์ของคุณ

แพลตฟอร์มการทดสอบ A/B ที่รองรับการแจ้งเตือน SRM

คุณอาจสงสัยว่าแพลตฟอร์มการทดสอบ A/B ใดสนับสนุนฟังก์ชัน SRM นี้ และแจ้งเตือนคุณโดยที่คุณไม่ต้องคำนวณเอง

เราทำการวิจัยและรวบรวมรายการเครื่องมือเสร็จแล้ว

เปลี่ยนประสบการณ์

ในเดือนธันวาคม 2021 เราได้แนะนำวิธีการ SRM ของเราเอง

หากคุณเป็นผู้ใช้ คุณสามารถเปิดใช้งานการตรวจสอบ SRM ได้จากการกำหนดค่าโปรเจ็กต์ > การตั้งค่าเพิ่มเติม

จากนั้น คุณจะเห็นแท็ก SRM ในรายงาน:

เพิ่มประสิทธิภาพ

เพิ่มประสิทธิภาพโอเพนซอร์สโซลูชันการทดสอบตามลำดับในเดือนกันยายน 2021 ที่ใครๆ ก็นำไปใช้เพื่อตรวจจับ SRM ได้

Optimizely ได้เปลี่ยน ssrm-test เป็นไมโครเซอร์วิสแบ็กเอนด์ที่พร้อมใช้งานจริง ซึ่งสามารถทำงานในการทดสอบที่ทำงานอยู่ทั้งหมดได้พร้อมกัน

ในหน้าผลลัพธ์ของ Optimizely คุณสามารถตั้งค่าการแจ้งเตือนและรับผลลัพธ์แบบเรียลไทม์จาก ssrm-test:

Michael Lindon นักสถิติพนักงาน Optimizely กล่าวว่า SRM เป็นปัญหาทั่วไปที่เกิดขึ้นเมื่อทำการทดสอบได้ไม่ดี

ในการทำการทดสอบผลิตภัณฑ์ จำเป็นต้องมีโครงสร้างพื้นฐานจำนวนมาก จึงอาจมีข้อผิดพลาดได้ ตัวอย่างเช่น หากผู้เข้าชมเว็บไซต์ไม่ถูกรวมเข้ากับรูปแบบการทดสอบอย่างสม่ำเสมอ และทำ Conversion ภายใต้เงื่อนไขเดิมและรูปแบบใหม่ ข้อมูลที่ได้รับสำหรับผู้ใช้รายนั้นจะไม่ถูกต้องสำหรับการประเมินผลกระทบของการทดสอบ

ข้อกังวลหลักคือเมื่อ SRM สร้างข้อมูลที่ไม่ถูกต้องซึ่งอาจส่งผลต่อเมตริกและตรวจไม่พบ

Adobe Target ผ่าน MiaProva

ในเดือนเมษายน 2564 Adobe Target ร่วมมือกับ MiaProva เพื่อให้การแจ้งเตือน SRM เกี่ยวกับกิจกรรม A/B

การแจ้งเตือนเหล่านี้จะแจ้งลูกค้า MiaProva ที่ใช้ Adobe Target เมื่อตรวจพบว่าไม่ตรงกัน วิธีนี้ใช้การทดสอบ Chi-Squared โดยอัตโนมัติกับการทดสอบ A/B แบบสดทุกครั้ง

GrowthBook

GrowthBook เป็นแพลตฟอร์มการทดสอบ A/B แบบโอเพนซอร์สที่มีกลไกสถิติแบบเบย์และการตรวจสอบ SRM อัตโนมัติสำหรับการทดสอบทุกครั้ง

การทดสอบทุกครั้งจะค้นหา SRM และเตือนผู้ใช้หากมีการระบุตัวตน

เมื่อคุณคาดการณ์การแบ่งการเข้าชม (เช่น 50/50) แต่เห็นบางอย่างแตกต่างไปอย่างมาก (เช่น 40/60) คุณจะได้รับคำเตือน ซึ่งจะแสดงก็ต่อเมื่อค่า p น้อยกว่า 0.001 ซึ่งบ่งชี้ว่าไม่น่าจะเกิดขึ้นโดยบังเอิญอย่างยิ่ง

ไม่ควรเชื่อถือผลการทดสอบดังกล่าว เนื่องจากอาจเป็นการหลอกลวง ดังนั้นจึงเป็นการเตือน ผู้ใช้ควรค้นหาและแก้ไขแหล่งที่มาของจุดบกพร่องก่อนที่จะเริ่มการทดสอบใหม่

Split.io

Split เป็นแพลตฟอร์มการนำส่งฟีเจอร์ที่ขับเคลื่อนการจัดการแฟล็กฟีเจอร์ การทดลองซอฟต์แวร์ และการส่งมอบอย่างต่อเนื่อง

ในการอัปเดตการคำนวณแต่ละครั้ง แพลตฟอร์ม Split จะตรวจสอบอัตราส่วนตัวอย่างเพื่อดูว่ามีความแตกต่างอย่างมากระหว่างอัตราส่วนตัวอย่างที่เป็นเป้าหมายและปัจจุบันหรือไม่ การตรวจสอบอัตราส่วนตัวอย่างนี้อาจอยู่ใต้สรุปเมตริกหลักและองค์กร พร้อมด้วยรายละเอียดที่สำคัญอื่นๆ เช่น ระยะเวลาและการอัปเดตล่าสุด

อัตราส่วนขนาดตัวอย่างไม่ตรงกัน Demystified

คุณอาจถามว่า "ปกติ" ที่จะเห็น SRM บ่อยแค่ไหน?

ลูคัส เวอร์เมียร์ พูดได้ดีที่สุด แม้แต่บริษัทเทคโนโลยีขนาดใหญ่ก็ยังสังเกตเห็นความถี่ธรรมชาติของ SRM ที่ 6% ถึง 10% ในการทดลองที่ควบคุมทางออนไลน์

ตอนนี้ หาก SRM เกิดซ้ำบ่อยขึ้น แสดงว่าต้องมีการตรวจสอบอย่างละเอียดยิ่งขึ้นเกี่ยวกับการออกแบบการทดสอบหรือเว็บไซต์

ทีมงานของเราพร้อมให้ความช่วยเหลือคุณเสมอหากคุณประสบปัญหาดังที่กล่าวมาข้างต้น! คลิกที่นี่เพื่อติดต่อทีมงานของเรา