การวิเคราะห์เมตาในการทดลองควบคุมแบบออนไลน์: การมองอย่างเป็นกลางที่พลังและข้อจำกัดของวิธีการทางวิทยาศาสตร์นี้

การวิเคราะห์เมตามีประโยชน์อย่างไรในการทดสอบ A/B และการทดสอบออนไลน์อื่นๆ

การใช้ประโยชน์จากการเรียนรู้ในอดีตเพื่อปรับปรุงการสร้างสมมติฐานมีประโยชน์หรือไม่ หรือการวิเคราะห์เมตาเป็นเพียงข้ออ้างที่ขี้เกียจเพียงใช้ “รูปแบบที่พิสูจน์แล้ว” แทนที่จะสร้างข้อมูลเฉพาะสถานการณ์เพื่อสร้างนวัตกรรมภายในธุรกิจของคุณผ่านประสบการณ์?

นี้เป็นหัวข้อการอภิปรายร้อน บางคนมีไว้สำหรับมันและบางคนก็ต่อต้านมันอย่างมาก แต่คุณจะได้รับประโยชน์จากทั้งสองมุมมองและนำคุณค่าที่เป็นรูปธรรมมาสู่โปรแกรมการทดลองของคุณได้อย่างไร

นั่นคือสิ่งที่โพสต์นี้เป็นเรื่องเกี่ยวกับ ในนั้น คุณจะ

• ทำความเข้าใจว่าจริงๆ แล้วการวิเคราะห์เมตาคืออะไร
• ดูตัวอย่างของการวิเคราะห์เมตาในการดำเนินการ
• ค้นพบว่าทำไมการวิเคราะห์เมตาเป็นแนวคิดจึงต้องได้รับการปฏิบัติด้วยความระมัดระวัง (และให้ความเคารพ) และ
• เรียนรู้ว่าทีมทดลองสามารถทำการวิเคราะห์เมตาด้วยวิธีที่ถูกต้องได้อย่างไร

และด้วยโบนัส: คุณยังจะได้เห็นผู้เชี่ยวชาญด้านการเพิ่มประสิทธิภาพอัตรา Conversion ที่รู้จักกันดีสองคนพูดคุยเรื่องนี้จากด้านตรงข้าม

เข้าเรื่องกันเลย

การวิเคราะห์เมตาคืออะไร?

การวิเคราะห์เมตาใช้สถิติในการตัดสินใจจากการวิเคราะห์ผลการทดสอบหลายรายการ มาจากโลกวิทยาศาสตร์ ซึ่งนักวิจัยรวบรวมผลลัพธ์จากการศึกษาทางการแพทย์ในประเด็นเดียวกัน และใช้การวิเคราะห์ทางสถิติเพื่อตัดสินว่าผลกระทบมีอยู่จริงหรือไม่และมีความสำคัญเพียงใด

ในการทดลองควบคุมออนไลน์ ที่เรามีการทดสอบ A/B การทดสอบหลายตัวแปร และการทดสอบแยกสำหรับการตัดสินใจและค้นหาวิธีที่มีประสิทธิภาพสูงสุดในการบรรลุเป้าหมายทางธุรกิจ เราได้ยืมการวิเคราะห์เมตาเพื่อใช้ประโยชน์จากสิ่งที่เราได้เรียนรู้ไปแล้วก่อนหน้านี้ การทดสอบเพื่อแจ้งการทดสอบในอนาคต

มาดูตัวอย่างต่าง ๆ ในป่ากัน

ตัวอย่างการวิเคราะห์เมตาในการทดลองควบคุมออนไลน์

ต่อไปนี้คือตัวอย่าง 3 ตัวอย่างของการวิเคราะห์เมตาในการทดสอบ A/B วิธีใช้งาน และสิ่งที่พบในแต่ละความพยายาม:

1. การวิเคราะห์เมตาเชิงประจักษ์ของกลยุทธ์การทดสอบ A/B ของอีคอมเมิร์ซ โดย Alex P. Miller และ Kartik Hosanagar

การวิเคราะห์เมตาการทดสอบ A/B นี้เผยแพร่ในเดือนมีนาคม 2020 นักวิเคราะห์ศึกษาการทดสอบโดยเฉพาะจากอุตสาหกรรมอีคอมเมิร์ซด้วยข้อมูลที่รวบรวมจากแพลตฟอร์มการทดสอบ SaaS A/B ประกอบด้วยการทดสอบ A/B 2,732 รายการที่ดำเนินการโดยบริษัทอีคอมเมิร์ซในสหรัฐอเมริกา 252 แห่ง ใน 7 อุตสาหกรรมในช่วง 3 ปี

พวกเขาวิเคราะห์การทดสอบเหล่านี้เพื่อให้การวิเคราะห์ที่แข็งแกร่งว่าการทดสอบอยู่ในขั้นตอนต่างๆ ของช่องทางการแปลงอีคอมเมิร์ซอย่างไร

สิ่งที่พวกเขาพบคือ:

• เมื่อเปรียบเทียบกับประเภทการทดสอบอื่นๆ การทดสอบโปรโมชันราคาและการวางตำแหน่งในหน้าหมวดหมู่จะสัมพันธ์กับขนาดเอฟเฟกต์ที่ใหญ่ที่สุด
• หลักฐานที่แสดงว่าการตอบสนองของผู้บริโภคต่อโปรโมชั่นที่แตกต่างกันนั้นขึ้นอยู่กับว่าโปรโมชั่นเหล่านั้นอยู่ในตำแหน่งใดภายในไซต์อีคอมเมิร์ซ
• แม้ว่าโปรโมชันที่เกี่ยวกับราคาผลิตภัณฑ์จะมีประสิทธิภาพสูงสุดในช่วงเริ่มต้นของกระบวนการ Conversion แต่โปรโมชันที่เกี่ยวข้องกับการจัดส่งจะมีประสิทธิภาพมากที่สุดในช่วงท้ายของกระบวนการ Conversion (ในหน้าผลิตภัณฑ์และการชำระเงิน)

ลองดูอีกตัวอย่างหนึ่งและสิ่งที่ผู้วิจัยพบ…

2. สิ่งที่ใช้ได้ผลในอีคอมเมิร์ซ — การวิเคราะห์เมตาของการทดลอง 6,700 รายการ โดย Will Browne และ Mike Swarbrick Jones

ด้วยข้อมูลจากการทดลองอีคอมเมิร์ซขนาดใหญ่ 6,700 รายการซึ่งส่วนใหญ่อยู่ในภาคการค้าปลีกและการเดินทาง บราวน์และโจนส์ได้ศึกษาผลกระทบของการเปลี่ยนแปลง 29 ประเภทและประเมินผลกระทบสะสมต่อรายได้ เผยแพร่ในเดือนมิถุนายน 2560

ตามชื่อบทความ เป้าหมายคือการสำรวจว่าอะไรทำงานได้ดีในอีคอมเมิร์ซโดยใช้การวิเคราะห์เมตาขนาดใหญ่ นั่นคือวิธีที่พวกเขาสามารถมาถึงบทสรุปอันทรงพลังนี้ได้: การเปลี่ยนแปลงรูปลักษณ์ของไซต์มีผลกระทบต่อรายได้เพียงเล็กน้อยมากกว่าการเปลี่ยนแปลงที่มีพื้นฐานมาจากจิตวิทยาเชิงพฤติกรรม

เมตริกรายได้ต่อผู้เข้าชม (RPV) ใช้เพื่อวัดผลกระทบนี้ ดังนั้น ในผลลัพธ์ของพวกเขา การเพิ่มขึ้น +10% จากการทดสอบหมายความว่า RPV เพิ่มขึ้น 10% ในการทดสอบนั้น

ต่อไปนี้เป็นข้อค้นพบอื่นๆ จากการวิเคราะห์:

• นักแสดงที่ดีที่สุด (ตามหมวดหมู่) ได้แก่:
  
  
  • ความขาดแคลน (ตัวชี้หุ้น เช่น “เหลือเพียง 3 รายการเท่านั้น”): +2.9%
  • หลักฐานทางสังคม (แจ้งผู้ใช้ถึงพฤติกรรมของผู้อื่น): +2.3%
  • ความเร่งด่วน (ตัวนับเวลาถอยหลัง): +1.5%
  • การกู้คืนการละทิ้ง (การส่งข้อความถึงผู้ใช้เพื่อให้พวกเขาอยู่ในไซต์): +1.1%
  • คำแนะนำผลิตภัณฑ์ (ขายต่อ ต่อยอด ฯลฯ): +0.4%
• แต่การเปลี่ยนแปลงรูปลักษณ์ของ UI เช่นการเปลี่ยนแปลงด้านล่างไม่ได้ผล:
  
  
  • สี (เปลี่ยนสีขององค์ประกอบหน้าเว็บ): +0.0%
  • ปุ่ม (แก้ไขปุ่มเว็บไซต์): -0.2%
  • คำกระตุ้นการตัดสินใจ (เปลี่ยนข้อความ): -0.3%
• 90% ของการทดลองมีผลกระทบน้อยกว่า 1.2% ต่อรายได้ บวกหรือลบ
• หลักฐานเพียงเล็กน้อยที่แสดงว่าการทดสอบ A/B นำไปสู่การเพิ่มรายได้เป็นเลขสองหลักซึ่งมักแสดงในกรณีศึกษา

ตอนนี้รอ ก่อนที่คุณจะนำผลการวิเคราะห์เมตาเหล่านี้เป็นพระกิตติคุณ คุณจำเป็นต้องรู้ว่าการวิเคราะห์เมตาของการทดลองออนไลน์นั้นมีข้อจำกัด เราจะพูดถึงเรื่องนี้ในภายหลัง

3. การวิเคราะห์เมตาของการทดสอบ A/B 115 รายการบน GoodUI.org โดย Georgi Georgiev

ในเดือนมิถุนายน 2018 ผู้เชี่ยวชาญด้านการทดลองออนไลน์และผู้เขียน “วิธีการทางสถิติในการทดสอบ A/B ออนไลน์”, Georgi Georgiev วิเคราะห์การทดสอบ A/B ที่เปิดเผยต่อสาธารณะ 115 รายการบน GoodUI.org

GoodUI.org เผยแพร่คอลเล็กชันผลการทดลอง ซึ่งรวมถึงรูปแบบ UI ที่ค้นพบใหม่ และบริษัทที่ขับเคลื่อนด้วยการทดลองอย่าง Amazon, Netflix และ Google กำลังเรียนรู้จากการทดสอบของพวกเขา

เป้าหมายของ Georgi คือการเปรียบเทียบและวิเคราะห์ข้อมูลนี้เพื่อเปิดเผยผลลัพธ์โดยเฉลี่ยของการทดสอบ และให้แนวคิดเกี่ยวกับแนวทางปฏิบัติทางสถิติที่ดีขึ้นเมื่อออกแบบและดำเนินการวิเคราะห์เมตาดาต้าของการทดสอบ A/B

เขาเริ่มต้นด้วยการตัดชุดข้อมูลเริ่มต้นและทำการปรับเปลี่ยนทางสถิติ ซึ่งรวมถึงการลบ:

• ทดสอบความไม่สมดุลระหว่างจำนวนผู้ใช้ที่ส่งไปสัมผัสการควบคุมกับผู้ที่ส่งไปสัมผัสผู้ท้าชิง และ
• การทดสอบที่ถูกบุกรุก (เห็นได้จากพลังทางสถิติที่ต่ำอย่างไม่สมจริง)

เขาวิเคราะห์การทดสอบที่เหลืออีก 85 รายการ และพบว่าเปอร์เซ็นต์การเพิ่มขึ้นเฉลี่ย 3.77% และค่ามัธยฐานที่เพิ่มขึ้นคือ 3.92% เมื่อดูการกระจายด้านล่าง คุณจะเห็นว่า 58% ของการทดสอบ (นั่นคือส่วนใหญ่) มีผลที่สังเกตได้ (เพิ่มขึ้น %) ระหว่าง -3% ถึง +10%

สิ่งสำคัญที่ควรทราบคือข้อมูลนี้แสดงถึงชุดข้อมูลนี้ ไม่ใช่การทดสอบ A/B ทั้งหมดที่เคยทำมา นอกจากนี้ เราต้องพิจารณาถึงความลำเอียงในการตีพิมพ์ (ข้อเสียประการหนึ่งของการวิเคราะห์เมตาที่เราจะพูดถึงในภายหลัง)

อย่างไรก็ตาม การวิเคราะห์เมตานี้มีประโยชน์ต่อเครื่องมือเพิ่มประสิทธิภาพอัตรา Conversion และผู้มีส่วนได้ส่วนเสียในการเพิ่มประสิทธิภาพอื่นๆ เพื่อให้เข้าใจว่าการวัดประสิทธิภาพภายนอกมีอะไรบ้างในการทดสอบ A/B

สนใจทำการวิเคราะห์เมตาดาต้า A/B ของคุณเองไหม

คุณสามารถเข้าถึงชุดข้อมูลเดียวกันกับที่จอร์จีใช้ เผยแพร่ต่อสาธารณะบน GoodUI.org ซึ่งเป็นคลังเก็บผลลัพธ์ที่กลั่นกรองจากการทดสอบ A/B ที่ดำเนินการข้ามแพลตฟอร์ม อุตสาหกรรม และสำหรับปัญหาหลักที่แตกต่างกัน

มีคอลเล็กชันผลการทดสอบ A/B อื่นๆ เช่นนี้ (คุณสามารถสร้างผลลัพธ์ของคุณได้ด้วยการดึงข้อมูลจากตัวอย่างการทดสอบ A/B จำนวนมากและกรณีศึกษา ) แต่ GoodUI นั้นไม่เหมือนใคร คุณจะได้รับข้อมูลทางสถิติเพิ่มเติมเกี่ยวกับการทดสอบซึ่งไม่สามารถทำได้หากคุณท่องเว็บและรวบรวมกรณีศึกษา

อีกสองสามสิ่งที่ทำให้ GoodUI ไม่เหมือนใคร:

• ไม่เลือกปฏิบัติบนพื้นฐานของผลการทดสอบ ซึ่งรวมถึงการทดสอบที่ชนะ สรุปไม่ได้ แบน และเชิงลบเพื่อต่อสู้กับอคติในการตีพิมพ์ในการวิเคราะห์เมตา ซึ่งเป็นปัญหาจริงตามที่ระบุไว้ใน “การวิเคราะห์เมตา แผนภาพช่องทาง และการวิเคราะห์ความไว” โดย John Copas และ Jian Qing Shi
  
  ความลำเอียงในการตีพิมพ์เป็นความชอบสำหรับการเผยแพร่งานวิจัยขนาดเล็ก หากผลการศึกษามี 'นัยสำคัญ' มากกว่าการศึกษาที่มีผลเชิงลบหรือไม่สามารถสรุปผลได้ คุณไม่สามารถแก้ไขสิ่งนี้ได้โดยไม่ตั้งสมมติฐานที่ไม่สามารถทดสอบได้

• GoodUI ก้าวไปอีกขั้น ผลการวิเคราะห์อภิมานมักถูกฝังอยู่ในเอกสารการวิจัย พวกเขาแทบไม่เคยนำไปใช้จริงเลย โดยเฉพาะทีมทดลองที่ยังไม่โตเต็มที่
  
  ด้วยรูปแบบ GoodUI เป็นไปได้ที่เครื่องมือเพิ่มประสิทธิภาพที่อยากรู้อยากเห็นสามารถเจาะลึกการเปลี่ยนแปลงเปอร์เซ็นต์ที่สังเกตได้ การคำนวณนัยสำคัญทางสถิติ และช่วงความเชื่อมั่น พวกเขายังสามารถใช้การประเมินของ GoodUI ว่าผลลัพธ์มีความแข็งแกร่งเพียงใด โดยมีค่าที่เป็นไปได้ของ "ไม่สำคัญ" "เป็นไปได้" "สำคัญ" และ "แข็งแกร่ง" ไปในทั้งสองทิศทางสำหรับแต่ละรูปแบบ Conversion คุณสามารถพูดได้ว่า "ทำให้เป็นประชาธิปไตย" ข้อมูลเชิงลึกจากการวิเคราะห์เมตาของการทดสอบ A/B

• อย่างไรก็ตาม มีปัญหาที่นี่ ผู้ทดลองที่อาจไม่ทราบถึงปัญหาที่รบกวนการวิเคราะห์เมตา—ความแตกต่างและความเอนเอียงในการตีพิมพ์—บวกกับข้อเท็จจริงที่ว่าผลการวิเคราะห์เมตานั้นขึ้นอยู่กับคุณภาพของการวิเคราะห์เมตาด้วยตัวมันเอง อาจหันเหไปยังขอบเขตของการคัดลอกรูปแบบสุ่มสี่สุ่มห้า
  
  แต่ควรดำเนินการวิจัยของตนเองและทำการทดสอบ A/B การไม่ดำเนินการดังกล่าวล่าช้า (ถูกต้อง) ทำให้เกิดความกังวลในพื้นที่ CRO

แหล่งข้อมูลกรณีศึกษาการทดสอบ A/B อื่นที่คุณสามารถเจาะลึกรายละเอียดที่คล้ายกันในการทดสอบบางอย่าง เช่น GoodUI คือ GuessTheTest

การวิเคราะห์เมตา - ใช่หรือไม่ใช่

จิตใจที่ฉลาดจะมองหารูปแบบ นั่นคือวิธีที่คุณย่อเส้นทางจากปัญหาหนึ่งไปอีกวิธีหนึ่งในครั้งต่อไปที่คุณพบกับปัญหาที่คล้ายคลึงกัน

รูปแบบเหล่านี้นำคุณไปสู่คำตอบในเวลาที่บันทึก นั่นเป็นเหตุผลที่เรามีแนวโน้มที่จะเชื่อว่าเราสามารถนำสิ่งที่เราได้เรียนรู้จากการทดลอง รวบรวม และอนุมานรูปแบบได้

แต่เป็นสิ่งที่แนะนำให้ทีมทดลองทำหรือไม่?

อะไรคือข้อโต้แย้งสำหรับและต่อต้านการวิเคราะห์เมตาในการทดลองควบคุมออนไลน์? คุณสามารถหาจุดกึ่งกลางที่ได้รับสิ่งที่ดีที่สุดของทั้งสองโลกได้หรือไม่?

เราถามเสียงที่เปล่งออกมามากที่สุดสองคนในขอบเขตของการทดลอง (ด้วยความเคารพ) มุมมองที่หลากหลายเกี่ยวกับการวิเคราะห์เมตาของพวกเขา

Jonny Longden และ Jakub Linowski คือเสียงที่คุณวางใจได้

ยาคุบ ลิโนฟสกี้

จอนนี่ ลองเดน

การวิเคราะห์เมตา — เหยียบด้วยความระมัดระวัง?

ในการอภิปรายข้างต้น Jonny ได้ชี้ให้เห็นถึงปัญหาสองประการที่อาจเกิดขึ้นกับการใช้ข้อมูลการวิเคราะห์เมตาในการทดสอบออนไลน์ที่ต้องการให้ผู้ปฏิบัติงาน CRO ดำเนินการด้วยความระมัดระวัง

• ปัญหา #1: การใช้ผลลัพธ์โดยไม่ต้องทดสอบ
  “ถ้ามันใช้ได้กับบริษัทนั้น มันก็ควรจะทำงานให้เราด้วย” นี่อาจกลายเป็นการคิดที่ผิดพลาดเพราะมีความแตกต่างในการทดสอบที่ไม่ได้เป็นส่วนหนึ่งของผลลัพธ์ที่คุณกำลังตรวจสอบ
  
  การทดสอบหลายๆ ครั้งอาจแสดงให้เห็นวิธีแก้ปัญหาง่ายๆ แต่นั่นเป็นเพียงความน่าจะเป็นที่อาจทำงานได้ดีกว่าโซลูชันอื่นๆ เล็กน้อย และไม่ใช่คำตอบที่ชัดเจนว่าจะใช้ได้บนเว็บไซต์ของคุณ

• ปัญหา #2: คุณไม่สามารถจัดประเภทการทดสอบได้อย่างง่ายดาย
  ดังที่กล่าวไว้ใน #1 ผลลัพธ์เหล่านั้นไม่ได้แสดงเรื่องราวที่สมบูรณ์และเหมาะสมยิ่งเบื้องหลังการทดสอบ คุณไม่เห็นว่าทำไมการทดสอบจึงเกิดขึ้น มาจากที่ใด ปัญหาก่อนหน้าที่มีอยู่บนเว็บไซต์ ฯลฯ
  
  คุณจะเห็นว่าเป็นเพียงการทดสอบคำกระตุ้นการตัดสินใจในหน้าผลิตภัณฑ์ เป็นต้น แต่ฐานข้อมูลการวิเคราะห์เมตาจะจัดเรียงสิ่งเหล่านี้เป็นรูปแบบเฉพาะ แม้ว่าจะไม่ได้จัดอยู่ในรูปแบบเหล่านั้นอย่างเรียบร้อยก็ตาม

สิ่งนี้มีความหมายอย่างไรสำหรับคุณ ผู้ใช้ฐานข้อมูลการวิเคราะห์เมตาในการทดสอบ A/B หรือนักวิจัย CRO ที่รวบรวมฐานข้อมูลการวิเคราะห์เมตาของคุณเองเพื่อดึงข้อมูลการเรียนรู้

ไม่ได้หมายความว่าการวิเคราะห์เมตาจะเกินขีดจำกัด แต่คุณควรระมัดระวังเมื่อใช้งาน คุณควรใช้ความระมัดระวังแบบใด?

อย่าประนีประนอมการทดสอบที่เข้มงวดและการแสวงหานวัตกรรม

โปรดจำไว้ว่าการวิเคราะห์เมตาเป็นแนวคิดทางสถิติจากชุมชนทางการแพทย์ที่มีการควบคุมการทดลองอย่างหนักเพื่อให้แน่ใจว่าสามารถทำซ้ำได้ในการค้นพบ

สภาพแวดล้อมและปัจจัยอื่น ๆ โดยรอบการสังเกตนั้นทำซ้ำในการทดลองหลายครั้ง แต่นั่นไม่เหมือนกันกับการทดลองออนไลน์ การวิเคราะห์เมตาของการทดลองออนไลน์จะดึงข้อมูลมารวมกันโดยไม่คำนึงถึงความแตกต่างเหล่านี้

เว็บไซต์หนึ่งมีความแตกต่างอย่างสิ้นเชิงและแตกต่างอย่างสิ้นเชิงจากเว็บไซต์อื่น เนื่องจากมีผู้ชมที่แตกต่างกันมากและมีสิ่งต่างๆ เกิดขึ้นแตกต่างกันมาก แม้ว่าจะดูเหมือนค่อนข้างคล้ายกัน แม้ว่าจะเป็นผลิตภัณฑ์เดียวกัน แต่ก็ยังมีความแตกต่างกันอย่างสิ้นเชิงในล้านล้านวิธี ดังนั้นคุณจึงไม่สามารถควบคุมได้

จอนนี่ ลองเดน

ท่ามกลางข้อจำกัดอื่นๆ สิ่งนี้ส่งผลต่อคุณภาพของสิ่งที่เราได้รับอนุญาตให้เรียกว่าการวิเคราะห์เมตาที่แท้จริง

ดังนั้น ในที่ที่คุณไม่มั่นใจในระดับของความแข็งแกร่งทางสถิติที่เข้าสู่การทดสอบและการวิเคราะห์เมตาของการทดสอบ คุณสามารถใช้ด้วยความระมัดระวังอย่างยิ่งตามที่พระอิศวร Manjunath แนะนำเท่านั้น

เป้าหมายของการวิเคราะห์เมตาไม่ควรจะคัดลอกคู่แข่ง การก้าวข้ามจากการใช้ประโยชน์จากการวิเคราะห์เมตาไปเป็นการคัดลอกแบบตรงไปตรงมาผลักดันขอบเขตของความน่าเชื่อถือ เจตนาเบื้องหลัง "การคัดลอก" มีความแตกต่างกัน ดังนั้นจึงแทบจะไม่ใช่สถานการณ์ขาวดำ

ความคิดเห็นเกี่ยวกับโพสต์ของเดโบราห์ด้านบนนั้นหลากหลาย การคัดลอกในระดับหนึ่งเป็นเรื่องปกติ แต่การหักโหมเป็นสิ่งที่อันตราย:

ตามที่ Jakub เห็นด้วย เราจะต้องระมัดระวังในการคัดลอก โดยเฉพาะอย่างยิ่งเมื่อต้องตรวจสอบความถูกต้องของรูปแบบที่เราสังเกตจากการทดลอง

อย่างไรก็ตาม สิ่งที่เราควรป้องกันคือ การทดลองทำสินค้า ให้เป็นสินค้า นั่นคือ การใช้รูปแบบและข้อมูลเชิงลึกจากการวิเคราะห์เมตาเป็นแนวทางปฏิบัติที่ดีที่สุดเพื่อแทนที่การวิจัยในการทดลอง แทนที่จะชมเชยว่าข้อมูลเฉพาะสถานการณ์ต้องบอกอะไร

ดังนั้น ให้เริ่มด้วยการทำความเข้าใจปัญหาที่คุณต้องการแก้ไข และระบุประเภทของการแทรกแซงที่น่าจะประสบความสำเร็จมากที่สุด นั่นคือจุดที่การวิเคราะห์เมตาของข้อมูลการทดสอบแบบเดิมสนับสนุนกลยุทธ์การเพิ่มประสิทธิภาพที่ไม่เหมือนใครได้ดีที่สุด

การวิเคราะห์เมตา — การอัดจารบีของมู่เล่ทดลอง?

มู่เล่ทดลองมีวิธีการรีไซเคิลโมเมนตัม เมื่อคุณทำการทดลองเป็นครั้งแรก คุณต้องใช้แรงเฉื่อยจำนวนมากเพื่อทำให้สิ่งต่างๆ เคลื่อนไหว

แนวคิดของมู่เล่สำหรับการทดลองคือการใช้ประโยชน์จากโมเมนตัมนั้นเพื่อทำการทดสอบมากขึ้นและทำการทดสอบอีกครั้ง ดีขึ้นเรื่อยๆ และทำการทดสอบมากขึ้นเรื่อยๆ

และนั่นคือสิ่งที่การวิเคราะห์เมตาสามารถช่วยได้ ในมู่เล่:

1. คุณทำการทดสอบเพื่อหวังว่าจะตรวจสอบสมมติฐานของคุณ (และอาจปฏิเสธบางส่วนในกระบวนการนี้)
2. วัดมูลค่าที่พวกเขาเพิ่มให้กับการตัดสินใจ
3. กระตุ้นให้เกิดความสนใจและซื้อในการทดสอบ A/B มากขึ้น
4. ลงทุนในโครงสร้างพื้นฐานการทดสอบ A/B และปรับปรุงคุณภาพข้อมูลของคุณ
5. ลดค่าใช้จ่ายของมนุษย์ในการทดสอบ A/B เพื่อให้ขั้นตอนต่อไปเริ่มต้นขึ้นโดยใช้ความพยายามน้อยกว่ารอบที่แล้ว

แต่ในฐานะองค์กรที่ขับเคลื่อนด้วยข้อมูล คุณไม่ได้หยุดอยู่แค่นั้นเพราะคุณเข้าใจถึงพลังของการทดสอบ A/B คุณต้องการสร้างจากการลงทุนในการทดสอบครั้งแรกของคุณเพื่อตรวจสอบหรือปฏิเสธสมมติฐานเพิ่มเติม

หากไม่มีข้อมูลเชิงลึกหรือความรู้เบื้องต้นนั้น ความเฉื่อยที่จะทำให้มู่เล่ของคุณเคลื่อนที่จะมากเกินไป การแบ่งปันความรู้นี้ (การทำให้ข้อมูลการทดสอบ A/B เป็นประชาธิปไตย) เป็นแรงบันดาลใจและทำให้ผู้อื่นสามารถใช้แนวทางการทดลองได้โดยการลดอุปสรรคด้านความรู้

สิ่งนี้ทำให้เราถึงจุด #1 ของการวิเคราะห์เมตาที่ทำให้มู่เล่ทดลอง:

1. การวิเคราะห์เมตาอาจลดเวลาในการตั้งสมมติฐานเกี่ยวกับแนวคิด
   คุณสามารถใช้สิ่งที่คุณได้เรียนรู้ ข้อมูลเชิงลึก และทั้งหมด จากการทดสอบครั้งก่อนเพื่อสร้างสมมติฐานใหม่ได้อย่างง่ายดาย สิ่งนี้จะเพิ่มจำนวนการทดสอบที่คุณดำเนินการ และเป็นวิธีที่ยอดเยี่ยมในการเร่งความเร็วมู่เล่สำหรับการทดสอบ A/B
   
   เราใช้เวลาน้อยลงในการทำซ้ำรูปแบบที่สร้างไว้แล้ว และใช้เวลามากขึ้นในการแกะสลักเส้นทางใหม่โดยอิงจากสิ่งที่เราได้เรียนรู้ในการทดลองครั้งก่อน

2. การวิเคราะห์เมตาสามารถนำไปสู่อัตราการทำนายที่ดีขึ้นด้วยข้อมูลที่ผ่านมา
   อีกวิธีหนึ่งที่การเรียนรู้ที่ขับเคลื่อนด้วยการทดลองในอดีตจะทำให้มู่เล่ทดลองหมุนเร็วขึ้นคือเมื่อรวมกับข้อมูลปัจจุบันเพื่อสร้างสมมติฐานใหม่
   
   สิ่งนี้อาจช่วยปรับปรุงผลกระทบที่สังเกตได้ในการทดสอบ A/B ในอนาคต
   
   การนำการทดสอบ A/B ไปใช้ไม่ได้รับประกันว่าจะเห็นผลที่คุณต้องการ เนื่องจากอัตราการค้นพบที่ผิดพลาด (FDR) สำหรับการทดสอบที่มีนัยสำคัญ 95% อยู่ระหว่าง 18% ถึง 25% และมีเพียง 70% ของการทดสอบที่ตรวจสอบแล้วซึ่งนำไปสู่ข้อสรุปนี้มีอำนาจเพียงพอ
   
   อัตราการค้นพบที่ผิดพลาดคือเศษส่วนของผลการทดสอบ A/B ที่มีนัยสำคัญซึ่งเป็นผลเป็นโมฆะ เพื่อไม่ให้เข้าใจผิดว่าเป็น false positive หรือ type I error

3. สุดท้าย การวิเคราะห์เมตาอาจเป็นวิธีสร้างความเชื่อมั่นในผลการทดสอบที่สรุปไม่ได้
   ระดับความเชื่อมั่นช่วยให้คุณเชื่อมั่นว่าผลการทดสอบของคุณไม่ได้เกิดจากโอกาสที่แท้จริง หากคุณมีไม่เพียงพอ คุณอาจติดแท็กการทดสอบนั้นว่า "สรุปไม่ได้" แต่อย่ารีบร้อน
   
   ทำไม ตามสถิติ คุณสามารถสะสมค่า p ที่ไม่มีนัยสำคัญเพื่อให้ได้ผลลัพธ์ที่มีนัยสำคัญ ดูโพสต์ด้านล่าง:

การวิเคราะห์เมตามีประโยชน์หลักสองประการ: 1) ช่วยเพิ่มความแม่นยำของการประมาณผลกระทบ และ 2) เพิ่มความทั่วไปของผลการวิจัย

ที่มา: ดี ร้าย และน่าเกลียด: การวิเคราะห์เมตา โดย Madelon van Wely

เนื่องจากการวิเคราะห์เมตาจะปรับและแก้ไขทั้งขนาดผลกระทบและระดับนัยสำคัญ เราจึงสามารถใช้ผลลัพธ์มาตรฐานที่สูงกว่าดังกล่าวได้เช่นเดียวกับการทดสอบอื่นๆ ซึ่งรวมถึง:

1) เพื่อทำการคำนวณกำลัง/การประมาณขนาดตัวอย่างสำหรับการทดลองของตนเอง (โดยใช้ข้อมูลจริงแทนการคาดเดาตามอัตนัย)

2) เพื่อทำการตัดสินใจทดลองหาประโยชน์ ในกรณีที่บางคนรู้สึกว่าจำเป็นต้องมีความมั่นใจเพิ่มเติม พวกเขาอาจตัดสินใจทำการทดสอบเพิ่มเติมด้วยตนเอง ในกรณีที่มีคนพบหลักฐานจากการวิเคราะห์เมตาเพียงพอ พวกเขาอาจดำเนินการเร็วกว่านี้โดยไม่ต้องทำการทดลองเพิ่มเติม

ยาคุบ ลิโนฟสกี้

ด้วยวิธีการต่างๆ ที่การวิเคราะห์เมตาสามารถช่วยให้โปรแกรมการทดลองของคุณได้รับโมเมนตัมมากขึ้น สิ่งสำคัญคือต้องจำไว้ว่าการวิเคราะห์นั้นต้องทนทุกข์ทรมานจากข้อจำกัดที่เป็นที่ทราบกันดี

หากคุณเลือกที่จะดำเนินการ (และใช้) การวิเคราะห์เมตา - คำนึงถึงสิ่งต่อไปนี้

ใช่ การรวมผลลัพธ์ของการทดลองด้วยวิธีการวิเคราะห์เมตาสามารถปรับปรุงความแม่นยำทางสถิติได้ แต่นั่นไม่ได้ช่วยขจัดปัญหาพื้นฐานของชุดข้อมูลเริ่มต้น เช่น...

การทดสอบคุณภาพต่ำรวมอยู่ในการวิเคราะห์

หากการทดสอบที่รวมอยู่ในการวิเคราะห์เมตาได้รับการตั้งค่าไม่ดีและมีข้อผิดพลาดทางสถิติ ไม่ว่าตัววิเคราะห์เมตาจะแม่นยำเพียงใด พวกเขาก็จะได้รับผลลัพธ์ที่ไม่ถูกต้อง

อาจมีการจัดสรรขนาดตัวอย่างไม่เท่ากันในการทดสอบ A/B กำลังหรือขนาดกลุ่มตัวอย่างไม่เพียงพอ หรือมีหลักฐานการแอบดู ไม่ว่ากรณีใด ผลลัพธ์เหล่านั้นมีข้อบกพร่อง

สิ่งที่คุณสามารถทำได้เพื่อหลีกเลี่ยงข้อจำกัดนี้คือการเลือกผลการทดสอบของคุณอย่างระมัดระวัง ขจัดผลลัพธ์ที่น่าสงสัยออกจากชุดข้อมูลของคุณ คุณยังสามารถคำนวณนัยสำคัญทางสถิติและช่วงความเชื่อมั่นใหม่สำหรับการทดสอบที่คุณเลือกรวม และใช้ค่าใหม่ในการวิเคราะห์เมตาของคุณ

ความแตกต่าง

นี่เป็นการรวมผลการทดสอบที่ไม่ควรใส่ในถังเดียวกันตั้งแต่แรก ตัวอย่างเช่น เมื่อวิธีการที่ใช้ในการทดสอบแตกต่างกัน (การวิเคราะห์ทางสถิติแบบ Bayesian vs Frequentist, ความแตกต่างเฉพาะแพลตฟอร์มการทดสอบ A/B เป็นต้น)

นี่เป็นข้อจำกัดทั่วไปของการวิเคราะห์เมตา โดยที่นักวิเคราะห์จะเพิกเฉยต่อความแตกต่างที่สำคัญระหว่างการศึกษาทั้งโดยรู้เท่าทันหรือโดยไม่รู้ตัว

คุณสามารถดูข้อมูลเชิงปริมาณดิบเพื่อต่อสู้กับความแตกต่าง ดีกว่าการรวมเพียงสรุปผลการทดสอบ นั่นหมายถึงการคำนวณผลลัพธ์ของการทดสอบ A/B แต่ละครั้ง สมมติว่าคุณมีสิทธิ์เข้าถึงข้อมูล

อคติการตีพิมพ์

'ปัญหาลิ้นชักไฟล์' หรือที่เรียกว่า 'ปัญหาลิ้นชักไฟล์' นี่เป็นปัญหาที่น่าอับอายที่สุดเกี่ยวกับการวิเคราะห์เมตา เมื่อทำการวิเคราะห์เมตากับข้อมูลที่เปิดเผยต่อสาธารณะ คุณจะถูกจำกัดให้รวมผลลัพธ์เหล่านั้นเพื่อเผยแพร่

แล้วพวกที่ไม่ผ่านล่ะ? สิ่งพิมพ์มักจะสนับสนุนผลลัพธ์ที่มีนัยสำคัญทางสถิติและมีผลการรักษาที่สำคัญ เมื่อข้อมูลนี้ไม่แสดงในการวิเคราะห์เมตา ผลลัพธ์จะแสดงเฉพาะข้อมูลที่เผยแพร่เท่านั้น

คุณสามารถระบุความเอนเอียงของสิ่งพิมพ์ด้วยแผนภาพช่องทางและสถิติที่เกี่ยวข้อง

ดังนั้นคุณจะไปหาการทดสอบ A/B ที่ไม่ได้ทำกับกรณีศึกษาหรือฐานข้อมูลการวิเคราะห์เมตา A/B จากที่ไหน แพลตฟอร์มการทดสอบ A/B อยู่ในตำแหน่งที่ดีที่สุดในการให้ข้อมูลเกี่ยวกับการทดสอบโดยไม่คำนึงถึงผลลัพธ์ นั่นคือตัวอย่างที่ 1 และ 2 ในบทความนี้โชคดี