สถิติการทดสอบ A/B: เหตุใดสถิติจึงมีความสำคัญในการทดลอง

คู่มือฉบับย่อเกี่ยวกับสถิติและการทดสอบ A/B: ข้อกำหนดที่คุณต้องรู้

แทบจะเป็นไปไม่ได้เลยที่จะทำการทดสอบ A/B ที่สมเหตุสมผลโดยไม่ต้องยึดหลักสถิติ

แม้ว่าแพลตฟอร์มอย่าง Convert Experiences จะดูแลการวัดทางสถิติ การให้เหตุผล และการวิเคราะห์ทั้งหมดให้คุณ แต่การมีความเข้าใจพื้นฐานเกี่ยวกับคำศัพท์ทางสถิติจะช่วยคุณได้อย่างแน่นอน

เริ่มจากพื้นฐานกันก่อน

ตัวอย่างและประชากร

การใช้การเข้าชมเว็บไซต์ของคุณทั้งหมดสำหรับการทดสอบ A/B ในทางทฤษฎี จะทำให้คุณมีแนวคิดทั่วไปเกี่ยวกับประชากรของคุณ อย่างไรก็ตาม นี่อาจเป็นการใช้ทรัพยากรอย่างไม่เหมาะสม เนื่องจากประชากรทั้งหมดไม่สามารถจับได้ นี่คือจุดที่ตัวอย่างมีประโยชน์ แม้ว่าจะมีวิธีการสุ่มตัวอย่างที่แตกต่างกัน การใช้วิธีการสุ่มตัวอย่างแบบสุ่มช่วยให้มั่นใจได้ว่าไม่มีอคติโดยธรรมชาติในการเลือกตัวอย่าง แนวทางนี้ได้รับแรงบันดาลใจจากแนวปฏิบัติด้านเภสัชศาสตร์และการแพทย์ของการทดลองควบคุมแบบสุ่ม

ค่าเฉลี่ย ค่ามัธยฐาน และโหมด

ในแง่ที่ง่ายที่สุด ค่าเฉลี่ย หมายถึงค่าเฉลี่ย ค่ามัธยฐานหมายถึงค่าที่อยู่ตรงกลางเมื่อตัวเลขทั้งหมดอยู่ในแนวเส้นตรง (เปอร์เซ็นต์ไทล์ที่ 50 ในการ ^{แจกแจง} ) และโหมดคือค่าที่ซ้ำกันมากที่สุด คำศัพท์สามคำนี้มีประโยชน์เมื่อคุณดูสถิติสรุปของการทดสอบ A/B

ความแปรปรวนและความเบี่ยงเบนมาตรฐาน

แนวคิดเหล่านี้เป็นแนวคิดที่สำคัญมากในการวัดการกระจายตัวในจุดข้อมูล กล่าวอีกนัยหนึ่งว่าข้อมูลอยู่ห่างจากค่าเฉลี่ยเท่าใด ส่วนเบี่ยงเบนมาตรฐานคือรากที่สองของความแปรปรวน นี่คือเหตุผลที่ค่าเบี่ยงเบนมาตรฐานเป็นตัวตัดสินการกระจายตัวที่ดีกว่า เนื่องจากมีหน่วยวัดเดียวกันกับค่าเฉลี่ย ตัวอย่างเช่น ความสูงเฉลี่ยของผู้ชายที่เป็นผู้ใหญ่ในสหรัฐอเมริกาคือ 70 นิ้ว โดยมีค่าเบี่ยงเบนมาตรฐานอยู่ที่ 3 นิ้ว หากเราใช้ความแปรปรวนในตัวอย่างนี้ ค่าจะเป็น 9 นิ้วยกกำลังสอง ดังนั้นจึงใช้สัญชาตญาณน้อยลง คิดว่าค่าเบี่ยงเบนมาตรฐานเป็นส่วนเบี่ยงเบน "ปกติ" ของข้อมูล

สมมติฐานว่างและสำรอง

อา Null Hypothesis ดึงดูดสถานะที่เป็นอยู่ สมมุติฐานว่างของคุณจะระบุว่าการเปลี่ยนแปลงใดๆ ที่คุณสังเกตเห็นในข้อมูล เช่น การยก เป็นเพราะการสุ่มโดยแท้จริง สมมติฐานสำรองคือการเปลี่ยนแปลงนั้นไม่ใช่การสุ่ม แต่เป็นการบ่งชี้ถึงผลกระทบเชิงสาเหตุ หมายความว่าการเปลี่ยนแปลงของคุณมีผลกระทบต่อผู้ใช้ของคุณ

ตัวอย่างเช่น สมมติว่าคุณกำลังพยายามสร้างหัวข้อที่ดีที่สุดสำหรับหน้า Landing Page ของคุณ คุณมีตัวเลือกการควบคุมและตัวเลือกอื่น คุณทำการทดสอบ A/B และรับอัตรา Conversion ที่แตกต่างกันสำหรับทั้งคู่ ดังนั้นจึงมีการเพิ่มขึ้น (บวกหรือลบ) สมมติฐานว่างในที่นี้คือความแตกต่างนั้นเกิดจากการสุ่ม สมมติฐานสำรองจะระบุว่าการเปลี่ยนแปลงนั้นมาจากตัวแปรบางอย่าง

เมื่อทำการทดสอบ A/B คุณจะได้รับหนึ่งในสี่ผลลัพธ์ต่อไปนี้:

• คุณปฏิเสธสมมติฐานว่าง
• คุณล้มเหลวในการปฏิเสธสมมติฐานว่าง
• คุณปฏิเสธสมมติฐานว่าง
• คุณล้มเหลวในการปฏิเสธสมมติฐานว่าง

ตามหลักการแล้วผลลัพธ์ a และ b ควรเป็นเป้าหมายเนื่องจากเป็นสถานการณ์ที่คุณสามารถเรียนรู้บางสิ่งได้ นี่คือวิธีที่คุณสามารถทำให้ผลิตภัณฑ์ของคุณดีขึ้นและเพิ่มผลกำไรของคุณในที่สุด ผลลัพธ์ c และ d สอดคล้องกับข้อผิดพลาดด้านล่าง

ข้อผิดพลาดประเภท I และ Type II

สองตัวเลือกสุดท้ายในผลลัพธ์ที่เป็นไปได้ของการทดสอบ A/B ของคุณคือข้อผิดพลาด Type I และ Type II หรือที่เรียกว่าผลบวกลวงและผลลบลวง

ข้อผิดพลาดประเภทที่ 1 คือเมื่อคุณปฏิเสธสมมติฐานว่างจริงอย่างไม่ถูกต้อง หมายความว่า การเปลี่ยนแปลงที่คุณสังเกตเห็นเกิดจากความบังเอิญ แต่คุณได้ข้อสรุปเป็นอย่างอื่น ดังนั้นจึงเป็นผลบวกที่ผิดพลาด ในกรณีส่วนใหญ่ สิ่งที่จำเป็นในการลดผลบวกลวงคือการเพิ่มระดับความเชื่อมั่นที่จำเป็นเพื่อให้มีนัยสำคัญทางสถิติ โดยปกติแล้วจะตั้งค่าไว้ที่ 95% แต่สำหรับการทดสอบที่สำคัญต่อภารกิจ คุณอาจต้องตั้งค่าความมั่นใจ 99% ซึ่งจะช่วยลดโอกาสในการเกิดข้อผิดพลาดดังกล่าวลงเหลือเพียง 1%

ข้อผิดพลาดประเภท II เป็นสิ่งที่ตรงกันข้าม ที่นี่คุณล้มเหลวในการปฏิเสธ Null Hypothesis ที่เป็นเท็จ ซึ่งหมายความว่ามีผลกระทบจริง บวกหรือลบ ต่ออัตราการแปลง แต่ดูเหมือนว่าจะไม่มีนัยสำคัญทางสถิติ และคุณประกาศอย่างผิด ๆ ว่าเป็นเพราะโอกาสสุ่ม ส่วนใหญ่มักเกิดจากการขาดอำนาจทางสถิติ

ในภาษาพูดเชิงสถิติ ตัวอักษรกรีก α หมายถึงข้อผิดพลาดประเภท I และ β หมายถึงข้อผิดพลาดประเภท II ง่ายต่อการสับสนระหว่างอำนาจทางสถิติและนัยสำคัญทางสถิติ

ตารางนี้ทำให้ชัดเจน:

ความเชื่อมั่นทางสถิติ

ยิ่งการทดสอบของคุณได้รับผู้เยี่ยมชมมากเท่าไร ความมั่นใจทางสถิติของคุณก็จะยิ่งเพิ่มขึ้น จนกระทั่งถึง 99% ถ้าคุณปล่อยให้การทดสอบดำเนินไปนานพอ แต่โดยปกติ ระดับความมั่นใจ 95% ถือว่าดีพอสำหรับการทดสอบ A/B ส่วนใหญ่ เว้นแต่จะมีความสำคัญต่อภารกิจ

พลังทางสถิติ

พลังทางสถิติเกี่ยวข้องกับความน่าจะเป็นของการตรวจจับผลกระทบเมื่อมี

พลังทางสถิติและความเชื่อมั่นทางสถิติเป็นแนวคิดที่เกี่ยวข้องกันซึ่งทำงานร่วมกันเพื่อวัดวิวัฒนาการของการทดสอบ A/B ตามหลักการแล้ว ทั้งคู่ควรผ่านค่าเกณฑ์ก่อนสิ้นสุดการทดสอบ (เพิ่มเติมเกี่ยวกับสิ่งนี้ด้านล่าง)

ช่วงความเชื่อมั่นและระยะขอบของข้อผิดพลาด

โดยทั่วไป ผลลัพธ์ของการทดสอบการทดสอบ A/B ของคุณจะเป็นเช่น 'อัตรา Conversion คือ 3% +/- 1%' ในคำสั่งนี้ '1%' หมายถึงระยะขอบของข้อผิดพลาด กล่าวโดยสรุป นี่คือความเบี่ยงเบนในผลการแปลงที่สมเหตุสมผลเพื่อให้ผลการทดสอบยอมรับได้ ยิ่งขอบของข้อผิดพลาดเล็กลงเท่าใด ผลการทดสอบของคุณก็จะยิ่งน่าเชื่อถือมากขึ้นเท่านั้น เมื่อคุณเพิ่มขนาดกลุ่มตัวอย่าง คุณจะสังเกตเห็นระยะขอบของข้อผิดพลาดลดลง

หากคุณเรียกใช้การทดสอบ A/B ด้วย Convert Experiences คุณจะสามารถเข้าถึงรายงานประสบการณ์ที่มีรายละเอียด รูปแบบ อัตรา Conversion การปรับปรุง ความมั่นใจ และ Conversion ตามผู้เข้าชมรายเดือนที่ไม่ซ้ำ คุณควรได้รับความมั่นใจอย่างน้อย 97% ในการประกาศผู้ชนะ โดยค่าเริ่มต้น แพลตฟอร์ม Conversion ได้รับการปรับให้เหมาะสมเพื่อเริ่มรายงานการวิเคราะห์การทดสอบหลังจากที่ได้รับ Conversion แล้วห้าครั้งเท่านั้น เพื่อให้มั่นใจในความน่าเชื่อถือของการทดสอบ Convert จะใช้ Z-Tests แบบสองด้าน

ในช่วงเริ่มต้นของการทดสอบของคุณ หากตัวแปรใดมีประสิทธิภาพดีขึ้นอย่างมาก คุณควรดำเนินการต่อด้วยระยะเวลาที่กำหนดไว้ของการทดสอบ ผลลัพธ์ในช่วงแรกอาจเกิดจากเสียงรบกวนหรือการสุ่ม

ผลกระทบที่ตรวจพบขั้นต่ำ

MDE เป็นการเพิ่มขั้นต่ำเพื่อให้บรรลุ ซึ่งการเปลี่ยนแปลงนี้คุ้มค่าที่จะนำไปใช้ การเตรียมพร้อมสำหรับการทดสอบโดยการเลือก MDE ที่ต่ำจะทำให้การทดสอบของคุณบันทึกการเปลี่ยนแปลงที่ละเอียดยิ่งขึ้น การตั้งค่า MDE ที่สูงขึ้นหมายความว่าการทดสอบของคุณสามารถตรวจพบเฉพาะการเปลี่ยนแปลงที่สำคัญ และด้วยเหตุนี้จึงทำงานได้แม้ในขนาดตัวอย่างที่เล็กกว่า สิ่งที่จับได้คือการเปลี่ยนแปลงครั้งใหญ่เพื่อสร้างการเพิ่มขึ้นที่มากพอ ในกรณีส่วนใหญ่ จะไม่สามารถทำได้เว้นแต่เว็บไซต์ของคุณไม่เคยได้รับการปรับให้เหมาะสมมาก่อน

วิธีคิดที่ดีที่สุดเกี่ยวกับ MDE คือการใช้เครื่องคำนวณขนาดตัวอย่างของเรา เริ่มต้นด้วยการป้อนการเข้าชมและ Conversion รายสัปดาห์ของคุณ และดูสิ่งที่สามารถทำได้ในช่วงระยะเวลาหนึ่ง

P-Value

Cassie Kozyrkov หัวหน้านักวิทยาศาสตร์ด้านการตัดสินใจของ Google ได้กำหนดคำจำกัดความที่ง่ายมากเพื่ออธิบาย P-Value: “ยิ่งค่า p ต่ำเท่าไหร่ สมมติฐานว่างก็จะยิ่งดูไร้สาระมากขึ้นเท่านั้น!”

วิธีที่เราใช้คือการเปรียบเทียบกับระดับนัยสำคัญ สมมติว่าเรามีระดับนัยสำคัญ 5% ซึ่งสัมพันธ์โดยตรงกับระดับความเชื่อมั่น 95% จากนั้นทันทีที่ค่า p ต่ำกว่า 5/100 = 0.05 เราสามารถพูดได้ว่าการทดสอบของเรามีนัยสำคัญทางสถิติและเรา สามารถปฏิเสธสมมติฐานว่างได้

หากเราต้องการให้แน่ใจมากกว่านี้ เราตั้งค่าระดับนัยสำคัญเป็น 1% จากนั้นรอให้ค่า p ลดลงต่ำกว่า 0.01 นั่นจะเท่ากับความมั่นใจ 99% ในผลลัพธ์ของเรา

การกระจายการจราจร

การกระจายการเข้าชมช่วยจัดสรรเปอร์เซ็นต์การเข้าชมให้กับการทดสอบ สมมติว่าคุณมีผู้เยี่ยมชมเว็บไซต์ของคุณ 100 คนทุกเดือน จากนี้ คุณสามารถเลือกที่จะจัดสรร 30% ของการเข้าชมให้กับการทดสอบ โดยค่าเริ่มต้น แต่ละตัวแปรในการทดสอบ A/B ของคุณจะได้รับส่วนแบ่งการเข้าชมเท่ากัน ดังนั้น หากคุณมีสองรูปแบบ แต่ละรายการจะได้รับ 15% ของการเข้าชม

การใช้ Convert Experiences ช่วยให้คุณกำหนดค่าการจัดสรรการรับส่งข้อมูลนี้ได้ในไม่กี่คลิก เมื่อกระบวนการทดลองของคุณพัฒนาขึ้น คุณสามารถสร้างตัวแปรเพิ่มเติมและเพิ่มประสิทธิภาพการจัดสรรให้เหมาะกับความต้องการของคุณ

สถิติสามารถช่วยในการทดสอบ A/B ได้อย่างไร

ทำไมคุณไม่สามารถเปรียบเทียบประสิทธิภาพของตัวแปร A และ B ได้

การรันการทดสอบ A/B โดยใช้แม้แต่แพลตฟอร์มที่สะดวกสบาย เช่น Convert Experiences ต้องใช้ทรัพยากรบางอย่างในแง่ของเวลาและพลังงาน ถ้าอย่างนั้น ไม่ควรสร้างรูปแบบต่างๆ สองรูปแบบ วัดอัตรา Conversion ตามลำดับ แล้วเลือกรูปแบบที่มีประสิทธิภาพดีกว่าหรือไม่

แม้ว่าจะฟังดูเป็นแนวทางปฏิบัติและมีไหวพริบ แต่ก็สามารถนำไปสู่ข้อสรุปที่ผิดพลาดและแม้กระทั่งผลลัพธ์ที่ตีความผิด เนื่องจากไม่มีการทดสอบทางสถิติกับข้อมูล ดังนั้นการสังเกตการเปลี่ยนแปลงยังไม่เพียงพอ เราต้องรู้ว่าต้องรอนานแค่ไหนเพื่อให้แน่ใจถึงการเปลี่ยนแปลงนั้น และสำหรับสิ่งนั้น ต้องทำการทดสอบทางสถิติ เช่น การทดสอบ Z, การทดสอบ T หรือ G

การดูขนาดลิฟต์หรือเอฟเฟกต์เพียงอย่างเดียวจะไม่ช่วยคุณ:

ก. กำหนดปัจจัยเชิงสาเหตุที่เป็นไปได้ที่เกี่ยวข้องกับการชนะของหนึ่งตัวแปร

การทดสอบ A/B โดยการออกแบบ จะจำกัดให้คุณเลือกตัวแปรสองแบบที่มีความแตกต่างด้านวัสดุเพียงเล็กน้อยเท่านั้น สำหรับชุดความแตกต่างที่มากขึ้น โดยทั่วไป คุณจะต้องทำการทดสอบหลายตัวแปรที่ครอบคลุมมากขึ้น

การทดสอบ A/B ทำงานบนกฎที่ตั้งแต่เริ่มแรก คุณทราบถึงตัวแปรตามและตัวแปรอิสระในการทดสอบ ตัวอย่างเช่น หากคุณสร้างสองชุดโดยมี CTA ต่างกันวางในรูปแบบเดียวกัน คุณจะรู้ว่าความแตกต่างใน CTA เป็นปัจจัยเชิงสาเหตุ หากคุณสามารถหักล้างสมมติฐานและเห็นการเปลี่ยนแปลงในการแปลง

หากคุณเรียกใช้สองตัวแปรที่แตกต่างกันโดยสิ้นเชิง แม้ว่าคุณจะมีแรงฉุดที่ดีกว่าในตัวแปรเดียว ก็ไม่ช่วยให้คุณได้รับข้อมูลเชิงลึกเกี่ยวกับผู้ชมของคุณหรือระบุสาเหตุว่าทำไมมันถึงได้ผล

ข. แยกความแตกต่างระหว่างการสุ่มและเวรกรรม

โครงสร้างของการทดสอบ A/B จะต้องมี Null Hypothesis และ Alternate Hypothesis สมมติฐานว่างโดยทั่วไปจะเจาะลึกเกี่ยวกับการสุ่มซึ่งเป็นปัจจัยเชิงสาเหตุและไม่ใช่ประสิทธิภาพของตัวแปรใดรูปแบบหนึ่งของคุณในการกำหนดอัตราการแปลง สมมติฐานว่างจะไม่ถูกหักล้างเมื่อไม่ถึงนัยสำคัญทางสถิติในเวลา และความแปรปรวนที่ตามมาจะถือว่าเป็นผลมาจากการสุ่ม ในทางกลับกัน หากคุณสามารถปฏิเสธ Null Hypothesis ได้ ก็หมายความว่ามีความเป็นไปได้สูง (ที่ระดับความเชื่อมั่นที่ตั้งไว้ เช่น 95% หรือ 99%) ที่คุณค้นพบปัจจัยเชิงสาเหตุซึ่งมีผลกระทบเชิงบวกหรือเชิงลบต่อ การแปลง

ค. จัดสรรต้นทุนให้เฉพาะการเปลี่ยนแปลงที่มีความน่าจะเป็นที่สูงขึ้นของการแปลงที่ปรับปรุงแล้ว

การทดสอบ A/B ที่ดำเนินการจะมาพร้อมกับการวัดทางสถิติ เช่น ระดับนัยสำคัญ ช่วงความเชื่อมั่น และระยะขอบของข้อผิดพลาด แนวคิดการวิเคราะห์ดังกล่าวไม่มีอยู่ในการวิเคราะห์เฉพาะกิจส่วนใหญ่

ตัวอย่างเช่น เปรียบเทียบระหว่างหน้าส่งแบบฟอร์มสองหน้าโดยมีความแตกต่างด้านเนื้อหาในการจัดวางและแสดงผลข้อมูล หนึ่งมีประสิทธิภาพค่อนข้างดีกว่าอีกอันหนึ่ง ตอนนี้ คุณจะทราบได้อย่างไรว่าคุณจะสามารถทำซ้ำผลลัพธ์ได้ เนื่องจากคุณไม่มีข้อมูลใดๆ ที่แสดงให้เห็นว่าผลลัพธ์ของการทดสอบมีความสำคัญเพียงใด จึงไม่มีวิธีตัดสินว่าผลลัพธ์ของการทดสอบนั้นสามารถทำซ้ำได้หรือไม่

การประเมินและกำจัดการเปิดรับข้อผิดพลาดประเภท I และ Type II สำหรับการทดสอบ A/B

ข้อผิดพลาด Type I (สมมติฐาน Null ที่แท้จริงได้รับการปฏิเสธหรือผลบวกที่ผิดพลาด) และข้อผิดพลาด Type II (สมมติฐาน Null เท็จจะไม่ถูกปฏิเสธหรือผลลบที่ผิดพลาด) อาจส่งผลร้ายแรงต่อสินทรัพย์ในตลาดที่คุณกำลังเพิ่มประสิทธิภาพด้วยการทดสอบ A/B

ไม่มีเครื่องมือใดที่สามารถแสดงข้อผิดพลาด Type I หรือ Type II ให้คุณเห็นได้อย่างชัดเจน แต่สามารถช่วยให้คุณย่อเล็กสุดได้ ตัวอย่างเช่น โดยทำให้แน่ใจว่ามีระดับความมั่นใจถึง 95% ขึ้นไป และกำลังทางสถิติถึงอย่างน้อย 80%

สมมติว่าคุณสร้างหน้าสุดท้ายสองรูปแบบในวงจรการซื้อของคุณ แสดงให้ผู้เยี่ยมชมประมาณ 10,000 คนดูภายใน 10 วัน และได้ผลลัพธ์ คุณเห็นประสิทธิภาพที่ดีขึ้นสำหรับตัวแปรเดียวและนำไปใช้กับเว็บไซต์อีคอมเมิร์ซของคุณ

ปัญหาคือคุณจะได้ทราบเกี่ยวกับข้อผิดพลาด Type I หรือ Type II ในการทดสอบการทดสอบ A/B ของคุณ หลังจากที่คุณล้มเหลวในการทำซ้ำผลการทดสอบของคุณในความเป็นจริง มีวิธีที่ดีกว่าในการตรวจสอบว่าคุณไม่มีข้อผิดพลาดประเภท I และ Type II ในการทดสอบ A/B

ขั้นแรก ตรวจสอบให้แน่ใจว่าขนาดกลุ่มตัวอย่างของคุณใหญ่พอที่จะทำให้การทดลองทางสถิติมีเสียง คุณสามารถใช้เครื่องคิดเลขของ Convert เพื่อให้ได้ขนาดตัวอย่างที่เหมาะสม

จากนั้น ตรวจสอบให้แน่ใจว่าคุณมีระดับนัยสำคัญอย่างน้อย 95% และอย่าหยุดการทดสอบจนกว่าพลังของคุณจะถึง 80% ด้วย MDE ที่เหมาะสมและระยะเวลาของการทดลองที่คำนวณโดยเครื่องคิดเลข คุณจึงมั่นใจได้ว่าจะควบคุมข้อผิดพลาด Type I หรือ Type II ได้อย่างแท้จริง ค่าแรกมีผลโดยตรงต่อระดับนัยสำคัญที่คุณตั้งไว้ และอันดับที่สองด้วยพลังทางสถิติที่คุณยินดีจะดำเนินชีวิตด้วย ตามหลักการแล้ว ระดับความมั่นใจของคุณควรสูงกว่าหรือเท่ากับ 95% และพลังทางสถิติของคุณควรสะสมอย่างน้อย 80% ในทั้งสองกรณียิ่งมากยิ่งดี หากพารามิเตอร์ทั้งสองมีค่าถึง 99% จะทำให้มั่นใจได้ว่าความเสี่ยงของข้อผิดพลาดประเภท I หรือ II จะได้รับการควบคุมอย่างดีและต่ำกว่า 1%

ทั้งการค้นพบและการกำจัดปัญหาดังกล่าวเป็นไปได้เพียงเพราะการคิดเชิงสถิติที่การทดสอบ A/B ดำเนินการ

การพิจารณาว่าการทดสอบ A/B ของคุณสามารถปรับขนาดได้หรือไม่

ในตัวอย่างข้างต้น แม้ว่าคุณจะเห็นรูปแบบหนึ่งมีชัยเหนือทางเลือกอื่นในช่วงเวลาหนึ่งเดือน คุณก็จะไม่สามารถปรับขนาดการทดสอบของคุณได้อย่างง่ายดาย เนื่องจากจำนวนตัวอย่างผู้เข้าชม 10,000 คนค่อนข้างเล็ก

สถิติการทดสอบ A/B ให้แนวทางฮิวริสติกแก่คุณเพื่อให้แน่ใจว่าการทดสอบของคุณสามารถปรับขนาดได้ และผลลัพธ์ของการทดสอบก็เช่นกัน ผลลัพธ์ของการทดสอบ A/B แต่ละรายการจะปูทางสำหรับการทดสอบเพิ่มเติมในอนาคต

ขั้นแรก เริ่มต้นด้วยการตรวจสอบให้แน่ใจว่าคุณมีปริมาณการใช้งานเพียงพอในแต่ละเดือนเพื่อทดสอบตัวแปรขององค์ประกอบ UI หรือ UX ของแพลตฟอร์มของคุณ ผู้เชี่ยวชาญที่ Convert แนะนำให้เข้าชมอย่างน้อย 10,000 ผู้เข้าชมและ 1,000 Conversion ในแต่ละตัวแปรเพื่อให้ได้ผลลัพธ์ที่ดีทางสถิติ เมื่อคุณมีสิ่งเหล่านี้แล้ว ตรวจสอบให้แน่ใจว่าคุณไม่ได้ทดสอบองค์ประกอบหลายอย่างพร้อมกัน ปล่อยให้การทดสอบทำงานเป็นระยะเวลานาน และสามารถเข้าถึงระดับนัยสำคัญที่เหมาะสมได้

หากคุณมีผู้เยี่ยมชมกลุ่มเล็กๆ คุณยังคงสามารถทำการทดสอบ A/B กับแคมเปญอีเมล แคมเปญบนโซเชียลมีเดีย และแม้แต่กลุ่มโฆษณาของ Google หรือคุณสามารถเลือกใช้ MDE ระดับสูงเพื่อรับข้อมูลเชิงลึกแบบกว้างๆ เกี่ยวกับผู้ชมของคุณ

ทำให้การทดลองมีความคุ้มค่า

การจัดสรรเปอร์เซ็นต์การเข้าชมสำหรับการทดสอบ A/B เป็นค่าใช้จ่าย คุณกำลังแสดงหน้าย่อยหรือองค์ประกอบ UX ที่อาจเหมาะสมที่สุดแก่ผู้ชมของคุณ และอาจสูญเสียรายได้บางส่วนที่อาจเกิดขึ้น แม้ว่าการทดสอบ A/B จะทำให้คุณมีแนวคิดที่ชัดเจนในการปรับขนาดองค์ประกอบหรือหน้าที่เพิ่มประสิทธิภาพมากขึ้น ซึ่งสามารถชดเชยรายได้ที่น่าจะหายไปเหล่านี้ ค่าใช้จ่ายนี้สามารถใช้เป็นข้อจำกัดในการเพิ่มประสิทธิภาพกระบวนการทดสอบของคุณ

หลังจากทำการทดสอบ A/B แล้ว คุณอาจไปยังการทดสอบ A/B/n ซึ่งคุณจะมีตัวเลือกอื่นให้ทดสอบอีกหลายอย่าง

เครื่องคิดเลขฟรีจำนวนมากที่พร้อมใช้งานออนไลน์จะแสดงขนาดตัวอย่างที่คุณต้องการเพื่อให้ได้ผลลัพธ์ที่แม่นยำจากการทดสอบนี้ เครื่องคำนวณเหล่านี้ใช้สมมติฐานง่ายๆ – คำนวณขนาดตัวอย่างสำหรับการทดสอบ A/B แล้วคูณด้วยจำนวนตัวแปรในการทดสอบ นี่เป็นวิธีที่ไม่มีประสิทธิภาพในการดำเนินการต่อ เครื่องคิดเลขของเรามีตัวเลือกการแก้ไขการเปรียบเทียบที่มีประสิทธิภาพหลายตัว เช่น Šidak ดังนั้นจงใช้เครื่องมือที่เหมาะสมในทุกขั้นตอนของการทดสอบเพื่อให้แน่ใจว่าคุณจะได้ผลลัพธ์ที่จำเป็นโดยไม่สูญเสียเงินพิเศษที่เกิดจากการคำนวณผิด

การประมาณค่าและการควบคุมการสุ่มตัวอย่างในตัวอย่างของคุณ

แม้ว่าจะมีหลักการทางคณิตศาสตร์ที่ซับซ้อนหลายอย่างของการสุ่ม

ความสุ่มสามารถถูกมองว่าเป็นสิ่งที่ตรงกันข้ามกับเวรกรรมที่กำหนดไว้อย่างชัดเจน แทนที่จะรู้ว่าองค์ประกอบใดบ้างที่รับผิดชอบต่อการแปลงที่สูงขึ้น คุณต้องพึ่งพาปัจจัยภายนอกที่ไม่ได้กำหนดเป็นปัจจัยเชิงสาเหตุที่เป็นไปได้สำหรับผลลัพธ์ เนื่องจากคุณไม่ได้ควบคุมปัจจัยภายนอกเหล่านี้ คุณจึงไม่สามารถทำซ้ำผลการทดสอบตามขนาดได้

หากคุณไม่ได้ใช้กระบวนการทดสอบ A/B ที่มีความถูกต้องทางสถิติ คุณก็ไม่ต้องสนใจที่จะตรวจสอบผลกระทบของการสุ่ม แต่ความบังเอิญจะยังคงมีอยู่ คุณอาจลงเอยด้วยการปรับใช้เงินทุนในสินทรัพย์ทางการตลาดที่แปลงระหว่างการทดสอบ แต่ไม่ได้ผลในวงกว้าง ที่แย่กว่านั้น คุณอาจจบลงด้วยการเจือจางผลกระทบของช่องทางการแปลงที่มีอยู่ของคุณ

สถิติการทดสอบ A/B สามารถช่วยคุณแก้ปัญหานี้ได้ เมื่อคุณกำหนดสมมติฐาน คุณกำลังสร้างสถานการณ์สมมติที่การสุ่มอาจเป็นสาเหตุของผลลัพธ์ที่เปลี่ยนแปลง หากคุณสามารถหักล้างสถานการณ์นี้ได้ แสดงว่าคุณได้ปฏิเสธการสุ่มว่าเป็นสาเหตุของ Conversion ที่ดีขึ้น ด้วยการทดสอบเพิ่มเติมในกระบวนการที่เน้นส่วนอื่นๆ ในช่องทาง Conversion คุณสามารถขจัดพื้นที่สำหรับการสุ่มในกระบวนการเพิ่มประสิทธิภาพ Conversion ได้มากขึ้น

อุดมคติคือการกำหนดเกณฑ์การประเมินโดยรวม (OEC) ด้วยตัวชี้วัดหลักหนึ่งตัวและตัววัดรั้วอื่น ๆ และเรียกใช้การทดลองเพื่อปรับให้เหมาะสมที่สุดในขณะที่ทำให้แน่ใจว่าเกณฑ์สุดท้ายจะไม่ลดระดับลง ตัวอย่างเช่น คุณต้องการเพิ่มอัตรา Conversion (เมตริกหลัก) แต่ไม่ต้องการให้การมีส่วนร่วมของผู้ใช้ลดลง เพราะนั่นจะบ่งบอกถึงลูกค้าที่ไม่พอใจ

หนังสือที่ยอดเยี่ยมซึ่งน่าจะเป็นหนังสือที่สำคัญที่สุดในการทดลองจนถึงปัจจุบันคือ Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing โดย Ron Kohavi, Diane Tang, Ya Xu

ทำให้แน่ใจว่าคุณไม่จำเป็นต้องทำการทดสอบหลายตัวแปรที่ครอบคลุมมากกว่านี้

เครื่องมือที่ครอบคลุม เช่น Convert Experiences สามารถช่วยให้คุณเรียกใช้การทดสอบ A/B ได้หลายครั้ง แม้ว่าสิ่งนี้อาจฟังดูเหมือนเป็นฟังก์ชันเล็กน้อย แต่ก็สามารถช่วยให้คุณเข้าใจว่าคุณต้องการการทดสอบหลายตัวแปรที่ครอบคลุมมากขึ้นหรือว่าผลลัพธ์ของการทดสอบ A/B ของคุณน่าพอใจเพียงพอหรือไม่

ทั้งหมดนี้ขึ้นอยู่กับสิ่งที่คุณทำทันทีหลังจากที่คุณเข้าใจผลการทดสอบแล้ว คุณเริ่มปรับใช้หน้าหรือองค์ประกอบที่ชนะหรือคุณทำการทดสอบเพิ่มเติมหรือไม่? หากขนาดตัวอย่าง ระดับนัยสำคัญ และ MDE ของคุณเป็นที่น่าพอใจ คุณมักจะปรับใช้ทางเลือกที่ชนะได้ หากคุณอยู่อีกด้านหนึ่ง คุณสามารถใช้การทดสอบเพิ่มเติมเพื่อค้นหาสาเหตุของอัตราการแปลงที่แตกต่างกัน

ตัวอย่างเช่น สมมติว่าคุณกำลังทดสอบว่าการมี CTA บางอย่างบนหน้า Landing Page ของคุณช่วยให้มีการแปลงที่ดีขึ้นหรือไม่ คุณทำการทดสอบ A/B และมีผู้ชนะที่ชัดเจน แต่มาตรการทางสถิติบางอย่างเช่นระดับนัยสำคัญยังไม่เป็นที่พอใจ ดังนั้น คุณจึงเลือกรูปแบบที่ชนะและสร้างรูปแบบอื่นเพื่อทำการทดสอบ A/B อีกครั้ง

หากผลลัพธ์ถูกจำลอง คุณจะมีความมั่นใจมากขึ้นในตัวแปรที่ชนะ หากคุณไม่สามารถจำลองระดับการแปลงของการทดสอบครั้งแรกได้ คุณอาจต้องทดสอบหลายตัวแปรเพื่อค้นหาองค์ประกอบที่รับผิดชอบการเพิ่มในการแปลง

การทดสอบ A/B สามารถช่วยให้คุณหลีกเลี่ยงการพึ่งพาข้อมูลที่รายงานด้วยตนเองได้

แม้แต่ตัวแปรที่เล็กที่สุดก็สามารถมีผลกระทบสำคัญต่อพฤติกรรมของผู้ใช้ที่ตรวจพบได้ ตัวอย่างเช่น เอฟเฟกต์การสั่นไหวมีผลกระทบอย่างมากต่ออัตราการแปลง การกะพริบคือสถานการณ์ที่หน้า Landing Page เริ่มต้นของคุณแสดงก่อนหน้ารายละเอียดปลีกย่อย เมื่อผู้เข้าชมเป็นส่วนหนึ่งของการเข้าชมตัวอย่างของคุณที่ใช้สำหรับการทดสอบ A/B สิ่งนี้สามารถนำไปสู่ผลลัพธ์ที่เป็นมลพิษ แม้ว่าคุณจะใช้กระบวนการที่สม่ำเสมอในการวิเคราะห์ก็ตาม

เมื่ออาจมีปัญหาที่อาจเกิดขึ้นกับกระบวนการทางสถิติและการวิเคราะห์ เช่น การทดสอบ A/B การเรียกใช้กระบวนการที่รายงานด้วยตนเองจะนำไปสู่ผลลัพธ์ที่ด้อยค่าหรือผิดพลาดได้เท่านั้น กระบวนการรายงานตนเองมักสร้างมลพิษด้วยอคติและข้อมูลที่มีเสียงดังหลายประการ เนื่องจากความรับผิดชอบทั้งหมดในการจดจำการตั้งค่าและการรายงานการตั้งค่านั้นตกอยู่ที่ผู้ใช้ ซึ่งไม่มีแรงจูงใจที่จะพูดตามตรง นอกจากนี้ยังมีอคติในการสั่งซื้อและปัจจัยภายนอกอื่นๆ ที่อาจนำไปสู่ข้อมูลผิดพลาดได้

การทดสอบ A/B ทำให้คุณเป็นประธานสังเกตการณ์ และไม่จำเป็นต้องรายงานผู้ใช้ทุกรูปแบบ ด้วยเครื่องมืออย่าง Convert คุณไม่ต้องกังวลกับการกะพริบ

การตัดสินใจขององค์กร ขับเคลื่อนด้วยข้อมูล

การทดสอบ A/B ทำให้ไม่มีที่ว่างสำหรับการคาดเดาในกระบวนการ ในทุกขั้นตอน แพลตฟอร์มการทดสอบของคุณจะรวบรวมข้อสังเกต บันทึกข้อมูล และดำเนินการวิเคราะห์ ด้วยวิธีนี้ โดยไม่คำนึงถึงความชอบของผู้บังคับบัญชาหรือนักลงทุนหรือหน่วยงาน ผลลัพธ์ที่คุณได้รับจะถูกขับเคลื่อนด้วยข้อมูล

เมื่อมีผู้มีส่วนได้ส่วนเสียหลายรายที่เกี่ยวข้องในกระบวนการนี้ ผลลัพธ์สุดท้ายจะไม่ดีที่สุด การทดสอบ A/B เป็นกระบวนการวิเคราะห์ ซึ่งช่วยขจัดพื้นที่สำหรับการตัดสินใจตามลำดับชั้นหรือการคิดแบบลำเอียง

ตัวอย่างเช่น เอเจนซีของคุณอาจแนะนำการยกเครื่อง UI สำหรับหน้า Landing Page เนื่องจากจะเพิ่มไปยังรายการที่เรียกเก็บเงินได้สำหรับเดือนนั้น และหากทำอย่างถูกต้อง อาจไม่ขัดขวางการแปลงของคุณ อย่างไรก็ตาม ด้วยการทดสอบ A/B หาก Null Hypothesis ของคุณยังคงแข็งแกร่ง คุณจะรู้ว่าไม่มีการเปลี่ยนแปลงดังกล่าวมีความจำเป็นในขณะนี้ เนื่องจากคุณมีข้อมูลสนับสนุนการใช้เหตุผล คุณจึงไม่ต้องยอมจำนนต่อการวางตำแหน่งแม้แต่ความเป็นผู้นำในบริษัทของคุณ นอกจากนี้ยังสามารถช่วยให้คุณต่อสู้กับ HiPPO (ความคิดเห็นของบุคคลที่ได้รับค่าตอบแทนสูงสุด) ข้อมูลไม่ได้โกหก และการทดสอบ A/B เป็นข้อพิสูจน์ที่ดีที่สุดที่คุณมี

ทำความเข้าใจผลการทดสอบด้วยการคำนวณที่โปร่งใส

การทำความเข้าใจผลการทดสอบ A/B ของคุณนั้นสำคัญพอๆ กับการทดสอบอย่างเข้มงวดทางสถิติ เครื่องมือใดๆ ก็ตามสามารถทำการทดสอบ เปรียบเทียบทางเลือกอื่น และมอบผู้ชนะให้กับคุณได้ สิ่งที่คุณต้องการคือการบ่งบอกถึงความสัมพันธ์เชิงสาเหตุ แม้ว่าการวัดทางสถิติจะเน้นให้เห็นสิ่งนี้ แต่ Convert Experiences ได้รับการออกแบบมาเพื่อความโปร่งใสในการคำนวณ

แพลตฟอร์มมีเวลาทำงาน 99.99% อนุญาตให้รวมระบบกับบุคคลที่สามได้มากกว่า 90 รายการ อนุญาตให้ติดตามเป้าหมายของบุคคลที่สาม และรองรับการตรวจสอบโค้ดและข้อผิดพลาด ด้วยวิธีนี้ เมื่อสิ้นสุดขั้นตอนการทดสอบ คุณจะมีความคิดที่ชัดเจนว่าองค์ประกอบใดเป็นผู้ชนะ เหตุใดจึงเป็นที่นิยมมากกว่า และคุณต้องการการทดสอบเพิ่มเติมหรือไม่เพื่อให้มั่นใจมากขึ้นเกี่ยวกับการปรับขนาด

การนำสถิติ A/B ไปใช้เพื่อก้าวไปสู่วุฒิภาวะ CRO

CRO Maturity คืออะไรและการทดสอบ A/B ทางสถิติจะช่วยให้คุณไปถึงที่นั่นได้อย่างไร

แม้ว่าการเพิ่มประสิทธิภาพอัตราการแปลงอาจดูเหมือนเป็นวิธีคิดที่แยกจากกัน แต่ก็ต้องการการเปลี่ยนแปลงตามกระบวนการทั่วทั้งบริษัทที่พยายามมุ่งเน้นที่ Conversion มากขึ้น ความท้าทายคือ CRO เป็นสาขาที่ค่อนข้างใหม่ ในการสำรวจปี 2018 นักการตลาดเกือบ 62% ทำงานใน CRO มาน้อยกว่า 4 ปี

ผู้เชี่ยวชาญ CRO จาก Shopify ได้สร้างลำดับชั้นว่าบริษัทต่างๆ มีแนวโน้มที่จะก้าวข้ามไปสู่วุฒิภาวะ CRO อย่างไร เมื่อคุณเจาะลึกลงไปในลำดับชั้นนี้ คุณจะค้นพบว่าการทดลองทางสถิติที่ดีมีความสำคัญต่อการพัฒนากระบวนการในองค์กรของคุณอย่างไร:

1. ดำเนินการวิจัยเชิงคุณภาพและเชิงปริมาณเพื่อระบุจุดสัมผัสที่ไม่เหมาะสม

แดชบอร์ด Google Analytics ของคุณมักจะช่วยให้คุณสำรวจหน้าหรือจุดสัมผัสในประสบการณ์ของผู้บริโภคที่ต้องให้ความสนใจทันที การแก้ปัญหาเฉพาะอย่าง เช่น อัตราตีกลับสูงในหน้าแรก รถเข็นที่ละทิ้ง การกรอกแบบฟอร์มที่ไม่สมบูรณ์ และการข้ามการสมัครรับอีเมลสามารถใช้เป็นจุดเริ่มต้นสำหรับการเพิ่มประสิทธิภาพช่องทางการแปลง

2. กำหนดแนวคิดการทดสอบและการทดลองตามการวิจัยที่ดำเนินการก่อนหน้านี้

สถิติการทดสอบ A/B สามารถช่วยให้คุณเข้าใจประสิทธิภาพการเปรียบเทียบสำหรับเว็บไซต์ของคุณและแม้กระทั่งการแข่งขัน คุณสามารถใช้สิ่งนี้เพื่อทำความเข้าใจว่าองค์ประกอบใดที่ล้าหลัง และเริ่มการทดสอบ A/B ตัวแปรที่สามารถทำงานได้ดีกว่า

3. ดำเนินการทดสอบและทดลองแนวคิดที่มีลำดับความสำคัญสูงสุด

เมื่อคุณตั้งค่าแนวคิดการทดสอบ A/B ใน Convert Experiences คุณจะต้องตั้งค่าเมตริก เช่น MDE เมตริกดังกล่าวจะช่วยให้คุณจัดลำดับความสำคัญของการทดสอบที่จะมีผลกระทบสูงสุดต่อธุรกิจของคุณ เกี่ยวกับการจัดสรรทรัพยากรที่จำเป็นในการดำเนินการทดสอบ

4. การวิเคราะห์และบันทึกผลการทดสอบ

หลังจากที่คุณทำการทดสอบแล้ว สิ่งสำคัญคือต้องเข้าใจว่าทำไมคุณถึงได้ผลลัพธ์ตามที่เห็น นี่คือที่ที่แพลตฟอร์มอย่าง Convert Experiences สามารถช่วยคุณกรองระหว่างการสุ่มและความเป็นเหตุเป็นผลที่น่าจะเป็นไปได้สูง ด้วยการคำนวณที่โปร่งใส Convert Experiences จะช่วยให้คุณเข้าใจว่าทำไมตัวแปรที่ชนะของคุณจึงทำงานได้ดีกว่า

5. การสร้างการทดสอบติดตามผล

เมื่อคุณได้ทำการทดสอบ A/B และบรรลุผลแล้ว คุณสามารถไปยังการทดสอบหลายตัวแปรที่ครอบคลุมมากขึ้น หรือทำการทดสอบ A/B ด้วยตัวแปรอื่น Convert ทำให้ง่ายต่อการทำการทดสอบทางสถิติชุดต่างๆ ที่จะช่วยให้คุณเพิ่มความมั่นใจในการสนับสนุนตัวแปรที่ชนะ

โมเดล CRO Maturity มุ่งเน้นไปที่กระบวนการแบบองค์รวมทั่วทั้งกลยุทธ์ & วัฒนธรรม, เครื่องมือและเทคโนโลยี, บุคลากร & ทักษะ และ กระบวนการ & ระเบียบวิธี ซึ่งมีการติดตามความก้าวหน้าขององค์กรในระดับวุฒิภาวะ เช่น ระดับเริ่มต้น ที่ต้องการความก้าวหน้า เชิงกลยุทธ์ และการเปลี่ยนแปลง

Convert Experiences นำการวิเคราะห์ข้อมูลอย่างเข้มงวดมาสู่กระบวนการทดสอบ A/B ของคุณ ไม่ต้องใช้รหัสสำหรับดำเนินการทดสอบ ให้ผลลัพธ์ที่เข้าถึงได้ทางสายตาและในเชิงวิเคราะห์ และโปร่งใสเกี่ยวกับผลการทดสอบ ด้วยแพลตฟอร์มที่เป็นศูนย์กลางของแผนการทดสอบ A/B ของคุณ CRO Maturity ในองค์กรของคุณสามารถก้าวไปสู่ขั้นตอนการเปลี่ยนแปลงได้อย่างง่ายดายยิ่งขึ้น

การทดสอบ A/B ในการดำเนินการ: กรณีศึกษาเปรียบเทียบ

1. การใช้ Google Analytics และ Convert Experiences สำหรับการสร้างสมมติฐาน

Google Analytics อาจเป็นจุดเริ่มต้นที่ดีในการทำความเข้าใจส่วนต่างๆ ที่อาจต้องปรับปรุงในเว็บไซต์ของคุณ ปริมาณการใช้ข้อมูลที่ลดลงอย่างกะทันหัน อัตราตีกลับสูงเมื่อเทียบกับเวลาของหน้า ฯลฯ อาจเป็นตัวบ่งชี้ที่ชัดเจนถึงปัญหาที่อาจเกิดขึ้น

ระบุความท้าทายทั้งหมดที่คุณเห็นในรายงาน Google Analytics ของคุณ ดำเนินการสำรวจเชิงคุณภาพบนเว็บไซต์ของคุณ การจัดการโซเชียลมีเดีย และแคมเปญอีเมลที่ถามผู้ชมของคุณว่าพวกเขากำลังมองหาอะไรควบคู่ไปกับสิ่งนี้ นอกจากนี้ คุณสามารถใช้ Hotjar เพื่อทำความเข้าใจว่าผู้เยี่ยมชมนำทางไปยังองค์ประกอบต่างๆ ในแต่ละหน้าได้อย่างไร

จากข้อมูลทั้งหมดนี้ คุณสามารถสร้างตัวแปรเชิงลึกและเรียกใช้การทดสอบ A/B ได้ หากคุณใช้ Convert Experiences อยู่แล้ว คุณสามารถใช้เครื่องมือสร้างสมมติฐาน Convert Compass เพื่อเร่งกระบวนการให้เร็วขึ้นได้

2. การเพิ่มการแปลงจากรถเข็นที่ถูกละทิ้งผ่านการทดสอบ A/B

รถเข็นที่ถูกละทิ้งมีราคาแพงสำหรับเว็บไซต์ของคุณและค่อนข้างไม่สะดวกสำหรับผู้เยี่ยมชมเนื่องจากคุณทั้งคู่ได้ทุ่มเทเวลาและทรัพยากรจำนวนมากในการมาถึงจุดนี้ แต่การแปลงไม่ได้ผล

ด้วยการใช้ Convert Experiences ที่ผสานรวมกับแพลตฟอร์มอื่นๆ คุณสามารถกำหนดแนวทางที่มีโครงสร้างเพื่อจัดการกับความท้าทายนี้

• ขั้นแรก เริ่มต้นด้วยการรวม Convert Experiences เข้ากับ Shopify, WooCommerce, PrestaShop, BigCommerce หรือแพลตฟอร์มอีคอมเมิร์ซอื่นๆ ที่คุณใช้อยู่
• จากนั้น ใช้ Google Analytics เพื่อตั้งเป้าหมายบนแพลตฟอร์มของคุณและใช้เครื่องมืออย่าง Hotjar หรือ Crazy Egg เพื่อประเมินปัญหาที่อาจเกิดขึ้น
• ด้วย Convert Experiences คุณสามารถใช้ข้อมูลนี้ กำหนดสมมติฐาน และเรียกใช้การทดสอบ A/B อย่างเป็นระเบียบ ลูกค้าสังเกตเห็นรายได้ที่เพิ่มขึ้นกว่า 26% โดยใช้แนวทางที่คล้ายคลึงกัน

3. การเพิ่มประสิทธิภาพหน้า Landing Page

หน้า Landing Page ค่อนข้างเป็นศูนย์กลางของกระบวนการแปลงทั้งหมด หากต้องการดึงมูลค่าสูงสุดจากหน้า Landing Page คุณสามารถใช้เครื่องมือต่างๆ เช่น Google Analytics, Adobe Analytics, Kissmetrics, Baidu Analytics หรือเครื่องมือชั้นนำอื่นๆ สำหรับกรณีการใช้งาน Convert Experiences ผสานรวมกับแพลตฟอร์มเหล่านี้ได้อย่างราบรื่นเพื่อช่วยคุณกรองหน้า Landing Page ที่มี Conversion ต่ำ

ขั้นต่อไป คุณสามารถใช้การรวม Hotjar และ Convert เพื่อทำความเข้าใจว่าองค์ประกอบใดในเพจของคุณใช้งานไม่ได้ ด้วยเครื่องมือขั้นสูง เช่น แผนที่ความร้อน คุณจะเข้าใจภาพว่าผู้เยี่ยมชมเข้าถึงองค์ประกอบต่างๆ บนหน้าเว็บของคุณอย่างไร เมื่อผ่านไปแล้ว คุณสามารถใช้ Convert Compass เพื่อสร้างสมมติฐาน จากนั้นทำการทดสอบบนแพลตฟอร์ม

หลังจากที่คุณทำการทดสอบแล้ว คุณสามารถใช้การผสานรวมระหว่าง Convert และแพลตฟอร์มการสร้างหน้า Landing Page ชั้นนำ เช่น LanderApp, Instapage หรือ Hubspot CMS การผสานรวมเหล่านี้จะช่วยให้คุณทำการทดสอบ A/B ได้ง่ายในหน้า Landing Page ของคุณ

เมื่อใช้เวิร์กโฟลว์เดียวกัน ผู้เชี่ยวชาญ CRO พบว่า Conversion เพิ่มขึ้น 27% โดยมีอัตราการเพิ่มในรถเข็นเพิ่มขึ้น 13%

บรรลุ ROI ที่สูงขึ้นด้วยการทดสอบ A/B ที่ 'ถูกสุขอนามัย'

1. เกณฑ์การเข้าชมเว็บไซต์ : Convert แนะนำให้คุณมีผู้เข้าชมอย่างน้อย 10,000 คนและ Conversion มากกว่า 1,000 รายการสำหรับตัวแปรแต่ละตัวที่กำลังทดสอบ

2. การใช้เครื่องมือที่เหมาะสมสำหรับการทดสอบ A/B : การไม่มีแพลตฟอร์มการทดสอบที่เหมาะสมสามารถให้ผลลัพธ์ที่เป็นมลพิษ ทำให้คุณทำการทดสอบที่ไม่เหมาะสม หรือทำให้เกิดข้อจำกัดด้านทรัพยากรอย่างรุนแรง Convert Experiences ได้รับการออกแบบมาเพื่อกำจัดพารามิเตอร์หลักเหล่านี้ ในขณะที่ทำให้แน่ใจว่ากระบวนการทดสอบสามารถเข้าถึงได้ โปร่งใส และราบรื่น

3. การกำหนดเป้าหมายการทดสอบ : เป้าหมายของคุณในฐานะธุรกิจต้องสอดคล้องกัน ตัวอย่างเช่น ในขณะที่คุณกำลังเพิ่มประสิทธิภาพสำหรับการลงชื่อสมัครใช้สูงสุด หน่วยอื่นๆ ในทีมของคุณไม่ควรเพิ่มประสิทธิภาพกระบวนการที่ตามมาสำหรับยอดขายสูงสุด UX ที่ไม่ต่อเนื่องกันสามารถสร้างความเสียหายได้มากกว่า UX ที่ไม่เหมาะสมรองลงมา

ดังนั้น รักษาความสม่ำเสมอของเป้าหมายระหว่างสมาชิกในทีมทั้งหมด ที่ระดับการทดสอบ ตรวจสอบให้แน่ใจว่าคุณกำหนดขนาดตัวอย่าง ระยะเวลา นัยสำคัญทางสถิติ สมมติฐาน และ MDE อย่างชัดเจนก่อน ระหว่าง และหลังทำการทดสอบ A/B

4. ไม่รวมการรับส่งข้อมูลภายใน: เมื่อคุณทำการทดสอบ A/B สมาชิกในทีมของคุณจะเข้าชมหน้าหรือจุดต่างๆ ในเส้นทางของลูกค้าเพื่อประเมินหน้าอย่างเป็นกลาง ซึ่งอาจทำให้ผลการทดสอบของคุณมีเสียงรบกวน

Convert Experiences ได้รับการออกแบบมาเพื่อกรองการเข้าชมดังกล่าวและมุ่งเน้นเฉพาะกลุ่มผู้ชมที่คุณกำหนดไว้เท่านั้น สำหรับการบันทึก รวบรวม และวิเคราะห์ข้อมูลในกระบวนการทดสอบ A/B

ความคิดสุดท้ายเกี่ยวกับสถิติการทดสอบ A/B

การทดสอบ A/B เป็นการฝึกวิเคราะห์ที่เข้มงวดซึ่งสามารถดำเนินการได้ด้วยความเข้มงวดทางสถิติเท่านั้น หากไม่มีสถิติที่สร้างขึ้นในกระบวนการ การทดสอบ A/B เป็นการคาดเดาอย่างแท้จริง

Convert Experiences ช่วยให้คุณมีการทดสอบ A/B ที่คล่องตัว เข้าถึงได้ เชื่อถือได้ แต่ยังใช้ทรัพยากรได้อย่างมีประสิทธิภาพ While the process of A/B testing can seem a little overwhelming at first, it certainly unlocks value in the form of the right insight and analytical proven ideas it gives you. Make sure you never run an A/B test in isolation – it has to be followed up with more tests, and even multivariate tests.
With consistent optimization and unlimited tests made available by Convert Experiences, you can expect your enterprise to become a more analytical and data-driven operation in no time.