การทดสอบประเภทต่างๆ ทั้งหมดที่คุณสามารถเรียกใช้บนไซต์ของคุณ (+ เมื่อใดควรเรียกใช้)

โลกของการทดลองได้ก้าวไปไกลกว่าการทดสอบ A/B แบบสีปุ่มธรรมดา

พวกเขาอาจมีที่ในพอร์ตโฟลิโอของการทดสอบที่คุณดำเนินการอยู่ แต่หวังว่า ณ จุดนี้ สิ่งเหล่านี้จะไม่มีความหมายเหมือนกันกับการทดลองหรือ CRO

การทดลองอาจยิ่งใหญ่กว่านั้นมาก

ด้วยการใช้การทดสอบประเภทต่างๆ เราสามารถเรียนรู้เกี่ยวกับความแปรปรวนในเว็บไซต์ของเรา ทดสอบประสบการณ์แปลกใหม่ ค้นพบเส้นทางของหน้าใหม่ ก้าวกระโดดครั้งใหญ่หรือก้าวเล็กๆ และระบุองค์ประกอบที่ผสมผสานกันอย่างเหมาะสมบนหน้าเว็บ

สิ่งที่คุณหวังว่าจะได้เรียนรู้จากการทดลองควรสะท้อนให้เห็นในการออกแบบ และการออกแบบการทดลองทำได้มากกว่าแค่การทดสอบ A กับ B โดยใช้สมมติฐานที่เป็นรูปธรรม

อันที่จริง มีสาขาย่อยทั้งหมดของการศึกษาที่เรียกว่าการออกแบบการทดลอง (DoE) ซึ่งครอบคลุมเรื่องนี้

การออกแบบการทดลอง: บทนำสู่การออกแบบการทดลอง

การออกแบบการทดลอง (DoE) เป็นวิธีการทางวิทยาศาสตร์ที่ใช้ในการกำหนดความสัมพันธ์ระหว่างปัจจัยที่ส่งผลต่อกระบวนการและผลลัพธ์ของกระบวนการนั้น

Design of Experiments เป็นแนวคิดที่ Ron Fisher นักสถิตินิยมในช่วงทศวรรษที่ 1920 และ 1930

DoE ช่วยให้เราเข้าใจว่าตัวแปรอินพุตต่างๆ ส่งผลต่อเอาต์พุตของกระบวนการอย่างไร โดยการเปลี่ยนอินพุตอย่างเป็นระบบและสังเกตการเปลี่ยนแปลงผลลัพธ์ในเอาต์พุต แนวทางนี้สามารถใช้เพื่อเพิ่มประสิทธิภาพกระบวนการ พัฒนาผลิตภัณฑ์หรือคุณลักษณะใหม่ หรือเรียนรู้ว่าองค์ประกอบใดทำงานร่วมกันได้ดีที่สุด

ในด้านการตลาด เราใช้ DoE เพื่อปรับปรุงความเข้าใจว่าองค์ประกอบต่างๆ ในเพจ (ปัจจัย) ส่งผลต่ออัตราการแปลง (ผลลัพธ์) อย่างไร ด้วยการออกแบบการทดสอบอย่างมีประสิทธิภาพ เราสามารถระบุได้ว่าองค์ประกอบใดที่มีผลกระทบมากที่สุดต่ออัตราการแปลง

มีการทดสอบหลายประเภท และแต่ละประเภทสามารถใช้เพื่อเรียนรู้สิ่งต่าง ๆ เกี่ยวกับเว็บไซต์หรือแอปของคุณ

ในบทความนี้ ผมจะพูดถึงการทดลอง 16 ประเภท

Nitpickers อาจสังเกตว่าสิ่งเหล่านี้ไม่ใช่การออกแบบการทดลองที่แตกต่างกันโดยพื้นฐานทั้งหมด ค่อนข้างจะ "ประเภท" ที่แตกต่างกันเนื่องจากวิธีสร้างสมมติฐานของคุณหรือกรอบงานใดที่สนับสนุนเหตุผลของคุณในการทำการทดสอบ

นอกจากนี้ บางส่วนยังไม่ใช่ "การทดลอง" แต่อย่างใด แต่เป็นกฎการปรับให้เหมาะสมที่สร้างจากโมเดลการเรียนรู้ของเครื่อง

อย่างไรก็ตาม แต่ละข้อต่อไปนี้มีจุดประสงค์ที่แตกต่างกันและสามารถดูได้ว่าเป็นเครื่องมือพิเศษในชุดเครื่องมือของผู้ทดลอง

1. การทดสอบ A/A

การทดสอบ A/A เป็นแนวคิดง่ายๆ คุณกำลังทดสอบหน้าเว็บสองเวอร์ชันที่เหมือนกัน

ทำไมคุณถึงทำเช่นนี้?

มีเหตุผลหลายประการ ส่วนใหญ่คือการแสวงหาการสอบเทียบและทำความเข้าใจข้อมูลพื้นฐาน พฤติกรรมผู้ใช้ และกลไกการสุ่มของเครื่องมือทดสอบของคุณ การทดสอบ A/A สามารถช่วยคุณได้:

• กำหนดระดับความแปรปรวนในข้อมูลของคุณ
• ระบุข้อผิดพลาดในการสุ่มตัวอย่างภายในเครื่องมือทดสอบของคุณ
• กำหนดอัตรา Conversion พื้นฐานและรูปแบบข้อมูล

การทำการทดสอบ A/A นั้นเป็นเรื่องที่ถกเถียงกันอย่างน่าประหลาด บางคนสาบานด้วยมัน บ้างก็ว่าเสียเวลา

ใช้เวลาของฉัน? มันอาจจะคุ้มค่าที่จะเรียกใช้อย่างน้อยหนึ่งครั้ง ด้วยเหตุผลทั้งหมดที่กล่าวมา อีกเหตุผลหนึ่งที่ฉันชอบทำการทดสอบ A/A คือการอธิบายสถิติสำหรับมือใหม่ในการทดสอบ

เมื่อคุณแสดงการทดลองที่ "สำคัญ" ให้กับผู้อื่นโดยรวบรวมข้อมูลเป็นเวลาสองวัน เพียงเพื่อเปิดเผยในภายหลังว่าเป็นการทดสอบ A/A ผู้มีส่วนได้ส่วนเสียมักจะเข้าใจว่าเหตุใดคุณจึงควรเรียกใช้การทดสอบจนเสร็จสิ้น

หากคุณต้องการอ่านเพิ่มเติมเกี่ยวกับการทดสอบ A/A (จริงๆ แล้วเป็นหัวข้อที่ใหญ่มาก) Convert มีคำแนะนำเชิงลึกเกี่ยวกับการทดสอบ

2. การทดสอบ A/B อย่างง่าย

ทุกคนรู้ดีว่าการทดสอบ A/B แบบง่ายๆ คืออะไร: คุณกำลังทดสอบหน้าเว็บสองเวอร์ชัน เวอร์ชันหนึ่งมีการเปลี่ยนแปลงและอีกเวอร์ชันหนึ่งไม่มี

การทดสอบ A/B คือขนมปังและเนยของการทดลอง ตั้งค่าได้ง่ายและเข้าใจง่าย แต่ยังใช้เพื่อทดสอบการเปลี่ยนแปลงครั้งใหญ่ได้อีกด้วย

การทดสอบ A/B มักใช้เพื่อทดสอบการเปลี่ยนแปลงบนอินเทอร์เฟซผู้ใช้ และเป้าหมายของการทดสอบ A/B แบบง่ายๆ คือการปรับปรุงอัตราการแปลงในหน้าที่กำหนดเกือบทุกครั้ง

อย่างไรก็ตาม อัตราการแปลงเป็นตัวชี้วัดทั่วไปที่ครอบคลุมทุกสัดส่วน เช่น อัตราการเปิดใช้งานของผู้ใช้ผลิตภัณฑ์ใหม่ อัตราการสร้างรายได้ของผู้ใช้ freemium อัตราการแปลงลูกค้าเป้าหมายบนเว็บไซต์ และอัตราการคลิกผ่าน

ด้วยการทดสอบ A/B แบบง่ายๆ คุณจะมีสมมติฐานเอกพจน์และเปลี่ยนองค์ประกอบทีละรายการเพื่อเรียนรู้เกี่ยวกับองค์ประกอบเชิงสาเหตุของการเปลี่ยนแปลงให้มากที่สุด นี่อาจเป็นบางอย่างเช่นการเปลี่ยนพาดหัว สีของปุ่มหรือการเปลี่ยนขนาด การเพิ่มหรือลบวิดีโอ หรืออะไรก็ได้

เมื่อเราพูดว่า "การทดสอบ A/B" เรามักใช้คำทั่วไปเพื่อรวมประเภทการทดสอบที่เหลือส่วนใหญ่ที่ฉันจะแสดงในโพสต์นี้ มักใช้เป็นคำศัพท์ในร่มเพื่อหมายถึง "เราเปลี่ยน *บางสิ่ง* - องค์ประกอบใหญ่ เล็ก หรือหลายองค์ประกอบ - เพื่อปรับปรุงเมตริก"

3. แบบทดสอบ A/B/n

การทดสอบ A/B/n นั้นคล้ายกับการทดสอบ A/B มาก แต่แทนที่จะทดสอบหน้าเว็บสองเวอร์ชัน คุณกำลังทดสอบหลายเวอร์ชัน

การทดสอบ A/B/n มีความคล้ายคลึงกัน ในบางวิธี การทดสอบหลายตัวแปร (ซึ่งฉันจะสำรวจต่อไป) อย่างไรก็ตาม แทนที่จะเป็นการทดสอบแบบ "หลายตัวแปร" ฉันจะพิจารณาว่านี่เป็นการทดสอบแบบหลายตัวแปร

การทดสอบหลายตัวแปรมีประโยชน์ในการทำความเข้าใจความสัมพันธ์ระหว่างองค์ประกอบต่างๆ ในหน้า ตัวอย่างเช่น หากคุณต้องการทดสอบพาดหัว รูปภาพ และคำอธิบายต่างๆ ในหน้าผลิตภัณฑ์ และต้องการดูว่าชุดค่าผสมใดที่ดูเหมือนว่าจะโต้ตอบได้ดีที่สุด คุณจะต้องใช้การทดสอบหลายตัวแปร

การทดสอบ A/B/n มีประโยชน์สำหรับการทดสอบองค์ประกอบเดียวหลายเวอร์ชัน และไม่สนใจผลการโต้ตอบระหว่างองค์ประกอบมากนัก

ตัวอย่างเช่น หากคุณต้องการทดสอบพาดหัวที่แตกต่างกันสามรายการในหน้า Landing Page คุณจะต้องใช้การทดสอบ A/B/n หรือคุณอาจทดสอบหน้าเว็บเจ็ดเวอร์ชันที่ต่างกันโดยสิ้นเชิงก็ได้ เป็นเพียงการทดสอบ A/B ที่มีการทดสอบมากกว่าสองครั้ง

การทดสอบ A/B/n เป็นทางเลือกที่ดีเมื่อคุณมีการเข้าชมจำนวนมาก และต้องการทดสอบตัวแปรต่างๆ อย่างมีประสิทธิภาพ แน่นอนว่าต้องแก้ไขสถิติสำหรับตัวแปรหลายตัว นอกจากนี้ยังมีการถกเถียงกันมากมายเกี่ยวกับจำนวนตัวแปรที่ควรรวมไว้ในการทดสอบ A/B/n

บ่อยครั้ง คุณสามารถผลักดันตัวแปรที่เป็นต้นฉบับและสร้างสรรค์มากขึ้นเมื่อทดสอบประสบการณ์หลายๆ อย่างพร้อมกัน แทนที่จะทำซ้ำในการทดสอบ A/B ง่ายๆ หลายๆ รายการ

4. การทดสอบหลายตัวแปร

การทดสอบหลายตัวแปรคือการทดสอบที่มีการเปลี่ยนแปลงหลายอย่าง ในกรณีที่การทดสอบ A/B/n เป็นการทดสอบเวอร์ชันผสมของตัวแปรแต่ละตัวเทียบกับตัวแปรอื่นๆ การทดสอบหลายตัวแปรยังมีจุดมุ่งหมายเพื่อกำหนดผลการโต้ตอบระหว่างองค์ประกอบที่ทดสอบ

ตัวอย่างเช่น ลองนึกภาพว่าคุณกำลังออกแบบหน้าแรกใหม่ คุณได้ทำการวิจัยเกี่ยวกับคอนเวอร์ชั่นและพบปัญหาความชัดเจนในหัวข้อข่าวของคุณ แต่คุณก็มีสมมติฐานบางอย่างเกี่ยวกับระดับคอนทราสต์และความชัดเจนใน CTA ของคุณ

คุณไม่เพียงแต่สนใจที่จะปรับปรุงองค์ประกอบทั้งสองอย่างแยกกันเท่านั้น แต่ประสิทธิภาพขององค์ประกอบเหล่านี้ยังอาจขึ้นอยู่กับ ดังนั้น คุณจึงต้องการดูว่าชุดค่าผสมของหัวข้อใหม่และ CTA ใดทำงานได้ดีที่สุด

การออกแบบการทดลองมีความซับซ้อนมากขึ้นเมื่อคุณเข้าสู่อาณาเขตหลายตัวแปร มีการตั้งค่าการทดสอบหลายตัวแปรหลายประเภท รวมถึงการออกแบบแฟกทอเรียลแบบเต็ม การออกแบบแฟกทอเรียลบางส่วนหรือเศษส่วน และการทดสอบ Taguchi

และในแง่ของสามัญสำนึกทางสถิติ การทดสอบหลายตัวแปรนั้นแทบจะต้องมีการรับส่งข้อมูลมากกว่าการทดสอบ A/B แบบธรรมดา องค์ประกอบหรือประสบการณ์เพิ่มเติมแต่ละรายการที่คุณเปลี่ยนแปลงจะเพิ่มปริมาณการเข้าชมที่คุณต้องการเพื่อให้ได้ผลลัพธ์ที่ถูกต้อง

5. การทดสอบการกำหนดเป้าหมาย

การทดสอบการกำหนดเป้าหมาย หรือที่รู้จักกันดีในชื่อการปรับเปลี่ยนในแบบของคุณ ล้วนเกี่ยวกับการแสดงข้อความที่ถูกต้องไปยังบุคคลที่ใช่ในเวลาที่เหมาะสม

ด้วยการทดสอบการกำหนดเป้าหมาย คุณสามารถสร้างเวอร์ชันต่างๆ ของเพจและแสดงแต่ละเวอร์ชันต่อกลุ่มคนที่แตกต่างกัน โดยปกติแล้ว เป้าหมายคือการเพิ่มอัตราการแปลงโดยการแสดงเนื้อหาที่เกี่ยวข้องให้ผู้ใช้แต่ละคนเห็น

โปรดทราบว่าการปรับเปลี่ยนในแบบของคุณและการทดลองไม่ใช่คำพ้องความหมาย คุณสามารถปรับเปลี่ยนประสบการณ์ในแบบของคุณโดยไม่ต้องถือว่าเป็นการทดลอง ตัวอย่างเช่น คุณสามารถตัดสินใจโดยไม่มีข้อมูลหรือตั้งใจที่จะรวบรวมข้อมูล ว่าคุณจะใช้โทเค็นชื่อในอีเมลของคุณเพื่อปรับแต่งข้อความด้วยชื่อผู้รับในแบบของคุณ

ส่วนบุคคล? ใช่. การทดลอง? เลขที่

แต่คุณยังสามารถเรียกใช้การทดสอบที่กำหนดเป้าหมายกลุ่มผู้ใช้เฉพาะได้อีกด้วย โดยเฉพาะอย่างยิ่งในการทดลองผลิตภัณฑ์ ซึ่งคุณสามารถแยกกลุ่มตามระดับราคา เวลาในการสมัคร แหล่งที่มาของการสมัคร ฯลฯ

สถิติเดียวกันนี้ใช้กับการทดสอบการปรับเปลี่ยนในแบบของคุณ ดังนั้นการเลือกกลุ่มที่มีความหมายเพื่อกำหนดเป้าหมายจึงเป็นเรื่องสำคัญ หากคุณเข้าใจได้ละเอียดเกินไป เช่น กำหนดเป้าหมายไปยังผู้ใช้ Chrome สำหรับมือถือในแคนซัสในชนบทซึ่งมีเซสชันระหว่าง 5 ถึง 6 เซสชัน ไม่เพียงแต่จะเป็นไปไม่ได้ที่จะหาจำนวนผลกระทบทางสถิติเท่านั้น แต่ยังไม่น่าจะมีผลกระทบทางธุรกิจที่มีความหมายเช่นกัน

โดยทั่วไปแล้ว การปรับเปลี่ยนในแบบของคุณจะถูกมองว่าเป็นส่วนขยายตามธรรมชาติของการทดสอบ A/B อย่างง่าย แต่ในหลาย ๆ ด้าน การปรับเปลี่ยนนี้จะทำให้เกิดความซับซ้อนใหม่ๆ มากมาย สำหรับกฎการปรับให้เป็นส่วนตัวใหม่ที่คุณใช้ นั่นคือ "จักรวาล" ใหม่ที่คุณสร้างขึ้นเพื่อให้ผู้ใช้จัดการ อัปเดต และเพิ่มประสิทธิภาพ

เครื่องมือปรับตั้งค่าส่วนบุคคลแบบคาดการณ์ล่วงหน้าช่วยให้คุณระบุกลุ่มเป้าหมายรวมถึงประสบการณ์ที่ดูเหมือนว่าจะทำงานได้ดีขึ้นกับพวกเขา มิฉะนั้น กฎการปรับให้เป็นส่วนตัวมักจะถูกระบุโดยการแบ่งส่วนหลังการทดสอบ

6. การทดสอบโจร

การทดสอบโจรหรือการใช้อัลกอริธึมของโจรนั้นค่อนข้างจะเป็นเรื่องทางเทคนิค แต่โดยพื้นฐานแล้วมันแตกต่างจากการทดสอบ A/B เนื่องจากพวกเขากำลังเรียนรู้และเปลี่ยนแปลงตัวแปรที่จะแสดงต่อผู้ใช้อยู่เสมอ

การทดสอบ A/B มักจะเป็นการทดสอบ "ขอบฟ้าคงที่" (โดยมีข้อแม้ทางเทคนิคในการใช้การทดสอบตามลำดับ) ซึ่งหมายความว่าคุณกำหนดระยะเวลาทดลองใช้ไว้ล่วงหน้าเมื่อคุณทำการทดสอบ เมื่อเสร็จสิ้น คุณจะตัดสินใจเปิดตัวตัวแปรใหม่หรือเปลี่ยนกลับเป็นเวอร์ชันดั้งเดิม

การทดสอบโจรเป็นไดนามิก พวกเขาอัปเดตการจัดสรรการรับส่งข้อมูลไปยังตัวแปรแต่ละตัวอย่างต่อเนื่องตามประสิทธิภาพ

ทฤษฎีเป็นดังนี้: คุณเดินเข้าไปในคาสิโนและสะดุดกับเครื่องสล็อตหลายเครื่อง (โจรหลายอาวุธ) สมมติว่าเครื่องแต่ละเครื่องมีรางวัลต่างกัน ปัญหาโจรจะช่วย "ตัดสินใจว่าจะเล่นเครื่องไหน เล่นแต่ละเครื่องกี่ครั้ง และลำดับที่จะเล่น และจะเล่นต่อกับเครื่องปัจจุบันหรือลองใช้เครื่องอื่น"

กระบวนการตัดสินใจที่นี่แบ่งออกเป็น "การสำรวจ" ซึ่งคุณพยายามรวบรวมข้อมูลและข้อมูล และ "การแสวงหาผลประโยชน์" ซึ่งใช้ประโยชน์จากความรู้นั้นเพื่อสร้างผลตอบแทนที่สูงกว่าค่าเฉลี่ย

ดังนั้นการทดสอบแบนด์บนเว็บไซต์จึงพยายามค้นหาตัวแปรที่เหมาะสมที่สุดในแบบเรียลไทม์ และส่งปริมาณการใช้งานไปยังตัวแปรนั้นมากขึ้น

7. อัลกอริธึมวิวัฒนาการ

อัลกอริธึมวิวัฒนาการเป็นการผสมผสานระหว่างการทดสอบหลายตัวแปรและการทดสอบแบบแบนด์ ในบริบทของการทดลองทางการตลาด อัลกอริธึมวิวัฒนาการช่วยให้คุณทดสอบตัวแปรจำนวนมากได้พร้อมกัน

เป้าหมายของอัลกอริธึมวิวัฒนาการคือการค้นหาองค์ประกอบที่ลงตัวบนหน้า พวกมันทำงานโดยการสร้าง "ประชากร" ของตัวแปรต่างๆ แล้วทดสอบพวกมันทั้งหมดเปรียบเทียบกันเอง จากนั้นตัวแปรที่ทำงานได้ดีที่สุดจะถูกนำมาใช้เป็นจุดเริ่มต้นสำหรับคนรุ่นต่อไป

ตามชื่อที่แนะนำ มันใช้การวนซ้ำแบบวิวัฒนาการเป็นแบบจำลองสำหรับการเพิ่มประสิทธิภาพ คุณมีพาดหัวข่าว ปุ่ม เนื้อหาและวิดีโอเวอร์ชันต่างๆ มากมาย และคุณรวมแต่ละเวอร์ชันเข้าด้วยกันเพื่อสร้างการกลายพันธุ์ใหม่ และพยายามกำจัดรูปแบบที่อ่อนแอออกไปแบบไดนามิก และส่งการเข้าชมไปยังรูปแบบที่แข็งแกร่งยิ่งขึ้น

มันเหมือนกับการทดสอบหลายตัวแปรกับสเตอรอยด์ แม้ว่าจะมีความโปร่งใสในเอฟเฟกต์การโต้ตอบน้อยกว่า (ดังนั้นจึงมีศักยภาพในการเรียนรู้ที่ต่ำกว่า)

การทดลองเหล่านี้ต้องการการเข้าชมเว็บไซต์เพียงเล็กน้อยจึงจะทำงานได้ดี

8. การทดสอบเส้นทางแยกหน้า

การทดสอบเส้นทางของหน้าแยกเป็นประเภทการทดสอบ A/B ทั่วไปเช่นกัน

แทนที่จะเปลี่ยนองค์ประกอบในหน้าเดียว คุณกำลังเปลี่ยนเส้นทางทั้งหมดที่ผู้ใช้ใช้ผ่านเว็บไซต์ของคุณ

ด้วยการทดสอบเส้นทางของหน้าแยก คุณจะต้องทดสอบเว็บไซต์ ผลิตภัณฑ์ หรือช่องทางที่แตกต่างกันสองเวอร์ชัน โดยปกติแล้ว เป้าหมายคือการค้นหาเวอร์ชันที่ส่งผลให้มี Conversion หรือยอดขายเพิ่มขึ้น นอกจากนี้ยังสามารถช่วยระบุจุดออกจากกระบวนการในช่องทาง ซึ่งสามารถวิเคราะห์พื้นที่โฟกัสเพื่อการเพิ่มประสิทธิภาพเพิ่มเติมได้

โดยทั่วไป แทนที่จะเปลี่ยนสำเนาของปุ่ม คุณจะเปลี่ยนหน้าถัดไปที่ปุ่มจะส่งถึงคุณหากคุณคลิก เป็นวิธีที่มีประสิทธิภาพในการทดสอบเส้นทางของลูกค้า

9. การทดสอบการดำรงอยู่

การทดสอบการดำรงอยู่เป็นแนวคิดที่น่าสนใจ สิ่งที่คุณพยายามจะทำคือหาปริมาณผลกระทบ (หรือขาดสิ่งนี้) ขององค์ประกอบที่กำหนดในผลิตภัณฑ์หรือเว็บไซต์ของคุณ

ตามบทความ CXL "พูดง่ายๆ เราลบองค์ประกอบของไซต์ของคุณและดูว่าเกิดอะไรขึ้นกับอัตราการแปลงของคุณ"

กล่าวคือ คุณกำลังทดสอบเพื่อดูว่าการเปลี่ยนแปลงมีผลใดๆ หรือไม่

ในเชิงกลยุทธ์ นี่เป็นกลยุทธ์ที่ประเมินค่าต่ำเกินไป เรามักจะสมมติผ่านการวิเคราะห์พฤติกรรมของเราเองหรือผ่านการวิจัยเชิงคุณภาพ ซึ่งองค์ประกอบที่สำคัญที่สุดบนหน้าเว็บ

แน่นอนว่าวิดีโอสาธิตผลิตภัณฑ์มีความสำคัญ การทดสอบการดำรงอยู่เป็นวิธีการตั้งคำถามกับความเชื่อนั้นและได้คำตอบอย่างรวดเร็ว

คุณเพียงแค่ลบวิดีโอและดูว่าเกิดอะไรขึ้น

อัตราการแปลงเพิ่มขึ้นหรือลดลง? น่าสนใจ นั่นหมายถึงองค์ประกอบหรืออสังหาริมทรัพย์ที่ครอบครองนั้นมีผลกระทบในทางใดทางหนึ่ง

ไม่มีผลกระทบ? ที่น่าสนใจเช่นกัน ในกรณีนั้น ฉันจะเน้นที่ทีมของฉันในส่วนอื่นๆ ของประสบการณ์ดิจิทัล โดยรู้ว่าแม้การลบองค์ประกอบออกทั้งหมดก็ไม่มีผลอะไรกับ KPI ของเรา

10. การทดสอบประตูทาสี

การทดสอบประตูทาสีคล้ายกับการทดสอบการมีอยู่ในทางใดทางหนึ่ง เป็นเรื่องปกติในการทดสอบข้อเสนอใหม่ๆ และการทดสอบความต้องการคุณลักษณะของผลิตภัณฑ์ใหม่

โดยพื้นฐานแล้ว การทดสอบประตูทาสีเป็นการทดลองเพื่อดูว่าผู้คนจะใช้ฟีเจอร์ใหม่จริงหรือไม่ คุณไม่ได้ใช้เวลาและทรัพยากรเพื่อ *สร้าง* ข้อเสนอหรือคุณลักษณะใหม่ แต่คุณสร้าง "ประตูทาสี" เพื่อดูว่าผู้คนที่เดินผ่านไปมาจะพยายามเปิดมันหรือไม่ (เช่น คุณสร้างปุ่มหรือหน้า Landing Page และดูว่ามีคนคลิกเข้าไปหรือไม่ ซึ่งแสดงถึงความสนใจ)

เป้าหมายของการทดสอบประตูทาสีคือเพื่อดูว่ามีความต้องการสำหรับสิ่งที่คุณกำลังทดสอบหรือไม่ หากผู้คนใช้คุณสมบัติใหม่นี้จริงๆ คุณก็รู้ว่ามันคุ้มค่าที่จะทำตาม ถ้าไม่เช่นนั้น คุณก็รู้ว่ามันไม่คุ้มกับเวลาของคุณและสามารถทิ้งความคิดนี้ได้

พวกเขายังเป็นที่รู้จักกันในนาม การทดสอบควัน

การทดสอบประตูแบบทาสีเป็นวิธีที่ยอดเยี่ยมในการทดสอบแนวคิดใหม่ๆ โดยไม่ต้องลงทุนเวลาหรือเงินเป็นจำนวนมาก

เนื่องจากคุณไม่มีข้อเสนอหรือประสบการณ์ในการสร้าง คุณจึงมักใช้ KPI เช่น อัตรา Conversion ไม่ได้ แต่คุณต้องจำลองเกณฑ์ขั้นต่ำของมูลค่าที่คาดไว้ ตัวอย่างเช่น การสร้างคุณลักษณะ X จะมีค่าใช้จ่าย Y ดังนั้นจากข้อมูลพื้นฐานที่มีอยู่ เราจะต้องเห็นอัตราการคลิกผ่าน Y เพื่อรับประกันว่าจะสร้างประสบการณ์ "จริง"

ในบางกรณี รายชื่อรอก่อนการเปิดตัวคือการทดสอบประตูทาสี (ตัวอย่างที่มีชื่อเสียงคือมีดโกนของแฮร์รี่)

11. การทดสอบการค้นพบ

การทดสอบการค้นพบซึ่งฉันดึงมาจากวิธีการทดสอบตามวินัยของ Andrew Anderson ล้วนเป็นการเพิ่มช่วงของตัวเลือกที่เป็นไปได้

เกือบทุกครั้งเป็นเวอร์ชันของการทดสอบ A/B/n ที่มีตัวแปรหลายแบบ แต่ไม่จำเป็นต้องได้รับการออกแบบแบบนั้นเสมอไป จุดประสงค์ที่ใหญ่ขึ้นของสิ่งเหล่านี้คือการทดสอบตัวเลือกที่อยู่นอกขอบเขตของสิ่งที่คุณมักจะคิดว่าสมเหตุสมผล สิ่งนี้ช่วยลดอคติของคุณ ซึ่งสามารถจำกัดขอบเขตของตัวเลือกที่คุณเคยพิจารณา

แทนที่จะกำหนดสมมติฐานอย่างแคบ ๆ คุณหวังที่จะหลุดพ้นจากอคติของคุณเองและอาจเรียนรู้บางสิ่งที่แปลกใหม่เกี่ยวกับสิ่งที่ได้ผลกับผู้ชมของคุณ

ในการทดสอบการค้นพบ คุณจะต้องนำอสังหาริมทรัพย์ชิ้นหนึ่งไปใช้กับผลิตภัณฑ์หรือเว็บไซต์ของคุณ และสร้างตัวเลือกสินค้าที่หลากหลาย เป้าหมายคือแต่ละรูปแบบจะค่อนข้างแตกต่างจากรุ่นก่อน ทำให้คุณมีตัวเลือกที่แตกต่างกันมากมาย เป้าหมายคือค้นหาสิ่งที่ใช้ได้ผล แม้ว่าคุณจะไม่รู้ว่าอะไรจะเกิดขึ้นก่อนเวลาก็ตาม

ในการทดสอบการค้นพบ สิ่งสำคัญคือต้องจับคู่การทดสอบของคุณกับ KPI มาโคร และไม่เพิ่มประสิทธิภาพสำหรับ Conversion ย่อย การทดสอบประสบการณ์การใช้งานที่มีความหมายและมีปริมาณการใช้งานสูงเป็นสิ่งสำคัญเช่นกัน เนื่องจากคุณจะต้องการพลังทางสถิติที่เหมาะสมเพื่อเปิดเผยการยกระดับจากตัวแปรต่างๆ

หากต้องการดูตัวอย่างของการทดลองเช่นนี้ ให้ดูตัวอย่างของ Andrew Anderson จาก Malwarebytes ที่พวกเขาทดสอบ 11 รูปแบบที่แตกต่างกันอย่างมากมาย

12. การทดสอบซ้ำ

มีแนวคิดที่รู้จักในวิทยาการคอมพิวเตอร์ว่า "ปัญหาการปีนเขา" โดยพื้นฐานแล้ว อัลกอริธึมการปีนเขาจะพยายามหาจุดสูงสุดในแนวนอนโดยเริ่มจากด้านล่างและเลื่อนขึ้นไปเรื่อยๆ

แนวคิดเดียวกันนี้สามารถนำไปใช้กับการทดลองทางการตลาดได้

ด้วยการทดสอบแบบวนซ้ำ คุณจะเริ่มต้นด้วยการเปลี่ยนแปลงเล็กๆ น้อยๆ แล้วทำให้ใหญ่ขึ้นเรื่อยๆ จนกว่าจะถึงจุดที่ผลตอบแทนลดลง จุดผลตอบแทนที่ลดลงนี้เรียกว่า "ค่าสูงสุดในพื้นที่" ค่าสูงสุดในพื้นที่คือจุดสูงสุดในภูมิประเทศที่สามารถเข้าถึงได้จากจุดเริ่มต้นของคุณ

เป้าหมายของการทดสอบซ้ำคือการหาค่าสูงสุดในพื้นที่สำหรับการเปลี่ยนแปลงที่กำหนด วิธีนี้อาจเป็นวิธีที่มีประสิทธิภาพมากในการทดสอบสิ่งต่างๆ เช่น การเปลี่ยนแปลงข้อเสนอหรือการเปลี่ยนแปลงราคา ตลอดจนองค์ประกอบใดๆ ที่คุณพบว่ามีผลกระทบจากการวิจัยหรือผ่านการทดสอบการมีอยู่

โดยพื้นฐานแล้ว คุณรู้ว่าองค์ประกอบ X มีความสำคัญ และคุณรู้ว่ายังมีช่องว่างเพิ่มเติมในการปรับปรุง KPI Y โดยการปรับปรุงองค์ประกอบ X ดังนั้น คุณจึงใช้การแทงเล็กๆ ซ้ำๆ หลายครั้งในการเปลี่ยนองค์ประกอบ X จนกว่าจะปรากฏว่าคุณไม่สามารถปรับปรุงเมตริกได้อีกต่อไป (หรือ มันยากมากที่จะทำอย่างนั้น)

ตัวอย่างง่ายๆ ของการทดสอบซ้ำๆ มาจากเว็บไซต์ของฉันเอง ฉันเรียกใช้ป๊อปอัปแม่เหล็กนำ ฉันรู้ว่าพวกเขาขับเคลื่อนอีเมล และมีแนวโน้มว่าผลตอบแทนจะลดลง แต่ฉันไม่คิดว่าฉันจะทำสำเร็จ ดังนั้นทุก ๆ สองสามเดือน ฉันจะเปลี่ยนตัวแปรหนึ่งตัว ไม่ว่าจะเป็นพาดหัว ตัวข้อเสนอ หรือรูปภาพ ด้วยความหวังว่าจะได้ผลลัพธ์เพียงเล็กน้อย

13. การทดสอบนวัตกรรม

การทดสอบที่เป็นนวัตกรรมใหม่นั้นตรงกันข้ามกับการทดสอบซ้ำๆ เพื่อค้นหาเนินใหม่ที่สมบูรณ์เพื่อปีน

ตามบทความของ CXL การทดสอบเชิงนวัตกรรมนั้น “ออกแบบมาเพื่อสำรวจดินแดนที่ไม่คุ้นเคยและค้นหาโอกาสใหม่ ๆ”

การทดสอบเชิงนวัตกรรมทั้งหมดเกี่ยวกับการลองสิ่งใหม่ทั้งหมด โดยปกติแล้วจะมีความเสี่ยงมากกว่าการทดสอบประเภทอื่นๆ เล็กน้อย แต่ก็สามารถให้รางวัลได้เช่นกัน หากคุณกำลังมองหาชัยชนะที่ยิ่งใหญ่ การทดสอบนวัตกรรมเป็นวิธีที่จะไป

การออกแบบหน้าแรกหรือหน้า Landing Page ใหม่ทั้งหมดอยู่ภายใต้หมวดหมู่นี้ การทดสอบการค้นพบเป็นรูปแบบหนึ่งของการทดสอบเชิงนวัตกรรม การทดสอบสีของปุ่มจะตรงกันข้ามกับการทดสอบเชิงนวัตกรรม

การทดสอบที่เป็นนวัตกรรมใหม่ควรทำให้คุณหรือผู้มีส่วนได้ส่วนเสียของคุณรู้สึกไม่สบายใจเล็กน้อย (แต่อย่าลืมว่าการทดลองที่สวยงามมีระยะเวลาจำกัดและจำกัดข้อเสียของคุณ)

CXL ได้ยกตัวอย่างของการทดสอบเชิงนวัตกรรมที่พวกเขาดำเนินการให้กับลูกค้าที่นี่:

14. การทดสอบที่ไม่ด้อยกว่า

การทดสอบที่ไม่ด้อยกว่าใช้เพื่อตรวจสอบว่าการรักษาใหม่ไม่ได้แย่กว่าการรักษามาตรฐานหรือไม่

เป้าหมายของการทดสอบที่ไม่ด้อยกว่าคือการแสดงให้เห็นว่าการรักษาแบบใหม่มีประสิทธิภาพอย่างน้อยเท่ากับการรักษามาตรฐาน

ทำไมคุณถึงทำการทดสอบแบบนี้?

หลายเหตุผล. สิ่งที่ดีที่สุดที่ฉันคิดได้คือถ้าคุณมีตัวแปรที่ "ดีกว่า" ในอีกมิติหนึ่ง (ค่าบำรุงรักษาถูกกว่า ปฏิบัติตามมาตรฐานแบรนด์ได้ดีกว่า ฯลฯ) แต่คุณต้องการให้แน่ใจว่าไม่เป็นอันตรายต่อคุณ KPI ของธุรกิจหลัก

หรือในมุมมองของการทดลองทางคลินิกทางการแพทย์ ลองนึกภาพว่ามีการพัฒนายาที่มีราคา 1/10 เท่าของยาที่ใช้กันทั่วไป ตราบใดที่มันไม่ได้มีประสิทธิภาพ *แย่กว่ายาที่มีอยู่* ความสามารถในการจ่ายได้หมายความว่าเป็นตัวเลือกที่ดีกว่ามากในการเปิดตัว

อีกเหตุผลหนึ่งที่ฉันดำเนินการเหล่านี้คือถ้าการรักษาเป็นที่ชื่นชอบอย่างมากจากผู้บริหารหรือผู้มีส่วนได้ส่วนเสีย เกลียดที่จะทำลายมันให้คุณ แต่เพียงเพราะเราสามารถเข้าถึงข้อมูลได้ในฐานะผู้เชี่ยวชาญด้านการทดลอง ไม่ได้หมายความว่าเราจะหลีกเลี่ยงความยุ่งเหยิงของการคิดแบบลำเอียงและการเมืองของมนุษย์

ฉันยินดีที่จะทำการทดสอบที่ส่งโดย HiPPO เป็นครั้งคราวและดำเนินการผ่านเกณฑ์ความแน่นอนที่ต่ำกว่า เช่น การทดสอบที่ไม่ด้อยกว่า ตราบใดที่มันไม่ได้ทำให้ KPI ของ *ของฉัน* ยุ่งเหยิง การเผยแพร่ออกมาก็ไม่เสียหาย และมันจะได้รับความโปรดปรานทางการเมือง

15. ฟีเจอร์แฟล็ก

แฟล็กคุณลักษณะเป็นเทคนิคการพัฒนาซอฟต์แวร์ที่ช่วยให้คุณสามารถสลับเปิดหรือปิดคุณลักษณะหรือฟังก์ชันบางอย่าง และทดสอบคุณลักษณะใหม่ในการผลิตได้

โดยไม่ต้องลงรายละเอียดทางเทคนิคมากมาย พวกเขาอนุญาตให้คุณทดสอบฟีเจอร์ในการผลิตหรือเริ่มใช้งานอย่างช้าๆ ให้กับผู้ใช้กลุ่มย่อย ในขณะที่ยังคงความสามารถในการปรับขนาดกลับอย่างรวดเร็วหรือปิดฟีเจอร์หากใช้งานไม่ได้

เป็นวิธีการประกันคุณภาพในหลาย ๆ ด้าน แต่ในหลายๆ ด้าน การทดสอบ A/B ก็เช่นกัน

คำว่า "ฟีเจอร์แฟล็ก" เป็นคำที่ใช้ทั่วไปซึ่งรวมถึงฟังก์ชัน "สลับ" ที่เกี่ยวข้องมากมาย เช่น เวอร์ชันคานารี การทดสอบในการผลิต การพัฒนาอย่างต่อเนื่อง การย้อนกลับ และเกทคุณลักษณะ

16. การทดลองเสมือน

สุดท้าย ประเภทของการทดลองที่ซับซ้อน กว้างที่สุด และยากที่สุดที่จะกำหนด: การทดลองเสมือน

การทดลองเสมือนมักใช้เมื่อไม่สามารถสุ่มกำหนดผู้ใช้ให้กับกลุ่มทดสอบได้

ตัวอย่างเช่น หากคุณกำลังทดสอบคุณลักษณะใหม่บนเว็บไซต์ คุณสามารถเรียกใช้การทดสอบ A/B ตั้งค่าสถานะคุณลักษณะ หรือแม้แต่แขนส่วนบุคคล

แต่ถ้าคุณต้องการทดสอบการเปลี่ยนแปลง SEO หลายๆ อย่าง และดูผลกระทบที่มีต่อทราฟฟิกล่ะ? หรือยิ่งไปกว่านั้น ผลกระทบต่อการแปลงบล็อก? จะทำอย่างไรถ้าคุณต้องการทดสอบประสิทธิภาพของโฆษณาป้ายโฆษณากลางแจ้ง?

ในกรณีจำนวนมากอย่างน่าประหลาดใจ เป็นเรื่องยากหากเป็นไปไม่ได้ที่จะจัดการทดสอบที่มีการจัดการอย่างเข้มงวดและควบคุมได้อย่างแท้จริง

ในกรณีเหล่านี้ เราออกแบบการทดลองเสมือนเพื่อทำสิ่งที่เรามี

ในกรณีของการเปลี่ยนแปลง SEO เราสามารถใช้เครื่องมือเช่น Causal Impact เพื่อวัดปริมาณการเปลี่ยนแปลงในอนุกรมเวลา โดยเฉพาะอย่างยิ่ง หากเราควบคุมการทดสอบของเราโดยพิจารณาจากหน้าเว็บหรือมิติข้อมูลที่สามารถระบุได้อื่นๆ ซึ่งจะทำให้เรามีแนวคิดที่ดีในระยะยาวว่าการแทรกแซงของเราได้ผลหรือไม่

ในกรณีของโฆษณาทางวิทยุหรือป้ายโฆษณา เราสามารถลองเลือกตำแหน่งทางภูมิศาสตร์ที่เป็นตัวแทนและหาจำนวนผลกระทบเมื่อเวลาผ่านไปโดยใช้สถิติแบบเบย์ที่คล้ายคลึงกัน

นี่เป็นหัวข้อที่ซับซ้อน ดังนั้นฉันจะเชื่อมโยงไปยังแหล่งข้อมูลที่ยอดเยี่ยมสองแห่ง:

• วิธีการทำงานของ Netflix แบบกึ่งทดลอง
• Shopify ดำเนินการทดลองเสมือนอย่างไร

บทสรุป

ฉันหวังว่าสิ่งนี้จะทำให้คุณเชื่อมั่นว่าการทดสอบ A/B ทำได้มากกว่าการเปลี่ยนบรรทัดแรกหรือปุ่ม CTA เพื่อเพิ่มประสิทธิภาพอัตราการแปลง

เมื่อคุณขยายขอบเขตของการทดลองที่สามารถทำได้ คุณจะรู้ว่ามันเป็นเครื่องมือการเรียนรู้ที่เหลือเชื่อ

เราสามารถแมปองค์ประกอบที่มีผลกระทบบนหน้า Landing Page ระบุส่วนผสมที่เหมาะสม หาเส้นทางหน้าผู้ใช้ใหม่ที่ได้รับการปรับปรุง พัฒนาคุณลักษณะและประสบการณ์ใหม่โดยไม่ต้องเสี่ยงกับหนี้ทางเทคนิคหรือประสบการณ์ผู้ใช้ที่ไม่ดี หรือแม้แต่ทดสอบช่องทางการตลาดใหม่ และการแทรกแซงจากเว็บไซต์ของเราหรือภายนอกผลิตภัณฑ์ของเรา