คุณควรเรียกใช้การทดสอบพร้อมกันหรือไม่ คู่มือเพื่อหลีกเลี่ยงผลลัพธ์ที่ขัดแย้งกัน

มีการถกเถียงกันในโลกของการปรับให้เหมาะสมที่สุดว่าจะเรียกใช้การทดสอบพร้อมกันหรือไม่ บางคนเชื่อว่าการทำการทดสอบ A/B พร้อมกันจะทำให้ผลลัพธ์ของคุณสับสนและสร้างข้อมูลที่ไม่ถูกต้อง คนอื่นๆ โต้แย้งว่าการเรียกใช้ประสบการณ์ A/B ในหน้าต่างๆ ของเว็บไซต์ของคุณพร้อมกันสามารถช่วยให้คุณทดสอบสิ่งต่างๆ ได้มากขึ้น และระบุกลยุทธ์ที่ชนะได้เร็วขึ้น

ดังนั้นที่ถูกต้อง?

ในบล็อกโพสต์นี้ เราจะสำรวจข้อดีและข้อเสียของการทดสอบพร้อมกัน และช่วยคุณตัดสินใจว่าแนวทางใดดีที่สุดสำหรับโปรแกรมเพิ่มประสิทธิภาพของคุณ

หลังจากอ่านบทความในบล็อกนี้แล้ว คุณจะสามารถตอบคำถามต่อไปนี้ได้:

• ฉันสามารถเรียกใช้ประสบการณ์ URL แยกพร้อมกันได้หรือไม่
• ฉันสามารถเรียกใช้ประสบการณ์ A/B พร้อมกันได้หรือไม่
• ฉันสามารถเรียกใช้ประสบการณ์ A/A และประสบการณ์ A/B พร้อมกันได้หรือไม่

คำตอบสั้น ๆ คือ ใช่ ประสบการณ์ที่หลากหลายสามารถทำงานพร้อมกันในหน้าเดียวหรือชุดของหน้า แต่โปรดทราบว่าการฝากข้อมูลในประสบการณ์หนึ่งอาจส่งผลต่อข้อมูลจากประสบการณ์อื่นที่เกิดขึ้นพร้อมกัน

ประสบการณ์ทับซ้อนกันเกิดขึ้นได้อย่างไรและคุณควรกังวลหรือไม่?

มีสิ่งหนึ่งที่ต้องคำนึงถึงเมื่อทำการทดสอบพร้อมกัน ในบางกรณี การเปลี่ยนแปลงสองอย่างอาจโต้ตอบกัน ส่งผลให้เกิดผลกระทบต่อพฤติกรรมเมื่อรวมกันแตกต่างจากเมื่อถูกแยกออก กรณีนี้อาจเกิดขึ้นเมื่อมีการเรียกใช้การทดสอบในหน้าเดียวกัน โดยมีขั้นตอนของผู้ใช้เหมือนกัน และอื่นๆ

มาดูตัวอย่างกันว่าประสบการณ์ที่ทับซ้อนกันอาจเกิดขึ้นที่ไหนและควรพิจารณาว่าเป็นปัญหาหรือไม่

การทดสอบองค์ประกอบเดียวกัน

การเปลี่ยนการออกแบบหน้าผลิตภัณฑ์ของคุณเพื่อเน้นคุณลักษณะของรางวัล เช่น นโยบายการคืนสินค้าฟรีและการจัดส่งฟรี เป็นตัวอย่างหนึ่งของการทดสอบ A/B ที่คุณดำเนินการได้

ลูกค้าของเรารายหนึ่งได้ทดสอบสถานการณ์สมมตินี้แล้ว จากข้อมูลจากแผนกบริการลูกค้า พวกเขาตั้งสมมติฐานว่าลูกค้าไม่ทราบนโยบายคืนสินค้าโดยไม่เสียค่าใช้จ่ายของแบรนด์ เนื่องจากคุณลักษณะนี้ไม่สามารถมองเห็นได้เพียงพอบนหน้าผลิตภัณฑ์ จากนั้นพวกเขาก็ทำการทดสอบ A/B เพื่อแสดงคุณลักษณะนี้ให้ชัดเจนยิ่งขึ้น และวัดว่าลูกค้าตอบสนองอย่างไร

นี่คือลักษณะของต้นฉบับและรูปแบบ:

อย่างไรก็ตาม การใช้งานการทดสอบนั้นซับซ้อนกว่าเล็กน้อย เนื่องจากการเปลี่ยนแปลงจะไม่มีผลกับทุกหน้าผลิตภัณฑ์ ผลิตภัณฑ์บางอย่างไม่มีสิทธิ์รับคืนสินค้าฟรี ไม่สามารถแก้ไขสินค้าลดราคาบางรายการได้ ฯลฯ ด้วยเหตุผลเหล่านี้ พวกเขาจึงตัดสินใจเรียกใช้ประสบการณ์ A/B อื่นพร้อมกันโดยเปลี่ยนองค์ประกอบเดียวกันและเพิ่มสำเนาข้อจำกัดความรับผิดชอบในหลายส่วน หน้าเหล่านี้ระบุว่า "สินค้าไม่สามารถคืนได้"

อย่างที่คุณเห็น ประสบการณ์ A/B ทั้งสองแบบมีผลกระทบต่อองค์ประกอบของเว็บไซต์เดียวกัน ดังนั้นจึงทำให้เกิดการทับซ้อนกันในผลลัพธ์ ทำให้ยากที่จะสรุปผลที่ชัดเจน

การทดสอบในหน้าเดียวกัน

อีกตัวอย่างหนึ่งของประสบการณ์ A/B คือเมื่อลูกค้าของเราปรับหน้าผลิตภัณฑ์ของตนให้เหมาะสมเพื่อเพิ่มการเข้าชมตามคำสั่ง

ขณะที่พวกเขาวิเคราะห์แต่ละองค์ประกอบของหน้าผลิตภัณฑ์และติดตามการแปลงเป้าหมาย พวกเขาพบว่าลิงก์แถบนำทางหลักได้รับการคลิกมากที่สุด โดยเฉพาะ "ซื้อเลย" ลูกค้าของเราตระหนักถึงความสำคัญของการส่งการเข้าชมที่มีคุณสมบัติเหมาะสมไปยังหน้าหมวดหมู่มากกว่าที่จะปล่อยให้พวกเขาหลงทางในหน้าแรก

ด้วยเหตุนี้ ลูกค้าจึงตัดสินใจเปลี่ยนส่วน "ซื้อเลย" ด้วยหมวดหมู่อื่นๆ เช่น "ประหยัดสุด" "ตลาดสด" และอื่นๆ นอกจากนี้ ส่วน "ซื้อเลย" ถูกย้ายไปทางด้านซ้ายของไซต์เพื่อทำให้หน้าดูน่าสนใจยิ่งขึ้นและดึงดูดผู้เยี่ยมชมที่มีคุณสมบัติเหมาะสม

นี่คือลักษณะที่หน้าผลิตภัณฑ์ดูในตอนแรก:

ในขณะเดียวกัน มีการทดสอบ A/B อื่นในหน้าผลิตภัณฑ์เพื่อพิจารณาว่าปุ่ม "ซื้อเลย" สีที่ต่างกันจะส่งผลให้มี Conversion ดีขึ้นหรือไม่

เนื่องจากประสบการณ์ A/B ทั้งสองนี้ส่งผลต่อองค์ประกอบเดียวกันในหน้าเดียวกัน ผลลัพธ์ที่ทับซ้อนกันบางส่วนจึงหลีกเลี่ยงไม่ได้

การทดสอบผู้ใช้ที่เข้าร่วมในช่องทาง/กระแสเดียวกัน

ประสบการณ์ที่ทับซ้อนกันอาจเกิดขึ้นเมื่อทดสอบผู้ใช้ที่เข้าร่วมในช่องทางเดียวกัน เว็บไซต์ส่วนใหญ่ทำให้เกิด Conversion ผ่านหลายช่องทาง แม้ว่าความสนใจหลักอาจอยู่ที่การซื้อ แต่การสร้างบัญชีหรือการซื้อกิจการอาจเป็นแรงผลักดันที่สำคัญในธุรกิจได้เช่นกัน

การเรียกใช้ประสบการณ์บนหน้าผลิตภัณฑ์มีแนวโน้มที่จะส่งผลต่อการแปลงการซื้อ อย่างไรก็ตาม การทดสอบรูปแบบแบบฟอร์มในหน้าการสร้างบัญชีสามารถช่วยปรับปรุงช่องทางนั้นได้ การทดสอบการได้มามีทุกอย่างตั้งแต่การเพิ่มปริมาณการเข้าชมไซต์ไปจนถึงการรวบรวมที่อยู่อีเมลเพื่อวัตถุประสงค์ทางการตลาด

การมีประสบการณ์ในหน้าเดียวกันของเว็บไซต์อาจทำให้เกิดการทับซ้อนกันส่งผลให้เกิดข้อบกพร่อง ผลลัพธ์มีแนวโน้มที่จะได้รับผลกระทบหากเป้าหมายประสบการณ์สอดคล้องกับกระบวนการเดียวกัน

สมมติว่าคุณกำลังพยายามลงทะเบียนให้เสร็จสมบูรณ์มากขึ้น เมื่อเข้าสู่ไซต์ของคุณ ผู้ใช้จะถูกขอให้ลงทะเบียน:

ในการตั้งค่าช่องทางการแปลงสำหรับการลงชื่อสมัครใช้ คุณสามารถติดตามเหตุการณ์ต่อไปนี้:

• จำนวนผู้ใช้ที่สมัคร
• จำนวนการสมัครที่เสร็จสมบูรณ์
• จำนวนการโหลดหน้าจอโฮมเพจ

จากนั้น คุณสามารถกำหนดสมมติฐานหลายประการเกี่ยวกับวิธีการปรับปรุงช่องทางโดยการทดสอบการเปลี่ยนแปลงต่อไปนี้:

1. เพิ่มการปฐมนิเทศไปยังขั้นตอนการสมัคร
2. ย่อแบบฟอร์มลงทะเบียนเพื่อให้เป็นมิตรกับผู้ใช้มากขึ้น
3. ลบการสมัครอย่างสมบูรณ์

อย่างไรก็ตาม ในกรณีนี้ ไม่สามารถระบุผลกระทบที่แน่นอนของการเปลี่ยนแปลงจากการทดสอบ A/B เนื่องจากประสบการณ์ A/B ส่งผลต่อช่องทางเดียวกัน ดังนั้นจึงมีความทับซ้อนกันระหว่างผลลัพธ์

เรียกใช้ประสบการณ์ทั่วทั้งไซต์

อาจมีบางครั้งที่คุณต้องทดสอบกับองค์ประกอบที่ปรากฏในทุกหน้า สมมติว่าคุณต้องการทดสอบการเปลี่ยนสีหรือขนาดแบบอักษรของคำกระตุ้นการตัดสินใจส่วนท้ายเพื่อดูว่าคุณจะได้รับ Conversion กี่รายการ

กระบวนการนี้ใช้งานง่ายด้วย Conversion เพียงเพิ่มหน้าทั้งหมดในการกำหนดเป้าหมายของคุณ

นั่นคือทั้งหมด!

อย่างไรก็ตาม การกำหนดเป้าหมายทั่วทั้งไซต์จะส่งผลต่อการทดสอบ A/B อื่นๆ ที่ทำงานบนหน้าเหล่านั้น ส่งผลให้เกิดประสบการณ์ที่ทับซ้อนกัน

การทดสอบผู้ชม/ผู้เข้าชมคนเดียวกัน

พิจารณากรณีศึกษาต่อไปนี้: คุณต้องการประเมินสองด้านของระบบอีคอมเมิร์ซของคุณ ดังนั้น คุณจึงพัฒนาการทดสอบ A/B สองครั้งสำหรับผู้ใช้มือถือและผู้ใช้เดสก์ท็อป

1. คุณกำลังพยายามดูว่าการทำให้ปุ่ม "เพิ่มลงในรถเข็น" เป็นสีแดงแทนที่จะเป็นสีน้ำเงินจะเพิ่มจำนวนคลิกหรือไม่
2. คุณกำลังลองใช้กระบวนการเช็คเอาต์ใหม่ที่ลดจำนวนขั้นตอนลงจากห้าเป็นสองขั้น เพื่อดูว่าคุณได้รับการสมัครเพิ่มขึ้นหรือไม่

หากการกระทำทั้งสองนำไปสู่เหตุการณ์ความสำเร็จเดียวกัน (ธุรกรรมที่เสร็จสมบูรณ์) อาจเป็นเรื่องยากที่จะระบุได้ว่าปุ่มสีแดงหรือประสบการณ์การชำระเงินที่ดีขึ้นช่วยเพิ่ม Conversion บนเดสก์ท็อปและอุปกรณ์เคลื่อนที่หรือไม่

เพื่อหลีกเลี่ยงผลลัพธ์ที่ทับซ้อนกันและปัญหาการแสดงประสบการณ์อื่นๆ คุณควรเรียกใช้การทดสอบข้างต้นกับผู้ชมที่แตกต่างกัน (เช่น เฉพาะอุปกรณ์เคลื่อนที่หรือเดสก์ท็อปเท่านั้น)

ข้อเสียเพียงอย่างเดียวของการทดสอบการแบ่งกลุ่มคือจำนวนการเข้าชมของคุณจะลดลง ซึ่งอาจส่งผลต่อระยะเวลาในการทดสอบของคุณ อย่างไรก็ตาม เนื่องจากใช้เทคนิคการปรับเปลี่ยนในแบบของคุณ วิธีนี้จึงเป็นวิธีที่แนะนำเพื่อหลีกเลี่ยงไม่ให้ประสบการณ์ทับซ้อนกันเมื่อทำการทดสอบ A/B เมื่อเลือกกลุ่มอย่างระมัดระวัง ผลกระทบต่อประสบการณ์ทั้งหมดจะน้อยที่สุด

การดำเนินประสบการณ์ที่อาจส่งผลกระทบอย่างมีนัยสำคัญต่อเป้าหมายที่แบ่งปันกับประสบการณ์อื่นๆ

มันไปโดยไม่บอกว่าถ้าเป้าหมายของคุณเหมือนกันในการทดสอบ ผลลัพธ์ของคุณจะเน้นที่เป้าหมายส่วนบุคคลนี้ เพื่อให้แต่ละประสบการณ์บรรลุวัตถุประสงค์ เป้าหมายของแต่ละประสบการณ์ต้องไม่ขัดแย้งกัน

กลยุทธ์สำหรับการทดสอบที่ประสบความสำเร็จ

ไม่มีวิธีแก้ไขปัญหาแบบใดแบบหนึ่งสำหรับการทดสอบรันที่ไม่ทับซ้อนกัน เมื่อคุณก้าวผ่านแต่ละขั้นตอนของเส้นทางการทดสอบ ความต้องการของคุณจะเป็นตัวกำหนดว่าคุณจะดำเนินการอย่างไร

เพื่อช่วยให้คุณตัดสินใจได้อย่างมีข้อมูล มาดูกลยุทธ์ทั่วไปที่คุณสามารถใช้เพื่อจัดการกับการทับซ้อนกัน

1. ประสบการณ์พร้อมกันโดยไม่ทับซ้อนกัน (แยก)

กลยุทธ์ที่ตรงไปตรงมาที่สุดคือกลยุทธ์ที่คุณใช้มาจนถึงตอนนี้ นั่นคือ ประสบการณ์ที่แยกออกมาต่างหากที่ทำงานพร้อมกัน

ดังที่เราได้กล่าวไว้ข้างต้น ประสบการณ์ที่แยกออกมาจะไม่ทับซ้อนกัน และผลลัพธ์ของประสบการณ์หนึ่งจะไม่ส่งผลต่อผลลัพธ์ของอีกประสบการณ์หนึ่ง

กรณีต่อไปนี้ต้องใช้กลยุทธ์นี้:

• เมื่อการทับซ้อนกันเป็นไปไม่ได้ในทางเทคนิค : หากคุณกำลังทดสอบในลักษณะที่ไม่รวมชุดค่าผสมที่ทับซ้อนกันที่เป็นไปได้ทั้งหมดที่กล่าวถึงข้างต้น
• เมื่อประสบการณ์ของผู้ใช้ถูกทำลายได้ : การผสมผสานประสบการณ์บางอย่างอาจทำลายประสบการณ์ของผู้ใช้ ดังนั้นประสบการณ์เหล่านี้จึงต้องแยกจากกัน
• เมื่อเป้าหมายหลักเป็นตัวชี้วัดที่แม่นยำ ดังนั้น การทดลองแยกเท่านั้นจึงจะสมเหตุสมผล

ในกรณีเหล่านี้ ไม่มีทางใดที่ประสบการณ์หนึ่งจะส่งผลต่ออีกประสบการณ์หนึ่งได้ หากคุณเรียกใช้ประสบการณ์สองรายการพร้อมกันในสองหน้าที่แตกต่างกันโดยมีเป้าหมายที่แตกต่างกันสองประการ ผู้เยี่ยมชมที่มีส่วนร่วมในประสบการณ์ 1 จะไม่มีส่วนร่วมในประสบการณ์ 2 และในทางกลับกัน

นอกเหนือจากกรณีข้างต้น จากมุมมองด้านประสิทธิภาพ การดำเนินการประสบการณ์ในเลนที่แยกออกมาพร้อมกันนั้นไม่สมเหตุสมผล การดำเนินการสองประสบการณ์ในเลนที่แยกจากกันจะใช้เวลาเท่ากับการเรียกใช้ประสบการณ์ทีละรายการสำหรับจำนวนผู้ใช้หรือเซสชันที่กำหนด หากคุณมีผู้ใช้ 10,000 รายทุกเดือนและต้องการเรียกใช้สองประสบการณ์ โดยแต่ละรายการต้องการผู้ใช้ 5,000 คน จะยังต้องใช้เวลาหนึ่งเดือนกว่าจะเสร็จสิ้นประสบการณ์

นอกจากนี้ กลยุทธ์นี้มีข้อเสียที่ชัดเจน: ประสบการณ์การวิ่งในเลนแยกจะป้องกันการตรวจสอบการโต้ตอบที่อาจเกิดขึ้นระหว่างรูปแบบต่างๆ อย่างไม่ต้องสงสัย

มันจะเหมือนกับการทำการทดสอบกับผู้ใช้เดสก์ท็อปก่อนที่จะทำให้รูปแบบที่ชนะสามารถใช้ได้ทั้งสำหรับผู้ใช้เดสก์ท็อปและมือถือ หากมีช่องทางทดสอบแยกกัน ผลกระทบต่อผู้ใช้อุปกรณ์พกพาอาจเหมือนกับผู้ใช้เดสก์ท็อป แต่ก็เป็นไปได้ว่าจะมีความแตกต่างกันมาก

2. ประสบการณ์ที่ไม่พร้อมกัน (ต่อเนื่อง)

หากไม่มีวิธีหลีกเลี่ยงประสบการณ์ที่ทับซ้อนกัน คุณควรพิจารณาใช้ประสบการณ์ตามลำดับ หมายความว่าแต่ละประสบการณ์ที่อาจทับซ้อนกันควรดำเนินการตามลำดับ

คุณสามารถใช้คอลัมน์แปลง "เริ่มต้น/วางแผน" และ "หยุด" เพื่อให้มองเห็นการทดสอบตามลำดับของคุณได้:

กลยุทธ์นี้สามารถทำให้มีประสิทธิภาพมากยิ่งขึ้นด้วยแผนงานการจัดลำดับความสำคัญ

กรอบงาน PIE และ ICE เป็นสองตัวเลือกที่มีประสิทธิภาพสำหรับการจัดลำดับความสำคัญของประสบการณ์สำหรับทีมของคุณ

กรอบงาน PIE (พัฒนาโดย Widerfunnel) เป็นวิธีการจัดลำดับความสำคัญที่เป็นที่นิยมซึ่งจัดอันดับการทดสอบตามเกณฑ์สามประการ ได้แก่ ศักยภาพ ความสำคัญ และความสะดวก เมื่อใช้คะแนน PIE คุณจะจัดอันดับและจัดลำดับความสำคัญของการทดสอบแต่ละรายการตามคะแนนเฉลี่ยของแต่ละเกณฑ์เหล่านี้ได้

แบบจำลอง Impact, Confidence and Ease (ICE) (พัฒนาโดย Sean Ellis จาก Growthhackers) นั้นคล้ายกับ PIE มาก ยกเว้นว่าจะใช้ปัจจัยความเชื่อมั่นแทน "ศักยภาพ"

การไม่มีแผนงานจะจำกัดความสามารถของคุณในการใช้ประโยชน์สูงสุดจากการเข้าชมและทรัพยากรของคุณ

เป็นไปได้ เช่น การสะสมแนวคิดหน้าแรกที่ค้างอยู่โดยไม่ได้ตั้งใจ ซึ่งต้องดำเนินการทีละอย่าง หากปัญหาคอขวดยังคงอยู่ คุณอาจถูกบังคับให้รอเกมแทนที่จะสามารถทดสอบส่วนอื่นๆ ของเว็บไซต์ของคุณได้พร้อมกัน หรือคุณอาจทำการทดสอบหลายๆ ครั้งพร้อมกันโดยไม่พิจารณาถึงผลกระทบที่ทับซ้อนกันใดๆ ที่อาจเป็นไปได้ ซึ่งจะทำให้ได้ผลลัพธ์ที่น่าสงสัย

3. ประสบการณ์พร้อมกันกับคาบเกี่ยวกัน

หลังจากวิเคราะห์ประสบการณ์ของคุณแล้ว คุณสรุปได้ว่าประสบการณ์เหล่านั้นทับซ้อนกัน ดังนั้นจึงจำเป็นต้องแยกพวกมันออก คุณทำอย่างนั้นได้อย่างไร? มันง่าย! เรียกใช้การทดสอบครั้งแรกแล้วครั้งที่สองใช่ไหม ส่วนลำดับจะอธิบายวิธีการทำงาน

อย่างไรก็ตาม ลองนึกภาพว่าคุณต้องการทำการทดสอบสักสองสามช่วงในช่วงคริสต์มาสหรือช่วงเทศกาลวันหยุดใด ๆ เพราะไม่ว่าด้วยเหตุผลใดก็ตาม นี่คือเวลาที่คุณได้รับผู้เยี่ยมชมมากขึ้นและประสบการณ์สามารถมีผลกระทบอย่างมีนัยสำคัญมากขึ้น แล้วไง? คุณสามารถเรียกใช้ประสบการณ์ทั้งหมดของคุณทีละอย่างได้หรือไม่? เห็นได้ชัดว่าไม่มี

คุณสามารถเรียกใช้ประสบการณ์ของคุณพร้อมกันโดยไม่ต้องกังวลเกี่ยวกับการทับซ้อนโดยใช้กลยุทธ์ด้านล่าง

ก. ประสบการณ์ A/B/N

กลยุทธ์แรกในหมวดหมู่นี้คือการทดสอบ A/B/N ซึ่งเกี่ยวข้องกับการทดสอบมากกว่าสองรูปแบบพร้อมกัน A/B/N ไม่ได้หมายถึงรูปแบบที่สาม แต่หมายถึงรูปแบบเพิ่มเติมจำนวนเท่าใดก็ได้: A/B/C, A/B/C/D และการทดสอบ A/B แบบขยายอื่นๆ

หลักการทดสอบ A/B/N ยังคงเหมือนเดิมโดยไม่คำนึงถึงจำนวนรูปแบบเพิ่มเติม: แบ่งผู้ใช้ออกเป็นกลุ่ม กำหนดรูปแบบต่างๆ (โดยทั่วไปคือหน้า Landing Page หรือหน้าเว็บอื่นๆ) ให้กับกลุ่ม ตรวจสอบการเปลี่ยนแปลงของตัวชี้วัดหลัก (โดยทั่วไปคือ อัตรา Conversion ) ตรวจสอบผลลัพธ์ของประสบการณ์สำหรับนัยสำคัญทางสถิติ และปรับใช้รูปแบบที่ชนะ

อย่างไรก็ตาม การทดสอบรูปแบบต่างๆ มากเกินไป (เมื่อเลือกได้เพียงรูปแบบเดียว) สามารถแบ่งการเข้าชมเว็บไซต์เพิ่มเติมได้ ดังนั้นจึงสามารถเพิ่มระยะเวลาและปริมาณการใช้ข้อมูลที่จำเป็นเพื่อให้ได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติและสร้าง "สัญญาณรบกวนทางสถิติ"

สิ่งสำคัญคือต้องไม่มองข้ามภาพรวมเมื่อเรียกใช้การทดสอบ A/B/N หลายครั้ง ไม่มีการรับประกันว่าตัวแปรต่างๆ จะทำงานร่วมกันได้ดี เพียงเพราะพวกเขาทำงานได้ดีที่สุดในการทดลอง

ในกรณีดังกล่าว ให้พิจารณาทำการทดสอบหลายตัวแปรเพื่อทดสอบรูปแบบต่างๆ ทั้งหมด และตรวจสอบให้แน่ใจว่ามีการปรับปรุงไปสู่ตัวชี้วัดระดับบนสุด

ข. ประสบการณ์หลายตัวแปร (MVT): รวมประสบการณ์มากมายในการทดสอบเดียว

ประสบการณ์หลายตัวแปร (MVT) จะเรียกใช้การเปลี่ยนแปลงต่างๆ มากมายพร้อมกัน

ในการพิจารณาว่าองค์ประกอบใดจากชุดค่าผสมที่เป็นไปได้ทั้งหมด มีอิทธิพลมากที่สุดต่อเป้าหมาย องค์ประกอบหลายอย่างต้องได้รับการแก้ไขพร้อมกันในหน้าเดียวกัน

การทดสอบหลายตัวแปรต่างจากการทดสอบ A/B/N ตรงที่ให้คุณกำหนดได้ว่าการเปลี่ยนแปลงใดที่ตอบสนองความต้องการของผู้เข้าชมของคุณได้ดีที่สุด ด้วยการทดสอบหลายตัวแปร คุณสามารถกำหนดได้ว่าชุดค่าผสมของตัวแปรใดทำงานได้ดีที่สุดเมื่อมีการเปลี่ยนแปลงหลายตัวแปร

ตัวอย่างเช่น หากคุณต้องการทดสอบพาดหัวข่าวสองแบบ ภาพสองภาพ และสีสองปุ่มบนหน้าที่แตกต่างกัน การทดสอบ MVT ของคุณจะมีลักษณะดังนี้:

การทดสอบ MVT ด้านบนจะทดสอบองค์ประกอบต่างๆ (พาดหัว สี และรูปภาพ) พร้อมกันในชุดค่าผสมที่ต่างกัน

วิธีตั้งค่า MVT ใน Convert Experiences

ขั้นแรก จากแท็บประสบการณ์ในบัญชี Convert ของคุณ ให้เลือก "ประสบการณ์ใหม่":

ตอนนี้คุณสามารถตั้งชื่อประสบการณ์ของคุณ ลองใช้ "MVT แรกของฉัน" เลือกตัวเลือกหลายตัวแปรแล้วคลิกดำเนินการต่อ:

มีส่วนและรูปแบบต่างๆ ใน ​​MVT ส่วนต่างๆ คือตำแหน่งบนหน้าเว็บของคุณที่คุณต้องการทดสอบรูปแบบหนึ่งหรือหลายรูปแบบ

ต่อไปนี้เป็นตัวอย่างของส่วนต่างๆ:

• โลโก้
• หัวข้อข่าว
• วรรคแรก
• แบบฟอร์มการเลือกรับ

นอกจากนี้ยังมีรูปแบบต่างๆ (ในส่วนเหล่านี้) ซึ่งมีโครงสร้างดังนี้:

• ส่วน: โลโก้
  
  
  • โลโก้เดิม
  • Variation 1) โลโก้ซ้าย
  • Variation 2) โลโก้ขวา

• ส่วน: พาดหัว
  
  
  • หัวเรื่องเดิม
  • Variation 1) พาดหัวข่าว “Search Now My Friend”
  • รูปแบบที่ 2) พาดหัว "Give Search A Go"
• ส่วน: ย่อหน้าแรก
  
  
  • ต้นฉบับย่อหน้าแรก
  • รูปแบบที่ 1) วรรคแรก “สีแดง”
  • รูปแบบที่ 2) วรรคแรก "สีน้ำเงิน"
• ส่วน: แบบฟอร์มการเลือกรับ
  
  
  • แบบฟอร์มการเลือกรับต้นฉบับ
  • รูปแบบที่ 1) แบบฟอร์มการเลือกรับพร้อมนามสกุลช่องเพิ่มเติม
  • รูปแบบที่ 2) แบบฟอร์มการเลือกรับพร้อมช่องทำเครื่องหมาย "เอกสารทางเทคนิค"
  • รูปแบบที่ 3) แบบฟอร์มการเลือกใช้ลอยไปทางซ้าย
  • แบบที่ 4) แบบเลือกรับ “หน้าผู้หญิง”

นี่คือลักษณะที่โครงสร้างด้านบนจะปรากฏใน Convert Visual Editor

URL สำหรับหน้าที่คุณต้องการทดสอบจะถูกโหลดใน Visual Editor หลังจากนั้น คุณสามารถแก้ไขรูปแบบแรกได้ การเปลี่ยนเนื้อหาทำได้ง่ายเพียงแค่คลิกบริเวณที่ไฮไลต์สีส้ม การคลิกเครื่องหมายบวกสีเขียวข้างชื่อรูปแบบ คุณสามารถเพิ่มรูปแบบใหม่ได้

คุณสามารถตัวอย่างเช่น:

• คลิกองค์ประกอบเพื่อเปลี่ยน (องค์ประกอบถูกเน้นด้วยเส้นขอบสีส้ม)
• เลือกการกระทำในเมนู เช่น เปลี่ยนแหล่งที่มาของภาพ

สรุปประสบการณ์ MVT จะมีลักษณะดังนี้:

อย่างไรก็ตาม MVT มาพร้อมกับข้อจำกัดบางประการ

ข้อจำกัดแรกเกี่ยวข้องกับจำนวนผู้เข้าชมที่จำเป็นในการค้นหาประสบการณ์พหุตัวแปรของคุณอย่างมีนัยสำคัญทางสถิติ

การเพิ่มจำนวนตัวแปรในการทดสอบหลายตัวแปรอาจส่งผลให้เกิดรูปแบบต่างๆ มากมาย ตรงข้ามกับการทดสอบ A/B มาตรฐาน ซึ่ง 50% ของการรับส่งข้อมูลถูกจัดสรรให้กับเวอร์ชันดั้งเดิมและ 50% สำหรับรูปแบบอื่น การทดสอบหลายตัวแปรจะจัดสรรเพียง 5, 10 หรือ 15% ของการรับส่งข้อมูลให้กับแต่ละชุดค่าผสม ในทางปฏิบัติ ส่งผลให้ระยะเวลาการทดสอบยาวนานขึ้นและไม่สามารถบรรลุนัยสำคัญทางสถิติที่จำเป็นสำหรับการตัดสินใจได้

ข้อจำกัดอีกประการหนึ่งคือความซับซ้อนของ MVT การทดสอบ A/B มักจะตั้งค่าและวิเคราะห์ได้ง่ายกว่าการทดสอบหลายตัวแปร แม้แต่การสร้างการทดสอบหลายตัวแปรพื้นฐานก็ใช้เวลานาน และง่ายเกินไปที่จะเกิดข้อผิดพลาด อาจใช้เวลาสองสามสัปดาห์หรือหลายเดือนกว่าที่ข้อบกพร่องเล็กน้อยในการออกแบบประสบการณ์จะปรากฏขึ้น

หากคุณไม่มีประสบการณ์ในการทดสอบมากนัก — ทำการทดสอบหลายประเภทบนเว็บไซต์ต่างๆ — คุณไม่ควรพิจารณาการทดสอบแบบหลายตัวแปรด้วยซ้ำ คุณอาจจะดีกว่าด้วยกลยุทธ์ต่อไปที่ฉันพูดถึง ประสบการณ์ที่ไม่เกิดร่วมกัน

ค. ประสบการณ์สุดพิเศษร่วมกัน

คุณยังสามารถเรียกใช้ประสบการณ์ที่มีการทับซ้อนกันได้พร้อมกันโดยทำให้แน่ใจว่าจะไม่เกิดร่วมกัน โปรดทราบว่าขึ้นอยู่กับแพลตฟอร์มการทดสอบ A/B ของคุณ คุณอาจสร้างประสบการณ์ที่ไม่เหมือนกันได้ โดยพื้นฐานแล้ว คุณต้องแบ่งการรับส่งข้อมูลของคุณออกเป็นกลุ่มๆ ตามจำนวนประสบการณ์ที่ดำเนินการ และตรวจสอบให้แน่ใจว่าแต่ละกลุ่มมีส่วนร่วมในประสบการณ์เดียว

การแปลงช่วยให้มีความเฉพาะตัวร่วมกัน และด้านล่างเราจะแสดงวิธีกำหนดค่าเพื่อให้ผู้เข้าชมที่ดูประสบการณ์ A ไม่ได้ดูประสบการณ์ B

ลำดับที่ประสบการณ์ถูกดำเนินการ:

ขั้นตอนแรกในการตั้งค่านี้คือทำความเข้าใจวิธีดำเนินการประสบการณ์ Convert เงื่อนไขประสบการณ์จะได้รับการประเมินตามลำดับบนหน้า โดยคำนึงถึงรหัสประสบการณ์

ประสบการณ์ที่มี ID ต่ำสุดจะได้รับการประเมินก่อน และหลังจากปฏิบัติตามเงื่อนไขทั้งหมดแล้ว ประสบการณ์ใหม่จะเริ่มต้นขึ้น ดังนั้นในภาพหน้าจอด้านล่าง ประสบการณ์กับ ID 100243925 จะทำงานก่อน ส่วนที่เหลือจะตามมา

สองประสบการณ์พิเศษร่วมกัน

จำเป็นต้องปฏิบัติตามขั้นตอนเหล่านี้หากคุณมีประสบการณ์การทำงานสองอย่างพร้อมกันและต้องการทำให้ไม่เกิดเหตุการณ์ร่วมกัน:

1. ตั้งค่า Traffic Distribution ให้ต่ำกว่า 100% ในประสบการณ์ครั้งแรก

ตั้งค่าประสบการณ์ด้วย ID ต่ำสุดเพื่อใช้ทราฟฟิกน้อยกว่า 100% คุณสามารถทำได้ในส่วนการกระจายการเข้าชมของสรุปประสบการณ์

2. กำหนดเงื่อนไขของผู้ชมเป็น "Bucketed in Experience is No" ในประสบการณ์ที่สอง

จากนั้น ในประสบการณ์ที่สอง กำหนดเงื่อนไขของผู้ชมว่า “Bucketed in Experience is No” คุณจะพบสิ่งนี้ได้หากคุณเพิ่มผู้ชมใหม่ (ภายใต้ข้อมูลผู้เข้าชม) เงื่อนไขนี้หมายความว่าผู้เยี่ยมชมจะได้รับการทดสอบเฉพาะในกรณีที่ยังไม่เคยทำการทดสอบมาก่อน วิธีนี้จะช่วยป้องกันไม่ให้ผู้เยี่ยมชมคนเดิมถูกทดสอบซ้ำ 2 ครั้ง

ประสบการณ์สุดพิเศษร่วมกันมากมาย

หากคุณมีประสบการณ์มากกว่า 2 อย่างที่ต้องไม่เกิดร่วมกัน คุณสามารถทำตามขั้นตอนเหล่านี้:

1. ตั้งค่า Traffic Distribution สำหรับประสบการณ์ทั้งหมดให้ต่ำกว่า 100%

ตั้งค่าประสบการณ์คู่ขนานทั้งหมดให้ใช้การรับส่งข้อมูลน้อยกว่า 100% คุณสามารถทำได้ในส่วนการกระจายการเข้าชมของสรุปประสบการณ์

2. ตั้งค่าผู้ชมขั้นสูงตามคุกกี้ของผู้เยี่ยมชม

จากนั้น ในประสบการณ์ทั้งหมดยกเว้นประสบการณ์ที่มี ID ต่ำสุด ให้ใช้ผู้ชมขั้นสูงตามคุกกี้ของผู้เยี่ยมชมเพื่อแยกผู้เยี่ยมชมที่รวมอยู่ในประสบการณ์คู่ขนานอื่นๆ

ตัวอย่างเช่น สมมติว่าเรามีประสบการณ์ 4 อย่างนี้:

1. ประสบการณ์ A กับ ID 123456 การกระจายการเข้าชม 80%
2. ประสบการณ์ B กับ ID 123457 การกระจายปริมาณข้อมูล 50%
3. ประสบการณ์ C ด้วย ID 123458 การกระจายการเข้าชม 30%
4. ประสบการณ์ D ด้วย ID 123459 การกระจายปริมาณข้อมูล 75%

ประสบการณ์ B ควรมีผู้ชมขั้นสูงนี้:

ประสบการณ์ C ควรมีผู้ชมขั้นสูงนี้:

และสุดท้าย Experience D ควรมีผู้ชมขั้นสูงนี้:

ดังที่คุณเห็นด้านบน ค่าคุกกี้มีรูปแบบดังนี้:

xxxxxx.{v.1-

สิ่งนี้เกิดขึ้นเนื่องจากหากคุณพยายามยกเว้นผู้เยี่ยมชมที่รวมอยู่ในประสบการณ์ที่กำหนดค่าด้วยการเข้าชมน้อยกว่า 100% คุกกี้จะยังคงเขียนอยู่หากผู้เยี่ยมชมตรงตามเงื่อนไขของพื้นที่ไซต์และผู้ชม แต่เนื่องจากการกระจายปริมาณการเข้าชม ผู้เข้าชมไม่ได้ รวมอยู่ในประสบการณ์นั้น

คุกกี้แปลง _conv_v จะมีลักษณะดังนี้:

ประสบการณ์:{12345678.{v.1-g.{}}}

โปรดทราบว่าในรูปแบบข้างต้นไม่มีค่ารูปแบบ – เฉพาะ v.1 – เนื่องจากผู้เข้าชมไม่รวมอยู่ในประสบการณ์ อย่างไรก็ตาม เราติดตามสิ่งนี้ด้วยคุกกี้ เพื่อที่ครั้งต่อไปที่ผู้เยี่ยมชมเข้าชมหน้า พวกเขาจะถูกแยกออกจากประสบการณ์เดียวกันอีกครั้ง

บทสรุป

การมีประสบการณ์การทำงานหลายอย่างพร้อมกันทำให้เกิดความซับซ้อนบางอย่าง คุณไม่แน่ใจเสมอไปว่าการทดสอบใดช่วยเพิ่ม Conversion หรือมีการโต้ตอบที่ซ่อนอยู่ระหว่างกัน อย่างไรก็ตาม นี่ไม่ใช่ปัญหาใหญ่เนื่องจากมีกลยุทธ์ในการบรรเทาความซับซ้อนเหล่านี้

เราได้หารือถึง 5 กลยุทธ์ในการจัดการกับปัญหาที่เกิดจากการทดสอบหลายรายการที่ทำงานพร้อมกัน:

1. ประสบการณ์วิ่งไปพร้อม ๆ กันเมื่อไม่ทับซ้อนกัน
2. เรียกใช้ประสบการณ์ตามลำดับเมื่อคุณไม่สามารถหลีกเลี่ยงประสบการณ์ที่ทับซ้อนกันได้
3. เรียกใช้ประสบการณ์ A/B/N
4. กำลังรันการทดสอบ MVT
5. เรียกใช้ประสบการณ์พิเศษร่วมกัน

เรายังแสดงให้เห็นว่า Convert รองรับกลยุทธ์การทดสอบทั้งหมดข้างต้นอย่างไร ทำให้เป็นเครื่องมืออเนกประสงค์

สิ่งสำคัญคือต้องคำนึงถึงความซับซ้อนทั้งหมดเหล่านี้เมื่อทำการทดสอบ A/B เพื่อให้คุณสามารถเลือกกลยุทธ์ที่เหมาะสมที่สุดได้ในทุกกรณี เรายินดีเป็นอย่างยิ่งที่จะช่วยเหลือคุณหากคุณยังมีคำถามใดๆ