คำแนะนำทีละขั้นตอนเพื่อทำความเข้าใจเมตริกการทดสอบ A/B อย่างละเอียด (อย่างละเอียด)

เนื้อหาที่ยอดเยี่ยมไม่ได้ถูกสร้างขึ้นโดยบุคคล กล่าว "สวัสดี" กับผู้เชี่ยวชาญที่ทำให้คู่มือนี้เป็นไปได้ กว่า 80 ปีของการทดลองและประสบการณ์การทดสอบ A/B – ในaอ่านนาที

Alex Birkett

เบน ลาบาย

Curtis Stanier

Deborah O' Malley

Erik Bernhardsson

จัสติน คริสเตียนสัน

แม็กซ์ แบรดลีย์

สุมันถะ ศานกรรณะรายณ์

ทิม เมห์ตา

การพยายามทำความเข้าใจเมตริกการทดสอบ A/B ก็เหมือนกับการลงหลุมของคำจำกัดความที่ซับซ้อนเกินไป ศัพท์เฉพาะทางเทคนิค และ "ความคิดเห็น" ของผู้เชี่ยวชาญที่ไม่มีวันสิ้นสุด

เราไม่โทษคุณหากคุณถอนใจออกมาหลายครั้งเพื่อพยายามหาของมีค่าทางออนไลน์

แม้ว่าคุณจะแน่ใจว่าต้องการทำการทดลอง แต่ก็อาจรู้สึกว่าผู้รู้นั้นเป็นข้อมูลการเฝ้าประตู

แต่เรามุ่งมั่นที่จะเปลี่ยนแปลงสิ่งนั้น การทดลองนั้นมีไว้สำหรับทุกคน และในตอนท้าย คุณจะเชื่ออย่างนั้นเช่นกัน

ความจริงที่ยากเกี่ยวกับการเริ่มต้นการทดลอง

เราจะเจาะลึกถึงวิธีการดูเมตริกผ่านเลนส์ต่างๆ แต่ก่อนอื่น เราต้องทำความสะอาดก่อน

คุณอาจเคยได้ยินคำกล่าวนี้มาก่อน: “การทดสอบ A/B ไม่มีการสูญเสีย – มีเพียงการเรียนรู้เท่านั้น”

นี่เป็นความจริงบางส่วน

การทดสอบที่สรุปไม่ได้ (แบบคงที่) และแม้กระทั่งการสูญเสียสามารถช่วยให้คุณเข้าใจได้ชัดเจนว่าสิ่งใดใช้ไม่ได้กับกลุ่มเป้าหมายของคุณ แต่ถ้าคุณกำลังสร้างโปรแกรมการทดลองและยังไม่มีการซื้อ C-suite ให้เตรียมพร้อมที่จะสำรวจน่านน้ำที่ยุ่งยาก ทำความเข้าใจว่าคนที่ถือกระเป๋าเงินจะไม่มีความสุขเป็นพิเศษเกี่ยวกับการสนทนาที่ลึกลับเกี่ยวกับ "การเรียนรู้" หากไม่มีการศึกษาจำนวนมาก

เพื่อให้ได้รับการอนุมัติ คุณ จะต้องแสดงชัยชนะอย่างรวดเร็วและจับต้องได้ก่อน ผลการทดสอบ A/B ที่ผู้จัดการของคุณสามารถรายงานต่อผู้นำได้ ดังนั้นพวกเขาจึงแสดงความเชื่อมั่นว่าวิธีการทดลองทางวิทยาศาสตร์เชิงวิชาการส่วนใหญ่นั้นสามารถขับเคลื่อนบางสิ่งที่ใช้งานได้จริงเช่นเดียวกับการดำเนินธุรกิจไปข้างหน้า

และวิธีที่ง่ายที่สุดในการทำเช่นนั้น?

ไล่ตามผลไม้แขวนลอยต่ำที่สุด: ปรับปรุงอัตราการแปลงจากประสบการณ์ของผู้ใช้ที่ใกล้เคียงกับที่มีอิทธิพลต่อดีลหรือการซื้อ สมมติว่าคำสั่งซื้อที่เพิ่มขึ้นโดยตรง 1,000 หน่วย (ตามที่ระบุโดยผลการทดสอบของคุณ) นั้นง่ายต่อการแปลงเป็นดอลลาร์และกำไร

นำรายงานนั้นไปไว้ในการประชุมคณะกรรมการ แล้วคุณจะมีห้องที่เต็มไปด้วยความตื่นเต้น—แบบที่มาจากการค้นพบ "ช่องทางการได้มา" อีกที่รู้จักกันในชื่อ CRO

แต่ไตรมาสจะมาและไปโดยที่คุณไม่เคยเห็นการเพิ่มขึ้นตามสัญญา ผู้บริหารที่ยกย่องคุณเป็นอนาคตของธุรกิจจะต้องผิดหวังอย่างมาก การตัดงบประมาณจะตามมา และใครบางคนที่อยู่สูงขึ้นไป (*ไอ* HiPPO ที่แก้ไขไม่ได้ *ไอ*) จะพูดถึงว่าการทดลอง ไม่ สามารถเอาชนะช่องทางดั้งเดิม เช่น โฆษณาและเหตุการณ์ที่ผ่านการทดสอบมาอย่างยาวนาน

[HiPPO = บุคคลที่ได้รับค่าตอบแทนสูงสุดพร้อมความคิดเห็น]

ดูสิ่งที่เกิดขึ้น? การเปิดใช้งานวิสัยทัศน์อุโมงค์ของคุณทำให้คุณลดระดับการทดลองให้เป็นเพียง CRO ซึ่งเป็นสิ่งที่ถูกมองว่า (เกือบ) เป็นช่องทางการได้มาซึ่งแบบใหม่เพื่อกู้คืนเงินที่เหลืออยู่บนโต๊ะ แล้วด้วยล่ะ การอ้างสิทธิ์ การหลอกลวง และหลุมพรางครั้งใหญ่ที่มีแนวโน้มว่าจะตามมา

วิธีต่างๆ ในการดูเมตริกการทดสอบ A/B

การทดลองคือเครื่องจักร แต่คนส่วนใหญ่มีความเข้าใจที่ผิดพลาดเกี่ยวกับวิธีการทำงาน

พวกเขาคิดว่าสิ่งที่ ป้อนเข้ามาคือปัญหาทางธุรกิจ และ ผลลัพธ์คือโซลูชันทางธุรกิจที่ถูกต้องที่มีนัยสำคัญทางสถิติ และนี่อาจเป็นภาพที่ใหญ่กว่าในอุดมคติ

เมื่อซูมเข้าแล้ว เครื่องทดลองจะยอมรับการเรียนรู้และความพยายามในกระบวนการทางวิทยาศาสตร์เป็นข้อมูลเข้าและให้ผลเมตริกของโปรแกรมเป็นผลลัพธ์

แต่มี IF ขนาดใหญ่ที่นี่: สำหรับผลลัพธ์ที่ได้ผลลัพธ์ที่คาดหวังและผลลัพธ์ที่ต้องการในที่สุด คุณภาพของโปรแกรมการทดลองเป็นสิ่งสำคัญยิ่ง

เฉพาะเมื่อคุณหมกมุ่นอยู่กับคุณภาพการทดลองเท่านั้น คุณจะมีโอกาสสูงที่จะเห็นผลลัพธ์ที่สามารถย้ายเข็มไปสู่ปัญหาการเติบโตและประสิทธิภาพขนาดใหญ่ที่ทุกธุรกิจต้องการแก้ไข

วิธีที่จะไปถึงที่นั่นได้คือต้องมีกลยุทธ์เมตริกที่ไม่วางผลลัพธ์ไว้บนฐาน

แต่จะช่วยให้ทีมวัดและติดตามอินพุตและเอาต์พุต (อินพุตเป็นปัจจัยเดียวที่ควบคุมเครื่องมือเพิ่มประสิทธิภาพได้อย่างเต็มที่) และใช้เป็นมาตรวัดความคืบหน้า การเดินทางสู่ผลลัพธ์ไม่ใช่การวิ่งระยะสั้น แต่เป็นการวิ่งมาราธอนที่ทำงานอยู่เบื้องหลังเป็นผลพลอยได้จากการทดลองที่ดี

อย่าเข้าใจเราผิด พูดง่ายกว่าทำ

การทดสอบมักจะแสดงให้เห็นว่าไม่ควรทำการเปลี่ยนแปลงบางอย่าง คุณสมบัติพิเศษไม่ควรส่ง! และการทดลองด้วยตัวของมันเองนั้นเป็นไปโดยเจตนา… โดยไม่สนใจกลยุทธ์แรกในการจัดส่งไปยังข้อมูลเชิงลึกและเรียนรู้กลยุทธ์แรก (สนับสนุนโดยเมตริกที่ถูกต้อง)

ความลังเลใจในการทดลองเป็นเรื่องธรรมดามากในหมู่ผู้บริหาร ผู้ก่อตั้งส่วนใหญ่ใช้เวลาหลายปีในการสร้างบริษัทโดยไม่มีการทดลอง และอาจรู้สึกเหมือนว่าการทดลองเป็นพลังอนุรักษ์นิยมที่ขัดขวางความเร็วของบริษัท การตลาดผลิตภัณฑ์ และนวัตกรรมของดวงจันทร์

Erik Bernhardsson ผู้ก่อตั้ง Modal Labs

กรณีของการเปลี่ยนไปใช้กลยุทธ์เชิงลึกอันดับแรก (ด้วยตัวชี้วัดที่เหมาะสม)

เพื่อให้เกิดความคืบหน้าอย่างแท้จริง เราต้องเปลี่ยนจากการไล่ตามกลยุทธ์การจัดส่งเป็นกลยุทธ์เมตริก การกระจายอำนาจของกลยุทธ์ผลิตภัณฑ์ เช่น ผลักดันแนวคิดให้ต่ำลงซึ่งเหมาะ และการใช้กลยุทธ์เมตริกหมายถึงการทดลองอย่างแท้จริง คุณไม่สามารถอายที่จะทดสอบว่าการเปลี่ยนแปลงผลิตภัณฑ์ใหม่ส่งผลต่อธุรกิจของคุณอย่างไร

"สาเหตุ" ของโปรแกรมการทดสอบของคุณมีการเข้ารหัสในกลยุทธ์เมตริกของคุณ

• ความพยายามทั้งหมดของคุณมุ่งเน้นไปที่การชนะและรายได้อย่างรวดเร็วหรือไม่?
• การทดลองเป็นวิธีทำความเข้าใจลูกค้าของคุณและนำเสนอคุณค่าตลอดวงจรชีวิตของพวกเขาหรือไม่
• หรือเป็นการทดลองเป้าหมายในตัวเอง ซึ่งยิ่งคุณทดสอบได้ดีกว่า ข้อมูลเชิงลึกที่คุณสร้างขึ้นและความรับผิดชอบของคุณคือทำให้วงล้อนี้เคลื่อนไหวโดยไม่ส่งผลกระทบด้านลบต่อประสบการณ์ที่มีอยู่หรือไม่

เพิ่มเติมเกี่ยวกับเรื่องนี้ในภายหลังกับ Ben Labay จาก Speero

บนพื้นฐานของการทดสอบสู่การทดลอง เมตริกจะช่วยประสานโฟกัส (ของจริง) ของคุณ คุณสามารถมีแถลงการณ์ 10 หน้าที่พูดถึงการฝังการทดลองลงใน DNA ของธุรกิจของคุณเพื่อเร่งสร้างนวัตกรรม แต่ถ้าวัตถุประสงค์หลักของคุณคือมุ่งสู่ Conversion อยู่เสมอ โปรแกรมทดสอบของคุณก็คือโปรแกรม CRO นี่อาจเป็นสิ่งที่คุณต้องการบรรลุ แต่ระวังข้อจำกัดที่จะแสดงออกมา รวมถึงการคิดว่าการทดสอบ A/B เป็นมินเนี่ยนการได้มา/รายได้—พูดตรงๆ ว่าไม่ใช่

คลาสต่างๆ ของตัวชี้วัดทำให้สามารถติดตามตัวบ่งชี้ที่มีความสำคัญต่อ C-suite ในขณะที่ปรับโปรแกรมให้เหมาะสมสำหรับการทดสอบคุณภาพที่สูงขึ้น ข้อมูลเชิงลึกเชิงสาเหตุ และการทำซ้ำที่แตกต่างกันเพื่อปรับปรุงการทำงานภายในของเครื่องเพื่อให้ผลลัพธ์สามารถเริ่มขับเคลื่อนผลลัพธ์ได้ ในระยะยาว.

วิดีโอนี้ร่วมกับทิม เมห์ตาเป็นการมองอย่างตรงไปตรงมาว่าเหตุใดการเล่าเรื่องการทดลองที่หมุนรอบการเรียนรู้เพียงอย่างเดียวจึงไม่ใช่จุดยืนที่ใช้ได้จริง

ฉันคิดว่ามันเจ๋งจริง ๆ ที่ได้รับการเรียนรู้ทั้งหมดในด้านการมีส่วนร่วม แต่สำหรับเจ้าของธุรกิจของคุณที่จะทำให้คุณรู้ว่าเพื่อสร้างทรัพยากรสำหรับโปรแกรมต่อไปและรับงบประมาณสำหรับมัน โดยพื้นฐานแล้วคุณรู้ว่าคุณจำเป็นต้องทำให้แน่ใจว่า อย่างน้อยก็สามารถแสดงให้เห็นได้ว่าจากมุมมองของธุรกิจ ค่าเงินดอลลาร์ที่โปรแกรมทดลองนำมาให้คุณ

ดังนั้น ฉันคิดว่าสำหรับการทดลองหลายๆ ครั้ง มันเหมือนกับวิธีการทางวิทยาศาสตร์ทั่วไปที่คุณพยายามทำคือเรียนรู้ว่า คุณรู้หรือไม่ว่ามันไม่ได้ชนะ/แพ้มากเท่าที่เป็นสมมติฐานที่พิสูจน์แล้ว เอ่อ คุณรู้หรือปฏิเสธ อืม ในขณะที่สิ่งที่เราทำได้ดีส่วนใหญ่เราอยู่ด้านการตลาด และโดยธรรมชาติแล้ว เราจำเป็นต้องสามารถสื่อสารมูลค่าการชนะหรือรายได้บางประเภทเพื่อให้สามารถดำเนินการต่อได้

Tim Mehta ผู้อำนวยการฝ่ายการตลาดเพื่อการเติบโตที่ Lucid Software

ในระดับที่ใช้งานได้จริง ตัวชี้วัดถือเป็นการเรียนรู้ เรียกใช้การทดสอบแบบแบนกลับไปกลับมา? นี่อาจเป็นปัญหากับวิธีที่คุณรวบรวมข้อมูล (ปัญหาที่เน้นเครื่องมือ) หรือวิธีที่คุณออกแบบการทดลอง เมตริกช่วยให้คุณค้นหาเข็มในกองหญ้าและทำได้ดียิ่งขึ้น

TL&DR; เมตริกช่วยให้ผู้ทดสอบสามารถจับภาพแง่มุมต่างๆ ของการทดลอง และกระจายผลกระทบไปยังผู้มีส่วนได้ส่วนเสียในภาษาที่พวกเขาเข้าใจ ให้คุณค่า และชื่นชม กลยุทธ์การวัดผลทำได้ดีกว่า "เป้าหมาย" และเงินเดิมพันในพื้นดินซึ่งจะมีการประเมินรูปแบบและการสูญเสียที่ชนะ

โปรแกรมการทดลองใช้งานได้ เติบโตเต็มที่ พัฒนาและประสบความสำเร็จ (หรือล้มเหลว) ผ่านเมตริก

เมตริกอินพุต เอาต์พุต และผลลัพธ์: ถอดรหัสโปรแกรมการทดลองกับ Ben Labay และ Alex Birkett

มีคำจำกัดความมากมายเกี่ยวกับเมตริกหลัก รอง และรั้วกั้น แต่ใครก็ตามที่ใช้โปรแกรมการทดลองรู้ดีว่าต้องมีกรอบการทำงานเพื่อกำหนดเป้าหมายระดับต่างๆ

ดังนั้นเราจึงถาม Ben Labay กรรมการผู้จัดการของ Speero และ Alex Birkett ผู้ร่วมก่อตั้ง Omniscient ว่า:

กรอบงานเมตริกที่คุณนำไปใช้ เพื่อจับคู่ตัวแปรที่วัดกับผลกระทบของการทดลองหลายชั้นคืออะไร

กรอบงานของเบ็น

1. หมวดหมู่เมตริกโปรแกรม

'โดยขั้นตอน' นี้จะต้องดำเนินการเบา ๆ คุณต้องการตรวจสอบสิ่งเหล่านี้ตลอดเวลา แต่ FOCUS จะแตกต่างกันเล็กน้อยขึ้นอยู่กับระยะของโปรแกรม

2. เริ่มต้นด้วยการจัดหมวดหมู่เมตริกระดับบนสุด นี่คือของฉัน:

จากนั้นสำหรับแต่ละคน

3. ตัวอย่างตัวชี้วัดเป้าหมาย:

แล้ว

4. ตัวอย่างเมตริกไดรเวอร์

แล้ว

5. โปรแกรมเมตริกรั้ว

ดังนั้น…. จากนั้น คุณมีส่วนผสมสำหรับกลยุทธ์เมตริก:

หมายเหตุ: การทดลองในระยะเริ่มต้นควรเน้นที่เมตริกอินพุต แต่คุณต้องรับมือกับแรงกดดันในการสร้างผลลัพธ์ที่จะไม่เกิดขึ้นจริง หากคุณไม่มีการศึกษา บุคลากร และกระบวนการที่เหมาะสม

เป็นวัฏจักรการเอาชนะตนเอง นอกจากนี้ เมตริกผลลัพธ์ไม่ควรมีการเฉลิมฉลองทันที โดยเฉพาะหากคุณคาดการณ์ "รายได้"

วิธีที่ดีที่สุดในการทำความเข้าใจเรื่องนี้คือการดูว่า Airbnb เปลี่ยนไปใช้กลยุทธ์เมตริกอย่างไร:

“แขกต้องขออนุญาตเจ้าของที่พักเพื่อพักใน Airbnb ก่อน และเจ้าของที่พักจะต้องตัดสินใจว่าพวกเขาต้องการคำขอจองหรือไม่ สิ่งนี้ทำให้เกิดความขัดแย้งมากมาย เป็นประสบการณ์ที่แย่มากสำหรับแขก และเปิดประตูให้มีอคติที่ไม่เหมาะสมในการเข้าสู่กระบวนการ

กลยุทธ์การจัดส่งผลิตภัณฑ์จะกำหนดคุณสมบัติมากมายในการจัดส่ง แต่ Airbnb ได้จัดตั้งทีมที่แข็งแกร่งด้วยกลยุทธ์เมตริก: ทำให้ Airbnb เข้าถึงการจองทันที 100%

ผลลัพธ์ที่ได้คือกลยุทธ์ที่เน้นการทดลองอย่างหนักซึ่งเปลี่ยนแปลงตลาดแบบสะสม การเปลี่ยนแปลงผลิตภัณฑ์ครอบคลุมการจัดอันดับการค้นหา การเริ่มต้นใช้งานโฮสต์ และฟังก์ชันหลักของโฮสต์ (เช่น การควบคุมแขก กฎของที่พัก การตั้งค่าเวลาดำเนินการ ฯลฯ) ที่ทำให้เจ้าของที่พักประสบความสำเร็จในโลกที่แขกจองบ้านทันที

Erik Bernhardsson

Go-to Framework ของ Alex

กรอบงานที่ฉันใช้สำหรับการแมปเมตริกการทดสอบเป็นแบบ ง่ายๆ : เมตริกอินพุตและเอาต์พุต

ผู้มีส่วนได้ส่วนเสียให้ความสำคัญกับการวัดผล สิ่งเหล่านี้ใช้ในการคำนวณ ROI และพิสูจน์คุณค่าของโปรแกรม เช่น อัตราการแปลงเว็บไซต์ อัตราการแปลงช่องทาง โอกาสในการขายคุณภาพสูง เป็นต้น

โดยส่วนตัวแล้ว ฉันคิดว่าสิ่งเหล่านี้ถูกประเมินเกินจริงในระดับโปรแกรมและประเมินต่ำไปในระดับการทดสอบต่อหนึ่งระดับ โดยที่ ฉันหมายความว่าหากคุณกำลังติดตามอัตราการแปลงของหน้าเว็บของคุณแบบไตรมาสต่อไตรมาส การทดลองจะไม่ใช่สิ่งเดียวที่เกิดขึ้นในช่วงเวลานั้น การระดมทุน แนวโน้มเศรษฐกิจมหภาค การเปลี่ยนช่องทางการเข้าซื้อกิจการ ทั้งหมดนี้อาจเป็นปัจจัยที่สร้างความสับสนอย่างมาก คุณสามารถหลีกเลี่ยงสิ่งเหล่านี้ได้โดยตั้งค่าการระงับหรือทดสอบประสบการณ์ดิจิทัลเวอร์ชันพื้นฐานของคุณอีกครั้ง

พวกเขาถูกประเมินต่ำไปในแต่ละการทดสอบ เนื่องจากผู้คนมักจะไม่คิดผ่าน KPI ของการทดสอบหลักของพวกเขา แทนที่จะเลือกรวมเป้าหมายที่หลากหลายและเลือกเป้าหมายที่เหมาะกับการเล่าเรื่องของพวกเขา เป็นเรื่องยากมากที่จะกำหนดเป้าหมายแบบรวม ซึ่งเป็นเกณฑ์การประเมินโดยรวม เพื่อกำหนดการทดสอบของคุณ เมตริกอินพุตเป็นวิธีที่ดีกว่าสำหรับฉันในการรับมาตรวัดในโปรแกรมของเรา สามหลักที่ฉันดูคือ
ก) ความเร็วทดลอง
b) อัตราการชนะการทดลองและ
c) ชัยชนะเฉลี่ยต่อการทดสอบ

ถ้าฉันขยับเข็มบนสิ่งเหล่านี้ ฉันมีแนวโน้มที่จะขยับเข็มบนตัวชี้วัดผลลัพธ์ของฉัน

เป้าหมาย ไดรเวอร์ และรั้ว: Metrics by Scope

Ben Labay ใช้การเปรียบเทียบของรถยนต์เพื่ออธิบายตัวชี้วัดเหล่านี้:

ประเด็นสำคัญคือคุณมีตัวชี้วัดระยะยาว เช่น ตัวชี้วัดเป้าหมาย และนี่คือ GPS หรือระบบนำทางของคุณ เช่น ตัวชี้วัดดาวเหนือ (NSM)

ซึ่งตรงกันข้ามกับเมตริกของไดรเวอร์ซึ่งเป็นเมตริกระยะสั้นที่รู้จักกันในนามมาตรวัดความเร็วของคุณ ตัวอย่างเช่น การเพิ่มประสิทธิภาพอัตราการแปลงสำหรับมูลค่าการสั่งซื้อเฉลี่ย (AOV)

ใส่สิ่งนี้ในทางตรงกันข้ามกับตัวชี้วัดการแจ้งเตือนและการจัดตำแหน่งของคุณ เช่น มาตรวัดความเร็วรอบหรือมาตรวัดความร้อนของคุณ นี่คือตัวชี้วัดรางรถไฟของคุณ

PS ดูวิดีโอนี้โดยเบ็นเพื่อทำความเข้าใจหมวดหมู่เหล่านี้ให้ดีขึ้น:

ตัวชี้วัดเป้าหมายหรือดาวเหนือ

ตัวชี้วัด North Star หรือตัวชี้วัดขอบเขตที่ล้าหลังหรือกว้างตามที่ Ben กำหนดไว้นั้นมีกลยุทธ์มากกว่ายุทธวิธีในธรรมชาติ

ตัวอย่างเช่น การทดสอบ A/B ของ Netflix ไม่ได้สร้างขึ้นเพื่อปรับปรุงการมีส่วนร่วม—แต่ออกแบบมาเพื่อเพิ่มการรักษาผู้ใช้ หากพวกเขารักษาลูกค้าไว้ ก็หมายความว่าสมาชิกมีส่วนร่วมและค้นหาคุณค่าในผลิตภัณฑ์ ดังนั้น การรักษาผู้ใช้จึงสรุปเมตริกทางยุทธวิธีหลายอย่าง เช่น เปอร์เซ็นต์ของผู้ใช้ที่ชำระเงินหรือดูเนื้อหามากกว่า 3 ชิ้น

ตัวชี้วัดไดรเวอร์

ตัวชี้วัดชั้นนำเหล่านี้เป็นสิ่งที่คุณมุ่งเน้นในระยะสั้น เช่น อัตราตีกลับและอัตรา Conversion บางครั้ง การมีตัววัดเดียวไม่เพียงพอต่อการประเมินผลลัพธ์ นั่นคือจุดเริ่มต้นของ เกณฑ์การประเมินโดยรวมหรือ OEC

OEC ยังเป็นที่รู้จักกันในนาม ตัวแปรตอบสนองหรือตัวแปรตาม ตัวแปรผลลัพธ์ หรือตัวชี้วัดประสิทธิภาพ โดยพื้นฐานแล้ว OEC คือการรวมกันของ KPI ที่ถ่วงน้ำหนักต่างกันเป็น KPI หลักตัวเดียว

ตัวชี้วัดเดียวบังคับให้ทำการแลกเปลี่ยนครั้งเดียวสำหรับการทดลองหลายครั้งและจัดองค์กรที่อยู่เบื้องหลังวัตถุประสงค์ที่ชัดเจน OEC ที่ดีไม่ควรเน้นในระยะสั้น (เช่น คลิก) ในทางตรงกันข้าม ควรรวมปัจจัยที่คาดการณ์เป้าหมายระยะยาว เช่น มูลค่าตลอดอายุการใช้งานที่คาดการณ์ไว้และการเข้าชมซ้ำ

รอนนี่ โคฮาวี

ตัวชี้วัด Guardrail

รอนนี่ โคฮาวี กล่าวว่า

ตัวชี้วัด Guardrail เป็นตัวชี้วัดที่สำคัญที่ออกแบบมาเพื่อเตือนผู้ทดลองเกี่ยวกับข้อสันนิษฐานที่ละเมิด ตัวชี้วัด Guardrail ให้สิ่งที่ Spitzer (2007) เรียกว่า "ความสามารถในการกระตุ้นการดำเนินการตามข้อมูล" เมื่อผลการรักษาเคลื่อนตัววัดรั้วโดยไม่คาดคิด คุณอาจต้องการลดความเชื่อถือในผลลัพธ์ หรือหยุดการทดลองในกรณีที่อาจมีการทำอันตรายต่อผู้ใช้หรือองค์กร

ตัววัดรั้วมีสองประเภท: ตัววัดที่สัมพันธ์กับความเชื่อถือ และ ตัววัดราวรั้วขององค์กร เราเริ่มต้นด้วยสิ่งที่เราเชื่อว่าเป็นตัวชี้วัดที่สำคัญที่สุดของการทดสอบทุกการทดสอบควรมี: อัตราส่วนตัวอย่าง จากนั้นติดตามด้วยตัววัดราวรั้วอื่นๆ และตัววัดราวกั้นขององค์กร

อัตราส่วนตัวอย่าง = ในการทดลองควบคุม อัตราส่วนตัวอย่างเท่ากับอัตราส่วนของการจัดสรรขนาดตัวอย่างระหว่างกลุ่มทดสอบต่างๆ ได้แก่ กลุ่มควบคุมและตัวแปร

ปรัชญาในการวัดผล: The 5 Ws

Sumantha Shankaranarayana ผู้ก่อตั้ง EndlessROI มองว่าเมตริกต่างกัน

การวัดผลอีกประการหนึ่งมาจาก Avinash Kaushik ผู้เผยแพร่การตลาดดิจิทัลของ Google

ในจดหมายข่าวฉบับล่าสุดของเขา The Marketing <> Analytics Intersect เขาแนะนำให้เพิกเฉยต่อเมตริกไร้สาระ เช่น การชอบและผู้ติดตาม และเทพเท็จ เช่น การดูหน้าเว็บและ "การมีส่วนร่วม"

ให้เน้นที่ผลลัพธ์ย่อย เช่น การสมัครรับจดหมายข่าวและอัตราความสำเร็จของงาน ผลลัพธ์แบบมหภาคทางดิจิทัล เช่น รายได้จาก Conversion และรายได้ และเมตริกที่ส่งผลกระทบด้านล่าง เช่น กำไรและมูลค่าตลอดอายุการใช้งาน

การวัดผลอีกประการหนึ่งมาจาก Simon Girardin แห่ง Conversion Advocates:

การเลือกเมตริกที่สร้างความแตกต่างด้วยแผนผังไดรเวอร์

การสร้างกลยุทธ์เมตริกที่มั่นคงนั้นต้องทำความเข้าใจว่าแผนผังไดรเวอร์คืออะไร

โครงสร้างไดรเวอร์คือแผนที่ว่าตัวชี้วัดและคันโยกต่างๆ ในองค์กรเข้ากันได้อย่างไร ทางด้านซ้ายสุด คุณมีเมตริกที่ครอบคลุมซึ่งคุณต้องการขับเคลื่อน นี่คือเป้าหมายสูงสุดที่คุณต้องการให้ทุกทีมทำงาน

เมื่อคุณย้ายไปทางขวา คุณจะมีความละเอียดมากขึ้นในแง่ของวิธีที่คุณต้องการบรรลุเป้าหมายนั้น แต่ละสาขาจะให้ตัวบ่งชี้ส่วนประกอบที่ประกอบขึ้นจาก "อะไร" ด้านบน

Curtis Stanier ผู้อำนวยการฝ่ายผลิตภัณฑ์ Delivery Hero

Driver Tree เมื่อรวมกับตัวชี้วัด สามารถช่วยระบุขอบเขตโอกาสที่เป็นไปได้และนำทางคุณไปสู่โซลูชัน

เคอร์ติสอธิบายเรื่องนี้ด้วยตัวอย่าง ตัวอย่างเช่น หากเป้าหมายของคุณคือการเพิ่มจำนวนการสมัครอีเมล สมมติว่ามีลูกค้าเพียงครึ่งเดียวเท่านั้นที่คลิกลิงก์ยืนยันอีเมลที่คุณส่งให้สำเร็จ มีสองสถานการณ์ที่เป็นไปได้ที่นี่—ลูกค้าไม่ได้รับอีเมลหรือไม่ได้คลิกที่อีเมล ปัจจัยขับเคลื่อนเหล่านี้อาจมีปัจจัยที่มีอิทธิพลต่างกัน

เมื่อคุณแมปโฟลว์กระบวนการบนแผนผังไดรเวอร์ คุณจะทราบสาเหตุที่แท้จริงได้ บางทีผู้ให้บริการอีเมลที่คุณใช้อาจมีอัตราข้อผิดพลาด 10% ซึ่งหมายความว่าไม่เคยส่งอีเมล ปัญหาเฉพาะนี้จะกลายเป็นโอกาสสำหรับทีมของคุณในการแก้ไข

ต่อไปนี้คือตัวอย่างที่เอื้อเฟื้อโดย Bhavik Patel หัวหน้าฝ่ายวิเคราะห์ผลิตภัณฑ์ของ Hopin เพื่อแสดงให้เห็นว่าคุณสามารถทำแผนที่เป้าหมายได้อย่างไร เช่น ความเร็วในการทดสอบ เช่น จำนวนการทดสอบที่รันไปยังตัววัดไดรเวอร์และรั้ว

ทำตาม 3 ขั้นตอนเหล่านี้เพื่อเริ่มต้นโปรแกรมการทดลองของคุณ

1. เลือกเป้าหมายของโปรแกรมการทดลองของคุณ

มีส่วนร่วมกับ HiPPO หรือที่เรียกว่า C-suite ของคุณเพื่อที่คุณจะได้ไม่ต้องไล่ตามตัวชี้วัดดาวเหนือที่ความเป็นผู้นำนั้นไม่สนใจ ไม่เช่นนั้น โปรแกรมการทดลองของคุณจะไม่เห็นแสงสว่างของวัน วนลูปคนที่เข้าใจว่าปัญหาใหญ่ต้องการวิธีแก้ปัญหาที่เป็นนวัตกรรม ไม่ใช่เล่นอย่างปลอดภัย

ตามหลักการทั่วไป Ben Labay กล่าวว่าเป้าหมายระยะยาวที่ล้าหลังของโปรแกรมการทดสอบของคุณอาจเป็นหนึ่งในสามสิ่ง – รายได้ ลูกค้า หรือกระบวนการทดลอง

ตัวอย่างเช่น Booking.com มีคุณภาพการทดลองเป็นตัววัดดาวเหนือ นี่คือเหตุผล:

สิ่งที่สำคัญจริงๆ สำหรับเราไม่ใช่ว่าการตัดสินใจเกี่ยวกับผลิตภัณฑ์มีมากเพียงใด หรือการตัดสินใจที่รวดเร็วเพียงใด แต่การตัดสินใจเหล่านั้นดีเพียงใด

แม้ว่าการใช้การทดลองเป็นส่วนหนึ่งของการพัฒนาผลิตภัณฑ์และการตัดสินใจเป็นเรื่องปกติในปัจจุบัน แต่ก็ไม่ได้รับประกันว่าจะมีการตัดสินใจที่ดีด้วยตัวมันเอง การดำเนินการทดสอบอย่างถูกต้องอาจเป็นเรื่องยาก และข้อมูลที่ได้รับจากการทดสอบมีความน่าเชื่อถือพอๆ กับการดำเนินการทดสอบเท่านั้น การทำการทดลองที่ไม่ดีเป็นเพียงวิธีที่ซับซ้อนและมีราคาแพงมากในการตัดสินใจที่ไม่น่าเชื่อถือ

Christophe Perrin ผู้จัดการกลุ่มผลิตภัณฑ์ของ Booking.com

2. สร้างบันทึกของ Guardrail Metrics ที่ยอมรับได้

Tim Mehta แนะนำให้มีความเร็วการทดสอบเป็นมาตรวัดรั้ว โดยมีข้อแม้คือเฉพาะในกรณีที่ความสมบูรณ์ของการทดสอบของคุณดีหรือตรงตามมาตรฐาน หากคุณไม่ได้ทำการทดสอบคุณภาพ เมตริกใดๆ ที่คุณเลือกจะกลายเป็นตัววัดแบบไร้สาระ

เช่นเดียวกับ Tim Ben Labay ยังแนะนำให้มีความเร็วทดสอบพร้อมกับตัวชี้วัดอื่น ๆ เหล่านี้เป็นชุดเมตริกรั้วที่ใช้งานได้:

3. เลือกตัวชี้วัดไดรเวอร์ของคุณเป็นกรณี ๆ ไป

เมตริกทั้งหมดไม่ใช่เมตริกที่ดี หลังจากรันการทดสอบ A/B นับพันรายการ Microsoft ได้ระบุคุณสมบัติหลักหกประการของตัววัด A/B ที่ดี:

1. ความไว
2. ความน่าเชื่อถือ
3. ประสิทธิภาพ
4. การแก้จุดบกพร่อง
5. การตีความและการดำเนินการได้
6. ความครอบคลุมและความเป็นธรรม

คุณสามารถใช้ STEDII เพื่อปรับแต่งเมตริกที่จะติดตามและวัดการเปลี่ยนแปลงได้

Max Bradley, Senior Web Optimization Manager ที่ Zendesk เชื่อว่าคุณควรมีความยืดหยุ่นเกี่ยวกับการวัดไดรเวอร์ เพื่อให้คุณสามารถคิดทั้งภายในและภายนอก:

เราสังเกตเห็นว่าฟิลด์การสร้างโดเมนย่อย (แสดงด้านล่าง) เป็นฟิลด์แบบฟอร์มที่ท้าทายที่สุดในขั้นตอนการลงทะเบียนทดลองใช้งานสำหรับผู้เยี่ยมชม อัตราการออกจากสาขานี้สูงกว่าสาขาอื่นมาก

สิ่งสำคัญที่สุดคือเรามีการติดตามซึ่งทำให้เราสามารถดูรายละเอียดประสิทธิภาพของแบบฟอร์มได้ตั้งแต่แรก หากคุณกำลังเริ่มต้น การติดตามระดับนี้ไม่น่าจะทำได้ในระยะสั้น แต่ฉันขอแนะนำให้ "เข้าไปอยู่ในวัชพืช" ด้วยการติดตามของคุณเมื่อเวลาผ่านไป

เมื่อมีการระบุปัญหาแล้ว เราได้ดำเนินการหลายขั้นตอนเพื่อกำหนดแนวทางที่เราต้องการทดสอบ เราดูสิ่งที่บริษัทอื่นๆ ทำในส่วนที่เกี่ยวข้องกับโดเมนย่อย ฉันขอแนะนำให้มองข้ามคู่แข่งของคุณที่นี่ เราเชื่อว่าผู้ใช้ไม่จำเป็นต้องกังวลกับการสร้างโดเมนย่อย แต่แนะนำพื้นที่อื่นให้ผู้ใช้หยุดและคิด เพิ่มภาระการรับรู้ เราสามารถสร้างโดเมนย่อยจากชื่อบริษัทที่พวกเขาได้ให้ไว้แล้วและซ่อนฟิลด์โดเมนย่อยจากผู้ใช้

เราคาดว่าการเปลี่ยนแปลงนี้จะเพิ่มจำนวนผู้ใช้ที่ประสบความสำเร็จในการสมัครทดลองใช้งาน เราสามารถประมาณการเพิ่มขึ้นที่คาดไว้ได้เนื่องจากการติดตามที่กล่าวถึง

อย่างไรก็ตาม สิ่งที่เราไม่ทราบในตอนนี้คือผลกระทบโดยรวมที่จะเกิดขึ้นกับธุรกิจ เราคาดว่าจะเห็น Conversion การทดลองเพิ่มขึ้น แต่สิ่งนี้จะแปลไปจนถึงกระบวนการ Win หรือไม่

นอกจากนี้ โดยการซ่อนฟิลด์โดเมนย่อยและสร้างโดเมนย่อยสำหรับผู้ใช้โดยอัตโนมัติ เราต้องการให้แน่ใจว่าเราไม่ได้ส่งต่อปัญหานี้ไปยังส่วนอื่นของธุรกิจ สิ่งนี้เกี่ยวข้องกับการสนับสนุนลูกค้าและการสนับสนุนลูกค้าที่เกี่ยวข้องตั้งแต่เริ่มต้น

พื้นที่หลักที่เราเชื่อว่าจะมีความสำคัญในการพิจารณาผลกระทบของการทดลองนี้มีดังนี้:

• อัตราการลงทะเบียนทดลองสำหรับผู้เยี่ยมชมแบบฟอร์ม
• โอกาสในการขาย, MQL, โอกาสและชัยชนะ
• การเปลี่ยนแปลงที่ทำโดยผู้ใช้กับชื่อโดเมนย่อยในการโพสต์ผลิตภัณฑ์
• จำนวนตั๋วที่ได้รับจากการสนับสนุนลูกค้าสำหรับการเปลี่ยนชื่อโดเมนย่อย”

ขึ้นอยู่กับเป้าหมายที่คุณเลือกและวิธีที่คุณเข้าหาผู้ขับอย่างสม่ำเสมอ ตัวตนในการทดลองและวิถีของโปรแกรมสามารถไปได้หลายวิธี ดูแผนภูมินี้จาก Ben Labay:

โมเดลทางจิต: มือโปรเลือกเมตริกในการทดลองในโลกแห่งความเป็นจริงได้อย่างไร

เราขอให้ผู้เชี่ยวชาญแนะนำเราผ่านตัวอย่างที่พวกเขาเห็นปัญหา ออกแบบสมมติฐาน แล้วเลือกตัวชี้วัดเพื่อวัดความสำเร็จและรวมการเรียนรู้

นี่คือสิ่งที่พวกเขากล่าวว่า:

Ben Labay และการทำแผนที่เป้าหมาย

ทำความเข้าใจให้ชัดเจนว่าธุรกิจกำลังจะไปที่ไหน และทำไม

กลยุทธ์การเติบโตของธุรกิจคืออะไร? พวกเขาเติบโต 20% ในปีหน้าโดยได้รับผู้ใช้เพิ่มขึ้นหรือไม่? พวกเขาจะมุ่งเน้นไปที่ผลิตภัณฑ์ใหม่หรือการสร้างรายได้จากฐานผู้ใช้ที่มีอยู่หรือไม่? ด้วยข้อมูลนี้ คุณรู้ว่าควรปรับแผนโปรแกรมการเพิ่มประสิทธิภาพไว้ที่ใด คุณควรรู้ว่าช่องทางใดในช่องทางหรือช่องทางหลักที่ควรมุ่งเน้น

สำหรับบริษัทอีคอมเมิร์ซหลายแห่งในปี 2564 เป็นการได้มาและเปลี่ยนผู้ใช้ใหม่ ในช่วงปลายปี 2022 เป็น AOV-centric ซึ่งมุ่งเน้นไปที่ความสามารถในการทำกำไรและประสิทธิภาพในการได้มา

• ในช่วงไม่กี่ปีที่ผ่านมา SaaS มีรูปแบบการมุ่งเน้นไปที่การเติบโตที่เน้นผลิตภัณฑ์เป็นหลัก ดังนั้นจึงควรเน้นที่การทดลองใช้ และการเริ่มต้นใช้งานโดยเฉพาะสำหรับกลุ่มตลาดที่ตกต่ำ

ทำความเข้าใจพฤติกรรมของลูกค้าอย่างชัดเจน (การออกจากร้าน รูปแบบของการนำทาง ฯลฯ) และการรับรู้ (แรงจูงใจเทียบกับ FUD ความกลัว ความไม่แน่นอน และความสงสัย)

เรามีแบบจำลองข้อมูลที่ยอดเยี่ยมเกี่ยวกับสิ่งนี้ ResearchXL ซึ่งไม่เพียงแต่รวบรวมข้อมูลเกี่ยวกับพฤติกรรมและการรับรู้เท่านั้น แต่ยังนำข้อมูลผ่านข้อมูลไปสู่ข้อมูลเชิงลึกที่สร้างแผนงานที่มีลำดับความสำคัญสูงอีกด้วย

รวมขั้นตอนที่ 2 และ 3 และเชื่อมโยงประเด็นปัญหา/โอกาสที่คุณสร้างขึ้นจากการวิจัยลูกค้ากับเป้าหมายทางธุรกิจในแผนผังแผนผังเป้าหมาย

ต่อไปนี้คือภาพระยะใกล้ของแผนผังโครงสร้างเป้าหมายซึ่งคุณสามารถดูการทดสอบที่เกี่ยวข้องกับเมตริกความคืบหน้าของหน้าเช็คเอาต์ ซึ่งเป็นจุดโฟกัสสำหรับลูกค้าอีคอมเมิร์ซรายนี้:

ตอนที่ฉันอยู่ที่ Workato เราต้องการเรียนรู้เกี่ยวกับการสร้างทัวร์ชมผลิตภัณฑ์แบบโต้ตอบให้มากที่สุด เนื่องจากเราไม่มีเวอร์ชัน freemium ผู้มีโอกาสเป็นลูกค้าจำนวนมากจึงต้องการดูและสัมผัสว่าผลิตภัณฑ์ใช้งานจริงได้อย่างไร

สิ่งที่เราหวังว่าจะได้เรียนรู้เป็นตัวกำหนด KPI สำหรับการทดสอบแต่ละครั้งที่นี่

ในการทดลองหนึ่ง เราแค่ต้องการดูว่า ตรงกันข้ามกับปุ่ม CTA หลักของเว็บไซต์อื่นๆ เช่น "ขอสาธิต" ผู้คนสนใจแนวคิดของทัวร์ชมผลิตภัณฑ์หรือไม่ นี่เป็นการทดสอบ "ประตูทาสี" แม้ว่าจริง ๆ แล้วเราได้สร้างทัวร์ผลิตภัณฑ์ขั้นต่ำที่ใช้งานได้จริงแล้ว ในการทดสอบนี้ เราเพิ่งติดตามสัดส่วนของการคลิกไปยังทัวร์ชมผลิตภัณฑ์ และใช้การทดสอบที่ไม่ด้อยกว่ากับโอกาสในการขาย (เราแค่ไม่อยากให้พวกเขาลดลง)

จากนั้น ในการเพิ่มประสิทธิภาพการทัวร์ชม เราใช้ KPI มาโครหลักของอัตรา Conversion ของเว็บไซต์ (โอกาสในการขาย) และแบ่งกลุ่มผู้ที่คลิกเข้าสู่ทัวร์ชมผลิตภัณฑ์เพื่อดูว่ามีความสัมพันธ์กันสูงหรือไม่ ตลอดจนการปรับปรุงระดับมหภาคใน KPI หลักของเรา ”

Deborah O' Malley ช่วยเพิ่ม CTR ได้อย่างไร

เมตริกมักจะขับเคลื่อนโดยลูกค้า โดยปกติแล้วจะผูกติดอยู่กับรายได้ อย่างไรก็ตาม บางครั้งลูกค้าต้องการเพิ่มการมีส่วนร่วม

ในตัวอย่างนี้ ลูกค้าในภาคการศึกษาต้องการเพิ่มอัตราการคลิกผ่าน (CTR) จากหน้าที่อธิบายเกี่ยวกับโปรแกรมการศึกษาไปยังหน้าที่ผู้มีโอกาสเป็นนักศึกษาสามารถเรียนรู้เพิ่มเติมเกี่ยวกับโปรแกรมและนำไปใช้กับโปรแกรมได้

จากการวิเคราะห์ที่ขับเคลื่อนด้วยข้อมูล สมมติฐานคือมีข้อมูลที่แข่งขันกันมากมายบนหน้าเว็บ ผู้ใช้จึงไม่ชัดเจนว่าจะดำเนินการต่ออย่างไรหรือคลิกเพื่อเรียนรู้เพิ่มเติมที่ใด

ในการใช้เฟรมเวิร์ก 5 ขั้นตอนที่อธิบายไว้ข้างต้น ได้มีการตัดสินใจว่าป๊อปอัปที่จัดรูปแบบและกำหนดเวลาอย่างเหมาะสม หรือการแจ้งเตือนแบบเลื่อนเข้า จะทำงานได้ดีที่สุดในการแจ้งผู้เยี่ยมชมว่าจะคลิกเพื่อเรียนรู้เพิ่มเติมที่ใด

จึงมีการทดลองหลายชุดเพื่อกำหนดรูปแบบและระยะเวลาที่เหมาะสมของป๊อปอัปการแจ้งเตือน วัดอัตราการคลิกผ่าน

ตามที่ผลกรณีศึกษาเหล่านี้แสดงให้เห็น (การทดสอบที่ 1 การทดสอบที่ 2) การเพิ่มประสิทธิภาพตำแหน่งและระยะเวลาของป๊อปอัปนั้นส่งผลในเชิงบวกอย่างมากต่อการแปลง CTR

อย่างไรก็ตาม แม้ว่าผลลัพธ์จะออกมาเป็นบวก แต่ท้ายที่สุด ใบสมัครที่ส่งเข้ามาเป็นตัวชี้วัดที่กระตุ้นเข็มฉีดยาให้กับโรงเรียนอย่างแท้จริง จึงต้องทำการทดสอบเพิ่มเติมเพื่อกำหนดวิธีที่เหมาะสมที่สุดในการเพิ่มการส่งใบสมัคร

การเรียนรู้ที่สำคัญจากตัวอย่างนี้คือลูกค้ามักจะมีแนวคิดว่าต้องการปรับปรุงอะไร ในฐานะผู้ทดลอง งานของคุณคือตอบสนองความคาดหวังของพวกเขา แต่พยายามทำต่อไป CTR ที่เพิ่มขึ้นนั้นดี แต่ตั้งเป้าที่จะเพิ่ม Conversion ให้ลึกขึ้นในช่องทาง ผลักดันให้ลึกที่สุดเท่าที่จะทำได้ในเมตริกการสร้างรายได้ของช่องทางสุดท้าย เช่น แอปพลิเคชันที่เสร็จสมบูรณ์หรือการชำระเงินที่เสร็จสิ้น วัดความสำเร็จและวัดความสำเร็จของคุณ

เหตุใด Justin Christianson จึงเพิ่มจุดข้อมูลรอง

เราตั้งเป้าหมายตามวัตถุประสงค์ คุณไม่สามารถคิดแค่ยอดขายและรายได้ โดยทั่วไป ตัวชี้วัดหลักของเราจะเป็นทั้งการแปลงการขายและ RPV แต่นั่นไม่ได้ให้ภาพที่ใหญ่ที่สุดของการโต้ตอบของผู้เยี่ยมชมเสมอไป

เพื่อที่เราต้องการกำหนดจุดข้อมูลรอง เช่น เพิ่มลงในรถเข็น การคลิกองค์ประกอบ การเข้าชมหน้าบางหน้า เช่น ตะกร้าสินค้า หรือการชำระเงิน วัตถุประสงค์รองเปลี่ยนแปลงเล็กน้อยขึ้นอยู่กับหน้าหรือประเภทของการทดสอบ บางครั้งยอดขายและรายได้ไม่ใช่สิ่งที่คุณพยายามจะทำในแง่ของผลลัพธ์

เราใช้การทดลองของเราเพื่อช่วยให้เข้าใจสิ่งที่ผู้เข้าชมสนใจจริงๆ องค์ประกอบใดที่มีน้ำหนักใน UX โดยรวม จากนั้นจึงสร้างกลยุทธ์ตามผลลัพธ์เหล่านั้น สมมติฐานของเรามักจะถามคำถามว่าทำไมหรืออะไรในสถานการณ์ อาจเป็นเรื่องง่ายๆ อย่างการย้ายส่วนในหน้าแรก จากนั้นวัตถุประสงค์ของเราคือคลิกในส่วนนั้น การขาย รายได้ การเข้าชมหน้าผลิตภัณฑ์ แล้ววิธีตีความข้อมูลก็คือถ้าผู้เข้าชมแสดงการมีส่วนร่วมที่สูงขึ้นโดยการย้ายส่วน ส่วนนั้นจะมีน้ำหนัก ดังนั้นผู้เข้าชมจึงชอบเส้นทางโดยรวมนั้นมากกว่า ตัวอย่างนี้คือการนำเสนอรายละเอียดคอลเลกชันเทียบกับการแสดงกลุ่มผลิตภัณฑ์จริงบนหน้าเว็บสำหรับร้านค้าอีคอมเมิร์ซ

CXO: สุดยอดของการเรียนรู้การทดลองครั้งแรก?

อัตราการแปลงไม่ใช่ตัวชี้วัดที่ไร้สาระ มันได้กลายเป็นคำที่แคบแม้ว่า

Annika Thompson ผู้อำนวยการฝ่ายบริการลูกค้าที่ Speero

แอนนิกาอธิบายว่าปัญหาไม่ใช่ว่า CRO นั้นไม่สำคัญ แต่มาพร้อมกับสัมภาระมากมาย มันเป็นเพียงภาพรวมในเวลาและไม่มีบริบท อาจไม่เกี่ยวข้องและเป็นอันตรายอย่างยิ่ง

ในทางกลับกัน CXO หรือการเพิ่มประสิทธิภาพประสบการณ์ลูกค้ามุ่งเน้นไปที่ข้อมูลเชิงลึกด้านคุณภาพการขุดเกี่ยวกับความชอบและพฤติกรรมของลูกค้า – ป้อนทุกอย่างตั้งแต่การทดลองทำลายบล็อกคอนเวอร์ชั่นไปจนถึงกลยุทธ์ทางธุรกิจที่แข็งแกร่ง มันคุ้มค่ากว่าสำหรับการทดสอบของคุณ