การทดสอบ Mind Map Series: วิธีคิดแบบ CRO Pro (ตอนที่ 22)

สัมภาษณ์กับ Nils Koppelmann

Nils Koppelmann เป็นผู้สนับสนุนอย่างกระตือรือร้นเพื่อประโยชน์ของการทดลองและการตัดสินใจที่ขับเคลื่อนด้วยข้อมูล เขาเข้าใจดีว่าการทดสอบ A/B ที่ประสบความสำเร็จไม่ใช่แค่การค้นหาว่าบางอย่างใช้ได้ผลหรือไม่ แต่ทำไมถึงได้ผล และเขามาที่นี่เพื่อปัดเป่าความเชื่อผิดๆ สองประการเกี่ยวกับแนวทางปฏิบัตินี้

การทดสอบ A/B นั้นทำให้เกิดความเสี่ยง และบริษัทขนาดเล็กไม่สามารถทดสอบได้อย่างมีประสิทธิภาพ ในทางตรงกันข้าม Nils เชื่อว่าการทดสอบ A/B สามารถช่วยลดความเสี่ยงได้โดยการให้ข้อมูลเชิงลึกว่าอะไรได้ผลและไม่ได้ผล และในขณะที่บริษัทขนาดเล็กอาจมีอัตราการเข้าชมน้อยกว่าบริษัทขนาดใหญ่ พวกเขาสามารถทดสอบได้อย่างกล้าหาญมากขึ้นเพราะมีความเสี่ยงน้อยกว่า

ดังนั้นในครั้งต่อไปที่คุณคิดว่าการทดสอบ A/B ฟังดูเสี่ยงหรือแพงเกินไป โปรดอ่านบทสัมภาษณ์นี้กับ Nils เพื่อดูเคล็ดลับเกี่ยวกับวิธีการทดสอบอย่างมีประสิทธิภาพบนไซต์ของคุณโดยไม่ทำให้เกิดความเสี่ยงที่ไม่จำเป็น

นิลส์ บอกเราเกี่ยวกับตัวคุณหน่อย อะไรเป็นแรงบันดาลใจให้คุณทำการทดสอบและเพิ่มประสิทธิภาพ

ในช่วง 8 ปีที่ผ่านมา ฉันได้สร้างเว็บไซต์และร้านค้าออนไลน์เพื่อช่วยให้ลูกค้าทั้งรายใหญ่และรายเล็ก “เพิ่มประสิทธิภาพ” การแสดงตนทางออนไลน์ของพวกเขา

ไม่นานมานี้ ความคิดของฉันเปลี่ยนไปเป็นวิธีการตรวจสอบให้แน่ใจว่าการออกแบบของเรามีผลกระทบตามที่ต้องการจริงๆ

เมื่อครั้งแรกที่ฉันพบคำว่าการเพิ่มประสิทธิภาพอัตราการแปลงเมื่อประมาณ 3 1/2 ปีที่แล้ว ฉันสงสัยว่าเหตุใดจึงไม่ใช่สิ่งที่เรามุ่งเน้นอยู่แล้ว จากจุดนั้นเป็นต้นมา ฉันเปลี่ยนโฟกัสจากการนำเสนอการออกแบบและเทคโนโลยีเป็นการให้ข้อมูลเชิงลึกและผลลัพธ์

โลกแห่งการเพิ่มประสิทธิภาพมีศักยภาพมากมายที่บริษัทส่วนใหญ่ในโลกออนไลน์ส่วนใหญ่ยังไม่ได้สำรวจ เราควรใช้ประโยชน์จากข้อมูลจำนวนมหาศาลที่มีอยู่รวมทั้งเรียนรู้จากข้อมูลนั้นเพื่อที่เราจะสามารถปรับปรุงได้อย่างต่อเนื่อง

สิ่งที่โดดเด่นที่สุดอย่างหนึ่งสำหรับฉันคือการเรียนรู้อีกครั้งมันสนุกแค่ไหน ฉันไม่เคยคิดเลยว่าฉันจะเปิดหนังสือเกี่ยวกับสถิติโดยสมัครใจ (ตะโกนถึง Georgi Georgiev และหนังสือที่ยอดเยี่ยมของเขา Statistical Methods of Online A/B Testing) และอ่านจริงๆ สิ่งนี้และแง่มุมอื่น ๆ อีกมากมายเป็นแรงบันดาลใจให้ฉันทดสอบเพื่อเรียนรู้

คุณเพิ่มประสิทธิภาพมากี่ปีแล้ว?

ความปรารถนาที่จะเพิ่มประสิทธิภาพนั้นเกิดจากการไม่พึงพอใจกับสภาพที่เป็นอยู่ ความอยากรู้เกี่ยวกับอะไรมากกว่านั้น และความมั่นใจว่าสิ่งใดๆ ก็สามารถปรับปรุงได้

ในบริบทของมืออาชีพ ฉันได้เพิ่มประสิทธิภาพมาประมาณ 8 ปีแล้ว เริ่มแรก สร้างและเพิ่มประสิทธิภาพโครงการข้างเคียง และช่วยบริษัทปรับปรุงเว็บไซต์และร้านค้าออนไลน์ ตอนนี้ เรากำลังช่วยบริษัทใหม่และบริษัทที่จัดตั้งขึ้นสร้างวัฒนธรรมแห่งการทดลอง และใช้พลังของการทดลองเพื่อเพิ่มการเติบโต

เมื่อนึกย้อนกลับไป ฉันจำไม่ได้ว่าไม่เคยปรับให้เหมาะสม เมื่อตอนเป็นเด็ก ฉันมักจะตั้งคำถามถึงวิธีการทำสิ่งต่างๆ ฉันจำได้ว่าพ่อของฉันพูดว่าฉันถามคำถาม "มากเกินไป" ซึ่งเมื่อมองย้อนกลับไป ฉันมีความสุขมากที่ได้ทำและยังคงทำอยู่

แม้แต่ในชีวิตส่วนตัวของฉัน ฉันเป็นที่รู้จักในการติดตามและปรับแง่มุมต่างๆ ในชีวิตของฉันให้เหมาะสมที่สุด

แหล่งข้อมูลใดที่คุณแนะนำสำหรับผู้ทดสอบและนักเพิ่มประสิทธิภาพที่ต้องการ

มีแหล่งข้อมูลมากมายที่ฉันอยากจะแนะนำสำหรับผู้ที่เพิ่งเริ่มใช้งาน แต่มาทำให้สิ่งนี้มีประโยชน์มากขึ้นหน่อย

ในการเริ่มต้น ต่อไปนี้คือคำแนะนำบางประการ:

1. อยากรู้อยากเห็นมากขึ้น และเริ่มตั้งคำถามว่าทำไมบางสิ่งถึงกลายเป็นแบบนี้ เพียงเท่านี้ก็เปิดโลกทัศน์ใหม่ทั้งหมด
2. ใช้เวลาคิดถึงปัญหามากกว่าหาทางแก้ไข ก่อนอื่นคุณต้องเข้าใจปัญหาก่อน จากนั้นวิธีแก้ไขจะง่ายขึ้น
   
   ดังที่อัลเบิร์ต ไอน์สไตน์ กล่าวไว้ว่า "ถ้าฉันมีเวลาหนึ่งชั่วโมงในการแก้ปัญหา ฉันจะใช้เวลา 55 นาทีในการคิดเกี่ยวกับปัญหาและ 5 นาทีในการคิดหาวิธีแก้ปัญหา"
   
   ที่กล่าวว่า มันเป็นสิ่งสำคัญที่จะคิดนอกกรอบ ซึ่งหมายความว่าไม่เพียงแต่การคิดภายในพารามิเตอร์ของปัญหาเท่านั้น แต่ยังรวมถึงการพิจารณามุมภายนอกและความเป็นไปได้ด้วย
   
   กุญแจสำคัญคือการหาสมดุลระหว่างทั้งสอง
3. เรียนรู้ที่จะถามคำถามที่ดีขึ้น นี่เป็นหนึ่งในเครื่องมือที่มีประโยชน์มากที่สุดที่เครื่องมือเพิ่มประสิทธิภาพสามารถมีได้ในคลังแสงของพวกเขา เพราะเครื่องมือนี้เปิดการใช้งานและเจาะลึกเข้าไปในความอยากรู้อยากเห็น

นอกจากนี้ ฉันยังแบ่งปันบทความ แหล่งข้อมูล และเครื่องมือที่น่าสนใจในจดหมายข่าวการทดลองรายสัปดาห์ของฉัน ซึ่งส่งถึงผู้เริ่มการทดลองและผู้มีประสบการณ์

ตอบไม่เกิน 5 คำ: วินัยในการเพิ่มประสิทธิภาพสำหรับคุณคืออะไร?

ทดสอบเพื่อเรียนรู้ พัฒนาอย่างต่อเนื่อง. การทดลอง ระบบอาคาร.

3 อันดับแรกที่ผู้คน ต้อง เข้าใจก่อนเริ่มเพิ่มประสิทธิภาพคืออะไร

วิจัยก่อนแล้วจึงทดสอบ ก่อนที่คุณจะเริ่มปรับให้เหมาะสม ตรวจสอบให้แน่ใจว่าคุณสนับสนุนสมมติฐานของคุณด้วยข้อมูล เชิงคุณภาพ และเชิงปริมาณ จากนั้นสร้างสมมติฐานที่เข้มแข็งตามนั้น

อย่าเพิ่งปรับให้เหมาะสมสำหรับการยกระดับในระยะสั้น – แม้ว่าโปรแกรมจะต้องมี ROI ในเชิงบวกเป็นสิ่งสำคัญอย่างยิ่ง แต่ไม่ควรเน้นที่สิ่งนั้นเท่านั้น แต่ยังพิจารณาแบนด์วิดท์ขนาดใหญ่ของโอกาสในการเรียนรู้และการกำหนดความเสี่ยงสูงสุดจากการทดลองด้วย

ความพยายามในการเพิ่มประสิทธิภาพไม่ควรมีจุดมุ่งหมายเพื่อพิสูจน์ว่าคุณถูกหรือผิด แต่เพื่อพิจารณาว่าเหตุใด - ไม่ว่าในกรณีใด มันไม่มีประโยชน์อะไรในการปรับให้เหมาะสมหากคุณไม่เข้าใจว่าคุณไปถึงที่นั่นได้อย่างไรและทำอย่างไรจึงจะไปถึงที่นั่นได้ เพื่อความสำเร็จในระยะยาวในการทดสอบ A/B จำเป็นต้องมีระบบที่ดี

คุณปฏิบัติต่อข้อมูลเชิงคุณภาพและเชิงปริมาณอย่างไรเพื่อให้มันบอกเล่าเรื่องราวที่เป็นกลาง?

ไม่มีข้อมูลที่เป็นกลาง แต่เพื่อลดอคติต่อข้อมูลประเภทใดก็ตาม สิ่งสำคัญคือต้องเข้าใจว่าข้อมูลถูกรวบรวมอย่างไร ข้อมูลถูกตีความอย่างไร และข้อสรุปใดที่นำมาจากข้อมูล

หากต้องการจำแนกว่าข้อมูลที่คุณกำลังพูดถึงมีความน่าเชื่อถือเพียงใด คุณควรตรวจสอบลำดับชั้นของหลักฐาน

เราใช้ข้อมูลเชิงปริมาณเพื่อกรองล่วงหน้า จากนั้นจึงใช้ข้อมูลเชิงคุณภาพและแหล่งข้อมูลทางวิทยาศาสตร์เพื่อเจาะลึก และจากนั้นข้อมูลเชิงปริมาณอีกครั้งเพื่อพิสูจน์หรือหักล้างสมมติฐานและสมมติฐานเบื้องต้น

ที่ด้านบนของความพยายามของเราคือการวิเคราะห์เมตาที่เรียกว่า ซึ่งช่วยให้เราสามารถค้นหารูปแบบจากการทดลองครั้งก่อนๆ และปรับความพยายามในการค้นคว้าและทดลองเพิ่มเติม

อีกวิธีที่ดีในการขจัดความลำเอียงคือการสร้างความเชื่อมโยงระหว่างผู้ที่สร้างการทดสอบกับผู้ที่กำลังประเมินผลการทดสอบ วิธีนี้ช่วยลดอคติต่อความสำเร็จของการทดลอง

ตำนานการเพิ่มประสิทธิภาพที่น่ารำคาญที่สุดที่คุณต้องการจะหายไปคืออะไร?

ฉันต้องการปัดเป่าตำนานสองประการ:

1. การทดสอบนั้นทำให้เกิดความเสี่ยง ทั้งที่จริงแล้วมันลดความเสี่ยงได้เมื่อทำอย่างถูกต้อง
2. บริษัทขนาดเล็กนั้นไม่สามารถทดสอบได้ เมื่อบริษัทขนาดเล็กที่มีการเข้าชมน้อยสามารถทดสอบได้อย่างกล้าหาญมากขึ้น เนื่องจากมีความเสี่ยงน้อยกว่า/มีความเสี่ยงน้อยกว่า

หวังว่าบทสัมภาษณ์ของเรากับ Nils จะช่วยแนะนำกลยุทธ์การทดลองของคุณไปในทิศทางที่ถูกต้อง!

คำแนะนำใดที่โดนใจคุณมากที่สุด?

และหากคุณยังไม่ได้ดู บทสัมภาษณ์ที่ผ่านมาของเรากับตำนาน CRO Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Deborah O'Malley , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough , Alex Birkett , John Ostrowski , Ryan Levander , Ryan Thomas , Bhavik Patel , Siobhan Solberg , Tim Mehta , Rommil Santiago และล่าสุดของเรากับ Steph Le Prevost