การทดสอบ Mind Map Series: วิธีคิดแบบ CRO Pro (ตอนที่ 6)

บทสัมภาษณ์กับยาคุบ ลิโนฟสกีแห่ง GoodUI

คุณเคยสงสัยหรือไม่ว่าทำไมบางคนถึงมีพรสวรรค์ด้าน CRO?

ไม่ใช่เพียงเพราะพวกเขาเก่งในการตั้งค่าการทดลอง พวกเขายังรู้วิธีคิดเกี่ยวกับสิ่งต่าง ๆ อีกด้วย ซึ่งซีรีส์นี้จะช่วยให้คุณทำได้เช่นกัน เราจะพิจารณาแนวคิดที่ประกอบเป็น CRO ที่ประสบความสำเร็จอย่างใกล้ชิด และวิธีที่คุณจะนำไปใช้กับกลยุทธ์ของคุณ

หากคุณสามารถเข้าสู่กรอบความคิดที่ถูกต้อง ความสำเร็จจะเกิดขึ้นได้ง่ายกว่าถ้าคุณพยายามโดยไม่เข้าใจก่อนว่าจุดบอดของคุณอยู่ที่ไหน ท้ายที่สุดแล้ว การทดสอบ Mind Map Series มีไว้เพื่อช่วยให้คุณวางแผนกลยุทธ์การเพิ่มประสิทธิภาพและดำเนินการทดสอบด้วยความมั่นใจมากขึ้น!

ในบทความนี้ Jakub Linowski แห่ง GoodUI เล่าว่าพลังของการทดลองไม่เพียงแต่อยู่ในความสามารถในฐานะวิธีการที่มีประโยชน์เท่านั้น แต่ยังสร้างข้อมูลเชิงลึกอันทรงพลังที่สามารถช่วยในการตัดสินใจได้ดียิ่งขึ้น

จาคุบ บอกเราเกี่ยวกับตัวคุณหน่อย อะไรเป็นแรงบันดาลใจให้คุณทำการทดสอบและเพิ่มประสิทธิภาพ

ฉันถูกดึงดูดเข้าสู่โลกแห่งการทดลองราวๆ ปี 2014 เมื่อพื้นหลังการออกแบบของฉันนำฉันไปสู่เส้นทางนี้ เมื่อผู้คนเริ่มแชร์ตัวอย่าง UI ที่ดีและรายการ "แนวปฏิบัติที่ดีที่สุด" ฉันเองก็เช่นกัน และนั่นคือที่มาของ GoodUI.org อย่างไรก็ตาม ฉันใช้เวลาไม่นานในการตระหนักว่าข้อเสนอแนะและรูปแบบ UI ทั้งหมดของฉันใกล้เคียงกับสมมติฐานทางสายตามากกว่าสิ่งใด ๆ ที่ได้รับการสนับสนุนจากหลักฐาน ฉันต้องการได้รับความมั่นใจมากขึ้นและทำงานได้ดีขึ้นในการกรองความคิดที่ดีออกจากความคิดที่ไม่ดี

ดังนั้น เมื่อฉันได้ยินเกี่ยวกับการทดสอบ A/B ฉันค่อนข้างตื่นเต้น (แม้ว่าฉันจะไม่รู้ว่าช่วงความมั่นใจคืออะไร) ฉันจ้างนักพัฒนาส่วนหน้าและเราเริ่มต้นหน่วยงานเพิ่มประสิทธิภาพเล็กๆ เราเริ่มทดสอบแนวคิดต่างๆ ที่เราอ่านในบล็อก รับฟังความคิดเห็นจากลูกค้าของเรา ตลอดจนจากไลบรารีรูปแบบ GoodUI ที่เกิดขึ้นใหม่ของเรา เนื่องจากลูกค้าส่วนใหญ่ของเราอนุญาตให้เราเผยแพร่การทดสอบ a/b อย่างเปิดเผย จึงเริ่มชัดเจนว่ารูปแบบบางอย่างดีกว่ารูปแบบอื่นๆ บางคนไม่ได้ทำอะไรมาก คนอื่นทำซ้ำได้ดี และผลอื่นๆ ส่งผลในทางลบ

ตอนนี้เราจำเป็นต้องชั่งน้ำหนักการทดลองเหล่านี้

ดังนั้น GoodUI.org จึงเริ่มเปลี่ยนเป็นที่เก็บการทดลองที่คล้ายคลึงกันและเปรียบเทียบได้อย่างรวดเร็วด้วยลูปความคิดเห็นแบบเต็มวง สิ่งต่างๆ ที่ทำงานได้ดีขึ้นด้วยความถี่และผลกระทบที่สูงขึ้นได้แสดงขึ้นที่ด้านบนสุด (โดยใช้ข้อมูลรวมค่ามัธยฐาน) ในขณะที่ผลการทดสอบสำหรับรูปแบบที่คล้ายคลึงกันถูกป้อนกลับเข้าไปในฐานข้อมูลของเรา แก้ไขการคาดคะเนของเราและเพิ่มความแม่นยำ

ใช่ ฉันชอบการทดลองทั้งสอง วิธี ที่ยอดเยี่ยม แต่ยังเป็น แหล่งความรู้ระดับมืออาชีพ ที่ทรงพลังที่ช่วยให้เราสามารถคาดการณ์ได้ดีขึ้น

คุณเพิ่มประสิทธิภาพมากี่ปีแล้ว? แหล่งข้อมูลใดที่คุณแนะนำสำหรับผู้ทดสอบและนักเพิ่มประสิทธิภาพที่ต้องการ

เราทำการทดสอบ leap a/b ครั้งแรกในเดือนพฤษภาคม 2014 บนหน้า Landing Page ของใบเสนอราคาสำหรับบริษัทประกันภัยรายใหญ่ รูปแบบนี้รวมทุกสิ่งที่เรารู้ในขณะนั้นเกี่ยวกับการปรับปรุงแบบฟอร์ม การคัดลอก และแบบฟอร์มโอกาสในการขายตามประสบการณ์ที่จำกัดของเรา ผลลัพธ์คือลูกค้าเป้าหมายเพิ่มขึ้น +53% (±28, p-val 0.0002) นี่เป็นการทดลองครั้งแรกของฉันที่ทำให้ฉันติดงอมแงม

ฉันชอบเรียนรู้จากสิ่งที่คนอื่นกำลังทดสอบ การค้นหาการทดลองจากผู้เล่นรายใหญ่อย่าง Netflix, Airbnb และ Amazon นั้นน่าตื่นเต้นและมีค่ามาก ที่เรารู้ว่ามีขนาดตัวอย่างที่ดีและทำการทดสอบมากมาย โดยรวมแล้ว ฉันคิดว่าเป็นความคิดที่ดีเสมอที่จะเรียนรู้จากผู้คนสองสามก้าวข้างหน้าเรา (ตามที่หลายคนแนะนำ รวมถึง Mastery ภายในโดย Robert Greene)

ตอบไม่เกิน 5 คำ: วินัยในการเพิ่มประสิทธิภาพสำหรับคุณคืออะไร?

การเพิ่มประสิทธิภาพหมายความว่าเรากำลังปรับปรุงสิ่งต่างๆ

(ผลลัพธ์มีความสำคัญต่อการเพิ่มประสิทธิภาพ ตัวอย่างเช่น ผลลัพธ์การทดลองที่แบนราบหรือไม่พึงประสงค์ 100 รายการนั้นไม่ดีพอ คุณอาจเรียนรู้ได้มากมาย ใช่ แต่เพื่อให้เราสามารถเพิ่มประสิทธิภาพบางอย่างได้ เราต้องขยับเข็มไปในทิศทางที่เราต้องการ .)

3 อันดับแรกที่ผู้คน ต้อง เข้าใจก่อนเริ่มเพิ่มประสิทธิภาพคืออะไร

การสำรวจ – สร้างความคิดให้มากที่สุด

การใช้ประโยชน์ – จัดลำดับความสำคัญของความคิดด้วยผลลัพธ์ในอดีตเพื่อความรวดเร็วยิ่งขึ้น

การทดลอง – การเปิดความคิดของเราที่จะปลอมแปลงหรือตรวจสอบ

คุณปฏิบัติต่อข้อมูลเชิงคุณภาพและเชิงปริมาณอย่างไรเพื่อให้สามารถบอกเล่าเรื่องราวที่เป็นกลางได้

ฉันเห็นด้วยกับแนวคิดในการตรวจสอบผลการทดสอบ a/b โดยทั่วไป ยิ่งเรามีมาตรการที่มีความสอดคล้องกันมากเท่าใด การทดลองของเราก็จะยิ่งน่าเชื่อถือและน่าเชื่อถือมากขึ้นเท่านั้น

ในการเปรียบเทียบผลลัพธ์ มีสองสามวิธีที่ทำได้:

• การเปรียบเทียบเมตริกหลายรายการจากการทดสอบเดียวกัน (เช่น ความสอดคล้องของผลกระทบระหว่าง: การเพิ่มในรถเข็น การขาย รายได้ การส่งคืนสินค้า เป็นต้น)
• การเปรียบเทียบข้อมูลในอดีตระหว่างการทดสอบที่แยกกัน (เช่น ความสอดคล้องของผลกระทบระหว่างการทดสอบที่แยกจากกัน 2 รายการที่ทำงานบนเว็บไซต์แยกกัน 2 แห่ง)

คุณได้ตั้งโปรแกรมการเรียนรู้ประเภทใดสำหรับทีมเพิ่มประสิทธิภาพของคุณ และเหตุใดคุณจึงใช้แนวทางเฉพาะนี้

ฉันเชื่ออย่างยิ่งว่า การจำลองแบบการทดลอง เป็นองค์ประกอบสำคัญในการทำนายผลการทดสอบได้ดีขึ้น (การสร้างความรู้ระดับมืออาชีพ)

ดังนั้น ในแพลตฟอร์มของเราเอง เราจัดกลุ่มการทดสอบที่คล้ายกันและรวมเมตริกที่คล้ายคลึงกัน

เมื่อสร้างฐานความรู้จากการทดลอง สิ่งสำคัญอีกประการหนึ่งคือการ ลดอคติในการเผยแพร่ ให้เหลือน้อยที่สุด กล่าวคือ การเก็บบันทึกการทดลองทั้งหมดโดยไม่ขึ้นกับผลลัพธ์ (รวมถึงการทดลองในเชิงบวก เชิงลบ ที่มีนัยสำคัญ และไม่มีนัยสำคัญ)

ตำนานการเพิ่มประสิทธิภาพที่น่ารำคาญที่สุดที่คุณต้องการจะหายไปคืออะไร?

เมื่อเร็ว ๆ นี้ ฉันรู้สึกหงุดหงิดกับผู้คนที่อ้างว่าการทดลองไม่มีข้อเสีย วิธีที่ละเอียดอ่อนในบางครั้งที่ออกมาก็คือการใช้ข้อความที่ฟังดูคล้ายกับ "ไม่มีการทดสอบที่แพ้ มีแต่การเรียนรู้เท่านั้น"

นี่อาจเป็นความจริงในโลกหอคอยงาช้างที่การเรียนรู้เป็นเป้าหมายหลักและที่ซึ่งผู้ทดลองได้รับการปกป้องจากค่าใช้จ่าย

อย่างไรก็ตาม สำหรับอาชีพแล้ว เมื่อเราใช้การทดลองเป็นเครื่องมือในการเพิ่มประสิทธิภาพเว็บไซต์ของลูกค้า จะไม่มีอาหารกลางวันฟรี การทดสอบดำเนินการมาพร้อมกับต้นทุน ความเสี่ยง ข้อเสีย และข้อดี จากมุมนี้ ฉันคิดว่าการติดตามและยอมรับผลลัพธ์สำหรับสิ่งที่พวกเขาเป็นจริงๆ เป็นเรื่องที่ดีต่อสุขภาพอย่างยิ่ง ทุกอาชีพต้องการทั้งกระแสตอบรับเชิงบวกและเชิงลบเพื่อให้ดีขึ้นเรื่อยๆ

หวังว่าบทสัมภาษณ์ของเรากับ Jakub จะช่วยแนะนำกลยุทธ์การแปลงของคุณไปในทิศทางที่ถูกต้อง! คำแนะนำใดที่โดนใจคุณมากที่สุด?

อย่าลืมคอยติดตามการสัมภาษณ์ครั้งต่อไปกับผู้เชี่ยวชาญ CRO ที่จะนำเราไปสู่กลยุทธ์ที่ล้ำหน้ายิ่งขึ้นไปอีก! และถ้าคุณยังไม่ได้ดู ให้อ่านบทสัมภาษณ์ของเรา กับ Gursimran Gujral จาก OptiPhoenix , Haley Carpenter of Speero , Rishi Rawat จาก Frictionless Commerce , Sina Fak จาก ConversionAdvocates และ Eden Bidani จาก Green Light Copy !