คุณต้องมีที่เก็บการเรียนรู้การทดสอบ A/B เพื่อเรียกใช้การทดสอบตามประสบการณ์ (ผู้เชี่ยวชาญพูด)

โปรแกรมทดสอบของคุณรู้สึกว่าไม่มีโครงสร้างหรือผลกระทบหรือไม่?

คุณกำลังทำการทดสอบโดยไม่มีแผนโจมตีและไม่แน่ใจว่าจะจัดลำดับความสำคัญอะไรหรือทำงานที่ไหนต่อไป

บางทีคุณอาจหลงทางในการพยายามจำแบบทดสอบที่คุณเคยลองมาก่อน อะไรได้ผล และอะไรล้มเหลว

หรือบางทีคุณเพิ่งเข้าร่วมโปรแกรมที่มีอยู่แล้วและไม่รู้ว่ามันทำงานอะไรไปแล้ว มันทำงานอย่างไร หรือจะเริ่มจากตรงไหน

การทดสอบ A/B อาจทำให้หลงทางในวัชพืชได้ง่าย แต่โชคดีที่มีวิธีง่ายๆ ในการแก้ปัญหาทั้งหมดนี้

เมื่อเร็วๆ นี้เราได้สัมภาษณ์ CRO มืออาชีพ 5 ราย และสิ่งหนึ่งที่ชัดเจนในทันที: หากคุณต้องการเรียกใช้การทดสอบโดยอาศัยข้อมูลประสบการณ์และขยายวัฒนธรรมการทดสอบของคุณ คุณต้องมีที่เก็บข้อมูลเชิงลึกแบบรวมศูนย์

คลังการเรียนรู้คืออะไร?

พูดง่ายๆ ก็คือ เป็นตำแหน่งเดียวที่จะจัดเก็บข้อมูลทั้งหมดเกี่ยวกับการทดสอบที่ผ่านมาที่คุณได้ทำไปแล้ว

• หน้าเป้าหมาย,
• สมมติฐานและสิ่งที่คุณดำเนินการ
• องค์ประกอบการทดสอบและตัวแปร
• ผลลัพธ์
• ผลกระทบต่อตัวชี้วัดที่สำคัญ ฯลฯ

อาจเป็นพื้นฐานเหมือนกับโฟลเดอร์ในแล็ปท็อปหรือโครงการ Asana แต่พื้นที่เก็บข้อมูลการเรียนรู้เป็นมากกว่าระบบการจัดเก็บที่ได้รับการยกย่อง...

'ที่เก็บการเรียนรู้การทดลอง' ช่วยให้ธุรกิจและผู้มีส่วนได้ส่วนเสียในวงกว้างเห็นว่ามีการทดลองใดบ้างจนถึงปัจจุบันและได้เรียนรู้อะไรบ้างที่ได้รับ พื้นที่เก็บข้อมูลช่วยให้ผู้อ่านสามารถใช้เนื้อหาในเวลาและความเร็วของตนเองซึ่งมีความสำคัญในธุรกิจระดับโลก

– Max Bradley ผู้จัดการการทดลองเว็บที่ Zendesk

ซึ่งหมายความว่าเข้าถึงการทดสอบที่ผ่านมาทั้งหมดของทีมได้อย่างง่ายดาย ซึ่งสามารถช่วยให้คุณสร้างวัฒนธรรมการทดสอบนั้นได้

ยังไง?

ยิ่งผู้คนมีส่วนร่วมในการทดสอบและเห็นการทดสอบทำงานมากเท่าใด พวกเขาก็จะยิ่งรับเอา mindset มาใช้เร็วขึ้นเท่านั้น

เมื่อเห็นว่าการทดสอบใดดำเนินการไปแล้วและผลการทดสอบ ก็สามารถจุดประกายแนวคิดและมุมใหม่ๆ ให้กับทุกคนที่เข้าถึงข้อมูลนี้ได้ นี้สามารถนำไปสู่ ​​aha! ในพื้นที่ต่างๆ ของบริษัท นอกทีมทดสอบ ซึ่งพวกเขาสามารถทดสอบด้วยตนเองหรือส่งต่อไปยังทีมทดสอบ

ตัวอย่างเช่น หากแผนกโฆษณาที่เสียค่าใช้จ่ายระบุภาษาที่มีประสิทธิภาพมากที่สุดซึ่งได้รับการทดสอบหน้าเว็บที่เพิ่มขึ้น พวกเขาอาจต้องการลองใช้ข้อความนี้ในข้อความโฆษณา การค้นหาที่เสียค่าใช้จ่าย หรือโซเชียลมีเดีย เนื่องจากมันโดนใจผู้ชมอย่างชัดเจน

การเข้าถึงการทดสอบที่ผ่านมาไม่เพียงแต่เปิดกว้างแนวคิดใหม่ๆ กับสมาชิกในทีมภายนอก แต่ยัง ช่วยลดเวลาที่ใช้ในการพยายามค้นหาข้อมูลที่สำคัญอีกด้วย

พื้นที่เก็บข้อมูลการเรียนรู้มีอะไรมากกว่าแค่การเข้าถึงทั่วทั้งบริษัทและประหยัดเวลา:

การเรียนรู้เป็นหลักการสำคัญของการสร้างผลิตภัณฑ์ที่มีความหมายและมีประสิทธิภาพ และวิธีเดียวที่จะรวบรวมการเรียนรู้ที่มีความหมายและผ่านการตรวจสอบได้ก็คือการทำการทดลองและรวบรวมการเรียนรู้ทั้งหมดไว้ในที่เก็บข้อมูลส่วนกลาง การเรียนรู้ในที่เก็บนี้สามารถนำไปใช้ในแบบฝึกหัดต่างๆ เช่น ต้นไม้โอกาส/โซลูชัน ซึ่งคุณทำงานเพื่อบรรลุเป้าหมายของผู้ใช้ด้วยแนวทางการแก้ปัญหาต่างๆ

กุญแจสำคัญในการเรียกใช้การทดสอบโดยอาศัยประสบการณ์คือการมีที่เก็บส่วนกลางที่สามารถเข้าถึงได้ มีโครงสร้าง ค้นหาได้ และมีการปรับปรุง/จัดการอย่างเหมาะสม การทำเช่นนี้ในลักษณะที่ประสบความสำเร็จสามารถมีผลกระทบแบบทวีคูณต่อผลผลิตและคุณภาพของผลลัพธ์ ของ โปรแกรมการทดลองโดยรวม

– Matthias Mandiau ผู้เชี่ยวชาญด้านการทดลองและการวิเคราะห์ข้อมูลที่ H&M Group

ดังที่ Matthias กล่าว ยิ่งเราเข้าใจผู้ชมของเรามากเท่าใด เราก็จะส่งมอบผลิตภัณฑ์และบริการให้พวกเขาได้ดียิ่งขึ้น

เราอาจไม่ได้รับข้อมูลเชิงลึกในทันที แต่สามารถกำหนดเส้นทางที่ถูกต้อง จากนั้นเราสามารถปรับปรุงเพิ่มเติมและนำเสนอผลิตภัณฑ์และประสบการณ์ผู้ใช้ที่ดีที่สุด

ดีขึ้นยัง?

การเรียนรู้และจัดการผลลัพธ์จากการทดสอบอย่างต่อเนื่องสามารถช่วยเราหลีกเลี่ยงข้อผิดพลาดที่มีค่าใช้จ่าย…

คุณได้ทำการทดลองแล้ว ให้หลีกเลี่ยงข้อผิดพลาดเหล่านี้

การมีที่สำหรับจัดเก็บและเข้าถึงข้อมูลในอดีตนั้นยอดเยี่ยม แต่ก็ไม่ใช่ข้อดีเพียงอย่างเดียว

อันที่จริง ในระหว่างการสัมภาษณ์ เราพบข้อผิดพลาดทั่วไปของโปรแกรมการทดสอบหลายครั้งที่มีการพูดคุยกันครั้งแล้วครั้งเล่า ซึ่งเกือบทั้งหมดได้รับการแก้ไขโดยมีพื้นที่เก็บข้อมูลการเรียนรู้

ไม่เคารพข้อมูลบริษัทที่ "แพง"

ข้อโต้แย้งที่น่าเชื่อถือที่สุดประการหนึ่งสำหรับคลังการเรียนรู้คือข้อเท็จจริงง่ายๆ ที่ว่า ข้อมูลทั้งหมดจากการทดสอบเป็นทรัพย์สินของบริษัท

คุณกำลังใช้เวลาและเงินอันมีค่าในการรวบรวมข้อมูลนั้น สิ่งสุดท้ายที่คุณต้องการทำคืออย่าจัดเก็บหรือใช้ หรือแย่กว่านั้น อย่ากลับมาช่วยคุณวางแผนการทดสอบใหม่และเรียนรู้จากสิ่งที่ผ่านมา:

เหตุใดจึงลงทุนเงินจำนวนมากในโปรแกรมการทดลองในเมื่อไม่ได้ดูแลผลลัพธ์หลัก (การเรียนรู้) ของมัน

ภาพรวมที่ดีคือกุญแจสำคัญในการทำความเข้าใจว่าสิ่งใดที่ได้ทำไปแล้ว สิ่งที่ควรเป็นจุดสนใจในตอนนี้ และสิ่งที่ควรดำเนินการในเร็วๆ นี้ ด้วยวิธีนี้ความรู้ไม่ได้ขึ้นอยู่กับคนเพราะคนมาและไปในบริษัท

ยิ่งไปกว่านั้น ยังช่วยให้การแบ่งปันความรู้ดีขึ้น การเริ่มต้นที่ดีขึ้น การเตรียมกรณีธุรกิจที่ดีขึ้น การวิจัยที่ดีขึ้น...

– Matthias Mandiau

การมีมุมมองที่สูงเป็นไมล์เกี่ยวกับโปรแกรมการทดสอบของคุณไม่เพียงแต่จะช่วยให้คุณทดสอบได้ดีขึ้นเท่านั้น แต่ยังฝึกอบรมพนักงานใหม่หรือแม้แต่หัวหน้าทีมอีกด้วย (และข้ามประเด็นเรื่องการสูญเสียข้อมูลเชิงลึกทั้งหมดเมื่อผู้จัดการ CRO ลาออกจากบริษัท)

ยังไง?

ตอนนี้สมาชิกใหม่สามารถเห็นสิ่งที่ได้ลองมาก่อน สิ่งที่ใช้ได้ผล และบางทีสิ่งที่อาจเป็นไปได้แต่ไม่ได้ดำเนินการอย่างถูกต้องหรือสามารถทำซ้ำต่อไปได้...

พลาดการพัฒนา "สัญชาตญาณของลำไส้" ทั่วทั้งบริษัทที่แจ้งจากประสบการณ์ (และข้อมูล)

ไม่ผิดที่จะใช้อุทรของคุณคิดไอเดียการทดสอบ บางครั้งคุณก็มีสัญชาตญาณจากข้อมูลหรือประสบการณ์ที่สามารถช่วยคุณสร้างสมมติฐานและทำแบบทดสอบเบื้องต้นให้เสร็จสิ้นได้

อย่างไรก็ตาม คุณต้องระวังการพึ่งพาสัญชาตญาณนี้อยู่ตลอดเวลา และอย่าไปสนใจการวิจัยและข้อมูลแทน

สิ่งหนึ่งที่ฉันบอกทีมของฉัน (ที่ Bouqs) คือ... เมื่อคุณไม่มีข้อมูล (บันทึกการเรียนรู้/สิ่งประดิษฐ์จากการทดสอบ) คุณต้องตัดสินใจโดยพิจารณาจากสัญชาตญาณของคุณหรือสัญชาตญาณของผู้มีส่วนได้ส่วนเสีย ฐานข้อมูลการเรียนรู้สร้าง a
อุทรสำหรับพวกเราทุกคนที่เราสามารถใช้เป็นเครื่องตรวจลำไส้ได้ แต่ไม่ใช่แค่ของเราหรือลำเอียงเท่านั้น

– Natalia Contreras-Brown รองประธานฝ่ายการจัดการผลิตภัณฑ์ที่ The Bouqs

บริษัทที่ใหญ่ที่สุดที่มีโปรแกรม CRO ที่เติบโตเต็มที่นั้นเกือบทั้งหมดขับเคลื่อนด้วยข้อมูล พวกเขาทำการเลือกโดยพิจารณาจากข้อมูลที่บอกพวกเขาว่ามีความสำคัญมากที่สุด และบ่อยครั้งที่พวกเขากลายเป็นผู้นำตลาด

อย่ากลายเป็นความผิดในการทดสอบตัวเลือกลำไส้และความคิดเห็นเท่านั้น และอย่าเน้นที่ตัวชี้วัดเพียงอย่างเดียว ใช้เวลาในการ ค้นหาข้อมูลเชิงลึกตามบริบท จากผลการทดสอบแต่ละครั้ง ติดตามข้อมูลและที่สำคัญที่สุดคือติดตามและบันทึกสิ่งที่เกิดขึ้นและทำไมคุณถึงคิดว่ามันเกิดขึ้น ดังนั้นคุณจึงไม่พลาดที่จะลืมสิ่งที่คุณได้ลองแล้วและทำไมมันถึงได้ผล

ทำซ้ำการทดสอบที่เคยทำมาก่อน

เราได้บอกใบ้ไปแล้ว แต่หากไม่ได้ติดตามสิ่งที่คุณกำลังทำอยู่ การเรียกใช้แนวคิดการทดสอบที่คุณได้ลองไปแล้วอีกครั้งหรือพลาดแนวคิดการทดสอบจะกลายเป็นเรื่องง่ายมาก

ที่เก็บการเรียนรู้ช่วยหลีกเลี่ยงการเรียกใช้การทดลองที่ดำเนินการไปก่อนหน้านี้อีกครั้ง นอกจากนี้ยังช่วยลดเวลาที่ใช้ในการตอบคำถามเกี่ยวกับผลลัพธ์และการเรียนรู้จากผู้มีส่วนได้ส่วนเสียสำหรับทีมทดลอง

– แม็กซ์ แบรดลีย์

ทำตัวดีๆ กับตัวเองและทีมในอนาคตของคุณ และจดบันทึกสิ่งที่คุณกำลังทำและรายละเอียดทั้งหมดของการทดสอบแต่ละครั้ง

อาจเป็นไปได้ว่าคุณต้องการเรียกใช้สิ่งที่คล้ายกัน แต่ไม่มีรายละเอียดเกี่ยวกับสิ่งที่คุณเคยลองมาก่อน อาจเป็นเรื่องง่ายที่จะพลาดหรือใช้เวลาอีก 30 วันในการรับข้อมูลที่คุณควรบันทึกไว้

การสื่อสารไม่ดีหรือขาดการเข้าถึงข้อมูล

ความแตกต่างที่ใหญ่ที่สุดอย่างหนึ่งในทีม CRO ที่เติบโตเต็มที่คือความสามารถในการสื่อสารหรือเข้าถึงข้อมูลอย่างรวดเร็วและง่ายดาย ไม่เพียงแค่ความสะดวกในการเข้าถึงเท่านั้น แต่ยังให้ข้อมูลที่ถูกต้องได้อย่างมีประสิทธิภาพอีกด้วย

การมีที่เก็บการเรียนรู้ที่ได้รับการจัดทำเป็นเอกสารอย่างดีและเป็นระเบียบสามารถลดอุปสรรคในการสื่อสารและยังช่วยไม่ให้กีดขวางการทดสอบเวิร์กโฟลว์ ในขณะที่คุณค้นหาข้อมูลและหยุดสิ่งต่างๆ

(A Experimentation repository) เป็นระบบการจัดการความรู้ที่เก็บข้อมูลทั้งหมดในระดับรายละเอียดและสามารถเข้าถึงได้โดยทีมโดยทั่วไป แต่ที่สำคัญที่สุดอำนวยความสะดวกให้สิ่งประดิษฐ์การสื่อสาร (comms layer) ที่ผลิตขึ้นเพื่อคนที่เหมาะสมในรูปแบบที่ถูกต้องที่ ถูกเวลา.

มันคือ 'ชั้นข้อมูล' ในเวิร์กโฟลว์การทดสอบ ดังที่เห็นที่นี่:

– Ben Labay กรรมการผู้จัดการ / CRO & Experimentation @ Speero โดย CXL

ทิ้งการเรียนรู้ (และเงิน) ไว้บนโต๊ะ

อย่าลืมว่าการทดสอบส่วนใหญ่ล้มเหลว ผ่านการทำซ้ำและการเรียนรู้จากการทดสอบที่ผ่านมาเท่านั้นที่คุณปรับปรุงและได้รับชัยชนะที่ส่งผลต่อ ROI เหล่านั้น

หากไม่มีการติดตามว่าคุณวิ่งไปที่ไหนและไปที่ไหนมาบ้าง จะกลายเป็นเรื่องยากมากที่จะก้าวไปข้างหน้าและเห็นความคืบหน้า หรือแม้แต่รู้สึกมั่นใจในกระบวนการทดสอบของคุณ

Stefan Thomke กล่าวว่า "แม้จะเต็มไปด้วยข้อมูลที่มาจากทุกทิศทาง แต่ผู้จัดการในปัจจุบันก็ทำงานในโลกที่ไม่แน่นอนซึ่งพวกเขาขาดข้อมูลที่ถูกต้องในการตัดสินใจเชิงกลยุทธ์และยุทธวิธี" การทดสอบและการตรวจสอบช่วยให้เราเรียนรู้ จำเป็นอย่างยิ่งที่จะต้องเปรียบเทียบการเรียนรู้เหล่านั้นในที่เก็บที่เข้าถึงได้ง่ายเพื่อทบทวนการเรียนรู้เหล่านั้นเพื่อการตัดสินใจในอนาคต

– David Mannheim รองประธาน CRO ของ BrainLabs

นี่คือภาพแสดงกระบวนการในอุดมคติจาก Ruben de Boer:

การเรียนรู้และปรับปรุงจากการทดสอบทุกครั้งของคุณมีความสำคัญอย่างเหลือเชื่อ ไม่เพียงแต่จะเชื่อมโยงโดยตรงกับความสำเร็จของการทดสอบในอนาคตของคุณเท่านั้น แต่ยังช่วยให้คุณสามารถขยายชัยชนะในปัจจุบันไปยังพื้นที่อื่นๆ หรือแม้แต่ไซต์อื่นๆ

การทดสอบอื่นๆ เกือบทั้งหมดที่เราดำเนินการที่ H & M ในทีมผลิตภัณฑ์ของเราได้รับการสนับสนุนโดยการเรียนรู้ที่บันทึกไว้ของการทดลองครั้งก่อนหรือวิธีการวิจัยอื่นๆ

– Matthias Mandiau

นิสัยการเรียนรู้และการย้ำเตือนนี้เกิดขึ้นซ้ำแล้วซ้ำเล่ากับเกือบทุกคนที่เราสัมภาษณ์

ที่ Brainlabs การทดลองของเราสำหรับ Flannels ซึ่งเป็นร้านเสื้อผ้าบุรุษที่มีชื่อเสียงประมาณ 40-50% เป็นการทำซ้ำของกันและกัน สิ่งนี้แสดงให้เห็นถึงพลังของการเรียนรู้ภายในการทดลองเดียวและวิธีที่สามารถพัฒนาเป็นอย่างอื่นได้ เพราะเราเรียนรู้อยู่เสมอว่าสิ่งเร้าเชิงปฏิบัติสามารถส่งผลกระทบต่อตัวแปร ได้อย่างไร

— เดวิด มันน์ไฮม์

ขอยกตัวอย่างอื่น

สมมติว่าคุณมีหน้าจับภาพลูกค้าเป้าหมายและเค้าโครงที่คุณใช้ทำงานได้ดีสำหรับหน้าเดียว จากนั้นคุณสามารถปรับให้เข้ากับผู้อื่นในไซต์ของคุณเพื่อดูว่ามีการเพิ่มขึ้นที่นั่นด้วยหรือไม่

ถ้าคุณเป็นเอเจนซี่ที่มีลูกค้าหลายรายในธุรกิจเดียวกันล่ะ

ข้อมูลเชิงลึกและชัยชนะจากบริษัทหนึ่งอาจนำไปสู่แนวคิดและการออกแบบที่อาจใช้ได้กับลูกค้ารายอื่นๆ ของคุณด้วย...

สิ่งที่ใช้ได้ผลครั้งเดียวมีโอกาสที่จะไม่ถูกเอารัดเอาเปรียบอย่างเต็มที่:

• อาจทำงานได้อีกครั้งด้วยความเข้มข้นที่มากขึ้น (สำหรับลูกค้ารายเดิม)
• อาจใช้งานได้อีกครั้งที่อื่น (สำหรับลูกค้ารายเดียวกัน)
• อาจใช้ได้ผลกับคนที่แตกต่างไปจากเดิมอย่างสิ้นเชิง

กล่าวอีกนัยหนึ่ง ชัยชนะในอดีตมีศักยภาพในการคาดการณ์ซึ่งสามารถเร่งการเพิ่มประสิทธิภาพได้ (การชนะมากขึ้น ความน่าจะเป็นที่จะประสบความสำเร็จมากขึ้น

– จาคุบ ลิโนฟสกี, GOODUI.org

Drip Agency ทำสิ่งนี้กับลูกค้า 2 รายของพวกเขา

พวกเขานำการออกแบบเลย์เอาต์ของหน้าที่ชนะจากลูกค้ารายหนึ่งมาทดสอบกับอีกรายหนึ่งเพื่อเพิ่ม Conversion ในทันที

GoodUI ทำสิ่งที่คล้ายกัน พวกเขานำแนวคิดและข้อมูลการทดสอบที่ชนะจากลูกค้ารายหนึ่งมาใช้เป็นพื้นฐานในการทดสอบหน้าอื่นๆ ในไซต์

สิ่งนี้ทำให้พวกเขาได้รับ Conversion เพิ่มขึ้น 42%!

จากนั้นพวกเขาก็ก้าวไปอีกขั้น

แทนที่จะใช้การออกแบบที่ชนะสำหรับลูกค้ารายเดียว พวกเขาทำกรณีศึกษาเพื่อดูว่าคุณสามารถทำนายการทดสอบที่ชนะโดยพิจารณาจากแคมเปญก่อนหน้าในหลายเว็บไซต์ได้หรือไม่

ทฤษฎีที่ว่าการออกแบบ UX บางอย่างอาจใช้ได้กับอุตสาหกรรมอื่นๆ

ดังนั้นพวกเขาจึงทำการทดสอบ 51 ครั้งโดยใช้เลย์เอาต์การออกแบบที่ชนะก่อนหน้านี้ และได้รับอัตราความสำเร็จ 71% เมื่อใช้ผู้ชนะก่อนหน้านี้เพื่อช่วยออกแบบการทดสอบใหม่บนไซต์อื่นๆ

สวยเย็นใช่มั้ย?

นี่เป็นอีกเหตุผลหนึ่งที่ว่าทำไมคลังการเรียนรู้จึงมีประโยชน์มาก และนั่นเป็นสาเหตุที่ผู้ทดสอบที่ดีจะพิจารณาผู้ชนะในอดีต

หากคุณลองคิดดู GoodUI นั้นเป็นที่เก็บการเรียนรู้ประเภทหนึ่ง เนื่องจากเป็นฐานข้อมูลของการทดสอบที่ผ่านมาและผู้ชนะจากไซต์และอุตสาหกรรมต่างๆ

ประเด็นก็คือ พวกเขามักจะเห็นการออกแบบที่นำกลับมาใช้ใหม่ในเว็บไซต์อื่นๆ และสังเกตว่ารูปแบบเฉพาะจะช่วยยกระดับได้ อาจมีคนอื่นทำการทดสอบ แต่ได้ผล ฯลฯ

เนื่องจากเป็นคุกกี้อัจฉริยะ GoodUI จึงใช้รูปแบบเฉพาะเหล่านี้เป็นแรงบันดาลใจสำหรับการทดสอบเพื่อรันสำหรับลูกค้าใหม่...

และมันก็สมเหตุสมผลใช่มั้ย? เมื่อคุณแก้ไขปัญหาทางเทคนิคและตัดสินใจเลือกหน้าที่จะทดสอบแล้ว การพิจารณาองค์ประกอบการทดสอบที่ผ่านมาในหน้าที่คล้ายกันและสิ่งที่ได้ผลก็ไม่ใช่เรื่องเสียหาย

คุณสามารถใช้ไซต์อื่นเพื่อเป็นแรงบันดาลใจในการเริ่มต้น แต่ผู้เชี่ยวชาญทุกคนเห็นด้วย คุณต้องเริ่มสร้างที่เก็บของคุณเองโดยเร็วที่สุด

ลงทุนในคลังเก็บการทดลอง

Jakub Linowski กล่าวใน LinkedIn ว่า ถ้าคุณดูอาชีพต่างๆ เช่น แพทย์ วิศวกร นักกีฬา และการทหาร คุณจะเห็นว่าความสำเร็จและการเติบโตส่วนใหญ่ของพวกเขาสร้างขึ้นจากการเรียนรู้ที่พวกเขาได้สร้างขึ้นจากการทดลองที่ผ่านมา

ด้วยภาพในจิตใจนั้น คุณสามารถจินตนาการได้ว่าเขตข้อมูล CRO โดยรวมจะเติบโตได้เร็วเพียงใด เมื่อการทดลองไม่จำเป็นต้องเริ่มจากระดับ 0 เสมอไป แต่ถ้าไม่มีที่เก็บการเรียนรู้ ก็เป็นอย่างนั้นจริงๆ

และทีม CRO ในบ้านจำนวนมากก็มีความผิดในเรื่องนี้

หากคุณนำแนวคิดนี้มาใกล้บ้านมากขึ้น จะเห็นได้ชัดว่าการสร้างสิ่งที่คุณรู้อยู่แล้วเป็นวิธีที่มั่นคงในการผสมผสานความพยายามของโปรแกรมการทดลองของคุณ

Repository = โอกาสที่การทดลองสำเร็จสูงขึ้น

เฉพาะเมื่อคุณมีความคิดในการเรียนรู้แบบทดสอบ (และแบบทดสอบที่ผ่านมา) เท่านั้น คุณจะให้คุณค่ากับสิ่งที่การทดลองนำเสนอ เช่น แนวคิดว่าสิ่งใดได้ผลและไม่ได้ผล โดยพิจารณาจากบริบทและสถานการณ์

20 “การตัดสินใจที่ดี” ใน UX, UI, ผลิตภัณฑ์, การตลาด (ต้องขอบคุณการทดลอง) สามารถช่วยยืดหยุ่นกล้ามเนื้อในการตัดสินใจและทำให้สัญชาตญาณคมชัดขึ้น ยิ่งคุณเห็นว่าความคิดเห็นของคุณถูกวิจารณ์หรือถูกตรวจสอบมากเท่าไร คุณก็ยิ่งต้องหาเข็มทิศมากเท่านั้นเพื่อหาว่าสิ่งใดใช้ได้ผลและผู้ชมของคุณต้องการอะไร

ผู้ที่ทดสอบเพื่อเห็นแก่อัตราการแปลงจะพลาดภาพใหญ่นี้ มันเกี่ยวกับการเรียนรู้ว่าผู้ชมของคุณต้องการอะไร ไม่ใช่เกี่ยวกับความถูกต้อง

มาแสดงให้คุณเห็นว่า:

วิธีจัดโครงสร้างคลังการเรียนรู้ของคุณ

แหล่งเก็บข้อมูลการเรียนรู้มีไว้เพื่อขจัดไซโลข้อมูล ส่งเสริมการทำงานร่วมกัน และเสริมสร้างการสื่อสาร

หากโครงสร้างของคุณไม่มีโครงสร้างที่เหมาะสม จะเป็นเรื่องยากมากที่จะปฏิบัติตามข้อกำหนดพื้นฐานเหล่านั้น แต่สิ่งที่เกี่ยวกับการจัดโครงสร้างที่เก็บการเรียนรู้ของคุณคือมีตัวเลือกต่างๆ พวกเขาทำงานแตกต่างกันสำหรับองค์กรต่างๆ

นั่นไม่ใช่ปัญหาเพราะเราจะอธิบายโมเดลทั้ง 3 แบบให้คุณฟัง จากนั้นคุณสามารถนึกภาพได้ว่าจะเข้ากับทีม แผนก หรือองค์กรของคุณได้อย่างสมบูรณ์แบบ ยิ่งไปกว่านั้น ผู้เชี่ยวชาญแนะนำโมเดลเฉพาะรุ่นหนึ่ง

ดูเหมือนว่าจะมีผู้ชนะในแง่ของโครงสร้างทีมทดลอง: ศูนย์ความเป็นเลิศ

1. ศูนย์ความเป็นเลิศ (CoE) เปิดใช้งานและติดตั้งทีมทดลองเฉพาะแผนก

ในรูปแบบนี้ ทีมทดลองคือ CoE สำหรับโปรแกรมการทดลองทั้งหมดขององค์กร

ดังนั้นพวกเขาจึงเป็นเจ้าหน้าที่อำนวยความสะดวกสำหรับทุกคนในแผนกอื่นที่ต้องการทำการทดลอง คุณผ่านพวกเขาและพวกเขาช่วยตั้งค่า

จากนั้นพวกเขาจะดูแลความสมบูรณ์ของการทดลองเหล่านี้ และรักษาทุกอย่างให้สอดคล้องกับเป้าหมายการทดลองในวงกว้างขององค์กร

การจัดโครงสร้างด้วยวิธีนี้ในวันนี้จะขจัดปัญหาดาวน์ไลน์ในวันพรุ่งนี้ เนื่องจากทุกอย่างถูกเก็บไว้ในเส้นทางเดียวกัน ง่ายต่อการตรวจสอบ และสร้างที่เก็บการเรียนรู้ด้วยวิธีนี้จึงง่ายต่อการประสานงาน

ความท้าทายหลักที่นี่คือจะไม่สามารถเข้าถึงได้เหมือนกับรูปแบบการกระจายอำนาจ

2. หน่วยกระจายอำนาจนั่งข้ามแผนกและให้ทุกคนเข้าร่วม

หน่วยกระจายอำนาจอยู่ในแผนกต่างๆ และทำการทดสอบจริง นี่เป็นกลยุทธ์ที่ยอดเยี่ยมเนื่องจากพวกเขามีความรู้มากที่สุดในลูปการเติบโตและเมตริกของตัวเอง ดังนั้นพวกเขาจึงอยู่ในตำแหน่งที่ดีที่สุดในการออกแบบและดำเนินการทดสอบที่มีผลกระทบสูง

ในรูปแบบนี้ ทุกคนสามารถทำการทดสอบได้ โดยไม่คำนึงถึงแผนกและระดับประสบการณ์ในการทดลอง เมื่อรวมกับ CoE จะดึงดูดผู้ชื่นชมบางคน...

ฉันเป็นแฟนตัวยงของการทดลองแบบกระจายศูนย์ โดยทำงานร่วมกับศูนย์ความเป็นเลิศในการควบคุมคุณภาพและเผยแพร่การทดสอบ AB จากประสบการณ์ของผม โครงสร้างเหล่านี้ทำงานได้ดีที่สุดสำหรับวัฒนธรรมเหล่านั้นที่โอบรับพลังของการทดลองอย่างแท้จริง ในแง่ของพื้นที่เก็บข้อมูลการเรียนรู้ สิ่งนี้ควรเป็นไปตามความเหมาะสม สมาชิกในทีมควรได้รับอำนาจในการทำการทดลองและเน้นย้ำการเรียนรู้จากผลงานของพวกเขา

— เดวิด มันน์ไฮม์

ความรับผิดชอบในการบำรุงรักษาที่เก็บการเรียนรู้จึงเป็นไปตามความเหมาะสม

3. จัดการโดยคนเดียวในการรวบรวมและรักษาการเรียนรู้การทดลอง

อย่างไรก็ตาม ไม่เหมือนกับโมเดล CoE-alone ที่เก็บการเรียนรู้ของโมเดลแบบกระจายอำนาจนั้นยากที่จะประสานงาน

ช่วยให้มีบทบาทที่กำหนดซึ่งรับผิดชอบในการจัดทำเอกสารและบำรุงรักษาการเรียนรู้ และมีบางอย่างที่เป็นประโยชน์เกี่ยวกับเรื่องนี้:

จัดการโดยผู้จัดการโปรแกรม/โครงการ (ติดตาม) และนักยุทธศาสตร์การทดสอบหลัก (ที่ป้อน 'เรื่องราว) แต่ถ้าทำถูกต้องก็สามารถมีอินพุตได้ในทุกขั้นตอน เนื่องจากอินพุตเข้ามาเป็นรายการแบบฟอร์ม เช่น แบบฟอร์มปัญหา ใหม่ เครื่องมือติดตามแคมเปญ แนวคิดโซลูชันการทดสอบใหม่ ฯลฯ

– Ben Labay กรรมการผู้จัดการ / CRO & Experimentation @ Speero โดย CXL

Matthias Mandiau เห็นด้วยกับ Ben

ฉันชอบไฮบริดระหว่างการรวมศูนย์/กระจายอำนาจ:

ที่เก็บต้องสามารถเข้าถึงได้เสมอ (คลาวด์)

จำเป็นต้องสามารถรวมวิธีการวิจัยที่แตกต่างกันเพื่อสร้างสมมติฐานที่แข็งแกร่ง

การตั้งค่าและการจัดการพื้นที่เก็บข้อมูลและความเป็นเจ้าของควรมี 1 ทีม/ผู้จัดการ (รวมศูนย์) น่าติดตาม KPI ประสิทธิภาพการทดสอบมาโครระดับสูงในระดับกลาง

ทีมผลิตภัณฑ์ทุกทีมที่ทำงานกับการทดลองควรมีผู้มีส่วนได้ส่วนเสีย (นักวิเคราะห์ข้อมูล/CRO) ซึ่งมีหน้าที่รับผิดชอบในการดูแลการเรียนรู้ที่รวบรวมทั้งหมดอย่างเหมาะสมซึ่งอัปโหลดในรูปแบบที่ถูกต้องไปยังที่เก็บส่วนกลาง ยังดีที่จะติดตาม KPI ประสิทธิภาพการทดสอบขนาดเล็กระดับทีมผลิตภัณฑ์ภายในทีมที่กระจายอำนาจ อาจเป็นแดชบอร์ดที่เชื่อมโยงกับ GA หรือที่เก็บตัวอย่างเช่น

ที่ Zendesk ผู้จัดการคนหนึ่งมีหน้าที่ดูแลที่เก็บ แต่อินพุตมาจาก "เจ้าของการทดสอบ":

ขณะนี้ เรามีพื้นที่เก็บข้อมูลที่จัดการโดยทีมเดียวในธุรกิจ โดยมีคน 1 คนเป็นเจ้าของโดยรวม ขอให้ "เจ้าของ" การทดสอบเพิ่มการเรียนรู้หลังการทดสอบเสร็จสิ้นลงในพื้นที่ที่เกี่ยวข้องของที่เก็บ

– แม็กซ์ แบรดลีย์

และนั่นเป็นวิธีที่คนคนเดียว (หรือทีมเล็กๆ) ที่จัดการโมเดลแบบกระจายอำนาจ สามารถทำให้ที่เก็บการเรียนรู้การทดลองมีประสิทธิภาพและมั่นใจในคุณภาพ

คล้ายกับสิ่งที่ GoodUI กำลังทำ นั่นคืออาศัยการเรียนรู้จากกลุ่มธุรกิจและลูกค้าเพื่อสร้างทรัพยากรที่ยอดเยี่ยมของข้อมูลเชิงลึกด้านการทดลอง

ดังนั้น แม้ว่าคุณจะยังไม่มีที่เก็บข้อมูลการเรียนรู้ คุณก็มีความรู้มากมายที่จะดึงออกมา แผนของ Convert มาพร้อมกับการสมัครสมาชิกลดราคา GoodUI

วิธีการบันทึกการเรียนรู้ของคุณ

เช่นเดียวกับระบบการจัดเก็บที่จัดระเบียบ repo การเรียนรู้ของคุณไม่สามารถเป็นที่ทิ้งข้อมูลได้ จำเป็นต้องมีรูปแบบการบันทึกการเรียนรู้ที่ชัดเจนและเหมาะสมเพื่อเป็นประโยชน์กับทุกคน

นี่จะหมายถึงการแสดงข้อมูลด้วยภาพโดยสัญชาตญาณ เรื่องราวของข้อมูลที่ปราศจากศัพท์แสง และวิธีการง่ายๆ ในการค้นหาการทดสอบเฉพาะเมื่อจำเป็น

นี่คือวิธีการ

จับภาพและบันทึกข้อมูลเมตาทั้งหมดจากการทดสอบ

ขั้นตอนแรกที่ชัดเจนคือการรวบรวมข้อมูลจากการทดสอบ แต่ข้อมูลอะไรที่คุณเก็บรวบรวม? พูดง่าย ๆ ว่ารวบรวมทุกอย่าง แต่นั่นอาจทำให้หมดกำลังใจได้ง่าย ๆ และทำให้ท้อใจ

ดังนั้น ข้อมูลที่จะรวมไว้ในที่เก็บการทดสอบของคุณคืออะไร

เป็นข้อมูลเมตาทั้งหมดของแนวคิดการทดสอบ และควรติดตามอินพุตตามคำถามที่จำเป็นต้องถามเป็นหลัก ซึ่งเป็นมาตรฐานในหมวดหมู่:

• ประเภทการทดสอบ
• หน้า
• จุดสัมผัส
• ผู้ชม
• พื้นที่ผิวเติบโต

แต่ไม่ใช่มาตรฐานภายในหมวดหมู่เหล่านี้ เช่น ผู้ชมจะแตกต่างกันขึ้นอยู่กับบริษัท แต่บริษัททั้งหมดจะทดสอบกับกลุ่มผู้ชมที่แตกต่างกัน

– เบ็น ลาบาย

และลักษณะนี้เป็นอย่างไร?

มาสำรวจแต่ละหมวดหมู่กันเพื่อให้คุณได้ภาพที่ชัดเจนยิ่งขึ้น:

• ประเภทการทดสอบ

เป็นการทดสอบแบบไหน? การทดสอบ A/B? เอ็มวีที? การทดสอบ A/B/n?

• หน้า

ที่นี่คุณระบุหน้าหรือหน้าในไซต์ของคุณที่เกิดการทดสอบ มันเป็นหน้าแรกหรือไม่? หน้าผลิตภัณฑ์เฉพาะ? หน้าการกำหนดราคาแบรนด์ SaaS ของคุณ?

• จุดสัมผัส

จุดสัมผัสคือพื้นที่ในเส้นทางของลูกค้าที่พวกเขาโต้ตอบกับแบรนด์ของคุณ ซึ่งอาจเป็นโฆษณา แคตตาล็อกผลิตภัณฑ์ บล็อกโพสต์ อีเมลการตลาด แอปของคุณ ฯลฯ

• ผู้ชม

ใครคือกลุ่มเป้าหมายของคุณในการทดสอบ? คุณกำหนดเป้าหมายกลุ่มเฉพาะตามเกณฑ์ใด ๆ หรือไม่? ข้อมูลพฤติกรรม? เป้าหมาย? ที่มาของผู้เข้าชม? ตำแหน่งทางภูมิศาสตร์? หรือพวกเขาทั้งหมดถูกสุ่มเลือก?

• พื้นที่ผิวเติบโต

หมายถึงการโต้ตอบหรือคุณลักษณะที่สนับสนุนให้ผู้ใช้ติดอยู่กับไซต์ของคุณหรือเจาะลึกถึงความสัมพันธ์ของพวกเขากับแบรนด์ของคุณ ดังนั้นจึงเป็นเรื่องที่น่าสนใจที่ช่วยเพิ่มมูลค่าให้กับผู้เข้าชมแต่ละราย นี่อาจเป็นข้อเสนอทดลองใช้ฟรีหรือตัวอย่าง

เพื่อเพิ่มข้อมูลเมตาของคุณ คุณจะต้องรวม:

• วันที่
• URL/Regex
• การทำซ้ำในการทดสอบครั้งก่อน — ลิงก์ไปยังการทดสอบก่อนหน้าซึ่งเป็นพื้นฐานของการทดสอบที่คุณกำลังรายงาน

และคุณปิดผนึกสิ่งนี้ด้วยข้อมูลที่สร้างผลกระทบมากขึ้น รวม…

• ภาพหน้าจอของ A และ B
• แยกออกหรือไม่ (# ของการเปลี่ยนแปลง)
• % ผลกระทบพร้อมช่วงความเชื่อมั่น
• ประเภทเมตริก

– ยาคุบ ลิโนฟสกี

ยิ่งมากยิ่งดี แต่ให้มีความเกี่ยวข้องและมีประโยชน์

นี่เป็นอีกตัวอย่างหนึ่งจาก Max Bradley ของ Zendesk:

สำหรับรายงานการติดตามหรือพื้นที่เก็บข้อมูลพื้นฐาน รายงานของ Convert จะแสดงผู้ชนะและสิ่งที่คุณทดสอบด้วย

เคารพรูปแบบการเรียนรู้ที่แตกต่างกันในขณะที่รักษาข้อมูลไว้

คุณต้องดึงดูดวิธีต่างๆ ที่ผู้คนต้องการใช้ข้อมูลเมื่อจัดเก็บข้อมูลการทดลอง

มีบางสิ่งที่ต้องจำไว้เมื่อทำอย่างนั้น...

เราได้ลองหลายวิธีแล้ว ในฐานะเอเจนซี่ เรากำลังติดต่อกับผู้มีส่วนได้ส่วนเสียหลายรายจากธุรกิจต่างๆ ในเวลาใดก็ตาม ความท้าทายอยู่ในนั้น – ผู้คนรับความรู้และเรียนรู้อย่างแตกต่าง พวกเขาเป็นผู้เรียนภาพ การได้ยิน หรือการเคลื่อนไหว? พวกเขาอยู่ที่ไหนในคีย์ Myers-Briggs? วิธีสื่อสารกับผู้มีส่วนได้ส่วนเสียของคุณมีความสำคัญเกือบเท่ากับเนื้อหาที่คุณกำลังสื่อสาร จากประสบการณ์ของฉัน ฉันได้เรียนรู้ว่าคลังการเรียนรู้ควรเป็นสองสิ่งที่จะประสบความสำเร็จ:

• ธีมและบันทึกช่วยจำเพื่อให้กรองได้ง่าย
• รวบรัดสำหรับการเรียนรู้ที่สแกนได้

— เดวิด มันน์ไฮม์

คุณสามารถให้ข้อมูลเกี่ยวกับการทดสอบที่รายงานได้มากที่สุด และทำในรูปแบบต่างๆ นั่นเป็นเหตุผลที่คุณต้องการภาพหน้าจอ การบันทึกวิดีโอ และเรื่องราวเพื่อให้บริบทกับตัวเลขทั้งหมด

อย่าลืม ทำให้มันมีความเกี่ยวข้อง กระชับ และสามารถสแกน ได้

แท็กการทดสอบของคุณเพื่อเพิ่มการเรียนรู้สูงสุด

การติดแท็กการทดสอบของคุณช่วยให้เข้าถึงทุกสิ่งได้ง่าย

นอกจากนี้ยังช่วยให้คุณเข้าใจวัตถุประสงค์ของการทดสอบได้อย่างรวดเร็วอีกด้วย

หากที่เก็บของคุณเติบโตอย่างต่อเนื่อง ในวันหนึ่ง คุณจะมีการทดสอบนับพันรายการและผู้คนหลายร้อยคนใช้มันเพื่อปัดความคิด ดึงข้อมูลเชิงลึก และให้ข้อมูลการตัดสินใจ

การเรียนรู้จะมีประโยชน์มากขึ้นหากผู้คนสามารถเข้าใจตำแหน่งของการทดสอบแต่ละครั้งในสเปกตรัมโซลูชันขององค์กรของคุณ

วิธีการสื่อสารการเรียนรู้ของคุณให้เกิดผลสูงสุด

พื้นที่เก็บข้อมูลการเรียนรู้ของคุณจะเป็นประโยชน์ต่อโปรแกรมการทดลองของคุณเมื่อมีคนใช้งานจริงเท่านั้น

ดังนั้น นอกจากทำให้สามารถเข้าถึงได้แล้ว ให้นำเสนอต่อส่วนที่เหลือของทีมและองค์กรของคุณในแบบที่เหมาะสมและจุดประกายความสนใจในการทดลอง

แต่คุณจะทำอย่างไร? ตัวเลขเหล่านี้เป็นตัวเลขและคำศัพท์เฉพาะอุตสาหกรรมบางข้อที่อาจเข้าใจผิดได้ คุณจะทำให้ผู้คนจากหลากหลายสาขาวิชามาชื่นชมการเรียนรู้ที่คุณรวบรวมได้อย่างไร

การสื่อสารการทดสอบ A/B อาจเป็นเรื่องยาก แต่ถ้าคุณทำตามขั้นตอนเหล่านี้ คุณจะทำลายอุปสรรคเหล่านั้นและใช้ประโยชน์สูงสุดจากคลังการเรียนรู้ของคุณ

ทำให้เป็นนิสัย

อย่างแรกเลย ถ้าการทดลองเป็นแนวคิดต่างประเทศที่คุณอยู่ การสร้างนิสัยจากการเรียนรู้อาจใช้เวลาสักระยะ ดังนั้นจงแพ็คความอดทนกับคุณในการเดินทางครั้งนี้

การมอบหมายของคุณที่นี่คือการทำส่วนนี้ของกิจกรรมประจำสัปดาห์ตามปกติของคุณ อาจเป็นส่วนหนึ่งของแรงบันดาลใจในการระดมความคิดหรือเกมที่คุณเล่นเพื่อปิดการประชุม ตัวอย่างเช่น "การทดสอบใดชนะ" เวอร์ชันของคุณเอง

เป็นส่วนหนึ่งของภาพอันยิ่งใหญ่ของการสร้างวัฒนธรรมที่การทดลองเป็นบรรทัดฐาน...

สร้างนิสัยในการเรียนรู้ร่วมกับทีมอย่างสม่ำเสมอ สนุกสนาน และสร้างแรงบันดาลใจ ต้องเป็นส่วนหนึ่งของธุรกิจตามปกติ อย่างน้อยสัปดาห์ละครั้งควรมีการประชุมเพื่อทบทวนสมมติฐานและผลการทดสอบ ทุกการวิ่งควรมีการทดลองอย่างน้อย 1 หรือ 2 ครั้ง และทำให้การทดลองเป็นนิสัยที่สร้างวัฒนธรรมเชิงบวก

– Matthias Mandiau

นอกจากจะนำเสนอในการประชุมทีมแล้ว การทดสอบพื้นที่เก็บข้อมูลยังง่ายต่อการแชร์ในจดหมายข่าวการเรียนรู้อีกด้วย การมีนิสัยชอบเพิ่มพวกเขาที่นี่ทำให้การนำการทดลองไปใช้ทั่วทั้งไซต์ทำได้ง่ายขึ้นเช่นกัน

จงอ่อนน้อมถ่อมตนและโปร่งใสเพื่อสร้างความไว้วางใจ

มันอาจจะดูเจ๋งที่จะโน้มน้าวผู้คนว่าการทดลองมีคำตอบทั้งหมด แต่นั่นจะทำให้เข้าใจผิด ช่วยให้เพื่อนร่วมงานของคุณเข้าใจว่ามันทำงานอย่างไร ตัวเลขแสดงถึงอะไร และคุณมั่นใจแค่ไหนในข้อมูลเชิงลึกที่คุณวาด

อย่านำเสนอข้อมูลเชิงลึกราวกับว่ามาพร้อมกับความมั่นใจ 100% แทนที่จะแสดงให้พวกเขาเห็นว่านี่เป็นวิธีที่ดีที่สุดวิธีหนึ่งที่คุณสามารถตัดสินใจได้ แทนที่จะแสดง "ความรู้สึกนึกคิด" และแนวทางปฏิบัติที่ดีที่สุด

การทำสิ่งตรงกันข้ามจะทำให้พวกเขาสูญเสียความไว้วางใจในคลังการเรียนรู้ที่คุณสร้างขึ้นและอาจถูกละทิ้งเพื่อรวบรวมฝุ่น

ต่อไปนี้เป็นเคล็ดลับเพิ่มเติมจาก Ben Labay ของ Speero เกี่ยวกับวิธีการสื่อสารผลลัพธ์:

อย่าซ่อนการทดสอบที่หายไป ให้ใช้สิ่งนั้นเป็นโอกาสในการแสดงประโยชน์สองด้านของการทดสอบแทน

หากคุณชนะ คุณก็จะได้รับข้อมูลเชิงลึกว่าสิ่งใดใช้ได้ผล หากแพ้ คุณจะได้เรียนรู้ว่าอะไรไม่ได้ผล คุณจึงหลีกเลี่ยงการเปลี่ยนแปลงที่ส่งผลเสียต่อเมตริกหลัก

ในทั้งสองกรณี คุณได้เรียนรู้เกี่ยวกับสิ่งที่สามารถปรับปรุงได้

เมื่อคุณนำเสนอ ให้จัดโครงสร้างเป็นเรื่องราวที่แสดงการใช้งานข้อมูลเชิงลึกในโลกแห่งความเป็นจริง และเชิญผู้มีส่วนได้ส่วนเสียให้มีส่วนร่วมในการเขียนเรื่องราว เช่นเดียวกับที่ Max ทำ:

เรานำเสนอการเรียนรู้ล่าสุดเป็นรายปักษ์ต่อทีมในวงกว้างของเราทุก 2 สัปดาห์ และนำเสนอต่อธุรกิจในวงกว้างทุกเดือนเป็นประจำทุกเดือน เราพยายามที่จะโปร่งใสที่สุดเท่าที่จะทำได้โดยนำเสนอการทดสอบที่แพ้มากเท่ากับการทดสอบที่ชนะ นอกจากนี้ เราขอให้ผู้ตรวจสอบทุกคนส่งความคิดหรือถามคำถามที่พวกเขามีในช่อง Slack โดยเฉพาะของเรา หากเป็นไปได้ เรายังต้องการแสดงให้เห็นถึงประโยชน์ในแง่จริงนอกเหนือจากเปอร์เซ็นต์ที่เพิ่มขึ้น ซึ่งจะทำให้ผู้อ่านได้รับผลกระทบมากขึ้น

– แม็กซ์ แบรดลีย์

อย่าปิดกั้นการเรียนรู้ ให้ทุกคนมีส่วนร่วม

การทดลองไม่ได้มีไว้สำหรับทีมการตลาด การเพิ่มประสิทธิภาพ การผลิต และ/หรือการเติบโตเท่านั้น การเป็นองค์กรที่ขับเคลื่อนด้วยข้อมูลหมายถึงการทำให้กระบวนการตัดสินใจจำนวนมากอิ่มตัวด้วยข้อมูลเชิงลึกที่ดึงมาจากการทดสอบที่ทำได้ดี

และพื้นที่เก็บข้อมูลการเรียนรู้ของคุณตั้งอยู่ตรงกลางของภารกิจทั้งหมด

ดังนั้นให้ทุกคนขึ้นเครื่อง

ใช่ ผู้คนจะมีประสบการณ์ในระดับต่างๆ ในสาขานี้ แต่อย่าปล่อยให้สิ่งนั้นส่งผลกระทบต่อโปรแกรม ตราบใดที่แต่ละทีมมีคนหรือผู้ที่มีประสบการณ์ในการทดลองที่ลึกซึ้งกว่านั้น คุณก็จะมีบางสิ่งที่ดำเนินไป

นอกจากนี้ยังสนับสนุนให้มีบางคนในทีมที่คุ้นเคยกับการทดลองมากกว่าและบางคนที่มีประสบการณ์น้อยกว่า การมีอย่างน้อย 2 หรือ 3 คนในทีมที่มีประสบการณ์ในการทดลองทำให้เกิดความแตกต่าง อย่างมาก

– Matthias Mandiau

อิทธิพลแพร่กระจายตามธรรมชาติด้วยวิธีนี้

ลงทุนในคู่หูใหม่ & การผสมข้ามพันธุ์ของความคิด

บางครั้งมุมมองที่แตกต่างจะทำให้คุณมีความคิดที่คุณไม่ได้นึกถึง ดังนั้น อย่าปล่อยให้การเรียนรู้จากการทดลองของคุณอยู่ในฟองสบู่

ยินดีที่จะแบ่งปันกับผู้เชี่ยวชาญคนอื่น ๆ ในสาขาของคุณและดูว่าคุณสามารถเรียนรู้อะไรจากคำติชมของพวกเขา

อาจมีบางอย่างที่ใช้ไม่ได้กับกลุ่มลูกค้ากลุ่มหนึ่ง แต่มีเวอร์ชันที่แตกต่างออกไปเล็กน้อยซึ่งสามารถทำงานได้สำหรับกลุ่มอื่น

หรือบางทีคุณอาจสะดุดกับบางสิ่งที่ทุกคนกำลังโต้เถียงกันอยู่ และตอนนี้คุณสามารถเข้าร่วมการสนทนาเพื่อเรียนรู้เพิ่มเติมได้หรือไม่

คุณจะตื่นเต้นกับสิ่งที่คุณค้นพบได้เมื่อคุณมีส่วนร่วมกับผู้เชี่ยวชาญ CRO คนอื่นๆ แม้แต่การฝึกสอนก็สามารถเป็นส่วนหนึ่งของกลยุทธ์ของคุณเพื่อให้ได้มุมมองที่ต่างออกไป

การฝึกสอน – www.goodui.org/coaching – การโทรหนึ่งหรือสองครั้งต่อเดือนกับทีมทดลองเพื่อทบทวนแผนการทดสอบ ให้ข้อเสนอแนะเกี่ยวกับการออกแบบการทดสอบ และนำเสนอสิ่งที่ได้ผลสำหรับผู้อื่น
– ยาคุบ ลิโนฟสกี

ทำให้การเรียนรู้สามารถแบ่งปันได้

บางคนใช้ Notion บางคนใช้ Google Slides และผู้เชี่ยวชาญ CRO บางคนแนะนำให้ใช้บอร์ด Miro แต่จุดประสงค์ก็เหมือนกัน...

การสื่อสารข้อมูลการทดสอบและข้อมูลเชิงลึกกับส่วนที่เหลือของทีม (หรือผู้มีส่วนได้ส่วนเสียอื่นๆ) เพื่อให้แน่ใจว่าการเรียนรู้จะเข้าถึงได้เพียงพอ

เมื่อคุณใช้เครื่องมือออนไลน์เหล่านั้น เช่น Notion, Google Slides, Miro และเครื่องมืออื่นๆ ที่คุณสนใจสำหรับทีมของคุณ คุณจะสามารถเข้าถึงที่เก็บได้อย่างง่ายดายจากอุปกรณ์ทุกชนิดและจากทุกที่

นี่เป็นสิ่งที่ดีสำหรับทีมที่อยู่ห่างไกลและเพื่อให้ได้คู่หูใหม่ที่เราพูดถึงก่อนหน้านี้

พกพาสะดวกและแชร์ได้ง่าย ตอนนี้คุณกำลังให้ปีกการเรียนรู้การทดลองของคุณอย่างแท้จริงเพื่อสร้างผลกระทบอย่างเต็มที่

ใช้ข้อมูลเชิงลึกเพื่อวางแผนการทดสอบ

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

เลยมาทำลายมันให้หมด…

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

คุณสมบัติของมันรวมถึง:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

ทำไม

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

เริ่มพื้นที่เก็บข้อมูลตั้งแต่วันที่ 1 เริ่มให้ความรู้แก่ผู้มีส่วนได้ส่วนเสียว่าการทดลองเกี่ยวกับการตรวจสอบความถูกต้องและการเรียนรู้ ไม่จำเป็นต้องเป็นเงิน ยิ่งคุณแสดงให้เห็นว่า “เราเรียนรู้ X จากการทดสอบนี้” หรือ “Y จากการทดสอบนั้น” มากเท่าใด คุณและผู้มีส่วนได้ส่วนเสียของคุณก็จะมีความสอดคล้องกันมากขึ้นเท่านั้น

— เดวิด มันน์ไฮม์

3. สร้างบายอินด้วยหลักฐาน

หากไม่มีใครหรือเพียงไม่กี่คนบันทึกการทดสอบและแบ่งปันข้อมูลเชิงลึกข้ามแผนก คุณจะต้องแสดงให้เห็นว่าเหตุใดทุกคนจึงต้องเข้าร่วมความพยายาม

การแสดงให้เห็นถึงประโยชน์ของการซื้อคืนเพื่อการเรียนรู้ที่สนับสนุน C-suites ได้สำเร็จเป็นเพียงขั้นตอนแรกเท่านั้น สิ่งต่อไปที่คุณต้องทำคือสื่อสารผลประโยชน์เหล่านี้กับผู้มีส่วนได้ส่วนเสียอื่นๆ ด้วย

Matthias แบ่งปันวิธีที่ยอดเยี่ยมในเรื่องนี้:

เริ่มต้นจากขนาดเล็ก เพรียว และคล่องตัว เรียกใช้การทดลอง รวบรวมการเรียนรู้ และใช้ความพยายามอย่างมากในการจัดทำเอกสาร ทำรายงานที่ดีหลังการทดลองทุกครั้งและมีการส่งบ่อยครั้ง (รายเดือน รายไตรมาส รายปี) มุ่งเน้นไปที่การทดลองปลาใหญ่ที่มีผลกระทบเชิงบวกและการเรียนรู้ที่แข็งแกร่งในตอนแรก ผลลัพธ์ที่เป็นบวกกระตุ้นให้ผู้คนเริ่มต้นใช้งาน

เมื่อคุณได้รวบรวมการเรียนรู้ที่ส่งผลกระทบอย่างแรงสองอย่างแล้ว การแสดงผลลัพธ์เชิงลบและอธิบายว่าจะเกิดผลกระทบด้านลบอย่างไรก็อาจเป็นประโยชน์หากเราใช้งานสิ่งนี้โดยไม่ทำการทดสอบ จากนั้นอธิบายว่าการเรียนรู้เหล่านี้มีความสำคัญต่อธุรกิจและการตัดสินใจผลิตภัณฑ์ที่ดีขึ้นเพียงใด

4. เมื่อใช้งานได้แล้ว ให้เริ่มมองหาเครื่องมือเฉพาะ (เรียนรู้และลงมือทำก่อน ซื้อภายหลัง)

เมื่อคุณตั้งค่า repo ง่ายๆ บน Google สไลด์หรือแพลตฟอร์มฟรีใดๆ ที่คุณเลือกและทำตามขั้นตอนที่ 2 และ 3 ให้เสร็จสิ้น คุณจะสามารถลงทุนเงินในเครื่องมือได้

อย่ากระโดดปืนและปั๊มเงินเข้าไปในคลังการเรียนรู้จนกว่าคุณจะแน่ใจว่ามี ROI ที่กระตุ้นให้เกิดประโยชน์

บทสรุป

หากมีประเด็นสำคัญประการหนึ่งที่คุณได้รับจากบทความนี้ก็คือ คุณควรเริ่มมองว่าการเรียนรู้จากการทดลองเป็นทรัพย์สินของบริษัท สินทรัพย์นี้จะช่วยคุณประหยัดเวลาและเงิน และจะขับเคลื่อนโปรแกรมเพิ่มประสิทธิภาพที่ขับเคลื่อนด้วยข้อมูลมากขึ้นในองค์กรของคุณ

อย่าเพียงแค่ทำการทดสอบ ชนะหรือล้มเหลว แล้วรีบไปสู่แนวคิดต่อไปของคุณ การใช้เวลาในการสื่อสารและจัดโครงสร้างสิ่งที่คุณค้นพบในคลังการเรียนรู้ของคุณจะช่วยสร้างโครงสร้างให้กับเส้นทางการทดลองของคุณ

ยิ่งไปกว่านั้น ยังเป็นวิธีที่ราบรื่นที่สุดในการส่งกระบอง ประเมินผลกระทบของการทดสอบ และส่งเสริมวัฒนธรรมการทดลองที่น่าตื่นเต้น

และคุณจะเริ่มรับสิ่งเหล่านี้ได้อย่างไร

ทำตามที่ผู้เชี่ยวชาญบอก: เริ่มง่ายๆ