أنت بحاجة إلى مستودع تعليمي لاختبار A / B لإجراء تجارب مستنيرة بالخبرة (يقول الخبراء)

هل يشعر برنامج الاختبار الخاص بك أنه يفتقر إلى البنية أو التأثير؟

هل تجري اختبارات بدون خطة للهجوم ولست متأكدًا مما يجب تحديده حسب الأولوية أو مكان العمل بعد ذلك؟

ربما تضيع في محاولة تذكر الاختبارات التي جربتها من قبل ، وما الذي نجح ، وما الذي فشل؟

أو ربما تكون قد انضممت للتو إلى برنامج موجود وليس لديك فكرة عما قاموا بتشغيله بالفعل ، أو كيف كان أدائه ، أو من أين تبدأ؟

قد يكون من السهل أن تضيع في الأعشاب الضارة عند اختبار A / B ولكن لحسن الحظ ، هناك طريقة بسيطة لحل كل هذا.

لقد أجرينا مؤخرًا مقابلات مع 5 من منظمات CRO المهنية وكان هناك شيء واحد واضح على الفور: إذا كنت ترغب في إجراء تجارب مستنيرة بالخبرة وتنمية ثقافة الاختبار الخاصة بك ، فأنت بحاجة إلى مستودع رؤى مركزي.

ما هو مستودع التعلم؟

ببساطة ، إنه موقع فريد لتخزين جميع المعلومات حول الاختبارات السابقة التي أجريتها.

• الصفحة الهدف ،
• الفرضية وما نفذته ،
• عناصر الاختبار والمتغيرات ،
• النتائج،
• تأثيره على المقاييس المهمة ، إلخ.

يمكن أن يكون أساسيًا مثل مجلد على جهاز كمبيوتر محمول أو مشروع Asana ، ولكن مستودع التعلم هو أكثر بكثير من مجرد نظام ملفات مجيد ...

يسمح "مستودع التعلم التجريبي" للأعمال التجارية وأصحاب المصلحة على نطاق أوسع بمعرفة التجارب التي تم إجراؤها حتى الآن وما هي الدروس المكتسبة. يوفر المستودع للقارئ القدرة على استهلاك المحتوى في الوقت المناسب وبسرعة وهو أمر مهم في الأعمال التجارية العالمية.

- ماكس برادلي ، مدير تجربة الويب في Zendesk

هذا يعني سهولة الوصول إلى فريقك بأكمله لجميع اختباراتك السابقة ، والتي يمكن أن تساعدك في الواقع على بناء ثقافة الاختبار هذه.

كيف؟

كلما زاد عدد الأشخاص المشاركين في الاختبار ورؤية الاختبارات قيد التشغيل ، زادت سرعة تبنيهم للعقلية.

من خلال رؤية الاختبارات التي تم إجراؤها بالفعل ونتائجها ، يمكن أن تثير أفكارًا وزوايا جديدة لأي شخص لديه إمكانية الوصول إلى هذه المعلومات. هذا يمكن أن يؤدي بعد ذلك إلى aha! لحظة في مناطق مختلفة من الشركة خارج فريق الاختبار ، والتي يمكنهم بعد ذلك اختبارها بأنفسهم أو تقديمها لفريق الاختبار.

على سبيل المثال ، إذا حدد قسم الإعلانات المدفوعة اللغة الأكثر فاعلية التي حصلت على زيادة في اختبارات الصفحة ، فقد يرغبون في تجربة ذلك في نسخة إعلانهم أو البحث المدفوع أو وسائل التواصل الاجتماعي ، لأنه من الواضح أنها تلقى صدى لدى الجمهور.

لا يؤدي الوصول إلى الاختبارات السابقة فقط إلى فتح أفكار جديدة مع أعضاء الفريق الخارجيين ، ولكنه يقلل أيضًا من الوقت الذي يقضيه في محاولة العثور على معلومات مهمة.

هناك ما هو أكثر من مستودع التعلم من مجرد الوصول على مستوى الشركة وتوفير الوقت على الرغم من:

التعلم هو المبدأ الأساسي لبناء منتجات هادفة وفعالة ، والطريقة الوحيدة لجمع ما تعلموه ذات مغزى والتي تم التحقق من صحتها هي من خلال إجراء التجارب وجمع كل تلك الدروس المستفادة في مستودع مركزي. يمكن استخدام الدروس المستفادة في هذا المستودع في العديد من التمارين مثل: أشجار الفرص / الحلول ، حيث تعمل على تحقيق هدف مستخدم معين من خلال العديد من أساليب الحلول المختلفة.

المفتاح لإجراء تجارب مستنيرة بالخبرة هو أن يكون لديك مستودع مركزي يمكن الوصول إليه ومنظم وقابل للبحث ويتم تحديثه / إدارته بشكل صحيح. يمكن أن يكون للقيام بذلك بطريقة ناجحة تأثيرًا أسيًا على إنتاجية وجودة مخرجات برنامج التجريب الكلي .

- ماتياس مانديو ، أخصائي التجارب وتحليل البيانات في H&M Group

كما يقول ماتياس ، كلما زاد فهمنا لجمهورنا ، كان بإمكاننا تقديم المنتجات والخدمات لهم بشكل أفضل.

قد لا نحصل على البصيرة على الفور ، ولكن يمكن أن تضعنا على الطريق الصحيح ، ومن هناك يمكننا تحسين أكثر وتقديم أفضل تجربة للمنتج والمستخدم.

لا تزال أفضل؟

يمكن أن يساعدنا الاستمرار في التعلم وإدارة نتائج اختباراتنا في تجنب الأخطاء المكلفة ...

لقد أجريت تجارب ، والآن تجنب هذه الأخطاء

يعد وجود مكان لتخزين البيانات السابقة والوصول إليها أمرًا رائعًا ، ولكنها ليست الفائدة الوحيدة.

في الواقع ، خلال المقابلات التي أجريناها ، وجدنا عددًا من أخطاء برنامج الاختبار الشائعة التي تحدثنا عنها مرارًا وتكرارًا - تم تصحيحها جميعها تقريبًا من خلال وجود مستودع تعليمي.

عدم احترام بيانات الشركة "المكلفة"

واحدة من أكثر الحجج إقناعًا لمستودع التعلم هي الحقيقة البسيطة المتمثلة في أن جميع البيانات من الاختبارات هي ملك للشركة.

أنت تقضي وقتًا ومالًا ثمينًا في جمع تلك البيانات. آخر شيء تريد القيام به هو عدم تخزينه أو استخدامه ، أو الأسوأ من ذلك ، عدم الرجوع إليه لمساعدتك في التخطيط لاختبارات جديدة والتعلم من الاختبارات السابقة:

لماذا تستثمر الكثير من المال في برنامج تجريبي في حين أن الناتج الرئيسي منه (التعلم) لا يتم الاهتمام به؟

النظرة العامة الجيدة هي المفتاح لفهم ما تم العمل عليه بالفعل ، وما الذي يجب أن يكون التركيز الآن ، وما الذي يجب العمل عليه قريبًا. وبهذه الطريقة أيضًا لا تعتمد المعرفة على الأشخاص ، لأن الناس يأتون ويذهبون في الشركات.

علاوة على ذلك ، فإنه يسمح بمشاركة أفضل للمعرفة ، وإعداد أفضل ، وإعداد حالات عمل أفضل ، وبحث أفضل ...

- ماتياس مانديو

يمكن أن يساعدك الحصول على عرض على ارتفاع ميل لبرنامج الاختبار الخاص بك ليس فقط على الاختبار بشكل أفضل ولكن أيضًا في تدريب الموظفين الجدد أو حتى قادة الفريق. (وتجاوز مشكلة فقدان جميع الأفكار عندما يغادر مدير CRO الشركة).

كيف؟

حسنًا ، الآن يمكن للأعضاء الجدد معرفة ما تم تجربته من قبل ، وما الذي نجح ، وربما ما الذي كان لديه القدرة على العمل ولكن لم يتم تنفيذه بشكل صحيح أو يمكن تكراره أكثر ...

يفتقد إلى تطوير "غريزة القناة الهضمية" على مستوى الشركة والتي هي الخبرة (والبيانات) واعية

لا حرج في استخدام حدسك للتوصل إلى أفكار اختبارية. في بعض الأحيان يكون لديك ببساطة حدس من البيانات أو الخبرات التي يمكن أن تساعدك في تكوين فرضية والحصول على اختبار أولي مكتمل.

ومع ذلك ، عليك الانتباه إلى الاعتماد دائمًا على غريزة القناة الهضمية هذه طوال الوقت ، وعدم الالتفات إلى البحث والبيانات بدلاً من ذلك.

هناك شيء واحد أقوله لفريقي (في Bouqs) هو ... عندما لا يكون لديك بيانات (التعلم المسجل / القطع الأثرية من الاختبار) ، عليك اتخاذ قرارات بناءً على حدسك أو غريزة أصحاب المصلحة. تقوم قاعدة بيانات التعلم بإنشاء ملف
بالنسبة إلينا جميعًا ، يمكننا استخدامه للتحقق من القناة الهضمية ، ولكن ليس فقط اختبارنا الخاص أو المتحيز.

- ناتاليا كونتريراس براون ، نائب رئيس إدارة المنتجات في بوك

إن أكبر الشركات التي لديها برامج CRO الأكثر نضجًا تعتمد جميعها تقريبًا على البيانات. إنهم يتخذون خيارات بناءً على ما تخبرهم البيانات أنه الأكثر أهمية ، وهذا هو السبب في كثير من الأحيان ليصبحوا رواد السوق.

لا تصبح مذنباً بالاختبار على اختيارات وآراء الحدس فقط ، ولا تركز على المقاييس وحدها. خذ الوقت الكافي للعثور على الرؤية السياقية من كل نتيجة اختبار. اتبع المعلومات ، والأهم من ذلك ، تتبع وحفظ ما حدث ولماذا تعتقد أنه حدث ، حتى لا ترتكب خطأ نسيان ما جربته ولماذا نجح.

تكرار الاختبارات التي تم إجراؤها من قبل

لقد ألمحنا إلى هذا بالفعل ، ولكن بدون تتبع ما تفعله ، يصبح من السهل جدًا إعادة تشغيل فكرة الاختبار التي جربتها بالفعل ، أو تفويت فكرة الاختبار لأنك تعتقد أنه تم تشغيلها بالفعل.

يساعد مستودع التعلم على تجنب إجراء التجارب مرة أخرى التي تم إجراؤها مسبقًا. كما أنه يقلل الوقت المستغرق في الإجابة على الاستفسارات حول النتائج والمعرفة من أصحاب المصلحة لفريق التجربة.

- ماكس برادلي

كن لطيفًا مع نفسك وفريقك المستقبلي واحتفظ بسجل لما كنت تديره وكل تفاصيل كل اختبار.

قد ترغب في تشغيل شيء مشابه ولكن بدون تفاصيل ما جربته من قبل ، قد يكون من السهل تفويت أو قضاء 30 يومًا أخرى في الحصول على البيانات التي كان يجب عليك حفظها.

ضعف الاتصال أو عدم الوصول إلى المعلومات

أحد أكبر الاختلافات في فرق CRO الناضجة هو قدرتها على التواصل أو الوصول إلى المعلومات بسرعة وسهولة. ليس فقط من حيث سهولة الوصول ، ولكن في مدى كفاءة توفير المعلومات الصحيحة.

يمكن أن يؤدي وجود مستودع تعليمي جيد التوثيق والمنظم إلى تقليل حواجز الاتصال وحتى المساعدة في عدم تهميش سير عمل الاختبار أثناء البحث عن المعلومات وإيقاف الأشياء مؤقتًا.

(مستودع التجارب) هو نظام إدارة المعرفة الذي يحتفظ بجميع البيانات بدرجة مفصلة ، ويمكن الوصول إليه من قبل الفريق بشكل عام ، ولكن الأهم من ذلك أنه يسهل عمليات الاتصال (طبقة comms) ليتم إنتاجها للأشخاص المناسبين بالتنسيق الصحيح في الوقت المناسب.

إنها "طبقة البيانات" في سير عمل الاختبار ، كما هو موضح هنا:

- بن لاباي ، العضو المنتدب / CRO & Experimentation @ Speero by CXL

ترك التعلم (والمال) على الطاولة

لا تنس أن غالبية الاختبارات تفشل. فقط من خلال التكرار والتعلم من الاختبارات السابقة يمكنك تحسين والحصول على تلك المكاسب التي تؤثر على عائد الاستثمار.

بدون تتبع ما قمت بتشغيله وأين كنت ، يصبح من الصعب جدًا المضي قدمًا ورؤية التقدم ، أو حتى الشعور بالثقة في عملية الاختبار الخاصة بك.

قال Stefan Thomke إنه جيد "على الرغم من غمر المعلومات القادمة من كل اتجاه ، يعمل مديرو اليوم في عالم غير مؤكد حيث يفتقرون إلى البيانات الصحيحة لإبلاغ القرارات الاستراتيجية والتكتيكية". يساعدنا التحقق من صحة التجارب والتحقق من الصحة على التعلم . من الأهمية بمكان تجميع هذه المعلومات المكتسبة في مستودع يسهل الوصول إليه لمراجعة تلك الدروس المستفادة من أجل اتخاذ قرارات مستقبلية.

- ديفيد مانهايم ، نائب رئيس CRO ، BrainLabs

إليك تمثيل مرئي للعملية المثالية من روبن دي بوير:

التعلم والتحسين من كل اختبار تقوم بإجرائه أمر مهم للغاية. لا يقتصر الأمر على ارتباطه مباشرة بنجاح اختباراتك المستقبلية ، بل يمكن أن يساعدك أيضًا في توسيع نطاق المكاسب الحالية في مناطق أخرى أو حتى مواقع أخرى.

تقريبًا كل تجربة أخرى نجريها في H & M في فريق المنتج لدينا مدعومة بتعلم موثق لتجربة سابقة أو منهجية بحث أخرى.

- ماتياس مانديو

تظهر عادة التعلم والتكرار هذه مرارًا وتكرارًا مع كل من قابلناهم تقريبًا.

في Brainlabs ، كان حوالي 40-50٪ من تجاربنا على Flannels ، وهو متجر ملابس رجالي معروف ، عبارة عن تكرارات لبعضها البعض. أظهر هذا قوة التعلم في تجربة واحدة وكيف يمكن أن يتطور إلى شيء آخر ؛ لأننا نتعلم دائمًا من كيفية تأثير التحفيز العملي على متغير .

- ديفيد مانهايم

دعنا نعطيك مثالا آخر.

لنفترض أن لديك صفحة التقاط عميل متوقع وأن التخطيط الذي تستخدمه يعمل جيدًا لصفحة واحدة. يمكنك بعد ذلك تكييفه مع الآخرين على موقعك لمعرفة ما إذا كان يزيد من الرفع هناك أيضًا.

ماذا لو كنت وكالة لها عملاء متعددين في مجالات متشابهة؟

يمكن أن تؤدي الأفكار والمكاسب من شركة واحدة إلى أفكار وتصميمات قد تعمل مع عملائك الآخرين أيضًا ...

ما نجح مرة واحدة ، لديه فرصة جيدة لعدم استغلاله بالكامل حتى الآن:

• قد يعمل مرة أخرى بكثافة أكبر (لنفس العميل)
• قد يعمل مرة أخرى في مكان آخر (لنفس العميل)
• قد يعمل مرة أخرى لشخص مختلف تمامًا

بمعنى آخر ، تتمتع المكاسب السابقة بإمكانيات تنبؤية يمكنها تسريع عملية التحسين (المزيد من المكاسب ، واحتمال أكبر للنجاح ، وحجم أكبر للتأثيرات).

- جاكوب لينوسكي ، GOODUI.org

قامت وكالة التنقيط بهذا الأمر بالضبط مع 2 من عملائها.

لقد أخذوا تصميمات تخطيط الصفحة الفائزة من أحد العملاء ، ثم اختبروها على عميل آخر لزيادة التحويلات بشكل فوري.

GoodUI فعلت شيئًا مشابهًا. لقد أخذوا أفكارًا ومعلومات اختبارًا فائزة من أحد العملاء واستخدموها كأساس لاختبار صفحات أخرى على الموقع.

أدى هذا إلى زيادة عدد التحويلات لهم بنسبة 42٪!

ثم أخذوها خطوة إلى الأمام.

بدلاً من مجرد تنفيذ التصميمات الفائزة لعميل واحد ، قاموا بإجراء دراسة حالة لمعرفة ما إذا كان بإمكانك التنبؤ بالاختبارات الفائزة بناءً على الحملات السابقة عبر مواقع ويب متعددة.

النظرية هي أن بعض تصميمات UX قد تعمل في صناعات أخرى.

ولذلك أجروا 51 اختبارًا باستخدام تخطيطات التصميم الفائزة سابقًا وحققوا معدل نجاح بنسبة 71٪ عند استخدام الفائزين السابقين للمساعدة في تصميم اختبارات جديدة على مواقع أخرى.

رائع ، أليس كذلك؟

حسنًا ، إليك سبب آخر يجعل مستودع التعلم مفيدًا للغاية ولهذا السبب ينظر المختبرين الجيدين إلى الفائزين السابقين.

إذا فكرت في الأمر ، فإن GoodUI هو في الأساس نوع من مستودع التعلم ، حيث إنه قاعدة بيانات للاختبارات السابقة والفائزين عبر مواقع وصناعات متعددة.

الشيء هو أنهم غالبًا ما يرون تصميمات معاد استخدامها على مواقع أخرى ويلاحظون أن أنماطًا معينة ستوفر رفعًا. ربما أجرى شخص آخر الاختبار ولكنه نجح ، وما إلى ذلك.

نظرًا لكونها ملفات تعريف ارتباط ذكية ، تستخدم GoodUI هذه الأنماط المعينة كمصدر إلهام للاختبارات لتشغيلها للعملاء الجدد ...

وهذا منطقي ، أليس كذلك؟ بمجرد إصلاح المشكلات الفنية واتخاذ قرار بشأن صفحة للاختبار ، لا يضر النظر إلى عناصر الاختبار السابقة على صفحات مماثلة وما الذي نجح.

يمكنك استخدام مواقع أخرى للإلهام عند البدء ، لكن يتفق جميع الخبراء. تحتاج إلى البدء في بناء مستودعك الخاص بأسرع ما يمكن.

استثمر في مستودع التجارب

قال جاكوب لينوسكي على LinkedIn إنه إذا نظرت إلى مهن مثل الأطباء والمهندسين والرياضيين والجيش ، فستلاحظ أن معظم نجاحاتهم ونموهم مبني على الدروس المكتسبة من التجارب السابقة.

بهذه الصورة الذهنية ، يمكنك تخيل مدى السرعة التي يمكن أن ينمو بها مجال CRO ككل عندما لا تضطر التجارب دائمًا إلى البدء من المستوى 0. ولكن بدون مستودع تعليمي ، هذا هو الحال تمامًا.

والعديد من فرق CRO الداخلية مذنبون بهذا.

إذا قمت بتقريب هذه الفكرة إلى المنزل ، فمن الواضح كيف أن البناء على ما تعرفه بالفعل هو وسيلة قوية لمضاعفة جهود برنامج التجربة الخاص بك.

المستودع = فرصة أكبر لنجاح التجربة

فقط عندما يكون لديك عقلية اختبارات التعلم (والاختبارات السابقة) ، فإنك تقدر حقًا ما تقدمه التجربة ، أي فكرة عما ينجح وما لا ينجح ، في ضوء السياق والظروف.

20 "قرارًا جيدًا" في UX و UI و Product و Marketing (بفضل التجربة) يمكن أن يساعد في مرونة عضلات اتخاذ القرار وشحذ الغريزة. كلما رأيت آرائك يتم إسقاطها أو التحقق من صحتها ، تحتاج إلى المزيد من البوصلة لمعرفة ما يصلح وما يحتاجه جمهورك.

أولئك الذين يختبرون من أجل معدلات التحويل تفوتهم هذه الصورة الكبيرة. يتعلق الأمر بمعرفة ما يحتاجه جمهورك ، وليس أن تكون على حق.

دعنا نوضح لك كيف:

كيفية بناء مستودع التعلم الخاص بك

يهدف مستودع التعلم إلى التخلص من صوامع البيانات ، وتعزيز التعاون ، وتقوية الاتصال.

إذا لم يتم تنظيم متطلباتك بشكل صحيح ، فسيكون من الصعب للغاية تلبية تلك المتطلبات الأساسية. لكن الشيء في هيكلة مستودع التعلم الخاص بك هو أن هناك خيارات. يعملون بشكل مختلف لمنظمات مختلفة.

هذه ليست مشكلة لأننا سنصف لك النماذج الثلاثة ، وبعد ذلك يمكنك تصور ما يتماشى تمامًا مع فريقك أو إدارتك أو مؤسستك. والأفضل من ذلك ، يوصي الخبراء بنموذج واحد محدد.

يبدو أن هناك فائزًا من حيث هيكل فريق التجريب: مركز التميز.

1. يمكّن مركز التميز (CoE) فرق التجريب الخاصة بالقسم ويزودها بالمعدات

في هذا النموذج ، يكون فريق التجريب هو مركز التميز لبرنامج التجارب الخاص بالمنظمة بأكملها.

لذلك ، فهم نوعًا ما بمثابة بواب لأي شخص في الأقسام الأخرى يريد إجراء التجارب. تذهب من خلالهم ويساعدون في إعدادها.

ثم يشرفون على سلامة هذه التجارب ويحافظون على توافق كل شيء مع أهداف التجريب الواسعة للمؤسسة.

ستؤدي الهيكلة بهذه الطريقة اليوم إلى إزالة مشكلات downline غدًا. نظرًا لأن كل شيء يتم الاحتفاظ به على المسار نفسه ، فمن السهل مراقبته وبناء مستودع تعليمي بهذه الطريقة يسهل تنسيقه.

التحدي الرئيسي هنا هو أنه لن يكون متاحًا مثل النموذج اللامركزي.

2. تنتشر الوحدات اللامركزية عبر الإدارات وتُشرك الجميع

الوحدات اللامركزية موجودة في أقسام مختلفة وتجري الاختبارات الفعلية. هذه إستراتيجية رائعة لأنهم يتمتعون بأكبر قدر من المعرفة حول حلقات ومقاييس النمو الخاصة بهم ، لذا فهم في أفضل وضع لتصميم وتنفيذ تجارب عالية التأثير.

في هذا النموذج ، يمكن للجميع إجراء الاختبارات - بغض النظر عن قسمهم ومستوى خبرتهم بالتجربة. عندما يقترن بـ CoE ، فإنه يجذب بعض المعجبين ...

أنا من أشد المعجبين بالتجربة اللامركزية ، حيث أعمل جنبًا إلى جنب مع مركز امتياز لمراقبة الجودة والتبشير باختبار AB. من واقع خبرتي ، تعمل هذه الهياكل بشكل أفضل مع الثقافات التي تتبنى حقًا قوة التجريب. فيما يتعلق بمستودع التعلم ، يجب أن يحذو هذا حذوه ؛ يجب تمكين أعضاء الفريق لإجراء التجارب وإبراز الدروس المستفادة من ثمار عملهم .

- ديفيد مانهايم

وبالتالي فإن مسؤولية الحفاظ على مستودع التعلم تحذو حذوها أيضًا.

3. يديرها شخص واحد لجمع الدروس التجريبية والمحافظة عليها

ومع ذلك ، على عكس نموذج CoE وحده ، فإن تنسيق مستودع التعلم للنموذج اللامركزي أصعب.

يساعد في الحصول على دور معين يكون مسؤولاً عن توثيق التعلم والحفاظ عليه. وهناك شيء مفيد حول هذا:

يُدار من قبل مدير البرنامج / المشروع (تتبع المسار) واستراتيجي الاختبار الأساسي (الذي يُدخل "القصص") ، ولكن إذا تم إجراؤه بشكل صحيح ، فيمكن أن يكون له مدخلات في جميع المراحل ، حيث تأتي المدخلات كمدخلات نموذج مثل نماذج المشكلة ، والجديد متتبعات الحملات ، أفكار حلول اختبار جديدة ، إلخ .

- بن لاباي ، العضو المنتدب / CRO & Experimentation @ Speero by CXL

ماتياس مانديو يتفق مع بن.

أفضل الهجين بين المركزية / اللامركزية:

يجب أن يكون المستودع دائمًا متاحًا للوصول (السحابة).

يجب أن تكون قادرًا على الجمع بين منهجيات البحث المختلفة لإنشاء فرضيات قوية.

يجب أن يكون إعداد وإدارة المستودع والملكية مع فريق / مدير واحد (مركزي). من الجيد متابعة أداء KPI عالي المستوى لتجربة الماكرو على المستوى المركزي.

يجب أن يكون لكل فريق منتج يعمل مع التجريب صاحب مصلحة (محلل بيانات / CRO) يتحمل مسؤولية العناية المناسبة بجميع المعلومات التي تم جمعها والتي يتم تحميلها بالتنسيق الصحيح إلى المستودع المركزي. من الجيد أيضًا متابعة مؤشرات الأداء الرئيسية لأداء التجربة الدقيقة على مستوى فريق المنتج داخل الفريق اللامركزي. يمكن أن تكون لوحة تحكم مرتبطة بـ GA أو المستودع على سبيل المثال .

في Zendesk ، يكون أحد المديرين مسؤولاً عن صيانة المستودع ، لكن المدخلات تأتي من "مالكي الاختبار":

لدينا حاليًا المستودع الذي يديره فريق واحد داخل الشركة ويتولى شخص واحد الملكية الكاملة له. يُطلب من "مالكي" الاختبار إضافة الدروس المستفادة بعد الانتهاء من الاختبار في المنطقة المعنية من المستودع.

- ماكس برادلي

وهذه هي الطريقة التي يمكن بها لشخص واحد (أو فريق صغير) يدير نموذجًا لامركزيًا أن يحافظ على كفاءة مستودع التعلم التجريبي ومضمون الجودة.

إنه مشابه لما تقوم به GoodUI - بالاعتماد على الدروس المستفادة من مختلف القطاعات والعملاء لإنشاء مورد ممتاز لرؤى التجريب.

لذلك ، حتى لو لم يكن لديك مستودع تعليمي حتى الآن ، فلديك قدر كبير من المعرفة للاستفادة منه. تأتي خطط Convert مع اشتراك GoodUI مخفض.

كيفية توثيق ما تعلمته

تمامًا مثل أي نظام حفظ منظم ، لا يمكن أن يكون الريبو التعليمي الخاص بك مكانًا لتفريغ البيانات. يجب أن تكون هناك طريقة محددة ومناسبة لتوثيق التعلم بحيث تكون مفيدة للجميع.

سيعني هذا تمثيلًا مرئيًا بديهيًا للبيانات وقصص بيانات خالية من المصطلحات وطريقة سهلة لتحديد اختبارات محددة عند الحاجة.

إليك الطريقة.

التقاط وتسجيل جميع البيانات الوصفية من الاختبارات

الخطوة الأولى الواضحة هي جمع البيانات من الاختبارات. لكن ما هي البيانات التي تجمعونها؟ من السهل القول بجمع كل شيء ، ولكن يمكن أن يصبح ذلك مربكًا بسهولة - ومثبطًا للعزيمة.

إذن ، ما هي البيانات التي يجب تضمينها في مستودع تجربتك؟

إنها البيانات الوصفية الكاملة لمفهوم الاختبار. ويجب أن يتم في المقام الأول تتبع المدخلات بناءً على الأسئلة التي يجب طرحها ، والتي تكون قياسية في الفئات:

• أنواع الاختبار
• الصفحات
• نقاط اللمس
• الجماهير
• مساحات سطح النمو

ولكن ليس معيارًا داخل هذه الفئات ، على سبيل المثال ، سيختلف الجمهور اعتمادًا على الشركة ، لكن جميع الشركات ستختبر على شرائح مختلفة من الجماهير.

- بن لباي

وكيف يبدو هذا؟

دعنا نستكشف كل فئة من هذه الفئات حتى تحصل على صورة أوضح:

• أنواع الاختبار

أي نوع من الاختبار كان؟ اختبار A / B؟ MVT؟ اختبارات A / B / n؟

• الصفحات

هنا تحدد الصفحة أو الصفحات على موقعك حيث تم إجراء الاختبار. هل هي الصفحة الرئيسية؟ صفحة منتج معين؟ صفحة التسعير الخاصة بعلامتك التجارية SaaS؟

• نقاط اللمس

نقاط اللمس هي مناطق في رحلة عميلك حيث يتفاعلون مع علامتك التجارية. قد يكون هذا إعلانًا ، أو كتالوج منتجًا ، أو منشور مدونة ، أو رسائل بريد إلكتروني تسويقية ، أو تطبيقك ، وما إلى ذلك.

• الجماهير

من هو جمهورك المستهدف للاختبار؟ هل تستهدف شرائح معينة بناءً على أي معايير؟ البيانات السلوكية؟ الأهداف؟ مصدر الزائر؟ تحديد الموقع الجغرافي؟ أو تم اختيارهم جميعًا بشكل عشوائي؟

• مساحات سطح النمو

يشير هذا إلى تفاعل أو ميزة تشجع المستخدمين على البقاء حول موقعك أو التعمق في علاقتهم بعلامتك التجارية. لذلك ، فهو نوع من الخطاف الذي يعزز قيمة كل زائر. يمكن أن يكون هذا عرضًا تجريبيًا مجانيًا أو عرضًا توضيحيًا.

لإثراء بياناتك الوصفية ، قد ترغب أيضًا في تضمين:

• تواريخ
• URL / Regex
• التكرار في الاختبار السابق - اربطه باختبار سابق يمثل أساس الاختبار الذي تبلغ عنه.

وتغلق هذا بمعلومات أكثر تأثيرًا. تضمن…

• لقطات من A و B
• معزولة أم لا (# من التغييرات)
• تأثير ٪ مع فترات الثقة
• نوع المقياس

- جاكوب لينوسكي

الأكثر الأفضل. لكن اجعلها ذات صلة ومفيدة.

إليك مثال آخر من Max Bradley من Zendesk:

بالنسبة لتقرير التتبع الأساسي أو المستودع ، سيُظهر لك تقرير التحويل أيضًا الفائز وما اختبرت من أجله.

احترم أساليب التعلم المختلفة مع الحفاظ على المعلومات

عليك أن تستأنف الطرق المختلفة التي يفضلها الناس لاستهلاك المعلومات عند تخزين بيانات التجربة.

هناك أشياء معينة يجب وضعها في الاعتبار عند القيام بذلك ...

لقد جربنا الكثير من الطرق المختلفة. بصفتنا وكالة ، فإننا نتعامل مع العديد من أصحاب المصلحة المختلفين من شركات مختلفة في أي وقت. وهنا يكمن التحدي - فالناس يأخذون المعرفة ويتعلمون بشكل مختلف. هل هم متعلمون بصريون أو سمعيون أو حركي؟ أين هم على مفتاح مايرز بريجز؟ إن كيفية التواصل مع أصحاب المصلحة لديك لا تقل أهمية عن المحتوى الذي تتواصل فيه. من تجربتي ، تعلمت أن مستودع التعلم يجب أن يكون شيئين لتحقيق النجاح:

• موضوع ومذكر حتى يتم تصفيته بسهولة
• مقتضب للتعلمات التي يمكن مسحها ضوئيًا.

- ديفيد مانهايم

يمكنك تقديم أكبر قدر ممكن من المعلومات حول التجربة المبلغ عنها. ونفعل ذلك بأشكال مختلفة. لهذا السبب تحتاج إلى لقطات شاشة وتسجيلات فيديو وقصة لإعطاء سياق لجميع الأرقام.

تذكر أن تجعلها وثيقة الصلة وموجزة وقابلة للفحص .

ضع علامة على الاختبارات الخاصة بك لتحقيق أقصى قدر من التعلم

يؤدي وضع علامات على الاختبارات إلى سهولة الوصول إلى كل شيء.

يساعدك أيضًا على فهم الغرض من الاختبار في لمحة.

إذا كان المستودع الخاص بك ينمو باستمرار ، في يوم من الأيام ، سيكون لديك الآلاف من الاختبارات المسجلة ويستخدمه المئات من الأشخاص لتمرير الأفكار واستخلاص الأفكار وإبلاغ القرارات.

ستكون التعلم أكثر فائدة إذا تمكن الأشخاص من التعرف على موضع كل اختبار في نطاق حلول مؤسستك.

كيفية توصيل ما تعلمته لتحقيق أقصى قدر من التأثير

لن يفيد مستودع التعلم الخاص بك إلا برنامج التجربة الخاص بك عندما يستخدمه الأشخاص بالفعل.

لذا ، بالإضافة إلى إتاحة الوصول إليها ، قم بتقديمها إلى بقية أعضاء فريقك ومؤسستك بطريقة منطقية وتثير الاهتمام بالتجربة.

لكن كيف تفعل ذلك؟ هذه أرقام وبعض المصطلحات الخاصة بالصناعة التي يمكن أن يساء فهمها. كيف تجعل الناس من مختلف التخصصات يقدرون الدروس التي جمعتها؟

قد يكون الاتصال باختبارات A / B أمرًا صعبًا ، ولكن إذا اتبعت هذه الخطوات ، فسوف تزيل هذه الحواجز وتحقق أقصى استفادة من مستودع التعلم الخاص بك.

اجعلها عادة

أولاً ، إذا كان التجريب مفهومًا غريبًا أينما كنت ، فإن التعود على الخروج من التعلم قد يستغرق بعض الوقت. لذا ، تحلى ببعض الصبر معك في هذه الرحلة.

مهمتك هنا هي جعل هذا جزءًا من أنشطتك الأسبوعية المعتادة. يمكن أن يكون جزءًا من جزء الإلهام من العصف الذهني أو لعبة تلعبها لإغلاق الاجتماعات. على سبيل المثال ، نسختك الخاصة من "ما الاختبار الفائز؟"

إنه جزء من الصورة الكبرى لبناء ثقافة يكون فيها التجريب معيارًا ...

اجعل من المعتاد إجراء الدروس مع الفريق بطريقة متسقة وممتعة وملهمة. يجب أن يكون جزءًا من العمل كالمعتاد. يجب أن يكون هناك اجتماع مرة واحدة على الأقل في الأسبوع لمناقشة الفرضيات ونتائج التجربة. يجب أن تحتوي كل عدو على الأقل على تجربة أو تجربتين ، وجعل التجريب عادة يخلق ثقافة إيجابية.

- ماتياس مانديو

إلى جانب عرضها في اجتماعات الفريق ، من السهل أيضًا مشاركة اختبارات المستودع في النشرات الإخبارية للتعلم. كونك معتادًا على إضافتها هنا يجعل من السهل اعتماد التجريب على مستوى الموقع أيضًا.

كن متواضعا وشفافا لبناء الثقة

قد يبدو من الرائع إقناع الناس بأن التجربة تحتوي على جميع الإجابات ، لكن هذا سيكون مضللًا. ساعد زملائك في فهم كيفية عمل كل شيء ، وما تمثله الأرقام ، ومقدار الثقة التي يمكنك وضعها في رؤية معينة قمت برسمها.

لا تقدم الأفكار كما لو أنها تأتي مع يقين 100٪. بدلاً من ذلك ، أظهر لهم أن هذه إحدى أفضل الطرق التي يمكنك من خلالها اتخاذ القرارات ، بدلاً من "الشعور الغريزي" وأفضل الممارسات.

سيؤدي القيام بالعكس إلى فقدان الثقة في مستودع التعلم الذي قمت ببنائه ويمكن التخلي عنه لجمع الغبار.

فيما يلي بعض النصائح الإضافية من Ben Labay من Speero حول كيفية توصيل النتائج:

لا تخفي الاختبارات التي فقدت. بدلاً من ذلك ، استخدم ذلك كفرصة لإظهار فائدة الاختبار على الوجهين.

إذا حصلت على فوز ، فقد حصلت على نظرة ثاقبة لما ينجح. إذا فقدت ، فقد تعلمت ما لا ينجح ، لذا تتجنب إجراء تغيير يضر بالمقاييس الرئيسية.

في كلتا الحالتين ، تعلمت شيئًا يمكن تحسينه.

عند التقديم ، قم ببنائها في قصة تعرض التطبيق الواقعي للرؤى ودعوة أصحاب المصلحة للمشاركة في كتابة القصة ، تمامًا كما يفعل ماكس:

نقدم أحدث ما تم تعلمه على أساس نصف أسبوعي لفريقنا الأوسع وعلى أساس شهري للأعمال التجارية الأوسع. نحاول أن نتحلى بأكبر قدر ممكن من الشفافية من خلال تقديم الاختبارات التي فقدت قدر الإمكانات التي فازت بها. بالإضافة إلى ذلك ، نطلب من جميع المراجعين إرسال أفكارهم أو طرح أي أسئلة لديهم في قناة Slack المخصصة لدينا. حيثما أمكن ، نتطلع أيضًا إلى إظهار الفائدة من الناحية الفعلية بالإضافة إلى زيادة النسبة المئوية ، مما يجعلها أكثر تأثيرًا على القراء.

- ماكس برادلي

لا تضع بوابة التعلم ، قم بإشراك الجميع

لا يقتصر التجريب على التسويق و / أو التحسين و / أو الإنتاج و / أو فرق النمو. إن كونك منظمة تعتمد على البيانات يعني تشبع الجزء الأكبر من عمليات صنع القرار برؤى مستخرجة من الاختبارات الجيدة.

ومستودع التعلم الخاص بك يقع في منتصف المهمة بأكملها.

لذا ، اجعل الجميع على متن الطائرة.

نعم ، سيكون لدى الأشخاص مستويات متفاوتة من الخبرة في هذا المجال ، لكن لا تدع ذلك يضر بالبرنامج. طالما أن كل فريق لديه شخص ما أو أشخاص لديهم خبرة أعمق في التجريب ، فلديك شيء ما.

من المشجع أيضًا وجود بعض الأشخاص في الفريق الذين هم أكثر دراية بالتجربة والبعض الآخر لديهم خبرة أقل في ذلك. إن وجود ما لا يقل عن 2 أو 3 أشخاص في الفريق ممن لديهم خبرة في التجريب يحدث فرقًا كبيرًا .

- ماتياس مانديو

ينتشر التأثير بشكل طبيعي بهذه الطريقة.

استثمر في زوج جديد من العيون وتلاقح الأفكار

أحيانًا يمنحك منظور مختلف أفكارًا لم تفكر فيها. لذا ، لا تدع ما تعلمته عن التجربة يكمن في فقاعة.

كن على استعداد لمشاركتها مع خبراء آخرين في مجالك ومعرفة ما يمكنك تعلمه من ملاحظاتهم.

ربما هناك شيء لا يعمل في شريحة عملاء واحدة ، ولكن هناك نسخة مختلفة قليلاً منه يمكن أن تعمل مع شريحة أخرى؟

أو ربما تعثرت في شيء يناقشه الجميع والآن يمكنك الانضمام إلى المحادثة لمعرفة المزيد؟

ستشعر بالإثارة لما يمكنك اكتشافه عند إشراك خبراء CRO آخرين. حتى مكالمات التدريب يمكن أن تكون جزءًا من استراتيجيتك للحصول على وجهة نظر مختلفة.

التدريب - www.goodui.org/coaching - مكالمة واحدة أو مرتين شهريًا مع فرق التجريب من أجل: مراجعة خطط الاختبار ، وتقديم ملاحظات حول تصميمات الاختبار ، وإبراز ما نجح مع الآخرين.
- جاكوب لينوسكي

اجعل التعلم قابلاً للمشاركة

يستخدم بعض الأشخاص Notion ، والبعض الآخر يستخدم العروض التقديمية من Google ، ويقترح بعض خبراء CRO استخدام لوحات Miro ، لكن الغرض واحد ...

توصيل بيانات الاختبار والأفكار مع بقية الفريق (أو أي من أصحاب المصلحة الآخرين) من أجل التأكد من وصول الدروس الكافية.

عندما تستخدم هذه الأدوات عبر الإنترنت مثل Notion و Google Slides و Miro وأي أداة أخرى تجدها جذابة لفريقك ، فإنك تسهل الوصول إلى المستودع من أي جهاز ومن أي مكان.

يعد هذا أمرًا رائعًا للفرق البعيدة وللحصول على عيون جديدة تحدثنا عنها سابقًا.

إنه محمول ويمكن مشاركته بسهولة. أنت الآن تعطي حقًا أجنحة التعلم التجريبية الخاصة بك لإحداث تأثير كامل.

استخدم الرؤى للتخطيط للاختبارات

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

لذلك دعونا نقسم كل شيء ...

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

تشمل ميزاته:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

لماذا ا؟

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

ابدأ المستودع من اليوم الأول. ابدأ في توعية أصحاب المصلحة بأن التجريب يتعلق بالتحقق من الصحة والتعلم ، وليس المال بالضرورة. كلما أثبتت "أننا تعلمنا X من هذا الاختبار" أو "Y من هذا الاختبار" ، كلما كنت أنت وأصحاب المصلحة أكثر اتساقًا.

- ديفيد مانهايم

3. بناء الشراء مع الدليل

إذا لم يقم أحد أو عدد قليل من الأشخاص بتوثيق اختباراتهم ومشاركة الأفكار عبر الأقسام ، فستحتاج إلى توضيح سبب احتياج الجميع للانضمام إلى هذا الجهد.

إن إثبات فوائد إعادة التعلم لدعم C-suites بنجاح ليس سوى الخطوة الأولى. الشيء التالي الذي عليك القيام به هو توصيل هذه الفوائد لأصحاب المصلحة الآخرين أيضًا.

شارك ماتياس طريقة رائعة للقيام بذلك:

ابدأ بخطوات صغيرة ورشيقة ورشيقة. ابدأ التجارب واجمع ما تعلمته وبذل جهدًا جيدًا لتوثيقها. قم بإعداد تقرير لائق بعد كل تجربة وكذلك إرسال تقارير متكررة (شهرية ، ربع سنوية ، سنوية). ركز على تجارب الأسماك الكبيرة ذات التأثير الإيجابي والتعلم القوي في البداية. النتائج الإيجابية تحفز الناس على البدء.

بمجرد أن تقوم بجمع اثنين من التعاليم القوية المؤثرة ، قد يكون من المفيد أيضًا إظهار النتائج السلبية وشرح التأثير السلبي الذي كان سيحدث إذا قمنا بتنفيذ هذا بدون تجربة. ثم اشرح مدى أهمية هذه الدروس للأعمال ولاتخاذ قرارات أفضل بشأن المنتج.

4. بمجرد أن تعمل ، ابدأ في البحث في أدوات محددة (تعلم وتصرف أولاً ، وشراء لاحقًا)

عندما تقوم بإعداد ريبو بسيط على العروض التقديمية من Google أو أي نظام أساسي مجاني تختاره وأكمل الخطوتين 2 و 3 ، يمكنك حينئذٍ استثمار الأموال في أداة.

لا تقفز وتضخ الأموال في مستودع تعليمي حتى تتأكد من وجود عائد استثمار مشجع عليك تحقيقه.

استنتاج

إذا كان هناك أحد الوجبات الجاهزة الكبيرة التي تحصل عليها من هذه المقالة هي أنه يجب أن تبدأ في عرض ما تعلمته عن التجريب كأصل للشركة. سيوفر لك هذا الأصل الوقت والمال. وسيعمل على تشغيل برنامج تحسين يعتمد على البيانات في مؤسستك.

لا تجري اختبارًا فحسب ، بل اربح أو تفشل ، ثم اسرع إلى فكرتك التالية. إن قضاء الوقت في التواصل وتنظيم ما اكتشفته في مستودع التعلم الخاص بك سيعطي هيكلًا لرحلة التجربة الخاصة بك.

علاوة على ذلك ، إنها أسهل طريقة لتمرير العصا وتقييم تأثير الاختبارات وتعزيز ثقافة التجربة المثيرة.

وكيف تبدأ في الحصول على كل هذه؟

افعل كما يقول الخبراء: ابدأ بسيطًا.