7 خطوات رئيسية للتعلم والتحسين من نتائج اختبار أ / ب

انتهى اختبار A / B للتو ولكنك لا ترى النتائج التي توقعتها.

يشارك الجميع دراسات الحالة حيث رأوا ارتفاعًا كبيرًا بمجرد تغيير لون الزر أو تعديل بسيط ، لكن اختبارك لم يحصل على أي تحسن في التحويل ، أو ما هو أسوأ من ذلك ، يبدو أنه فقد المال بدلاً من ذلك ، والآن تحتاج إلى ذلك قدم هذا لرئيسك في العمل.

حسنًا ، ماذا لو لم يكن اختبارك خاسرًا في الواقع؟

ماذا لو كان فائزًا مقنعًا؟

وإذا كان خاسرًا ، فماذا لو كان الاختبار الخاسر أمرًا جيدًا حقًا؟

في هذا الدليل ، سنساعدك في الحصول على منظور أعمق لنتائج اختبار A / B الخاصة بك حتى تتمكن من تحليلها وتقسيمها للعثور على الذهب.

سنغطي سبب أهمية التعلم من اختبارات A / B الخاصة بك ولماذا يمكن للخاسرين الحصول على مبيعات لك. نحن نشارك عملية يمكنك اتباعها حتى تتمكن من تحليل اختباراتك بالكامل خطوة بخطوة وتشعر بالثقة بشأن ما تراه أو تفوز به أو تفشل فيه.

والأفضل من ذلك ، سنساعدك على الانتقال من القلق بشأن البيانات وعدم الرغبة في التحقق من تحليلاتك ، إلى الثقة في مشاركة نتائجك مع زملائك.

لذلك دعونا نتعمق في ...

لماذا تحتاج إلى التعلم من اختبارات A / B؟

كبداية ، هناك تكلفة واضحة. كل اختبار يكلف المال لإعداده. إذا كان لديك متغيرات خاسرة ، فسترى أيضًا انخفاضًا في مبيعات هذا المتغير.

هذا هو الشيء بالرغم من ذلك:

لا يقتصر اختبار A / B (و CRO بشكل عام) على كسب المزيد من المال فقط. يتعلق الأمر بشراء البيانات . يمكن أن تساعدك البيانات المتعلقة بجمهورك على فهمهم بشكل أفضل وتقديم منتج وخدمة أفضل. يؤدي هذا بعد ذلك إلى زيادة المبيعات وتحسين تجربة العملاء ، وحتى الحصول على نظرة ثاقبة لعروض المنتجات الجديدة.

كلما عرفت المزيد عن الأشخاص الذين تخدمهم ، كان ذلك أفضل. لهذا السبب من المهم جدًا إجراء الاختبار والاختبار كثيرًا - حتى عندما تفشل غالبية الاختبارات.

نحن لسنا وحدنا في هذا التفكير أيضًا.

في الواقع ، عندما نظرنا إلى بياناتنا الداخلية الخاصة بـ 28304 اختبارًا باستخدام أداتنا ، إلى جانب المحادثات مع وكالات الاختبار المتخصصة ، وجدنا أن معظم الشركات تجد فائزًا واحدًا فقط من كل 10 اختبارات ، بينما ستشاهد الوكالات عادةً فائزًا واحدًا من كل 10 اختبارات. 4.

وأنا أعلم بماذا تفكر ،

بالتأكيد هذا يعني أنني أخسر المال بنسبة 90٪ من الوقت مع كل اختبار؟

نعم ، ولكن فقط لنصف جمهور الاختبار. النصف الآخر لا يزال يرى موقعك ويتحول كالمعتاد.

أيضًا ، تساعدك البيانات التي تحصل عليها في اكتشاف ما لا يعمل ، حتى تتمكن من معرفة ما ينفع. أنت تختبر وتتعلم وتختبر مرة أخرى وتستمر حتى تجد ما يصلح.

وتلك 10٪ من الاختبارات التي تفوز؟

يمكنهم توفير تحسين تدريجي مستمر يمكن تحسينه مرارًا وتكرارًا ، قبل توسيع نطاقه عبر موقعك على كل صفحة مماثلة لتحقيق تأثير أكبر.

هذا هو جمال رؤية زيادة في التحويلات على منصة رقمية. يمكن أن يكون للمقياس الهائل للرفع بنسبة 1٪ تأثير كبير على عملك ، سواء الآن أو مع كل حركة المرور المستقبلية. في الواقع ، يفكر جيف بيزوس على نفس المنوال ، واصفًا أمازون وهدفها من الاختبار والتحسين "أفضل مكان في العالم للفشل فيه" خلال تقرير المساهمين السنوي:

بالنظر إلى فرصة بنسبة 10 في المائة لمكافأة 100 مرة ، يجب أن تأخذ هذا الرهان في كل مرة. لكنك ستظل مخطئًا تسع مرات من أصل عشرة .

جيف بيزوس ، أمازون

ومع ذلك ، فإن المزيد من المبيعات والأفكار الأفضل ليست هي الفوائد الوحيدة لاختبار A / B.

يسمح لك إجراء الاختبارات بالابتعاد عن موضوعات الحواجز ونظرية المجموعة. بدلاً من قضاء شهور في مناقشة التغييرات المحتملة في تصميم الويب وعدم القيام بأي شيء ، اتخذ إجراءً بشأنها واختبرها ، مما حرر فريقك للتركيز على أشياء أخرى. (فقط تأكد من اختبار تأثيره قبل تشغيله!)

ليس ذلك فحسب ، بل يمكنك معرفة شيء جديد عن جمهورك لا يخبرك به سوى اختبار A / B.

تعد صياغة النظرية واستطلاعات العملاء رائعة ولكن ما يفعله جمهورك بالفعل على موقعك هو الأهم ، وليس فقط ما يقولونه. يساعدك فهم الاختبارات الخاصة بك على إثبات أو دحض تلك الأفكار والتعليقات.

كلما فهمت نتائجك ، زادت ثقتك في اختبارك ، مما يتيح لك "نضج" جهود CRO وإجراء الاختبارات في كثير من الأحيان ، وربما حتى البدء في تكوين فريق اختبار داخليًا.

الآن بعد أن رأيت فائدة التعلم من كل اختبار أ / ب ، دعنا نرشدك خلال عملية بسيطة لتحليل كل اختبار جديد تقوم بإجرائه ...

عملية من 7 خطوات للتعلم من اختبارات A / B (جنبًا إلى جنب مع الأنظمة التي يمكنك استخدامها لتحسين الاختبارات المستقبلية)

لقد قسمنا هذا إلى 7 خطوات أساسية يجب اتباعها.

قد لا يكون لديك كل طريقة أو أداة نوصي بها هنا ، ولكن من خلال معرفة مدى ملاءمتها ، يمكنك بعد ذلك قياس قيمتها وتحديد ما إذا كنت تريد دمجها في اختباراتك المستقبلية.

الخطوة رقم 1: تحقق من أن بياناتك دقيقة وصالحة + مهمة

هذا هو الجزء الأكثر أهمية في هذه العملية برمتها. تأكد من أن المعلومات التي لديك في الاختبار دقيقة وصحيحة حتى تكون واثقًا من النتائج.

إذن كيف تتأكد من أن نتائج الاختبار الخاصة بك تمنحك بيانات يمكنك الوثوق بها؟

حسنًا ، هناك بعض الأشياء التي يمكنك القيام بها ...

تحقق من دقة الأداة الخاصة بك

الآن ، معظم الناس يفتقدون هذا. لا تتردد في تخطيه إذا لم يستقبل موقعك أكثر من 10000 زائر شهريًا. من الناحية الفنية ، ليس من الضروري البدء في استخدام CRO ويعمل بشكل أفضل مع المواقع ذات حجم حركة المرور الكبير ، لكنني سأكون مقصراً إذا لم أدرجها هنا حيث يمكن للمواقع الكبيرة أن ترى الفرق حقًا.

من الناحية المثالية ، قمت بالفعل بإجراء اختبار A / A على أداة الاختبار الحالية لمعرفة مدى دقتها وما إذا كانت بها أية مشكلات.

كيف؟

تقوم بإجراء اختبار تقسيم بسيط بنسختين متطابقتين من صفحة ويب ثم تتبع النتائج عبر هاتين الصفحتين المتماثلتين.

نظرًا لعدم وجود اختلافات بينهما ، يجب أن تكون نتائجك متطابقة لكل صفحة. ومع ذلك ، قد يكون هناك بعض التناقضات التي تسببها الأداة وكيفية قياسها أو تتبعها لبياناتك.

يمكن أن تساعدك معرفة هذا مقدمًا في الحصول على تسامح مع دقة نتائج الاختبار الخاصة بك واستخدامها كدليل لجميع الاختبارات المستقبلية.

مثال

إذا لاحظت أن اختبار A / A الخاص بك أظهر فرقًا بنسبة 0.5٪ في معدل التحويل بين صفحتين متطابقتين ، فقد تكون حذرًا من أي نتائج اختبار تظهر فائزًا عندما يكون الفرق 0.5٪ فقط بين عنصر التحكم والمتغير.

يمكنك إعداد إرشادات داخلية تنص على أن الاختبار يجب أن يُظهر ارتفاعًا بنسبة 1٪ أو أعلى قبل أن تصدق النتيجة. مرة أخرى ، ما عليك سوى إجراء اختبار A / A مرة واحدة فقط عند تجربة أداة جديدة أو إذا كنت تعتقد أن أداتك الحالية قد تواجه بعض المشكلات في إعداد التقارير أو تم إعدادها بشكل غير صحيح.

تعمل اختبارات A / A بشكل أفضل مع مواقع حركة المرور الكبيرة حيث أن البيانات النموذجية المطلوبة للتحقق بدقة يمكن أن تكون كبيرة جدًا ، ولكن الفرق في خطأ 1٪ قد يكون كبيرًا.

قم بإجراء اختبارك لفترة كافية للحصول على عرض صالح لكيفية تفاعل عملائك مع موقعك

والآن بعد أن أصبحت تثق في أداتك ، فأنت تريد إجراء اختبارك لمدة 2-4 أسابيع ، حتى إذا حصلت على تحويلات كافية لتتمكن إحصائيًا من إيقاف تشغيلها من قبل.

لماذا ا؟

لأن جمهورك غالبًا ما يتفاعل مع موقعك بشكل مختلف حسب يوم الأسبوع أو مراحل معينة من الشهر.

مثال

إذا تم الدفع للأشخاص في جمهورك يوم الخميس ، فسترى زيادة قد تفوتك إذا تم إجراء الاختبار فقط من الاثنين إلى الأربعاء ، أليس كذلك؟

وبالمثل ، قد يتقاضى المستخدمون الآخرون رواتبهم كل أسبوعين أو شهريًا ، مما يؤدي إلى تحريف نتائجك مرة أخرى إذا لم يتم إجراء اختباراتك لفترة كافية لتضمينها فيها. ستفترض ببساطة انخفاض المبيعات أو حركة المرور في الأوقات التي فاتتك فيها.

كن على دراية بأي عوامل داخلية أو خارجية يمكن أن تؤثر على نتائجك

هذه أحداث فريدة أو مجدولة قد تؤدي إلى تحريف بياناتك.

على سبيل المثال ، إذا كان رئيسك التنفيذي أو شركتك في الأخبار أو إذا كنت تدير أي حملات تسويقية أو عروض ترويجية حالية ، بالإضافة إلى أي عوامل خارجية مثل العطلات الوطنية أو حتى ارتفاع حركة المرور العشوائية.

كل هذا يمكن أن يؤثر على حركة المرور على موقعك ومن ثم يغير مدى دقة نتائجك خلال تلك الفترة.

قصة حقيقية:

منذ حوالي 6 سنوات ، كنت أمتلك شركة ملابس لركوب الأمواج.

في يوم من الأيام ، زادت حركة المرور لدينا بنحو 800٪ من العدم وارتفع معدل الارتداد لدينا. لم نقم بإجراء أي حملات تسويقية جديدة ولذا قمت ببعض التحقيق لمعرفة مصدر حركة المرور.

اتضح أن أحد القمصان الخاصة بنا كان له اسم منتج كان هو نفس اسم أغنية جديدة لفرقة البوب ​​الكورية ، ولمدة يومين كنا نصنفها ونجذب زوارها.

بالطبع ، لم يكن هذا الجمهور الجديد مهتمًا على الإطلاق بمنتجنا وسرعان ما غادروا.

مجنون ، أليس كذلك؟

مرة أخرى ، بدأت مدونتي التسويقية في الترتيب لاسم العلامة التجارية لشركة تلفزيونية وحدث نفس الشيء. لقد حصلنا على ارتفاعات كبيرة في حركة المرور من الجمهور الخطأ.

بقدر ما هو عشوائي ، يمكن أن تحدث هذه الأنواع من الأشياء ، لذا كن على دراية بأحداث خارجية أو داخلية مثل هذه. يمكنك دائمًا التحقق من تحليلاتك لمعرفة مصدر حركة المرور ثم إعادة تشغيل اختبارك عندما يعود كل شيء إلى طبيعته.

تأكد من الحصول على بيانات كافية

تريد التأكد من أن اختبارك يحتوي على تحويلات كافية للحصول على فكرة صحيحة عن كيفية أدائه.

إن امتلاك عنصر تحكم ومتغير مع إجمالي 50 تحويلاً فقط مع وجود اختلاف بسيط بينهما لا يكفي لإلقاء نظرة ثاقبة على جمهورك - حتى لو كانت نتائج الاختبار ذات دلالة إحصائية بطريقة أو بأخرى. يتفق معظم الخبراء على أن حوالي 300+ تحويل لكل متغير عادة ما تكون قاعدة جيدة (مع المزيد إذا كنت تريد التقسيم لاحقًا).

كلما كانت مجموعة البيانات أكبر ، كان من الأسهل العثور على رؤى في تحليل ما بعد الاختبار.

استخدم حاسبة أهمية اختبار A / B الخاصة بنا للحصول على فكرة عن مدى دقة اختبارك ، استنادًا إلى دورة مبيعات لمدة 4 أسابيع ومعلومات صفحة "التحكم" الحالية الخاصة بك.

ما عليك سوى تعيين معلمات الاختبار الخاصة بك:

بعد ذلك ، قم بتغذية مقدار حركة المرور التي يجب أن يحصل عليها اختبارك أسبوعيًا ، جنبًا إلى جنب مع عدد تحويلات صفحتك الحالية ، ثم اكتشف الدقة ورفع النسبة المئوية التي سيتمكن اختبارك من حسابها.

في المثال أعلاه ، يمكننا قياس مقدار ضئيل يصل إلى 1.2٪ بعد 4 أسابيع. (إذا أردنا الحصول على دقة أعلى ، فما عليك سوى إجراء الاختبار لفترة أطول أو زيادة حجم حركة المرور في الاختبار.)

احصل على نتائج ذات دلالة إحصائية

إليك سبب أهمية الأهمية الإحصائية ولكنها ليست العامل الأكثر أهمية عند الاختبار.

نعم ، أنت تريد التأكد من تشغيل اختبارك لفترة كافية لرؤية تصنيف ثقة بنسبة 95-99٪ في النتائج ، ولكنك تريد أيضًا التأكد من أن كل العوامل الأخرى التي قمنا بتغطيتها أعلاه قد تم ضربها.

لماذا ا؟

حتى اختبار A / A يمكن أن يُظهر ثقة بنسبة 95٪ في أن إصدار واحد أفضل من نسخته المتطابقة إذا لم يتم تشغيله لفترة كافية.

(يمكن أن يرى بشكل عشوائي جميع التحويلات في إصدار واحد في يوم واحد ولا يرى أي شيء في الآخر.)

سيؤدي عدد كبير جدًا من المختبرين الجدد إلى إيقاف الحملة بمجرد وصولها إلى "stat sig" مما يؤدي إلى حصولهم على بيانات خاطئة. لهذا السبب نوصيك بالحصول على دلالة إحصائية بنسبة 95٪ أو أعلى ، ولكن أيضًا قم بإجراء الاختبار على مدار 2-4 دورات مبيعات ، مع أكثر من 300 تحويل ، وحجم عينة كبير بما يكفي.

إذا قمت بكل هذا ، فيمكنك أن تكون متأكدًا تمامًا من أنه يمكنك الوثوق في أن اختبارك سيعطيك نتائج صحيحة ودقيقة.

لا يمكنني التأكيد بما فيه الكفاية على مدى أهمية السماح بتشغيل الاختبار حتى تستوفي هذه المعايير.

قد يمنحك استدعاء الاختبار مبكرًا معلومات خاطئة يمكن أن تؤدي إلى:

• عدم العثور على فائز محتمل لأنه ليس لديك معلومات كافية ،
• تشغيل حملات ذات أداء منخفض لأنك تعتقد أنهم فائزون ولكنهم في الواقع معدل تحويل أقل ،
• أو ما هو أسوأ من ذلك ، يمكنك الحصول على ثقة زائفة في هذه النتائج ثم استخدام ما تعلمته لتوسيع نطاقه ليشمل أجزاء أخرى من موقعك ، وبالتالي تكثيف تلك الآثار السلبية.

ملاحظة جانبية:

يمكنك إعدادها كمعلمات قبل تشغيل اختبارك في قسم الإحصائيات والإعدادات في تجربتك في تطبيق تحويل التجارب.

يمكنك بعد ذلك تعيين مستوى الثقة المطلوب ، والحد الأدنى من وقت التشغيل ، وعدد التحويلات التي يجب تحقيقها قبل استدعاء الاختبار.

بمجرد التأكد من دقة بياناتك ، حان الوقت لتحليلها ...

الخطوة رقم 2: تحقق من مقاييس Micro و Macro و Guardrail

سينظر معظم الأشخاص إلى الاختبار ويأخذون الفائز أو الخاسر في ظاهره من أي شيء تخبرهم به الأداة.

تكمن المشكلة بالطبع في أن الأداة لا يمكنها إلا أن تخبرك بكيفية أداء اختبارك بناءً على المعايير التي أعددتها له. بصفتنا مختبري CRO ، نريد دائمًا أن نفهم "كيف" و "لماذا" التي تسببت في حدوث هذه النتائج حتى نتمكن من التعلم منها.

الآن هناك عدد قليل من الفحوصات التي سنقوم بها ، لكن أولاً سأغطي ثلاثة من أهمها. هذا هو المكان الذي يأتي فيه تتبع النتائج الجزئية والكليّة.

دعني أشرح:

• يشير التتبع الدقيق إلى تتبع الهدف الذي قمت بتحسين اختبارك من أجله ، والذي قد يكون المزيد من النقرات والاشتراكات وما إلى ذلك.
• يبحث تتبع الماكرو في التأثير على مقياس Northstar لعملك ، والذي يكون عادةً المبيعات.

لماذا هذا مهم؟

في بعض الأحيان ، لا يؤثر الارتفاع في الحدث المصغر على صفحتك الاختبارية على الماكرو بالطريقة التي قد تفكر بها.

مثال

لنفترض أنك اختبرت CTA على صفحة التقاط العميل المتوقع وأن الخاسر يحصل على عدد أقل من العملاء المتوقعين من عنصر التحكم.

يبدو واضحًا أي اختبار فاز ، أليس كذلك؟

ولكن عند إجراء مزيد من الفحص في تحليلاتك ، لاحظت أن العملاء المتوقعين الذين جاءوا في هذا الاختبار "الخاسر" ، قد تحولوا فعليًا إلى مستوى أعلى بكثير على الواجهة الخلفية وخلقوا عائد استثمار أكبر بكثير.

لماذا يحدث هذا؟

قد تكون صفحتك الحالية جذابة لجمهور أوسع وتحول المزيد من العملاء المحتملين ، ولكن البديل الجديد "الخاسر" يجذب بالفعل الأشخاص المستعدين للشراء الآن.

في المثال ، ستكون الحملة الخاسرة في الواقع هي الصفحة التي تريد تشغيلها لأنها تتحول بشكل أفضل بكثير باستخدام مقياس Northstar الخاص بك.

تذكر هدفك النهائي وركز جهودك على كل ما يؤثر على ذلك أكثر.

النتائج الجزئية والكلية ليست كل ما تحتاج إلى البحث عنه.

إذا لم تكن قد قمت بذلك بالفعل ، ففكر في إضافة "مقاييس الدرابزين" إلى حملاتك.

هذه هي المقاييس الأساسية التي تريد مراقبتها عند إجراء أي تغييرات أخرى بحيث إذا بدأت في الانخفاض ، يمكنك التراجع عن طرق اختبار معينة أو إيقافها لأن أدائها مهم للغاية.

في أوبر ، نجري مئات التجارب في أي وقت. الهدف من هذه التجارب هو التحسين المستمر لمنتجاتنا وتجربة المستخدم. ومع ذلك ، في بعض الأحيان قد يكون لدى المجرب بعض المقاييس الأساسية في الاعتبار ، وقد لا يكون على دراية بالتأثير على بعض المقاييس الأخرى المهمة للفريق والشركة بشكل عام ، ومع تشغيل التجربة ، قد تتراجع هذه المقاييس غير الخاضعة للرقابة.

من أجل اكتشاف مثل هذه السيناريوهات والتخفيف من حدتها ، قمنا ببناء منصة مراقبة التجارب الخاصة بنا. الهدف هو تحديد ومراقبة بعض مقاييس الدرابزين التي لا نريد أن تتحلل أثناء تشغيل التجربة. نحن نطبق تباينًا في منهجية A / B التسلسلية لمراقبة مقاييس الدرابزين هذه باستمرار واكتشاف أي انحدار بين العلاج ومجموعة التحكم للتجربة. إذا تم الكشف عن الانحدار ، فإننا نرسل تنبيهات إلى صاحب التجربة .

سومان بهاتاشاريا ، كبير علماء البيانات ، أوبر

مثال

لنفترض أنك تريد جمع المزيد من العملاء المحتملين باستخدام النوافذ المنبثقة بملء الشاشة.

بالنسبة لبعض المواقع ، تعمل هذه بشكل رائع ، ولكن ليس دائمًا. (وهذا هو سبب اختبارنا!)

ربما قمت بتثبيت نافذة منبثقة بملء الشاشة وبدأت في الحصول على المزيد من العملاء المحتملين على تلك الصفحة ، لكن رسائل البريد الإلكتروني الترحيبية إلى هؤلاء المشتركين الجدد ترتد ولا تصل.

اتضح أن الأشخاص كانوا يختارون الرسائل الإلكترونية المزيفة فقط لإيقاف عرض النوافذ المنبثقة.

لا تريد عملاء متوقعين مزيفين في قائمة البريد الإلكتروني الخاصة بك حيث يمكنهم خفض نتائج تسليم البريد الإلكتروني إلى المشتركين الفعليين. ولا ينبغي أن ترغب في تقليل تجربة المستخدم لدرجة أن جمهورك يشعر أنه بحاجة لتزييف بريده الإلكتروني.

نظرًا لأن التسويق عبر البريد الإلكتروني يعد جزءًا أساسيًا من عملية المبيعات الخاصة بك ، فقد قررت إعداد تنبيه لإعلامك بما إذا كان معدل ارتداد البريد الإلكتروني قد تجاوز نقطة محددة أثناء إجراء اختبارات A / B على صفحة التقاط العميل المحتمل.

سيكون هذا هو مقياس الدرابزين الخاص بك. في هذا المثال ، يمكنك أن ترى أنه مكسور وقررت استخدام أساليب أقل تدخلاً لالتقاط الرصاص.

هل هذا منطقي؟

مقاييس الدرابزين ليست مجرد التقاط الرصاص ومعدل الارتداد. إنها مقاييس أساسية لا تريد أن ترى تراجعًا فيها يؤثر على تجربة المستخدم.

لمنع تدهور تجربة المستخدم مع التأكد من أنك تقوم أيضًا بتحسين المقاييس المهمة ، حدد بعض مقاييس الدرابزين التي إذا تم إسقاطها بحد معين ، فسوف تمنعك من المضي قدمًا في طرح " الفائز ". يساعد هذا أيضًا في إنهاء الجدل بين تحسين التحويل وإرشادات تجربة المستخدم أو العلامة التجارية .

أليكس بيركيت ، كلي العلم الرقمي

الأمر متروك لك لتقرر ماهية هذه المقاييس لعملك. استخدمها لمعرفة ما إذا كان لديك فائز حقيقي ، أو إذا كنت تتداول ببساطة في رفع إحدى النتائج مقابل خسارة في منطقة أكثر أهمية.

إذا كنت بحاجة إلى بعض الإلهام ، فراجع قائمة Ben Labay لمقاييس الدرابزين الشائعة في التجريب والاختبار:

ثم قم بإجراء هذه التغييرات وفقًا لذلك.

طالما أن لديك تطبيق تحويل الخبرات الذي تم إعداده باستخدام تحليلاتك وشرائحك المتقدمة ، يجب أن تكون قادرًا على العثور على هذه المعلومات من خلال نظرة سريعة حولك. تحقق من تأثير كل شكل على مقياس Northstar الخاص بك ، بالإضافة إلى "حواجز الحماية" حتى لا تختار فقط الفائز بأداة الاختبار.

الآن بعد أن غطيت مقاييسك الأساسية ، فلنلق نظرة أعمق قليلاً على نتائجك ...

الخطوة رقم 3: تعمق وقسم نتائجك

تذكر أنه عندما يتعلق الأمر بالاختبار ، فإن المتوسط ​​هو كذبة .

يمكن أن يمنحك متوسط ​​النتيجة معلومات عامة فقط بناءً على مجموعة من نقاط البيانات المتعددة. الأمر متروك لك لفهم سبب حدوث هذه النتيجة ثم النظر بشكل أعمق لأنها ليست دائمًا كما تبدو.

لقد رأينا هذا بالفعل مع تأثر نتائج الماكرو بتغييرات الاختبار الجزئي ، لكن شرائح التحليلات الخاصة بك يمكن أن تقدم رؤى أعمق.

مثال

لنفترض أنك تجري اختبارًا لمزيد من العملاء المحتملين. للوهلة الأولى ، يكون لعنصر التحكم والمتغير نفس معدل تحويل الزوار إلى المشتركين.

ومع ذلك ، عند إجراء فحص أعمق ، لاحظت أنه على سطح المكتب ، يكون التباين الجديد تقريبًا ضعف معدل التحويل لعنصر التحكم ، ولكنه يساوي صفرًا على الهاتف المحمول ، مما يجعل متوسط ​​الصفحة يبدو متطابقًا مع عنصر التحكم.

من الواضح أن هناك شيئًا خاطئًا ، لكن لماذا يحدث هذا؟

قد يكون السبب هو أن المتغير الجديد لا يتم تحميله بشكل صحيح على الهاتف المحمول ، أو ربما لا يعمل النموذج على أجهزة معينة ، لذلك لا يمكن لمستخدمي الهاتف المحمول الذين يريدون الاشتراك فعلاً. وإذا قمت بإصلاح هذه المشكلة ، فقد يكون متغير "النتيجة المتساوية" قادرًا بالفعل على التفوق في الأداء على عنصر التحكم.

لا يمكنك العثور على هذه الأشياء إلا عندما تعمل للحصول على مزيد من المعلومات وراء نتائجك.

مع كل اختبار ، ستختبر طريقك إلى الرؤى ، والتي ستعلم التقسيم الأكثر ذكاءً ، مما سيؤدي إلى رؤى جديدة ، والتي ستقودك في النهاية إلى استراتيجية أكثر جدوى .

شانيل مولينز ، Shopify

لا يقتصر التقسيم على البحث عن الأخطاء فحسب ، بل أيضًا في العثور على رؤى مستخدمين آخرين.

ربما تعمل الصفحة والتحكم جميعًا بشكل جيد ، ولكن عندما تنظر بشكل أعمق ، تلاحظ أن بعض قنوات المرور تقوم بتحويل أعلى بكثير في هذا الاختبار الجديد من غيرها؟

غالبًا ما يكون لديك بعض الشرائح ذات الأداء الضعيف والبعض الآخر ذو الأداء المفرط. يمكن لهذا بعد ذلك إعلام حملات التخصيص الجديدة أو استراتيجيات حركة المرور المدفوعة أو العضوية.

ربما يتم تحويل عنصر التحكم بشكل أفضل على سطح المكتب ، لكن المتغير الجديد يتحول إلى مستوى أعلى على الهاتف المحمول. لنفترض ، على سبيل المثال ، أنك تريد اختيار الإصدار الذي يتم عرضه بناءً على كيفية رؤية المشاهد لموقعك.

باستخدام ميزة التخصيص في التحويل ، يمكنك إعداد هذا التباين الفائز على الهاتف المحمول كتخصيص لهذا الجمهور فقط.

بعد ذلك ، يمكنك إظهار الإصدار الجديد عندما يأتي الزائر من أي جهاز محمول.

ولكن إذا صادفتهم من سطح المكتب ، فسيشاهدون إصدار سطح المكتب بدلاً من ذلك.

هناك مجموعة كاملة من طرق التخصيص المختلفة التي يمكنك استخدامها ، ولكن بمجرد حصولك على بعض الأفكار من حملاتك.

مفتاح تحليل المقاطع هو النظر دائمًا في نتائجك لمعرفة سبب حدوث شيء ما.

ينظر الى:

• جمهور جديد مقابل عائد . هل أحد الاختلافات يعيد الناس في كثير من الأحيان؟ هل يقوم أحدهم بتحويل المزيد من أعضاء الجمهور البارد / الجدد؟
• مصدر المرور. هل تعمل إحدى القنوات أفضل من غيرها؟ هل يمكنك التركيز أكثر هنا؟
• مشاهدات الصفحة. خاصة إذا كانت صفحتك الاختبارية تحاول جذب حركة المرور إلى صفحة المبيعات الخاصة بك. قد يعني قلة النقرات على إصدار واحد أن لديك زرًا مكسورًا أو مشكلة في CTA.
• معدل الارتداد. يمكن أن يشير هذا إلى ارتباط معطل / تحميل بطيء / تجربة UX سيئة ، أو حتى استهداف الجمهور الخطأ.
• نظام التشغيل،
• موبايل مقابل سطح المكتب.
• الجهاز المستخدم.

إخلاء بسيط:

للحصول على انعكاس دقيق لكل قناة عند تقسيم مثل هذا ، تحتاج إلى الكثير من البيانات. من القواعد الأساسية الجيدة أن يكون لديك اختبار بحوالي 10 أضعاف حجم التحويلات كما قد تجريها عادةً (أو 300 تحويل لكل قناة ، وليس فقط لكل صفحة متغير).

قد تفكر ، "لا توجد طريقة للحصول على عدد كافٍ من الزيارات لإجراء اختبار مثل هذا ". أو إذا قمت بذلك ، فقد يستغرق الأمر شهورًا حتى يحدث ذلك.

حتى لو كان الأمر كذلك ، لا تتخطى مجرد النظر في تحليل القطاع الخاص بك.

لماذا ا؟

على الرغم من أنه قد لا يكون لديك تحويلات كافية عبر كل شريحة لاستخلاص استنتاجات مدعومة بالبيانات ، إلا أنه يمكن أن يمنحك بعض الأفكار الساطعة إذا بدأت في رؤية مشكلات مثل مشاهدات الصفحة بدون نقرات أو معدل ارتداد فوري .

هذه كلها أشياء يمكن أن تشير إلى اختبار مكسور وتساعدك في العثور على فائز يحتمل أن يكون مفقودًا. انطلق وابحث عن أي حالات انسحاب رئيسية ومشكلات. هل كان كل شيء يعمل على كل منصة وجهاز؟

من الناحية المثالية ، قمت بفحصها جميعًا قبل الاختبار ، ولكن يمكن أن تنكسر الأشياء في منتصف الاختبار ، لذا تحقق مرة أخرى.

لقد قمت شخصيًا بتحديث WordPress تلقائيًا في منتصف الحملة مما تسبب في توقف نماذج التقاط العملاء المحتملين فجأة عن العمل أثناء منتصف الاختبار. قم دائمًا بتسجيل الوصول ، وإذا رأيت شيئًا يفسد دقة نتائجك ، فأوقف الاختبار وأصلح المشكلة ثم أعد التشغيل.

وإذا كان كل شيء يعمل بشكل جيد؟

دعنا نلقي نظرة ونكتشف لماذا لم يتخذ الأشخاص الإجراء الخاص بك ...

الخطوة رقم 4: تحقق من سلوك المستخدم لمزيد من الرؤى

من الناحية المثالية ، يجب أن يكون لديك تتبع نوعي أعلى أداة الاختبار الخاصة بك.

لماذا ا؟

نظرًا لأن هذا يمكن أن يمنحك غالبًا نظرة ثاقبة على المتغير الخاص بك ، فقد تفوتك بمجرد الاختبار المنتظم.

تذكر:

تخبرك أدوات الاختبار الكمي مثل التحويل بما حدث. يمكننا أن نقدم لك البيانات الرقمية الأولية بين عدد الأشخاص الذين نقروا أو لم ينقروا ، ومساعدتك في إعداد كل اختبار أ / ب.

لكن إضافة أدوات نوعية تساعدك على فهم سبب حدوث الإجراء. إنها تسمح لك بمعرفة ما كان يفعله المستخدم والحصول على مزيد من الأفكار حول أفعاله.

(عادةً ما تفشل الاختبارات إما بسبب سوء التنفيذ أو فهم الجمهور ، ولا يمكننا حلها إلا من خلال رؤية الخطأ الذي حدث).

للحصول على رؤى أعمق ، قم بإعداد Hotjar - Convert التكامل وجرب التكتيكات أدناه.

تتبع مدى المسافة التي يقرأها المستخدم

أضف أداة خريطة التمثيل اللوني إلى صفحتك لمعرفة ما إذا كان جمهورك يصل إلى حد CTA الخاص بك. إذا لم يكن الأمر كذلك ، فيمكنك تشغيل الاختبار مرة أخرى ونقل CTA إلى أعلى الصفحة.

تتبع ما ينقر عليه المستخدمون ، لكن لا يجب عليهم ذلك

هل ينقرون على CTAs الإستراتيجية أم أنه نص عشوائي يعتقدون أنه قد يكون رابطًا بدلاً من ذلك؟

شاهد تسجيلات الشاشة لترى ما لا ينقرون عليه ، لكن ينبغي

ألا ينقرون على زر الحث على اتخاذ إجراء على الرغم من قيامهم بالتمرير بعيدًا بما يكفي لرؤيته؟ هل ينقرون لكنه لا يفتح؟ هل يرونه ولكنهم لا يدركون أنه زر يتم النقر عليه؟

يمكنك مشاهدة كل هذا وحتى إضافة ملاحظات عند ظهور هذه الأشياء.

لا يقتصر الأمر على أدوات تخطيط الحرارة وتتبع النقرات التي يمكن أن تساعد.

قم بتشغيل استطلاعات الرأي لجمهورك

تساعدك الاستطلاعات ليس فقط في الحصول على تعليقات حول السبب الذي دفع جمهورك إلى اتخاذ إجراء (أو منعهم) ولكن أيضًا تعطيك اللغة التي يستخدمها لوصف ذلك.

في كتابة الإعلانات ، نطلق على هذه اللغة "لغة المرآة" وهي فعالة بشكل لا يصدق في التواصل مع المستخدم. يبدو أنك لا تتعرف على مشكلتهم فحسب ، بل تفهمها بشكل أفضل من أي شخص آخر ، كما تصفها بنفس الكلمات التي يستخدمونها.

طريقتان رائعتان لاستخدام الاستطلاعات جنبًا إلى جنب مع أداة اختبار A / B الخاصة بك هما:

• الخروج من استطلاعات الرأي . حدد أولئك الذين لا يأخذون الإصدار الجديد ، حتى تتمكن من معرفة ما الذي منعهم.
  
  هل هناك سبب لعدم الاشتراك / الشراء اليوم؟

• استطلاعات الرأي بعد الشراء / التحويل. ابحث عن أولئك الذين يأخذون البديل ومعرفة ما إذا كانت هناك أي نقاط شائكة وعوامل محفزة.
  
  ما الذي دفعك لاتخاذ إجراء اليوم؟ " هل كان هناك أي شيء كاد يمنعك من اتخاذ القرار؟

يمكنك حتى إجراء استطلاعات مماثلة على عنصر التحكم إذا كنت تريد المزيد من المعلومات. سيساعدك كل هذا على فهم كيفية أداء الاختبار حتى تتمكن من التكرار والتحسين.

بالحديث عن هذا الموضوع…

الخطوة رقم 5: تعلم من خسارة الاختبارات

أهم شيء عندما يتعلق الأمر بالحصول على اختبار خاسر هو أن تتعلم شيئًا من النتيجة. لا يوجد شيء مثل الاختبار السيئ طالما يمكنك الاستفادة منه لتحسين أو فهم جمهورك بشكل أفضل.

اختبار A / B هو عملية تفاعلية. نفشل إلى الأمام بينما نكتسب التفاهم. يمكنك في كثير من الأحيان أن تتعلم أكثر بكثير من إجراء اختبار خاسر للفائز أكثر من مجرد الحصول على فائز على الفور.

حتى الآن قمنا بعمل 3 أشياء:

• التأكد من دقة بيانات الاختبار ،
• النظر في النتائج الأولية لأية مشاكل ، و
• محاولة فهم مستخدمينا وأفعالهم.

هذه الخطوة هي أكثر من نهج إرشادي لمساعدتك على فهم المشكلات الشائعة التي يمكن أن تسبب فشلًا (بافتراض أن بيانات الاختبار دقيقة وأن أزرار الحث على اتخاذ إجراء تعمل جميعها) وتحليل نهجك وفرضيتك.

هل كانت فرضيتك خاطئة أم كان اختبارك غير متوافق؟

هذه مشكلة شائعة ، خاصة بين المختبرين الجدد.

هل أجريت اختبارك لبعض مقاييس أو أفكار "woo woo" التي لم تتماشى مع مؤشر أداء رئيسي حقيقي؟

مثال

لنفترض أنك تريد المزيد من المبيعات من صفحة ما ، ولكن لسبب ما ، قررت اختبار التعديلات على أزرار المشاركة الاجتماعية بدلاً من ذلك. (على الرغم من أنه ليس لديك أي بيانات لإظهار أن المزيد من المشاركات الاجتماعية تؤثر على مبيعاتك).

يبدو الأمر مجنونًا ولكنك ستندهش من عدد المرات التي يحدث فيها شيء كهذا.

اسال نفسك:

هل يتوافق هدفي الاختباري مع مؤشر أداء رئيسي أساسي وبطريقة يمكن أن تؤثر عليه؟

إذا لم يحدث ذلك ، فلا بأس بذلك ، ولكن تأكد من محاذاة الاختبار التالي بشكل أفضل.

نفشل ، نتعلم ، نحاول مرة أخرى.

مع اختبارك التالي ، تأكد من التركيز على مقاييس KPI الأساسية الخاصة بك وكيف يمكنك التأثير عليها ، وكذلك إعطاء الاختبار سيناريو فوز / فشل واضح.

نريد أن تحصل هذه الصفحة على المزيد من العملاء المحتملين ، لذلك نحن نختبر الشيء الذي يدفعهم إلى الاشتراك ، مما يعني أننا نريد إنشاء CTA أفضل.

أو

نريد أن تحصل هذه الصفحة على المزيد من العملاء المحتملين ، ووجدنا أن المستخدمين لا يقومون بالتمرير إلى أبعد من CTA ، لذلك نحن نختبر رفعها إلى أعلى الصفحة.

إن مواءمة اختبارك مع هدفك سيجعلك على الطريق الصحيح ، ولكن حتى ذلك الحين ، قد لا ترى المزيد من التحويلات ...

كانت الفرضية صحيحة وتمت مواءمة الاختبار ، ولكن لم يكن هناك تغيير في النتائج

يمكن أن يحدث هذا 90٪ من الوقت وهذا هو سبب فشل معظم الاختبارات.

مثال 1

تظهر بيانات المستخدم الخاصة بك أن المستخدمين لا يثقون في موقعك بما يكفي. لقد أضفت عوامل ثقة مثل الدليل الاجتماعي وشهادات المستخدم وشهادات SSL ، لكن التحويلات لم تزد بعد.

هل هذا يعني أنه يجب عليك التوقف ومحاولة اختبار أو زاوية جديدة؟

لا على الاطلاق…

قد تكون فرضيتك الأولية صحيحة ، لكن اختبارك يحتاج فقط إلى التحسين أو التنفيذ بشكل أفضل قبل أن تتمكن من رؤية أي تأثير.

يمكنك محاولة إضافة المزيد من عوامل الثقة أو حتى التحرك حول العوامل التي لديك حتى تبرز أكثر. ربما أعد صياغة اللغة المستخدمة فيها لمساعدتهم على التواصل مع جمهورك بشكل أفضل.

لا تزال كل هذه الأشياء تتماشى مع الفرضية الأولية ، ما عليك سوى اختبار المزيد من الإصدارات للعثور على الفائز.

المثال رقم 2

أجرت CXL 6 حملات اختبارية مختلفة على هذه الصفحة المقصودة للحصول على المزيد من العملاء المحتملين لشهادات سائق الشاحنة.

لقد رفعوا معدل الاشتراك من 12.1٪ إلى 79.3٪ جميعًا من الاستمرار في تحسين الصفحة.

(استغرقت جميع الحملات الاختبارية تقريبًا عدة محاولات باستخدام نفس الفرضية قبل أن ترى تأثيرًا. وبعد ذلك فقط ، انتقلوا واختبروا لتحسين العناصر الأخرى على الصفحة.)

اختبار A / B هو عملية تكرارية. يجب عليك الاستمرار في الاختبار والتعديل للعثور على التحسينات ، وحتى الأفضل في العمل قد يجد فائزًا بنسبة 10٪ فقط من الوقت.

إذا كنت من الناحية النظرية مؤسسة وكان كل اختبار أجريته ناجحًا ، فسيكون هذا في الواقع علامة حمراء في رأيي.

يبدو الأمر غير منطقي ولكنه يظهر لي أنك تختبر أشياء واضحة فقط ولا يتم أخذ مخاطرة كافية لتحريك الإبرة حقًا .

ديبورا أومالي ، خمن الاختبار

من الرائع دائمًا التعلم من الأفضل ونحن متحمسون لمشاركة المقابلة التي أجريناها مع ديبورا. تحدثنا عن سبب عدم فشل الاختبارات أبدًا وعن أهمية امتلاك العقلية الصحيحة في الاختبار. لمساعدتك على البدء في القدم اليمنى ، استمع إلى مقابلتنا هنا.

هذا يعني أنك قد تحتاج إلى 9 اختبارات قبل أن ترى ارتفاعًا إيجابيًا ، لذا التزم بها.

يجب أن تتبع اختباراتك نظام الأولوية الأكثر تأثيرًا إلى الأقل. من خلال إجراء المزيد من الاختبارات والتغييرات لتحسين حملتك الحالية ، ستلاحظ تأثيرًا أكبر بكثير من القفز إلى اختبار أهمية أقل لأنك لا ترى نتائج فورية مع حملتك الحالية.

وإذا كان لا يزال لا يرى مصعدًا بتغييرات أصغر ، ففكر في إجراء اختبار مبتكر حيث تقوم بتشغيل تصميم مختلف.

يمكن أن يكون بمثابة أرجوحة للسياج ولكن في بعض الأحيان يمكن أن يكون التغيير الذي تحتاج إلى القيام به.

ماذا لو كان البديل لا يزال خاسرًا بعد كل هذه الاختبارات والتعديلات؟

لذا فإن البيانات صحيحة وقد جربت كل قرص وقمت بإجراء تغييرات كبيرة ومبتكرة على الصفحة بأكملها وما زالت لن تؤدي بشكل أفضل من عنصر التحكم.

قد لا يبدو الأمر كذلك ، لكن هذا في الواقع أمر جيد.

لماذا ا؟

لأنك اكتشفت ما لا يصلح مع جمهورك!

تقوم العديد من مواقع الويب بإجراء تغييرات كاسحة ضخمة دون اختبار أي شيء وقم فقط بطرحه بغض النظر.

اسأل نفسك هذا:

إذا تم تحويل متغير هذه الصفحة بنسبة 1٪ فقط أسوأ من التحكم الحالي ، فما مقدار الأموال التي وفرتها عن طريق اختبار هذا أولاً وعدم طرحه؟

Back in 2014, Marks and Spencer decided to update their entire website without testing it with a sample audience first.

النتائج؟

Their online sales dropped by 8.1% in 3 months, causing a loss of $55 million.

This is why testing and finding losers is a really good thing because even losing tests can save you money.

What if the Test and the Variant Have Identical Results?

You checked everything, it all works, you've segmented down and gone into the nitty-gritty, but there's just no discernible difference between your current page and your new variant.

You've even tried complete page overhauls but through some fluke of math, your new page still converts at the same rate as the old one.

In this case, it's simply the dealer's choice.

Does the new variation more actively represent your brand and style?

If so, choose whichever you wish to use. The results are still the same but you are happier with the design.

Note: This should be the only time that you do this. Branding should not sacrifice results; it should aid them, as seen in the previous example.

Step #6: Double Down on Winners and Continue to Improve Them

So far we've been covering losing campaigns, but what if you got a winner right out of the gate?

First off, congratulations!

Second, let's make sure you actually have a winner. Oftentimes, things can happen to affect your results and give you a false positive (ie we think it's a winner but we implement it and nothing happens.)

Go ahead and run the test again with just your control and the winning variant and prove the lift in results first before you make any changes to your site.

Then if it really is a winner? Don't stop there, continue to improve it!

Iterative improvements of a new winning campaign are the easiest new test to run. With each new improvement, you'll see more ongoing ROI. You can even take what you learned with your winning test and then roll it out across similar pages on your site for further tests and see if it also adds lift there too.

Step #7: Create a Learning Repository for Future Tests

This step is relevant to both winning and losing tests.

Not only will it help you with future tests, but it will also help your QA team diagnose any broken campaigns faster, as they can see where issues have appeared in the past.

Better still?

It will help you document your results for clients or your boss, while also standardizing your reporting processes and ramping up your test velocity.

وإليك كيف يعمل:

You're going to create a master archive or learning repository of all past tests. A place to document your previous wins and losses that you can use to both reference for new campaigns and share with stakeholders or customers.

You can use a folder on your computer for this, but, if you really want to get organized, there's a great tool called GrowthHackers experiments.

Its main goal is to help marketing growth teams communicate and organize campaigns, but you can easily use it to manage your CRO testing and learnings. It will even pull in results from your test tool and allows you to archive each test. (You can simply tag and then add them to the repository.)

Whatever you decide to use, here are some best practices:

Organizing Your Tests

You probably have your own naming conventions but if you're just starting, I recommend naming each test like so:

“Goal – Campaign – Test Date”

فمثلا:

“CTR lift test – XYZ client – March 1st-14th 2021”

This way, you can organize tests by goals to get inspiration for future tests, search through and find them for client campaigns, or look back on your experiments month by month.

Then, if you wanted to run a CTR test later on, you can swipe through them and see what ideas worked or failed in the past.

How Do We Create Documents for the Learning Repository?

Feel free to add screenshots of your testing tools graphs, confidence, and power level or any data that you think is relevant.

However, I highly recommend creating a slide with the following information:

• The hypothesis and how you came up with the idea (any survey data or information).
• A headline with the test goal.
• A screenshot of the control, the winning variant, and any other failed versions/tests that got some lift but not as much. (Highlight the key elements so you can spot what changed without having to look too hard.)
• Add the micro goal and its percentage lift. (Perhaps 3.2% CTR)
• Then add the macro goal and its percentage lift. (AVG order value up 2.2%, etc.)

هذا مثال:

You can use these slides to present the test information to anyone else who needs them, while also having a simple file to understand the test at a moment's notice.

Pretty handy, right?

Now that you've analyzed your test and recorded the results, let's walk you through how to present this to your boss in a way that even if the test failed, they're still happy to see your findings…

How To Present This Information To Your Boss (Even When Your Campaigns Failed)

Don't worry if you feel anxious about this, you're not alone. In fact, according to CXL's state of the industry report, presenting test information or getting buy-in from your stakeholders is consistently one of the biggest struggles CROs face.

We've covered the best ways to communicate this information before, but I want to give you a few extra tips on how to get your test results across (even if your test failed).

Tip #1: Get Everyone On Board With CRO and Its Realities as Soon as Possible

Ideally, you covered this when you first broached the topic of running A/B tests but it never hurts to recap.

Make sure they understand that A/B testing is a continual learning process that's more about understanding your audience and improving their experience. The lift in ROI is simply a byproduct of taking action on each test and implementing what you learn, regardless of if it wins or fails.

Winners give lift and losers give insight into where to improve.

No test is ever wasted but the majority of them do fail. You're looking at roughly 1/10 winners for most people's tests and agencies are around 1/4.

Be clear on how many tests fail and the need to run more tests to find winners.

Tip #2: Present the Information as Simply as You Can

Not everyone can read graphs easily. Even if they can, it still means that it takes effort to understand the context of what they are seeing.

The more effort it takes to understand something, the more frustrating it can be and can cause you to lose the other person's attention.

(Top tip for landing pages btw ^^)

Break it down nice and simple by using the slides from your learning repository.

It should already include:

• ما تعلمته مسبقًا وكيف توصلت إلى فكرة الاختبار.
• ماذا اختبرت. أظهر عنصر التحكم والاختلافات والفائز.
• كيف عملت على المستوى الجزئي والكلي. قم بتضمين النتائج.

Finally, add any insights you drew from tests to decide on your next important action to take. (Improve execution, test new variations, new hypothesis, etc.)

Providing insight into what happened is HUGE.

يهتم رئيسك بما تعلمته أكثر من النتائج ، حيث يمكن التصرف بناءً عليه. ستساعدهم مشاركة ذلك وإعطاء أفكار حول ما يجب فعله بعد ذلك على رؤية أنك تتحكم في الموقف ومساعدتهم على الشعور بالثقة بشأن المزيد من الاختبارات.

نصيحة رقم 3: اجعلها تبدو جيدة

خذها خطوة إلى الأمام وأضف البيانات التي يهتمون بها:

• إذا فشل الاختبار ، فقم بإعطاء نظرة ثاقبة عن سبب اعتقادك أنه فشل . أضف عائد الاستثمار الذي تم حفظه من خلال عدم طرح الاختبار الفاشل وكيف سيؤثر على MRR و ARR.
• إذا فازت ، فقم بإعطاء نظرة ثاقبة حول عائد الاستثمار وكيف يؤثر ذلك على الإيرادات السنوية / MRR و ARR ، جنبًا إلى جنب مع أي فرصة لتوسيع نطاقها والحصول على مزيد من الارتفاع في عائد الاستثمار. (على سبيل المثال ، ربما تكون قد اختبرت صفحة التقاط عميل محتمل ورأيت ارتفاعًا عند التغيير والتبديل في التخطيط. قد يكون لديك 30 صفحة أخرى مماثلة يمكنك تطبيق هذا الاختبار عليها والتي قد تشهد ارتفاعًا محتملاً.)
• إذا كان الاختبار مسطحًا ، فقم بمشاركة الأفكار حول ما تعتقد أنه حدث وماذا تفعل بعد ذلك. (تنفيذ أفضل ، متغير جديد ، تغيير كلي ، أو اختبار أفضل توافقًا ، إلخ.)

بالتأكيد ، فإن تأثير ARR + MRR ، أو التأثير السنوي هو تقدير تقريبي ، لكنه يُظهر التأثير المحتمل والقيمة للاختبار الخاص بك. هذا ما يهتم به رئيسك في العمل وما قد يفكر فيه على الأرجح عندما يرون نتائجك.

صدقني ، عندما تقدم معلوماتك مثل هذه ، ستلاحظ أن الأمر أسهل بكثير. تنتقل من تأطير الاختبار على أنه "أموال مفقودة" أو مضيعة للوقت إلى التركيز بدلاً من ذلك على المدخرات المحتملة والأرباح الفعلية والنمو الإضافي المحتمل.

ليس ذلك فحسب ، بل ستتمكن أيضًا من إثبات القيمة في إجراء المزيد من الاختبارات ، وإنضاج جهود CRO الخاصة بك ، وزيادة سرعة الاختبار.

استنتاج

ها أنت ذا.

الآن ، يجب أن تشعر بثقة أكبر في كيفية تحليل نتائج اختبار A / B والتعلم منها ، وأن تكون قادرًا على تقديم هذه المعلومات إلى رئيسك في العمل أو أي شخص آخر ، بغض النظر عن أداء اختباراتك.

ما عليك سوى اتباع هذا الدليل لتبسيط تحليل ما بعد الاختبار لكل اختبار أ / ب جديد تقوم بإجرائه!