عدم تطابق نسبة العينة (SRM): دليل كامل مع حلول لحالات العملاء

ما هو أسوأ من الاختبار الفاشل؟

اختبر مشكلات جودة البيانات التي تجعل نتائج الاختبار غير موثوقة.

لكن كيف يمكنك الابتعاد عن البيانات السيئة؟

يعد التحقق من عدم تطابق نسبة العينة (SRM) طريقة بسيطة للتعرف على المشكلات المحتملة مبكرًا. إذا كان هناك شيء مريب ، فكلما اكتشفت ذلك ، كان ذلك أفضل.

تابع القراءة لمعرفة المزيد حول عدم تطابق نسبة العينة ، وكيفية اكتشافه ، وكيف يؤثر على اختباراتك ، وما هي منصات اختبار A / B التي تأتي مع فحوصات SRM (حتى لا تضطر إلى الاحتفاظ بجدول بيانات على الجانب) .

ما هو عدم تطابق نسبة العينة (SRM)؟

يحدث عدم تطابق نسبة العينة ، أو SRM ، في اختبار A / B عندما لا يتطابق العدد الفعلي للعينات (أو الزوار في مجموعة العلاج) مع ما كان متوقعًا.

دعنا نوضح هذا بمثال.

لنفترض أن موقع الويب يستقبل حوالي 15 ألف زائر في الأسبوع. لدينا 3 أشكال مختلفة ، الأصلية (وهي الصفحة التي لم تتغير) و 2 صيغ مختلفة. ما مقدار حركة المرور التي تتوقع أن يتلقاها كل واحد إذا تم تخصيص حركة المرور بشكل متساوٍ؟ في عالم مثالي ، ستكون الإجابة هي أن كل تغيير يجب أن يستقبل 15000/3 = 5000 زائر.

الآن ، من المستبعد جدًا أن يستقبل كل شكل 5000 زائر فعليًا ، لكن عددًا قريبًا جدًا من ذلك ، مثل 4982 أو 5021. هذا الاختلاف الطفيف أمر طبيعي ويرجع إلى العشوائية البسيطة! ولكن إذا كان أحد الأشكال سيستقبل 3500 زائر والآخرون حوالي 5000 ، فقد يكون هناك خطأ ما في ذلك!

بدلاً من الاعتماد على حدسنا لتحديد هذه المشكلات ، يمكننا إجراء اختبار SRM بدلاً من ذلك. يستخدم اختبار ملاءمة Chi-square لإخبارنا ، على سبيل المثال ، ما إذا كان 4850 أو 4750 زائرًا ، مقارنة بالعدد الآخر من الزوار الذين تم استقبالهم ، "عاديين" أم لا!

من الناحية الإحصائية ، يقارن اختبار التوافق الجيد Chi-square على عدد العينات المرصود بالعينات المتوقعة. وإذا كان هناك فرق حقيقي ، فستكون القيمة p أدنى من مستوى الأهمية المحدد 0.01 ، والذي يتوافق مع ثقة بنسبة 99٪.

هل يحتوي اختبار A / B الخاص بك على SRM؟ كيف تحسب عدم تطابق نسبة العينة؟

في اختبار A / B ، يمكن أن يكون SRM مغفلًا حقيقيًا ، مما يتسبب في نتائج غير دقيقة واستنتاجات مضللة. الخبر السار هو أن هناك أدوات يمكن أن تساعدك على تجنب الصداع.

باستخدام جداول البيانات

تعد جداول البيانات أبسط طريقة لحساب SRM نظرًا للتوافر الواسع لبرنامج Microsoft Excel و / أو منتجات Google.

دعنا نريك مثالا آخر.

سنقوم بحساب SRM لاختبار A / B مع تقسيم حركة المرور بنسبة 50/50 وأعداد الزائرين الملحوظة من 214،598 و 241،156 للأصل والتباين ، على التوالي.

سنستخدم اختبار Chi-squared لمعرفة ما إذا كان تقسيم حركة المرور المرصود يتطابق مع تقسيم عدد الزيارات المتوقع. في حالة عدم حدوث ذلك ، سترغب في معرفة ما إذا كانت القيم الملاحظة تختلف بشكل كافٍ عن القيم المتوقعة لإثارة القلق وتضمن تجاهل النتائج.

ستحتاج إلى استخدام الدالة CHISQ.TEST في جدول البيانات لحساب القيمة p ، كما هو موضح في جدول البيانات أدناه.

في مثالنا ، القيمة p هي 0. مع قيمة p أقل من 0.05 ، لديك SRM في يديك وأدلة كافية لرفض نتائج الاختبار في معظم الحالات.

استخدام حاسبات عدم تطابق نسبة العينة عبر الإنترنت

1. يمكن أن تساعدك حاسبة التحويل في تشخيص عدم تطابق نسبة العينة كما تخبرك أيضًا بالوقت الذي تحتاجه لانتظار انتهاء تجربتك!
   

   

2. آلة حاسبة أخرى خاصة بـ SRM على الإنترنت هي تلك التي صممها Lukas Vermeer. تحسب هذه الطريقة SRM بنفس طريقة الأسلوب السابق ، لذلك إذا اتبعت العملية وفهمتها ، يجب أن تكون قادرًا على استخدام حاسبة SRM عبر الإنترنت. ما عليك سوى ملء الأرقام الخاصة بالعينات وستظهر النتيجة على هذا النحو
   

   

كيف تؤثر SRM على اختبارات A / B؟

من المحتمل أنك نظرت إلى تقسيم عدد الزيارات بين المتغيرات أثناء التجربة وتساءلت عن مدى دقتها.

ربما يشبه التقرير أدناه. قد تنظر إليها وتتساءل عما إذا كان من الطبيعي أن يكون لدى Original 1330 زائرًا ولكن Variation 1713.

سيخبرك الحساب الإحصائي القصير لنسبة SRM (باستخدام أي من الطريقتين المذكورتين أعلاه) ما إذا كانت نسبة التباين مقبولة أم لا.

هل التقسيم الفعلي بين الصيغتين (الأصل والتباين 1) يتوافق مع القيم المتوقعة؟ إذا لم يكن الأمر كذلك ، فيجب عليك رفض البيانات وإعادة تشغيل الاختبار عندما تحل المشكلة.

هل تؤثر SRM على كل من نماذج الإحصائيات المتكررة و Bayesian؟

نعم.

أسباب SRM لها تأثير مماثل على صحة نتائج التجربة سواء تم تحليل البيانات باستخدام نهج Bayesian (Google Optimizely أو VWO أو A / B Tasty) أو المتكرر (تحويل التجارب والعائد الديناميكي).

لذلك يمكن أيضًا استخدام حاسبات SRM أعلاه للتحقق من SRM على الأنظمة الأساسية التي تستخدم إحصائيات Bayesian.

متى يجب أن تأخذ في الاعتبار SRM؟

لا يعني العثور على عدم تطابق في نسبة العينة في اختباراتك بالضرورة أنك بحاجة إلى تجاهل النتائج.

إذن متى يكون من الضروري حقًا أخذ حساب SRM على محمل الجد؟

دعنا نتعرف على بعض الأمثلة.

مثال 1

تقوم بتشغيل تجربة حيث يتم تعيين 50٪ من المستخدمين لكل من "الأصل" و "الشكل". لذلك ، تتوقع أن ترى عددًا متساويًا من المستخدمين في كل منها.

النتائج تعود كما

• التحكم: 21.588 مستخدم
• العلاج: 15482 مستخدما

دعنا نضعهم في مدقق SRM:

هل هذه القضايا للإهتمام؟

قيمة p لنسبة العينة أعلاه هي <0.0001 ، لذا فإن احتمال رؤية هذه النسبة أو نسبة أكثر تطرفًا ، في ظل تصميم يتطلب نسبًا متساوية ، هو <0.0001!

يجب أن تكون قلقًا تمامًا من وجود خطأ ما ، لأنك لاحظت للتو حدثًا غير مرجح للغاية. لذلك ، من المرجح أن يكون هناك بعض الأخطاء في تنفيذ التجربة ويجب ألا تثق في أي من النتائج.

المثال رقم 2

تقوم بتشغيل تجربة أخرى ، حيث يتم تعيين نسبة متساوية من المستخدمين إلى "الأصل" و "الشكل". أنت تحسب القيمة الاحتمالية ، وهي <0.002 ، لذلك حدث بعيد الاحتمال.

كيف يمكن أن تكون المقاييس؟ هل عليك حقًا تجاهل النتائج؟

باستخدام منصة تجريبية مثل Convert Experiences ، يمكنك تطبيق بعض تجزئة الاختبار اللاحق على النتائج ومعرفة أنه إذا قمت باستبعاد مستخدمي Internet Explorer ، فإن SRM قد اختفت.

في هذه الحالة ، غالبًا ما يستخدم المستخدمون المستبعدون متصفح IE القديم ، والذي كان سبب SRM ؛ لم يتم تصنيف الروبوت بشكل صحيح بسبب بعض التغييرات في التباين ، مما تسبب في عدم تطابق النسبة.

بدون المقطع ، تتم موازنة النسبة المئوية المتبقية من المستخدمين بشكل صحيح وتظهر المقاييس طبيعية.

لو لم يتم اكتشاف SRM ، لكانت التجربة بأكملها تعتبر فشلًا كبيرًا.

ولكن بمجرد اكتشاف SRM ، يمكن إزالة جزء صغير ، واستخدام التجربة للتحليل المناسب.

في سيناريو مشابه ، يمكنك تجاهل المستخدمين المستبعدين بأمان ويمكن استخدام التجربة .

المثال رقم 3

تقوم بإجراء تجربة وتكتشف أن هناك علامة SRM في الاختبار الخاص بك.

ومع ذلك ، إذا انتبهت إلى الرسوم البيانية الخاصة بك ، فستلاحظ أن منحنيات معدل التحويل تظل متوازية وأن الثقة المحسوبة هي 99.99٪. يجب أن يوفر لك هذا النمط يقينًا كافيًا بأن الاختبارات صالحة.

في هذه الحالة ، يمكنك تجاهل SRM بأمان والاستمرار في الوثوق ببياناتك .

أين يجب عليك التحقق من وجود SRM؟

هناك عدد قليل من المجالات التي يمكن أن تحدث فيها SRM. دعنا نلقي نظرة على تصنيف لوكاس فيرمير للأسباب:

1. تعيين التجربة - قد يكون هناك حالة من الحاوية غير الصحيحة (يتم وضع المستخدمين في مجموعات غير صحيحة) ، أو وظيفة عشوائية خاطئة ، أو معرفات مستخدم تالفة.
2. تنفيذ التجربة - قد تكون الاختلافات قد بدأت في أوقات مختلفة (تسبب تناقضات) ، أو قد يكون هناك تأخيرات في تنفيذ الفلتر (تحديد المجموعات التي تخضع للتجربة).
3. Experiment Log Processing - تقوم الروبوتات التلقائية بإزالة المستخدمين الحقيقيين ، وتأخير وصول المعلومات إلى السجلات.
4. تحليل التجربة - التشغيل الخاطئ للاختلاف أو البدء به بشكل غير صحيح.
5. تدخل التجربة - قد تتعرض التجربة لهجمات واختراقات ، أو قد تتداخل تأثيرات تجربة أخرى جارية مع التجربة الحالية.

إذا كان لديك SRM ولم تكن متأكدًا من المكان الذي تبحث فيه عن إجابة ، فإن التصنيف أعلاه يعد مكانًا قيمًا للبدء.

ولتوضيح الأمور ، سنقدم لكم الآن مثالاً من الحياة الواقعية لكل حالة من هذه الحالات.

تعيين التجربة

إليك أحد الأشياء الأكثر إثارة للاهتمام التي يجب مراقبتها وهي وظيفة التوزيع العشوائي التي تستخدمها منصة اختبار A / B.

في المثال أدناه ، اكتشف علماء البيانات في Wish مشكلات SRM في اختبار A / A ، وبعد تحقيق طويل ، خلصوا إلى أن SRM نشأ لأن التوزيع العشوائي لم يكن عشوائيًا تمامًا.

لتحقيق نتائج تجربة صحيحة ، فإن إجراء التوزيع العشوائي أمر بالغ الأهمية.

من الافتراضات الحاسمة للاختبارات الإحصائية المستخدمة في اختبار A / B هو استخدام العينات العشوائية. بين دلاء التجربة ، يوازن التوزيع العشوائي كلاً من سمات المستخدم المرصودة وغير المرصودة ، مما ينشئ علاقة سببية بين ميزة المنتج قيد الاختبار وأي اختلافات في النتائج في نتائج التجربة.

تنفيذ التجربة

عندما يتعلق الأمر بتنفيذ التجربة ، هناك سببان رئيسيان يمكن أن يتسببان في حدوث SRM في تجاربك.

1. لم يتم تثبيت البرنامج النصي بشكل صحيح على أحد الأشكال

تحقق دائمًا مما إذا كان البرنامج النصي الخاص بمنصة اختبار A / B مثبتًا بشكل صحيح على النص الأصلي والاختلافات.

قام فريق دعم العملاء لدينا مؤخرًا بحل حالة لم تتم إضافة نص التحويل إلى أحد الأشكال المختلفة ، مما تسبب في اختبار SRM.

تأكد من إضافة البرنامج النصي في جميع الصفحات التي تريد تشغيل التجربة عليها ، كما هو موضح أدناه:

2. تم تكوين استهداف الصفحة بشكل غير صحيح

في هذه الحالة ، يكون عدم تطابق SRM بسبب إعداد استهداف الاختبار بشكل غير صحيح.

في حالة الإعداد الخاطئ ، يتم تحديد بعض الزائرين لإعادة توجيههم إلى الشكل ، ولكن تفشل عملية إعادة التوجيه ، على الأرجح لأن تعبير عنوان URL الأصلي لا يتطابق مع كل عنوان URL لجميع الزائرين الذين تم جمعهم في الاختبار وإعادة توجيههم.

لتجنب ذلك ، أعد تكوين تعبيرات عناوين URL لأشكال التجربة وأعد تشغيل الاختبار.

في ما يلي سيناريوهان إضافيان يوضحان لك كيفية إعداد استهداف صفحتك باستخدام تحويل التجارب لتجنب SRM في اختبارات عنوان URL المقسم.

السيناريو 1: استهدف الصفحة الرئيسية فقط (https://www.convert.com) باستخدام عنوان URL المنقسم وقم بتمرير جميع معلمات الاستعلام التي قد يمتلكها الزائرون

هنا ، في منطقة الموقع ، يجب أن يتطابق عنوان URL للصفحة تمامًا مع https://www.convert.com. في قسم الاستبعاد ، يجب أن تحتوي سلسلة الاستعلام على v1 = true حتى تتجنب أي عمليات إعادة توجيه (لأن شروط التجربة ستستمر في التطابق إذا انتهى بك الأمر إلى https://www.convert.com؟ v1 = true وحركة المرور قد ينتهي الأمر بالتوزيع غير المتكافئ).

بعد ذلك ، عندما تحدد أشكالك ، احتفظ بها على النحو التالي:

السيناريو 2: استهداف جميع الصفحات ، وليس الصفحة الرئيسية فقط (https://www.convert.com) ، باستخدام عنوان URL المنقسم وتمرير معلمات الاستعلام

هنا ، تحتاج إلى تحديد منطقة الموقع الخاصة بك باستخدام "عنوان URL للصفحة" الذي يحتوي على https://www.convert.com . في قسم الاستثناءات ، يجب أن يحتوي الاستعلام على v1 = true.

عند تحديد التباينات ، استخدم وصفة regex أدناه لالتقاط كل الصفحات:

التجربة معالجة سجل

هنا ، كسبب رئيسي لـ SRM ، نحدد الروبوتات التي يمكنها استهداف تجربتك. يمكنك الاتصال بنا للتحقق من السجلات الإضافية التي نحتفظ بها إذا تمكنا من العثور على أي أنماط غير عادية في وكلاء المستخدم.

على سبيل المثال ، ساعد فريق الدعم لدينا عميلًا كان اختباره له SRM.

في حالتهم ، عندما قمنا بتصفية التقرير بواسطة Browser = Other ، رأينا انقسامًا غير متساوٍ و SRM. ولكن عندما قمنا بتصفية نفس التقرير بواسطة المتصفح = Chrome + Safari ، لم يتم اكتشاف SRM ، ولا توزيع غير متساوٍ.

لذلك ، تحققنا من حدثين تم تعيين المتصفح فيهما على " أخرى" ، وأظهروا جميعًا وكيل مستخدم "site24x7". علمنا على الفور أن هذا كان نوعًا من برامج المراقبة ، وهو أمر محظوظ لأنه يعلن ويستخدم وكيل مستخدم مميز. إذا كان هذا قد تم إخفاؤه خلف وكيل مستخدم معتاد ، فسيكون من المستحيل العثور عليه.

لحل المشكلة ، تقدمنا ​​وأضفنا وكيل المستخدم هذا إلى قائمة الروبوتات التي نستبعدها من حركة المرور. لسوء الحظ ، قد يكون لهذا التغيير تأثير على البيانات المستقبلية ، بعد اللحظة التي نضيف فيها الروبوت إلى القائمة ، ولكن على الأقل تم العثور عليه وتم إصلاحه.

تحليل التجربة

تؤثر هذه الفئة بشكل أساسي على التجارب التي تم تعيينها باستخدام التشغيل اليدوي.

يحدث هذا على سبيل المثال في تطبيقات الصفحة الواحدة حيث تحتاج إلى الاهتمام بالتحفيز بنفسك.

لذلك ، عندما يتعين عليك القيام بذلك يدويًا باستخدام رمز مشابه للرمز أدناه ، انتبه جيدًا إلى SRMs المحتملة في الاختبار الخاص بك.

 window._conv_q = _conv_q || [] ؛
window._conv_q.push (["تشغيل"، "صحيح"])؛

تدخل التجربة

يشير هذا إلى تدخل المستخدم حيث يتم إيقاف أحد المتغيرات مؤقتًا أثناء التجربة. تخيل أن لديك اختبار Split URL قيد التشغيل لبضعة أسابيع وإما عن طريق الخطأ أو عن قصد تقوم بإيقاف التباين مؤقتًا وتترك الأصل قيد التشغيل فقط.

بعد ذلك مباشرة ، واعتمادًا على حركة المرور على موقع الويب الخاص بك ، ستلاحظ حساب SRM للاختبار الخاص بك.

في هذه الحالة ، يمكنك إما استبعاد النطاق الزمني عندما تم إيقاف الشكل مؤقتًا أو إعادة تعيين بيانات التجربة.

أسباب عدم التجربة

إذا لم تكشف أي من الفئات المذكورة أعلاه السبب الجذري لـ SRM الخاص بك ، فإننا نقترح عليك إضافة برنامج تتبع الأخطاء على موقع الويب الخاص بك (مثل Sentry) لتحديد المشكلات الأعمق في موقعك.

منصات اختبار A / B التي تدعم تنبيهات SRM

قد تتساءل عن منصات اختبار A / B التي تدعم وظيفة SRM هذه وتعطيك تنبيهات دون الحاجة إلى حسابها بنفسك.

لقد انتهينا من البحث وقمنا بتجميع قائمة بالأدوات.

تحويل الخبرات

اعتبارًا من ديسمبر 2021 ، قدمنا ​​طريقة SRM الخاصة بنا.

إذا كنت مستخدمًا ، فيمكنك تمكين عمليات التحقق من SRM من تكوين المشروع> المزيد من الإعدادات.

ستتمكن بعد ذلك من رؤية علامات SRM في التقارير:

على النحو الأمثل

حل اختبار تسلسلي مفتوح المصدر على النحو الأمثل في سبتمبر 2021 يمكن لأي شخص تنفيذه لاكتشاف SRM.

لقد حولت Optimizely اختبار ssrm إلى خدمة مصغرة خلفية جاهزة للإنتاج يمكن تشغيلها في جميع التجارب الجارية في نفس الوقت.

في صفحة نتائج Optimizely ، يمكنك إعداد التنبيهات والحصول على نتائج في الوقت الفعلي من اختبار ssrm:

يقول مايكل ليندون ، خبير الإحصاء في فريق Optimizely ، أن SRM هي مشكلة نموذجية تحدث عندما يتم إجراء الاختبارات بشكل سيء.

لإجراء تجربة منتج ، هناك حاجة إلى قدر كبير من البنية التحتية ، لذلك قد تكون هناك أخطاء. على سبيل المثال ، إذا لم يتم تجميع زوار موقع الويب بشكل متسق في أحد أشكال التجربة والتحويل في ظل كل من الظروف الأصلية والشروط المختلفة ، فإن البيانات التي تم الحصول عليها لهذا المستخدم غير صالحة لتقييم تأثير التجربة.

الشاغل الرئيسي هو عندما ينتج SRM بيانات غير دقيقة قد تؤثر على مقاييسك ولا يتم اكتشافها.

Adobe Target عبر MiaProva

في أبريل 2021 ، دخلت Adobe Target في شراكة مع MiaProva لتقديم تنبيهات SRM حول أنشطة A / B.

تُعلم هذه التنبيهات عملاء MiaProva الذين يستخدمون Adobe Target عند اكتشاف عدم تطابق. يطبق هذا النهج تلقائيًا اختبار Chi-Squared على كل اختبار A / B مباشر.

كتاب النمو

GrowthBook عبارة عن منصة اختبار A / B مفتوحة المصدر مزودة بمحرك Bayesian Stats وفحوصات SRM التلقائية لكل تجربة.

تبحث كل تجربة عن SRM وتحذر المستخدمين إذا تم التعرف عليها.

عندما تتوقع تقسيمًا معينًا لحركة المرور (على سبيل المثال 50/50) ، ولكن بدلاً من ذلك ترى شيئًا مختلفًا تمامًا (مثل 40/60) ، فإنك تحصل على تحذير. يتم عرض هذا فقط إذا كانت القيمة الاحتمالية أقل من 0.001 ، مما يشير إلى أنه من غير المرجح أن تحدث بالصدفة.

لا ينبغي الوثوق بنتائج مثل هذا الاختبار لأنها قد تكون خادعة ، ومن هنا جاء التحذير. بدلاً من ذلك ، يجب على المستخدمين تحديد مصدر الخطأ وتصحيحه قبل إعادة تشغيل التجربة.

سبليت

Split هي عبارة عن نظام أساسي لتسليم الميزات يقوم بتشغيل إدارة علامة الميزات وتجريب البرامج والتسليم المستمر.

مع كل تحديث حسابي ، تقوم منصة Split بفحص نسبة العينة لمعرفة ما إذا كان هناك فرق جوهري بين نسب العينة المستهدفة والحالية. يمكن العثور على فحص نسبة العينة هذا أسفل ملخص المقاييس الرئيسية والمؤسسة ، إلى جانب التفاصيل المهمة الأخرى مثل المدة وآخر تحديث.

تم إزالة الغموض عن عدم تطابق نسبة حجم العينة

قد تسأل ، كم مرة يكون من "الطبيعي" رؤية SRM؟

قالها لوكاس فيرمير بشكل أفضل. حتى شركات التكنولوجيا الكبيرة تلاحظ تكرارًا طبيعيًا لـ SRMs من 6 ٪ إلى 10 ٪ في تجاربها الخاضعة للرقابة عبر الإنترنت.

الآن ، إذا تكررت SRM بشكل متكرر ، فإن ذلك يستدعي إجراء تحقيق أعمق في تصميم التجربة أو موقع الويب.

فريقنا متاح دائمًا لمساعدتك إذا كنت تواجه مشكلات مثل تلك المذكورة أعلاه! انقر هنا للتواصل مع فريقنا.