كيفية تقليل تلوث حجم العينة للحصول على نتائج اختبار A / B دقيقة

لقد أمضيت ساعات في وضع استراتيجيات اختبارك.

فريقك يخلق فرضية.

تقوم بإجراء الاختبار وتنتظر النتائج.

لكنك وجدت أن اختبارك قد فشل. النتائج كانت ملوثة. ولكن كيف؟

لا تضرب نفسك. هناك سر صغير قذر في عالم الاختبار يسمى تلوث حجم العينة .

يمكن أن يتسبب تلوث عينة الجمهور في القضاء على الاختبارات قبل أن تبدأ.

هناك قائمة طويلة من الأسباب المحتملة لفشل الاختبارات ، ولكن أحد أكثر الأسباب إحباطًا هو تلوث حجم العينة.

ستساعدك هذه المقالة على فهم:

• لماذا يحدث تلوث حجم العينة.
• كيف تعرف ما إذا كان اختبارك ملوثًا.
• الخطوات التي يجب اتخاذها لتقليل حدوث تلوث حجم العينة.

لنلقي نظرة…

حجم العينة 101

تعريف حجم العينة

يمكنك استخدام أدوات مثل حاسبة مدة اختبار A / B الخاصة بـ Convert ، والتي توفر آلة حاسبة لحجم العينة أو آلة حاسبة لحجم عينة CXL.

معظم الآلات الحاسبة عبر الإنترنت سهلة الاستخدام. باستخدام حاسبة التحويل ، ما عليك سوى إدخال ثلاث قيم:

• معدل التحويل الحالي
• التحسن المتوقع
• مستوى الثقة

مثال:

إذا كان معدل التحويل الحالي هو 3٪ والتحسين المتوقع هو 20٪ أثناء اختبار شكلين بمستوى ثقة 95٪ ، فستحتاج إلى حجم عينة يبلغ 42،034 للحصول على نتائج موثوقة. في 2000 زائر يوميًا لمجموعة الاختبار هذه ، سيستغرق الأمر 22 يومًا وفقًا لحاسبة المدة الخاصة بنا.

حدد من سيكون في عينتك

أسهل طريقة للإجابة على سؤال "منظمة الصحة العالمية؟" أو المقطع ، من خلال مراجعة الخصائص الديمغرافية ومصادر زوار موقعك الحاليين. الاستفادة من البيانات الموجودة للحصول على أدلة. من هؤلاء؟ أين يأتون من؟

تسمح لك أدوات مثل تحويل التجارب في الواقع باختبار استخدام شريحة معينة من زوار موقعك على الويب وإنشاء جماهير مخصصة.

يمكن أن تساعدك عدة عوامل في إخفاء "من":

• نوع المرور
  هل تحصل على حركة مرور موسمية؟ هل تتوقع تدفق الزوار بناءً على اقتراب العطلات؟ هل تتقلب أرقام حركة المرور الخاصة بك حسب يوم الأسبوع؟
  
• مصدر المرور
  من أين تأتي حركة المرور الخاصة بك؟ يتصرف الأشخاص بشكل مختلف بناءً على المصدر الذي يدخلون منه إلى موقعك. على سبيل المثال ، قد لا يتفاعل زائر من LinkedIn مع موقعك مثل شخص قادم من Facebook.
  
  افحص Google Analytics للحصول على نظرة عامة على تفاعل الزائر بناءً على المصدر.

• جديد مقابل قديم
  تشير الإحصائيات إلى أن الزائرين العائدين يظلون على موقعك لفترة أطول من الزوار الجدد. فكر في كيفية تأثير ذلك على اختبارك.

الهدف من مرحلة التفكير هذه هو مساعدتك في بناء عينات تمثيلية .

تعرف موسوعة طرق البحث المسحي العينات التمثيلية على النحو التالي:

العينة التمثيلية هي العينة التي تتمتع بصلاحية خارجية قوية فيما يتعلق بالسكان المستهدفين من المفترض أن تمثل العينة. على هذا النحو ، يمكن تعميم نتائج المسح بثقة على السكان المعنيين.

للتأكد من أن لديك عينة تمثيلية ، يقترح تحويل إجراء اختبار لدورة عمل واحدة على الأقل. هذا يضمن أن اختبارك لديه الوقت ليأخذ في الاعتبار تباين الزائرين الذي قد يحدث خلال دورة.

ما هو تلوث حجم العينة؟

الآن بعد أن فهمت حجم العينة ، يمكنك استكشاف العوامل التي يمكن أن تفسد حجم العينة ، وتفسد الاختبار. هذه هي الطريقة التي يؤثر بها حجم العينة على الصلاحية. تُعرف عوامل حجم العينة التي تؤثر سلبًا على نتائج الاختبار باسم تلوث حجم العينة.

يعرّف Invespcro عينة التلوث على النحو التالي:

"... العوامل التي تبطل بيانات اختبار أ / ب من خلال التأثير على العينات أو البيانات المستخدمة أثناء إجراء الاختبار."

هذه المشكلة أكثر شيوعًا. انظر إلى هذه الشكوى:

عينة متحيزة

في معظم الحالات ، تريد أخذ عينات عشوائية ، مما يعني أن كل زائر لموقع الويب الخاص بك لديه نفس الفرصة لرؤية شكل معين قبل جمعه. بمجرد وضعها في دلو ، سيرى المستخدم نفس المتغير طوال مدة الاختبار.

ومع ذلك ، إذا كنت تستخدم أداة اختبار A / B لا تؤدي بشكل جيد التوزيع العشوائي ، فلن يتم ضمان التوزيع العشوائي ويمكن أن يبطل الاختبار.

تتمثل إحدى الطرق البسيطة لمكافحة أخذ العينات المتحيز في استخدام أداة اختبار A / B جيدة مثل التحويل الذي يقوم بإجراء التوزيع العشوائي والتجميع بشكل صحيح. ابدأ الاختبار باختبار A / A للتحقق مما إذا كان التوزيع العشوائي يعمل بشكل صحيح.

يجب أن تكون على دراية بإمكانية تحيز العينة عندما تفكر في تفاصيل اختبارك.

المصادر التي تسبب تلوث حجم العينة

هناك أربعة أنواع شائعة من تلوث العينات وهي التوقيت والجهاز والمتصفح وملفات تعريف الارتباط.

دعونا نلقي نظرة على كل منهم ...

توقيت

يؤثر طول اختبارك على صحة نتائجك. لذا فليس من المستغرب أن "كم من الوقت يجب أن أجري اختبار أ / ب" هو سؤال شائع.

لدى محترفي CRO أفكار متضاربة حول المعيار المقبول. في الواقع ، يجب أن تقود متغيرات الاختبار الخاصة بك الطول المناسب للاختبار الخاص بك.

قد يبدو أن الحل المباشر هو السماح للاختبار بالتشغيل والتشغيل والتشغيل. لكن هذا أيضًا يمكن أن يسبب مشاكل. الوقت المضاف يعني زيادة التلوث المحتمل من العوامل الخارجية.

تريد أن تجد البقعة الحلوة.

هناك خطأ شائع آخر يتعلق بطول الاختبار وهو إيقاف الاختبار مبكرًا جدًا. قد لا يؤدي ذلك إلى تلوث حجم العينة ، ولكنه قد يؤثر سلبًا على اختبارك.

وينطبق الشيء نفسه إذا أوقفت الاختبار عندما وصلت إلى دلالة إحصائية. للحصول على اختبار صالح ، يجب أن يصل أيضًا إلى حجم العينة المحسوب لـ MDE المطلوب (الحد الأدنى من التأثير القابل للكشف).

على نفس المنوال ، لا تتوقف أبدًا عن متغير اختبار التشغيل. سيؤدي هذا إلى تلوث كارثي . لن تتمكن من مقارنة المتغير "المتوقف" بعنصر التحكم "قيد التشغيل في جميع الأوقات". لن يكون لديك أي طريقة لمقارنة "التفاح بالتفاح". لا تتوقف أبدًا ثم أعد تشغيل متغير لاحقًا في الاختبار.

لا تقاطع اختباراتك حتى تصبح البيانات متسقة مع حجم العينة.

تلوث ملفات تعريف الارتباط

قد تتسبب ملفات تعريف الارتباط في أكثر أشكال تلوث حجم العينة خطورة.

بناءً على تعريف techopedia ، فإن ملفات تعريف الارتباط هي:

ملف تعريف الارتباط هو ملف نصي يخزنه متصفح الويب على جهاز المستخدم. ملفات تعريف الارتباط هي وسيلة لتطبيقات الويب للحفاظ على حالة التطبيق. يتم استخدامها بواسطة مواقع الويب للمصادقة وتخزين معلومات / تفضيلات موقع الويب ومعلومات التصفح الأخرى وأي شيء آخر يمكن أن يساعد متصفح الويب أثناء الوصول إلى خوادم الويب. تُعرف ملفات تعريف ارتباط HTTP بالعديد من الأسماء المختلفة ، بما في ذلك ملفات تعريف الارتباط للمتصفح أو ملفات تعريف ارتباط الويب أو ملفات تعريف ارتباط HTTP.

بصفتك مسوقين ، تتيح لك ملفات تعريف الارتباط تتبع سلوكيات الزوار على موقعك.

عمر ملفات تعريف الارتباط متقلب. يمكن للزوار حذفها بأدنى قدر ممكن.

كلما طالت مدة تشغيل الاختبار ، كلما كنت أكثر عرضة لحذف ملفات تعريف الارتباط - مما يؤدي مرة أخرى إلى شكل آخر من أشكال تلوث حجم العينة. للتخفيف من هذه الظاهرة ، تنصح Convert العملاء بإجراء اختبارات لمدة لا تزيد عن 90 يومًا.

تلوث الجهاز

يزور الزوار موقعك من أجهزة متعددة: الهواتف المحمولة وأجهزة الكمبيوتر المحمولة والأجهزة اللوحية وأجهزة الكمبيوتر المكتبية وحتى الساعات الذكية.

فقط فكر في سلوك التصفح الخاص بك. قد تكتشف شيئًا ما على جهازك المحمول أثناء تواجدك في الصالات الرياضية. في وقت لاحق من اليوم ، يمكنك زيارة موقع الويب مرة أخرى على جهاز الكمبيوتر المكتبي الخاص بك.

إذا حدث هذا في حدود اختبار A / B الخاص بك ، فقد يبدو أن شخصين مختلفين قد زارا موقعك بينما هو في الواقع نفس الشخص الذي يتصفح من جهازين مختلفين.

الأمر الأكثر خطورة على جهود الاختبار الخاصة بك هو أن هذا الشخص نفسه قد يرى متغيرًا مختلفًا على كل جهاز.

هناك مثال عكسي لهذا. ماذا يحدث عندما يستخدم شخصان نفس الجهاز لزيارة موقع الويب الخاص بك؟

تخيل أن شقيقين يعيشان في نفس المنزل. يتشاركون جهاز كمبيوتر سطح المكتب. كلاهما يستعدان لقضاء الإجازة ويحتاجان إلى طلب قمصان وأحذية جديدة. إذا كان اختبار A / B قيد التشغيل على موقع التجارة الإلكترونية في وقت زيارتهم ، فستظهر البيانات هذين الشخصين كمستخدم واحد ، مرة أخرى ، مما يفسد حجم عينتك.

تلوث المتصفح

عندما يتصل الشخص العادي بالإنترنت ، فإنه لا يأخذ في الاعتبار التفرع باستخدام متصفحات مختلفة لزيارة نفس موقع الويب في اختبار أ / ب. ولكن الانتقال إلى نفس موقع الويب من متصفح إلى آخر ، مثل Safari ثم Chrome ، يمكن أن يؤدي إلى تلوث مماثل في حجم العينة يحدث مع الأجهزة المتعددة.

ومع ذلك ، فإن هذا النوع المحدد من التلوث نادر الحدوث ، حيث يلتزم معظم الناس باستخدام متصفح مفضل واحد لكل جهاز.

مخاطر جديدة

تعد المتصفحات ونوع الجهاز وملفات تعريف الارتباط وطول الاختبارات أكثر ملوثات حجم العينة شيوعًا ، ولكن يبدو أن هناك ملوثًا جديدًا يدخل المحادثة. يشكو المتخصصون في الصناعة من قيام الروبوتات بتلوث حجم العينة.

لحسن الحظ في برنامج التحويل ، لدينا إجراءات قوية للتخفيف من برامج الروبوت مضمنة في أداتنا حتى لا تكون هذه مشكلة.

نصائح حول كيفية تقليل تلوث حجم العينة

نظرًا لأن تلوث حجم العينة يمثل مشكلة كبيرة ، فقد توصلت العديد من الشركات إلى إصلاحات إبداعية ، مثل وضع المستخدمين في مجموعات مختلفة بناءً على الموقع.

لكن مثل هذه الأساليب يمكن أن تجرد اختبارات "عشوائية المستخدم" ، ويمكن أن تقلل من ثقتك في صحة نتائج الاختبار.

فيما يلي بعض الأشياء التي يمكنك القيام بها لتقليل فرص تلوث العينة:

• قم بتشغيل الاختبار لأجهزة منفصلة.
• قم بإجراء اختبار لمتصفحات منفصلة.
• التعرف على الأنماط. كيف كانت تبدو بياناتك في الماضي؟ يجب أن تكون متشابهة أثناء الاختبار - اتساق البيانات.

إليك بعض الأشياء الأخرى التي يجب وضعها في الاعتبار ...

افهم التباين

يسير التباين والانحراف المعياري جنبًا إلى جنب مع التناسق. في الأساس ، سيخبروك بمدى بُعدك عن متوسط ​​أرقامك. يعني انخفاض التباين أن بياناتك متوافقة مع المتوسط ​​، مما يجعلك أقل عرضة للتلوث.

يمكنك إجراء العمليات الحسابية يدويًا بنفسك أو مجرد استخدام آلة حاسبة بسيطة للانحراف المعياري.

كن على دراية بمشكلات أخذ العينات المحتملة

هناك مشاكل متأصلة في اختبار A / B ، بما في ذلك احتمال تلوث حجم العينة.

تمكّنك المعرفة بقضايا حجم العينة المحتملة من اتخاذ خيارات أفضل أثناء اختيار أهداف الاختبار الخاصة بك وإنشاء العلاجات وإجراء التجارب.

الآن يمكنك التغلب على عينة التلوث

تعني ممارسات الاختبار الجيدة أنك تبدأ مشاريعك بفهم كامل لما يمكن أن يحدث خطأ.

تلوث حجم العينة هو منتج ثانوي سلبي يحدث عند إجراء اختبارات A / B. مهمتك هي تقليل هذه الآثار السلبية بقدر ما تستطيع حتى تتمكن من إجراء اختبار ناجح.

تذكر أن التخفيف يحدث قبل أن يبدأ اختبارك.

استخدم أداة قوية مثل التحويل التي تمنحك القدرة على تجزئة الاختبارات ومكافحة الروبوتات المزعجة واستخدام تقنيات عشوائية جيدة ، كل ذلك داخل نظام أساسي بسيط يدعم الاختبارات المعقدة.

ستُحدث إستراتيجية التجريب وقوة برنامجك فرقًا في مدى جودة تقليل تلوث حجم العينة.

الآن بعد أن عرفت هذه النقطة العمياء المحتملة في الاختبار الخاص بك ، لا يمكن أن تتسلل إليك.