التحليل التلوي في التجارب التي يتم التحكم فيها عبر الإنترنت: نظرة غير متحيزة إلى قوة هذه الطريقة العلمية وقيودها

ما مدى فائدة التحليل التلوي في اختبار A / B والتجارب الأخرى عبر الإنترنت؟

هل من المفيد الاستفادة من التعلم السابق لتحسين توليد الفرضيات الخاصة بك؟ أم أن التحليل التلوي مجرد عذر كسول للاعتماد ببساطة على "أنماط مثبتة" بدلاً من الاعتماد على البيانات الخاصة بالموقف للابتكار داخل عملك من خلال التجربة؟

هذا موضوع نقاش ساخن. البعض يؤيدها ، والبعض الآخر يعارضها بشدة. ولكن كيف يمكنك الاستفادة من وجهتي النظر وإضفاء قيمة ملموسة على برنامج التجربة الخاص بك؟

هذا ما يدور حوله هذا المنشور. في ذلك ، سوف

• افهم ما هو التحليل التلوي في الواقع
• انظر أمثلة على التحليل التلوي في العمل
• اكتشف لماذا يجب التعامل مع التحليل التلوي كمفهوم بحذر (واحترام) ، و
• تعرف على كيفية قيام فرق التجريب بإجراء التحليل التلوي بالطريقة الصحيحة

وبمكافأة: سترى أيضًا اثنين من خبراء تحسين معدل التحويل المعروفين يناقشان هذا من طرفي نقيض.

دعنا ندخله.

ما هو التحليل التلوي؟

يستخدم التحليل التلوي الإحصائيات لاتخاذ قرار من تحليل نتائج التجارب المتعددة. إنه يأتي من العالم العلمي ، حيث يجمع الباحثون معًا نتائج الدراسات الطبية التي تتناول نفس المشكلة ويستخدمون التحليل الإحصائي للحكم على ما إذا كان التأثير موجودًا بالفعل ومدى أهميته.

في التجارب التي يتم التحكم فيها عبر الإنترنت ، حيث لدينا اختبار A / B ، واختبار متعدد المتغيرات ، واختبار مقسم لاتخاذ القرار وإيجاد أفضل الطرق لتحقيق أهداف العمل ، قمنا باستعارة التحليل التلوي للاستفادة مما تعلمناه بالفعل من السابق اختبارات لإبلاغ الاختبارات المستقبلية.

دعونا نرى أمثلة مختلفة في البرية.

أمثلة على التحليل التلوي في التجارب التي يتم التحكم فيها عبر الإنترنت

فيما يلي 3 أمثلة على التحليل التلوي في اختبار A / B ، وكيف تم استخدامه ، وما تم العثور عليه في كل جهد:

1. تحليل تلوي تجريبي لاستراتيجيات اختبار A / B للتجارة الإلكترونية بواسطة Alex P. Miller و Kartik Hosanagar

تم نشر هذا التحليل التلوي لاختبار A / B في مارس 2020. درس المحللون الاختبارات على وجه التحديد من صناعة التجارة الإلكترونية ، مع البيانات التي جمعوها من منصة اختبار SaaS A / B. وهي تتألف من 2732 اختبار أ / ب أجرتها 252 شركة تجارة إلكترونية مقرها الولايات المتحدة عبر 7 صناعات في فترة 3 سنوات.

قاموا بتحليل هذه الاختبارات لتوفير تحليل قوي لكيفية وضع الاختبارات في مراحل مختلفة من مسار تحويل التجارة الإلكترونية.

ما وجدوه كان:

• عند مقارنتها بأنواع التجارب الأخرى ، ترتبط الاختبارات الخاصة بالعروض الترويجية للأسعار وتلك الموضوعة على صفحات الفئات بأكبر أحجام للتأثيرات.
• يعتمد الدليل على أن استجابة المستهلكين للعروض الترويجية المختلفة تعتمد على مكان وضع تلك العروض الترويجية داخل موقع التجارة الإلكترونية.
• في حين أن العروض الترويجية المتعلقة بأسعار المنتجات تكون أكثر فاعلية في وقت مبكر من مسار التحويل ، فإن العروض الترويجية المتعلقة بالشحن تكون أكثر فاعلية في وقت متأخر من مسار التحويل (على صفحات المنتج وعمليات الدفع).

لنلق نظرة على مثال آخر وما وجده الباحثون ...

2. ما يصلح في التجارة الإلكترونية - تحليل تلوي لـ 6700 تجربة بواسطة ويل براون ومايك سواربريك جونز

من خلال بيانات من 6700 تجربة تجارة إلكترونية كبيرة معظمها في قطاعي التجزئة والسفر ، بحث براون وجونز في تأثير 29 نوعًا مختلفًا من التغييرات وقدّر تأثيرها التراكمي على الإيرادات. تم نشره في يونيو 2017.

كما يوحي عنوان الورقة ، كان الهدف هو استكشاف ما يصلح في التجارة الإلكترونية من خلال إجراء تحليل تلوي كبير. هذه هي الطريقة التي يمكنهم بها الوصول إلى هذا الملخص القوي: أن التغييرات في مظهر الموقع كان لها تأثير ضئيل على الإيرادات أكثر من التغييرات التي تستند إلى علم النفس السلوكي.

يتم استخدام مقياس الأرباح لكل زائر (RPV) لقياس هذا التأثير. لذلك ، في نتائجهم ، تعني زيادة + 10٪ من التجربة أن RPV ارتفع بنسبة 10٪ في تلك التجربة.

فيما يلي بعض النتائج الأخرى من التحليل:

• الأفضل أداءً (حسب الفئة) هم:
  
  
  • الندرة (مؤشرات الأسهم ، على سبيل المثال ، "تبقى 3 فقط"): + 2.9٪
  • الدليل الاجتماعي (إعلام المستخدمين بسلوك الآخرين): + 2.3٪
  • الاستعجال (مؤقتات العد التنازلي): + 1.5٪
  • استعادة التخلي (مراسلة المستخدمين لإبقائهم على الموقع): + 1.1٪
  • توصيات المنتج (البيع الزائد ، البيع العابر ، إلخ): + 0.4٪
• لكن التغييرات التجميلية في واجهة المستخدم مثل تلك الواردة أدناه لم تكن فعالة:
  
  
  • اللون (تغيير لون عناصر صفحة الويب): + 0.0٪
  • الأزرار (تعديل أزرار الموقع): -0.2٪
  • دعوات إلى العمل (تغيير النص): -0.3٪
• 90٪ من التجارب كان لها تأثير أقل من 1.2٪ على الأرباح ، إيجابيًا أو سلبيًا
• القليل من الأدلة على أن اختبارات A / B تؤدي إلى زيادات مضاعفة في الإيرادات تظهر عادة في دراسات الحالة.

الآن الانتظار. قبل أن تأخذ نتائج التحليل التلوي هذه على أنها إنجيل ، عليك أن تعرف أن التحليل التلوي للتجارب عبر الإنترنت له حدود. سوف ندخل في هذا لاحقًا.

3. التحليل التلوي لـ 115 اختبار A / B على GoodUI.org بواسطة جورجي جورجييف

في يونيو 2018 ، قام جورجي جورجيف ، خبير التجارب عبر الإنترنت ومؤلف كتاب "الأساليب الإحصائية في اختبار A / B عبر الإنترنت" ، بتحليل 115 اختبارًا أ / ب متاحًا للجمهور على موقع GoodUI.org.

تنشر GoodUI.org مجموعة من نتائج التجارب ، بما في ذلك أنماط واجهة المستخدم المكتشفة حديثًا وما تتعلمه الشركات القائمة على التجارب مثل Amazon و Netflix و Google من اختباراتهم.

كان هدف جورجي هو تجميع هذه البيانات وتحليلها للكشف عن متوسط ​​نتائج الاختبارات والمساهمة بأفكار حول الممارسات الإحصائية الأفضل عند تصميم وإجراء تحليل تلوي لاختبارات أ / ب.

بدأ بتقليم مجموعة البيانات الأولية وإجراء بعض التعديلات الإحصائية. وشملت هذه إزالة:

• اختبارات مع عدم التوازن بين عدد المستخدمين المرسلين لتجربة التحكم مقابل أولئك الذين تم إرسالهم لتجربة المتحدي ، و
• الاختبارات المخترقة (تم رصدها من خلال قوتها الإحصائية المنخفضة بشكل غير واقعي).

قام بتحليل 85 اختبارًا المتبقية ووجد أن متوسط ​​النسبة المئوية للرفع كان 3.77٪ ومتوسط ​​الرفع 3.92٪. بالنظر إلى التوزيع أدناه ، ستلاحظ أن 58٪ من الاختبارات (هذه هي الأغلبية) كان لها تأثير ملحوظ (رفع٪) بين -3٪ و + 10٪.

من المهم ملاحظة أن هذا يمثل مجموعة البيانات هذه وليس كل اختبارات A / B التي تم إجراؤها على الإطلاق. بالإضافة إلى ذلك ، يتعين علينا مراعاة تحيز النشر (أحد عيوب التحليل التلوي الذي سنناقشه لاحقًا).

ومع ذلك ، فإن هذا التحليل التلوي مفيد لمحسّني معدل التحويل وأصحاب المصلحة الآخرين في التحسين للتعرف على المعايير الخارجية في اختبار A / B.

هل أنت مهتم بإجراء التحليل التلوي لاختبارات A / B الخاصة بك؟

يمكنك الوصول إلى نفس مجموعة البيانات التي استخدمها جورجي. إنه متاح للجمهور على GoodUI.org - مستودع للنتائج المقطرة من اختبارات A / B التي يتم إجراؤها عبر المنصات والصناعات والمشكلات الأساسية المختلفة.

هناك مجموعات أخرى من نتائج اختبار A / B مثل هذه (يمكنك حتى إنشاء نتائجك عن طريق سحب البيانات من العديد من أمثلة اختبار A / B ودراسات الحالة) ولكن GoodUI فريد من نوعه. تحصل على معلومات إحصائية إضافية حول الاختبار الذي يصعب الحصول عليه إذا كنت تتصفح وتجمع دراسات الحالة.

هناك عدد قليل من الأشياء التي تجعل GoodUI فريدة من نوعها:

• لا يميز على أساس نتائج التجربة. يتضمن اختبارات فائزة وغير حاسمة ومسطحة وسلبية لمكافحة تحيز النشر في التحليل التلوي ، وهي مشكلة حقيقية ، كما هو مذكور في "التحليل التلوي ومؤامرات القمع وتحليل الحساسية" بواسطة John Copas و Jian Qing Shi.
  
  يعد تحيز النشر تفضيلًا لنشر دراسات صغيرة إذا كانت نتائجها "مهمة" على الدراسات ذات النتائج السلبية أو غير الحاسمة. لا يمكنك تصحيح هذا دون وضع افتراضات غير قابلة للاختبار.

• تخطو GoodUI خطوة إلى الأمام. غالبًا ما تكون نتائج التحليل التلوي مدفونة في الأوراق البحثية. نادراً ما يشقون طريقهم إلى التطبيق العملي ، خاصةً لفرق التجربة غير الناضجة للغاية.
  
  باستخدام أنماط GoodUI ، من الممكن للمحسّنين الفضوليين البحث في النسبة المئوية للتغيير المرصود وحسابات الدلالة الإحصائية وفترات الثقة. يمكنهم أيضًا استخدام تقييم GoodUI لمدى قوة النتيجة ، مع القيم المحتملة لـ "غير مهم" و "ممكن" و "مهم" و "قوي" في كلا الاتجاهين لكل نمط تحويل. يمكنك القول إنه "يضفي الطابع الديمقراطي" على الرؤى من التحليلات الوصفية لاختبارات أ / ب.

• ومع ذلك ، هناك مشكلة هنا. المجربون الذين قد لا يكونون على دراية بالقضايا التي تعاني منها التحليل التلوي - عدم التجانس وتحيز النشر - بالإضافة إلى حقيقة أن نتائج التحليل التلوي تعتمد على جودة التحليل التلوي نفسه ، قد ينحرفون إلى منطقة النسخ الأعمى للأنماط.
  
  بدلاً من ذلك ، يجب عليهم إجراء أبحاثهم الخاصة وإجراء اختبارات A / B الخاصة بهم. كان الفشل في القيام بذلك مؤخرًا (بحق) سببًا للقلق في مساحة CRO.

مصدر آخر لدراسة حالة اختبار A / B يمكنك البحث فيه للحصول على عمق مماثل من التفاصيل في بعض الاختبارات مثل GoodUI هو GuessTheTest.

التحليل التلوي - نعم أم لا

العقل الذكي يبحث عن الأنماط. هذه هي الطريقة التي تقصر بها المسار من مشكلة إلى حل في المرة التالية التي تواجه فيها مشكلة مماثلة.

تقودك هذه الأنماط إلى إجابة في وقت قياسي. لهذا السبب نميل إلى الاعتقاد بأنه يمكننا أخذ ما تعلمناه من التجارب وتجميعها واستنتاج نمط.

ولكن هل من المستحسن أن تفعل ذلك فرق التجريب؟

ما هي الحجج المؤيدة والمعارضة للتحليل التلوي في التجارب التي يتم التحكم فيها عبر الإنترنت؟ هل يمكنك إيجاد حل وسط يحصل على أفضل ما في العالمين؟

لقد سألنا اثنين من أكثر الأصوات صوتًا في عالم التجارب مع وجهات نظر متنوعة (باحترام) حول وجهة نظرهم في التحليل التلوي.

جوني لونجدين وجاكوب لينوسكي أصوات يمكنك الوثوق بها.

جاكوب لينوسكي

جوني لونجدن

التحليل التلوي - فقي بحذر؟

في المناقشة أعلاه ، أشار جوني إلى مشكلتين محتملتين في استخدام بيانات التحليل التلوي في الاختبار عبر الإنترنت والتي تتطلب من ممارسي CRO السير بحذر.

• المشكلة رقم 1: استخدام نتيجة دون اختبارها
  "إذا كان يعمل لصالح تلك الشركة ، فيجب أن يعمل معنا أيضًا". قد يكون هذا تفكيرًا خاطئًا نظرًا لوجود فروق دقيقة حول الاختبار لا تصل إلى مقتطف النتائج التي تراجعها.
  
  قد تُظهر العديد من الاختبارات حلاً لا يحتاج إلى تفكير ، ولكن هذا فقط احتمال أنه قد يعمل بشكل أفضل قليلاً من الحلول الأخرى وليس إجابة نهائية أنه سيعمل على موقع الويب الخاص بك.

• المشكلة رقم 2: لا يمكنك تصنيف الاختبارات بهذه السهولة
  كما هو مذكور في رقم 1 ، لا تظهر هذه النتائج القصة الكاملة الدقيقة وراء الاختبارات. لا ترى سبب إجراء الاختبارات ، ومن أين أتوا ، وما المشكلات السابقة الموجودة على موقع الويب ، وما إلى ذلك.
  
  ترى فقط أنه كان اختبارًا على عبارة الحث على اتخاذ إجراء على صفحة المنتج ، على سبيل المثال. لكن قواعد بيانات التحليل التلوي ستصنفها إلى أنماط محددة ، على الرغم من أنها لا تقع في تلك الأنماط بدقة.

ماذا يعني هذا بالنسبة لك ، أو مستخدم قاعدة بيانات التحليل التلوي لاختبار A / B ، أو باحث CRO الذي يجمع قاعدة بيانات التحليل التلوي الخاصة بك لاستخراج ما تعلمته؟

هذا لا يعني أن التحليل التلوي محظور ، ولكن يجب أن تكون حذرًا عند استخدامه. ما نوع الحذر الذي يجب عليك اتخاذه؟

لا تساوم على صرامة الاختبار والسعي وراء الابتكار

تذكر أن التحليل التلوي هو فكرة إحصائية من المجتمع الطبي حيث يتم التحكم في التجارب بشدة لضمان التكرار في الاكتشاف.

تتكرر البيئة والعوامل الأخرى المحيطة بالملاحظة عبر العديد من التجارب ولكن هذا يختلف مع التجارب عبر الإنترنت. يجمع التحليل التلوي للتجارب عبر الإنترنت بياناتها معًا بغض النظر عن هذه الاختلافات.

يختلف أحد مواقع الويب اختلافًا جذريًا وتامًا عن موقع ويب آخر لأنه يحتوي على جمهور مختلف جدًا وتحدث أشياء مختلفة جدًا. حتى لو بدا متشابهًا نسبيًا ، حتى لو كان نفس المنتج ، فإنه لا يزال مختلفًا تمامًا ومختلفًا تمامًا بملايين وملايين الطرق ، لذلك لا يمكنك التحكم فيه.

جوني لونجدن

من بين القيود الأخرى ، يؤثر هذا على جودة ما يُسمح لنا أن نسميه التحليل التلوي الحقيقي.

لذلك ، عندما لا تكون متأكدًا من مستوى النشاط الإحصائي الذي تم إجراؤه في الاختبارات والتحليل التلوي للاختبارات ، لا يمكنك استخدامها إلا بحذر شديد ، كما تنصح شيفا مانجوناث.

يجب ألا يكون الهدف من التحليل التلوي نسخ المنافسين. إن القفزة من الاستفادة من التحليل التلوي إلى النسخ المباشر تدفع حدود المصداقية. هناك فروق دقيقة في القصد من وراء "النسخ" ، لذلك لا يكاد يكون الوضع أبيض وأسود.

كانت التعليقات على وظيفة ديبورا أعلاه متنوعة. لا بأس بالنسخ إلى حد ما ، لكن المبالغة في ذلك أمر خطير:

كما يوافق جاكوب ، علينا أن نكون حذرين بشأن النسخ ، خاصة عندما يتعلق الأمر بالتحقق من صحة الأنماط التي لاحظناها في التجارب.

ومع ذلك ، فإن ما يجب أن نحذر منه هو تسليع التجارب . أي استخدام الأنماط والرؤى من التحليل التلوي كأفضل الممارسات لاستبدال البحث في التجريب ، بدلاً من تكمل ما يجب أن تقوله البيانات الخاصة بالموقف.

لذا ، ابدأ بفهم المشكلة التي تريد حلها وحدد نوع التدخل الذي من المرجح أن ينجح. هذا هو المكان الذي يدعم فيه التحليل التلوي لبيانات التجارب القديمة استراتيجية تحسين فريدة من نوعها.

التحليل التلوي - تشحيم حذافة التجربة؟

حذافة التجريب لديها طريقة لإعادة تدوير الزخم. عندما تقوم بالتجربة لأول مرة ، فأنت بحاجة إلى الكثير من الجمود لتحريك الأمور.

الفكرة من دولاب الموازنة التجريبية هي الاستفادة من هذا الزخم لإجراء المزيد من الاختبارات والعودة مرة أخرى ، والتحسن والتحسن ، وإجراء المزيد والمزيد من الاختبارات.

وهذا هو المكان الذي يمكن أن يساعد فيه التحليل التلوي. في دولاب الموازنة:

1. تقوم بإجراء اختبارات على أمل التحقق من صحة فرضياتك (وربما ترفض بعضها في هذه العملية).
2. قياس القيمة التي أضافوها إلى عملية صنع القرار.
3. شجع المزيد من الاهتمام والشراء لاختبار أ / ب.
4. استثمر في البنية التحتية لاختبار A / B وفي تحسين جودة بياناتك.
5. قلل التكلفة البشرية لاختبار A / B بحيث تبدأ الخطوة التالية بجهد أقل من الجولة السابقة.

ولكن كمنظمة تعتمد على البيانات ، لا تتوقف عند هذا الحد لأنك تدرك قوة اختبار A / B. بدلاً من ذلك ، تريد البناء على استثمارك الأولي في التجربة للتحقق من صحة أو رفض المزيد من الفرضيات.

إذا لم تكن تلك المعرفة أو البصيرة الأولية موجودة للبدء ، فسيكون القصور الذاتي لتحريك دولاب الموازنة كبيرًا جدًا. إن مشاركة هذه المعرفة (إضفاء الطابع الديمقراطي على بيانات اختبار A / B) تلهم الآخرين وتمكنهم من اتباع نهج تجريبي من خلال خفض حاجز المعرفة.

يقودنا هذا إلى النقطة رقم 1 حول كيفية تشحيم التحليل التلوي للحدافة التجريبية:

1. قد يقلل التحليل التلوي من وقت افتراض الأفكار.
   يمكنك أن تأخذ ما تعلمته ، والرؤى ، وكل شيء ، من الاختبارات السابقة لتكوين فرضيات جديدة بسهولة. يؤدي هذا إلى زيادة عدد الاختبارات التي تجريها وهي طريقة ممتازة لتسريع دولاب الموازنة الخاص باختبار A / B.
   
   نقضي وقتًا أقل في إعادة إنشاء الأنماط المحددة بالفعل ووقتًا أطول في نحت مسارات جديدة بناءً على ما تعلمناه في التجارب السابقة.

2. يمكن أن يؤدي التحليل التلوي إلى معدلات تنبؤ أفضل بالبيانات السابقة.
   هناك طريقة أخرى يمكن أن يؤدي بها التعلم القائم على التجارب السابقة إلى جعل عجلة التجريب تدور بشكل أسرع وهي عندما يتم دمجها مع البيانات الحالية لإبلاغ فرضيات جديدة.
   
   من المحتمل أن يؤدي هذا إلى تحسين كيفية امتداد التأثير الملحوظ في اختبار A / B إلى المستقبل.
   
   لا يعد نشر اختبار A / B ضمانًا لرؤية النتيجة التي تريدها نظرًا لأن معدل الاكتشاف الخاطئ (FDR) للاختبارات ذات الأهمية 95٪ يتراوح بين 18٪ و 25٪. وفقط 70٪ من الاختبارات التي تم فحصها والتي أدت إلى هذا الاستنتاج كان لها قوة كافية.
   
   معدل الاكتشاف الخاطئ هو جزء من نتائج اختبار A / B المهمة التي هي في الواقع تأثيرات فارغة. عدم الخلط بينه وبين الخطأ الإيجابي الكاذب أو الخطأ من النوع الأول.

3. أخيرًا ، قد يكون التحليل التلوي وسيلة لبناء الثقة في نتائج الاختبار غير الحاسمة أساسًا.
   تساعدك مستويات الثقة على الوثوق في أن نتائج اختبارك لا ترجع إلى مجرد فرصة. إذا لم يكن لديك ما يكفي منه ، فقد تميل إلى وضع علامة "غير حاسم" على هذا الاختبار ولكن لا تتعجل.
   
   لماذا ا؟ إحصائيًا ، يمكنك تجميع قيم p غير مهمة للحصول على نتيجة مهمة. انظر المنشور أدناه:

للتحليل التلوي فائدتان رئيسيتان: 1) يحسن دقة تقديرات التأثير ، و 2) يزيد من قابلية تعميم النتائج.

المصدر: الجيد والسيئ والقبيح: التحليلات التلوية بواسطة Madelon van Wely

بالنظر إلى أن التحليل التلوي يعدل ويصحح كل من حجم التأثير ومستويات الأهمية ، يمكن للمرء استخدام مثل هذه النتائج القياسية الأعلى بنفس الطريقة التي يستخدم بها أي تجربة (تجارب) أخرى ، بما في ذلك:

1) لإجراء حسابات الطاقة / تقديرات حجم العينة لتجاربهم الخاصة (باستخدام بيانات حقيقية بدلاً من التخمينات الذاتية)

2) لاتخاذ قرار استغلال التجربة. في الحالات التي يشعر فيها شخص ما بالحاجة إلى ثقة إضافية ، قد يقرر إجراء تجارب إضافية بنفسه. في الحالات التي يجد فيها شخص ما الدليل من التحليل التلوي قويًا بدرجة كافية ، فقد يتخذ إجراءً عاجلاً دون إجراء تجارب إضافية.

جاكوب لينوسكي

مع كل الطرق التي يمكن أن يساعد بها التحليل التلوي برنامجك التجريبي في اكتساب المزيد من الزخم ، من المهم أن تضع في اعتبارك أنه يعاني من بعض القيود المعروفة.

إذا اخترت إجراء (واستخدام) التحليل التلوي - ضع في اعتبارك ما يلي

نعم ، يمكن أن يؤدي دمج نتائج التجارب عبر طرق التحليل التلوي إلى تحسين الدقة الإحصائية ولكن هذا لا يزيل المشكلات الأساسية في مجموعة البيانات الأولية ، مثل ...

نوعية رديئة من التجارب المدرجة في التحليل

إذا كانت التجارب التي تم تضمينها في التحليل التلوي سيئة الإعداد وتحتوي على أخطاء إحصائية ، بغض النظر عن مدى دقة المحلل التلوي ، فستحصل على نتائج غير صالحة.

ربما كان هناك توزيع غير متكافئ لحجم العينة في اختبارات A / B ، أو أن القوة أو حجم العينة غير كافٍ ، أو كان هناك دليل على النظرة الخاطفة - مهما كانت الحالة ، فإن هذه النتائج معيبة.

ما يمكنك فعله لتجاوز هذا القيد هو اختيار نتائج الاختبار بعناية. القضاء على النتائج المشكوك فيها من مجموعة البيانات الخاصة بك. يمكنك أيضًا إعادة حساب الأهمية الإحصائية وفواصل الثقة للاختبارات التي اخترت تضمينها ، واستخدام القيم الجديدة في التحليل التلوي الخاص بك.

عدم التجانس

هذا هو الجمع بين نتائج الاختبار التي لا ينبغي وضعها في نفس المجموعة في المقام الأول. على سبيل المثال ، عندما تختلف المنهجية المستخدمة لإجراء الاختبارات (التحليل الإحصائي Bayesian مقابل التحليل الإحصائي المتكرر ، واختبار A / B الفروق الخاصة بالمنصة ، وما إلى ذلك).

هذا هو القيد الشائع للتحليل التلوي حيث يتجاهل المحلل ، بقصد أو بغير علم ، الاختلافات الرئيسية بين الدراسات.

يمكنك إلقاء نظرة على البيانات الكمية الخام لمكافحة عدم التجانس. إنه أفضل من الجمع بين ملخص نتائج الاختبار فقط. وهذا يعني إعادة حساب نتائج كل اختبار أ / ب ، بافتراض أن لديك حق الوصول إلى البيانات.

تحيز النشر

تُعرف أيضًا باسم "مشكلة درج الملفات" ، وهي المشكلة الأكثر شهرة في التحليل التلوي. عند إجراء تحليل تلوي للبيانات المتاحة للجمهور ، فأنت مقيد بتجميع تلك النتائج التي تم نشرها.

ماذا عن أولئك الذين لم ينجحوا؟ تفضل المنشورات عادةً النتائج ذات الدلالة الإحصائية وحيث يكون هناك تأثير علاجي كبير. عندما لا يتم تمثيل هذه البيانات في التحليل التلوي ، فإن النتائج تصور فقط ما تم نشره.

يمكنك تحديد تحيز النشر باستخدام مخططات مسار التحويل والإحصاءات المقابلة.

إذن ، أين تذهب للعثور على اختبارات A / B التي لم تصل إلى دراسات الحالة أو قواعد بيانات التحليل التلوي لاختبار A / B؟ تعد منصات اختبار A / B في أفضل وضع لتقديم بيانات عن الاختبارات بغض النظر عن النتائج. هذا هو المكان الذي يكون فيه المثالان 1 و 2 في هذه المقالة محظوظين.