إحصائيات اختبار أ / ب: لماذا الإحصائيات مهمة في التجربة

دليل سريع للإحصاءات واختبار أ / ب: المصطلحات التي تحتاج إلى معرفتها

يكاد يكون من المستحيل إجراء تجربة اختبار A / B معقولة دون السيطرة على الإحصائيات.

بينما يمكن لمنصة مثل Convert Experiences أن تهتم بكل عمليات القياس والاستدلال والتحليل الإحصائي نيابة عنك ، فإن امتلاك فهم أساسي لبعض المصطلحات الإحصائية سيساعدك بالتأكيد.

هيا لنبدأ مع الأساسيات.

العينة والسكان

من الناحية النظرية ، فإن استخدام كل حركة المرور على موقع الويب الخاص بك لاختبار A / B سيعطيك فكرة عامة عن سكانك. ومع ذلك ، يمكن أن يكون هذا استخدامًا دون المستوى الأمثل للموارد نظرًا لأنه من المستحيل التقاط السكان بالكامل. هذا هو المكان الذي تأتي فيه العينات في متناول اليد. في حين أن هناك طرقًا مختلفة لأخذ العينات ، فإن استخدام نهج أخذ العينات العشوائي يساعد على ضمان عدم وجود تحيزات متأصلة في اختيار العينة. هذا النهج مستوحى من الممارسة الصيدلانية الطبية للتجارب العشوائية ذات الشواهد.

يعني والوسيط والوضع

في أبسط العبارات ، يشير المتوسط ​​إلى المتوسط ​​، والوسيط يشير إلى القيم الموجودة في الوسط عندما تتم محاذاة جميع الأرقام خطيًا (النسبة المئوية ^{الخمسين} في التوزيع) ، والوضع هو القيمة الأكثر تكرارًا. تكون هذه المصطلحات الثلاثة في متناول يديك عندما تمر بإحصائيات موجزة لاختبار أ / ب.

التباين والانحراف المعياري

هذه مفاهيم مهمة للغاية تقيس التشتت في نقاط البيانات. بمعنى آخر ، ما مدى بُعد البيانات عن المتوسط. الانحراف المعياري هو الجذر التربيعي للتباين. هذا هو السبب في أن الانحراف المعياري هو أفضل حكم للتشتت لأنه يحتوي على نفس وحدة القياس مثل المتوسط. على سبيل المثال ، يبلغ متوسط ​​طول الرجال البالغين في الولايات المتحدة 70 بوصة مع انحراف معياري يبلغ 3 بوصات. إذا أردنا استخدام التباين في هذا المثال ، فستكون القيمة 9 بوصات مربعة ، لذا فهي أقل بديهية. فكر في الانحراف المعياري على أنه الانحراف "المعتاد" للبيانات.

فرضية لاغية ومناوبة

أ تناشد فرضية لاغية الوضع الراهن. ستذكر فرضيتك الفارغة أن أي تغيير لاحظته في البيانات ، على سبيل المثال ، المصعد ، يرجع إلى العشوائية المطلقة. قد تكون الفرضية البديلة هي أن التغيير ليس عشوائيًا ، لكنه يشير إلى تأثير سببي ، مما يعني أن تغييراتك كان لها تأثير على المستخدمين.

على سبيل المثال ، افترض أنك تحاول بلورة أفضل عنوان لصفحتك المقصودة. لديك متغير تحكم ومتغير بديل. تقوم بإجراء اختبار A / B وتحصل على معدلات تحويل مختلفة لكليهما ، لذلك هناك زيادة (إيجابية أو سلبية). ستكون فرضية Null هنا أن الاختلاف يرجع إلى العشوائية. تنص الفرضية البديلة على أن التغيير يُعزى إلى متغير معين.

عند إجراء اختبار A / B ، ستحصل على إحدى النتائج الأربع التالية:

• أنت ترفض فرضية Null.
• أنت تفشل في رفض فرضية Null.
• أنت ترفض فرضية Null بشكل خاطئ.
• أنت تفشل خطأً في رفض فرضية Null.

من الناحية المثالية ، يجب أن تكون النتيجتان (أ) و (ب) هما الهدفان اللذان يجب أن تهدفهما لأن هذه هي السيناريوهات التي يمكنك تعلم شيء منها. هذه هي الطريقة التي يمكنك بها تحسين منتجك وزيادة أرباحك في النهاية. النواتج c و d تتوافق مع الأخطاء أدناه.

أخطاء من النوع الأول والنوع الثاني

الخياران الأخيران في النتائج المحتملة لاختبار أ / ب الخاص بك هما أخطاء من النوع الأول والنوع الثاني ، ويعرف أيضًا باسم الإيجابيات الكاذبة والسلبيات الكاذبة.

الخطأ من النوع الأول هو عندما ترفض خطأ فرضية لاغية صحيحة. بمعنى ، التغيير الذي لاحظته كان بسبب الصدفة لكنك خلصت إلى خلاف ذلك ، لذا فهي إيجابية خاطئة. في معظم الحالات ، كل ما هو مطلوب لتقليل الإيجابيات الخاطئة هو زيادة مستوى الثقة المطلوب للوصول إلى الأهمية الإحصائية. يتم تعيين هذا عادةً على 95٪ ، ولكن بالنسبة للتجارب المهمة ، قد ترغب في ضبطه على ثقة بنسبة 99٪ ، مما يقلل من فرص ارتكاب مثل هذا الخطأ إلى 1٪ فقط.

أخطاء النوع الثاني هي عكس ذلك تمامًا. هنا ، أنت تفشل في رفض فرضية فارغة خاطئة. هذا يعني أنه كان هناك تأثير حقيقي ، إيجابي أو سلبي ، على معدل التحويل ، ولكن لا يبدو أنه ذو دلالة إحصائية ، وقد أعلنت خطأً أنه كان بسبب فرصة عشوائية. في أغلب الأحيان ، يرجع ذلك إلى نقص القوة الإحصائية.

في لغة القدرة الإحصائية ، يمثل الحرف اليوناني α أخطاء من النوع الأول ويمثل β أخطاء النوع الثاني. من السهل الخلط بين القوة الإحصائية والدلالة الإحصائية.

يوضح هذا الجدول:

الثقة الإحصائية

كلما زاد عدد الزائرين في اختبارك ، زادت ثقتك الإحصائية ، حتى تصل إلى 99٪ إذا سمحت له بالعمل لفترة كافية. ولكن في العادة ، ما لم تكن مهمة حرجة ، فإن مستوى الثقة بنسبة 95٪ يعتبر جيدًا بما يكفي لمعظم اختبارات A / B (فهو يضمن أن فرصة تقديم خطأ إيجابي كاذب ، أي أن الخطأ من النوع الأول هو 5٪ على الأكثر).

القوة الإحصائية

تتعلق القوة الإحصائية باحتمالية اكتشاف تأثير ما عند وجوده.

القوة الإحصائية والثقة الإحصائية هي مفاهيم ذات صلة تعمل معًا لقياس تطور اختبار أ / ب. من الناحية المثالية ، يجب أن يجتاز كلاهما قيم العتبة قبل إنهاء الاختبار (المزيد حول هذا أدناه).

فترة الثقة وهامش الخطأ

بشكل عام ، سيكون ناتج تجربة اختبار A / B الخاصة بك شيئًا مثل "معدل التحويل 3٪ +/- 1٪". في هذا البيان ، تمثل "1٪" هامش الخطأ الخاص بك. باختصار ، هذا هو الانحراف في نتائج التحويل المعقول للحفاظ على نتائج الاختبار مقبولة. كلما كان هامش الخطأ أصغر ، أصبحت نتائج الاختبار الخاصة بك أكثر موثوقية. كلما زادت حجم عينتك ، ستلاحظ انخفاض هامش الخطأ.

إذا قمت بإجراء اختبارات A / B مع تحويل الخبرات ، يمكنك الوصول إلى تقرير التجربة الذي يوضح التباين ومعدل التحويل والتحسين والثقة والتحويلات على الزوار الفريدين شهريًا . يجب أن تحصل على ثقة 97٪ على الأقل لإعلان الفائز. بشكل افتراضي ، تم تحسين منصة التحويل لبدء الإبلاغ عن تحليلات التجربة فقط بعد تحقيق خمسة تحويلات. لضمان موثوقية الاختبارات ، يستخدم التحويل اختبارات Z ثنائية الذيل.

في بداية تجربتك ، إذا كان أداء أحد المتغيرات أفضل بشكل ملحوظ ، فلا يزال يتعين عليك الاستمرار في المدة المحددة للاختبار. قد تكون النتائج المبكرة ناتجة عن الضوضاء أو العشوائية.

الحد الأدنى من التأثيرات القابلة للكشف

MDE هو الحد الأدنى من المصعد الذي يجب تحقيقه ، وفوقه يصبح التغيير يستحق التنفيذ. التحضير للاختبار عن طريق اختيار MDE منخفض يسمح لتجربتك بالتقاط المزيد من التغييرات الدقيقة. يعني تعيين MDE أعلى أن تجربتك يمكنها اكتشاف التغييرات الرئيسية فقط وبالتالي تعمل حتى مع أحجام عينات أصغر. المهم هنا هو أن إجراء تغيير جذري لتوليد زيادة كبيرة بما يكفي ، في معظم الحالات ، لن يكون ممكنًا إلا إذا لم يتم تحسين موقع الويب الخاص بك من قبل.

أفضل طريقة للتفكير في MDE هي استخدام حاسبة حجم العينة الخاصة بنا. ابدأ بإدخال حركة المرور والتحويلات الأسبوعية الخاصة بك ومعرفة ما يمكن تحقيقه على مدار فترة زمنية.

P- القيمة

صاغ كاسي كوزيركوف ، كبير علماء القرار في Google ، تعريفًا بسيطًا للغاية لشرح P-Value: "كلما انخفضت قيمة p ، زادت سخافة ظهور الفرضية الصفرية!"

الطريقة التي نستخدمها هي من خلال مقارنتها بمستوى الأهمية. لنفترض أن لدينا مستوى دلالة بنسبة 5 ٪ ، والذي يتوافق بشكل مباشر مع مستوى ثقة بنسبة 95 ٪ ، ثم بمجرد أن تصبح القيمة p أقل من 5/100 = 0.05 ، يمكننا القول أن اختبارنا قد وصل إلى دلالة إحصائية ونحن يمكن رفض فرضية العدم.

إذا أردنا أن نكون أكثر ثقة ، فقمنا بتعيين مستوى الأهمية لدينا على 1٪ ثم ننتظر حتى تنخفض قيمة p إلى أقل من 0.01. وهذا يعني ثقة بنسبة 99٪ في نتائجنا.

توزيع حركة المرور

يساعد توزيع حركة المرور في تخصيص نسبة معينة من الزيارات للتجربة. افترض أن لديك 100 زائر إلى موقع الويب الخاص بك كل شهر. من هذا ، يمكنك اختيار تخصيص 30٪ من حركة المرور للتجربة. بشكل افتراضي ، سيحصل كل متغير في اختبار A / B الخاص بك على حصة متساوية من حركة المرور. لذلك ، إذا كان لديك متغيران ، فسيحصل كل منهما على 15٪ من حركة المرور.

يساعدك استخدام تحويل الخبرات في تكوين تخصيص حركة المرور هذا ببضع نقرات. مع تطور عملية التجريب الخاصة بك ، يمكنك إنشاء المزيد من المتغيرات وتحسين التخصيص ليناسب احتياجاتك.

كيف يمكن أن تساعد الإحصائيات في اختبار A / B؟

لماذا لا يمكنك فقط مقارنة أداء المتغير "أ" و "ب"؟

يتطلب إجراء تجربة اختبار A / B باستخدام نظام أساسي مناسب مثل Convert Experiences بعض الموارد من حيث الوقت والطاقة. بعد ذلك ، أليس من المنطقي إنشاء متغيرين فقط ، وقياس معدلات التحويل الخاصة بهما ، واختيار النوع ذي الأداء الأفضل؟

في حين أنه يبدو عمليًا وواسع الحيلة ، إلا أنه يمكن أن يؤدي إلى استنتاجات خاطئة وحتى نتائج يساء تفسيرها ، حيث لم يتم إجراء اختبارات إحصائية على البيانات. لذا فإن ملاحظة التغيير ليست كافية ، يجب على المرء أن يعرف كم من الوقت ينتظر للتأكد من هذا التغيير ، ولهذا ، يتعين على المرء إجراء اختبار إحصائي مثل اختبار Z ، أو اختبار T ، أو اختبار G.

لن يساعدك النظر إلى حجم المصعد أو التأثير وحده:

أ. حدد العوامل السببية المحتملة المرتبطة بفوز متغير واحد

من شأن اختبار A / B ، حسب التصميم ، أن يقيدك باختيار متغيرين لهما بعض الاختلافات المادية فقط. بالنسبة لمجموعة أكبر من الاختلافات ، يمكنك عمومًا إجراء اختبار متعدد المتغيرات أكثر شمولاً.

يعمل اختبار A / B على القاعدة التي تعرف ، منذ البداية ، المتغيرات التابعة والمستقلة في التجربة. على سبيل المثال ، إذا قمت بإنشاء مجموعتين مع مختلف CTAs وضعت في نفس التخطيط ، فأنت تعلم أن الفرق في CTAs هو العامل السببي إذا كان بإمكانك دحض الفرضية ورؤية تغيير في التحويلات.

إذا قمت ببساطة بتشغيل متغيرين مختلفين تمامًا ، حتى إذا حصلت على قوة جذب أفضل نسبيًا على أحدهما ، فلن يساعدك ذلك في الحصول على رؤى حول جمهورك أو تحديد سبب نجاحه.

ب. فرّق بين العشوائية والسببية

يتطلب هيكل اختبار A / B فرضية لاغية وفرضية بديلة. ستبحث فرضية Null بشكل عام حول أن العشوائية هي العامل المسبب وليس فعالية أحد المتغيرات الخاصة بك ، في تحديد معدلات التحويل. لا يتم دحض الفرضية الفارغة عندما لا يتم الوصول إلى دلالة إحصائية في الوقت المناسب ، ويفترض أن أي تغير لاحق هو نتيجة العشوائية. من ناحية أخرى ، إذا كان بإمكانك رفض فرضية Null ، فهذا يعني أن هناك احتمالًا كبيرًا (على مستوى الثقة المحدد ، على سبيل المثال 95٪ أو 99٪) أن تكون قد اكتشفت عاملًا سببيًا له تأثير إيجابي أو سلبي على التحويلات.

ج. تخصيص التكاليف فقط للتغييرات ذات الاحتمالية العالية للتحويلات المحسنة

ستأتي اختبارات A / B التي يتم إجراؤها أيضًا بمقاييس إحصائية مثل مستويات الأهمية وفترات الثقة وهوامش الأخطاء. لا توجد مثل هذه المفاهيم التحليلية في معظم التحليلات الخاصة.

خذ ، على سبيل المثال ، مقارنة بين صفحتين لتقديم النموذج مع بعض الاختلافات الجوهرية في تخطيط المعلومات وعرضها. أداء واحد أفضل نسبيًا من الآخر. الآن ، كيف تحدد أنك ستتمكن من تكرار النتائج؟ نظرًا لعدم وجود أي بيانات توضح مدى أهمية نتائج التجربة ، فلا توجد طريقة للحكم على ما إذا كان يمكن تكرار نتائج التجربة أم لا.

تقييم وإزالة تعرضك لأخطاء النوع الأول والنوع الثاني لاختبار أ / ب

يمكن أن يكون لأخطاء النوع الأول (يتم رفض فرضية فارغة صحيحة أو إيجابية خاطئة) وأخطاء النوع الثاني (لا يتم رفض فرضية خاطئة أو سلبية خاطئة) عواقب وخيمة على أصول السوق التي تقوم بتحسينها باستخدام اختبار أ / ب.

لا يمكن لأي أداة أن تعرض لك خطأ من النوع الأول أو النوع الثاني بشكل صريح ، ولكنها يمكن أن تساعدك على تقليلها ، على سبيل المثال ، من خلال التأكد من الوصول إلى مستوى ثقة بنسبة 95٪ أو أكثر ، وأن القوة الإحصائية وصلت إلى 80٪ على الأقل

افترض أنك تنشئ نسختين مختلفتين من الصفحة الأخيرة في دورة الشراء ، وأظهرها لحوالي 10000 زائر على مدار 10 أيام ، واحصل على النتائج. ترى أداءً أفضل لمتغير واحد ومن ثم تقوم بتطبيقه على موقع التجارة الإلكترونية الخاص بك.

تكمن المشكلة هنا في أنك ستتعرف على خطأ من النوع الأول أو النوع الثاني في تجربة اختبار أ / ب بعد أن تفشل في تكرار نتائج تجربتك في الواقع. هناك طرق أفضل للتأكد من عدم وجود أخطاء من النوع الأول والنوع الثاني في اختبار أ / ب.

أولاً ، تأكد من أن حجم عينتك كبير بما يكفي لضمان إجراء تجارب إحصائية سليمة. يمكنك استخدام حاسبة التحويل للحصول على حجم العينة الصحيح.

بعد ذلك ، تأكد من أن لديك مستوى أهمية لا يقل عن 95٪ ولا توقف الاختبار حتى تصل طاقتك إلى 80٪. باستخدام MDE الصحيح وطول التجربة التي قدمتها الآلة الحاسبة ، يمكنك أن تطمئن فعليًا إلى التحكم في أخطاء النوع الأول أو النوع الثاني. الأول يتأثر بشكل مباشر بمستوى الأهمية الذي تحدده ، والثاني من خلال القوة الإحصائية التي ترغب في التعايش معها. من الناحية المثالية ، يجب أن يكون مستوى ثقتك أعلى أو يساوي 95٪ ويجب أن تتراكم قوتك الإحصائية إلى 80٪ على الأقل. في كلتا الحالتين ، كلما كان ذلك أفضل. إذا وصلت كلا المعلمتين إلى 99٪ ، فهذا يضمن أن خطر حدوث أخطاء من النوع الأول أو الثاني يتم التحكم فيه جيدًا وأقل من 1٪.

لا يمكن اكتشاف مثل هذه المشكلات والقضاء عليها إلا بسبب التفكير الإحصائي الذي يعمل عليه اختبار A / B.

تحديد ما إذا كانت تجربة اختبار A / B الخاصة بك قابلة للتطوير أم لا

في المثال أعلاه ، حتى إذا رأيت أحد المتغيرات يفوز ببديله على مدار شهر ، فلن تتمكن من توسيع نطاق تجربتك بسهولة. وذلك لأن حجم العينة البالغ 10000 زائر كان صغيرًا جدًا.

تمنحك إحصائيات اختبار A / B العديد من الأدلة الإرشادية للتأكد من أن اختبارك قابل للتطوير وكذلك نتائجه. ستمهد مخرجات كل تجربة اختبار A / B الطريق لمزيد من الاختبارات في المستقبل.

أولاً ، ابدأ بالتأكد من حصولك على عدد زيارات كافٍ كل شهر لاختبار أي متغير من عناصر واجهة المستخدم أو UX لمنصتك. يوصي الخبراء في Convert حركة مرور لا تقل عن 10000 زائر و 1000 تحويل على كل متغير للحصول على نتائج سليمة إحصائيًا. بمجرد حصولك على هذه العناصر ، تأكد من أنك لا تختبر عدة عناصر في وقت واحد ، وأنك تسمح للاختبار بالعمل لفترة طويلة ، ويمكن أن تصل إلى مستوى معقول من الأهمية.

إذا كان لديك مجموعة صغيرة من الزوار ، فلا يزال بإمكانك إجراء اختبار A / B على حملات البريد الإلكتروني وحملات الوسائط الاجتماعية وحتى مجموعات Google الإعلانية. أو يمكنك اختيار MDE مرتفع للحصول على بعض الأفكار الواسعة حول جمهورك.

جعل التجارب فعالة من حيث التكلفة

يعد تخصيص أي نسبة مئوية من حركة المرور الخاصة بك لاختبار A / B تكلفة. أنت تعرض صفحة ربما دون المستوى الأمثل أو عنصر UX لجمهورك ، وبالتالي قد تخسر بعض الإيرادات المحتملة. بينما يمنحك اختبار A / B فكرة محددة لتوسيع نطاق عنصر أو صفحة أكثر تحسينًا يمكنها تعويض هذه الإيرادات المحتملة المفقودة ، يمكن استخدام هذه التكلفة كقيد لتحسين عملية الاختبار الخاصة بك.

بعد إجراء اختبار A / B ، يمكنك الانتقال إلى اختبار A / B / n حيث سيكون لديك العديد من المتغيرات الأخرى ليتم اختبارها.

ستُظهر لك العديد من الآلات الحاسبة المجانية المتوفرة عبر الإنترنت حجم العينة الذي تحتاجه للحصول على نتائج دقيقة من هذا الاختبار. تعمل هذه الآلات الحاسبة على افتراض مبسط - احسب حجم العينة لاختبار A / B ثم اضربه في عدد المتغيرات في التجربة. هذه طريقة غير فعالة للمضي قدمًا. توفر الآلة الحاسبة الخاصة بنا خيارات متعددة فعالة لتصحيح المقارنة مثل Šidak ، لذلك استخدم دائمًا الأدوات المناسبة في كل خطوة من خطوات تجربتك لضمان حصولك على النتائج الضرورية دون فقدان الدولارات الإضافية المتكبدة من الحسابات الخاطئة.

تقدير العشوائية في عينتك والتحكم فيها

في حين أن هناك العديد من المبادئ الرياضية المعقدة للعشوائية ، فإن معظمها يشير إلى نفس الخاصية - عدم القدرة على التنبؤ.

يمكن النظر إلى العشوائية على أنها نقيض السببية المحددة بوضوح. بدلاً من معرفة العناصر التي كانت مسؤولة عن التحويل الأعلى ، عليك الاعتماد على بعض العوامل الخارجية غير المحددة كعوامل سببية محتملة للنتائج. نظرًا لأنك لا تتحكم في هذه العوامل الخارجية ، فلا يمكنك تكرار نتائج الاختبار على نطاق واسع.

إذا كنت لا تستخدم عملية اختبار أ / ب سليمة إحصائيًا ، فلن تهتم بفحص تأثير العشوائية. لكن العشوائية ستظل موجودة. قد ينتهي بك الأمر إلى توزيع رأس المال على أصل تسويقي يتم تحويله أثناء الاختبار ولكنه لا يعمل على نطاق واسع. والأسوأ من ذلك ، قد ينتهي بك الأمر إلى تخفيف تأثير مسار التحويل الحالي.

يمكن أن تساعدك إحصائيات اختبار A / B في حل هذه المشكلة. عندما تصوغ فرضية ، فإنك تنشئ سيناريو حيث قد تكون العشوائية هي سبب تغيير النتائج. إذا كان بإمكانك دحض هذا السيناريو ، فأنت في الأساس قد دحضت العشوائية كسبب للتحويلات الأفضل. مع المزيد من الاختبارات المقبلة في العملية التي تركز على مناطق أخرى في مسار التحويل ، يمكنك أيضًا التخلص من مساحة العشوائية في عملية تحسين التحويل.

قد يكون الوضع المثالي هو تحديد معيار التقييم العام (OEC) بمقياس رئيسي واحد ومقاييس أخرى لحاجز الحماية وإجراء تجارب لتحسين الأول مع التأكد من أن المعايير الأخيرة لا تتحلل. على سبيل المثال ، تريد زيادة معدلات التحويل (المقياس الأساسي) ، ولكن لا تريد أن تنخفض مشاركة المستخدم ، لأن ذلك قد يشير إلى العملاء غير الراضين.

كتاب رائع ، ربما يكون أهم كتاب عن التجريب حتى الآن ، هو "التجارب الخاضعة للرقابة عبر الإنترنت الموثوقة: دليل عملي لاختبار أ / ب" ، بقلم رون كوخافي ، وديان تانغ ، ويا ​​شو.

التأكد من أنك لست بحاجة إلى اختبار متعدد المتغيرات أكثر شمولاً

يمكن أن تساعدك الأدوات الشاملة مثل Convert Experiences في إجراء اختبارات A / B متعددة. في حين أن هذا قد يبدو وكأنه وظيفة تافهة ، إلا أنه يمكن أن يساعدك على فهم ما إذا كنت بحاجة إلى اختبار متعدد المتغيرات أكثر شمولاً أو ما إذا كانت نتائج اختبار A / B الخاصة بك مرضية بدرجة كافية.

كل هذا يعتمد على ما تفعله مباشرة بعد أن تفهم نتائج الاختبار. هل تبدأ في نشر الصفحة أو العنصر الفائز أم ستخضع لمزيد من الاختبارات؟ إذا كان حجم العينة ، ومستوى الأهمية ، و MDE مُرضيًا ، فيمكنك عادةً نشر البديل الفائز. إذا كنت على الجانب الآخر ، يمكنك استخدام مزيد من الاختبارات لمعرفة سبب معدلات التحويل المختلفة.

على سبيل المثال ، افترض أنك تختبر ما إذا كان وجود CTA معين على صفحتك المقصودة يساعد في تحويلات أفضل أم لا. تقوم بإجراء اختبار A / B الخاص بك ولديك فائز واضح. ولكن ، لم يتم استيفاء بعض المقاييس الإحصائية مثل مستوى الأهمية. لذلك ، تأخذ المتغير الفائز وتقوم بإنشاء متغير آخر لإجراء اختبار A / B آخر.

إذا تم تكرار النتائج ، فيمكنك الحصول على ثقة أكبر في المتغير الفائز. إذا لم تتمكن من تكرار مستويات التحويل للاختبار الأول ، فقد تحتاج إلى اختبار متعدد المتغيرات للعثور على العنصر المسؤول عن زيادة التحويلات.

يمكن أن يساعدك اختبار A / B في تجنب الاعتماد على البيانات المبلغ عنها ذاتيًا

حتى أصغر المتغيرات يمكن أن يكون لها تأثير كبير على سلوك المستخدم المكتشف. على سبيل المثال ، تأثير الخفقان له تأثير كبير على معدلات التحويل. الخفقان هو الموقف الذي تظهر فيه صفحتك المقصودة الافتراضية قبل صفحة المتغير عندما يكون الزائر جزءًا من نموذج حركة المرور المستخدمة في اختبار A / B. يمكن أن يؤدي هذا إلى نتائج ملوثة - حتى عند تشغيل عملية متسقة تحليليًا.

عندما تكون هناك مشكلات محتملة في العمليات الإحصائية والتحليلية مثل اختبار A / B ، فإن تشغيل عملية الإبلاغ الذاتي يمكن أن يؤدي فقط إلى نتائج دون المستوى الأمثل أو حتى نتائج خاطئة. غالبًا ما تكون عمليات الإبلاغ الذاتي ملوثة بالعديد من التحيزات والبيانات الصاخبة حيث تُترك المسؤولية الكاملة لتذكر التفضيلات والإبلاغ عنها على عاتق المستخدم ، الذي ليس لديه أي حافز ليكون صادقًا. بالإضافة إلى ذلك ، هناك أوامر التحيز والعوامل الخارجية الأخرى التي يمكن أن تؤدي إلى بيانات خاطئة.

يضعك اختبار A / B في كرسي المراقبة ويلغي الحاجة إلى أي شكل من أشكال تقارير المستخدم. باستخدام أدوات مثل التحويل ، لا داعي للقلق بشأن الخفقان.

جعل صنع القرار التنظيمي مدفوعا بالبيانات

لا تترك تجربة اختبار A / B مساحة للتخمين في هذه العملية. في كل خطوة ، تقوم منصة الاختبار الخاصة بك بجمع الملاحظات وتسجيل البيانات وإجراء التحليل. بهذه الطريقة ، بغض النظر عن تفضيلات رؤسائك أو المستثمرين أو الوكالات ، ستكون النتائج التي تحصل عليها قائمة على البيانات.

عندما يكون هناك العديد من أصحاب المصلحة المشاركين في العملية ، فمن السهل أن تكون النتيجة النهائية دون المستوى الأمثل. اختبار A / B هو عملية تحليلية تلغي المساحة المتاحة لاتخاذ أي قرار هرمي أو تفكير متحيز.

على سبيل المثال ، قد توصي وكالتك بإجراء إصلاح شامل لواجهة المستخدم لصفحتك المقصودة لأنها ستضيف إلى فاتورة الشهر ، وإذا تم إجراؤها بشكل صحيح ، فقد لا تعيق تحويلاتك. ومع ذلك ، مع اختبار A / B ، إذا بقيت فرضية Null الخاصة بك قوية ، فستعرف حقيقة أنه لا توجد مثل هذه التغييرات ضرورية في الوقت الحالي. نظرًا لأن لديك البيانات التي تدعم تفكيرك ، فلا يتعين عليك الاستسلام للموقف حتى للقيادة في شركتك. يمكن أن يساعدك هذا أيضًا في محاربة HiPPO (رأي الشخص الأعلى أجرًا). البيانات لا تكذب واختبار A / B هو أفضل دليل لديك تحت تصرفك.

فهم نتائج التجربة بحسابات شفافة

إن فهم نتائج اختبار A / B الخاص بك يكاد يكون بنفس أهمية إجراء اختبار إحصائي صارم. يمكن لأي أداة إجراء الاختبار ، ومقارنة البدائل ، وإلقاء فائز عليك. ما تحتاجه هو إشارة إلى وجود علاقة سببية. بينما يمكن للمقاييس الإحصائية إبراز ذلك ، فقد تم تصميم "تحويل الخبرات" لتحقيق الشفافية في العمليات الحسابية.

يتمتع النظام الأساسي بوقت تشغيل بنسبة 99.99٪ ، ويسمح بأكثر من 90 عملية تكامل تابعة لجهات خارجية ، ويسمح بتتبع أهداف الجهات الخارجية ، ويدعم عمليات التحقق من التعليمات البرمجية والأخطاء. بهذه الطريقة ، في نهاية عملية الاختبار ، سيكون لديك فكرة واضحة عن العنصر الفائز ، ولماذا هو الأفضل ، وما إذا كنت بحاجة إلى مزيد من الاختبار لتكون أكثر ثقة بشأن توسيع نطاقه.

وضع إحصائيات A / B لاستخدامها للانتقال نحو نضج CRO

ما هو نضج CRO وكيف يمكن أن يساعدك اختبار A / B السليم إحصائيًا في الوصول إلى هناك؟

على الرغم من أن تحسين معدل التحويل قد يبدو طريقة تفكير منفصلة ، إلا أنه يتطلب تغييرات قائمة على العمليات عبر الشركة في محاولة لزيادة تركيزها على التحويلات. التحدي هو أن CRO هو مجال جديد نسبيًا. في استطلاع عام 2018 ، كان ما يقرب من 62٪ من المسوقين يعملون في CRO لأقل من 4 سنوات.

قام متخصص CRO من Shopify بإنشاء تسلسل هرمي لكيفية تميل الشركات إلى تجاوز نضج CRO. أثناء الخوض في هذا التسلسل الهرمي ، ستكتشف مدى أهمية التجربة الإحصائية السليمة لتطوير عملياتك التنظيمية:

1. إجراء البحوث النوعية والكمية لتحديد نقاط الاتصال دون المستوى الأمثل

غالبًا ما تساعدك لوحة معلومات Google Analytics في استكشاف الصفحات أو نقاط الاتصال في تجربة المستهلك التي تتطلب اهتمامًا فوريًا. يمكن استخدام حل مشكلة معينة مثل معدلات الارتداد المرتفعة على الصفحة الرئيسية ، والعربات المتروكة ، وملء النماذج غير المكتملة ، وتخطي اشتراكات البريد الإلكتروني كنقطة انطلاق لتحسين مسار التحويل.

2. صياغة أفكار الاختبار والتجريب بناءً على البحث الذي تم إجراؤه مسبقًا

يمكن أن تساعدك إحصائيات اختبار A / B على فهم الأداء المعياري لموقعك على الويب وحتى المنافسة. يمكنك استخدام هذا لفهم العناصر المتأخرة وبدء اختبار A / B المتغيرات التي يمكن أن تؤدي بشكل أفضل.

3. إجراء الاختبار وتجربة الأفكار ذات الأولوية القصوى

عندما تقوم بإعداد أفكار اختبار A / B الخاصة بك في تحويل الخبرات ، ستقوم بتعيين مقاييس مثل MDE. ستساعدك هذه المقاييس في تحديد أولويات الاختبارات التي سيكون لها أقصى تأثير على عملك ، فيما يتعلق بتخصيص الموارد اللازمة لإجراء التجربة.

4. تحليل وتسجيل نتائج الاختبار

بعد إجراء الاختبار ، يصبح من الضروري فهم سبب حصولك على النتائج التي تراها. هذا هو المكان الذي يمكن أن تساعدك فيه الأنظمة الأساسية مثل Convert Experiences في التصفية بين العشوائية والسببية عالية الاحتمال. بفضل حساباته الشفافة ، سيساعدك برنامج Convert Experiences على فهم سبب أداء المتغير الفائز بشكل أفضل.

5. عمل اختبارات المتابعة

بمجرد إجراء اختبارات A / B وتحقيق النتائج ، يمكنك الانتقال إلى اختبارات متعددة المتغيرات أكثر شمولاً أو إجراء اختبار A / B بمتغير آخر. يجعل التحويل من السهل إجراء مجموعة متنوعة من الاختبارات الإحصائية التي يمكن أن تساعدك على زيادة ثقتك في دعم المتغير الفائز.

يركز نموذج نضج CRO على عملية شاملة عبر إستراتيجية الشركة وثقافتها ، والأدوات والتكنولوجيا ، والأفراد والمهارات ، والعملية والمنهجية حيث يتم تتبع تقدم المؤسسة عبر مستويات النضج مثل - مبتدئ ، وطموح ، وتقدمي ، واستراتيجي ، وتحويلية.

يوفر برنامج Convert Experiences تحليلًا صارمًا للبيانات لعملية اختبار A / B الخاصة بك ، ولا يتطلب ترميزًا لإجراء الاختبارات ، ويوفر نتائج يمكن الوصول إليها بصريًا وتحليليًا ، كما يتميز بالشفافية بشأن نتائج الاختبار. مع وجود النظام الأساسي في مركز خطط اختبار A / B الخاصة بك ، يمكن أن يتحرك نضج CRO الخاص بمؤسستك نحو مراحل التحويل بسهولة أكبر.

اختبار أ / ب قيد التنفيذ: دراسات الحالة المعيارية

1. استخدام Google Analytics وتحويل الخبرات لإنشاء الفرضيات

يمكن أن يكون Google Analytics نقطة انطلاق رائعة لفهم المجالات المحتملة للتحسين عبر موقع الويب الخاص بك. يمكن أن يكون الانخفاض المفاجئ في حركة المرور ومعدلات الارتداد المرتفعة مقارنة بأوقات الصفحات وما إلى ذلك مؤشرات قوية على المشكلات المحتملة.

حدد جميع التحديات التي تراها عبر تقارير Google Analytics. بالتوازي مع ذلك ، قم بإجراء مسح نوعي على موقع الويب الخاص بك ، ومعالجات الوسائط الاجتماعية ، وحملات البريد الإلكتروني التي تطلب من جمهورك ما يبحثون عنه. بالإضافة إلى ذلك ، يمكنك استخدام Hotjar لفهم كيفية تنقل الزوار بين العناصر الموجودة في كل صفحة.

بناءً على كل هذه البيانات ، يمكنك بعد ذلك إنشاء متغيرات ثاقبة وإجراء اختبارات A / B. إذا كنت تستخدم بالفعل تحويل الخبرات ، فيمكنك أيضًا استخدام أداة إنشاء فرضية تحويل البوصلة لتسريع العملية بشكل أكبر.

2. زيادة التحويلات من عربات متروكة من خلال اختبار أ / ب

تعتبر العربات المهجورة باهظة الثمن بالنسبة إلى موقع الويب الخاص بك وغير مريحة تمامًا للزائرين لأن كلاكما استثمر وقتًا وموارد كبيرة للوصول إلى هذه النقطة ولكن التحويل لم ينجح.

باستخدام تحويل الخبرات المدمجة مع الأنظمة الأساسية الأخرى ، يمكنك صياغة نهج منظم لمواجهة هذا التحدي.

• أولاً ، ابدأ بدمج تحويل الخبرات إلى Shopify أو WooCommerce أو PrestaShop أو BigCommerce أو أي منصة تجارة إلكترونية أخرى تستخدمها.
• بعد ذلك ، استخدم Google Analytics لإعداد الأهداف على الأنظمة الأساسية الخاصة بك واستخدم أدوات مثل Hotjar أو Crazy Egg لتقييم المشكلة المحتملة.
• باستخدام تحويل الخبرات ، يمكنك استخدام هذه البيانات وصياغة الفرضيات وتشغيل اختبارات A / B بطريقة منظمة. لاحظ العملاء زيادة في الإيرادات بأكثر من 26٪ باستخدام نهج مماثل.

3. تحسين الصفحة المقصودة

تعتبر الصفحات المقصودة عنصرًا أساسيًا في عملية التحويل بأكملها. لاستخراج أقصى قيمة من صفحاتك المقصودة ، يمكنك استخدام مجموعة متنوعة من الأدوات مثل Google Analytics أو Adobe Analytics أو Kissmetrics أو Baidu Analytics أو غيرها من الأدوات الرائدة لحالة الاستخدام. يتكامل برنامج Convert Experiences بسلاسة مع هذه الأنظمة الأساسية لمساعدتك على تصفية الصفحات المقصودة منخفضة التحويل.

بعد ذلك ، يمكنك استخدام التكامل Hotjar و Convert لفهم العناصر التي لا تعمل في صفحتك. باستخدام الأدوات المتقدمة مثل الخرائط الحرارية ، يمكنك الحصول على فهم مرئي لكيفية وصول الزوار إلى العناصر المختلفة على صفحتك. بعد ذلك ، يمكنك استخدام تحويل البوصلة لإنشاء فرضيات ثم تشغيل الاختبارات على النظام الأساسي.

بعد إجراء الاختبار ، يمكنك استخدام التكامل بين التحويل ومنصات بناء الصفحة المقصودة الرائدة مثل LanderApp أو Instapage أو Hubspot CMS. ستساعدك عمليات الدمج هذه على إجراء تجارب اختبار A / B سهلة عبر صفحاتك المقصودة.

باستخدام نفس سير العمل ، وجد خبراء CRO زيادات في التحويل بنسبة 27٪ مع زيادة معدلات الإضافة إلى سلة التسوق بنسبة 13٪.

تحقيق عائد أعلى على الاستثمار مع اختبار A / B "الصحي"

1. حد حركة مرور موقع الويب : توصي أداة التحويل بأن يكون لديك عدد زيارات لا يقل عن 10000 زائر وتحويلات تتراوح بين أكثر من 1000 متاحة لكل متغير يتم اختباره.

2. استخدام الأداة المناسبة لاختبار A / B : عدم امتلاك منصة الاختبار المناسبة يمكن أن يمنحك نتائج ملوثة ، أو يجعلك تجري اختبارات دون المستوى الأمثل ، أو يتسبب في قيود شديدة على مواردك. تم تصميم برنامج Convert Experiences للتخلص من هذه المعلمات الرئيسية مع ضمان إمكانية الوصول إلى عملية الاختبار وشفافيتها وسلسها.

3. تحديد أهداف الاختبار : يجب أن تتماشى أهدافك كعمل تجاري. على سبيل المثال - أثناء قيامك بالتحسين لتحقيق أقصى قدر من الاشتراكات ، يجب ألا تقوم بعض الوحدات الأخرى في فريقك بتحسين العمليات الناتجة لتحقيق أقصى قدر من المبيعات. يمكن أن تسبب تجربة المستخدم غير المتماسكة ضررًا أكثر من تجربة المستخدم دون المستوى الأمثل.

وبالتالي ، حافظ على توحيد الأهداف بين المجموعة الكاملة لأعضاء الفريق. على مستوى الاختبار ، تأكد من تحديد حجم العينة ، والمدة ، والدلالة الإحصائية ، والفرضية ، و MDE بوضوح قبل وأثناء وبعد إجراء اختبار A / B.

4. استبعاد حركة المرور الداخلية: عند إجراء اختبار A / B ، يقوم العديد من أعضاء فريقك بزيارة الصفحات أو النقاط في رحلة العميل لتقييم الصفحة بموضوعية. قد يؤدي ذلك إلى إحداث ضوضاء في نتائج الاختبار.

تم تصميم برنامج Convert Experiences لتصفية هذه الزيارات والتركيز فقط على شرائح الجمهور التي حددتها ، لتسجيل البيانات وتجميعها وتحليلها في عملية اختبار A / B.

الأفكار النهائية حول اختبار A / B للإحصاءات

اختبار A / B هو تمرين تحليلي صارم لا يمكن إجراؤه إلا بدقة إحصائية. بدون الإحصاءات المضمنة في العملية ، يكون اختبار A / B مجرد تخمين.

يتيح لك برنامج Convert Experiences إجراء تجارب اختبار A / B مبسطة ويمكن الوصول إليها وموثوقة ومع ذلك تتسم بالكفاءة في استخدام الموارد. While the process of A/B testing can seem a little overwhelming at first, it certainly unlocks value in the form of the right insight and analytical proven ideas it gives you. Make sure you never run an A/B test in isolation – it has to be followed up with more tests, and even multivariate tests.
With consistent optimization and unlimited tests made available by Convert Experiences, you can expect your enterprise to become a more analytical and data-driven operation in no time.