ما هو اختبار A / A ، ولماذا يجب أن يهتم المسوقون؟

هل مررت بهذا السيناريو؟ لقد أعددت اختبار A / B لاكتشاف ما إذا كان الزر والعنوان الجديدان سيولدان المزيد من التحويلات ...

أنت تقود حركة مرور متساوية إلى كل من الصفحات المقصودة بعد النقر - التحكم والتباين - وتتوقف بعد شهر ، عندما يعلن برنامجك أن نسختك هي الفائز بثقة 99٪ ...

أنت تطرح التصميم الجديد "الفائز" ، ولكن بعد عدة دورات عمل لاحقًا ، فإن زيادة معدل التحويل بنسبة 50٪ لا تظهر أي تأثير على أرباحك النهائية. أنت مشوش. أنت منزعج ...

وربما تكون ضحية نتيجة اختبار إيجابية خاطئة.

ما هي نتيجة الاختبار الإيجابية الكاذبة؟

لماذا لا يتم ترجمة زيادة معدل التحويل بنسبة 50٪ إلى المزيد من المبيعات؟ السبب ، كما يقول لانس جونز من Copyhackers ، هو أنه ربما لم يكن موجودًا.

من المحتمل تمامًا (بل من المحتمل أيضًا) أنك لا ترى زيادة في المبيعات أو الإيرادات من اختبارك لأنه لم يكن موجودًا في المقام الأول. ربما تكون قد تلقيت عن غير قصد "إيجابية كاذبة" في اختبارك - تُعرف باسم الخطأ الإحصائي من النوع الأول ، والمعروف أيضًا باسم الرفض غير الصحيح لفرضية فارغة حقيقية. هذا هو الفم ، لذلك أنا ببساطة أتذكره على أنه نتيجة إيجابية خاطئة.

سواء أكان فمًا أم لا ، فإن هذه الأخطاء الإحصائية من النوع الأول أكثر شيوعًا مما تعتقد. تشير التقديرات إلى أن حوالي 80٪ من نتائج اختبار AB هي نتائج وهمية.

إذا كنت تتخذ قرارات رئيسية بناءً على إيجابيات خاطئة ، فأنت في أفضل الأحوال تترك التحسين للصدفة. في أسوأ الأحوال ، أنت في الواقع تزيد من سوء معدل التحويل لصفحاتك المقصودة بعد النقر.

لحسن الحظ ، هناك بعض الطرق لمكافحة البيانات السامة. يشبه أحدهما طريقة اختبار ربما تكون على دراية بها بالفعل ...

ما هو اختبار A / A؟

يتضمن اختبار A / B توجيه حركة المرور إلى صفحتين مختلفتين - نسخة أصلية (عنصر تحكمك) وإصدار آخر (نسختك المختلفة) - لمعرفة أيهما يعمل بشكل أفضل.

وبالمثل ، يتضمن اختبار A / A زيادة عدد الزيارات إلى صفحتين لمعرفة أيهما يعمل بشكل أفضل. ولكن على عكس اختبار A / B ، فإن اختبار A / A يضع صفحتين متطابقتين ضد بعضهما البعض - وبدلاً من اكتشاف المصعد ، فإن هدفهم هو عدم العثور على أي فرق بين التحكم والتباين.

لماذا أ / أ اختبار؟

نحن لا نلومك على حك رأسك ، متسائلاً "ما الذي يمكن أن يحققه اختبار صفحتين متطابقتين ضد بعضهما البعض؟"

قد يبدو الأمر سخيفًا ، لكنه أسلوب يستخدمه بعض المختبرين المحترفين لاختبار اختبار أ / ب قبل الاختبار. (هاه؟)

تتطلب نتائج الاختبار الدقيقة أكثر من دلالة إحصائية

يمكن لأي شخص إجراء اختبار A / B ، لكن القليل منهم يمكنهم إجراء اختبار A / B صالح (تذكر: حوالي 20٪ فقط من نتائج الاختبار شرعية بالفعل).

يتضمن إنتاج بيانات اختبار دقيقة أكثر من مجرد الوصول إلى دلالة إحصائية بحجم عينة كبير وتمثيلي. لكي تكون واثقًا من نتائجك ، عليك التأكد من أن العينة ليست ملوثة بعدد من تهديدات الصلاحية.

أحد تلك التهديدات ، تأثير الأداة ، هو ما تفيد اختبارات A / A في مكافحته.

ما هو تأثير الصك؟

تبدأ الحماية من تهديدات الصلاحية قبل أن تبدأ حتى اختبار أ / ب. يقول Peep Laja من CXL إن تأثير الأداة هو ما يسمم معظم نتائج الاختبار:

هذه هي القضية الأكثر شيوعًا. عندما يحدث شيء ما مع أدوات الاختبار (أو الأدوات) التي تسبب بيانات معيبة في الاختبار. غالبًا ما يرجع ذلك إلى تنفيذ كود خاطئ على موقع الويب ، وسيؤدي إلى تحريف جميع النتائج.

لهذا السبب ، عند إعداد اختبار ، من المهم التأكد من تكوين أدواتك بشكل صحيح ومن عملها بالطريقة التي ينبغي لها. إذا لم تكن كذلك ، فيمكن أن تظهر هذه المشكلات الشائعة:

• الإبلاغ الخاطئ عن مؤشرات الأداء الرئيسية. يمكن لخطأ واحد فقط في أداة واحدة أن يخلط بياناتك ، ولهذا السبب يجب ألا تعتمد أبدًا على نظام أساسي فردي لتتبع جميع معلومات الاختبار الخاصة بك. على الأقل ، قم بالتكامل مع Google Analytics للتحقق مرة أخرى من دقة المقاييس التي تراها في برنامج الاختبار وتتبع موقع الويب. للحصول على نتائج أفضل ، تحقق ثلاث مرات باستخدام أداة أخرى. احذر من أي تقارير لا تتطابق بشكل وثيق نسبيًا.
• مشاكل عرض الصفحة المقصودة بعد النقر. يمكن أن تتسبب أخطاء الترميز الصغيرة في تهديدات كبيرة للصلاحية ، مثل مشكلات العرض ، أثناء اختبار أ / ب. لهذا السبب من الضروري التأكد من أن صفحاتك المقصودة بعد النقر تبدو بالشكل المفترض عبر جميع الأجهزة والمتصفحات ، وأن زوارك لا يتأثرون بشيء يسمى "تأثير الوميض". من بين أمور أخرى ، يمكن أن يتسبب موقع الويب البطيء في حدوث هذه المشكلة ، والتي تحدث عندما يتم عرض عنصر التحكم الخاص بك للزائر قبل التغيير مباشرة.
• إيقاف الاختبار مبكرًا جدًا. ستعلن بعض برامج الاختبار عن صفحة فائزة قبل الأوان - عندما لا يكون حجم العينة كبيرًا بما يكفي ، أو عندما يكون ممثلًا لعميلك المستهدف. تذكر: الوصول إلى الدلالة الإحصائية لا يعني أن الوقت قد حان لإيقاف الاختبار. كلما طالت مدة تشغيله ، زادت دقة نتائجك.

يمكن أن تؤدي أي واحدة من هذه المشكلات (وأكثر) إلى نتيجة إيجابية خاطئة في نهاية الاختبار ، ولهذا السبب يحذر Peep المختبرين ليكونوا يقظين:

عندما تقوم بإعداد اختبار ، شاهده مثل الصقر. لاحظ أنه يتم تسجيل كل هدف ومقياس تتعقبه. إذا كان بعض المقاييس لا يرسل البيانات (على سبيل المثال ، إضافة إلى بيانات نقرة عربة التسوق) ، فقم بإيقاف الاختبار ، وابحث عن المشكلة وأصلحها ، وابدأ من جديد عن طريق إعادة تعيين البيانات.

ولكن لا يشعر الجميع بالراحة عند القفز على الفور إلى اختبار A / B بكلتا القدمين - خاصة عند استخدام برنامج جديد. لذلك ، كإجراء احترازي إضافي ، يقوم بعض الممارسين باختبار أ / أ لتقييم أدواتهم قبل بدء اختبار أ / ب.

إذا تم إعداد تجربتك بشكل صحيح ، في نهاية اختبار A / A ، يجب أن تظهر كلتا الصفحتين بمعدل تحويل مماثل. كما يوضح المختبرين التاليين ، فإن هذا لا يحدث دائمًا.

أمثلة اختبار A / A

هل الإيجابيات الخاطئة شائعة حقًا؟ هل يمكن لصفحة واحدة أن تتفوق حقًا على نسختها؟ استخدم هؤلاء الأشخاص اختبار A / A لمعرفة النتائج التي توصلوا إليها وكشفوها في منشورات المدونة التالية ...

1. يكشف اختبار انقسام الصفحة الرئيسية عن نقص كبير في أدوات الاختبار الشائعة

في 11 نوفمبر 2012 ، بدأ فريق Copyhackers اختبار تقسيم A / A على صفحتهم الرئيسية ، كما هو موضح أدناه:

في اليوم الثامن عشر - بعد ستة أيام - أعلنت أداة الاختبار الخاصة بهم فائزًا بثقة 95٪. من أجل الدقة ، قرر الفريق السماح بإجراء الاختبار ليوم آخر - وعند هذه النقطة أعلن برنامجهم الفائز بمستوى ثقة 99.6٪:

كان أداء صفحتهم الرئيسية أفضل بنسبة 24٪ تقريبًا من نفس الصفحة بالضبط ، وكانت هناك فرصة بنسبة 0.4٪ فقط أن تكون النتيجة إيجابية خاطئة ، وفقًا للبرنامج. ومع ذلك ، سمح الفريق بإجراء الاختبار لمدة ثلاثة أيام أخرى ، وتلاشت الاختلافات في النهاية:

ولكن هذا ليس نقطة. النقطة المهمة هي: أعلنت أداة الاختبار الفائز مبكرًا جدًا. إذا لم يستمر فريق Copyhackers في تشغيله ، لكانوا قد افترضوا خطأً أن هناك مشكلة في تجربتهم. اقرأ المزيد عن الاختبار هنا.

2. اختبار A / A: كيف زادت التحويلات بنسبة 300٪ بعدم القيام بأي شيء على الإطلاق

يأتي هذا العنوان الساخر من المؤلف والمُعلن عن نفسه بأنه "رجل أعمال متعافي" ، ديفيد كادافي ، الذي أجرى عددًا من اختبارات A / A على مدار 8 أشهر على 750.000 مشترك في البريد الإلكتروني. خلال ذلك الوقت ، حقق نتائج ذات دلالة إحصائية ، مثل هذه:

ومن بين تلك النتائج:

• يتم فتح زيادة بنسبة 9٪ في البريد الإلكتروني
• زيادة 300٪ في النقرات
• معدل إلغاء الاشتراك أقل بنسبة 51٪

هو يقول:

بالنسبة إلى العديد من رواد الأعمال الراغبين (بما فيهم أنا سابقًا) ، يبدو هذا كالتالي "يا إلهي ، لقد زادت الافتتاحيات بنسبة 10٪!" حتى أنهم قد يثقبونها في حاسبة الأهمية الخاصة بمحسّن مواقع الويب المرئية ويرون أن p = .048. "إنها ذات دلالة إحصائية!" هم (أو أنا) قد يصيحون.

الحقيقة هي ، رغم ذلك ، كانت هذه كلها اختبارات A / A. كان المحتوى الذي تم اختباره ضد بعضهما البعض متطابقًا. شاهد المزيد من نتائجه هنا.

هل يجب عليك إجراء اختبارات A / A؟

تعتمد إجابة هذا السؤال على من تسأل.

يقول نيل باتيل ، الذي ظل يرى زيادة كبيرة في التحويل لا تعادل زيادة الإيرادات ، "من المهم حقًا أن تجري اختبار A / A أولاً لأن هذا سيساعد في ضمان عدم إضاعة الوقت في استخدام البرامج غير الدقيقة."

من ناحية أخرى ، يقول Peep Laja من CXL إن اختبارات A / A نفسها مضيعة للوقت. إذن من على حق؟

المشكلتان الرئيسيتان في اختبار A / A

من وجهة النظر النظرية ، فإن اختبار A / A له معنى كبير. قبل كل شيء ، الدقة هي الأكثر أهمية عند إجراء اختبار A / B ، واختبار اختبارك هو مجرد واحدة من عدة طرق لضمان ذلك.

في بيئات الاختبار الواقعية ، على الرغم من ذلك ، فإن اختبارات A / A لديها القدرة على إلحاق ضرر أكبر من نفعها. يشرح كريج سوليفان:

بالنسبة لي ، تكمن المشكلة دائمًا في استهلاك حركة المرور الحقيقية ووقت الاختبار ، من خلال الاضطرار إلى التحميل المسبق لوقت التشغيل التجريبي بفترة اختبار A / A. إذا كنت أحاول إجراء 40 اختبارًا شهريًا ، فسيؤدي ذلك إلى شل قدرتي على تشغيل الأشياء. أفضل إجراء اختبار ضمان الجودة لمدة نصف يوم في التجربة بدلاً من تشغيل 2-4 أسابيع من اختبار A / A للتحقق من خطها.

هذه مشكلة واحدة. تكلف اختبارات A / A الوقت الحقيقي وحركة المرور التي يمكن أن تستخدمها لمعرفة المزيد عن زوار موقعك على الويب من خلال اختبارات A / B.

تم توضيح المشكلة الثانية في دراسة الحالة من Copyhackers. مثل اختبارات A / B ، يجب تصميم اختبارات A / A ومراقبتها بعناية ، لأنها عرضة للإيجابيات الخاطئة أيضًا.

بمعنى آخر ، قد يخبرك اختبار A / A الخاص بك أن إحدى الصفحات تؤدي أداءً أفضل من الأخرى ، في حين أنها ليست كذلك (هذه الفرصة أعلى بكثير مما تعتقد - حوالي 50٪)

إذا كان الفريق في Copyhackers قد استمع إلى أداة الاختبار الخاصة بهم وأعلنوا فائزًا بعد ستة أيام فقط ، فسيكونون قد أمضوا وقتًا أطول في محاولة اكتشاف سبب أداء صفحتهم الرئيسية بشكل أفضل من التوأم المتطابق (في حين أنها لم تكن كذلك) .

الفائدة الرئيسية من اختبار A / A

على الرغم من هذه المشاكل ، فإن اختبار A / A لديه القدرة على مساعدتك في اكتشاف المشكلات الأكبر أثناء الاختبارات الحقيقية . عندما تكون نتائج هذه الاختبارات هي تلك التي تبني عليها قرارات العمل المهمة ، فهذه فائدة قوية يجب وضعها في الاعتبار.

إذا قررت إجراء اختبار A / A ، فمن المحتمل أن تكون هناك طريقة أقل إهدارًا للقيام بذلك ، تسمى اختبار A / A / B.

اختبار A / A / B مقابل اختبار A / A

الطريقة التقليدية لاختبار A / A تهدر حركة المرور لأنها لا تخبرك بأي شيء عن زوار موقعك في نهايتها. ولكن ، إذا أضفت متغير "ب" إلى هذا الاختبار ، فيمكنه ذلك. إليك الفرق بين الاثنين:

• A / A test = صفحتان متطابقتان تم اختبارهما مقابل بعضهما البعض
• اختبار A / A / B = صفحتان متطابقتان واختلاف واحد تم اختبارهما مقابل بعضهما البعض

يقسم اختبار A / A / B حركة المرور الخاصة بك إلى ثلاث شرائح ، مما يعني أن الأمر سيستغرق وقتًا أطول للوصول إلى الأهمية الإحصائية. لكن الجانب الإيجابي ، بمجرد القيام بذلك ، سيكون لديك بيانات حول كل من أداة الاختبار الخاصة بك وزوارك.

قارن نتائج A مقابل A لتحديد ما إذا كان يمكنك الوثوق في اختبارك. إذا كانت متشابهة إحصائيًا ، قارن نتائج A مقابل B. وإذا لم تكن كذلك ، فسيتعين عليك استبعاد نتائج الاختبار بأكمله (الذي استغرق وقتًا أطول من اختبار A / A التقليدي للتشغيل نظرًا لأن حركة المرور الخاصة بك مقسمة بثلاث طرق).

هل فوائد اختبار A / A تفوق السلبيات؟

يقول بعض الخبراء "نعم" ، بينما يقول آخرون "لا". يبدو أن Andrew First من Leadplum يعتقد أن الإجابة تقع في مكان ما بين:

من المحتمل ألا يكون اختبار A / A أمرًا شهريًا ، ولكن عندما تقوم بإعداد أداة جديدة ، فإن الأمر يستحق أخذ الوقت لاختبار بياناتك. إذا اعترضت البيانات السيئة الآن ، فستكون أكثر ثقة في نتائج الاختبار الخاصة بك بعد شهور.

في النهاية ، الأمر متروك لك. إذا كنت تستخدم أداة جديدة ، فقد يكون من الحكمة أن تأخذ نصيحة أندرو. إذا لم تكن كذلك ، فمن الأفضل أن تحذو حذو Craig Sullivan وأن تقوم بدلاً من ذلك بإعداد عملية اختبار مسبق صارمة لضمان الجودة. وفر وقتك ومواردك وحركة المرور من أجل اختبار أ / ب.

احصل على أقصى استفادة من جهود الاختبار والحملات الإعلانية الرقمية ، اشترك في عرض Instapage Enterprise اليوم.