اختبار A/B: صمّم التجربة قبل إعلان النسخة الفائزة
حدد فرضية وعينة وتوزيعًا ومؤشرًا أساسيًا لاختبار A/B، وافهم الفرق بين التحسن النسبي والدليل الذي يسمح باتخاذ قرار.
محتويات المقال
نسخة الصفحة الجديدة جابت12طلبًا، والقديمة جابت10. هل نعلن فوز الجديدة؟ مش قبل ما نعرف عدد الأشخاص في كل مجموعة، وكيف توزعوا، وهل القياس سليم، وهل الفرق أكبر من التذبذب الذي تسمح به البيانات.
اختبارA/B يقارن نسختين ضمن تصميم مضبوط يساعد على تقدير أثر تغيير محدد. مجرد عرض نسخة هذا الأسبوع ونسخة الأسبوع القادم ليس نفس التجربة؛ اختلاف الجمهور والموسم والحملة قد يختلط بالتغيير. أبحاث Microsoft عن تصميم التجارب تؤكد أن الثقة في البيانات والتصميم تسبق حكم النتيجة.
اكتب الفرضية ومعيار القرار قبل البداية
حدد المشكلة، والتغيير، والجمهور، والمؤشر الأساسي، ومؤشرات الحماية. مثال تعليمي: توضيح متطلبات طلب عرض السعر قد يزيد الطلبات المكتملة المناسبة، من غير زيادة الرسائل غير المؤهلة أو أخطاء النموذج.
اختار مؤشرًا أساسيًا مفهومًا بدل إعلان أي رقم تحسن فائزًا بعد التجربة. أضف قياسات تشخيص وحماية مثل الأخطاء وجودة الطلبات، لكن لا تغير هدف التجربة بعد رؤية النتائج لمجرد أن مؤشرًا آخر أعجبك.
حدد وحدة التوزيع والمقام
هل التوزيع على مستخدم أم جلسة أم حساب؟ اختيار الوحدة يعتمد على الرحلة وإمكانية ثبات النسخة. لو الشخص ينتقل بين النسختين دون قصد، قد يصعب تفسير الأثر. وثّق كيف تعرف التعرض للتجربة وما الذي يدخل التحليل.
لا تجمع عدد أحداث متكررة في البسط ثم تسمي الناتج نسبة أشخاص ناجحين. إذا الهدف نسبة المستخدمين الذين أكملوا طلبًا واحدًا على الأقل، فالبسط والمقام يحتاجان نفس وحدة المستخدم المؤهل، ضمن تعريف جمع صالح.
الحجم والمدة ليسا رقمًا سحريًا
تقدير حجم العينة يحتاج معدلًا أساسيًا وتغيرًا عمليًا يستحق الاكتشاف، ومستويات خطأ وقوة إحصائية ومنهج تحليل مناسب. استخدم مختصًا أو أداة موثقة تفهم افتراضاتها؛ لا تقرر أن أسبوعًا أو100زائر يصلحان لكل موقع.
المدة لازم تناسب الوصول للعينة وتغطية أنماط العمل المهمة، من غير إيقاف مبكر لمجرد ظهور لون أخضر. وإذا تستخدم منهجًا تسلسليًا يسمح بقراءات متكررة، يجب أن يكون ذلك جزءًا من التصميم، لا تغييرًا مرتجلًا وقت النظر.
نموذج بطاقة تجربة
البند | ما الذي تكتبه قبل التشغيل؟ |
|---|---|
الفرضية | التغيير ولماذا قد يؤثر |
المؤهلون | من يدخل ومن يستبعد بسبب واضح |
التوزيع | الوحدة والنسب وآلية ثبات النسخة |
المؤشر الأساسي | التعريف والمصدر والمقام |
الحماية | أخطاء أو ضرر لا نقبل زيادته |
خطة التحليل | العينة والمدة وقاعدة القرار |
الإيقاف الآمن | الأعطال التي تستدعي تدخلًا فورًا |
وجود زر مكسور أو تسرب بيانات سبب إيقاف لحماية الناس، وليس «نظرة مبكرة» للفوز. افصل قواعد السلامة عن رغبتك في إعلان نتيجة تسويقية.
افحص التوزيع والبيانات قبل الأثر
إذا خططت لتوزيع متوازن ووجدت فرقًا غير متوقع، افحص آلية التعيين والتسجيل والأهلية. بحث Microsoft عن Sample Ratio Mismatch يشرح لماذا قد يشير هذا الاختلاف لمشكلة تجعل النتيجة غير موثوقة.
اختبر أن النسختين ترسلان القياس بنفس التعريف. نسخة ترسل النجاح عند الضغط وأخرى عند الإرسال الحقيقي لا تدخل مقارنة عادلة. وقارن الإعدادات الفنية قبل محاولة تفسير فرق الجمهور نفسيًا.
احسب الفرق بدون تضخيمه
مثال حسابي مصطنع:200طلب من10000مستخدم مؤهل فيA، و220من10000فيB. المعدلان2% و2.2%؛ الفرق0.2نقطة مئوية، أو10% تحسن نسبي. هذه الحسابات وحدها لا تثبت دلالة إحصائية أو فوزًا؛ تحتاج فاصل عدم يقين واختبارًا مناسبًا للتصميم.
ولو الأثر المقدّر صغير، اسأل هل قيمته العملية تستحق تكلفة الصيانة أو مخاطر التغيير. الدلالة الإحصائية، إن تحققت، ليست وحدها قرار منتج.
لو الزيارات قليلة؟
لا تجبر الموقع على تجربة لن تصل لنتيجة مفيدة في وقت مناسب. ممكن تبدأ باختبار استخدام ومراجعة رسائل العملاء وإصلاح العوائق المؤكدة. سمّها كما هي: أدلة نوعية أو تحسينات تشغيلية، لا تجربة سببية مكتملة.
وفي التسليم، اكتب النتيجة وحدودها والتوصية: إطلاق، عدم إطلاق، أو غير حاسمة. التجربة غير الحاسمة معلومة مفيدة إذا منعت ثقة زائفة. لو تحتاج تجهيز القياس والفرضية قبل التنفيذ، راجع التحليلات وتحسين التحويل في سنوحي.
التعليقات
لا توجد تعليقات بعد.
