تكرار السؤال: …
الإجابة المختصرة
يتطلب إجراء الاختبار وجود فرضية محددة وعينة مستخدمين كافية وتوزيعاً عشوائياً موحداً واختبار متغير واحد فقط في كل مرة، وتأكيد الدلالة الإحصائية لضمان أن النتيجة ليست وليدة الصدفة.
الشرح
قيمة P-value هي احتمال رؤية فارق بهذا الحجم أو أكبر في معدل التحويل بين التصميم (A) والتصميم (B) لو لم يكن للتغيير أي أثر حقيقي (فرضية العدم). فإذا كانت أقل من مستوى الدلالة المحدد مسبقاً (عادة 0.05) نرفض فرضية العدم. ومن الأخطاء الشائعة تفسيرها على أنها «احتمال 95% أن التصميم B أفضل»؛ فهي لا تقيس احتمال صحة الفرضية ولا حجم الأثر. التسرع في إيقاف الاختبار بعد يومين بمجرد تقدم نسخة معينة هو خطأ علمي شهير (Peeking Problem)؛ يجب تشغيل الاختبار لدورات أسبوعية كاملة لتمثيل تقلبات سلوك المستخدمين بين أيام العمل وعطلات نهاية الأسبوع.
أخطاء شائعة
- تغيير 10 عناصر مختلفة في النسخة (B) معاً مما يجعل من المستحيل معرفة أي عنصر كان سبباً في تغيير النتيجة.
- إيقاف الاختبار قبل الوصول لحجم العينة المحسوب إحصائياً مما يؤدي لنتائج إيجابية كاذبة (False Positives).