اختبار A/B

حاسبة اختبار A/B — الدلالة الإحصائية لاختبارك المقسّم

أدخل عدد زوار ومعاملات تحويل كل نسخة من النسختين، وتعرّف بإحصاء حقيقي، لا بالحدس، هل لاختبارك فائز فعلًا.

مدى التأكد الذي تحتاجه قبل إعلان الفائز.
حكم الاختبار
—
 
0%
معدل النسخة A
0%
معدل النسخة B
0%
الارتفاع النسبي
—
قيمة p / الثقة
نصيحة: النتيجة «ذات الدلالة» تعني فقط أن الفرق حقيقي على الأرجح، ولا تعني أن الفرق كبير بما يكفي ليهمّك. افحص حجم الارتفاع، لا العلامات وحدها.

تأخذ حاسبة اختبار A/B المجانية هذه الأرقام الخام من اختبارك المقسّم، أي الزوار والتحويلات لكل نسخة، وتخبرك هل الفرق الذي تراه نتيجة حقيقية موثوقة إحصائيًا أم مجرد ضجيج. أدخل زيارات وتحويلات النسخة A، ثم زيارات وتحويلات النسخة B، واختر مستوى الثقة الذي تحتاجه، لتحصل فورًا على حكم: فائز بنسبة ثقة معلنة، أو «غير ذي دلالة بعد». تتم كل الحسابات في متصفحك باستخدام اختبار z لنسبتين، وهو الأساس الرياضي نفسه خلف فحوص الدلالة في معظم منصات الاختبار الاحترافية.

بنينا هذه الحاسبة لأن فرقًا كثيرة توقف اختباراتها لحظة تبدو إحدى النسختين متقدمة، دون أن تتحقق هل يمكن أن تكون الفجوة مجرد صدفة. في Arb Digital ننفّذ اختبارات مقسّمة على صفحات الهبوط والتصاميم الإعلانية باستمرار، والعادة الوحيدة التي تفصل الفرق التي تنمو فعلًا عن الفرق التي تعيد توزيع الزيارات كل شهر هي هذه: تفحص الدلالة قبل أن تتخذ قرار الإطلاق، لا بعده.

ماذا تفعل حاسبة اختبار A/B هذه

أنت تجري اختبارًا مقسّمًا كلاسيكيًا: نسختان من صفحة أو بريد إلكتروني أو إعلان أو مسار دفع، تُعرض كل منهما على شريحة منفصلة من الزيارات. النسخة A هي عادةً الأصل، أي النسخة الحالية. والنسخة B هي المنافس، أي العنوان أو التخطيط أو السعر أو لون الزر الجديد. لكل نسخة عدد زوارها وعدد تحويلاتها، وهذه الأرقام الأربعة هي كل ما تحتاجه الحاسبة.

منها تحسب معدل التحويل لكل نسخة، والارتفاع النسبي للنسخة B مقارنةً بـ A، والخطأ المعياري للفرق بين المعدلين، ودرجة z، وقيمة p، ثم تقارن قيمة p بمستوى الثقة الذي اخترته. فإذا تجاوزت النتيجة الحد المطلوب، تعلن الأداة فائزًا وتذكر درجة الثقة في ذلك. وإذا لم تتجاوزه، تخبرك بوضوح أنه لا توجد نتيجة بعد، وهذا لا يقل فائدة عن معرفة الفوز.

طريقة الاستخدام

  1. أدخل زوار وتحويلات النسخة A. هذه في الغالب نسختك الحالية، أي الصفحة أو النسخة التي تقارن بها.
  2. أدخل زوار وتحويلات النسخة B. هذه النسخة المنافسة، أي النسخة الجديدة التي تأمل أن تتفوق على الأصل.
  3. اختر مستوى الثقة. 95% هو الافتراضي المعتاد لمعظم القرارات التسويقية؛ استخدم 99% للتغييرات عالية المخاطر مثل التسعير أو الدفع، حيث يكلّف الإيجابي الكاذب كثيرًا.
  4. اقرأ الحكم. تخبرك النتيجة الكبيرة بوضوح هل لديك فائز ذو دلالة إحصائية، وأي نسخة هو.
  5. افحص الارتفاع، لا العلامات وحدها. قد لا تستحق النتيجة ذات الدلالة مع ارتفاع نسبي ضئيل جهد التنفيذ. الدلالة تجيب عن سؤال «هل هذا حقيقي؟»، ولا تجيب عن «هل يستحق العناء؟»

المعادلة وطريقة الحساب

تجري هذه الحاسبة اختبار z لنسبتين، وهو الأسلوب المعتمد في الكتب لمقارنة معدلي تحويل. أولًا تحسب معدل كل نسخة: التحويلات مقسومة على الزوار. ثم تدمج العينتين في معدل تحويل مشترك، وتستخدمه لحساب الخطأ المعياري للفرق بين A وB. وبقسمة الفرق الملاحظ بين المعدلين على هذا الخطأ المعياري تحصل على درجة z، وبتحويلها عبر دالة التوزيع التراكمي للتوزيع الطبيعي تحصل على قيمة p، وهي احتمال رؤية فجوة بهذا الحجم (أو أكبر) بمحض الصدفة لو لم يكن هناك فرق حقيقي بين النسختين.

  1. معدل كل نسخة: pA = تحويلات A / زوار A، وكذلك pB.
  2. المعدل المشترك: p = (تحويلات A + تحويلات B) / (زوار A + زوار B).
  3. الخطأ المعياري: SE = √( p × (1 − p) × (1/زوار A + 1/زوار B) ).
  4. درجة z: z = (pB − pA) / SE.
  5. قيمة p ثنائية الطرف: 2 × (1 − Φ(|z|))، حيث Φ هي دالة التوزيع التراكمي الطبيعي المعياري. و«الثقة» المعروضة هي (1 − قيمة p) × 100.
  6. يكون الحكم «ذا دلالة» عندما تقل قيمة p عن 1 مطروحًا منه مستوى الثقة الذي اخترته (0.05 عند 95%). والارتفاع النسبي هو (pB − pA) / pA.

مثال محلول (بالأرقام الافتراضية)

النسخة A: 150 تحويلًا من 5,000 زائر = 3.00%. النسخة B: 185 من 5,000 = 3.70%. الارتفاع النسبي هو (3.70 − 3.00) / 3.00 = +23.3%. المعدل المشترك 335 / 10,000 = 0.0335، فيكون SE = √(0.0335 × 0.9665 × (1/5,000 + 1/5,000)) = نحو 0.0036. ثم z = 0.007 / 0.0036 = نحو 1.94، وهذا يعطي قيمة p ثنائية الطرف نحو 0.052 (ثقة 94.8%). وهذا يقصر عن حد 0.05 عند إعداد 95%، فتقول الأداة «غير ذي دلالة بعد» رغم أن B تبدو أفضل بنسبة 23%. لو غيّرت B إلى 200 تحويل لانخفضت قيمة p إلى نحو 0.007، وهو فوز واضح.

الطريقة هي اختبار z المعياري لنسبتين بمعدل مشترك. يشرح دليل إيفان ميلر لأخطاء اختبار A/B معنى مستوى الدلالة ولماذا ينهار إذا أوقفت الاختبار مبكرًا. والحاسبة ثنائية الطرف: ترصد أي فرق حقيقي في أي اتجاه، ولا تصحّح لتعدد النسخ أو تعدد المقاييس في الوقت نفسه.

لماذا تُنتج «المراقبة المتكررة» نسخًا خاسرة

هذا هو الخطأ الذي يفسد من اختبارات A/B أكثر مما يفسده أي خطأ آخر: أن تفحص النتائج كل يوم وتوقف الاختبار لحظة تبدو الأرقام جيدة. يبدو ذلك تصرفًا مسؤولًا، فأنت تراقب الاختبار بعد كل شيء، لكنه خطر إحصائيًا. في كل مرة تطّلع على الاختبار ولديك خيار إيقافه، تمنح الصدفة فرصة جديدة لإنتاج إيجابي كاذب. يعرض تحليل إيفان ميلر مثالًا للحالة الأسوأ: اختبر معدل تحويل 50% بعد كل ملاحظة، وتوقف عند أول نتيجة بنسبة 5% أو بعد 150 ملاحظة، فسيُعلن خطأً فوز تغيير لا يفعل شيئًا بنسبة نحو 26.1%، أي أكثر من خمسة أضعاف الـ 5% التي ظننتها. الفحص اليومي أخف من ذلك، لكن معدل الإيجابيات الكاذبة يظل أعلى من العتبة المعلنة.

الانضباط الذي يعالج هذا سهل القول صعب التطبيق: حدّد حجم العينة قبل إطلاق الاختبار باستخدام أداة مثل حاسبة حجم العينة لدينا، ولا تعلن فائزًا حتى تبلغ هذا الرقم. لا بأس بمتابعة التقدم أثناء الاختبار، أما الفخ فهو التوقف مبكرًا لأن الأرقام المرحلية تبدو واعدة. تعامل مع حجم العينة المحدد مسبقًا على أنه خط نهاية، لا اقتراح.

الدلالة الإحصائية ليست دلالة تجارية

قد تكون النتيجة ذات دلالة إحصائية صارمة تمامًا ومع ذلك لا حدث تجاري فيها. أجرِ اختبارًا بزيارات كافية، مئات الآلاف من الزوار، وستتمكن من رصد ارتفاع نسبي قدره 0.2% بثقة إحصائية كاملة. هو حقيقي. وهو أيضًا على الأرجح لا يستحق ساعة هندسية واحدة لتنفيذه، لأن أثره في الإيرادات يقرَّب إلى الصفر. تخبرك الدلالة أن الفرق ليس صدفة على الأرجح؛ ولا تقول شيئًا عن كونه كبيرًا بما يبرر تكلفة إطلاقه. اقرأ دائمًا نسبة الارتفاع النسبي بجانب قيمة p، واسأل بصدق هل يحرّك هذا الحجم من التغيير رقمًا يهمّ أحدًا في العمل فعلًا.

لا تُجرِ اختبارًا خلال موسم عطلات

تختلف الزيارات ونية الشراء في الجمعة البيضاء أو أسبوع أعياد نهاية العام أو عطلة نهاية أسبوع كبرى اختلافًا تامًا عن يوم عادي. يكون الزوار أكثر حساسية للسعر أو أكثر اندفاعًا أو غائبين تمامًا بحسب مجالك، وأي نسخة تعمل خلال تلك الفترة تحصل على قراءة مشوهة لا علاقة لها بأي تصميم أفضل فعلًا. إذا وقعت عطلة أو حملة تخفيضات كبرى أو تغطية إعلامية كبيرة داخل فترة اختبارك، فإما أن توقف الاختبار وتستأنفه في ظروف عادية، أو تمدّد مدته ليتخفف أثر الحالة الشاذة في عينة كاملة ممثِّلة. نادرًا ما يصمد «فائز» أُعلن على بيانات عطلة بعد عودة الزيارات إلى طبيعتها.

قراءة النتيجة قراءة صحيحة

  • «ذو دلالة — B تفوز» تعني أن الارتفاع الملاحظ تجاوز حد الثقة الذي اخترته. أطلقها، لكن تحقق من حجم الارتفاع أولًا.
  • «غير ذي دلالة بعد» تعني أنك لا تملك دليلًا في أي اتجاه. وهي لا تعني أن النسختين متساويتان، بل تعني أنه لا تتوفر لديك بيانات كافية بعد للحكم.
  • الارتفاع السلبي ذو الدلالة مفيد بقدر الإيجابي، فهو يخبرك أن تُبقي النسخة الأصلية وتتوقف عن إهدار الزيارات على المنافسة.
  • الفروق الصغيرة مع العينات الصغيرة لن تبلغ الدلالة تقريبًا أبدًا. وهذا ليس خللًا في الرياضيات، بل الرياضيات تخبرك بصواب أن العينة أصغر من أن يوثق بها.

ماذا تفعل بعد ذلك

  • فائز وارتفاع يستحق: أطلقه، ثم تابع المقياس الحقيقي (الإيرادات، لا النقرات وحدها) لبضعة أسابيع للتأكد من أن المكسب مستمر.
  • غير ذي دلالة مع بلوغ العينة: اعتبره «لا فرق يمكن رصده». أبقِ النسخة الأرخص أو الأبسط وانتقل إلى فكرة أجرأ.
  • غير ذي دلالة دون بلوغ العينة: واصل الاختبار حتى حجم العينة الذي حددته قبل الإطلاق، ولا تتوقف مبكرًا بسبب رقم مرحلي يبدو جيدًا.
  • ذو دلالة لكن بارتفاع ضئيل: احسب قيمة الارتفاع بالمال أولًا. فإن لم تغطِّ تكلفة بناء التغيير وصيانته، فتجاوزه.
تريد صفحة هبوط مبنية أصلًا لتفوز في اختباراتها؟

تصمم Arb Digital صفحات هبوط تركّز على التحويل وتجري الاختبارات المقسّمة خلفها، فلا تخمّن ما تختبره تاليًا، بل تختبر صفحة مبنية على البيانات منذ البداية.

اطّلع على خدمات تصميم المواقع لدينا كل الأدوات المجانية

أخطاء شائعة يجب تجنبها

  • المراقبة المتكررة والتوقف المبكر. حدّد حجم العينة مسبقًا والتزم به، وراجع القسم أعلاه.
  • اختبار أشياء كثيرة معًا. غيّر عنصرًا مهمًا واحدًا في كل اختبار، وإلا لن تعرف أي تغيير حرّك الرقم فعلًا.
  • تجاهل الأهمية العملية. ارتفاع حقيقي إحصائيًا بنسبة 0.1% لا يستحق الإطلاق عادةً. قارن حجم الارتفاع بتكلفة التغيير.
  • الاختبار على زيارات غير ممثِّلة. العطلات وارتفاعات الانتشار الفيروسي والأعطال كلها تشوّه فترة الاختبار، فأوقفه أو مدّده حولها.
  • إعلان فائز من عينة صغيرة. استخدم حاسبة حجم العينة قبل أن تبدأ لتعرف كم من البيانات تحتاج فعلًا.
  • الخلط بين «غير ذي دلالة» و«لا فرق». المقصود غالبًا أنك تحتاج بيانات أكثر، لا أن النسختين تؤديان الأداء نفسه.

أدوات مجانية ذات صلة من Arb Digital

قبل إطلاق اختبارك المقسّم التالي، خطّط له جيدًا باستخدام حاسبة حجم العينة، فهي تخبرك بعدد الزوار المطلوب قبل أن تبدأ، فلا تراقب اختبارًا ضعيف القدرة. وحين يكون لديك فائز، قدّر أثره في الإيرادات بـحاسبة تحويل صفحة الهبوط، وافحص معدلك الأساسي بـحاسبة معدل التحويل، وانظر كيف تؤثر صفحة أفضل تحويلًا في تكلفة اكتساب العميل ونسبة النقر إلى الظهور. وتصفح كل شيء في مركز الأدوات المجانية عبر الإنترنت.

أداة ذات صلة: اختبار سرعة الإنترنت.

أداة ذات صلة: ⌨️ اختبار سرعة الكتابة.

أداة ذات صلة: Regex Tester.

الأسئلة الشائعة

كيف تُحسب الدلالة في اختبار A/B؟

تستخدم هذه الحاسبة اختبار z لنسبتين. تحسب معدل تحويل كل نسخة، وتدمج العينتين لتقدير معدل مشترك، وتحسب الخطأ المعياري للفرق بين المعدلين، وتستخلص منه درجة z، ثم تحوّلها إلى قيمة p باستخدام التوزيع الطبيعي. فإذا كانت قيمة p أصغر من عتبة الدلالة التي اخترتها (مثلًا 0.05 لثقة 95%)، تُعلن النتيجة ذات دلالة إحصائية.

ما حجم العينة الذي أحتاجه لاختبار A/B؟

يعتمد على معدل التحويل الأساسي لديك وعلى أقل ارتفاع تريد رصده بموثوقية، فالارتفاعات المتوقعة الأصغر تتطلب عينات أكبر بكثير. استخدم حاسبة حجم العينة لدينا قبل إطلاق الاختبار لتحصل على هدف دقيق لعدد الزوار لكل نسخة بناءً على أرقامك، بدل التخمين أو التشغيل حتى «تشعر» أنه انتهى.

لماذا يقول اختباري «غير ذي دلالة» رغم أن B تبدو أفضل؟

المعدل الخام الأعلى لا يعني تلقائيًا فرقًا حقيقيًا، فقد يكون مجرد تباين عشوائي، خاصة مع عينة صغيرة. «غير ذي دلالة» تعني أن الفجوة التي تراها صغيرة بما يكفي، قياسًا إلى حجم عينتك، بحيث يظل من المعقول أن تؤدي النسختان الأداء نفسه. هذه إشارة إلى أنك تحتاج بيانات أكثر، لا إلى أن B أسوأ.

أي مستوى ثقة أستخدم: 90% أم 95% أم 99%؟

95% هو الافتراضي المعتاد لمعظم الاختبارات التسويقية، ويوازن بين السرعة والموثوقية. استخدم 99% للتغييرات عالية المخاطر التي يصعب التراجع عنها مثل التسعير أو مسار الدفع، حيث يكون الإيجابي الكاذب مكلفًا. وقد يكون 90% معقولًا للاختبارات السريعة قليلة المخاطر وسهلة التراجع مثل نص الزر، حيث تكون كلفة الخطأ أحيانًا صغيرة.

هل فحص نتائج اختباري كل يوم فكرة سيئة؟

لا بأس بالفحص لمتابعة التقدم. الخطر هو إيقاف الاختبار لحظة تبدو الأرقام مواتية، وهذا ما يسمى المراقبة المتكررة، وهو يضخّم معدل الإيجابيات الكاذبة فيرتفع كثيرًا فوق مستوى الثقة المعلن. حدّد حجم العينة المطلوب قبل بدء الاختبار واتركه يعمل حتى يبلغه قبل اتخاذ القرار النهائي.

هل يمكن أن يكون قرار إطلاق نتيجة ذات دلالة إحصائية قرارًا سيئًا؟

نعم. الدلالة تخبرك فقط أن الفرق ليس صدفة على الأرجح، ولا تقول شيئًا عن كونه كبيرًا بما يكفي ليهمّ العمل. ارتفاع نسبي ذو دلالة بنسبة 0.2% على عينة ضخمة حقيقي لكنه غالبًا لا يستحق تكلفة التنفيذ الهندسي. وازن دائمًا بين نسبة الارتفاع النسبي وقيمة p.

مثالي الافتراضي يظهر B أعلى بنسبة 23% لكن «غير ذي دلالة». هل الحاسبة خاطئة؟

لا. مع 150 و185 تحويلًا من 5,000 زائر لكل نسخة، تبلغ قيمة p نحو 0.052، أي أعلى قليلًا من 0.05 المطلوبة لثقة 95%. وقد تظهر فجوة بهذا الحجم بالصدفة مرة كل 20 مرة تقريبًا. وزيادة الزوار، أو فرق حقيقي أكبر، سيدفعانها فوق الحد.

الأرقام التي تنتجها هذه الحاسبة تقديرات إحصائية لأغراض التخطيط، مبنية على الأرقام التي تدخلها.

تحتاج مساعدة في الخطوة التالية؟

تفضّل تسليم هذا الأمر لغيرك؟ اطّلع على كيفية تعامل خدمات SEO لدينا معه لصالح العملاء.