ما هي الموثوقية بين المقيمين؟ (التعريف & #038؛ مثال)

في الإحصائيات، الموثوقية بين المقيمين هي وسيلة لقياس مستوى الاتفاق بين العديد من المقيمين أو القضاة.

يتم استخدامه لتقييم موثوقية الاستجابات التي تنتجها عناصر مختلفة في الاختبار. إذا كان الاختبار يتمتع بموثوقية أقل بين المُقيّمين، فقد يشير ذلك إلى أن عناصر الاختبار مربكة أو غير واضحة أو حتى غير مفيدة.

هناك طريقتان شائعتان لقياس الموثوقية بين المُقيّمين:

1. نسبة الاتفاق

الطريقة البسيطة لقياس الموثوقية بين المقيمين هي حساب النسبة المئوية للعناصر التي يتفق عليها الحكام.

وهذا ما يسمى اتفاق النسبة المئوية ، والذي يقع دائمًا بين 0 و1، حيث يشير 0 إلى عدم وجود اتفاق بين المقيمين و1 يشير إلى اتفاق تام بين المقيمين.

على سبيل المثال، لنفترض أنه طُلب من قاضيين تقييم مدى صعوبة 10 عناصر في اختبار على مقياس من 1 إلى 3. وتظهر النتائج أدناه:

لكل سؤال، يمكننا أن نكتب “1” إذا وافق كلا القاضيين و”0″ إذا لم يتفقا.

وكانت نسبة الأسئلة التي اتفق عليها الحكام 7/10 = 70% .

2. كابا كوهين

الطريقة الأكثر صعوبة (والأكثر صرامة) لقياس الموثوقية بين المقيمين هي استخدام Cohen’s Kappa ، الذي يحسب النسبة المئوية للعناصر التي يتفق عليها المقيمون، مع الأخذ في الاعتبار أن المقيمين قد يتفقون على عناصر معينة فقط. لحسن الحظ.

يتم حساب صيغة كابا كوهين على النحو التالي:

ك = ( _ص – ص _ه ) / (1 – ص _ه )

ذهب:

• p _o : الاتفاق النسبي الملحوظ بين المقيّمين
• p _e : الاحتمال الافتراضي لاتفاق الصدفة

تتراوح قيمة Cohen’s Kappa دائمًا بين 0 و1، حيث يشير الرقم 0 إلى عدم وجود اتفاق بين المقيمين ويشير الرقم 1 إلى الاتفاق التام بين المقيمين.

للحصول على مثال خطوة بخطوة حول كيفية حساب Cohen’s Kappa، راجع هذا البرنامج التعليمي .

كيفية تفسير الموثوقية بين المقيمين

كلما زادت الموثوقية بين المقيّمين، كلما قام العديد من القضاة بتقييم العناصر أو الأسئلة بشكل أكثر اتساقًا في اختبار ذي درجات مماثلة.

بشكل عام، يلزم وجود اتفاق بين المُقيّمين بنسبة 75% على الأقل في معظم المناطق حتى يُعتبر الاختبار موثوقًا به. ومع ذلك، قد تكون هناك حاجة إلى موثوقية أعلى بين المقيمين في مجالات محددة.

على سبيل المثال، قد تكون نسبة الموثوقية بين التقييمات 75% مقبولة لاختبار لتحديد مدى جودة استقبال برنامج تلفزيوني.

من ناحية أخرى، قد تكون هناك حاجة إلى موثوقية بنسبة 95٪ في البيئات الطبية التي يحكم فيها العديد من الأطباء على ما إذا كان ينبغي استخدام علاج معين على مريض معين أم لا.

لاحظ أنه في معظم الأوساط الأكاديمية ومجالات البحث الصارمة، يتم استخدام Cohen’s Kappa لحساب الموثوقية بين المقيمين.

مصادر إضافية

مقدمة سريعة لتحليل الموثوقية
ما هو تقسيم الموثوقية إلى قسمين؟
ما هي موثوقية الاختبار وإعادة الاختبار؟
ما هي موثوقية النماذج المتوازية؟
ما هو الخطأ القياسي في القياس؟
حاسبة كابا لكوهين