अंतर-रेटर विश्वसनीयता क्या है? (परिभाषा & #038; उदाहरण)

आंकड़ों में, अंतर-रेटर विश्वसनीयता कई मूल्यांकनकर्ताओं या न्यायाधीशों के बीच समझौते के स्तर को मापने का एक तरीका है।

इसका उपयोग परीक्षण पर विभिन्न वस्तुओं द्वारा उत्पन्न प्रतिक्रियाओं की विश्वसनीयता का आकलन करने के लिए किया जाता है। यदि किसी परीक्षण में अंतर-रेटर विश्वसनीयता कम है, तो यह संकेत दे सकता है कि परीक्षण आइटम भ्रमित करने वाले, अस्पष्ट या अनुपयोगी भी हैं।

अंतर-रेटर विश्वसनीयता मापने के दो सामान्य तरीके हैं:

1. सहमति का प्रतिशत

अंतर-रेटर विश्वसनीयता को मापने का सरल तरीका उन वस्तुओं के प्रतिशत की गणना करना है जिन पर न्यायाधीश सहमत हैं।

इसे प्रतिशत समझौता कहा जाता है, जो हमेशा 0 और 1 के बीच होता है, जिसमें 0 मूल्यांकनकर्ताओं के बीच कोई समझौता नहीं होने का संकेत देता है और 1 मूल्यांकनकर्ताओं के बीच पूर्ण समझौते का संकेत देता है।

उदाहरण के लिए, मान लीजिए कि दो न्यायाधीशों को एक परीक्षण में 10 वस्तुओं की कठिनाई को 1 से 3 के पैमाने पर रेटिंग देने के लिए कहा जाता है। परिणाम नीचे दिखाए गए हैं:

प्रत्येक प्रश्न के लिए, यदि दोनों न्यायाधीश सहमत हैं तो हम “1” लिख सकते हैं और यदि वे सहमत नहीं हैं तो “0” लिख सकते हैं।

जिन प्रश्नों पर न्यायाधीश सहमत हुए उनका प्रतिशत 7/10 = 70% था।

2. कोहेन का कप्पा

अंतर-रेटर विश्वसनीयता को मापने का सबसे कठिन (और सबसे कठोर) तरीका कोहेन के कप्पा का उपयोग करना है, जो उन वस्तुओं के प्रतिशत की गणना करता है जिन पर रेटर्स सहमत होते हैं, जबकि यह ध्यान में रखते हुए कि रेटर्स केवल कुछ तत्वों पर सहमत हो सकते हैं। सौभाग्य से।

कोहेन के कप्पा सूत्र की गणना इस प्रकार की जाती है:

के = (पी _ओ – पी _ई ) / (1 – पी _ई )

सोना:

• पी _ओ : मूल्यांकनकर्ताओं के बीच सापेक्ष सहमति देखी गई
• पी _ई : मौका समझौते की काल्पनिक संभावना

कोहेन का कप्पा हमेशा 0 और 1 के बीच होता है, जिसमें 0 मूल्यांकनकर्ताओं के बीच कोई समझौता नहीं होने का संकेत देता है और 1 मूल्यांकनकर्ताओं के बीच पूर्ण समझौते का संकेत देता है।

कोहेन के कप्पा की गणना कैसे करें, इसके चरण-दर-चरण उदाहरण के लिए, यह ट्यूटोरियल देखें।

अंतर-रेटर विश्वसनीयता की व्याख्या कैसे करें

अंतर-रेटर विश्वसनीयता जितनी अधिक होगी, उतनी ही अधिक बार कई न्यायाधीश समान स्कोर वाले परीक्षण पर आइटम या प्रश्नों को रेट करेंगे।

सामान्य तौर पर, किसी परीक्षण को विश्वसनीय माने जाने के लिए अधिकांश क्षेत्रों में कम से कम 75% का अंतर-रेटर समझौता आवश्यक होता है। हालाँकि, विशिष्ट डोमेन में उच्च अंतर-रेटर विश्वसनीयता की आवश्यकता हो सकती है।

उदाहरण के लिए, एक टेलीविजन कार्यक्रम को कितनी अच्छी तरह से प्राप्त किया जाएगा यह निर्धारित करने के लिए एक परीक्षण के लिए 75% की अंतर-रेटर विश्वसनीयता स्वीकार्य हो सकती है।

दूसरी ओर, चिकित्सा सेटिंग्स में 95% अंतर-रेटर विश्वसनीयता की आवश्यकता हो सकती है जिसमें कई चिकित्सक यह निर्णय ले रहे हैं कि किसी रोगी पर एक निश्चित उपचार का उपयोग किया जाना चाहिए या नहीं।

ध्यान दें कि अधिकांश शैक्षणिक सेटिंग्स और कठोर अनुसंधान क्षेत्रों में, कोहेन के कप्पा का उपयोग अंतर-रेटर विश्वसनीयता की गणना करने के लिए किया जाता है।

अतिरिक्त संसाधन

विश्वसनीयता विश्लेषण का एक त्वरित परिचय
दो भागों में विभाजित विश्वसनीयता क्या है?
परीक्षण-पुनः परीक्षण विश्वसनीयता क्या है?
समानांतर रूपों की विश्वसनीयता क्या है?
माप की मानक त्रुटि क्या है?
कोहेन का कप्पा कैलकुलेटर