R'de sınıf içi korelasyon katsayısı nasıl hesaplanır

Öğelerin veya konuların farklı değerlendiriciler tarafından güvenilir bir şekilde derecelendirilip derecelendirilemeyeceğini belirlemek için sınıf içi korelasyon katsayısı (ICC) kullanılır.

Bir ICC’nin değeri 0’dan 1’e kadar değişebilir; 0, değerlendiriciler arasında hiçbir güvenilirliğin olmadığını, 1 ise mükemmel güvenilirliği gösterir.

R’de ICC’yi hesaplamanın en kolay yolu, aşağıdaki sözdizimini kullanan irr paketindeki icc() işlevini kullanmaktır:

icc (sınıflandırmalar, model, tip, birim)

Altın:

• notlar: bir veritabanı veya notlar matrisi
• model: Kullanılacak modelin türü. Seçenekler arasında “tek yön” veya “çift yön” yer alır
• tür: Değerlendiriciler arasında hesaplanacak ilişkinin türü. Seçenekler “tutarlılık” veya “anlaşma”yı içerir
• birim: analiz birimi. Seçenekler arasında “basit” veya “orta” yer alır

Bu eğitimde bu özelliğin kullanımına ilişkin pratik bir örnek sunulmaktadır.

1. Adım: Verileri oluşturun

Diyelim ki dört farklı jüriden 10 farklı üniversiteye giriş sınavının kalitesini değerlendirmeleri isteniyor. Jürinin puanlarını tutmak için aşağıdaki veri çerçevesini oluşturabiliriz:

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Adım 2: Sınıf içi korelasyon katsayısını hesaplayın

Dört yargıcın giriş sınavı için nitelikli yargıçlardan oluşan bir popülasyondan rastgele seçildiğini ve yargıçlar arasındaki mutlak anlaşmayı ölçmek istediğimizi ve ölçümümüzün temeli olarak puanları yalnızca bir değerlendiricinin bakış açısından kullanmak istediğimizi varsayalım.

Değerlendiriciler arasındaki ilişki olarak mutlak anlaşmayı ve ilgi birimi olarak tek birimi kullanarak iki yönlü bir modele uymak için R’de aşağıdaki kodu kullanabiliriz:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

Sınıf içi korelasyon katsayısı (ICC) 0,782 olarak bulunmuştur.

Koo ve Li’ye göre sınıf içi korelasyon katsayısının değerinin nasıl yorumlanacağı aşağıda açıklanmıştır:

• 0,50’den az: zayıf güvenilirlik
• 0,5 ile 0,75 arasında: Orta düzeyde güvenilirlik
• 0,75 ile 0,9 arasında: İyi güvenilirlik
• 0,9’dan büyük: Mükemmel güvenilirlik

Dolayısıyla, 0,782’lik bir ICC’nin, sınavların farklı değerlendiriciler tarafından “iyi” güvenilirlikle puanlanabileceğini gösterdiği sonucuna varabiliriz.

ICC’nin hesaplanmasına ilişkin bir not

Aşağıdaki üç faktöre bağlı olarak hesaplanabilecek bir ICC’nin birkaç farklı versiyonu vardır:

• Model: tek yönlü rastgele etkiler, iki yönlü rastgele etkiler veya iki yönlü karışık etkiler
• İlişki türü: tutarlılık veya mutlak anlaşma
• Birim: tek değerlendirici veya değerlendiricilerin ortalaması

Önceki örnekte hesapladığımız ICC aşağıdaki varsayımları kullandı:

• Model: iki yönlü rastgele etkiler
• İlişki türü: Mutlak anlaşma
• Birim: Tek Değerlendirici

Bu varsayımların ayrıntılı bir açıklaması için lütfen bu makaleye bakın.