Cohen'in kappa istatistiği: tanım ve örnek

Cohen’in Kappa istatistiği, her biri maddeleri birbirini dışlayan kategorilere sınıflandıran iki değerlendirici veya yargıç arasındaki anlaşmanın düzeyini ölçmek için kullanılır.

Cohen’in kappa formülü şu şekilde hesaplanır:

k = (p _o – p _e ) / (1 – p _e )

Altın:

• p _o : Değerlendiriciler arasında gözlemlenen göreceli anlaşma
• p _e : Şans anlaşmasının varsayımsal olasılığı

Cohen’in Kappa’sı, yalnızca değerlendiricilerin üzerinde anlaştıkları maddelerin yüzdesini hesaplamak yerine, değerlendiricilerin bazı maddeler üzerinde şans eseri anlaşabilecekleri gerçeğini açıklamaya çalışmaktadır.

Cohen’in Kappa’sı nasıl yorumlanır?

Cohen’in Kappa’sı her zaman 0 ile 1 arasındadır; 0, iki değerlendirici arasında hiçbir anlaşma olmadığını, 1 ise iki değerlendirici arasında mükemmel anlaşmayı gösterir.

Aşağıdaki tablo Cohen Kappa’nın farklı değerlerinin nasıl yorumlanacağını özetlemektedir:

Aşağıdaki adım adım örnek, Cohen’in Kappa’sının manuel olarak nasıl hesaplanacağını gösterir.

Cohen’in Kappa’sını hesaplayın: adım adım örnek

Diyelim ki iki müze küratöründen, yeni bir sergide sergilenecek kadar iyi olup olmadıklarını görmek için 70 tabloyu değerlendirmeleri isteniyor.

Aşağıdaki 2×2’lik tablo değerlendirmelerin sonuçlarını göstermektedir:

Adım 1: Değerlendiriciler arasındaki göreceli anlaşmayı ( _po ) hesaplayın.

Öncelikle değerlendiriciler arasındaki göreceli uyum hesaplanacaktır. Bu, her iki değerlendiricinin de “Evet” veya “Hayır” olarak yanıtladığı toplam puanların oranıdır.

Bunu şu şekilde hesaplayabiliriz:

• p _o = (Her ikisi de evet dedi + Her ikisi de hayır dedi) / (Toplam puanlar)
• _pö = (25 + 20) / (70) = 0,6429

Adım 2: Değerlendiriciler arasındaki varsayımsal şans anlaşması olasılığını (p _e ) hesaplayın.

Daha sonra, değerlendiricilerin tamamen şans eseri aynı fikirde olma olasılığını hesaplayacağız.

Bu, 1. gözden geçirenin “Evet” dediği toplam sayının toplam yanıt sayısına bölünmesiyle, 2. inceleyenin toplam “Evet” deme sayısıyla çarpılması ve toplam yanıt sayısına bölünerek toplama eklenmesiyle hesaplanır. 1. değerlendiricinin “Hayır” deme sayısı ile 2. değerlendiricinin “Hayır” dediği toplam sayının çarpımı.

Örneğimizde bu şu şekilde hesaplanır:

• P(“Evet”) = ((25+10)/70) * ((25+15)/70) = 0,285714
• P(“Hayır”) = ((15+20)/70) * ((10+20)/70) = 0,214285
• p _e = 0,285714 + 0,214285 = 0,5

Adım 3: Cohen’in Kappa’sını hesaplayın

Son olarak Cohen’in Kappa’sını hesaplamak için p _o ve p _e’yi kullanacağız:

• k = (p _o – p _e ) / (1 – p _e )
• k = (0,6429 – 0,5) / (1 – 0,5)
• k = 0,2857

Cohen’in Kappa’sı 0,2857 olarak çıkıyor. Önceki tabloya dayanarak, iki değerlendiricinin yalnızca “oldukça” düzeyde bir anlaşmaya sahip olduğunu söyleyebiliriz.

Ek kaynaklar

İki değerlendiricinin Cohen Kappa’sını otomatik olarak hesaplamak için bu Cohen Kappa hesaplayıcısını kullanabilirsiniz.