Kappa Cohena i ICC - jak zmierzyć zgodność ocen sędziów, interpretacja i przykład

Kappa Cohena to miara zgodności dwóch oceniających, którzy przypisują te same obiekty do kategorii, skorygowana o zgodność, jaka pojawiłaby się przypadkiem. Gdy oceny są liczbami (punkty, skala 0-20, pomiary) albo oceniających jest więcej, stosuje się współczynnik korelacji wewnątrzklasowej ICC. Oba współczynniki odpowiadają na pytanie o rzetelność międzysędziowską: czy wynik zależy od obiektu, czy od tego, kto go ocenia. W tym wpisie znajdziesz wzór i interpretację kappy Cohena, ważoną kappę dla kategorii uporządkowanych, rodzaje ICC i sposób wyboru właściwego, dwa przykłady liczbowe na przykładowych danych oraz zapis w APA 7.

Zgodność sędziów to jeden z rodzajów rzetelności pomiaru, obok zgodności wewnętrznej i stabilności w czasie. Różnicę między rzetelnością a trafnością omawiamy we wpisie rzetelność a trafność, a zgodność wewnętrzną skali w tekście o alfie Cronbacha.

Dlaczego nie wystarczy procent zgodności ani korelacja

Procent zgodności (ile razy oceniający wskazali to samo) jest intuicyjny, ale zawyżony. Dwie osoby, które losowo przypisują obiekty do dwóch równie częstych kategorii, zgodzą się średnio w połowie przypadków. Jeśli jedna kategoria dominuje, zgodność „z przypadku” jest jeszcze wyższa.

Korelacja Pearsona ma inną wadę: mierzy, czy oceny rosną razem, a nie czy są takie same. Jeśli jeden sędzia daje każdemu o 2 punkty mniej niż drugi, korelacja może być bliska 1, choć oceny nigdy się nie pokrywają. W przykładzie z ICC niżej korelacja dwóch sędziów wynosi 0,97, a ich zgodność bezwzględna tylko 0,78. Kappa i ICC rozwiązują te problemy.

Kappa Cohena: wzór i przykład

κ = (p_o - p_e) / (1 - p_e)

p_o to obserwowana proporcja zgodnych ocen, a p_e to proporcja zgodności oczekiwana przypadkiem, liczona z rozkładów brzegowych obu oceniających. Kappa mówi, jaką część „możliwej do osiągnięcia ponad przypadek” zgodności faktycznie uzyskano. Wartość 1 oznacza pełną zgodność, 0 zgodność na poziomie przypadku, wartości ujemne zgodność gorszą od przypadkowej.

Przykładowe dane: dwie psycholożki niezależnie oceniły nagrania 80 dzieci, przypisując każde do jednej z trzech kategorii nasilenia objawów lękowych.

1. Zgodność obserwowana: (28 + 20 + 15) / 80 = 0,79.
2. Zgodność oczekiwana: (32 · 34 + 28 · 28 + 20 · 18) / 80² = 2 232 / 6 400 = 0,35.
3. Kappa: (0,7875 - 0,3488) / (1 - 0,3488) = 0,67.

Program podaje κ = 0,67, błąd standardowy 0,07, 95% CI [0,54; 0,81], p < 0,001. Istotność mówi tylko, że zgodność jest lepsza od przypadkowej, co przy ocenach ekspertów jest niemal pewne. Dlatego ważniejsza jest sama wartość i przedział ufności.

Kappa Cohena: interpretacja

Najczęściej stosuje się opisową skalę Landisa i Kocha (1977). Autorzy sami zaznaczyli, że podział jest umowny, ale jest powszechnie przyjęty i promotor raczej go zaakceptuje.

W przykładzie κ = 0,67 to zgodność znaczna. Dolna granica przedziału ufności (0,54) mieści się jednak w zgodności umiarkowanej, co uczciwie warto odnotować. Jeśli wyniki tych ocen mają służyć do decyzji klinicznych, wiele zespołów wymaga wyższej kappy, a rozbieżne przypadki omawia się i ustala ocenę konsensusem.

Paradoks kappy: wysoka zgodność, niska kappa

Kappa zależy od rozkładu kategorii. Wyobraź sobie dwóch oceniających, którzy w 100 przypadkach zgodzili się 90 razy, ale 85 zgodnych ocen dotyczy jednej, bardzo częstej kategorii („brak objawów”). Zgodność oczekiwana przypadkiem wynosi wtedy 0,82, a kappa tylko 0,44, czyli „umiarkowana”. Przy tej samej zgodności 90%, ale równomiernym rozkładzie kategorii (45 i 45 zgodnych ocen) kappa wynosi 0,80. Dlatego przy rzadkich kategoriach raportuj obok kappy procent zgodności i rozkład kategorii; część autorów podaje też PABAK (kappę skorygowaną o częstość i obciążenie), w pierwszym przykładzie równą 0,80.

Ważona kappa dla kategorii uporządkowanych

Zwykła kappa traktuje każdą niezgodność tak samo. W przykładzie pomyłka „brak” zamiast „łagodne” liczy się tak samo jak „brak” zamiast „wyraźne”, choć ta druga jest poważniejsza. Ważona kappa (Cohen, 1968) przypisuje niezgodnościom wagi zależne od odległości między kategoriami.

• Wagi liniowe: niezgodność o jedną kategorię kosztuje połowę tego, co niezgodność o dwie (przy trzech kategoriach). W przykładzie κ_w = 0,73, 95% CI [0,62; 0,85].
• Wagi kwadratowe: sąsiednie kategorie karze się jeszcze łagodniej, odległe znacznie surowiej. W przykładzie κ_w = 0,80, 95% CI [0,69; 0,91]. Kappa z wagami kwadratowymi daje wartości zbliżone do ICC i bywa traktowana jako jej odpowiednik dla danych porządkowych.

Ważona kappa jest wyższa, bo większość niezgodności w przykładzie to pomyłki o jedną kategorię. Rodzaj wag wybierz przed analizą i wpisz do metodologii; liczenie obu wersji i raportowanie wyższej to błąd.

Więcej niż dwóch oceniających

Kappa Cohena dotyczy dokładnie dwóch oceniających. Przy trzech i więcej, oceniających kategorie nominalne, stosuje się kappę Fleissa albo alfę Krippendorffa, a przy ocenach ilościowych ICC.

ICC: współczynnik korelacji wewnątrzklasowej

ICC mówi, jaka część całkowitej zmienności ocen wynika z różnic między ocenianymi obiektami, a jaka z różnic między oceniającymi i błędu. Wartość bliska 1 oznacza, że oceny zależą prawie wyłącznie od tego, kogo lub co się ocenia. Shrout i Fleiss (1979) opisali sześć wersji ICC; dziś najczęściej wybiera się je według trzech decyzji, które porządkują Koo i Li (2016):

• Model. Jednoczynnikowy losowy, gdy każdy obiekt oceniają inni oceniający. Dwuczynnikowy losowy, gdy wszyscy oceniający oceniają wszystkie obiekty, a oceniający są traktowani jako próba z większej grupy możliwych sędziów. Dwuczynnikowy mieszany, gdy interesują Cię tylko ci konkretni oceniający.
• Typ. Zgodność bezwzględna (absolute agreement), gdy liczy się, czy oceny są takie same. Spójność (consistency), gdy liczy się tylko, czy oceniający szeregują obiekty tak samo, a stała różnica poziomu Ci nie przeszkadza.
• Jednostka. Pojedynczy oceniający (single measures), gdy w przyszłości obiekt będzie oceniał jeden sędzia. Średnia z k oceniających (average measures), gdy wynikiem końcowym jest średnia z kilku ocen.

W notacji Shrouta i Fleissa ICC(2,1) to model dwuczynnikowy losowy z pojedynczym oceniającym, a ICC(3,1) model dwuczynnikowy mieszany. W pracach dotyczących zgodności sędziów najczęściej właściwe jest ICC(2,1) dla zgodności bezwzględnej.

ICC: przykład z trzema sędziami

Przykładowe dane: trzech sędziów oceniło 10 wystąpień na skali 0-20 punktów.

Test F dla modelu dwuczynnikowego: F(9, 18) = 22,91, p < 0,001. Różnica między spójnością (0,88) a zgodnością bezwzględną (0,74) bierze się z sędziego C, który ocenia surowiej: jego średnia to 9,8 punktu wobec 12,3 i 12,6 u pozostałych. Sędziowie podobnie szeregują wystąpienia, ale nie dają tych samych punktów. Jeśli punkty decydują o wyniku konkursu, liczy się zgodność bezwzględna i problem sędziego C jest realny.

Najlepiej widać to na parze A i C: korelacja Pearsona ich ocen wynosi 0,97, a ICC(2,1) dla tej pary tylko 0,78, z przedziałem ufności sięgającym poniżej zera. Korelacja nie zauważa stałej różnicy poziomu ocen.

ICC: interpretacja

Koo i Li (2016) proponują progi: poniżej 0,50 rzetelność słaba, 0,50-0,75 umiarkowana, 0,75-0,90 dobra, powyżej 0,90 doskonała. Zalecają też oceniać nie samą wartość, ale przedział ufności. W przykładzie ICC(2,1) = 0,74 leży na granicy umiarkowanej i dobrej, ale przedział [0,23; 0,93] obejmuje wszystko od słabej do doskonałej. To skutek małej liczby ocenianych obiektów. Ci sami autorzy zalecają co najmniej 30 obiektów i co najmniej 3 oceniających, jeśli to możliwe. Więcej o czytaniu przedziałów znajdziesz we wpisie o przedziale ufności.

Kappa czy ICC: kiedy który współczynnik

Korelacja Pearsona czy Spearmana nie pojawia się w tej tabeli celowo. Mierzy związek, a nie zgodność. Więcej o tym, co mówi sam współczynnik korelacji, piszemy w tekście jak interpretować współczynnik korelacji.

Jak zaplanować ocenę zgodności w badaniu

• Oceniający pracują niezależnie: nie widzą swoich ocen i nie konsultują się w trakcie.
• Kryteria kategorii lub punktacji są spisane przed oceną, a oceniający ćwiczą na materiale spoza właściwego badania. Taki etap dobrze wpisuje się w badanie pilotażowe.
• Oceniane obiekty są zróżnicowane. ICC i kappa zależą od zróżnicowania próby: jeśli wszystkie wystąpienia są podobnie dobre, nawet zgodni sędziowie dadzą niskie ICC, bo prawie nie ma zmienności do uchwycenia.
• Gdy jedna osoba koduje cały materiał, a druga tylko część, zgodność liczy się na tej wspólnej części; w metodologii podaj, ile obiektów oceniono podwójnie i jak je wybrano.
• Ustal z góry, co robisz z niezgodnościami: ocena trzeciej osoby, konsensus po dyskusji albo średnia. Współczynnik zgodności liczysz z ocen niezależnych, sprzed konsensusu.

Kappa i ICC w SPSS

• Kappa Cohena: Analyze > Descriptive Statistics > Crosstabs, oceny jednego oceniającego w wierszach, drugiego w kolumnach, w Statistics zaznacz Kappa. Obie zmienne muszą mieć te same kody kategorii, inaczej SPSS nie policzy kappy.
• Ważona kappa: w nowszych wersjach SPSS (od 27) Analyze > Scale > Weighted Kappa, z wyborem wag liniowych lub kwadratowych.
• ICC: Analyze > Scale > Reliability Analysis, przenieś kolumny z ocenami sędziów, w Statistics zaznacz Intraclass correlation coefficient, wybierz Model (Two-Way Random, Two-Way Mixed lub One-Way Random) i Type (Absolute Agreement lub Consistency). Wiersz Single Measures to ICC dla pojedynczego oceniającego, Average Measures dla średniej.

Dane do ICC ułóż w formacie szerokim: wiersz to oceniany obiekt, kolumna to oceniający. Zasady przygotowania takiego pliku opisujemy w tekście jak przygotować bazę danych do analizy.

Jak zapisać kappę i ICC w APA 7

Zawsze podaj wersję współczynnika, a przy ICC model, typ i jednostkę. Bez tego czytelnik nie wie, co policzyłeś, bo różne wersje dają na tych samych danych wartości od 0,74 do 0,96.

Zgodność dwóch niezależnych oceniających w klasyfikacji nasilenia objawów lękowych (80 nagrań) oceniono ważoną kappą Cohena z wagami liniowymi. Zgodność była znaczna, κ_w = 0,73, 95% CI [0,62; 0,85]; oceniające przypisały tę samą kategorię w 79% przypadków.

Rzetelność ocen trzech sędziów oszacowano współczynnikiem korelacji wewnątrzklasowej w modelu dwuczynnikowym losowym dla zgodności bezwzględnej i pojedynczego oceniającego. Wyniósł on ICC(2,1) = 0,74, 95% CI [0,23; 0,93], co wskazuje na rzetelność umiarkowaną przy niskiej precyzji oszacowania.

Typowe błędy

• Raportowanie samego procentu zgodności bez korekty na przypadek.
• Używanie korelacji Pearsona jako miary zgodności sędziów.
• Podawanie „ICC = 0,89” bez wskazania modelu, typu i jednostki, zwłaszcza wybieranie najwyższej z sześciu wersji z wydruku SPSS.
• Raportowanie ICC dla średniej z kilku sędziów, gdy w praktyce ocenę wystawia jeden.
• Zwykła kappa dla kategorii uporządkowanych albo wybór rodzaju wag po obejrzeniu wyników.
• Interpretowanie istotności kappy jako dowodu dobrej zgodności. Istotność mówi tylko, że zgodność przewyższa przypadkową.
• Ocena zgodności na kilku obiektach i bez przedziału ufności.

Kappa i ICC nie wchodzą w zakres wyliczenia automatycznego; analizę zgodności ocen przygotowuje statystyk w ramach indywidualnej wyceny, opisanej na stronie opracowanie statystyczne wyników badań.

Najczęstsze pytania

Jak interpretować kappę Cohena?

Najczęściej według Landisa i Kocha: 0,00-0,20 zgodność nikła, 0,21-0,40 dostateczna, 0,41-0,60 umiarkowana, 0,61-0,80 znaczna, 0,81-1,00 prawie doskonała. Podaj też przedział ufności i procent zgodności, bo przy rzadkich kategoriach kappa bywa zaniżona.

Czym różni się kappa Cohena od ICC?

Kappa dotyczy ocen kategorialnych i dwóch oceniających. ICC dotyczy ocen ilościowych i dowolnej liczby oceniających, a do tego pozwala wybrać, czy liczy się zgodność bezwzględna, czy tylko spójność uszeregowania.

Kiedy użyć ważonej kappy?

Gdy kategorie są uporządkowane, np. nasilenie objawów albo ocena na skali 1-4, i pomyłka o dwie kategorie jest poważniejsza niż o jedną. Wagi liniowe lub kwadratowe wybierz przed analizą.

Jakie ICC wybrać?

Jeśli wszyscy sędziowie oceniali wszystkie obiekty i są próbą z większej grupy możliwych sędziów, wybierz model dwuczynnikowy losowy. Gdy liczą się identyczne punkty, typ zgodności bezwzględnej. Jednostkę dobierz do praktyki: pojedynczy oceniający, gdy ocenę będzie wystawiać jedna osoba, średnia, gdy wynik końcowy to średnia z kilku ocen.

Jaka wartość ICC jest dobra?

Według Koo i Li (2016) poniżej 0,50 rzetelność jest słaba, 0,50-0,75 umiarkowana, 0,75-0,90 dobra, a powyżej 0,90 doskonała. Ocenę opieraj na przedziale ufności, nie tylko na wartości punktowej.