Gewichtete Cohens Kappa

Das gewichtete Cohens Kappa ist ein Maß für die Übereinstimmung zweier ordinal skalierter Stichproben und es wird immer dann verwendet, wenn du wissen möchtest, ob die Messung von zwei Personen übereinstimmt. Die zwei Personen, die etwas messen werden Rater genannt.

Im Fall des „normalen“ Cohens Kappa, ist die Variable, die von den beiden Raten gemessen werden soll, eine nominale Variable. Bei einer nominalen Variablen können die Ausprägungen unterschieden werden, es gibt aber keine Rangfolge zwischen den Ausprägungen.

Das Cohens Kappa berücksichtigt, ob die beiden Rater das gleiche gemessen haben oder nicht, es berücksichtigt aber nicht den Grad der Unstimmigkeit. Was ist, wenn du nun keine nominale Variable hast, sondern eine ordinale Variable?

Wenn du eine ordinale Variable hast, also eine Variable in der die Ausprägungen geordnet werden können, dann möchtest du diese Ordnung natürlich mit berücksichtigen.

Sagen wir deine Ausprägungen sind unzufrieden, neutral und zufrieden. Zwischen unzufrieden und neutral ist ein kleinerer Unterschied als zwischen unzufrieden und zufrieden. Wenn die Größe des Unterschieds mit berücksichtigt werden soll, muss das gewichtete Cohens Kappa verwendet werden.

Daher, wenn du eine nominale Variable hast, verwendest du das Cohens Kappa. Wenn du eine ordinale Variable hast, verwendest du das gewichtete Cohens Kappa.

Reliabilität und Validität

Wichtig ist zu beachten, dass du mit dem gewichteten Cohens Kappa nur eine Aussage darüber treffen kannst, wie zuverlässig beide Rater das gleiche messen. Du kannst aber keine Aussage darüber treffen, ob es das Richtige ist, was die beiden Rater messen!

Also wenn beide Rater so gut wie immer das gleiche messen, hättest du eine sehr hohes gewichtetes Cohens Kappa. Ob dieser gemessene Wert mit der Realität zusammenpasst, also, das richtige gemessen wird, sagt dir das gewichtete Cohens Kappa nicht! Im ersten Fall spricht man von der Reliabilität. Im zweiten Fall spricht man von der Validität.

Gewichtetes Cohens Kappa berechnen

Wie wird das gewichtete Cohens Kappa berechnet? Sagen wir zwei Ärzte haben bewertet, wie zufrieden sie mit dem Therapieerfolg von Patienten sind. Dabei können die Ärzte mit unzufrieden, neutral und zufrieden antworten.

Nun möchtest du wissen, wie groß die Übereinstimmung der beiden Ärzte ist. Da wir hier eine ordinale Variable mit der Rangordnung unzufrieden, neutral und zufrieden haben, bestimmen wir die Übereinstimmung mit dem gewichteten Cohens Kappa.

Im ersten Schritt erstellen wir uns eine Tabelle mit den Häufigkeiten der jeweiligen Antworten. Dabei tragen wir jeweils auf einer Achse einen Rater auf. Hier haben wir unsere beiden Rater, die jeweils bei einer Person bewertet haben, ob sie mit dem Erfolg unzufrieden, neutral oder zufrieden sind.

Sagen wir, insgesamt wurden 75 PatientenInnen bewertet. Nun zählen wir, wie oft die jeweilige Kombination vorkommt. Sagen wir 17 mal haben beide Rater unzufrieden geantwortet, 8 mal hat Rater 1 unzufrieden und Rater 2 neutral, 4 mal hat Rater 1 unzufrieden und Rater 2 zufrieden geantwortet und so weiter und so fort. Bei den Bewertungen, die auf der Diagonalen liegen stimmen beide Rater überein.

Das gewichtete Cohens Kappa kann mit der folgenden Formel berechnet werden:

Dabei sind w die Gewichtungsfaktoren, fo die beobachteten Häufigkeiten und fe die erwarteten Häufigkeiten. Anstelle der Häufigkeiten könnte auch die berechneten Wahrscheinlichkeiten verwendet werden, also die beobachteten Wahrscheinlichkeiten po und die Erwarteten Wahrscheinlichkeiten pe.

Die beobachteten Häufigkeiten haben wir schon ausgerechnet. Würden wir nicht mit den Häufigkeiten, sondern mit den Wahrscheinlichkeiten rechnen, würden wir einfach jede Häufigkeit durch die Anzahl der Patienten teilen, also 75, dann hätten wir die beobachteten Wahrscheinlichkeiten.

Nun brauchen wir aber noch die Gewichtungen und die erwarteten Häufigkeiten. Starten wir mit den erwarteten Häufigkeiten.

Erwartete Häufigkeit berechnen

Um die erwartete Häufigkeit zu berechnen, berechnen wir zunächst die Reihen und die Spalten Summen. Also wir summieren einfach alle Reihe auf und alle Spalten.

In der ersten Reihe erhalten wir z.B. mit 17 + 8 + 5 eine Summe von 29. Dieses teilen wir nun durch 75 der Gesamtanzahl der Fälle.

Nun können wir für jede Zelle die erwarteten Wahrscheinlichkeit berechnen in dem wir die Reihen-Wahrscheinlichkeit mit der Spalten-Wahrscheinlichkeit multiplizieren. Also für die erste Zelle erhalten wir 0,35 mal 0,39 was gleich 0,13 ist, für die zweite Zelle 0,44 mal 0,39 was gleich 0,17 ist.

Wenn wir nun jede Wahrscheinlichkeit mit 75 multiplizieren, erhalten wir die erwarteten Häufigkeiten.

Gewichtungsmatrix berechnen

Würden wir gar keine Gewichtung verwenden, würde unsere Matrix nur aus Einsen und in der Diagonalen aus Nullen bestehen. Wenn beide Rater das gleiche geantwortet haben steht Null in den Zellen, ansonsten Eins. Es ist egal wie weit die Rater mit ihrer Antwort auseinander liegen, wenn Sie was Unterschiedliches geantwortet haben wird dies mit 1 gewichtet.

Die linearen Gewichtungsmatrix kann mit der nachfolgenden Formel berechnet werden. Sagen wir i ist der Index für die Reihen und j für die Spalten. K ist die Anzahl der Ausprägungen, also in unserem Fall 3.

Damit werden nun Bewertungen die nahe beieinander liegen weniger stark gewichtet als Bewertungen, die weit auseinander liegen.

Wie sieht es nun mit der quadratischen Gewichtung aus? Wenn wir nicht die lineare sondern die quadratische Gewichtung verwendet, werden die Abstände einfach nochmal quadriert. Damit werden Bewertungen die weit auseinander liegen im Verhältnis zu Bewertungen die nahe beieinander liegen noch stärker gewichtet als im linearen Fall. Die Gewichtungsmatrix ergibt sich dann mit der folgenden Matrix.

So damit können wir nun entscheiden, ob wir keine Gewichtung verwenden, die lineare oder die quadratische Gewichtung verwenden. Wir rechnen einfach mal mit der linearen Gewichtung weiter.

Gewichtetes Kappa berechnen

Jetzt können wir das gewichtete Kappa ausrechnen. Wir haben die Gewichtungsmatrix, die beobachtete Häufigkeit und die erwartete Häufigkeit. Starten wir mit der Summe in der unteren Grafik. Wir multiplizieren einfach jede einzelne Zelle der Gewichtungsmatrix mit der jeweiligen Zelle der Beobachten Häufigkeit und summieren dies auf. Also 0 mal 17 + 0,5 mal 8 bis schließlich 0 mal 9.

Das gleiche machen wir nun mit der Gewichtungsmatrix und der erwarteten Häufigkeit. 0 mal 10,05 plus 0,5 mal 12,76 bis schließlich 0 mal 3,84. Wenn wir nun alles ausrechnen, bekommen wir damit ein gewichtetes Kappa von 0,396.

Gewichtete Cohens Kappa mit DATAtab berechnen

Um das gewichtete Cohens Kappa online zu berechnen, gehe einfach auf den Statistik Rechner, kopiere deine eigenen Daten in diese Tabelle und klicke auf den Tab Reliabilität.

DATAtab probiert automatisch den Daten das passende Skalenniveau zu zuordnen, in diesem Fall geht DATAtab davon aus, dass es nominale Daten sind. Würden wir Rater 1 und Rater 2 anklicken berechnet uns DATAtab das ungewichtete normale cohens Kappa. In unsrem Fall sind dies aber ordinale Variablen. Also ändern wir das Skalenniveau einfach auf ordinal.

Wenn wir nun beider Rater anklicken, wird das gewichtete cohens Kappa berechnet. Wie können nun noch auswählen, ob wir die Lineare oder quadratische Gewichtung haben möchten. Wir sehen hier die Kreuztabelle, die uns anzeigt, wie oft die jeweiligen Kombinationen vorkommen. Anschließend erhalten wir die Ergebnisse für das Cohens Kappa. Bei diesen Daten erhalten wir ein gewichtes Cohens Kappa von 0,05

Wenn du nicht genau weißt, wie man die Ergebnisse interpretieren kann, kannst du einfach auf Zusammenfassung in Worten klicken: Eine Inter-Rater-Reliabilitätsanalyse wurde zwischen den abhängigen Stichproben Rater1 und Rater2 durchgeführt. Hierfür wurde das Gewichtete Cohens Kappa berechnet, welches ein Maß für die Übereinstimmung zweier verbundener kategorialer Stichproben ist. Das Gewichtete Cohens Kappa zeigte, dass es zwischen den Stichproben Rater1 und Rater2 mit κ= 0,5 eine moderate Übereinstimmung gab.