Menu

Gewichtete Cohens Kappa

Das gewichtete Cohens Kappa ist ein Maß für die Übereinstimmung zweier ordinal skalierter Stichproben und es wird immer dann verwendet, wenn du wissen möchtest, ob die Messung von zwei Personen übereinstimmt. Die zwei Personen, die etwas messen werden Rater genannt.

Im Fall des „normalen“ Cohens Kappa, ist die Variable, die von den beiden Raten gemessen werden soll, eine nominale Variable. Bei einer nominalen Variablen können die Ausprägungen unterschieden werden, es gibt aber keine Rangfolge zwischen den Ausprägungen.

nominale und ordinale Daten

Das Cohens Kappa berücksichtigt, ob die beiden Rater das gleiche gemessen haben oder nicht, es berücksichtigt aber nicht den Grad der Unstimmigkeit. Was ist, wenn du nun keine nominale Variable hast, sondern eine ordinale Variable?

Wenn du eine ordinale Variable hast, also eine Variable in der die Ausprägungen geordnet werden können, dann möchtest du diese Ordnung natürlich mit berücksichtigen.

Gewichtete Cohens Kappa und Rangordnung

Sagen wir deine Ausprägungen sind unzufrieden, neutral und zufrieden. Zwischen unzufrieden und neutral ist ein kleinerer Unterschied als zwischen unzufrieden und zufrieden. Wenn die Größe des Unterschieds mit berücksichtigt werden soll, muss das gewichtete Cohens Kappa verwendet werden.

Daher, wenn du eine nominale Variable hast, verwendest du das Cohens Kappa. Wenn du eine ordinale Variable hast, verwendest du das gewichtete Cohens Kappa.

Reliabilität und Validität

Wichtig ist zu beachten, dass du mit dem gewichteten Cohens Kappa nur eine Aussage darüber treffen kannst, wie zuverlässig beide Rater das gleiche messen. Du kannst aber keine Aussage darüber treffen, ob es das Richtige ist, was die beiden Rater messen!

Also wenn beide Rater so gut wie immer das gleiche messen, hättest du eine sehr hohes gewichtetes Cohens Kappa. Ob dieser gemessene Wert mit der Realität zusammenpasst, also, das richtige gemessen wird, sagt dir das gewichtete Cohens Kappa nicht! Im ersten Fall spricht man von der Reliabilität. Im zweiten Fall spricht man von der Validität.

Gewichtetes Cohens Kappa berechnen

Wie wird das gewichtete Cohens Kappa berechnet? Sagen wir zwei Ärzte haben bewertet, wie zufrieden sie mit dem Therapieerfolg von Patienten sind. Dabei können die Ärzte mit unzufrieden, neutral und zufrieden antworten.

Nun möchtest du wissen, wie groß die Übereinstimmung der beiden Ärzte ist. Da wir hier eine ordinale Variable mit der Rangordnung unzufrieden, neutral und zufrieden haben, bestimmen wir die Übereinstimmung mit dem gewichteten Cohens Kappa.

Im ersten Schritt erstellen wir uns eine Tabelle mit den Häufigkeiten der jeweiligen Antworten. Dabei tragen wir jeweils auf einer Achse einen Rater auf. Hier haben wir unsere beiden Rater, die jeweils bei einer Person bewertet haben, ob sie mit dem Erfolg unzufrieden, neutral oder zufrieden sind.

Gewichtetes Cohens Kappa Berechnung

Sagen wir, insgesamt wurden 75 PatientenInnen bewertet. Nun zählen wir, wie oft die jeweilige Kombination vorkommt. Sagen wir 17 mal haben beide Rater unzufrieden geantwortet, 8 mal hat Rater 1 unzufrieden und Rater 2 neutral, 4 mal hat Rater 1 unzufrieden und Rater 2 zufrieden geantwortet und so weiter und so fort. Bei den Bewertungen, die auf der Diagonalen liegen stimmen beide Rater überein.

Das gewichtete Cohens Kappa kann mit der folgenden Formel berechnet werden:

Gewichtetes Cohens Kappa Formel

Dabei sind w die Gewichtungsfaktoren, fo die beobachteten Häufigkeiten und fe die erwarteten Häufigkeiten. Anstelle der Häufigkeiten könnte auch die berechneten Wahrscheinlichkeiten verwendet werden, also die beobachteten Wahrscheinlichkeiten po und die Erwarteten Wahrscheinlichkeiten pe.

Die beobachteten Häufigkeiten haben wir schon ausgerechnet. Würden wir nicht mit den Häufigkeiten, sondern mit den Wahrscheinlichkeiten rechnen, würden wir einfach jede Häufigkeit durch die Anzahl der Patienten teilen, also 75, dann hätten wir die beobachteten Wahrscheinlichkeiten.

Nun brauchen wir aber noch die Gewichtungen und die erwarteten Häufigkeiten. Starten wir mit den erwarteten Häufigkeiten.

Erwartete Häufigkeit berechnen

Um die erwartete Häufigkeit zu berechnen, berechnen wir zunächst die Reihen und die Spalten Summen. Also wir summieren einfach alle Reihe auf und alle Spalten.

In der ersten Reihe erhalten wir z.B. mit 17 + 8 + 5 eine Summe von 29. Dieses teilen wir nun durch 75 der Gesamtanzahl der Fälle.

Gewichtetes Cohens Kappa Erwartete Wahrscheinlichkeiten

Nun können wir für jede Zelle die erwarteten Wahrscheinlichkeit berechnen in dem wir die Reihen-Wahrscheinlichkeit mit der Spalten-Wahrscheinlichkeit multiplizieren. Also für die erste Zelle erhalten wir 0,35 mal 0,39 was gleich 0,13 ist, für die zweite Zelle 0,44 mal 0,39 was gleich 0,17 ist.

Wenn wir nun jede Wahrscheinlichkeit mit 75 multiplizieren, erhalten wir die erwarteten Häufigkeiten.

Gewichtetes Cohens Kappa Erwartete Häufigkeit

Gewichtungsmatrix berechnen

Würden wir gar keine Gewichtung verwenden, würde unsere Matrix nur aus Einsen und in der Diagonalen aus Nullen bestehen. Wenn beide Rater das gleiche geantwortet haben steht Null in den Zellen, ansonsten Eins. Es ist egal wie weit die Rater mit ihrer Antwort auseinander liegen, wenn Sie was Unterschiedliches geantwortet haben wird dies mit 1 gewichtet.

Cohens Kappa keine Gewichtung

Die linearen Gewichtungsmatrix kann mit der nachfolgenden Formel berechnet werden. Sagen wir i ist der Index für die Reihen und j für die Spalten. K ist die Anzahl der Ausprägungen, also in unserem Fall 3.

lineare Gewichtung Gewichtetes Cohens Kappa

Damit werden nun Bewertungen die nahe beieinander liegen weniger stark gewichtet als Bewertungen, die weit auseinander liegen.

Wie sieht es nun mit der quadratischen Gewichtung aus? Wenn wir nicht die lineare sondern die quadratische Gewichtung verwendet, werden die Abstände einfach nochmal quadriert. Damit werden Bewertungen die weit auseinander liegen im Verhältnis zu Bewertungen die nahe beieinander liegen noch stärker gewichtet als im linearen Fall. Die Gewichtungsmatrix ergibt sich dann mit der folgenden Matrix.

Quadratische Gewichtung Gewichtetes Cohens Kappa

So damit können wir nun entscheiden, ob wir keine Gewichtung verwenden, die lineare oder die quadratische Gewichtung verwenden. Wir rechnen einfach mal mit der linearen Gewichtung weiter.

Gewichtungsmatrix Gewichtetes Cohens Kappa

Gewichtetes Kappa berechnen

Jetzt können wir das gewichtete Kappa ausrechnen. Wir haben die Gewichtungsmatrix, die beobachtete Häufigkeit und die erwartete Häufigkeit. Starten wir mit der Summe in der unteren Grafik. Wir multiplizieren einfach jede einzelne Zelle der Gewichtungsmatrix mit der jeweiligen Zelle der Beobachten Häufigkeit und summieren dies auf. Also 0 mal 17 + 0,5 mal 8 bis schließlich 0 mal 9.

Gewichtetes Cohens Kappa berechnen

Das gleiche machen wir nun mit der Gewichtungsmatrix und der erwarteten Häufigkeit. 0 mal 10,05 plus 0,5 mal 12,76 bis schließlich 0 mal 3,84. Wenn wir nun alles ausrechnen, bekommen wir damit ein gewichtetes Kappa von 0,396.

Gewichtete Cohens Kappa mit DATAtab berechnen

Rechne das Beispiel direkt mit DATAtab kostenlos nach:

Datensatz laden

Um das gewichtete Cohens Kappa online zu berechnen, gehe einfach auf den Statistik Rechner, kopiere deine eigenen Daten in diese Tabelle und klicke auf den Tab Reliabilität.

Gewichtetes Cohens Kappa online berechnen

DATAtab probiert automatisch den Daten das passende Skalenniveau zu zuordnen, in diesem Fall geht DATAtab davon aus, dass es nominale Daten sind. Würden wir Rater 1 und Rater 2 anklicken berechnet uns DATAtab das ungewichtete normale cohens Kappa. In unsrem Fall sind dies aber ordinale Variablen. Also ändern wir das Skalenniveau einfach auf ordinal.

Gewichtetes Cohens Kappa Rechner

Wenn wir nun beider Rater anklicken, wird das gewichtete cohens Kappa berechnet. Wie können nun noch auswählen, ob wir die Lineare oder quadratische Gewichtung haben möchten. Wir sehen hier die Kreuztabelle, die uns anzeigt, wie oft die jeweiligen Kombinationen vorkommen. Anschließend erhalten wir die Ergebnisse für das Cohens Kappa. Bei diesen Daten erhalten wir ein gewichtes Cohens Kappa von 0,05

Wenn du nicht genau weißt, wie man die Ergebnisse interpretieren kann, kannst du einfach auf Zusammenfassung in Worten klicken: Eine Inter-Rater-Reliabilitätsanalyse wurde zwischen den abhängigen Stichproben Rater1 und Rater2 durchgeführt. Hierfür wurde das Gewichtete Cohens Kappa berechnet, welches ein Maß für die Übereinstimmung zweier verbundener kategorialer Stichproben ist. Das Gewichtete Cohens Kappa zeigte, dass es zwischen den Stichproben Rater1 und Rater2 mit κ= 0,5 eine moderate Übereinstimmung gab.


Statistik leichtgemacht

  • Viele anschauliche Beispiele
  • Ideal für Prüfungen und Abschlussarbeiten
  • Statistik leichtgemacht auf 260 Seiten
  • 3. überarbeitete Auflage (Januar 2023)
  • Nur 6,99 €
Leseprobe
Datatab

"Super einfach geschrieben"

"Einfacher geht es nicht"

"Soviele hilfreiche Beispiele"

Fragebogen leichtgemacht

Dieses e-Buch gibt dir die wichtigsten Informationen die du für die Erstellung deines Fragebogens brauchst,

  • Viele anschauliche Beispiele
  • Ideal für die Abschlussarbeit
  • Fragebogen leichtgemacht auf 59 Seiten
  • 2. überarbeitete Auflage (Januar 2023)
  • Nur 3,49 €
Leseprobe
Datatab

Statistik leichtgemacht

Endlich ohne Probleme Statistik verstehen.

Mit diesem e-Book verstehst du mit vielen Bilder und einfachen Text die Grundlagen der Statistik.

Datatab
Leseprobe

Literatur

Statistik: Der Weg zur Datenanalyse.
Fahrmeir, L. Heumann, C. Künstler, R. Pigeot, I. & Tutz, G.
Zum Buch auf Amazon
Statistik für Human- und Sozialwissenschaftler: Limitierte Sonderausgabe.
Bortz, J. & Schuster, C.
Zum Buch auf Amazon
Fit fürs Studium – Statistik: Alle Grundlagen verständlich erklärt. Geeignet für Studiengänge mit statistischen Methoden: VWL, BWL, Informatik etc.
Grabinger B.
Zum Buch auf Amazon
Multivariate Analysemethoden: Eine anwendungsorientierte Einführung.
Backhaus, K. Erichson, B. Plinke, P. & Weiber, R.
Zum Buch auf Amazon
evaluiert: erweitertes Planungsbuch für Evaluationen im Bildungsbereich
Balzer, L. & Beywl, W.
Zum Buch auf Amazon
Basiswissen Medizinische Statistik.
Weiß, C.
Zum Buch auf Amazon
Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften.
Doring, N. & Bortz, J.
Zum Buch auf Amazon

DATAtab zitieren: DATAtab Team (2024). DATAtab: Online Statistics Calculator. DATAtab e.U. Graz, Austria. URL https://datatab.de

Kontakt & Support Beratung FAQ & About Us Statistik Software Impressum & Datenschutz