Kappa de Cohen ponderada

La kappa de Cohen ponderada es una medida de la concordancia entre dos muestras de escala ordinal y se utiliza siempre que quieras saber si las mediciones de dos personas concuerdan. Las dos personas que miden algo se llaman calificadores.

En el caso de un Kappa de Cohen"normal", la variable que deben medir los dos calificadores es una variable nominal. Con una variable nominal, las características pueden distinguirse, pero no hay clasificación entre las características.

La kappa de Cohen tiene en cuenta si los dos calificadores midieron lo mismo o no, pero no tiene en cuenta el grado de desacuerdo. ¿Qué ocurre si no tienes una variable nominal, sino una variable ordinal?

Si tienes una variable ordinal, es decir, una variable en la que las características pueden ordenarse, por supuesto que querrás tener en cuenta ese orden.

Supongamos que tus expresiones son insatisfecho, neutro y satisfecho. Hay una diferencia menor entre insatisfecho y neutral que entre insatisfecho y satisfecho. Si quieres tener en cuenta el tamaño de la diferencia, tienes que utilizar el Kappa de Cohen ponderado.

Por tanto, si tienes una variable nominal, utiliza el Kappa de Cohen. Si tienes una variable ordinal, utiliza el Kappa de Cohen ponderado.

Fiabilidad y validez

Es importante señalar que el Kappa de Cohen ponderado sólo puede indicarte la fiabilidad con la que ambos evaluadores miden lo mismo. No puede decirte si lo que miden los dos evaluadores es lo correcto.

Por tanto, si ambos evaluadores miden casi siempre lo mismo, tendrías un Kappa de Cohen ponderado muy alto. Sin embargo, el Kappa de Cohen ponderado no te dice si esta medición se corresponde con la realidad, es decir, ¡si los evaluadores están midiendo lo correcto! En el primer caso hablamos de fiabilidad. En el segundo caso hablamos de validez.

Cálculo del Kappa de Cohen ponderado

¿Cómo se calcula el kappa de Cohen ponderado? Supongamos que dos médicos han valorado su grado de satisfacción con el éxito terapéutico de sus pacientes. Los médicos pueden responder con insatisfecho, neutro y satisfecho.

Ahora quieres saber qué grado de acuerdo hay entre los dos médicos. Como tenemos una variable ordinal con el orden de rango insatisfecho, neutral y satisfecho, determinamos la concordancia con el kappa de Cohen ponderado.

El primer paso es crear una tabla con las frecuencias de cada respuesta. Trazamos un evaluador en cada eje. Aquí tenemos a nuestros dos evaluadores, cada uno de los cuales valoró si estaba insatisfecho, neutral o satisfecho con el éxito de una persona.

Supongamos que se ha evaluado a un total de 75 pacientes. Ahora contemos con qué frecuencia se da cada combinación. Digamos que 17 veces ambos evaluadores están insatisfechos, 8 veces el evaluador 1 está insatisfecho y el evaluador 2 es neutral, 4 veces el evaluador 1 está insatisfecho y el evaluador 2 está satisfecho, y así sucesivamente. En las valoraciones de la diagonal, ambos evaluadores están de acuerdo.

La kappa de Cohen ponderada puede calcularse mediante la siguiente fórmula:

Donde w son los factores de ponderación, fo son las frecuencias observadas y fe son las frecuencias esperadas. En lugar de las frecuencias, también podríamos utilizar las probabilidades calculadas, es decir, las probabilidades observadas po y las probabilidades esperadas pe.

Si calculáramos el kappa de Cohen utilizando probabilidades en lugar de frecuencias, simplemente dividiríamos cada frecuencia por el número de pacientes, es decir, 75, y tendríamos las probabilidades observadas.

Pero seguimos necesitando las ponderaciones y las frecuencias esperadas. Empecemos por las frecuencias esperadas.

Calcular la frecuencia esperada

Para calcular la frecuencia esperada, primero calculamos las sumas de las filas y las columnas. Así que simplemente sumamos todas las filas y todas las columnas.

Por ejemplo, en la primera fila obtenemos una suma de 29 con 17 + 8 + 5. Ahora dividimos esto por 75 del número total de casos.

Ahora podemos calcular la probabilidad esperada de cada casilla multiplicando la probabilidad de la fila por la probabilidad de la columna. Así, para la primera casilla obtenemos 0.35 por 0.39, que es 0.13; para la segunda, 0.44 por 0.39, que es 0.17.

Ahora, si multiplicamos cada probabilidad por 75, obtenemos las frecuencias esperadas.

Calcular la matriz de ponderación

Si no utilizáramos ninguna ponderación, nuestra matriz constaría sólo de unos y ceros en la diagonal. Si ambos evaluadores dieran la misma respuesta, habría un cero en la celda; en caso contrario, habría un uno. No importa lo alejados que estén los evaluadores en sus respuestas, si respondieron algo diferente se pondera con 1.

La matriz de ponderación lineal puede calcularse mediante la siguiente fórmula. Sea i el índice de las filas y j el de las columnas. k es el número de expresiones, en nuestro caso 3.

Por tanto, ahora las puntuaciones que están cerca se ponderan menos que las que están lejos.

Ponderación lineal y cuadrática

¿Qué ocurre con la ponderación cuadrática? Si utilizamos la ponderación cuadrática en lugar de la ponderación lineal, las distancias simplemente se elevan de nuevo al cuadrado. De este modo, las puntuaciones que están muy alejadas se ponderan aún más en relación con las puntuaciones que están muy próximas que en el caso lineal. La matriz de ponderación se obtiene entonces con la matriz siguiente.

Así que ahora podemos decidir si no utilizar ponderación, ponderación lineal o ponderación cuadrática. Seguiremos con la ponderación lineal.

Calcular kappa ponderado

Ahora podemos calcular el kappa ponderado. Tenemos la matriz de ponderación, la frecuencia observada y la frecuencia esperada. Empecemos por la suma de la figura siguiente. Simplemente multiplicamos cada celda de la matriz de ponderación por la celda correspondiente de la frecuencia observada y las sumamos. Así, 0 veces 17 + 0.5 veces 8 para finalmente 0 veces 9.

Ahora hacemos lo mismo con la matriz de ponderación y la frecuencia esperada. 0 veces 10.05 más 0.5 veces 12.76 y finalmente 0 veces 3.84. Si ahora lo calculamos todo, obtenemos un kappa ponderado de 0.396.

Calcular la kappa ponderada de Cohen con DATAtab

Para calcular online el kappa ponderado de Cohen, sólo tienes que ir a la Calculadora estadística, copiar tus propios datos en esta tabla y hacer clic en la pestaña Fiabilidad.

DATAtab intenta asignar automáticamente el nivel de escala adecuado a los datos; en este caso, DATAtab asume que los datos son nominales. Si hiciéramos clic en Evaluador 1 y Evaluador 2, DATAtab calcularía la kappa de Cohen normal no ponderada. Sin embargo, en nuestro caso se trata de variables ordinales. Así que simplemente cambiamos el nivel de escala a ordinal.

Si ahora hacemos clic en ambos calificadores, se calcula el kappa de Cohen ponderado. Ahora podemos elegir si queremos una ponderación lineal o cuadrática. Aquí vemos la tabla cruzada, que nos muestra con qué frecuencia se da cada combinación. A continuación, obtenemos los resultados de la kappa de Cohen. Con estos datos obtenemos un kappa de Cohen ponderado de 0.05.

Si no estás seguro de cómo interpretar los resultados, puedes hacer clic en Resumen en palabras: Se realizó un análisis de fiabilidad entre evaluadores entre las muestras dependientes Evaluador1 y Evaluador2. Para ello se calculó el Kappa Ponderado de Cohens, que es una medida del acuerdo entre dos muestras categóricas relacionadas. La Kappa de Cohens ponderada mostró que había una concordancia moderada entre las muestras de Calificador1 y Calificador2, con κ= 0.5.