Medir el acuerdo entre anotadores: la kappa de Cohen paso a paso

Cuando varias personas etiquetan un corpus, la primera pregunta no es si el modelo acierta, sino si las propias personas se ponen de acuerdo. Si dos anotadoras no coinciden en qué es una queja, ningún modelo aprenderá a detectarlas de forma fiable: aprenderá el desacuerdo. Este tutorial se puede seguir con lápiz y papel.

Si quieres probar el cálculo directamente: abre el cuaderno en Google Colab · descarga el cuaderno completo · aprende a usar Colab.

1. Empieza anotando tú

Antes de medir nada, prueba a anotar. Decide si cada mensaje es una queja y compara después con lo que eligió otra persona.

Si has discrepado en algún caso, no es que una de las dos se equivoque: la tarea no estaba bien definida. ¿Una petición cortés es una queja? ¿Y un mensaje que elogia y critica a la vez? Medir el acuerdo sirve para encontrar esos huecos.

2. Por qué no basta con el porcentaje de coincidencia

Imagina dos anotadoras, Ana y Bea, que etiquetan 50 tuits como positivos o negativos. Coinciden en 35, un 70 %. Parece razonable, pero falta una pregunta: ¿cuánto habrían coincidido por puro azar?

Piensa en un caso extremo. Si casi todos los tuits fueran positivos y las dos marcaran «positivo» casi siempre, coincidirían muchísimo aunque no hubieran leído con atención. Es como dos estudiantes que responden «verdadero» a todo en un examen donde casi todas las respuestas son verdaderas: sacan buena nota sin saber nada.

La kappa de Cohen corrige precisamente eso: descuenta la parte del acuerdo que se debe al azar.

3. El cálculo, con una tabla que puedes cambiar

Todo parte de una tabla que cruza las etiquetas de las dos anotadoras. La diagonal (verde) son los acuerdos; las otras dos casillas, los desacuerdos. Usa los botones de casos de ejemplo o cambia los números con + y −:

Recorramos el ejemplo del texto (20, 5, 10, 15) paso a paso.

Paso 1. Acuerdo observado. Coinciden en 20 + 15 = 35 tuits de 50.

Acuerdo observado = 35 / 50 = 0,70

Paso 2. Acuerdo esperado por azar. Ana marca «positivo» la mitad de las veces (25 de 50) y Bea el 60 % (30 de 50). Si cada una etiquetara al azar, pero manteniendo su propia tendencia, ¿con qué frecuencia coincidirían?

• Las dos dirían «positivo» a la vez: 0,50 × 0,60 = 0,30.
• Las dos dirían «negativo» a la vez: 0,50 × 0,40 = 0,20.

Acuerdo por azar = 0,30 + 0,20 = 0,50

Paso 3. Kappa. De todo el acuerdo que podían conseguir por encima del azar, ¿cuánto han conseguido?

κ = (0,70 − 0,50) / (1 − 0,50) = 0,20 / 0,50 = 0,40

Ahora pulsa «Casi todo positivo». Las anotadoras coinciden en el 90 % de los tuits, pero la kappa baja a 0,23: casi todo ese acuerdo lo habría dado el azar. Prueba también «Al azar»: la coincidencia ronda el 50 % y la kappa queda prácticamente en 0.

4. Cómo interpretarla

La escala más citada es la de Landis y Koch (1977):

Nuestro 0,40 está en el límite entre aceptable y moderado: insuficiente para entrenar un modelo con esas etiquetas.