De la kappa a una guía mejor

La kappa dice si hay un problema. Esta segunda página trata de cómo arreglarlo: leer los desacuerdos, escribir una guía de anotación que los resuelva y organizar el trabajo por rondas.

1. Qué hacer con un acuerdo bajo

El número solo dice que hay un problema; la tabla dice dónde está. En el ejemplo de la página anterior, 10 de los 15 desacuerdos son tuits que Ana marcó como negativos y Bea como positivos. El desacuerdo no es simétrico, así que hay un patrón.

El método tiene cuatro pasos:

1. Leer juntas los desacuerdos. No para decidir quién tenía razón, sino para entender por qué discreparon.
2. Nombrar el patrón. Suelen aparecer ironía, quejas con tono cortés o mensajes mixtos («el producto es bueno, pero el envío fue un desastre»).
3. Escribir una regla con ejemplos en la guía de anotación: «Los mensajes mixtos se etiquetan según la valoración final», con dos casos resueltos.
4. Anotar una muestra nueva y volver a medir. Si la kappa sube, la regla funciona.

Es el mismo trabajo que hace una lexicógrafa al afinar una definición: los casos frontera obligan a precisar el criterio.

2. Cómo se escribe una guía de anotación

La guía es el documento que convierte una intuición («esto es una queja») en un criterio que dos personas aplican igual. Tiene cuatro partes:

Dos consejos que ahorran mucho trabajo. El primero: escribe la definición pensando en para qué se usarán las etiquetas. Si sirven para enviar los mensajes al equipo de reclamaciones, una petición cortés de reembolso es una queja; si sirven para medir el tono, quizá no. El segundo: los ejemplos enseñan más que las definiciones. Una regla sin ejemplos resueltos se interpreta de dos maneras.

3. Trabajar por rondas

Una guía no se escribe de una vez. Se escribe, se prueba con una muestra, se mide y se corrige:

¿Cuánto hay que anotar en doble? No hace falta que dos personas anoten todo el corpus. Lo habitual es una muestra en doble al principio, de 50 a 100 textos por ronda hasta que la kappa se estabiliza, y después un porcentaje pequeño (entre un 10 % y un 20 %) a lo largo del proyecto para comprobar que el criterio no se desvía con el tiempo.

4. Con código (opcional)

Si tienes Python instalado, añade scikit-learn con pip install scikit-learn y compruébalo:

from sklearn.metrics import cohen_kappa_score   # la función que calcula la kappa

# Las etiquetas de cada anotadora, en el mismo orden de tuits
ana = ["pos"] * 25 + ["neg"] * 25
bea = ["pos"] * 20 + ["neg"] * 5 + ["pos"] * 10 + ["neg"] * 15

print(cohen_kappa_score(ana, bea))   # escribe 0.4

["pos"] * 25 es una lista con 25 veces «pos»: una forma corta de escribir las etiquetas del ejemplo. Con datos reales, las listas saldrían de una hoja de cálculo.

5. Más de dos anotadores

La kappa de Cohen compara exactamente a dos personas. Con más:

• Kappa de Fleiss: generaliza la idea a cualquier número de anotadores.
• Alfa de Krippendorff: la opción más flexible. Admite datos incompletos (no todos anotan todo) y categorías ordenadas (de «muy negativo» a «muy positivo»).

Para seguir

• Anotación lingüística y minería de textos: la competencia profesional.
• Gestión de datos y corpus: cómo se organiza un corpus anotado.
• Evaluar un clasificador: qué se hace después con las etiquetas de referencia.
• Diseño conversacional: clasificar los fallos de un asistente es también una tarea de anotación.