Evaluar bien: datos de prueba, muestras y errores

Ya sabes leer una matriz de confusión y las métricas que salen de ella. Esta segunda página trata de lo que hace que esas cifras signifiquen algo: con qué datos se calculan, cuántos hacen falta, cómo se resumen con varias clases y qué hacer con los errores.

1. Más de dos clases

Con varias categorías (por ejemplo, las secciones de un periódico) se calculan precisión y exhaustividad para cada una, y luego se resumen de dos maneras:

• Macro-F1: la media de las F1 de cada categoría, todas con el mismo peso. Si el modelo ignora una categoría pequeña, la cifra baja.
• Micro-F1: cuenta todos los casos juntos. La dominan las categorías grandes, y una pequeña mal resuelta apenas se nota.

Si te dan una sola cifra, pregunta cuál de las dos es.

2. Separar los datos de prueba

Volvamos al filtro de spam. Si eliges el umbral mirando los veinte correos y luego anuncias la precisión que sale con esos mismos veinte, has hecho trampa sin querer: has ajustado el sistema a esos casos concretos. Con correos nuevos, la cifra será peor.

Por eso los datos se reparten antes de empezar:

La fuga de datos es el error más frecuente y el más difícil de ver, porque produce cifras excelentes. Para un lingüista hay un caso muy reconocible: si los textos de un mismo autor, de una misma conversación o de una misma plantilla aparecen en entrenamiento y en prueba, el modelo puede aprender rasgos del autor o de la plantilla en lugar de la categoría que se busca.

3. Con cuántos casos se puede confiar

Veinte correos sirven para entender las métricas, no para evaluar un filtro. Con pocos casos, cada error mueve mucho la cifra: con 5 correos de spam, encontrar uno más o uno menos cambia la exhaustividad en 20 puntos.

Dos consecuencias prácticas:

• Mira cuántos casos hay en cada clase, no solo en total. Un conjunto de 1.000 textos con 12 ejemplos de la clase que te interesa da cifras muy inestables para esa clase.
• Desconfía de diferencias pequeñas. Si un sistema saca un 82 % y otro un 80 % sobre 100 casos, la diferencia son dos textos. Antes de elegir, revisa qué textos son.

4. El error típico: fiarse de la referencia

Todas estas cifras comparan el sistema con una referencia humana. Si la referencia está mal, las métricas miden otra cosa. En nuestro ejemplo, ¿«Rebajas de tu tienda habitual» es spam o no? Depende de a quién le preguntes, y esa duda ya está dentro de los números.

Por eso, antes de evaluar un modelo, conviene comprobar que las personas que anotaron se ponen de acuerdo entre sí. Lo explica Medir el acuerdo entre anotadores.

5. Lo que ninguna métrica responde

Las cifras dicen cuánto falla un sistema, no por qué. El paso que más mejora un clasificador es leer los errores y agruparlos: ¿son textos irónicos, mensajes muy cortos, una variedad dialectal, errores en las propias etiquetas? En la demostración, el spam que se escapa es el que imita un tono personal («Hola, soy un viejo amigo»). Esa observación es lingüística, y es la que dice qué arreglar.

Ese análisis de errores es donde la formación filológica pesa más: distinguir registro, ironía o ambigüedad es justo lo que una cifra no puede hacer. Tiene un ciclo propio:

Para seguir

• Clasificación de textos: cómo se construye un clasificador.
• Medir el acuerdo entre anotadores: antes de evaluar un modelo, comprueba que las etiquetas de referencia son fiables.
• Evaluación de modelos y control de calidad: la competencia profesional que se apoya en todo esto.
• Escribir buenos prompts y Diseño conversacional: la misma lógica de evaluación aplicada a prompts y a asistentes.