Evaluar la respuesta: fidelidad, relevancia, corrección y abstención

Si la búsqueda trae el fragmento correcto, todavía falta saber qué hace el modelo con él. Esta página separa tres cualidades de la respuesta que se confunden con facilidad, añade una cuarta (saber callar) y explica cómo usar jueces automáticos sin fiarse a ciegas.

1. Tres preguntas sobre la respuesta

Las dos primeras son las que miden, junto con la pertinencia de los fragmentos, herramientas de evaluación como RAGAs y ARES; la tercera exige una referencia escrita por personas. Cada cualidad la juzga un revisor distinto, y esa separación es la clave: si el de fidelidad viera también la referencia, daría por buena una respuesta que sabe correcta aunque no esté en los fragmentos, justo lo que no debe hacer.

Las tres son independientes. Una respuesta puede ser correcta y no fiel (el modelo la sabía, pero no está en los documentos, así que nadie puede comprobarla) o fiel e incorrecta (los documentos están desactualizados).

2. Fidelidad, afirmación por afirmación

Leída de corrido, una respuesta fluida parece fiel. Para medirla de verdad se descompone en afirmaciones sueltas y se comprueba cada una contra los fragmentos. Es la idea de FActScore (Min et al., 2023): la nota es la proporción de afirmaciones respaldadas. Pruébalo; marca lo que no esté en el fragmento:

Descomponer bien es trabajo de análisis: «en 14 días desde la compra» son en realidad dos afirmaciones (el plazo y el momento desde el que cuenta), y solo una es fiel. Si se cuenta como una sola, la nota sale más alta de lo que merece.

3. Relevancia y corrección

Relevancia. Una rúbrica de 1 a 5: 1 = no responde; 3 = responde en parte o con mucho relleno; 5 = responde exactamente lo que se pidió. Detecta el fallo que Barnett et al. (2024) llaman especificidad incorrecta: contestar con toda la política de devoluciones a quien solo preguntó por el plazo.

Corrección. Se compara con la referencia: 0 (incorrecta), 1 (parcial), 2 (correcta). Conviene puntuar aparte los datos críticos (fechas, importes, plazos): en la respuesta del ejemplo, un plazo que empieza a contar en otro momento es un error grave aunque el resto esté bien.

Para comparar las tres, se pasan a una escala común, de 0 a 1.

4. No sacar una media sin pensarlo

Es tentador combinar las notas en una (por ejemplo, 40 % relevancia, 35 % corrección y 25 % fidelidad). Esos pesos son una decisión de negocio, no un resultado científico, y tienen un problema serio: una respuesta muy relevante y totalmente inventada obtiene una nota alta.

Si el sistema responde a clientes, es más razonable tratar la fidelidad como un filtro: por debajo de un umbral, la respuesta no pasa, sea cual sea el resto. Un promedio sirve, como mucho, para seguir la tendencia entre versiones del sistema, y solo si se mantienen los mismos pesos.

5. Saber callar: la abstención

Las preguntas sin respuesta en los documentos piden una cuarta medida. El sistema puede acertar o equivocarse de dos maneras:

Las dos casillas de error tiran en sentidos opuestos, como la precisión y la exhaustividad. Un sistema que se abstiene mucho casi no inventa, pero no sirve; uno que no se abstiene nunca inventa en cada pregunta sin respuesta. Hay que medir las dos tasas por separado y decidir cuál pesa más según el uso: en información médica o legal, inventar es mucho peor que callar.

Como vimos en la pieza anterior, la similitud de la búsqueda no sirve para decidir si hay respuesta: «¿Hacéis envíos a Canarias?» saca la misma similitud que una pregunta con respuesta. Por eso hay que incluir en la prueba preguntas sin respuesta y comprobar lo que hace el sistema completo.

6. Jueces automáticos

Revisar a mano cientos de respuestas es caro, así que lo habitual es que otro modelo de lenguaje haga de revisor. Para fidelidad, la instrucción del juez se parece a esto:

Te doy unos fragmentos y una respuesta.
1. Divide la respuesta en afirmaciones simples, una por línea.
2. Para cada afirmación, indica si los fragmentos la respaldan: SÍ o NO.
   Respaldar significa que se deduce de los fragmentos sin añadir nada.
3. No uses lo que sepas del tema: juzga solo con los fragmentos.

Funciona razonablemente, pero un juez automático es un anotador más, con sus propios sesgos. Zheng et al. (2023) describen tres: preferir la respuesta que aparece en primer lugar, preferir la más larga y preferir las parecidas a las que escribiría el propio juez.

Antes de fiarse de sus cifras, hay que tratarlo como a cualquier anotador:

1. Revisar a mano una muestra (cincuenta o cien respuestas) y calcular el acuerdo entre su veredicto y el de una persona. Si la kappa es baja, se ajusta la instrucción y se vuelve a medir.
2. Alternar el orden cuando compare dos respuestas, para neutralizar la preferencia por la primera.
3. Usar las anotaciones humanas para corregir. ARES (Saad-Falcon et al., 2024) combina jueces automáticos con unos cientos de respuestas anotadas por personas para corregir sus errores de forma estadística.

Un juez automático que no coincide con el criterio humano produce cifras que parecen objetivas y no lo son.

7. Conjuntos de prueba en español

Lo mejor es un conjunto propio, con preguntas sobre tus documentos. Para empezar o para comparar, hay recursos escritos directamente en español (no traducidos):

• RagQuAS (Instituto de Ingeniería del Conocimiento): 201 preguntas de dominios variados, cada una con varios fragmentos de contexto y una respuesta de referencia. Sirve para las dos partes de la evaluación. Licencia CC BY-NC-SA 4.0: solo uso no comercial.
• MessIRve: casi 700 000 consultas reales con documentos de Wikipedia relevantes, de distintas regiones hispanohablantes. Evalúa solo la primera parte, la búsqueda.
• MEMERAG: respuestas de sistemas RAG con juicios humanos de fidelidad y relevancia en varias lenguas, español incluido. Sirve para comprobar si tu juez automático coincide con las personas.

Para seguir

• Cómo funciona un sistema RAG por dentro: las piezas que se están evaluando aquí.
• Evaluar un clasificador: la misma desconfianza ante una cifra única, aplicada a clasificación.
• Medir el acuerdo entre anotadores: cómo validar a un revisor, humano o automático.