Evaluar un sistema RAG: recuperación, fidelidad y corrección

Un sistema RAG puede fallar en dos sitios: al buscar los fragmentos y al redactar la respuesta. Si se mide todo con una sola nota, no se sabe qué arreglar. Esta pieza propone evaluar cada parte por separado y, dentro de la respuesta, distinguir tres preguntas que se confunden con facilidad.

1. Los datos que hacen falta

Para cada pregunta de la prueba se guarda:

• la pregunta;
• los fragmentos finales que recibió el modelo, ya reordenados;
• la respuesta generada;
• una respuesta de referencia escrita o validada por una persona, y, si se conoce, el documento donde está la información.

Sin la referencia solo se pueden medir las dos primeras cualidades de la respuesta; la corrección exige una verdad externa.

2. Primera parte: ¿se recuperó lo necesario?

Se mide sobre los fragmentos, antes de mirar la respuesta:

• Precisión del contexto: qué parte de lo recuperado era relevante. Si es baja, se le da al modelo ruido con el que distraerse.
• Cobertura del contexto (recall): si faltó algo que la respuesta necesitaba. Si es baja, el modelo no puede acertar por muy bueno que sea.

Ambas se calculan con una persona (o un modelo supervisado) que marca, para cada pregunta, qué fragmentos hacían falta. Si fallan, cambiar de modelo de lenguaje no arregla nada: hay que revisar el troceado, la búsqueda o la reordenación.

3. Segunda parte: tres preguntas sobre la respuesta

Son tres revisores separados, y esa separación es la clave. Si el de fidelidad viera también la pregunta o la referencia, tendería a dar por buena una respuesta que «suena bien» o que sabe correcta, justo lo que no debe hacer.

Las tres cualidades son independientes. Una respuesta puede ser correcta y no fiel (la sabía el modelo, pero no está en los documentos), o fiel e incorrecta (los documentos están desactualizados).

4. Cómo se puntúa cada una

Fidelidad. Se descompone la respuesta en afirmaciones sueltas y se comprueba cada una contra los fragmentos. La nota es la proporción de afirmaciones respaldadas. Se puede resumir en tres niveles: 0 (no respaldada), 1 (en parte), 2 (totalmente).

Relevancia. Una rúbrica de 1 a 5: 1 = no responde; 3 = responde en parte o con mucho relleno; 5 = responde exactamente lo que se pidió.

Corrección. Se compara con la referencia: 0 (incorrecta), 1 (parcial), 2 (correcta). Conviene puntuar los datos críticos (fechas, importes, plazos) aparte del resto.

Para poder comparar, se pasan las tres a una escala común, por ejemplo de 0 a 1 dividiendo entre el máximo (en relevancia, restando 1 y dividiendo entre 4).

5. Ejemplo resuelto

Pregunta: ¿Hasta cuándo puedo devolver un producto comprado en la tienda en línea?

Fragmento recuperado: «Las devoluciones se aceptan durante 14 días naturales desde la recepción. El producto debe estar sin usar».

Respuesta: «Puedes devolverlo en 14 días, y el envío de vuelta es gratuito».

• Fidelidad. Dos afirmaciones: el plazo de 14 días (respaldada) y el envío gratuito (no aparece en el fragmento). Resultado: 1 de 2, o sea 0,5. El modelo inventó un dato.
• Relevancia. Responde la pregunta con exactitud: 5 de 5, o sea 1.
• Corrección. Si la política real no cubre el envío, es parcialmente incorrecta: 1 de 2, o sea 0,5.

Una sola nota media habría dado un resultado aceptable, y la respuesta le habría prometido al cliente algo falso. Por eso el desglose importa más que el promedio.

6. No sacar una media ponderada sin pensarlo

Es tentador combinar las tres notas en una (por ejemplo, 40 % relevancia, 35 % corrección y 25 % fidelidad). Esos pesos son una decisión de negocio, no un resultado científico, y tienen un problema serio: una respuesta muy relevante y totalmente inventada obtiene una nota alta.

Si el sistema responde a clientes, es más razonable tratar la fidelidad como un filtro: por debajo de un umbral, la respuesta no pasa, sea cual sea el resto. Un promedio sirve, como mucho, para seguir la tendencia entre versiones del sistema, y solo si se mantienen los mismos pesos.

7. Preguntas sin respuesta y revisores automáticos

Incluye en la prueba preguntas cuya respuesta no está en los documentos. Lo esperado es que el sistema diga que no lo sabe; una respuesta fluida en esos casos es un fallo de fidelidad.

Si los tres revisores son modelos de lenguaje, también hay que evaluarlos a ellos: revisa a mano una muestra y calcula el acuerdo entre su veredicto y el de una persona. Un revisor automático que no coincide con el criterio humano produce cifras que parecen objetivas y no lo son.

Para seguir

• Cómo funciona un sistema RAG por dentro: las piezas que se están evaluando aquí.
• Evaluar un clasificador: la misma desconfianza ante una cifra única, aplicada a clasificación.
• Medir el acuerdo entre anotadores: cómo validar a un revisor, humano o automático.