Evaluar un RAG y cuándo ir más allá
Páginas de este taller
En esta página
Ya conoces las piezas. Esta segunda página trata de cómo saber si el sistema funciona, qué debe decir cuando no encuentra la respuesta y qué alternativas existen cuando buscar fragmentos no basta.
1. Dónde falla y cómo saberlo
Un sistema RAG se evalúa por partes, porque el fallo puede estar en la búsqueda o en la redacción:
- ¿Encontró el fragmento correcto? Se prepara un conjunto de preguntas cuya fuente se conoce y se comprueba si aparece entre los primeros resultados. Si no, cambiar de modelo de lenguaje no arregla nada.
- ¿La respuesta se apoya en los fragmentos? Cada afirmación debe estar respaldada por lo recuperado (es lo que se llama fidelidad). Una respuesta puede ser cierta y no ser fiel: si viene de la memoria del modelo, no es verificable.
- ¿Sabe decir que no sabe? Incluye en la prueba preguntas cuya respuesta no está en los documentos.
La evaluación completa, con revisores separados para cada cualidad, se explica en Evaluar un sistema RAG.
2. Qué decir cuando no hay respuesta
Un sistema RAG integrado en un asistente tiene que distinguir dos situaciones que para la persona son muy distintas:
| Situación | Respuesta adecuada |
|---|---|
| La búsqueda funcionó y la información no está en los documentos | «No encuentro esa información en la normativa de devoluciones. Puedes consultarlo con el equipo de atención.» |
| La búsqueda falló (el índice no responde, un error técnico) | «Ahora mismo no puedo consultar la normativa. Inténtalo de nuevo en unos minutos o escribe al equipo de atención.» |
Confundirlas tiene consecuencias: si se dice «no existe» cuando en realidad no se pudo buscar, la persona se queda con una información falsa. El taller de diseño conversacional trata este y otros fallos con más detalle.
3. Variante: grafos de conocimiento (GraphRAG)
Algunas preguntas exigen conectar información dispersa: «¿qué proyectos comparten proveedor con este?». Buscar fragmentos parecidos no basta, porque la respuesta no está en ningún fragmento concreto. Una alternativa es extraer de los documentos un grafo de entidades y relaciones y recorrerlo para reunir el contexto. Es más caro de construir y de mantener, y compensa sobre todo cuando las relaciones son el núcleo de la pregunta. La competencia de ingeniería del conocimiento y grafos explica cómo se construyen.
4. Cuando el sistema busca por su cuenta
En los sistemas más recientes, la búsqueda no siempre es un paso fijo antes de responder. Un agente puede decidir si busca, qué busca, reformular la consulta si el primer resultado no sirve y combinar varias fuentes. Las piezas son las mismas que en esta pieza; lo que cambia es quién decide cuándo usarlas. Y con ello se añade un riesgo: un documento recuperado puede contener frases que parecen instrucciones, y el sistema debe tratarlas como datos (inyección de instrucciones).
Para seguir
- Pregunta-respuesta: la tarea de PLN que RAG resuelve.
- Escribir buenos prompts: cómo redactar la instrucción que recibe el modelo (apartado 7 de la primera página).
- Evaluar un clasificador: la lógica de precisión y exhaustividad sirve también para evaluar la búsqueda.
Referencias
- Lewis et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.
- Robertson y Zaragoza (2009). The Probabilistic Relevance Framework: BM25 and Beyond.
- Edge et al. (2024). From Local to Global: A Graph RAG Approach to Query-Focused Summarization.