Pregunta-respuesta

Cómo lo hace

Una técnica extendida se llama RAG: antes de responder, el sistema busca en una colección de documentos los fragmentos más parecidos a la pregunta y redacta la respuesta a partir de ellos. Síguelo paso a paso, y luego cambia de escenario:

Por dentro, un sistema RAG tiene cinco piezas, y casi todos los fallos se pueden atribuir a una de ellas:

1. Trocear los documentos. Se dividen en fragmentos de unos cientos de palabras. Si son demasiado pequeños pierden el contexto; si son demasiado grandes mezclan temas. Cortar por apartados o párrafos, y no a ciegas cada N caracteres, suele mejorar los resultados: es una decisión sobre la estructura del discurso.
2. Convertir cada fragmento en un vector (embedding). Los textos con significado parecido quedan cerca aunque no compartan palabras: «baja por maternidad» y «permiso por nacimiento» acaban próximos.
3. Recuperar. La pregunta también se convierte en vector y se buscan los fragmentos más cercanos. Muchos sistemas combinan esta búsqueda semántica con la léxica clásica (BM25), porque los vectores fallan con nombres propios, códigos y cifras exactas.
4. Reordenar. Un segundo modelo, más lento y preciso, vuelve a puntuar los 20 o 50 candidatos y se queda con los mejores.
5. Generar con las fuentes. El modelo recibe la pregunta y los fragmentos con una instrucción del tipo «responde solo con esta información y cita la fuente; si no está, dilo». De esa instrucción depende que el sistema admita que no sabe o se invente la respuesta.

En una conversación, además, cada pregunta depende de las anteriores. El sistema tiene que arrastrar el contexto:

Dónde falla

• Recuperar el fragmento equivocado: parecido en las palabras, distinto en lo que importa (el horario general frente al de verano).
• Fuentes desactualizadas o contradictorias: el sistema no sabe cuál vale más si nadie se lo dice.
• Preguntas de varios saltos: «¿qué biblioteca cierra antes en agosto, la de mi barrio o la central?» exige combinar dos documentos, y ahí se pierden muchos sistemas.
• Responder cuando no hay respuesta: si la información no está, lo correcto es decirlo. Muchos sistemas prefieren improvisar.
• Evaluar todo junto: un RAG se evalúa por partes, porque si la recuperación no trae el fragmento correcto, el mejor generador no puede responder bien. Primero se mira el recall@k (con qué frecuencia el fragmento con la respuesta está entre los k primeros resultados); después la fidelidad (si cada afirmación está respaldada por los fragmentos: una respuesta puede ser cierta y no ser fiel si viene de la memoria del modelo) y, por último, la abstención. Para las respuestas extractivas se usan la coincidencia exacta y el F1 de tokens, que penalizan las respuestas correctas formuladas de otra manera.
• Un juez automático también se equivoca: herramientas como Ragas usan un modelo como juez; conviene revisar a mano una muestra y escribir preguntas reales, con su respuesta y su fuente, por alguien que conozca el dominio.

Las decisiones lingüísticas

• Documentación: organizar y escribir las fuentes para que se puedan recuperar bien es medio sistema.
• Crítica de fuentes: comprobar que la respuesta dice lo que dice el documento, ni más ni menos.
• Preguntas de evaluación: escribir las preguntas difíciles (ambiguas, de varios saltos, sin respuesta) con las que se prueba el sistema.

En sistemas reales

• NotebookLM: responde preguntas solo a partir de los documentos que se le dan y enlaza cada afirmación con el fragmento del que sale. Las citas permiten comprobar si la respuesta dice lo mismo que la fuente, que no siempre ocurre.
• Buscadores con IA: combinan búsqueda web y generación: recuperan páginas y redactan una respuesta con enlaces. Es un sistema de recuperación aumentada a escala de internet, con sus mismos fallos: fuentes poco fiables, fragmentos fuera de contexto y respuestas que van más allá de lo citado.