Cinco tareas
Cada tarjeta resume la tarea en un ejemplo. Las cinco páginas siguen la misma estructura: cómo funciona, dónde falla y qué decisiones lingüísticas hay detrás.
- 01Traducción automática«I went to the bank»: ¿banco u orilla?Pasar un texto de una lengua a otra conservando sentido, registro y terminología.
- 02Tecnologías del habla«Lo amigo» o «los amigos»: el sonido no siempre decide.Pasar de la voz al texto y del texto a la voz.
- 03Generación de texto«Nos vemos hasta…»: mañana, luego, pronto.Escribir, resumir y reformular textos a partir de una instrucción.
- 04Clasificación de textos«Genial, otra vez tarde»: ¿positiva o negativa?Poner etiquetas a textos: spam o no, positivo o negativo, de qué tema.
- 05Pregunta-respuesta«¿Cuándo cierra la biblioteca en agosto?»Responder preguntas buscando la respuesta en documentos.
El examen está en inglés
Para comparar sistemas se usan benchmarks: colecciones de pruebas públicas sobre las que todos se miden. Tres ejemplos:
- MMLU: un benchmark de preguntas tipo test de 57 materias. Sirve para comparar respuestas en ese conjunto, pero no mide por sí solo el conocimiento general ni el desempeño en situaciones reales; los resultados también pueden verse afectados por contaminación de los datos y por el formato de examen.
- WMT: la competición anual de traducción automática, con evaluación automática y humana.
- Common Voice: un corpus abierto de voz grabada por voluntarios en más de cien lenguas, que se usa para entrenar y evaluar sistemas de dictado.
Lee siempre los resultados con una pregunta en la cabeza: ¿evaluado sobre qué datos? La mayoría de los benchmarks se diseñaron originalmente en inglés. El rendimiento en una prueba en inglés no permite inferir automáticamente el rendimiento en español o en variedades poco representadas. Además, las pruebas públicas pueden aparecer en los datos de entrenamiento: por eso conviene consultar evaluaciones con controles de contaminación y pruebas independientes.