Mecanismo que permite a un modelo ponderar, para cada token, qué otros tokens de la entrada son más relevantes. En «El trofeo no cabía en la maleta porque era demasiado grande», la representación de «era» debe atender a «trofeo» y no a «maleta». Es la base de los Transformers. Los pesos de atención no son, por sí solos, una explicación fiable de por qué el modelo decide algo.
Un ejemplo
En «El perro siguió al gato porque estaba asustado», para saber quién estaba asustado el modelo tiene que fijarse en «perro» o en «gato». La atención es el mecanismo que pondera esas otras palabras.
Míralo
¿A qué palabras mira el modelo?
Las palabras subrayadas se pueden pulsar. La altura de cada barra indica cuánto pesa esa palabra al interpretar la elegida.
La idea: Para interpretar «estaba» hay que decidir de quién se habla. La atención reparte peso entre las otras palabras de la frase; aquí casi todo va a «perro», pero «gato» también cuenta, porque la frase admite las dos lecturas.
Términos cercanos
Para leer más: arxiv.org