Función que convierte un vector de puntuaciones arbitrarias en una distribución de probabilidad (valores positivos que suman 1). Se usa en la capa final de los clasificadores, para elegir el siguiente token y dentro del mecanismo de atención. Ejemplo: las puntuaciones [2, 1, 0] se convierten aproximadamente en [0,67, 0,24, 0,09].
Términos cercanos
Para leer más: pytorch.org