Algoritmo que actualiza los pesos del modelo a partir de los gradientes. Adam y su variante AdamW son los más usados para entrenar Transformers por su adaptabilidad.
Términos cercanos
Para leer más: pytorch.org
Glosario · Entrenamiento · avanzado
Optimizador
En inglés, Optimizer.