Modelo que genera secuencias prediciendo un elemento a la vez, condicionado en los elementos anteriores. GPT es autorregresivo.
Míralo
¿Qué palabra viene ahora?
Nos vemos hasta ___
- mañana52 %
- luego24 %
- pronto12 %
- el lunes8 %
- nunca4 %
Con temperatura baja casi siempre sale la favorita; con temperatura alta, las raras tienen más opciones. Pulsa varias veces: no elige siempre la más probable, sortea.
La idea: Un modelo de lenguaje no guarda la frase correcta: calcula cuánto encaja cada continuación y sortea entre ellas. La temperatura decide cuánto se arriesga.
Términos cercanos
Para leer más: huggingface.co