Conjunto de todos los tokens únicos que un modelo puede reconocer y producir. Definido por el tokenizador.
Un ejemplo
El tokenizador o200k (el de GPT-4o) tiene unos 200 000 tokens posibles. Cualquier texto se escribe combinándolos.
Interactivo
Así lee la máquina tu frase
Los16593·habl57929antes5193·también10409·des731fragment74424an270·palabras43619
5 palabras → 8 tokens. El punto (·) marca un espacio pegado al token; el número es su identificador en el vocabulario.
La idea: La máquina no lee palabras: lee trozos frecuentes. Las palabras comunes van enteras; las raras o largas se parten en piezas que no siempre coinciden con los morfemas.
Términos cercanos
Para leer más: huggingface.co