Unidad básica que procesa un modelo de lenguaje: puede ser una palabra, una subpalabra, un carácter o un signo de puntuación, según el tokenizador. En inglés, un token equivale de media a unas tres cuartas partes de una palabra; en español y otras lenguas suele hacer falta más tokens para el mismo texto. Los límites de contexto y el precio de las API se cuentan en tokens.
Un ejemplo
El teclado del móvil no ve «hablantes» como una palabra: un tokenizador real la parte en «hab», «l» y «antes». Cada trozo tiene un número, y con esos números trabaja el modelo.
Interactivo
Así lee la máquina tu frase
Los16593·habl57929antes5193·también10409·des731fragment74424an270·palabras43619
5 palabras → 8 tokens. El punto (·) marca un espacio pegado al token; el número es su identificador en el vocabulario.
La idea: La máquina no lee palabras: lee trozos frecuentes. Las palabras comunes van enteras; las raras o largas se parten en piezas que no siempre coinciden con los morfemas.
Términos cercanos
Para leer más: huggingface.co