Algoritmo de tokenización que fusiona iterativamente los pares de caracteres más frecuentes. Usado en GPT y otros modelos.
Interactivo
Así lee la máquina tu frase
Los16593·habl57929antes5193·también10409·des731fragment74424an270·palabras43619
5 palabras → 8 tokens. El punto (·) marca un espacio pegado al token; el número es su identificador en el vocabulario.
La idea: La máquina no lee palabras: lee trozos frecuentes. Las palabras comunes van enteras; las raras o largas se parten en piezas que no siempre coinciden con los morfemas.
Términos cercanos
Para leer más: huggingface.co