Unidad de tokenización intermedia entre caracteres y palabras. Permite manejar palabras raras dividiéndolas.
Un ejemplo
«Wasapear» no está en ningún vocabulario de entrenamiento, pero se puede escribir con trozos conocidos: «was», «ap», «ear».
Interactivo
Así lee la máquina tu frase
was9844ap403ear830,11·des731fragment74424ar277,11·habl57929antes5193
3 palabras → 10 tokens. El punto (·) marca un espacio pegado al token; el número es su identificador en el vocabulario.
La idea: La máquina no lee palabras: lee trozos frecuentes. Las palabras comunes van enteras; las raras o largas se parten en piezas que no siempre coinciden con los morfemas.
Términos cercanos
Para leer más: huggingface.co