Dividir texto en unidades más pequeñas (tokens): palabras, subpalabras o caracteres. Primer paso en el procesamiento.
Un ejemplo
Igual que una lingüista corta «deshumanización» en des-human-iza-ción, el tokenizador la corta en «des», «human», «ización». A veces coincide con los morfemas y a veces no: el corte sale de la frecuencia, no de la gramática.
Interactivo
Así lee la máquina tu frase
Los16593·habl57929antes5193·también10409·des731fragment74424an270·palabras43619
5 palabras → 8 tokens. El punto (·) marca un espacio pegado al token; el número es su identificador en el vocabulario.
La idea: La máquina no lee palabras: lee trozos frecuentes. Las palabras comunes van enteras; las raras o largas se parten en piezas que no siempre coinciden con los morfemas.
Términos cercanos
Para leer más: huggingface.co