Algoritmo de tokenización subword usado por BERT y otros modelos de Google. Similar a BPE pero basado en maximizar likelihood del corpus de entrenamiento. Permite manejar palabras raras dividiéndolas.
Términos cercanos
Para leer más: arxiv.org
Glosario · Preprocesamiento