Preprocesar, tokenizar y representar: el mapa de las técnicas y cuándo usar cada una

Entre un texto y un modelo hay tres decisiones: qué se limpia o se unifica (preprocesar), en qué unidades se parte (tokenizar) y cómo se convierte en números (representar). Las técnicas de cada fase se suelen presentar como una lista larga y plana: minúsculas, lematización, BPE, TF-IDF, LSTM… Esta pieza las ordena en un mapa y acaba con una guía de cuándo usar cada una.

La pieza es de consulta y no necesita programar. Para ver estas técnicas funcionando sobre un corpus real, con código, está el tutorial Del texto al vector, que clasifica poemas de Machado y Bécquer.

El mapa

Un flujo clásico de procesamiento de textos sigue este orden:

1. Limpiar: quitar lo que no es texto del documento (licencias, índices, etiquetas HTML, cabeceras).
2. Segmentar en oraciones.
3. Tokenizar: partir en palabras, subpalabras o caracteres.
4. Normalizar: unificar mayúsculas, tildes, ortografía, puntuación.
5. Reducir la morfología: raíces (stemming) o lemas.
6. Filtrar: quitar palabras vacías u otras que no interesen.
7. Representar: convertir cada texto en un vector de números.
8. Modelar: entrenar o usar un modelo con esos vectores.

El orden no es rígido. Pasar a minúsculas se puede hacer antes de tokenizar, pero lematizar exige tener ya las palabras separadas:

Dos aclaraciones sobre cómo se suele clasificar todo esto, porque ahorran confusiones:

• La normalización no es una técnica más de la lista, sino el nombre del grupo. Pasar a minúsculas, quitar tildes, unificar la ortografía o lematizar son formas de normalizar: todas deciden que dos formas distintas cuenten como la misma.
• Las redes recurrentes y los Transformers no son técnicas de representación al mismo nivel que TF-IDF. Son arquitecturas de modelos que, al leer una frase, producen representaciones. Por eso en el mapa aparecen en el paso de representar y también en el de modelar.

Y un cambio importante en los modelos actuales: un modelo de lenguaje grande se salta casi todo el preprocesamiento clásico. Su tokenizador forma parte del modelo, recibe el texto tal cual, con mayúsculas, tildes y puntuación, y la representación la calcula el propio modelo. Los pasos 4 a 6 son propios de los métodos clásicos, que siguen siendo útiles en muchas tareas, como se verá en la última página.

Preprocesar: qué se limpia y qué se unifica

El preprocesamiento agrupa formas distintas para que el modelo las trate como una sola. Gana en simplicidad y pierde información. La mejor manera de verlo es seguir una frase:

Lo que hace cada paso y cuándo conviene: