Representar: de la bolsa de palabras a los Transformers

Tres familias de representaciones

Representar es convertir cada palabra o cada texto en un vector de números. Las técnicas se ordenan en tres familias, que son también tres etapas históricas.

1. Representaciones dispersas: contar palabras

Cada palabra del vocabulario es una columna. Los vectores son enormes (una posición por palabra) y casi todos sus valores son cero; de ahí el nombre de dispersas.

• One-hot: cada palabra es un vector con un 1 en su columna y 0 en el resto. No es tanto una representación de textos como la forma de codificar cada palabra antes de las demás técnicas. Todas las palabras quedan a la misma distancia: rosa está igual de lejos de violeta que de hipoteca.
• Bolsa de palabras (BoW): suma los one-hot de un texto, es decir, cuenta cuántas veces aparece cada palabra. Olvida el orden: «el perro muerde al hombre» y «el hombre muerde al perro» son el mismo vector.
• N-gramas: cuentan también secuencias de dos o tres palabras (no me, me gustó) o de letras. Recuperan algo de orden local a cambio de vectores aún mayores.
• TF-IDF: pondera cada palabra según lo frecuente que es en el texto y lo rara que es en el corpus. de y que pesan poco; golondrinas, mucho.

2. Representaciones densas estáticas: los embeddings de palabras

Cada palabra se representa con un vector corto (de 100 a 300 números), aprendido de los contextos en que aparece. Las palabras que se usan de forma parecida quedan cerca. Embedding de palabras y representación densa son dos nombres para lo mismo.

• word2vec (2013): una red neuronal pequeña aprende a predecir una palabra a partir de su contexto (CBOW) o el contexto a partir de la palabra (skip-gram).
• GloVe (2014): parte de una tabla de cuántas veces aparece cada palabra cerca de cada otra en todo el corpus y aprende vectores que reproduzcan esas coocurrencias.
• fastText (2017): como word2vec, pero cada palabra es la suma de sus trozos de letras. Así puede dar vector a palabras no vistas y maneja mejor lenguas con mucha flexión, como el español.

Su límite es que son estáticos: banco tiene un único vector, a medio camino entre el dinero y el parque.

3. Representaciones contextuales: el vector depende de la frase

Aquí el vector de cada palabra lo calcula un modelo que lee la frase entera, así que banco recibe uno distinto en «abrí una cuenta en el banco» y en «me senté en el banco». Hay dos grandes arquitecturas.

Redes recurrentes. Leen la frase palabra a palabra y llevan un estado oculto, una especie de memoria que resume lo leído hasta ese punto.

• RNN simple (vanilla RNN): la idea básica. En la práctica olvida pronto: durante el entrenamiento, la señal que debería ajustar la memoria de las primeras palabras se debilita al recorrer frases largas (el problema del gradiente que se desvanece).
• LSTM (long short-term memory, 1997): añade una celda de memoria y tres puertas (de entrada, de olvido y de salida) que deciden qué guardar, qué borrar y qué usar. Recuerda dependencias mucho más largas. Fue la base de la traducción automática neuronal hacia 2014-2016 y de ELMo (2018), uno de los primeros modelos de embeddings contextuales, que lee la frase en los dos sentidos.
• GRU (2014): una versión simplificada de la LSTM, con dos puertas (de actualización y de reinicio) y sin celda de memoria separada. Tiene menos parámetros y entrena algo más rápido; en calidad, los resultados frente a la LSTM dependen de la tarea.

Transformers (2017). Sustituyen la lectura secuencial por la atención: en un solo paso, cada palabra puede mirar a todas las demás de la frase y decidir cuáles importan para interpretarla. Eso permite entrenar en paralelo con corpus enormes y relacionar palabras muy alejadas. Su coste crece con el cuadrado de la longitud del texto, porque cada palabra se compara con todas. Hay tres variantes:

• Codificadores (BERT y, para el español, BETO o RoBERTa-BNE): leen la frase en los dos sentidos y producen representaciones; se ajustan para clasificar o extraer información.
• Decodificadores (GPT, Llama y la mayoría de LLM): generan texto token a token, mirando solo hacia atrás.
• Codificador-decodificador (T5, los traductores automáticos): leen un texto y generan otro.

Una variante muy práctica son los embeddings de frase (por ejemplo, Sentence-BERT): un codificador ajustado para que todo un texto quede representado por un solo vector, de modo que dos frases con el mismo significado queden cerca aunque no compartan palabras. Son la base de la búsqueda semántica y de los sistemas RAG.

Cómo pasó la disciplina de una familia a otra, siguiendo la palabra banco, está en Cómo aprende y cómo se evalúa.