Cómo lee una máquina

Trozos, no palabras

Lo primero que hace un modelo de lenguaje con tu texto es cortarlo. No en palabras ni en morfemas, sino en tokens: trozos que aparecían con frecuencia en los textos con los que se construyó su vocabulario. Cada trozo tiene un número, y a partir de aquí la máquina solo trabaja con números. Así queda troceada una frase:

Las palabras frecuentes van enteras («palabras», «también»); las raras se parten. El corte no sigue la gramática, sino la estadística, y por eso a veces coincide con lo que haría una lingüista y a veces no:

Hay otra opción: separar por espacios y puntuación. Es intuitiva, pero obliga a un vocabulario cerrado, y cualquier palabra no vista («desdolarización», «wasapear», una errata) se convierte en un token desconocido sobre el que el modelo no sabe nada. Por eso se usan subpalabras (BPE, WordPiece): se parte de caracteres y se fusionan los pares más frecuentes hasta tener de 30 000 a 200 000 unidades. Ya no hay palabras desconocidas, pero los cortes son estadísticos, no morfológicos.

Cortar en trozos tiene un coste que se cobra por token: cuanto más se parte una lengua, más cara y más lenta es para la máquina. En este ejemplo, el tokenizador de GPT-4 divide la frase en español en más tokens que en inglés. El recuento depende del tokenizador y de la frase: por sí solo no permite concluir cuánto cuesta o qué calidad tendrá un modelo en cada lengua:

De trozos a números con sentido

Un número de vocabulario no dice nada del significado: el 1 y el 2 no tienen por qué parecerse. Así que cada token se traduce a una lista larga de números, un embedding, calculada a partir de los contextos en los que aparece. Es la vieja idea de Firth hecha cálculo: conocerás una palabra por la compañía que mantiene.

En los modelos reales esas listas tienen cientos o miles de números, no dos. El mapa es una simplificación, pero la idea se mantiene: lo que se usa parecido queda cerca. Ojo con la famosa cuenta «rey − hombre + mujer = reina»: funciona en algunos ejemplos escogidos y falla en muchos otros. Es una curiosidad, no una ley.

Calcular qué viene después

Con todos esos vectores, el modelo hace una sola cosa, muchas veces seguidas: estimar qué token encaja después de lo que ya hay. Es lo que hace el teclado de tu móvil cuando te sugiere la siguiente palabra, a una escala enorme.

Dos detalles importan. Con el mismo modelo, contexto y configuración, las puntuaciones de los candidatos son las mismas; la selección puede variar si se usa muestreo. La temperatura modifica cómo se distribuye esa selección, pero no convierte una respuesta más arriesgada en una más verdadera. Por eso la misma pregunta puede darte respuestas distintas, y por eso «lo más probable» no equivale a «lo verdadero».

De dónde sale lo que sabe

Todo lo anterior se aprende de un corpus: una colección enorme de textos. Para los modelos generales, buena parte de internet, libros y código. Para tareas concretas, textos etiquetados a mano por personas: esta reseña es positiva, este correo es spam, esta palabra es un nombre propio. Etiquetar parece sencillo hasta que aparecen los casos dudosos:

Cómo se sabe si acierta

Para evaluar un sistema se le pasan ejemplos cuya respuesta ya conocemos y se cuentan sus aciertos. Pero «acertar» tiene dos caras: la precisión (de lo que marca, cuánto es correcto) y la exhaustividad (de lo que debía encontrar, cuánto encuentra). Mueve el umbral de este filtro de spam:

El caso más revelador es el correo que se hace pasar por un banco: no usa ninguna de las palabras típicas del spam, y por eso el sistema le da poca puntuación. Los errores más peligrosos suelen ser así, silenciosos. Encontrarlos exige leer los fallos uno a uno, y leer bien es un oficio que las humanidades conocen.

Hay tres cautelas antes de fiarse de una cifra. Primera: se evalúa con datos que el modelo no ha visto al entrenar; si el test se parece demasiado al entrenamiento (mismos autores, mismas fechas), la cifra será optimista. Segunda: en generación no hay una única respuesta correcta, y métricas como BLEU, chrF, COMET (traducción), ROUGE (resumen) o la perplejidad comparan con una referencia o miden lo «sorprendido» que está el modelo: una buena traducción puede no parecerse a la referencia y puntuar mal, y ninguna detecta por sí sola un contrasentido. Tercera: la evaluación humana necesita una guía clara y medir el acuerdo entre evaluadores; sin eso es solo una opinión. Ante cualquier cifra conviene preguntarse qué no mide. Diseñar el conjunto de prueba (qué variedades, registros y casos difíciles incluye) es una tarea en la que la formación lingüística marca la diferencia.

¿Quieres hacer esto con código? En Herramientas tienes por dónde empezar con Python y sus librerías de lenguaje.