Gráficos honestos con datos de lenguaje

Quien trabaja con datos de lenguaje acaba enseñando gráficos: frecuencias de palabras, etiquetas de sentimiento por región, temas a lo largo del tiempo. Un gráfico es un argumento, y como cualquier argumento puede ser honesto o tramposo sin que nadie lo pretenda. Esta pieza enseña cuatro comprobaciones que evitan la mayoría de los engaños.

1. Primero la pregunta

Antes de abrir ninguna herramienta, escribe la pregunta en una frase. «¿Se usa más teletrabajo en la prensa de 2022 que en la de 2019?» es una pregunta; «a ver qué sale en el corpus» no lo es. La pregunta decide qué comparar, y la comparación decide el gráfico:

2. Frecuencias: siempre con denominador

Supón dos corpus de prensa. En el de 2019, teletrabajo aparece 300 veces; en el de 2022, 900 veces. Parece que el uso se ha triplicado. Pero el corpus de 2019 tiene 1 millón de palabras y el de 2022, 6 millones.

Por millón de palabras, el uso se ha reducido a la mitad. Comparar frecuencias absolutas de corpus de distinto tamaño es el error más común. La regla: si los corpus no miden lo mismo, compara frecuencias relativas (por mil o por millón de palabras) y di siempre el tamaño de cada uno.

3. Grupos pequeños: enseña cuántos son

Un análisis de reseñas por comunidad autónoma da este porcentaje de reseñas negativas:

Un gráfico de barras haría de La Rioja la comunidad más descontenta. Pero son cinco reseñas: tres negativas. Con tan pocos casos, una sola reseña más cambia el porcentaje veinte puntos. Hay tres salidas honestas: mostrar el número de casos junto a cada barra, agrupar los grupos pequeños en «otros» o no sacar conclusiones de ellos. Lo que no vale es dibujarlos igual que los grandes.

4. Si las etiquetas las puso una máquina, dilo

En el ejemplo anterior, ¿quién decidió que una reseña era negativa? Si fue un clasificador automático, sus errores van dentro del gráfico. Un clasificador de sentimiento que confunde la ironía (ver Clasificación de textos) inflará las reseñas positivas justo en los textos más irónicos, y esos no se reparten igual entre regiones, edades o temas.

Por eso un gráfico hecho con etiquetas automáticas necesita una frase al pie: qué sistema puso las etiquetas, con qué precisión se evaluó y en qué tipo de textos falla. Cómo se mide esa precisión está en Evaluar un clasificador.

5. Gráficos que engañan solos

• Nubes de palabras. El tamaño de la letra depende también de la longitud de la palabra, y no permiten comparar dos corpus. Sirven como portada, no como análisis.
• Ejes que no empiezan en cero en un gráfico de barras: una diferencia del 31 % al 29 % parece enorme si el eje empieza en el 28 %.
• Palabras vacías sin quitar o quitadas sin decirlo: «de», «la» y «que» encabezan cualquier lista de frecuencias. Quitarlas es razonable, pero hay que decirlo, porque a veces son justo lo interesante (por ejemplo, para estudiar el estilo de un autor).
• Colores sin sentido: si el color no codifica nada, sobra. Si codifica algo, que tenga leyenda y que se distinga también en blanco y negro.

6. Ejercicio

Solución propuesta:

1. Pregunta: «más importante para las empresas» no es lo que mide una frecuencia; mide cuánto se dice la palabra. La conclusión va más allá de los datos.
2. Denominador: faltan los tamaños de los dos corpus. Sin ellos, el «cuatro veces» no significa nada.
3. Grupos: ¿cuántas entrevistas hay en cada corpus? Si el de 2025 tiene muchas más, la cifra absoluta crecerá aunque el uso no cambie.
4. Etiquetado: aquí no hay clasificador, pero sí una decisión: ¿se cuentan también «empático» y «empática»? Hay que decir qué formas se contaron.

7. Pruébalo

Para hacerlo con un texto real sin programar, Voyant Tools calcula frecuencias absolutas y relativas, dispersión de una palabra a lo largo del texto y concordancias. Carga dos textos de tamaño distinto y comprueba cómo cambia la comparación al pasar de frecuencias absolutas a relativas. La herramienta está en inglés, pero funciona con textos en español.

Para buscar corpus en español con los que practicar, El PLN en español.