Gestión de datos y curación de corpus

Qué implica

Un corpus no es solo una carpeta de textos: es una muestra construida para responder a una pregunta. Esta competencia cubre de dónde proceden los datos, a quién representan, cómo se limpian y documentan, qué información personal contienen y cómo se separan los ejemplos de entrenamiento y evaluación. También incluye decidir qué no conviene recopilar o conservar.

Los datos condicionan qué patrones puede aprender un sistema y qué errores podremos detectar. Una muestra sesgada, duplicada o mal documentada puede dar una impresión engañosa del rendimiento. La tarea consiste en justificar decisiones y describir límites, no en prometer un corpus perfecto.

Un corpus nunca es neutro: refleja quién escribió los textos, en qué variedad, en qué registro y con qué propósito. Un conjunto de reseñas escritas en español peninsular dirá poco de cómo se expresa la queja en Bogotá, y uno formado por prensa apenas contiene lenguaje coloquial. Detectar esos huecos, y saber qué categorías serán ambiguas antes de etiquetar, es trabajo de lingüística de corpus.

Habilidades

Ingeniería de corpus

Creación, diseño y etiquetado de conjuntos de datos lingüísticos con herramientas como Prodigy, Label Studio y Doccano.

Prácticas habituales

• Muestreo representativo
• Diseño de guías de anotación
• Limpieza de ruido
• Normalización de formatos
• Manejo de herramientas de etiquetado

Curación avanzada

Limpieza de sesgos (debiasing), eliminación de duplicados y cumplimiento normativo de privacidad (GDPR) con herramientas como Presidio, Cleanlab y Perspective API.

Prácticas habituales

• Anonimización (PII)
• Debiasing algorítmico
• Deduplicación de registros
• Filtrado de lenguaje tóxico
• Auditoría de representación

Consistencia de datos

Implementación de protocolos de Acuerdo entre Anotadores (IAA) con métricas como Kappa de Cohen, Alpha de Krippendorff y herramientas estadísticas.

Prácticas habituales

• Cálculo de Kappa de Cohen
• Alpha de Krippendorff
• Resolución de discrepancias
• Adjudicación de etiquetas
• Validación cruzada de anotación

Gestión de metadatos

Creación de recursos léxicos estructurados como diccionarios, taxonomías y ontologías con estándares Dublin Core, Schema.org y JSON-LD.

Prácticas habituales

• Mapeo a Dublin Core
• Modelado de taxonomías
• Estructuración XML/JSON-LD
• Versionado de datasets
• Documentación de provenance

Manipulación de datos con Python

Uso profesional de Pandas (manipulación de datos tabulares), NumPy (operaciones numéricas) y Polars (procesamiento de datos a gran escala).

Prácticas habituales

• Carga de archivos (CSV/Parquet)
• Limpieza de NaNs
• Vectorización de operaciones
• Fusión de DataFrames
• Análisis exploratorio (EDA)

Fuentes

• Corpus Linguistics: Method, Analysis, Interpretation: Curso de la Universidad de Lancaster, gratuito en su versión básica. Una buena introducción a trabajar con corpus.
• Data Statements for NLP: Bender y Friedman (2018): qué hay que documentar de un corpus para que otros sepan qué representa.
• Coeficiente kappa de Cohen: La medida clásica del acuerdo entre dos anotadores, explicada.

Aparece sobre todo en estos perfiles: Anotación y curación de datos, Análisis de datos lingüísticos.