Herramientas

Cómo trocea una máquina el texto

Muestran qué son los tokens y por qué el mismo contenido cuesta más tokens en unas lenguas que en otras.

Conviene saber: Cada modelo trocea el texto a su manera, y la misma frase puede ocupar el doble de tokens en español que en inglés. El número de tokens afecta al coste y al límite de contexto, no a la calidad de la respuesta.

Tokenizer de OpenAIGratisMuestra los tokens de un texto con el tokenizador de los modelos de OpenAI.
TiktokenizerGratisPone lado a lado cómo trocean el mismo texto los tokenizadores de distintos modelos.
The Tokenizer PlaygroundGratisLo mismo con los tokenizadores de modelos abiertos de Hugging Face.

Asistentes conversacionales

Los grandes modelos de uso general. Se parecen en lo que hacen bien y difieren en estilo, actualización y en cómo fallan.

Conviene saber: Dos asistentes pueden dar respuestas muy distintas a la misma pregunta, y uno mismo puede variar entre intentos. Lo que se escribe en ellos puede almacenarse o usarse según las condiciones de cada servicio.

Traducción

Motores de traducción y buscadores de traducciones ya hechas por personas.

Conviene saber: Una traducción fluida no es necesariamente fiel: nombres, cifras, negaciones y términos técnicos son los puntos donde más a menudo cambia el sentido. El destinatario, la variedad y el registro rara vez se infieren bien si no se indican.

Análisis de corpus

Frecuencias, concordancias y colocaciones, sin programar, sobre textos propios o grandes corpus del español.

Conviene saber: Las frecuencias muestran qué aparece, no qué significa: las concordancias, que enseñan cada palabra en su contexto, suelen decir más. Un corpus representa a quien escribió sus textos, no a toda una población.

Anotación

Las plataformas con las que se etiquetan textos y audio en los proyectos de datos.

Conviene saber: La herramienta organiza el trabajo, pero no decide qué etiqueta es correcta: eso lo fija la guía de anotación. Los desacuerdos entre anotadores suelen señalar categorías mal definidas más que errores individuales.

Voz

Análisis acústico, transcripción por capas y corpus abiertos de voz.

Conviene saber: El ruido, el micrófono, el acento y la variedad lingüística cambian mucho la calidad de una transcripción. Una transcripción automática es una hipótesis del sistema, no un registro fiel de lo dicho.

Investigación

Gestión de bibliografía y búsqueda de trabajos relacionados.

Conviene saber: Estas herramientas localizan y resumen bibliografía, pero sus resúmenes pueden omitir matices o atribuir afirmaciones de forma imprecisa. El artículo original sigue siendo la referencia.

Programar

No hace falta para entender las rutas. Es el conjunto básico con el que se trabaja en procesamiento del lenguaje.

Conviene saber: Las librerías cambian de versión con frecuencia y un mismo análisis puede dar resultados distintos de una a otra. Por eso el trabajo reproducible registra versiones, datos y pasos.