Medida de coincidencia entre múltiples anotadores humanos al etiquetar datos. Se calcula con métricas como Kappa de Cohen. Alto IAA indica guías de anotación claras y datos de calidad.
Un ejemplo
Dos personas etiquetan las mismas 100 reseñas. Si coinciden en 70, la tarea es más ambigua de lo que parecía, y la máquina aprenderá esa duda.
Términos cercanos
Para leer más: en.wikipedia.org