Arquitectura donde múltiples subredes especializadas ("expertos") se activan selectivamente para cada entrada, permitiendo modelos muy grandes con coste de cómputo contenido. Usada en modelos como Mixtral.
Términos cercanos
Para leer más: arxiv.org
Glosario · Arquitectura · avanzado
Mezcla de expertos
En inglés, Mixture of Experts (MoE).