Modelos densos vs Mixture of Experts

Modelo denso: todo el cerebro, siempre

En un modelo denso (dense), todos los parámetros participan en cada token que se genera. Si el modelo tiene 70.000 millones de parámetros, los 70.000 millones trabajan en cada paso.

Es la arquitectura más simple de entender y de ejecutar: la memoria necesaria y el costo por token son proporcionales al tamaño total. La mayoría de los modelos abiertos conocidos de tamaño medio son densos.

Mixture of Experts: muchos expertos, pocos por token

En Mixture of Experts (MoE, mezcla de expertos), el modelo contiene varios sub-modelos (expertos) más una pequeña red que enruta cada token a uno o dos expertos. Solo esos expertos trabajan en ese token.

La gracia: el modelo puede tener una capacidad total enorme (muchos parámetros en total) con un costo por token mucho menor (solo cuentan los parámetros activos). Por eso las fichas técnicas distinguen parámetros totales vs parámetros activos: un MoE de 100.000 millones totales puede costar como un denso de 15.000 millones.

El costo oculto es la memoria: para inferencia hay que cargar todos los expertos aunque no trabajen a la vez, así que un MoE exige más RAM/VRAM que un denso de igual costo por token. Y no todo es color de rosa: entrenar el enrutador es delicado y algunos expertos pueden quedar subutilizados.

Qué mirar en la ficha

• Arquitectura: si dice MoE, buscá los dos números (totales y activos).
• Memoria para uso local: manda el total, no el activo.
• Costo de API: se acerca al del modelo denso equivalente a los parámetros activos.
• Calidad: no se deduce de la arquitectura; se mide con benchmarks por tarea, en el observatorio.

Fuentes

• Mixtral of Experts (paper del modelo MoE abierto) (paper) · consultado 20/09/2026