MMLU-Pro Razonamiento EXTERNO · ACADEMICA

Qué mide

Mide comprension y razonamiento multidisciplinar exigente: 14 dominios, mas de 12000 preguntas con 10 opciones y enfasis en razonamiento.

Dataset: Mas de 12000 preguntas, 10 opciones, 14 dominios (matematica, fisica, quimica, derecho, ingenieria, psicologia, salud...).

Qué NO mide

No mide generacion abierta ni programacion practica.

Metodología

Accuracy sobre 10 opciones (azar = 10%). Mas estable ante variaciones de prompt que MMLU.

• v1 · dataset 14-domains · 10 opciones por pregunta (azar 10%).

Cómo interpretar el número

Proporcion de respuestas correctas en preguntas de razonamiento. Mayor suele ser mejor.

Limitaciones

Distinto de MMLU: no comparar accuracy MMLU con accuracy MMLU-Pro.

Resultados disponibles (1)

Ordenado de mayor a menor: en esta métrica, mayor suele ser mejor. Esto ordena por esta medición específica; no es un ranking general del modelo.