¿Qué es un benchmark de IA?

Qué mide (y qué pregunta responder)

Un benchmark es un conjunto estandarizado de tareas con respuestas conocidas, que permite comparar modelos bajo las mismas condiciones. Cada benchmark responde una pregunta acotada: HumanEval pregunta por programación básica, SWE-bench por resolución de issues reales de software, MMLU por conocimiento académico amplio.

Para interpretar un resultado necesitás su ficha completa: qué población y tareas cubre, qué métrica usa (exactitud, resolución, juicio humano), qué versión del benchmark, fecha de la medición y en qué condiciones (con o sin herramientas, con cuántos intentos). Un 92% sin esa ficha no significa nada.

Contaminación, saturación y el fin de los rankings

Dos fenómenos degradan los benchmarks con el tiempo:

• Contaminación: si las preguntas del benchmark estaban en los datos de entrenamiento, el modelo recuerda en lugar de resolver. Los puntajes se inflan sin que la capacidad real mejore.
• Saturación: cuando todos los modelos rondan el 95%, el benchmark deja de discriminar. Hay que crear versiones más duras (por eso existen las variantes Pro, Verified, Diamond).

Y la regla de oro de este hub: no existe ranking global legítimo. Combinar benchmarks heterogéneos en un AI Score mezcla unidades distintas (programación con idiomas con matemáticas) y esconde las condiciones. Nuestro Observatorio lista cada benchmark por separado, con su metodología y fecha: usalo así.

Fuentes

• Evaluating Large Language Models Trained on Code (HumanEval) (paper) · consultado 20/09/2026
• SWE-bench (documentación oficial del benchmark) (documentacion-oficial) · consultado 20/09/2026

Seguir aprendiendo

• Métricas y leaderboards: cómo interpretarlos (Intermedio)