Métricas y leaderboards: cómo interpretarlos

Las métricas dicen y esconden

Una métrica resume un desempeño en un número: exactitud, tasa de resolución, preferencia de jueces. Lo que dice es útil; lo que esconde, más:

• Promedia lo distinto: 80% puede ser 100% en lo fácil y 0% en lo que a vos te importa.
• Depende de las condiciones: con herramientas o sin ellas, con uno o varios intentos, los números cambian radicalmente.
• Puede medirse con otro modelo como juez (LLM-as-judge): rápido y barato, pero hereda los sesgos del juez (prefiere respuestas largas, prefiere su propia familia).

Ante cualquier métrica preguntá: ¿sobre qué tareas, en qué condiciones, medida por quién y con qué versión?

Leaderboards: útiles, no oráculos

Un leaderboard ordena modelos según un benchmark y unas reglas públicas. Es útil para comparar bajo condiciones concretas: si dos modelos rindieron el mismo examen el mismo mes, la comparación es legítima en ese examen.

Sus límites: el primero no es el mejor para todo (lidera ese benchmark, no tu caso de uso), las diferencias chicas suelen estar dentro del ruido, y los proveedores optimizan para los exámenes conocidos. Usá los leaderboards como preselección (quiénes están en el pelotón de punta) y decidí con tus propias pruebas (ver guía de evaluación de anuncios y el Observatorio).

Fuentes

• Measuring Massive Multitask Language Understanding (MMLU) (paper) · consultado 20/09/2026
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (paper) · consultado 20/09/2026

Seguir aprendiendo

• Cómo evaluar anuncios de nuevos modelos (Intermedio)