Cómo evaluar anuncios de nuevos modelos

Seis evidencias, seis pesos

Ante un anuncio, clasificá cada dato en una de estas seis categorías, de menor a mayor independencia:

1. Benchmark del proveedor: números del propio lanzador. Interesantes, pero elegidos para lucirse (benchmarks favorables, condiciones óptimas).
2. Benchmark académico independiente: el mismo modelo medido por terceros con protocolo público. Pesa más.
3. Leaderboard: comparación bajo condiciones comunes contra rivales. Útil como preselección (ver guía de métricas).
4. Evaluación independiente: análisis de terceros (prensa técnica, investigadores) con sus propios casos.
5. Prueba interna: tus propios casos, tus datos, tu criterio. Para decidir adopción, es la que más pesa.
6. Pruebas de SitioDeRubros: nuestras mediciones con metodología publicada en el Observatorio.

Un lanzamiento con solo evidencia del tipo 1 es una promesa; con 2 y 3 es un candidato; con 5 a tu favor es una decisión.

Checklist de 10 minutos y el Observatorio

Checklist rápido ante el anuncio de turno:

• ¿Qué benchmarks cita y en cuáles no aparece?
• ¿Las comparaciones son contra rivales actuales o versiones viejas?
• ¿Hay fecha, versión del modelo y condiciones de medición?
• ¿Terceros ya lo probaron? ¿Coinciden?
• ¿Qué cuesta (precio, contexto, latencia) además de qué rinde?

Nuestro Observatorio de evaluaciones existe para esto: registra benchmarks con su metodología y fecha, y publica pruebas propias con protocolo abierto. Úsalo como segunda opinión permanente, y para la decisión final, probá con tus casos (la guía de evaluación de prompts te da el método).

Fuentes

• SWE-bench (ejemplo de benchmark independiente con protocolo público) (documentacion-oficial) · consultado 20/09/2026
• Evaluating Large Language Models Trained on Code (HumanEval) (paper) · consultado 20/09/2026