Cómo evaluar y mejorar prompts

Evaluar antes de mejorar

Nadie mejora lo que no mide. Antes de tocar una coma, armá un juego de prueba: entre 10 y 30 casos reales representativos (incluidos los que hoy fallan), cada uno con su respuesta esperada o su criterio de aceptación. Sin esto, cada cambio es una opinión; con esto, cada cambio es un dato.

Qué medir depende de la tarea: exactitud en clasificación, campos válidos en extracción, y en redacción abierta, una rúbrica simple (¿respondió lo pedido? ¿inventó datos? ¿respetó el formato?) aplicada siempre igual. La evaluación perfecta no existe; una evaluación mediocre pero constante supera a la intuición.

Iterar con método

El ciclo profesional es:

1. Medir la versión actual contra el juego de prueba.
2. Diagnosticar con la anatomía: ¿falta objetivo, contexto, datos, formato o ejemplos?
3. Cambiar una sola cosa por vez (si cambiás tres, no sabés cuál funcionó).
4. Re-medir todo: una mejora en un caso puede romper otros.
5. Versionar: guardá cada versión del prompt con su puntaje y fecha.

Dos trampas finales. Una: el modelo cambia bajo tus pies (los proveedores actualizan versiones), así que fijá el snapshot del modelo en producción y re-evaluá al migrar. Dos: el sobreajuste a tu juego de prueba (el prompt rinde 100% en tus 20 casos y falla en el mundo real); renovalo periódicamente con casos frescos.

Fuentes

• Guía de prompt engineering (iteración y evaluación de prompts) (documentacion-oficial) · consultado 20/09/2026
• Estrategias de prompting (iteración, ejemplos, ajustes) (documentacion-oficial) · consultado 20/09/2026