Reproducibilidad y limitaciones

Reproducibilidad: repetirlo de verdad

Un resultado es reproducible si un tercero puede repetir el experimento y llegar a lo mismo. Los ingredientes, en orden de importancia:

1. Código disponible: el programa exacto que corrieron, no una descripción aproximada.
2. Datos disponibles (o identificados con precisión): con qué se entrenó y evaluó.
3. Entorno fijado: versiones, semillas aleatorias, hiperparámetros.
4. Costo informado: cómputo usado, para saber si repetirlo es viable.

En IA aplicada vale una vara pragmática: si el paper trae código y pesos descargables que podés correr hoy, la reproducibilidad es alta aunque no puedas pagar el reentrenamiento. Si no trae ni código ni datos, la afirmación viaja solo con la reputación de los autores.

Baselines, ablation y limitaciones

Tres señales de seriedad metodológica:

• Baseline: el punto de comparación. Un baseline débil o desactualizado infla cualquier mejora. Desconfiá de trabajos que comparan contra versiones viejas pudiendo usar las actuales.
• Ablation study: el experimento que apaga cada pieza del método para probar que cada una aporta. Sin ablación, no sabés si la mejora viene de la idea nueva o de un detalle de implementación.
• Limitaciones declaradas: los propios autores diciendo qué no funciona. Paradójicamente, un paper con limitaciones honestas es más confiable que uno que todo lo gana.

Estas tres cosas se leen en diez minutos y separan la investigación sólida del marketing con ecuaciones.

Fuentes

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (ejemplo con código y datos) (paper) · consultado 20/09/2026