Adaptar un modelo: fine-tuning y distillation

Fine-tuning: especializar sin entrenar desde cero

El fine-tuning (ajuste fino) es reentrenar brevemente un modelo ya entrenado con tus propios ejemplos para especializarlo: tu tono, tu formato, tu dominio. Cambia sus parámetros, pero no le implanta hechos confiables: aprende estilos y patrones, no enciclopedias.

Ejemplo: clasificar tickets de soporte en 8 categorías con la jerga interna de la empresa. Con un par de miles de tickets etiquetados, ajustar un modelo mediano rinde mejor y más barato que usar un gigante con instrucciones larguísimas.

Distillation: modelos chicos que imitan a grandes

La distillation (destilación) entrena un modelo pequeño para que imite las respuestas de uno grande. El alumno queda más barato y rápido, con calidad cercana en la tarea objetivo. Muchos modelos pequeños (SLM) eficientes nacen así.

Destilar no copia inteligencia general: se transfiere la tarea objetivo. Y ninguna adaptación elimina la necesidad de medir antes y después con evaluaciones propias: el ajuste puede mejorar tu tarea y empeorar otras.

Cómo decidir: fine-tuning, RAG o mejor contexto

1. ¿Necesitás un comportamiento estable (formato, tono, clasificación)? Fine-tuning.
2. ¿Necesitás hechos actuales o propios? RAG y contexto, no ajuste.
3. ¿Necesitás costo y latencia bajos? Modelo destilado o cuantizado.
4. ¿Tenés pocos ejemplos (menos de cientos)? Mejor prompt y contexto antes de ajustar.

Errores típicos: ajustar con 30 ejemplos esperando milagros, ajustar para memorizar datos que cambian (van en RAG) y no guardar el conjunto de evaluación para comparar antes y después.

Fuentes

• Fine-tuning guide (documentacion-oficial) · consultado 03/10/2026
• Distilling the Knowledge in a Neural Network (paper) · consultado 03/10/2026

Seguir aprendiendo

• Entrenamiento vs inferencia (Intermedio)
• ¿Qué es la cuantización? (Avanzado)