Cómo aprende y cómo se utiliza un modelo

Qué aprenderás

• Entrenamiento, preentrenamiento e inferencia.
• Fine-tuning, distillation y quantization (qué cambian y qué no).
• La diferencia entre modificar el modelo y darle información en la consulta.

Explicación sencilla

• Entrenamiento: la etapa larga y costosa donde el modelo ajusta sus

parámetros con enormes volúmenes de datos. Ocurre una vez (o pocas veces).

• Preentrenamiento: el entrenamiento inicial y general (el más caro); deja

un modelo fundacional listo para adaptar.

• Inferencia: usar el modelo ya entrenado para responder cada consulta. Es

lo que pagás/usás día a día.

Analogía útil (con límites): entrenar ≈ años de formación; inferencia ≈ ejercer la profesión después. Consultar un documento con RAG no es reentrenar: es pasarle un apunte en el momento (Unidad 8).

Adaptar sin entrenar desde cero

• Fine-tuning (ajuste fino): reentrenamiento corto con datos propios para

especializar el modelo. Cambia sus parámetros; cuesta menos que entrenar.

• Distillation (destilación): entrenar un modelo pequeño para que imite a

uno grande. Así nacen muchos SLM eficientes.

• Quantization (cuantización): reducir la precisión de los números del

modelo para que ocupe menos memoria y corra más rápido, con pequeña pérdida de calidad. Detalle en la guía dedicada.

Ejemplo en una organización

Un estudio jurídico no entrena un modelo desde cero: parte de un fundacional, le aplica fine-tuning con sus escritos tipo y, para cada consulta, le adjunta la normativa vigente como contexto. Tres capas distintas (modelo base → ajuste → contexto) con tres costos y tres decisiones diferentes.

Qué no significa

• Fine-tuning no le enseña hechos confiables al modelo (para hechos, RAG).
• Destilar/cuantizar no mejora la inteligencia: la conserva abaratando el uso.
• Dar contexto no modifica el modelo: solo esa respuesta cambia.

Errores frecuentes

1. Creer que "entrenar con mis PDFs" = subirlos al chat (eso es contexto, no entrenamiento).
2. Asumir que más parámetros siempre rinden más (ver Unidad 3).
3. Confundir fecha de corte del entrenamiento con "el modelo está desactualizado en todo".

Ideas principales

• Entrenar es caro y raro; inferir es barato y constante.
• Fine-tuning adapta, distillation achica, quantization abarata.
• Modificar el modelo ≠ darle información en la consulta.

Autoevaluación

1. ¿Qué diferencia hay entre preentrenamiento e inferencia?
2. Una empresa quiere respuestas basadas en su manual interno que cambia cada mes. ¿Fine-tuning o RAG? ¿Por qué?

Fuentes

• Training compute-optimal large language models (Chinchilla) — arXiv (DeepMind) — https://arxiv.org/abs/2203.15556 — consulta: 2026-10-03.
• Fine-tuning guide (qué es y cuándo conviene) — OpenAI — https://platform.openai.com/docs/guides/fine-tuning — consulta: 2026-10-03.
• Guía relacionada en este sitio: Entrenamiento vs inferencia; ¿Qué es la cuantización?.

Seguir aprendiendo

• Unidad 5: tokens, prompts y ventana de contexto.
• Más adelante: el Módulo 19 detalla modelos locales y cuantización en la práctica.