Temperatura, probabilidades y muestreo

Qué aprenderás

• Cómo se selecciona un token entre varias posibilidades.
• Qué hacen, conceptualmente, temperatura, top-p y top-k.
• Por qué la variabilidad no es una escala universal de creatividad.

De puntuaciones a probabilidades

El modelo produce puntuaciones para posibles tokens. Una transformación las convierte en una distribución: las probabilidades de las opciones suman, en conjunto, aproximadamente 1. Un modo de elegir siempre la opción principal es el greedy decoding. Otro modo es hacer sampling: seleccionar una opción según la distribución disponible.

Este ejemplo es ficticio y solo ilustra una distribución posible:

El cielo está...

azul       0.63
nublado    0.18
oscuro     0.08
despejado  0.06
otras      0.05

Los números no son una medición de un modelo real y no deben usarse para calcular una configuración universal.

Temperatura

La temperatura modifica la forma de la distribución antes del muestreo. Valores más bajos tienden a concentrar la selección en opciones de mayor probabilidad; valores más altos tienden a repartirla entre más alternativas. El comportamiento exacto depende de la implementación y de otros parámetros.

Por eso es incorrecto decir que temperatura 0.7 siempre es mejor, o que una temperatura alta significa creatividad como definición. Una tarea de extracción puede necesitar estabilidad; una lluvia de ideas puede tolerar variedad. La calidad se evalúa contra el objetivo, no contra un número aislado.

Top-p y top-k

• Top-p (nucleus sampling): limita el muestreo al conjunto más pequeño de

tokens cuya probabilidad acumulada alcanza un umbral.

• Top-k: limita el conjunto a las k opciones con mayor puntuación.

No todos los modelos o APIs ofrecen ambos controles, y algunas combinaciones se aplican de maneras diferentes. Hay que consultar la documentación del proveedor y medir el resultado en la tarea real.

Seed y determinismo aproximado

Una seed puede ayudar a repetir una secuencia cuando la API y la configuración la soportan. No garantiza reproducibilidad absoluta: pueden cambiar el modelo, la infraestructura, los filtros, los datos externos o el comportamiento del servicio. Es más preciso hablar de determinismo aproximado y documentar las condiciones del experimento.

Ejemplo en una organización

En QA, un equipo extrae campos de incidentes para cargar un sistema. Prefiere una salida estable, con esquema validable y baja variación. En marketing, el equipo genera diez asuntos posibles para una campaña y acepta diversidad, pero revisa afirmaciones y restricciones de marca. La configuración se elige por la tarea y se valida con ejemplos, no por una receta general.

Una simplificación útil

Analogía simplificada: imaginá una urna donde algunas tarjetas tienen más probabilidad de ser elegidas que otras. Sampling permite sacar una tarjeta sin obligar siempre a sacar la primera; temperatura cambia la concentración relativa de las opciones. La analogía no significa que el modelo tire dados sin cálculo.

Qué no significa

• Temperatura alta no define creatividad ni garantiza ideas mejores.
• Temperatura baja no garantiza verdad.
• Una seed no convierte cualquier API en determinista.
• Probabilidad alta no es certeza factual.

Errores frecuentes

1. Copiar un valor de temperatura sin probar la tarea.
2. Usar sampling como sustituto de verificación.
3. Comparar top-p y top-k como si fueran la misma perilla.
4. Prometer resultados idénticos sin controlar modelo y entorno.

Ideas principales

• Sampling selecciona según una distribución, no necesariamente el token máximo.
• Temperatura, top-p y top-k afectan el conjunto o la concentración de opciones.
• La disponibilidad y el efecto de cada parámetro dependen de la API.
• Hay que evaluar variabilidad, costo y calidad en el caso concreto.

Autoevaluación

1. ¿Qué diferencia conceptual hay entre greedy decoding y sampling?
2. ¿Por qué una temperatura alta no es sinónimo de mejor creatividad?
3. ¿Qué condiciones deberían documentarse antes de llamar reproducible a una

salida?

Fuentes

• OpenAI API: reproducible outputs — OpenAI — https://platform.openai.com/docs/guides/text-generation/reproducible-outputs — consulta: 2026-10-03.
• Controlling generation — Hugging Face — https://huggingface.co/docs/transformers/main/en/generation_strategies — consulta: 2026-10-03.
• Gemini API: generation configuration — Google AI for Developers — https://ai.google.dev/gemini-api/docs/models/generative-models — consulta: 2026-10-03.

Seguir aprendiendo

• Unidad 11: ninguna configuración elimina la necesidad de verificar.
• Unidad 13: la selección también considera costo, latencia y privacidad.