Predicción del siguiente token

Qué aprenderás

• Cómo un modelo calcula una distribución para el próximo token.
• Por qué una respuesta completa surge de muchos pasos.
• Qué significa que la generación sea autoregresiva.

La secuencia central

Entrada
  ↓
Tokens
  ↓
Modelo
  ↓
Distribución de probabilidades
  ↓
Selección del siguiente token
  ↓
Se incorpora a la secuencia
  ↓
Repetir

Para una secuencia dada, el modelo produce puntuaciones que se convierten en probabilidades para posibles tokens siguientes. El token elegido se agrega al final de la secuencia y se vuelve a ejecutar el proceso. Este encadenamiento se llama generación autoregresiva.

Un ejemplo

Ante La capital de Francia es ..., un modelo entrenado con lenguaje y datos diversos puede asignar una probabilidad alta a un token compatible con París. Los valores exactos dependen del modelo y de la configuración. No hace falta que exista una oración completa almacenada para que aparezca esa continuación: la salida se calcula a partir de patrones y parámetros.

El ejemplo no demuestra que el modelo sepa que la afirmación es verdadera. Una continuación probable puede ser falsa, especialmente con preguntas ambiguas, datos nuevos o contextos deficientes.

De un token a un párrafo

Si el primer token elegido es París, el modelo calcula qué puede seguir a La capital de Francia es París. Luego vuelve a hacerlo, y así sucesivamente. Cada decisión modifica la secuencia que condiciona la siguiente. Un error o una elección poco adecuada al principio puede influir en los tokens posteriores.

La generación termina cuando se cumple una condición: aparece un token de fin, se alcanza el límite de salida, la aplicación corta la respuesta o se completa la estructura pedida.

Ejemplo en una organización

En ventas, una aplicación pide: Redactá un correo de seguimiento de tres párrafos para una empresa que solicitó una cotización. El modelo no recupera un correo terminado como una ficha necesariamente. Genera tokens sucesivos condicionado por la instrucción, los datos incluidos y las probabilidades seleccionadas. La aplicación puede fijar un formato, pero debe revisar nombres, montos y condiciones antes de enviar el mensaje.

Una simplificación útil

Analogía simplificada: es como completar una frase colocando una pieza por vez y recalculando qué piezas combinan con la frase ya armada. Sirve para visualizar la iteración, pero no significa que el modelo use una intuición humana ni que una probabilidad sea una garantía de verdad.

Qué no significa

• Predecir el siguiente token no equivale a buscar una frase exacta almacenada.
• La palabra "probabilidad" no convierte la salida en una afirmación verificada.
• Una respuesta larga no implica que haya un plan consciente previo.
• El modelo no recibe acceso automático a sistemas externos.

Errores frecuentes

1. Explicar una respuesta como si se recuperara completa de una base.
2. Omitir que cada token nuevo condiciona los siguientes.
3. Confundir el token más probable con el único posible.
4. Evaluar exactitud solo por la fluidez de la secuencia.

Ideas principales

• El modelo calcula posibles continuaciones del contexto.
• La salida se construye iterativamente.
• La selección puede introducir variabilidad.
• Generar con fluidez no garantiza conocimiento actualizado ni veracidad.

Autoevaluación

1. ¿Qué se incorpora a la secuencia después de cada paso?
2. ¿Por qué una respuesta completa no se reduce a una sola predicción?
3. ¿Por qué París puede ser una continuación probable sin que eso pruebe una

verificación externa?

Fuentes

• Language Models are Few-Shot Learners — Brown et al., arXiv — https://arxiv.org/abs/2005.14165 — consulta: 2026-10-03.
• How generative AI works — Google Cloud — https://cloud.google.com/discover/what-is-generative-ai — consulta: 2026-10-03.
• OpenAI API: text generation — OpenAI — https://platform.openai.com/docs/guides/text-generation — consulta: 2026-10-03.

Seguir aprendiendo

• Unidad 7: del siguiente token a una interacción completa.
• Unidad 9: temperatura, sampling y variabilidad.
• Unidad 11: límites de una predicción plausible.