Attention y relaciones dentro del contexto

Qué aprenderás

• Qué hace conceptualmente la self-attention.
• Cómo una representación depende de las relaciones del contexto.
• Por qué attention no significa atención consciente.

Una relación matemática entre posiciones

La self-attention permite que cada posición de una secuencia se combine con información de otras posiciones. El cálculo asigna valores de compatibilidad entre representaciones y produce una combinación ponderada. Así, el modelo no trata cada token como una isla: puede usar señales del contexto disponible.

La ponderación no es una opinión ni una explicación completa del proceso. Es un mecanismo matemático dentro de la red, y sus valores no deben interpretarse automáticamente como una justificación humana.

Ambigüedad y relaciones a distancia

Considerá estas frases:

El banco cerró porque era feriado.
Se sentó en el banco de la plaza.

Los tokens cercanos y lejanos aportan pistas diferentes para banco. La representación resultante puede incorporar esas pistas y producir una salida adecuada al contexto. No se trata de consultar una definición almacenada: se trata de transformar representaciones en función de relaciones aprendidas.

La atención también puede relacionar una referencia con un nombre mencionado varias posiciones antes, o vincular una instrucción con el documento al que se aplica. La capacidad tiene límites: contexto confuso, largo o contradictorio puede producir una salida incorrecta.

Múltiples cabezas

La atención multi-cabeza usa varias proyecciones en paralelo. A nivel conceptual, distintas cabezas pueden capturar patrones diferentes: relaciones sintácticas, referencias, posiciones o regularidades de formato. No conviene asignarles una interpretación fija sin analizar el modelo; la idea es que varias transformaciones complementarias pueden combinarse.

Ejemplo en una organización

En administración, una solicitud dice: Aprobalo solo si el importe supera el límite y la factura está validada. La aplicación puede enviar también el importe y el estado de validación. Las relaciones entre la instrucción y esos datos forman parte del contexto que el modelo procesa. El LLM no conoce el ERP por sí mismo ni ejecuta la aprobación: la aplicación debe proporcionar datos y controlar la acción.

Una simplificación útil

Analogía simplificada: imaginá que, para completar una planilla, cada casillero consulta cuáles de los otros casilleros son relevantes. La imagen sirve para explicar relaciones entre posiciones, pero no hay una persona mirando ni una atención consciente; hay operaciones con vectores y pesos.

Qué no significa

• Attention no significa atención humana o conciencia.
• Un peso de attention no es una explicación suficiente de una predicción.
• Relacionar tokens no garantiza comprender la situación ni verificarla.
• Poder relacionar posiciones no elimina los límites de la ventana de contexto.

Errores frecuentes

1. Decir que el modelo "mira" un texto con intención humana.
2. Interpretar cualquier visualización de attention como razonamiento completo.
3. Confundir relevancia matemática con verdad factual.
4. Suponer que una relación a distancia siempre se resuelve correctamente.

Ideas principales

• Self-attention combina información de distintas posiciones.
• El contexto modifica las representaciones.
• Las múltiples cabezas permiten transformaciones complementarias.
• Attention es un mecanismo matemático, no una facultad mental.

Autoevaluación

1. ¿Qué problema ayuda a abordar self-attention?
2. ¿Por qué banco puede tener representaciones diferentes en las dos frases?
3. ¿Por qué un mapa de attention no prueba por sí solo que la respuesta sea

correcta?

Fuentes

• Attention Is All You Need — Vaswani et al., arXiv — https://arxiv.org/abs/1706.03762 — consulta: 2026-10-03.
• Illustrated Transformer — Jay Alammar — https://jalammar.github.io/illustrated-transformer/ — consulta: 2026-10-03.
• Transformer model for language understanding — TensorFlow — https://www.tensorflow.org/text/tutorials/transformer — consulta: 2026-10-03.

Seguir aprendiendo

• Unidad 5: los pesos aprendidos que permiten estas transformaciones.
• Unidad 8: qué información llega realmente al contexto.
• Unidad 11: por qué un contexto disponible no garantiza una respuesta verdadera.