Manual de IA · Nivel 1 · Módulo 2 · Unidad 3 de 14

Arquitectura Transformer

Bloques, capas, attention, redes feed-forward, posición y procesamiento de secuencias.

Lectura: 14 min · Última revisión: 2026-10-03

Qué aprenderás

Qué problema resolvió la arquitectura Transformer en el procesamiento de

secuencias.

Qué papel cumplen attention, las capas feed-forward y la posición.
Por qué Transformer y LLM no son sinónimos.

Un antecedente mínimo

Los primeros sistemas de lenguaje secuencial procesaban una entrada paso a paso y podían perder relaciones lejanas o tener dificultades para aprovechar el paralelismo del hardware. La arquitectura Transformer, presentada en 2017, propuso organizar el procesamiento alrededor de mecanismos de atención y transformaciones por capas.

Qué es un Transformer

Un Transformer es una arquitectura de red neuronal para transformar secuencias de representaciones. Recibe una secuencia, combina información entre posiciones mediante attention y aplica otras transformaciones en varios bloques. La información posicional permite conservar el orden mientras partes de la secuencia se procesan en paralelo durante muchas etapas del entrenamiento.

Un esquema introductorio es:

tokens + posición
        ↓
representaciones
        ↓
bloque Transformer
  ├─ self-attention
  ├─ transformación feed-forward
  └─ normalizaciones y conexiones residuales
        ↓
otro bloque, repetido varias veces
        ↓
representación para la tarea

Los detalles exactos cambian entre arquitecturas. Algunos Transformers son codificadores, otros decodificadores y otros combinan ambos enfoques.

Capas y procesamiento paralelo

Cada bloque transforma las representaciones que recibe. La self-attention permite combinar información de distintas posiciones; la red feed-forward aplica transformaciones no lineales a cada posición usando parámetros aprendidos. Las conexiones residuales y las normalizaciones ayudan a entrenar redes profundas.

El paralelismo no significa que el modelo genere toda una respuesta de una vez. Durante el entrenamiento puede procesar muchas posiciones en paralelo. En una generación autoregresiva, en cambio, cada token nuevo condiciona el siguiente. La Unidad 6 desarrolla esa diferencia.

Transformer no es LLM

Transformer ≠ LLM

Transformer describe una arquitectura. Un LLM es un modelo de lenguaje de gran escala, entrenado con objetivos y datos determinados, que puede usar una arquitectura Transformer u otra combinación de componentes. También existen Transformers para traducción, visión, audio o clasificación, y hay LLM con configuraciones diferentes.

Ejemplo en una organización

En un sistema de QA, el equipo puede usar un modelo basado en Transformer para clasificar incidentes por severidad. En otro sistema, un modelo generativo usa una configuración orientada a producir texto. Comparten una familia de ideas arquitectónicas, pero no son el mismo producto ni tienen el mismo objetivo.

Una simplificación útil

Analogía simplificada: imaginá una línea de revisión en la que cada estación agrega una clase de análisis al documento: una relaciona frases, otra transforma la información y otra conserva el orden. La línea ayuda a visualizar capas encadenadas, pero un Transformer no es una serie de personas que leen con intenciones; son operaciones matemáticas sobre representaciones.

Profundización técnica opcional

El paper original describe una arquitectura encoder-decoder y la atención multi-cabeza. Los modelos generativos de texto suelen usar variantes decoder-only con una máscara causal, que impide usar tokens futuros al predecir el siguiente. La implementación concreta incluye dimensiones, proyecciones, normalización, funciones de activación y estrategias de entrenamiento que no son necesarias para el modelo mental inicial.

Qué no significa

Transformer no equivale a inteligencia general.
Procesamiento paralelo en entrenamiento no equivale a generar todo de una vez.
Todas las arquitecturas Transformer no tienen la misma configuración.
Una capa no es un archivo ni una regla de negocio legible.

Errores frecuentes

Usar Transformer y LLM como sinónimos.
Describir attention como una decisión consciente.
Creer que más capas garantizan una mejor respuesta para cualquier tarea.
Confundir arquitectura, modelo entrenado y aplicación.

Ideas principales

Transformer organiza transformaciones sobre secuencias.
Sus bloques combinan attention, transformaciones feed-forward y mecanismos de

estabilidad.

La posición y las relaciones entre tokens son centrales.
El modelo concreto depende de la arquitectura, el entrenamiento y el uso.

Autoevaluación

¿Qué describe el término Transformer y qué agrega el término LLM?
¿Por qué el paralelismo del entrenamiento no elimina la generación token a

token?

¿Qué función cumple, conceptualmente, la información posicional?

Fuentes

Attention Is All You Need — Vaswani et al., arXiv — https://arxiv.org/abs/1706.03762 — consulta: 2026-10-03.
The Annotated Transformer — Harvard NLP — https://nlp.seas.harvard.edu/annotated-transformer/ — consulta: 2026-10-03.
The Transformer model family — Hugging Face — https://huggingface.co/docs/transformers/en/index — consulta: 2026-10-03.

Seguir aprendiendo

Unidad 4: self-attention y relaciones dentro de una secuencia.
Unidad 5: parámetros, pesos y entrenamiento.
Unidad 6: cómo un modelo generativo produce el siguiente token.

← Volver al Módulo 2