De tokens a representaciones numéricas

Qué aprenderás

• La diferencia entre identificador de token, vector y embedding.
• Cómo se incorporan relaciones y posición al procesamiento.
• Por qué una representación contextual cambia según el entorno.

Del identificador al vector

Una vez tokenizado el texto, cada unidad se asocia con un identificador de token: un número que funciona como índice dentro del vocabulario del modelo. Ese índice no es el significado de la palabra ni una escala de importancia. Es una forma compacta de señalar qué unidad apareció.

El modelo transforma el identificador en un vector, una lista de números. Durante el entrenamiento, los valores de esas listas se ajustan para que las transformaciones posteriores puedan aprovechar regularidades del lenguaje. Un vector no contiene una definición exacta guardada en una casilla; participa de un cálculo distribuido.

Embeddings internos

Un embedding interno es una representación numérica densa que el modelo utiliza durante su procesamiento. En etapas iniciales puede asociar patrones generales con tokens; en capas posteriores la representación puede incorporar relaciones con los tokens vecinos y con el resto del contexto.

La palabra banco no queda atada a una única interpretación fija. En El banco aprobó el crédito y Se sentó en el banco de la plaza, las representaciones que resultan del procesamiento pueden diferenciarse por las relaciones contextuales. Esto no significa que el vector sea una traducción exacta del significado humano.

Posición y contexto

El modelo necesita alguna señal de orden. El cliente llamó al proveedor no equivale a El proveedor llamó al cliente. La arquitectura incorpora información posicional mediante mecanismos que pueden variar según la familia de modelo. Luego, las capas transforman las representaciones considerando las relaciones entre tokens.

Por eso conviene distinguir:

• Representación inicial: asociada al token y a su posición.
• Representación contextual: resultado de transformaciones que incorporan

información de otros tokens.

• Vector: término matemático general para una lista ordenada de números; no

implica por sí mismo que represente lenguaje.

Dos usos que no hay que mezclar

embedding interno del modelo durante su procesamiento
≠
embedding generado para búsqueda semántica o RAG

Un sistema de búsqueda semántica puede convertir documentos y consultas en vectores para comparar proximidad y recuperar fragmentos. Ese embedding de búsqueda sirve para indexar y encontrar información; no es automáticamente la misma representación que usa un LLM dentro de sus capas. Puede provenir de otro modelo, tener otra dimensión y estar optimizado para otra tarea.

Ejemplo en una organización

El equipo de documentación indexa procedimientos para que una aplicación recupere el instructivo de alta de proveedores. Los embeddings del índice ayudan a encontrar documentos relacionados con una consulta. Cuando el fragmento recuperado se envía al LLM, el modelo lo procesa con sus embeddings internos. La búsqueda y la generación son etapas conectadas, no una sola representación con dos nombres.

Una simplificación útil

Analogía simplificada: se puede imaginar un mapa con muchas dimensiones en el que elementos usados en contextos parecidos tienden a ocupar regiones relacionadas. El mapa sirve para explicar que las relaciones son distribuidas y numéricas, pero no es un plano literal del significado ni permite leer una definición exacta desde un punto.

Qué no significa

• Un identificador de token no es un ranking de importancia.
• Un embedding no contiene el significado exacto de una palabra.
• Cercanía vectorial no garantiza identidad, verdad o equivalencia perfecta.
• Un embedding de RAG no es necesariamente el embedding interno del LLM.

Errores frecuentes

1. Llamar embedding a cualquier número asociado a un token.
2. Presentar un vector como si fuera un diccionario legible.
3. Suponer que dos sistemas vectoriales son intercambiables.
4. Olvidar que el orden y el contexto modifican el procesamiento.

Ideas principales

• El identificador ubica un token; el vector permite operar numéricamente.
• Las capas transforman representaciones y agregan información contextual.
• La posición importa para interpretar una secuencia.
• Embeddings internos y embeddings de búsqueda cumplen funciones distintas.

Autoevaluación

1. ¿Qué diferencia hay entre el identificador de banco y su vector?
2. ¿Por qué el embedding de un índice RAG no debe llamarse automáticamente

"la representación del modelo"?

1. ¿Qué aporta la posición a la frase?

Fuentes

• Word2Vec: Efficient Estimation of Word Representations in Vector Space — arXiv — https://arxiv.org/abs/1301.3781 — consulta: 2026-10-03.
• Embeddings — OpenAI API documentation — https://platform.openai.com/docs/guides/embeddings — consulta: 2026-10-03.
• Embeddings — Hugging Face NLP course — https://huggingface.co/learn/nlp-course/chapter1/4 — consulta: 2026-10-03.

Seguir aprendiendo

• Unidad 3: la arquitectura que organiza estas transformaciones.
• Unidad 4: cómo se relacionan tokens dentro del contexto.
• Unidad 8: cómo una aplicación agrega información externa.