Del texto a los tokens

Qué aprenderás

• Qué recibe un modelo de lenguaje y qué es un token.
• Por qué un token no equivale necesariamente a una palabra.
• Cómo la tokenización afecta la entrada, la salida, el contexto y el costo.

El texto no entra como texto legible

Una aplicación puede enviar la frase Revisá los reclamos de abril, pero el modelo no opera directamente sobre caracteres con significado humano. Antes de procesarla, un tokenizador separa la secuencia en unidades que el modelo conoce. Según el tokenizador, esas unidades pueden ser una palabra completa, un fragmento, un signo, un espacio asociado al fragmento o una parte de un número.

Un token es, entonces, una unidad de la representación textual que usa un modelo. No es una definición lingüística universal. Dos modelos pueden dividir la misma frase de manera diferente porque fueron entrenados con vocabularios y reglas distintas.

Una simplificación útil

Analogía simplificada: imaginá que una frase se desarma en piezas de construcción. Algunas piezas son grandes, como una palabra frecuente; otras son pequeñas, como una terminación, un símbolo o parte de una palabra poco común. La construcción puede ser precisa, pero las piezas no son palabras del diccionario: son unidades elegidas por el sistema.

La analogía ayuda a entender la composición, pero no describe literalmente el algoritmo ni todas las etapas internas del modelo.

Cómo puede verse una tokenización

La frase La publicación quedó archivada. podría separarse, de forma ilustrativa, en unidades parecidas a La, publicación, quedó, archivada, .. Los espacios aparecen aquí solo para mostrar una posibilidad; los números y nombres exactos dependen del tokenizador. Una palabra larga o inusual puede dividirse en varios fragmentos, mientras que una palabra muy frecuente puede ocupar una sola unidad.

Por eso:

• un token puede ser menor que una palabra;
• una palabra puede ocupar varios tokens;
• signos, emojis, números y espacios pueden participar de la representación;
• texto en distintos idiomas no necesariamente usa la misma cantidad de tokens;
• texto repetitivo suele ser más compacto que texto raro o muy fragmentado.

Entrada, salida y contexto

La entrada de una consulta se transforma en tokens. Cada token se convierte después en una representación numérica, tema de la Unidad 2. La respuesta también se produce en tokens y luego la aplicación los reconstruye como texto.

La cantidad total importa porque la ventana de contexto tiene un límite y porque las APIs suelen cobrar o medir el uso en tokens. Esto no permite deducir un precio universal: depende del proveedor, el modelo y el tipo de token. En la práctica, un pedido con historial y documentos adjuntos puede consumir muchos más tokens que la frase visible que escribe la persona.

Ejemplo en una organización

En soporte, una operadora solicita: Resumí los reclamos repetidos del turno. La aplicación envía la instrucción, los reclamos recuperados y el formato esperado. La cantidad de tokens incluye todo ese material, no solo la oración de la operadora. Si el equipo adjunta el historial completo de seis meses, puede llenar la ventana y encarecer la operación sin mejorar el resumen.

Qué no significa

• Token no significa palabra.
• Más tokens no significan más conocimiento ni mejor análisis.
• Contar tokens no revela por sí solo qué está comprendiendo el modelo.
• Un token no es una unidad igual en todos los modelos.

Errores frecuentes

1. Presupuestar el uso contando caracteres como si cada carácter fuera un token.
2. Suponer que una palabra corta siempre ocupa un token.
3. Confundir tokenización con comprensión del idioma.
4. Olvidar contar instrucciones, historial, documentos y salida.

Ideas principales

• El tokenizador convierte texto en unidades que el modelo puede procesar.
• Un token no es necesariamente una palabra.
• Entrada y salida se expresan mediante tokens.
• Tokens, ventana de contexto y costo están relacionados, pero no son lo mismo.

Autoevaluación

1. ¿Por qué palabra = token es una regla incorrecta?
2. ¿Por qué la aplicación debe contar también los documentos enviados?
3. ¿Qué podría ocurrir con un nombre propio raro o un número largo?

Fuentes

• Tokenizer — OpenAI — https://platform.openai.com/tokenizer — consulta: 2026-10-03.
• Summary of the tokenizers — Hugging Face — https://huggingface.co/docs/transformers/main/en/tokenizer_summary — consulta: 2026-10-03.
• Token counting — Anthropic — https://docs.anthropic.com/en/docs/build-with-claude/token-counting — consulta: 2026-10-03.

Seguir aprendiendo

• Unidad 2: cómo esas unidades pasan a representaciones numéricas.
• Unidad 10: por qué la cantidad de tokens limita el contexto disponible.
• Módulo 3: cómo escribir instrucciones más eficaces.