¿Qué es GGUF?

GGUF no es un modelo

GGUF es un formato de archivo, no un modelo. Es el contenedor donde viajan los pesos ya cuantizados, listos para que un programa de inferencia los cargue rápido (incluso con mmap, sin copiar todo a memoria de golpe). La analogía: GGUF es al modelo lo que el MP3 a la canción; describe cómo viene empaquetado, no quién la compuso ni con qué permiso se distribuye.

Confundir formato con modelo lleva a errores típicos: creer que GGUF es sinónimo de gratis o de abierto (la licencia la define el modelo, no el envase), o pensar que cualquier programa abre cualquier GGUF (cada runtime soporta ciertas versiones y tipos).

Qué lleva adentro

Un archivo GGUF contiene:

• Tensores: los pesos del modelo, posiblemente cuantizados (Q4, Q5, etc.).
• Metadatos: arquitectura, cantidad de parámetros, contexto de entrenamiento, licencia declarada y datos de procedencia. Son la etiqueta del paquete: conviene leerlos antes de descargar gigas.
• Vocabulario/tokenizador: cómo el modelo parte el texto, necesario para usarlo bien.

Además existe una convención de nombres documentada en la especificación (base, tamaño, versión, codificación) que permite leer de un vistazo qué contiene cada archivo. No es perfectamente parseable, pero sí legible por humanos.

Relación con llama.cpp y la distribución

GGUF nació junto al ecosistema llama.cpp/ggml: es el formato que esos motores saben ejecutar. Por eso la mayoría de los modelos descargables para PC vienen en GGUF: un solo archivo, sin dependencias, que cualquier runtime compatible puede cargar.

En la práctica, el circuito es: alguien convierte los pesos originales a GGUF (eligiendo cuantización), los publica en un repositorio, y vos descargás el archivo que coincide con tu memoria. Dónde encontrarlos y cómo elegirlos se estudia en las guías de model hubs y de elección de modelo local.

Fuentes

• Especificación GGUF (estructura, metadatos, convención de nombres) (especificacion) · consultado 20/09/2026
• Repositorio oficial de llama.cpp (runtime que ejecuta GGUF) (repositorio-oficial) · consultado 20/09/2026

Seguir aprendiendo

• ¿Qué es la cuantización? (Avanzado)