¿Qué es la cuantización?

Cuantizar: menos decimales, menos memoria

Los pesos de un modelo son números. Guardarlos con muchos decimales (FP32, 32 bits) es preciso pero pesado; con menos decimales ocupan menos y se mueven más rápido. Cuantizar es convertir los pesos a formatos más compactos aceptando una pequeña pérdida de precisión.

La escala, de más fiel a más compacta: FP16/BF16 (16 bits, casi sin pérdida, base de la mayoría de los modelos distribuidos), 8-bit (la mitad de memoria, pérdida mínima), 6-bit y 5-bit (puntos intermedios) y 4-bit (un cuarto del tamaño original, pérdida perceptible pero a menudo aceptable). Cada escalón baja memoria y suele subir velocidad, a cambio de respuestas un poco peores en tareas exigentes.

Q4, Q5, Q6, Q8: qué significan

En el ecosistema de modelos descargables vas a ver etiquetas como Q4, Q5, Q6 y Q8: indican el nivel de cuantización del archivo (4, 5, 6 u 8 bits por peso, con variantes internas). Son denominaciones de uso extendido documentadas en la especificación del formato GGUF y sus herramientas.

Lo importante: ninguna es universalmente superior. Q8 es más fiel pero más pesado; Q4 entra en máquinas modestas a cambio de más degradación. La elección depende de tu memoria disponible y de cuánta calidad exige tu tarea: para chatear y programar, niveles medios suelen ser el punto dulce; para evaluación exigente o matemáticas, conviene la mayor fidelidad que tu hardware permita.

Trade-offs prácticos

Cómo pensar la elección en la práctica:

• Si el modelo no entra en memoria, no corre: la primera restricción es física. Elegí la cuantización más fiel que entre en tu RAM/VRAM con margen.
• La degradación no es pareja: tareas de formato y conversación toleran bien niveles bajos; razonamiento largo, matemáticas y código exigente notan más la pérdida.
• Probar beats teorizar: el mismo nivel puede rendir distinto según el modelo y el runtime. Descargá dos cuantizaciones del mismo modelo y comparalas con tus casos reales.

Y un recordatorio: cuantizar es una técnica de distribución y ejecución, no cambia la licencia ni los permisos del modelo. Los derechos se leen en la licencia, no en el tamaño del archivo.

Fuentes

• Especificación GGUF (tipos de cuantización y metadatos) (especificacion) · consultado 20/09/2026
• Repositorio oficial de llama.cpp (cuantización de 1.5 a 8 bits) (repositorio-oficial) · consultado 20/09/2026

Seguir aprendiendo

• Contexto y consumo de memoria en IA local (Avanzado)