Contexto y consumo de memoria en IA local

De parámetros a memoria

La memoria base la determinan dos cosas: cantidad de parámetros (los pesos del modelo) y precisión (bits por peso). Más parámetros y más bits, más memoria. Hasta acá, lineal y predecible.

Pero cuidado con convertir eso en fórmula universal: cada runtime suma su propia sobrecarga (estructuras, buffers, reservas de la GPU) y gestiona distinto el reparto. Cualquier calculadora que ignore el runtime miente por redondeo. Usá estimaciones como orden de magnitud y confirmá probando.

El contexto también come memoria: KV cache

Cuando la conversación crece, el modelo guarda cálculos intermedios para no recomputar todo en cada token: eso es la KV cache. Crece con la longitud del contexto y con el tamaño del modelo, y en contextos muy largos puede superar a los pesos mismos.

Consecuencias prácticas: un modelo que entra justo en memoria con prompts cortos puede quedarse sin memoria con un documento largo; y ventana de contexto grande no significa contexto gratis. Si trabajás con documentos extensos, preferí modelos con ventana amplia y memoria suficiente para su caché, o troceá con RAG en lugar de pegar todo.

Offloading: repartir entre CPU y GPU

Cuando el modelo no entra entero en la VRAM, los runtimes permiten offloading: parte de las capas corre en GPU y el resto en CPU (con los pesos en RAM). Es un continuo, no un interruptor: más capas en GPU, más velocidad; más capas en CPU, más memoria disponible pero más lentitud.

Esto explica por qué dos personas con la misma placa reportan velocidades distintas: importa cuánta RAM acompaña, qué backend usa el runtime y cuántas capas descargaron a CPU. El ajuste fino es empírico: probá configuraciones con tu modelo y tu máquina hasta encontrar el equilibrio.

Fuentes

• Especificación GGUF (metadatos: contexto, arquitectura, tensores) (especificacion) · consultado 20/09/2026
• Repositorio oficial de llama.cpp (offloading CPU/GPU, backends) (repositorio-oficial) · consultado 20/09/2026