CPU, GPU, NPU, RAM y VRAM para IA

CPU, GPU y NPU: qué hace cada uno

CPU: el procesador general. Puede ejecutar cualquier modelo, pero más lento: es como un cocinero muy capaz trabajando solo. Con modelos chicos y paciencia, alcanza.

GPU: la placa de video. Tiene miles de núcleos chicos ideales para las multiplicaciones de matrices que dominan la inferencia. Cuando el modelo cabe en su memoria, la velocidad se multiplica varias veces. Pero atención: no es siempre mejor; depende de la compatibilidad (drivers, backend del runtime), de que el modelo entre en su memoria y del consumo eléctrico.

NPU: unidad neuronal incluida en procesadores modernos (laptops recientes, celulares). Eficiente para modelos chicos y tareas puntuales, con soporte de software todavía desparejo según la marca. Prometedora, pero hoy conviene verificar caso por caso qué runtime la aprovecha.

RAM, VRAM y ancho de banda

RAM: la memoria del sistema. Si el modelo corre en CPU, vive acá. VRAM: la memoria de la placa de video. Si el modelo corre en GPU, tiene que entrar acá (o repartirse entre ambas, ver offloading). El que se llena primero define qué modelos podés correr.

Ancho de banda de memoria: la velocidad con la que los datos viajan entre la memoria y los núcleos de cálculo. En generación de texto, el cuello de botella suele ser mover los pesos, no calcular: por eso una memoria más rápida (aunque no más grande) acelera la respuesta, y por eso los chips con memoria unificada rápida rinden tan bien.

Almacenamiento: el disco solo guarda los archivos del modelo. Un SSD acelera la carga inicial, pero una vez cargado el modelo en RAM/VRAM, el disco ya no influye en la velocidad.

Por qué no hay una regla de GB

Desconfiá de cualquier necesitás X GB para IA sin más contexto. La memoria necesaria depende de:

• Parámetros: más parámetros, más memoria base.
• Precisión y cuantización: el mismo modelo puede ocupar el doble o la mitad según el formato (ver guía de cuantización).
• Contexto: conversaciones largas consumen memoria extra (KV cache, ver guía de memoria).
• Runtime y offloading: cada programa gestiona distinto el reparto entre CPU y GPU.

La forma seria de decidir es al revés: mirar cuánta RAM/VRAM tenés, elegir una cuantización razonable y probar con el modelo candidato. Los datos concretos de parámetros de cada modelo están en nuestro catálogo; la traducción a tu máquina se hace probando, no con fórmulas mágicas.

Fuentes

• Repositorio oficial de llama.cpp (backends: CPU, CUDA, Metal, Vulkan) (repositorio-oficial) · consultado 20/09/2026
• Repositorio oficial de Ollama (requisitos y aceleración por GPU) (repositorio-oficial) · consultado 20/09/2026

Seguir aprendiendo

• Cómo elegir un modelo local (Intermedio)