¿Cuánta memoria puede necesitar este modelo?

Pesos + KV cache + overhead como rango orientativo. Aumentar el contexto puede aumentar significativamente la memoria.

Modelo del catálogo (precarga parámetros) Si faltan parámetros: "Parámetros no verificados". El cálculo manual no modifica el catálogo.

Parámetros totales

Cuantización

Contexto (tokens)

RAM (GB)

VRAM (GB)

No se detecta hardware automáticamente ni se almacena lo que indiques. Solo se aceptan cantidades pequeñas (RAM/VRAM) en URLs reproducibles.

RAM estimada: ≈ 368,5–475,5 GB ESTIMADO Probablemente insuficiente

Memoria estimada: 475,5 GB frente a 16 GB indicados. Según esta estimación, la RAM indicada es probablemente insuficiente para esta configuración.

100%

Pesos (Q4_K_M): ≈ 337,5–413,4 GB
KV cache: no estimable — KV cache: no estimable con precisión con los datos disponibles (faltan capas/dimensión). No se asume cero.
Overhead/runtime: ≈ 62,0 GB (15% documentado, configurable)
Total estimado: ≈ 368,5–475,5 GB

Fórmula base: pesos ≈ parámetros × bits/8 (rango por formato, no bits exactos en variantes K). Caber en RAM no equivale a tener buena velocidad.

Cómo se calcula

Pesos ≈ parámetros × bits efectivos / 8 (bits por formato como rango documentado). KV cache ≈ 2 × capas × dimensión × contexto × 2B cuando hay arquitectura; si no, se declara no estimable (nunca cero). Overhead 15% del máximo de pesos. El total es un rango, no un valor con decimales falsos. Regla: no existe "X GB = modelo máximo YB" universal.