Lo primero: que el modelo quepa en la gráfica
Un modelo va rápido solo si cabe entero en la VRAM, con algo de sitio para la conversación (el «contexto»). Si no cabe, el programa (Ollama, LM Studio) reparte el modelo entre la gráfica y la memoria del PC, y la parte que queda fuera manda: la memoria del PC es entre cuatro y diez veces más lenta que la de la gráfica.
Por eso, con el mismo dinero, para IA compensa más una gráfica con 16 GB que una más rápida con 8 o 12 GB. Los tamaños de la tabla son los de la descarga de Ollama con cuantización de 4 bits, que es la que usa casi todo el mundo; sumamos 1,5 GB para el contexto.
Y luego, la velocidad: el ancho de banda
Para escribir cada palabra (token), el modelo tiene que leerse entero de la memoria. La velocidad sale de dividir el ancho de banda de la memoria de la gráfica entre lo que pesa el modelo, y multiplicar por la eficiencia real del programa, que medida con llama.cpp va de 0,62 a 0,80 según la gráfica. Es una estimación, no una prueba de tu PC, y por eso la damos en rango.
Para leer cómodo bastan unos 8–10 tokens por segundo; por encima de 30 el texto sale más rápido de lo que lo lees.
NVIDIA o AMD
Ollama y LM Studio funcionan con las dos. NVIDIA (CUDA) es lo que da menos guerra si además quieres generar imágenes, entrenar o usar programas de IA menos conocidos. AMD suele dar más VRAM por el mismo dinero, que para modelos de texto es lo que más pesa.
Memoria y disco
32 GB de RAM como mínimo; 64 GB si vas a probar modelos que no caben en la gráfica, porque la parte que no cabe va a la RAM. Disco NVMe de 2 TB: cada modelo ocupa de 2 a 43 GB y se acaban acumulando.
Si es para una empresa (documentos internos, varios usuarios, copias), mira nuestro servicio de IA privada: además del equipo, lo dejamos instalado y configurado.
IA privada para empresas · PCs de la gama ya pensados para IA
| Modelo (Ollama) | Descarga | VRAM que pide |
|---|---|---|
| Llama 3.2 3BResúmenes y correos cortos | 2 GB | Gráfica de 8 GB |
| Llama 3.1 8BAsistente general en español | 4,9 GB | Gráfica de 8 GB |
| Gemma 3 12BRedactar, analizar documentos e imágenes | 8,2 GB | Gráfica de 12 GB |
| Qwen 2.5 14BProgramación y razonamiento | 9 GB | Gráfica de 12 GB |
| Mistral Small 24BCalidad cercana a los de pago | 14 GB | Gráfica de 16 GB |
| Qwen 2.5 32BLo mejor que cabe en 24 GB | 20 GB | Gráfica de 24 GB |
| Llama 3.3 70BNivel de los grandes; pide 48 GB o más | 43 GB | 48 GB (dos gráficas o una profesional) |
Descarga con cuantización de 4 bits (ollama.com/library). «VRAM que pide» suma 1,5 GB de contexto.
| Gráfica | Llama 3.1 8B | El mayor que cabe |
|---|---|---|
| GeForce RTX 306012 GB · 360 GB/s | 50–60 tok/s | Qwen 2.5 14B25–30 tok/s |
| Intel Arc B58012 GB · 456 GB/s | 60–75 tok/s | Qwen 2.5 14B35–40 tok/s |
| GeForce RTX 507012 GB · 672 GB/s | 80–100 tok/s | Qwen 2.5 14B45–55 tok/s |
| Radeon RX 9060 XT16 GB · 322 GB/s | 45–55 tok/s | Mistral Small 24B15–18 tok/s |
| GeForce RTX 5060 Ti16 GB · 448 GB/s | 60–75 tok/s | Mistral Small 24B20–25 tok/s |
| Radeon RX 907016 GB · 645 GB/s | 80–95 tok/s | Mistral Small 24B25–35 tok/s |
| Radeon RX 9070 XT16 GB · 645 GB/s | 80–95 tok/s | Mistral Small 24B25–35 tok/s |
| GeForce RTX 5070 Ti16 GB · 896 GB/s | 110–130 tok/s | Mistral Small 24B40–45 tok/s |
| GeForce RTX 508016 GB · 960 GB/s | 115–140 tok/s | Mistral Small 24B40–50 tok/s |
| GeForce RTX 509032 GB · 1792 GB/s | 185–225 tok/s | Qwen 2.5 32B45–55 tok/s |
Estimación: ancho de banda ÷ tamaño del modelo × eficiencia medida con llama.cpp (0,62–0,80). No es una prueba de un PC concreto.
