Mac Studio M5 Ultra: LLMs frontier corriendo en tu escritorio
Si vienes siguiendo esta serie sobre IA local, desde Ollama para correr LLMs en tu máquina hasta Swiftlet corriendo un 80B con 4 GB de RAM, Muse Glimmer como agente always-on y el truco de Cua para desbloquear Metal en VMs, ya sabes que la línea entre "corre en tu laptop" y "corre en un cluster" se movió varias veces. Hoy Apple la mueve otra vez, y con un argumento difícil de ignorar: el Mac Studio con M5 Ultra es, sobre el papel, el escritorio de consumo más capaz que ha existido para correr modelos grandes sin un rack de GPUs. Y cuando digo grandes, digo MoE de cientos de miles de millones de parámetros, con un context window útil.
Qué hay de nuevo en el M5 Ultra
Lo que hizo Apple esta vez no es una iteración más de la línea Ultra: es un cambio de arquitectura. El M5 Ultra es el primer chip de la serie M construido con cuatro dies: dos M5 Max (cada uno de dos dies) unidos por una nueva generación de UltraFusion, que según Apple sube el ancho de banda entre dies a más de 4.4 TB/s y multiplica por más de 6 la densidad de conexión. Para los que corremos inferencia, eso significa que la memoria unificada se comporta como un solo pool, accesible por cualquier unidad de cómputo del chip.
Los números que importan para IA:
- CPU: hasta 36 núcleos (12 super + 24 performance), hasta 1.3× más rendimiento multihilo que el M3 Ultra.
- GPU: hasta 80 núcleos, y es el primer chip Ultra con un Neural Accelerator en cada núcleo. Apple habla de hasta 4.3× más cómputo de IA máximo que el M3 Ultra y hasta 4× más rápido en procesamiento de prompts en LM Studio.
- Ancho de banda de memoria: 1.2 TB/s, un 50% más que el M3 Ultra.
- Memoria unificada: hasta 512 GB (esa configuración llega a finales de octubre).
El dato que más veces vas a leer es el del ancho de banda, y con razón: es la métrica que define a qué velocidad genera tokens un modelo que ya cabe en memoria. Para un LLM en cuantización 4-bit, la regla general es que necesitas aproximadamente 0.5 GB por cada mil millones de parámetros, y en cada token generado tienes que leer los parámetros activos. Con 512 GB entra con margen un MoE de 235B como Qwen3-235B-A22B en 4-bit (unos 130 GB), y hasta un DeepSeek V3 de 671B en 4-bit (unos 400 GB) si dejas poco para el resto. Lo que antes pedía varios nodos con GPUs cabe en una caja que se enchufa a la pared.
Por qué importa si te interesa la IA local
En la cadena de posts que llevo escritos sobre el tema, hay un patrón que se repite: el cuello de botella real para correr modelos grandes en casa no es el cómputo, es la memoria. Primero su tamaño (¿cabe el modelo?) y después su ancho de banda (¿a qué velocidad lo leo?). Un M3 Max con 128 GB y 400 GB/s ya podía cargar un 70B cuantizado, pero generaba a pocos tokens por segundo, y con un contexto largo la experiencia se volvía penosa para un agente que necesita respuestas rápidas.
El M5 Ultra ataca los dos puntos a la vez: más memoria de la que vas a necesitar para casi cualquier modelo abierto que quieras correr en casa, y un 50% más de ancho de banda que el M3 Ultra. Y la mejora de 4× en procesamiento de prompts importa más de lo que parece: es lo que decide cuánto tardas en recibir el primer token cuando le pasas al modelo un contexto de decenas de miles de tokens, que es exactamente lo que hace un coding agent.
Lo que cambia en la práctica Pasar de 819 GB/s a 1.2 TB/s se traduce casi directamente en tokens por segundo para el mismo modelo. Y pasar a 512 GB significa que la pregunta deja de ser "¿cabe?" y pasa a ser "¿a qué velocidad corre?".
Qué se puede correr (con números honestos)
Hay que ser realista: no vas a correr un modelo de 2T en precisión completa, ni falta que hace. Lo que sí entra, y que antes necesitaba un cluster:
- Un 70B denso en 4-bit (~40 GB), como Llama 3.3 70B: te entran varias copias en memoria, lo que sirve para speculative decoding o para comparar prompts en paralelo. Es el caso donde más vas a notar el ancho de banda, porque en un modelo denso se leen todos los pesos en cada token.
- Qwen3-Next-80B-A3B en 4-bit (~45 GB, MoE con 3B activos): entra con muchísimo margen para KV cache de contextos largos, y al tener tan pocos parámetros activos es muy rápido.
- MoE grandes, de 200-700B, en 4-bit: es la novedad real de la configuración de 512 GB. Modelos que hasta ahora solo usabas por API pasan a caber en tu escritorio.
Lo que sigue sin entrar (ni debe): un modelo denso de 400B en BF16 o un MoE de 2T como Qwen3.8-2.4T-A95B en precisión completa. Para eso seguimos necesitando data center. El M5 Ultra no rompe esa frontera: la empuja varios escalones hacia abajo, y para un escritorio es la diferencia entre "experimento de domingo" y "flujo de trabajo diario".
Cuando lleguen los benchmarks reales de llama.cpp, mlx-lm y Ollama en M5 Ultra, sabremos los tokens por segundo concretos. Hasta entonces, los números de Apple son internos y conviene tomarlos como techo.
El ángulo que nadie está mirando: agentes always-on
Aquí es donde el M5 Ultra se cruza con la conversación sobre agentes locales que veníamos teniendo con Muse Glimmer y Swiftlet. Un agente always-on necesita tres cosas a la vez: memoria grande para cargar el modelo completo, ancho de banda alto para que la latencia no degrade la interacción, y estabilidad de horas sin throttling. Los Mac Studio con M3 Ultra ya eran decentes en lo primero y lo tercero, pero justos en lo segundo. El M5 Ultra cierra el triángulo.
Si sumas esto a la tendencia de los modelos a hacerse más pequeños en parámetros activos y más grandes en totales, como el Qwen3-Next-80B con 3B activos, el escenario "agente que vive en tu Mac, con un context window de 128k, y responde a 30+ tokens por segundo" deja de ser ciencia ficción. Es un setup que un developer con presupuesto de workstation puede montar.
Precio y disponibilidad
El Mac Studio con M5 Ultra arranca en USD 5.499 (5.099 con descuento educativo), con reservas desde el 25 de agosto y disponibilidad desde el 22 de septiembre. Las configuraciones con 512 GB de memoria llegan a finales de octubre, y ahí el precio sube bastante. Caro para una Mac, barato frente a un cluster de GPUs con la misma memoria. Y sin ventilador de servidor en la habitación de al lado.
Si solo necesitas modelos de hasta 70-80B, el Mac Studio con M5 Max (hasta 128 GB y 614 GB/s, desde USD 2.499) es la opción sensata.
Si vienes trabajando con IA local en serio, este es el hardware que tienes que mirar las próximas semanas. No es un upgrade de la línea: es un cambio de categoría.