Mac Mini M6 con 32 GB RAM: ¿suficiente para LLM local con Ollama?

El post de r/selfhosted plantea comprar un Mac Mini M6 con 32 GB de RAM para alojar Ollama y varios LLMs locales. El objetivo es sustituir la dependencia de OpenRouter y mantener los datos dentro de la red doméstica. El usuario listó aplicaciones donde usaría el modelo: Frigate (enriquecimiento AI), Home Assistant (Whisper‑STT, Piper‑TTS y tareas de voz), Linkwarden, Mealie, Papra y Securo. La pregunta clave es si un modelo como gemma‑4‑26b funcionaría con rendimiento aceptable en ese hardware.

El M6 cuenta con un chip M1‑Pro, 32 GB de RAM y almacenamiento SSD de 512 GB. Según la experiencia de la comunidad, el M1‑Pro maneja modelos de 13‑35 GB de peso con velocidades de inferencia de 1‑3 instrucciones por segundo cuando se ejecutan en modo sin GPU dedicada. Gemma‑4‑26b, con 26 GB de parámetros, se aproxima al límite de memoria; sin embargo, la arquitectura del M1 permite la paginación en disco, aunque con pérdida de rendimiento. Si el uso principal es de inferencia de texto de corta longitud y se tolera latencia de medio segundo a segundo, el equipo debería ser viable.

Para las tareas mencionadas, el modelo debe procesar audio (Whisper‑STT), sintetizar voz (Piper‑TTS), analizar ingredientes y etiquetar contenido. Todas son operaciones de inferencia que se benefician de una mayor RAM y de un CPU de alto rendimiento, algo que el M1‑Pro ofrece. La limitación será la falta de una GPU dedicada; sin embargo, los LLM de Apple están optimizados para la arquitectura Metal, lo que mejora la velocidad respecto a CPU puramente.

En resumen, el Mac Mini M6 es una opción razonable para un entorno de pruebas o un laboratorio de desarrollo. Para un despliegue de producción con tráfico constante, se aconsejaría considerar un servidor con GPU dedicada o un cluster más robusto. La decisión final dependerá del nivel de tolerancia a la latencia y al consumo de recursos.

Reddit