Construir un stack de datos auto‑alojado con Iceberg, DuckDB y Next.js

Un miembro de r/selfhosted plantea una arquitectura ligera para equipos que manejan volúmenes de datos que caben en una única máquina. La propuesta combina tablas Iceberg almacenadas en RustFS, un sistema de archivos compatible con S3, y DuckDB como motor de consultas. Encima, una aplicación Next.js con Payload orquesta los pipelines y expone una UI simple.

Todo el stack se lanza con un único archivo docker‑compose.yml y se despliega mediante Coolify, evitando la necesidad de gestionar servidores a nivel de administrador. El objetivo es atender al nicho de organizaciones que gastan alrededor de 500 USD al mes por consultas esporádicas y que prefieren una solución que no escale a una carga empresarial.

El autor reconoce que el proyecto está en fase temprana y aún no hay código funcional, pero busca validar si existe una demanda real. Propone liberar el proyecto bajo licencia open source, lo que permitiría a otros equipos replicar la arquitectura sin depender de proveedores cloud costosos.

Si bien la combinación de Iceberg y DuckDB no es nueva, su integración en un contenedor único con RustFS como capa de almacenamiento S3‑compatible es poco frecuente. La propuesta podría simplificar la gestión de datos estructurados, ofreciendo transacciones ACID y versiones de tabla sin la complejidad de un data lake tradicional.

Queda por ver cómo responde la comunidad y si se materializa un repositorio con scripts de despliegue. En caso positivo, podría servir como referencia para equipos que buscan reducir costes y complejidad operativa, manteniendo la capacidad de ejecutar consultas analíticas con DuckDB directamente sobre datos versionados.