Once años del Dataflow Model: lecciones de su retrospectiva
Los autores del influyente artículo sobre el modelo de flujo de datos evalúan qué ideas siguen vigentes y cuáles fallaron al recibir el premio Test of Time de VLDB.
El artículo "The Dataflow Model", publicado en 2015, acaba de recibir el premio Test of Time de la VLDB. Sus autores han aprovechado la ocasión para hacer autocrítica: once años después, revisan qué partes de su propuesta han envejecido bien y cuáles han quedado obsoletas.
El artículo original defendía que los datos sin límite y desordenados eran la nueva normalidad, y proponía un modelo unificado (ventanas, disparadores, marcas de agua y retractaciones) para intercambiar corrección, latencia y coste en procesamiento por lotes y streaming. La reflexión de los autores señala que los fundamentos centrales siguen siendo sólidos: la primacía del tiempo de evento, la inutilidad de esperar a que los datos estén completos y la insistencia en una consistencia fuerte.
Pero también identifican errores. Se excedieron en dar protagonismo a las ventanas y los disparadores, cuyas semánticas estaban enredadas con preocupaciones operativas. Los disparadores, en concreto, fueron una solución sobrediseñada a un problema que los usuarios nunca deberían haber tenido que afrontar. Y la visión centrada en el streaming dejó pasar una verdad más profunda: los streams y las tablas son dos representaciones del mismo objeto con semánticas de acceso distintas.
Las ideas que realmente triunfaron no vinieron del mundo del streaming, sino del de las bases de datos: SQL, mantenimiento incremental de vistas y vistas materializadas con contratos de frescura explícitos. Los autores admiten que se centraron demasiado en la mecánica del streaming y no en terminar lo que la comunidad de bases de datos empezó: hacer que la complejidad del streaming analítico desaparezca por completo.
También exploran cómo el principio de completitud se ha escindido en dos formas exitosas: las marcas de agua (donde los streams siguen visibles) y la actualización con consistencia de snapshot (donde no lo están). Trazan por qué esta última llegó a muchos más usuarios pidiéndoles mucho menos, y generalizan la primera en restricciones declaradas sobre el cambio.
Qué queda en el aire
El debate entre lotes y streaming era en su mayoría semántico. La demanda de baja latencia se ha bifurcado según la vieja línea OLTP/OLAP: el análisis se conforma con una frescura más suave. Los autores proponen un marco que les gustaría haber usado desde el principio: dejar entrar, dejar salir, empujar más fuerte. Y reflexionan sobre la eventual desaparición del streaming más allá del análisis.
La discusión completa está abierta en Lobsters, con comentarios que ya apuntan a las implicaciones prácticas para quienes diseñan pipelines de datos. Al fin y al cabo, este tipo de retrospectivas sirven para no repetir errores y para reconocer que la ingeniería de datos aprende tanto de sus fracasos como de sus aciertos.
