QA busca cambiar de rumbo: Data Engineering o DevOps, ¿qué camino tomar?

Un ingeniero de QA, que ha estado autoformándose en Linux, Python, MySQL, CI/CD, Docker, Kubernetes y Azure, plantea a la comunidad de devops su dilema de transición profesional.

Contexto técnico

El autor menciona que ha adquirido experiencia práctica con Helm y OpenShift, herramientas que suelen aparecer en ambos dominios. Su stack actual incluye:

• Linux: shell scripting y administración básica.
• Python: scripts de automatización y conexión a MySQL.
• CI/CD: pipelines con Azure DevOps.
• Contenedores: Docker.
• Orquestación: Kubernetes, OpenShift, Helm.

Estas competencias son valiosas tanto para un rol de DevOps, donde el enfoque está en la entrega continua, la infraestructura como código y la monitorización, como para un puesto de Data Engineering, que requiere pipeline de datos, orquestación de trabajos ETL y manejo de bases de datos.

Diferencias clave

DevOps: Se centra en la integración y entrega de software, gestión de infraestructura y operaciones de producción. Se espera que el profesional domine herramientas como Terraform, Ansible, Prometheus y Grafana, además de una buena comprensión de la arquitectura de microservicios.

Data Engineering: Se enfoca en la recolección, transformación y almacenamiento de datos a gran escala. Los conocimientos de SQL, bases de datos NoSQL, Spark, Kafka y plataformas de nube como Azure Data Factory o AWS Glue son esenciales.

El autor ya tiene una base sólida en Linux y contenedores, lo que favorece el camino DevOps. Por otro lado, su interés en bases de datos MySQL y la exposición a pipelines de CI/CD apuntan también a Data Engineering.

Consideraciones prácticas

1. Demanda de mercado: En la región donde trabaja, la demanda de ingenieros de DevOps supera a la de Data Engineers, especialmente en empresas que aún no han madurado su capa de datos.
2. Curva de aprendizaje: Pasar de QA a DevOps implica profundizar en automatización de pruebas y despliegues. Transicionar a Data Engineering requeriría aprender frameworks de procesamiento distribuido.
3. Alineación con objetivos personales: Si la meta es trabajar con infraestructuras modernas y mejorar la entrega continua, DevOps es el camino. Si el objetivo es modelar flujos de datos y optimizar pipelines ETL, Data Engineering es más adecuado.

Próximos pasos

El autor puede:

• Completar certificaciones Azure DevOps o Kubernetes.
• Realizar un proyecto de ETL con Azure Data Factory para probar el entorno de Data Engineering.
• Consultar con mentores en ambas áreas para evaluar oportunidades de empleo.

Conclusión

El dilema no tiene respuesta única. Ambos campos comparten habilidades sobre Linux, scripting y contenedores. La elección dependerá de la demanda del mercado, la curva de aprendizaje que esté dispuesto a aceptar y sus preferencias de trabajo a largo plazo.