Migrar la infraestructura existente de Hadoop a una infraestructura en la nube basada en Kubernetes Engine, COS, Spark como servicio y Airflow como servicio.
Si desea saber un poco más sobre esta oportunidad, o está considerando presentar su candidatura, por favor, lea la siguiente información del puesto.
Implementar transformación y calidad de datos para garantizar la consistencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL y herramientas como Spark para operaciones de transformación y enriquecimiento de datos.
Configurar pipelines de CI/CD para automatizar despliegues, pruebas unitarias y la gestión del desarrollo.
Escribir y ejecutar pruebas unitarias y de validación para garantizar la exactitud e integridad del código desarrollado.
Automatizar pipelines de datos y optimizar la ingestión de datos mediante la implementación de distintos orquestadores y procesos de programación (principalmente Airflow como servicio).
Redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento.
Colaborar con equipos multifuncionales para comprender los requisitos de datos y ofrecer soluciones. xpzdshu
Fomentar una cultura de aprendizaje continuo y mejora dentro del equipo.