Data EngineerFuncionesEn Aubay buscamos un/a Data Engineer con un perfil técnico sólido dentro del ámbito del Data Engineering, para integrarse en el IT For DATA Tribe y colaborar en modelo Extended Team.
Descubra exactamente qué habilidades, experiencia y cualificaciones necesitará para tener éxito en este puesto antes de enviar su solicitud a continuación.
La persona seleccionada participará en un proyecto estratégico de migración de pipelines legacy en Hadoop hacia un Datahub en entorno cloud, con foco en la automatización, la calidad y la robustez de los procesos de datos.
El rol puede implicar viajes ocasionales a Italia (1-2 veces al año) y requiere una experiencia mínima de 3 años en puestos similares.Funciones / Tareas:Ejecutar la migración de infraestructura y pipelines Hadoop legacy hacia un entorno cloud basado en Kubernetes Engine, COS, Spark as a Service y Airflow as a Service.Implementar transformaciones de datos y controles de calidad utilizando Scala y SQL con Apache Spark.Diseñar y automatizar pipelines de datos y procesos de ingesta mediante orquestadores, principalmente Airflow.Configurar flujos de CI/CD para despliegues automáticos, testing y versionado.Desarrollar pruebas unitarias, validación de código y buenas prácticas de calidad.Elaborar documentación técnica y operativa de los procesos implementados.Colaborar con equipos cross-funcionales (data squads, negocio, IT OPS).Contribuir a la mejora continua del equipo y de las prácticas de ingeniería.RequisitosRequisitos técnicos imprescindiblesExperiencia práctica con Apache Spark con Scala.SQL avanzado aplicado a grandes volúmenes de datos.Conocimiento sólido de Hadoop / HDFS.Experiencia con Apache Airflow.Pipelines y despliegues con CI/CD (GitLab, Jenkins).Experiencia con almacenamiento tipo S3 / COS.Bases de datos SQL y NoSQL.Experiencia con Oozie.Shell scripting.Conocimiento de SDLC y metodologías Agile.Inglés mínimo nivel B2 obligatorio.Conocimientos valorablesKubernetes.Dremio.Elasticsearch / Kibana.Procesos de streaming (Kafka, event streaming).HVault. xohynlm Experiencia previa en sector bancario.Se ofreceContrato indefinidoAcceso a cursos online de tecnologías e idiomasModalidad híbrida de trabajo (50 )Horario: Lunes a viernes de 9:00 a 18:00, con 1 hora de flexibilidad
Spark, Scala, SQL, Hadoop, HDFS, Airflow,