Data Engineer
¿Es este el puesto que está buscando? Si es así, siga leyendo para obtener más detalles y no olvide enviar su solicitud hoy mismo.
Buscamos un Data Engineer con experiencia en ecosistemas Big Data para participar en un proyecto internacional enfocado en la migración de infraestructura Hadoop hacia entornos cloud basados en Kubernetes.
Formarás parte de un equipo de ingeniería de datos responsable del diseño, desarrollo y automatización de pipelines de datos, trabajando con tecnologías como Spark, Scala, Airflow y herramientas CI/CD dentro de un entorno ágil.
Funciones
Migración de infraestructura Hadoop a cloud utilizando Kubernetes Engine, COS, Spark as a Service y Airflow as a Service.
Desarrollo de procesos de transformación y calidad de datos para garantizar consistencia y precisión.
Implementación de pipelines de datos utilizando Scala, SQL y Apache Spark.
Automatización de procesos mediante Airflow y herramientas de orquestación.
Creación y mantenimiento de pipelines CI/CD para despliegues y testing automatizado.
Desarrollo de tests unitarios y validación de procesos de datos.
Elaboración de documentación técnica y operativa. xohynlm
Colaboración con equipos de negocio y tecnología para diseñar soluciones de datos escalables.
Requisitos técnicos
Experiencia con Apache Spark y Scala
Experiencia en Hadoop ecosystem
Conocimientos de SQL y bases de datos NoSQL
Experiencia con Apache Airflow
Experiencia con HDFS
Experiencia con CI/CD (GitLab, Jenkins o similares)
Conocimiento de S3 / COS Storage
Experiencia trabajando con Parquet y ORC
Conocimientos adicionales valorables
Kubernetes / containerización
Oozie
Shell scripting
Dremio
Elasticsearch / Kibana
Kafka o procesamiento streaming
Ofrecemos
Proyecto internacional en entorno Big Data
Modelo de trabajo híbrido en Madrid (1 día presencial)
Participación en proyectos de modernización de plataformas de datos
Entorno tecnológico moderno