En IT Partner España estamos buscando un/a Data Engineer con experiencia para incorporarse a un proyecto internacional de gran envergadura, enfocado en la modernización de arquitecturas de datos hacia entornos cloud.
¿Cuál será tu misión?
Formarás parte de un equipo técnico responsable de la migración de infraestructuras Big Data tradicionales (Hadoop) hacia soluciones modernas en la nube, trabajando con tecnologías como Kubernetes, Spark y Airflow as a Service.
Responsabilidades
- Migración de infraestructura Hadoop a entornos cloud (Kubernetes Engine, COS, Spark y Airflow como servicio).
- Desarrollo de transformaciones de datos y controles de calidad para asegurar consistencia y precisión.
- Implementación y mantenimiento de pipelines CI/CD (automatización de despliegues y testing).
- Desarrollo y ejecución de tests unitarios y de validación.
- Automatización y optimización de pipelines de datos con Airflow.
- Elaboración de documentación técnica y operativa.
- Colaboración con equipos multidisciplinares en entornos Agile.
- Impulso de buenas prácticas y mejora continua dentro del equipo.
Stack Tecnológico
- Spark con Scala
- Apache Airflow
- Hadoop (HDFS)
- Bases de datos SQL y NoSQL
- Almacenamiento S3 / COS
- Formatos de datos: Parquet, ORC
- Herramientas CI/CD (GitLab, Jenkins)
Otros conocimientos importantes
- Oozie
- Shell scripting
- SDLC (ciclo de vida de desarrollo de software)
- Metodologías Agile
- Uso de IA generativa aplicada al desarrollo (prompts, testing, documentación, etc.)
Se valorará
- Experiencia con:
- Elasticsearch y Kibana
- Streaming de datos (Kafka, event streaming)
- HashiCorp Vault (HVault)
- Conocimientos en:
- Kubernetes
- Dremio
Condiciones
- Ubicación: Madrid (modelo híbrido – 50% presencial)
- Disponibilidad para viajes ocasionales a Italia
- Experiencia: a partir de 2-3 años
- Salario: competitivo, según experiencia
- Inglés: mínimo B2 (imprescindible, contexto internacional)
¿Qué ofrecemos?
- Proyecto internacional con tecnologías punteras
- Entorno dinámico y colaborativo
- Posibilidad de crecimiento profesional
- Cultura orientada a la innovación y mejora continua