En Ibertech, especialistas en talento tecnológico e industrial, buscamos dos Data Engineers para incorporarse a un proyecto internacional en el sector financiero, participando en iniciativas de modernización de plataformas de datos y migración de infraestructuras Big Data hacia entornos cloud y arquitecturas basadas en contenedores.
La persona seleccionada se integrará en un equipo técnico especializado en ingeniería de datos, trabajando en el desarrollo, transformación y orquestación de pipelines de datos en entornos Big Data, colaborando con equipos de negocio y tecnología en la evolución de la arquitectura de datos.
Funciones principales:
1. Participar en la migración de infraestructuras Hadoop existentes hacia entornos cloud basados en Kubernetes Engine, Spark as a Service y Airflow as a Service.
2. Desarrollar y mantener procesos de transformación y calidad de datos para garantizar la consistencia e integridad de la información.
3. Implementar pipelines de datos y procesos de ingestión automatizados mediante herramientas de orquestación y planificación de procesos (principalmente Apache Airflow).
4. Desarrollar procesos de procesamiento de datos utilizando Scala, SQL y Spark.
5. Configurar y mantener pipelines de CI/CD para automatizar despliegues, pruebas unitarias y gestión del desarrollo.
6. Realizar tests unitarios y de validación para garantizar la calidad del código desarrollado.
7. Elaborar documentación técnica y operativa de las soluciones implementadas.
8. Colaborar con equipos multidisciplinares de negocio y tecnología para comprender los requisitos de datos y aportar soluciones técnicas.
9. Participar en entornos de trabajo ágiles fomentando la mejora continua del equipo.
Requisitos imprescindibles:
10. Experiencia como Data Engineer o Big Data Engineer en proyectos de ingeniería de datos.
11. Conocimientos sólidos en Spark con Scala.
12. Experiencia trabajando con ecosistema Hadoop y sistemas de almacenamiento como HDFS.
13. Experiencia en Apache Airflow para la orquestación de pipelines de datos.
14. Conocimiento de bases de datos SQL y NoSQL.
15. Experiencia trabajando con formatos de datos columnar como Parquet u ORC.
16. Experiencia en automatización de pipelines de datos y procesos ETL/ELT.
17. Conocimiento de herramientas CI/CD como GitLab o Jenkins.
18. Conocimiento del ciclo de vida del desarrollo de software (SDLC).
19. Experiencia trabajando con metodologías ágiles.
20. Nivel de inglés B2 o superior.
Requisitos valorables:
21. Experiencia en containerización con Kubernetes.
22. Experiencia con Oozie y scripting en entornos Linux (Shell).
23. Conocimiento de herramientas de virtualización de datos como Dremio.
24. Experiencia en procesamiento de streaming (Kafka u otras plataformas de eventos).
25. Conocimiento de herramientas de observabilidad o análisis como Elasticsearch y Kibana.
26. Conocimiento de Hashicorp Vault (HVault).
27. Experiencia previa en proyectos del sector financiero o banca.
¿Qué ofrecemos?
28. Incorporación a un proyecto internacional de alto impacto en el sector financiero.
29. Colaboración con equipos técnicos especializados en arquitecturas de datos Big Data y cloud.
30. Modalidad híbrida en Madrid (1 día presencial / 4 días remoto).
31. Posibilidad de viajes puntuales a Italia según necesidades del proyecto.
32. Participación en proyectos de modernización de plataformas de datos y migración a cloud.
33. Entorno técnico dinámico orientado a ingeniería de datos avanzada y transformación digital.
34. Acceso a formación continua y desarrollo profesional.
Si buscas un puesto como Data Engineer y quieres participar en proyectos de ingeniería de datos y transformación de plataformas Big Data en entornos cloud, queremos conocerte.