En Ibertech, especialistas en talento tecnológico e industrial, buscamos dos Data Engineers para incorporarse a un proyecto internacional en el sector financiero, participando en iniciativas de modernización de plataformas de datos y migración de infraestructuras Big Data hacia entornos cloud y arquitecturas basadas en contenedores.
La persona seleccionada se integrará en un equipo técnico especializado en ingeniería de datos, trabajando en el desarrollo, transformación y orquestación de pipelines de datos en entornos Big Data, colaborando con equipos de negocio y tecnología en la evolución de la arquitectura de datos.
Funciones principales:
Participar en la migración de infraestructuras Hadoop existentes hacia entornos cloud basados en Kubernetes Engine, Spark as a Service y Airflow as a Service.
Desarrollar y mantener procesos de transformación y calidad de datos para garantizar la consistencia e integridad de la información.
Implementar pipelines de datos y procesos de ingestión automatizados mediante herramientas de orquestación y planificación de procesos (principalmente Apache Airflow).
Desarrollar procesos de procesamiento de datos utilizando Scala, SQL y Spark.
Configurar y mantener pipelines de CI/CD para automatizar despliegues, pruebas unitarias y gestión del desarrollo.
Realizar tests unitarios y de validación para garantizar la calidad del código desarrollado.
Elaborar documentación técnica y operativa de las soluciones implementadas.
Colaborar con equipos multidisciplinares de negocio y tecnología para comprender los requisitos de datos y aportar soluciones técnicas.
Participar en entornos de trabajo ágiles fomentando la mejora continua d