Qué buscamos?
Persona especializada en ingeniería de datos con sólida experiencia en Spark, para integrarse en un proyecto estratégico de alto impacto en el sector bancario. El perfil seleccionado trabajará en la construcción y optimización de pipelines de datos a gran escala.
Tu día a día y responsabilidades:
- Diseño y desarrollo de pipelines: Construcción de procesos de datos complejos utilizando Spark.
- Ciclo de vida del dato: Liderar tareas de ingestión de datos desde formatos de texto en staging zones, masterización desde raw data, encriptación y procesamiento masivo de datos.
- Gestión declarativa: Configuración y despliegue de pipelines mediante archivos HOCON, asegurando la modularidad entre datos de entrada, transformaciones y datos de salida.
- Validación y calidad: Garantizar la integridad del dato mediante el uso de esquemas de entrada/salida y la implementación de reglas de calidad.
- Optimización: Mejora continua del rendimiento en procesos distribuidos para garantizar la eficiencia en los tiempos de ejecución.
Requisitos imprescindibles:
- Experiencia técnica: Entre 2 y 3 años de experiencia real trabajando con Apache Spark en entornos productivos de gran escala.
- Procesamiento distribuido: Sólidos conocimientos en computación en memoria, optimización de shuffles (redistribución de datos entre nodos) y gestión de recursos en clústeres.
- Capacidad analítica: Experiencia en la resolución de incidencias técnicas complejas y depuración de procesos Big Data.
Requisitos deseables:
- Ecosistema Kirby y Dataproc: Conocimiento del framework Kirby para el desarrollo ágil en Dataproc (GCP) y su arquitectura basada en componentes.
- Validación: Familiaridad con la herramienta Hammurabi (control de calidad del dato).
- Sector: Experiencia previa en proyectos tecnológicos para el sector financiero o bancario.
#J-18808-Ljbffr