Bluetab, an IBM Company. We are looking for a Data Engineer with 4-5 years of experience, proficient in Scala, Python or PySpark, capable of designing, building, and executing large-scale data pipelines in Databricks and Azure cloud.
Lo que harás en el día a día
* Desarrollar y optimizar pipelines de datos en Scala, Python o PySpark, ejecutando procesos Spark en Databricks, garantizando rendimiento, calidad y escalabilidad.
* Diseñar y construir arquitecturas Data Lake y Data Warehouse en entornos Cloud, predominante Azure pero también AWS o GCP.
* Transformar datos a gran escala mediante Spark, aplicando buenas prácticas de procesamiento distribuido.
* Optimizar queries y almacenamiento en Databricks, asegurando eficiencia en el consumo de datos y reducción de costos.
* Integrar múltiples fuentes de datos, asegurando su calidad, consistencia y trazabilidad.
* Colaborar con equipos multidisciplinares, impulsando la mejora continua en procesos de ingesta, transformación y entrega de datos.
#J-18808-Ljbffr