Desarrollador de Data Lake (AWS SQL Python Tableau)
Sobre el Rol
Desde Common MS, estamos apoyando a uno de los mayores bancos con un nuevo proyecto greenfield, Origin, para desarrollar una solucion interna de data lake. Esta plataforma apoyara servicios de BI, herramientas de ciencia de datos y otras iniciativas dentro de SCIB. Ingerira datos de mercado en tiempo casi real desde multiples fuentes y los almacenara en la nube de AWS .
Buscamos un Desarrollador Senior con experiencia en ingestion de big data, procesos ETL y manejo de grandes volumenes de datos. Este rol sera clave para desarrollar y mantener ETLs de alta calidad, asegurando escalabilidad, rendimiento y eficiencia en el procesamiento de datos.
Responsabilidades
Desarrollar y mantener pipelines ETL para la ingestion de datos estructurados y no estructurados en lotes y tiempo casi real .
Optimizar el almacenamiento y procesamiento de datos utilizando Parquet, servicios de AWS (Athena, EMR, QuickSight) y herramientas externas (Tableau, Apache Spark, Presto, etc.) .
Disenar y gestionar un catalogo centralizado de metadatos para garantizar la consistencia y accesibilidad de los datos.
Colaborar con ingenieros de datos, cientificos de datos y partes interesadas del negocio para comprender los requisitos y entregar soluciones de alta calidad.
Garantizar la calidad, integridad y seguridad de los datos en la plataforma.
Optimizar continuamente el rendimiento y reducir costos mediante buenas practicas en computacion en la nube y arquitectura de datos .
Trabajar en un equipo agil, asegurando iteraciones rapidas y adaptacion a las necesidades del negocio.
Requisitos
Experiencia solida en SQL, Python
Experiencia demostrada en tecnologias de big data y desarrollo de ETL .
Conocimientos practicos de servicios de AWS (S3, Athena, Glue, EMR, Lambda, etc.).
Dominio de frameworks de procesamiento de datos (Apache Spark, Presto, Tableau, etc.).
Conocimiento de formatos de datos Parquet, gestion de metadatos y particionamiento de datos .
Familiaridad con pipelines CI/CD y sistemas de control de versiones como Git .
Capacidad para trabajar en entornos dinamicos y colaborar con equipos multifuncionales.
Requisitos Deseados
Experiencia en el sector financiero, especialmente en trading electronico y flujos de precios .
Conocimiento de mercados de renta fija y procesamiento de datos de mercado.
Habilidades analiticas y de resolucion de problemas con un enfoque en <