Desarrollador de Data Lake (AWS - SQL - Python - Tableau)
Sobre el Rol
Desde Common MS, estamos apoyando a uno de los mayores bancos en un nuevo proyecto greenfield, Origin, para desarrollar una solución interna de data lake. Esta plataforma apoyará servicios de BI, herramientas de ciencia de datos y otras iniciativas dentro de SCIB. Ingerirá datos de mercado en tiempo casi real desde múltiples fuentes y los almacenará en la nube de AWS.
Buscamos un Desarrollador Senior con experiencia en ingestión de big data, procesos ETL y manejo de grandes volúmenes de datos. Este rol será clave para desarrollar y mantener ETLs de alta calidad, asegurando escalabilidad, rendimiento y eficiencia en el procesamiento de datos.
1. Desarrollar y mantener pipelines ETL para la ingestión de datos estructurados y no estructurados en lotes y en tiempo casi real.
2. Optimizar el almacenamiento y procesamiento de datos utilizando Parquet, servicios de AWS (Athena, EMR, QuickSight) y herramientas externas (Tableau, Apache Spark, Presto, etc.).
3. Diseñar y gestionar un catálogo centralizado de metadatos para garantizar la consistencia y accesibilidad de los datos.
4. Colaborar con ingenieros de datos, científicos de datos y partes interesadas del negocio para comprender los requisitos y entregar soluciones de alta calidad.
5. Garantizar la calidad, integridad y seguridad de los datos en la plataforma.
6. Optimizar continuamente el rendimiento y reducir costos mediante buenas prácticas en computación en la nube y arquitectura de datos.
7. Trabajar en un equipo ágil, asegurando iteraciones rápidas y adaptación a las necesidades del negocio.
8. Contar con experiencia sólida en SQL y Python.
9. Poseer experiencia demostrada en tecnologías de big data y desarrollo de ETL.
10. Conocer servicios de AWS (S3, Athena, Glue, EMR, Lambda, etc.).
11. Dominar frameworks de procesamiento de datos (Apache Spark, Presto, Tableau, etc.).
12. Conocer formatos de datos Parquet, gestión de metadatos y particionamiento de datos.
13. Familiaridad con pipelines CI/CD y sistemas de control de versiones como Git.
14. Capacidad para trabajar en entornos dinámicos y colaborar con equipos multifuncionales.
15. Contar con experiencia en el sector financiero, especialmente en trading electrónico y flujos de precios.
16. Conocer mercados de renta fija y procesamiento de datos de mercado.
17. Poseer habilidades analíticas y de resolución de problemas con un enfoque en escalabilidad y rendimiento.
Ofrecemos la oportunidad de construir una plataforma de datos innovadora con alta visibilidad dentro del banco, trabajando con tecnologías de vanguardia en la nube y big data en un entorno colaborativo y ágil en un banco de inversión global. Además, salario competitivo y oportunidades de desarrollo profesional.
Únete a nosotros y forma parte del futuro de la toma de decisiones basada en datos en la banca de inversión
#J-18808-Ljbffr