Funcionalidad del puesto:
- Diseñar, construir y mantener pipelines de extracción, transformación y carga (ETL) utilizando tecnologías como Apache Spark.
- Realizar transformaciones complejas, cálculos avanzados y joins en grandes volúmenes de datos en entornos cloud, garantizando escalabilidad, seguridad y rendimiento.
- Asegurar la calidad y consistencia de los datos procesados mediante pruebas automatizadas y validaciones.
- Documentar procesos ETL.
- Coordinarse con el ingeniero de nube para garantizar la integración fluida de los pipelines con la infraestructura de Amazon Web Services (AWS).
Requisitos técnicos:
- Experiencia en el desarrollo de pipelines ETL con tecnologías como Apache Spark.
- Conocimiento práctico de servicios AWS como S3, RDS (PostgreSQL), IAM y SQL.
- Experiencia en Ci/Cd.
- Experiencia con el procesamiento de datos en tiempo real (deseable).
- Certificación AWS datos o arquitecturas cloud (deseable).
- Buen nivel de inglés (deseable).