Job Name: Data Engineering Tech Lead Job Type: Permanent Country: Spain City: A coruña State: FL Languages: URL:
Desde SGF GLOBAL estamos buscando un Data Engineering Tech Lead
Sus principales responsabilidades serán:
1. Entender cada caso de uso de negocio en varias geografías, entendiendo diferencias y similitudes.
2. Diseñar una solución modular (módulos, librerías, parametrías, tablas necesarias) para que los científicos de datos de diversos equipos puedan desarrollar soluciones globales, flexibles y reutilizables.Este diseño se consensuará con los países interesados en el desarrollo atendiendo a las particularidades de cada país. Las soluciones se desarrollan sobre python / pySpark con grandes volúmenes de datos, leyendo tablas HDFS y generando salidas productivas en HDFS. También se consensuarán con los equipos de ingeniería y arquitectura
3. Apoyar con la puesta en producción de estas soluciones, una vez desarrolladas por los científicos de datos.
4. Velar por el correcto desarrollo colaborativo entre los diferentes países de forma que se cumpla con lo especificado en el diseño inicial.
5. A partir de un software generado por un científico de datos, generar un software de calidad profesional (modular, flexible, robusto, reutilizable) y coordinar su puesta en producción en la plataforma
6. Utilización diaria de las herramientas PySpark, SQL, AWS, python, powerbi
Podemos ofrecerte:
Carrera profesional
Formación
Buen ambiente laboral
Retribución flexible
Flexibilidad horaria.
Requisitos:
Imprescindible conocimientos en:
7. SQL
8. Python, Java/Scala
9. Azure/AWS
10. ETLs
Requisitos mínimos
11. Imprescindible buen nivel de lenguaje Pyspark
12. Conocimiento alto de programación orientada a objetos
13. Experiencia de 3 años en proyectos de datos en los que haya estado involucrado en la definición de los procesos end-to-end, desde la arquitectura de datos, el diseño modular en librerías, y la puesta en producción de los desarrollos.
14. Valorable esta familiarizado con principios de desarrollo de software: SOLID, DRY, etc.
15. Capacidad de desarrollar test unitarios con unittest.
16. Valorable conocimiento en PowerBI
17. Valorable conocimientos en AWS
18. Inglés avanzado