ResumenForma parte del futuro en Paradigma Digital. Buscamos talento para una posición de Senior Data Engineer. Tienes la oportunidad de sumarte a un equipo innovador, versátil y comprometido.
Qué buscamosIngeniero/a de Datos Senior que contribuya al diseño e implementación de una arquitectura de datos. El candidato será experto en la creación de arquitecturas Lakehouse modernas (Iceberg) y en el modelado de relaciones complejas mediante Bases de Datos de Grafos (NebulaGraph), garantizando que los datos sean trazables, gobernados y accesibles en entornos de alta seguridad.
Responsabilidades
- Arquitectura Lakehouse: Diseñar e implementar la capa de almacenamiento masivo utilizando Apache Iceberg y Polaris Catalog sobre infraestructura S3/Open S3 (MinIO), asegurando consistencia y rendimiento de los datos estratégicos.
- Ingeniería de Grafos: Utilizar NebulaGraph.
- Pipelines de Datos Escalables: Desarrollar procesos ETL/ELT avanzados con Spark y Python para la ingesta de fuentes heterogéneas.
- Gobierno y Calidad: Implementar la capa de observabilidad y catálogo de datos mediante OpenMetadata.
- Orquestación y Streaming: Configurar flujos de trabajo complejos con Airflow y gestionar la ingesta de eventos en tiempo real mediante Kafka.
- Optimización de Consultas: Implementar Trino como motor de consultas federadas para permitir que analistas consulten múltiples fuentes sin duplicidad de datos.
Experiencia requerida
- Python, Apache Spark (PySpark).
- Lakehouse.
- Apache Iceberg, Polaris Catalog, S3 / Open S3 (MinIO).
- NebulaGraph (modelado y consultas nGQL), conocimiento general de grafos.
- OpenMetadata (lineage, catálogo, glosario).
- Apache Airflow, Apache Kafka.
- Trino (PrestoSQL).
Deseable
- Grafana, creación de dashboards de monitorización técnica y operativa.
Qué encontrarás en Paradigma
- Flexibilidad real: conciliación entre vida personal y laboral con horarios adaptables.
- Innovación y modelo propio: proyectos desafiantes donde podrás trabajar y evol