Hola!!
¿Te apasiona la innovación tecnológica?
Te contamos… Airplane Solutions es una compañía que desarrolla proyectos y productos de innovación, modernización tecnológica y arquitectura disruptiva, en contexto Microsoft para brindar las mejores soluciones de software personalizadas, flexibles y potentes para el sector aeronáutico ✈️
Buscamos un/a Azure Data Engineer
Para diseñar, implementar y optimizar soluciones de datos escalables en Microsoft Azure y Microsoft Fabric, liderando desde la ingesta hasta la entrega de insights, incluyendo la gobernanza, seguridad de los datos y la integración de capacidades de IA.
Responsabilidades
1. Diseño y orquestación de pipelines de datos
- Creación, despliegue y monitorización de pipelines en Azure Data Factory y/o Azure Databricks.
- Estrategias de ingestión batch y streaming (Event Hubs, Azure Stream Analytics).
2. Procesamiento y almacenamiento
- Modelado y optimización en Azure Synapse Analytics y Azure SQL Data Warehouse.
- Gestión de grandes volúmenes en Azure Data Lake Storage Gen2 con partición y compresión.
- Políticas de seguridad y cifrado (en reposo y en tránsito).
3. Azure Data Explorer (ADX) y Kusto Query Language (KQL)
- Diseño de tablas ADX: ingestión por pipelines, SDKs, Event Grid.
- KQL avanzado: consultas exploratorias, agregaciones, series temporales.
- Funciones y políticas: parse_json, mv-expand, estimated_statistics, update policies.
- Integración: Power BI DirectQuery y dashboards nativos ADX.
- Monitorización: ajuste de clústeres, escalado y análisis de costes con Azure Monitor.
4. Microsoft Fabric
- Lakehouse & Warehouse: unificación de Data Lake y Synapse en un entorno integrado.
- Pipelines en Fabric: orquestación con Data Factory en Fabric, notebooks de Spark en Spark Compute.
- Data Engineering en Fabric: Spark SQL, PySpark y C# en Notebooks;
optimización con Delta tables nativas.
- Governance & Security: Control con Purview integrado, políticas de acceso unificadas y encriptación automática.
- Fabric Workloads: integración de Data Science (ML), Power BI en Fabric, Data Activator para eventos en tiempo real.
5. Integración y desarrollo
- Transformaciones avanzadas con Apache Spark (PySpark/Scala) en Databricks o Fabric Spark Compute.
- Azure Functions y .NET para microservicios data-driven.
- IaC con Terraform, Bicep o ARM Templates.
6. Business Intelligence y visualización
- Dashboards en Power BI sobre Fabric or Synapse, DAX avanzado, DirectQuery/Composite Models.
- DataOps y MLOps: CI/CD para pipelines, despliegues automáticos con Azure DevOps.
Formación
Titulación en Ingeniería Informática, Telecomunicaciones, Estadística o similar.
Conocimientos Técnicos
- +4 años en Data Engineering sobre Azure y Fabric.
- DP-203 skills: almacenamiento, procesamiento y continuidad operativa.
- SQL avanzado, Python (pandas, PySpark) y/o Scala.
- AKS y contenedores.
- Inglés técnico fluido (B2)
Conocimiento en Modelado de datos y arquitecturas
- Modelos tabulares y multidimensionales: cubos OLAP, tablas de hechos y dimensiones;
jerarquías, medidas y relaciones en tabular (SSAS) o Azure Analysis Services.
- Arquitecturas de datos:
- Medallion (Bronce-Plata-Oro): zonas raw, cleansed y curated con gobernanza y trazabilidad.
- Lambda: pipelines batch + streaming para baja latencia.
- Delta Lake: transacciones ACID, versionado y time travel.
- SCD (Slowly Changing Dimensions): implementación de tipos 1, 2 y 3.
- Data Vault (opcional): hubs, links y satellites.
Habilidades