Estamos en búsqueda de : Especialista en Databricks Platform (AWS / ML / DevOps)
Tipo de perfil
Dominio de operaciones en la nube con AWS, con sólido entendimiento del escalado de infraestructura y optimización de coste / rendimiento.
Experiencia demostrada y práctica con Databricks en AWS : administración del workspace, gestión de clústeres y pools, orquestación de trabajos (Jobs / Workflows), repositorios, secrets e integraciones.
Amplia experiencia con Databricks Unity Catalog : configuración del metastore, catálogos / esquemas, data lineage, control de acceso (ACLs, grants), control de acceso basado en atributos y gobierno del dato.
Experiencia en Infraestructura como Código (IaC) para Databricks y AWS usando Terraform (proveedores databricks y aws) y / o AWS CloudFormation; experiencia con Databricks asset bundles o CLI es un plus.
Experiencia implementando CI / CD y GitOps para notebooks, trabajos y activos de ML usando GitHub y GitHub Actions (o GitLab / Jenkins), incluyendo pruebas automatizadas y promoción entre workspaces.
Capacidad para estructurar librerías reutilizables, empaquetar y versionar código, y reforzar calidad mediante pruebas unitarias / de integración y linting. Dominio de SQL para desarrollo en Lakehouse.
Experiment tracking, model registry, versionado de modelos, approval gates y despliegue a endpoints batch / en tiempo real (Model Serving).
AWS IAM / STS, PrivateLink / VPC, cifrado KMS, secretos, SSO / SCIM y monitorización / observabilidad (CloudWatch / Datadog / Grafana).
Experiencia con prácticas DevOps para habilitar estrategias de automatización y reducir operaciones manuales.
Experiencia o conocimiento en MLOps; crear pipelines que aceleren y automaticen ML será muy valorado.
Excelentes habilidades de comunicación, colaboración transversal y gestión de stakeholders.
Detallista, proactivo, capaz de trabajar de forma independiente y en un equipo distribuido.
Funciones del candidato
Diseñar e implementar soluciones de plataforma Databricks escalables para soportar flujos de trabajo de analítica, ML y GenAI en entornos dev / test / prod.
Administrar y optimizar workspaces de Databricks : políticas de clústeres, pools, job clusters vs all-purpose clusters, autoscaling, uso de spot / fleet y GPU / compute acelerado cuando aplique.
Implementar gobierno con Unity Catalog : definir metastore, catálogos, esquemas, data sharing, enmascaramiento de filas / columnas, lineage y controles de acceso; integrar con identidad empresarial y auditoría.
Crear IaC para aprovisionamiento y configuración reproducible de la plataforma usando Terraform; gestionar config-as-code para políticas de clúster, trabajos, repos, service principals y secret scopes.
Implementar CI / CD para notebooks, librerías, pipelines DLT y activos de ML; automatizar pruebas, quality gates y promoción entre workspaces usando GitHub Actions y APIs de Databricks.
Estandarizar estructura de experimentos, implementar flujos de trabajo del registro de modelos y desplegar / operar endpoints de model serving con monitorización y rollback.
Desarrollar y optimizar pipelines de Delta Lake (batch y streaming) usando Auto Loader, Structured Streaming y DLT; aplicar calidad de datos y SLAs con expectations y alertas.
Optimizar coste y rendimiento : dimensionar correctamente clústeres y pools, aplicar políticas y cuotas, gestionar consumo de DBU, usar spot / fleet e implementar informes de chargeback / showback.
Integrar observabilidad : métricas / logs / traces para trabajos, clústeres y model serving; configurar alertas, runbooks de guardia y respuesta a incidentes para reducir MTTR.
Garantizar seguridad y cumplimiento de la plataforma : diseño de VPC, PrivateLink, cifrado en reposo / en tránsito, gestión de secretos, remediación de vulnerabilidades y preparación para auditorías; alineación con estándares internos de seguridad y, cuando aplique, controles GxP.
Colaborar con equipos multifuncionales para integrar la plataforma Databricks con fuentes de datos, flujos de eventos, aplicaciones downstream y servicios de IA en AWS.
Realizar investigación técnica, evaluar nuevas funcionalidades de Databricks (p. ej., Lakehouse Federation, Vector Search, Mosaic AI) y proponer mejoras de plataforma alineadas con la hoja de ruta.
Comunicar regularmente avances, riesgos y recomendaciones a los responsables del cliente y equipos de desarrollo.
Requisitos indispensables
Experiencia práctica en administración de Databricks en AWS, incluyendo gobierno con Unity Catalog e integraciones empresariales.
Sólida base en AWS : redes (VPC, subnets, SGs), roles y políticas IAM, KMS, S3, CloudWatch; familiaridad con EKS es un plus.
Dominio de Terraform (incluyendo databricks provider), GitHub y GitHub Actions.
Sólidos conocimientos de Python y SQL; experiencia empaquetando librerías y trabajando con notebooks y repos.
Experiencia con MLflow para tracking y model registry; se prefiere experiencia con endpoints de model serving.
Familiaridad con Delta Lake, Auto Loader, Structured Streaming y DLT.
Experiencia implementando automatización DevOps y runbooks; comodidad trabajando con REST APIs y Databricks CLI.
Dominio de Git y GitHub; estrategias de revisión de código y branching.
Detalles del puesto
Modalidad : Presencial una vez al mes en las oficinas de Barcelona
Horario de trabajo : Debe trabajar en horario laboral del Reino Unido, comenzando a las 09 : 00 (hora del Reino Unido) / 13 : 30 IST
Nivel de inglés : C1, uso diario en un ámbito internacional
#J-18808-Ljbffr