AI Model Evaluation & Monitoring Specialist
Por favor, presente su candidatura sin demora si su perfil encaja bien con este puesto, debido al alto nivel de interés.
En Logicalis Spain estamos buscando 1 perfil de AI Model Evaluation & Monitoring Specialist. El equipo de Data, Analytics & IA de Logicalis trabaja con clientes nacionales e internacionales, llevando a cabo importantes proyectos de ingeniería de datos, inteligencia artificial y analítica avanzada, estrategia del dato, gobierno, integración y arquitectura, abarcando todo el ciclo de vida del dato.
REQUISITOS TÉCNICOS
- 2 años de experiencia en GenAI, especialmente en auditoría, evaluación y monitorización de modelos.
- Experiencia sólida con LLMs en entornos productivos.
- Experiencia con AWS (Bedrock, SageMaker, Lambda, CloudWatch) y ecosistemas de operación de modelos.
- Conocimientos de: Prompt engineering y optimización de prompts por modelo, frameworks de evaluación de LLMs (RAGAS, DeepEval u otros), A/B testing, experimentación y análisis comparativo de modelos, y gobernanza de IA y ciclo de vida de modelos.
- Nivel de inglés fluido.
RESPONSABILIDADES
- Evaluar y comparar modelos LLM (OpenAI, Anthropic, etc.) en calidad, consistencia, latencia y coste, identificando riesgos.
- Monitorizar cambios de modelos (versiones, deprecaciones, ajustes de comportamiento) y analizar su impacto en sistemas productivos y casos de uso.
- Optimizar estrategias de prompting para cada modelo, asegurando estabilidad, eficiencia y reducción de costes.
- Diseñar e implementar frameworks de testing para GenAI, incluyendo regresión, pruebas de prompts, pipelines de evaluación y dashboards de seguimiento.
- Colaborar con equipos de IAOps / MLOps para reforzar observabilidad, logging, métricas y gobernanza de modelos.
- Generar recomendaciones técnicas sobre selección de modelos, optimización de costes, mitigación de riesgos y mejora continua del rendimiento.
BENEFICIOS
- Incorporación inmediata a compañía líder del sector IT con alto grado de expertise en el área de Data & Analytics y proceso de expansión.
- Estabilidad laboral través de contrato indefinido con amplias oportunidades de desarrollo profesional y crecimiento en la compañía.
- Modalidad de trabajo híbrida en oficinas situadas en Pozuelo de Alarcón. Flexibilidad en días de presencialidad a discutir en entrevista.
- Paquete retributivo muy competitivo acorde a la valía del candidato.
- Posibilidad de planes de retribución flexible (tarjeta restaurante, tarjeta transporte y tarjeta guardería).
- Seguro médico y GYMPASS.
- Planes de formación adaptados a cada perfil (cursos técnicos, certificaciones oficiales, formación de idiomas).
- Portal de descuentos especiales para empleados. xpzdshu
- Buen ambiente de trabajo y entorno muy colaborativo.
#J-18808-Ljbffr