Senior AI Trust Engineer

🔥 2 minutes ago

🇪🇸 Spain – Remote

⏰ Full Time

🟠 Senior

🤖 Artificial Intelligence

👻 Ghost score 12%

What it means: the chance that no one is really hiring for this job.How to read it: 60% or higher means we think this is a ghost. Lower scores are less of a worry.How we score it: age, reposts, open roles vs team size, how fast jobs close, and whether pay is listed.Fine print: an estimate from public data, not a judgment of the company. Real jobs can score high, so treat it as a hint, not a fact.

Apply Now

Find Similar Remote Jobs

Paradigma Digital

WebsiteLinkedInAll Job Openings

501 - 1000 employees

💼 Consulting

🤝 B2B

🤖 Artificial Intelligence

💰 GRANT on 2011-05

Consulting • B2B • Artificial Intelligence

Paradigma Digital is a boutique technology company focused on digital transformation and product engineering. They position themselves as builders (not just consultants) who deliver platform engineering, cloud-native systems, legacy modernization, data intelligence, and complex digital products for enterprise clients. Their work includes applying AI (e. g. , a podcast recommendation system called Tailorcast), partnering with major cloud and platform vendors (Red Hat, AWS, Google Cloud, Microsoft), and delivering projects for organizations such as EUROCONTROL, Telefónica and PRISA. Their offerings also cover strategic design, organizational transformation and a culture aimed at high-impact, value-driven delivery.

📋 Description

• Diseñar y operar mecanismos de evaluación, observabilidad y gobierno de sistemas de IA • Aportar evidencias objetivas de cumplimiento de requisitos funcionales, técnicos y de negocio • Trabajar durante todo el ciclo de vida de las soluciones, desde el diseño hasta producción • Colaborar con equipos de Software Builders, Agentic Platform Engineers y AI Architects • Instrumentar aplicaciones de IA utilizando Langfuse u otras herramientas equivalentes • Capturar y analizar trazas completas de prompts, respuestas, llamadas a herramientas, pasos intermedios, latencia, tokens y costes • Investigar comportamientos y detectar degradaciones o anomalías en producción • Construir dashboards y alertas con Grafana • Trabajar con estándares como OpenTelemetry aplicados a sistemas de IA • Diseñar y ejecutar evaluaciones con Ragas y DeepEval • Evaluar faithfulness, relevancia, precisión, exhaustividad del contexto, alucinaciones y uso correcto de herramientas • Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible • Aplicar Human-in-the-Loop y LLM-as-a-Judge • Evaluar robustez y seguridad frente a sesgos, prompt injection y jailbreaks • Definir métricas objetivas y criterios de aceptación por caso de uso • Integrar evaluaciones de IA en pipelines CI/CD • Construir quality gates para bloquear cambios que no cumplan umbrales de calidad • Automatizar la evaluación de cambios en modelos, prompts, configuraciones y agentes • Desarrollar herramientas y evaluaciones en Python • Construir y mantener un motor de evaluación basado en datasets versionados • Detectar regresiones y comparar reproduciblemente el comportamiento entre versiones • Garantizar la trazabilidad de respuestas, incluyendo contexto, modelo, versión del prompt y pasos intermedios • Definir y analizar KPIs de calidad e identificar mejoras • Comunicar el estado de calidad a perfiles técnicos y de negocio

🎯 Requirements

• +4 años de experiencia profesional en AI Quality Engineering, Software Engineering, MLOps, observabilidad o ingeniería de datos/IA • Experiencia práctica en IA generativa llevada a producción • Experiencia real con Ragas y/o DeepEval • Experiencia con Langfuse u otras plataformas de observabilidad de LLMs/agentes • Experiencia integrando evaluaciones automatizadas como quality gates en CI/CD • Conocimientos sólidos de Python • Experiencia trabajando con LLMs, RAG y arquitecturas agénticas • Conocimientos de métricas y metodologías de evaluación de LLMs • Experiencia con Grafana • OpenTelemetry valorable • Conocimientos sobre seguridad y robustez de sistemas de IA • Capacidad para interpretar resultados y convertirlos en acciones de mejora • No se busca un perfil de QA tradicional centrado en testing funcional

🏖️ Benefits

• Posibilidad de trabajar en un modelo de trabajo remoto o híbrido • Flexibilidad para organizar el trabajo y favorecer el equilibrio entre vida personal y profesional • Buddy de acompañamiento desde el primer día • Plan anual de formación • Certificaciones oficiales • Espacios de aprendizaje y desarrollo profesional • Seguro médico 100% subvencionado • Retribución flexible a través de Edenred • 25 días de vacaciones anuales • Otros beneficios orientados al bienestar • Entorno cercano y colaborativo • Compromiso con la igualdad salarial y de oportunidades

📊 Check your resume score for this job

Improve your chances of getting an interview by checking your resume score before you apply.

Upload Resume