SDET/QA Engineer, AI Evaluation

🕒 il y a 3 jours

🇪🇸 Espagne – Télétravail

💵 €38 000 - €43 000 / an

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

🔧 Ingénieur QA

👻 Score fantôme 0%

Ce que ça veut dire : la probabilité que cette offre reste ouverte sans recrutement actif.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

Codurance

Site WebLinkedInTous les Emplois

51 - 200 employés

💼 Conseil

📣 Marketing

☁️ SaaS

Consulting • Marketing • SaaS

Codurance est une entreprise mondiale de conseil en informatique qui se concentre sur l'aide aux entreprises pour moderniser leurs capacités techniques et construire une croissance durable. Avec un engagement envers l'Artisanat du Logiciel, Codurance met l'accent sur le professionnalisme et l'excellence technique dans le développement de logiciels. L'entreprise propose une gamme de services, y compris la modernisation des logiciels, le développement de produits et l'ingénierie cloud, adaptés pour aider les clients à résoudre des défis complexes et à atteindre leurs objectifs commerciaux. Codurance s'associe avec des équipes technologiques de premier plan et utilise des processus agiles et lean pour garantir une livraison efficace et impactante.

Description

• Evaluate, validate, and improve quality across teams • Participate in developing and executing exploratory and automated tests • Review system requirements and track quality assurance metrics such as pass rate, defect densities, and open defect counts • Liaise with technical and business stakeholders from Codurance and client teams • Take ownership of a Python LLM evaluation tool, diagnostic suite, and golden datasets to raise pass rates on production AI agents • Refine scoring criteria and design multi-turn conversational evaluations for AI agents • Set up automated regression testing for core product flows using Playwright, covering integrated workflows and third-party channels • Implement SonarQube quality gate monitoring and daily deviation reporting • Partner with senior stakeholders on QA strategy, standards, and continuous improvement • Estimate, prioritize, plan, and coordinate testing activities • Stay up to date with new testing tools and test strategies

🎯 Exigences

• At least 4 years of experience in a similar role • Fluent in Spanish and English (speaking and writing) • Consultancy experience and an open mind around what is quality (adapting to clients) • Hands-on experience with Playwright, SonarQube and other testing tools (Cucumber, Selenium, Appium, Jenkins) • Knowledge of CI/CD tools and processes • Continuous learning and curiosity • Strong programming skills with Python • Practical experience in AI evaluation, including LLM evals, agent testing, multi-turn chat scoring, and golden dataset management • QA strategy knowledge (holistic testing, Agile testing Manifesto, ...) (bonus) • Anthropic certification (bonus) • Experience with performance/load testing for AI agents/call center agents and multi-channel integration (bonus) • Familiarity with BDD and TDD (bonus) • ISTQB certificate (bonus) • Eligible to work in the EU; visa sponsorship and relocation assistance are not provided

🏖️ Avantages

• Transparency - all of our salary bandings and company finances are available to everyone from day one. • Personal Learning Budget - Access to Learnerbly, our online learning & development tool, to support your personal development and career progression here. • Training - No fixed training budget. So long as the course is relevant for the company and you'll do a lightning talk on the subject, we’re happy to pay for it. • Working 100% remote (or hybrid if you want to drop by the office from time to time) • Private medical and dental insurance • Restaurant, transport and nursery tickets (retribución flexible/ tax deductible) • Gym discounts • Language classes (Spanish, English, French, German) • You choose between Linux, Mac or Windows! • Our People - You’ll be working alongside Craftspeople whether that’s on a client project or contributing to our internal projects. • Equal Opportunities Employer and inclusive workplace