Quality Engineering Consultant – AI/ML Testing

Stelle nicht auf LinkedIn

🕒 vor 1 Monat

🇺🇸 Vereinigte Staaten – Remote

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

🔧 QA-Ingenieur (Qualitätssicherung)

👻 Geisterscore 47%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

FindErnest

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2022

💼 Beratung

🏢 Unternehmen

🤝 B2B

💰 €20.000 Pre Seed Round - FindErnest im 2023-01

Consulting • Enterprise • B2B

FindErnest ist ein globales Technologieberatungs- und Dienstleistungsunternehmen, das Unternehmen, GCCs, Startups und KMUs bei der Beschleunigung der digitalen Transformation unterstützt. Dies geschieht durch eine Kombination aus Technologieberatung, Produkt-/Plattformentwicklung, Managed IT Services, KI & intelligente Automatisierung, Cloud-Lösungen, Cybersicherheit, Unternehmensanwendungen und Workforce-/Talentlösungen. Gegründet im Jahr 2022, legt das Unternehmen großen Wert auf die Integration von Strategie und Umsetzung – indem es Beratung, Implementierung, Managed Services und Personalbereitstellung unter einem Dach kombiniert, um schnell und kosteneffektiv messbare Geschäftsergebnisse zu erzielen. Zu den wichtigsten Angeboten gehören digitale Transformation, Produktentwicklung, Plattformentwicklung, Managed IT, KI-Automatisierung, Cloud- und Datenservices sowie Talentlösungen; die betreuten Branchen erstrecken sich über Technologie & Internet, Gesundheitswesen & Life Sciences, BFSI, TME, Ingenieurwesen & Bauwesen, Lieferkette & Fertigung sowie Energie & Versorgungsunternehmen. FindErnest positioniert sich als mittelgroße, agile Alternative zu großen Systemintegratoren und reinen Personalvermittlungsfirmen, indem es End-to-End-Transformationen mit einem sicherheitsorientierten, ergebnisorientierten Ansatz liefert.

Beschreibung

• Design and execute test strategies for AI/GenAI applications, including LLM-powered solutions, AI agents, copilots, and conversational systems • Validate AI outputs for accuracy, relevance, groundedness, consistency, hallucination detection, and toxicity and safety compliance • Create and maintain prompt test suites and benchmark datasets • Perform functional, regression, performance, and reliability testing for AI-enabled applications • Define and execute AI evaluation metrics and quality gates • Develop and maintain Playwright test automation frameworks • Automate UI, API, and end-to-end business workflows • Create reusable automation assets and testing accelerators • Integrate automated tests into CI/CD pipelines • Support shift-left testing and quality engineering practices • Design and execute API test cases using Postman, REST Assured, and Playwright API Testing • Validate API contracts, authentication, authorization, error handling, and performance • Conduct integration testing across distributed systems and third-party services • Establish AI evaluation frameworks and quality scorecards • Measure model quality using precision/recall, relevancy scoring, semantic similarity, groundedness validation, and human-in-the-loop evaluation • Analyze AI quality trends and recommend improvements • Support Responsible AI and model governance requirements • Collaborate with engineering, product, and AI teams to identify quality risks early • Participate in requirement reviews and design discussions • Communicate testing progress, risks, and quality metrics to stakeholders • Contribute to QE best practices, standards, and reusable playbooks

🎯 Anforderungen

• 4 - 6 years of experience in Quality Engineering, Software Testing, or Test Automation • Hands-on experience testing AI/Generative AI applications • Experience with modern web application testing and API testing • Strong expertise in Playwright automation • Hands-on experience with API testing and automation • Experience validating AI/LLM-based applications and AI agents • Good understanding of AI evaluation methodologies and testing techniques • Familiarity with M365 Copilot, OpenAI/Azure OpenAI, Claude, Gemini, and Agentic AI frameworks • Knowledge of test management tools such as Azure DevOps (ADO), Jira, or similar platforms • Experience working with CI/CD pipelines and DevOps practices • Bachelor's degree in Computer Science, Information Technology, Engineering, or a related discipline

🏖️ Vorteile

• Remote work arrangement

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen