AI Quality Analyst

Stelle nicht auf LinkedIn

🕒 vor 2 Monaten

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mails für Remote-Jobs erhalten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Shyft6

WebsiteLinkedInAlle Stellen

201 - 500 Mitarbeiter

Gegründet 2019

👥 HR Tech

🎯 Rekrutierung

🤝 B2B

HR Tech • Recruitment • B2B

Shyft6 ist ein vertrauenswürdiger Partner für innovative Unternehmen und spezialisiert sich auf Lösungen im Bereich der Belegschaft, die Personalvermittlung und Rekrutierung, Workforce-Management sowie Strategien für Humankapital umfassen. Mit über 26 Jahren kombinierter Erfahrung bietet Shyft6 ein umfassendes Spektrum an Dienstleistungen an, darunter das Management von Lieferanten für Zeitarbeit, Outsourcing von Rekrutierungsprozessen, Personalaufstockung, Executive Search und länderübergreifende Gehaltsabrechnungen. Der Fokus liegt darauf, Organisationen durch effektive Personalentwicklung und Projektmanagement zu stärken, um erfolgreiche Ablieferungen und die Gewinnung qualifizierter Talente zu gewährleisten.

Beschreibung

• Design and execute structured evaluations for AI-enabled features and workflows. • Assess outputs for groundedness, instruction adherence, consistency, usefulness, tone, control compliance, and risk. • Identify hallucinations, unsupported assertions, missing logic, and unsafe recommendations. • Build and maintain golden datasets, benchmark prompts, comparison sets, and scorecards. • Develop rubrics that allow quality to be measured consistently across releases and changes. • Compare performance across prompt versions, workflow revisions, tools, and models. • Support release decisions with evidence on quality regression or improvement. • Work closely with Finance SMEs, product managers, and engineers to determine what acceptable looks like in real business contexts. • Help define human-review thresholds and escalation patterns for higher-risk use cases. • Analyze reviewer feedback, override patterns, and live quality signals to improve evaluation coverage over time.

🎯 Anforderungen

• 4+ years of experience in QA, analytics, business process validation, AI evaluation, operations, or similar roles. • Strong writing, analysis, and pattern-recognition skills. • Experience evaluating outputs against nuanced criteria rather than only binary correctness. • Ability to work with structured rubrics, scenario libraries, and evidence-based reviews. • Comfort collaborating across Engineering and business teams. • Experience with finance, accounting, FP&A, transaction services, or business process design preferred. • Bachelor's degree preferred.

🏖️ Vorteile

• Salary plus performance-based bonus