AI Quality Analyst

Vaga não está no LinkedIn

🕒 Abril 9

🇺🇸 Estados Unidos – Remoto (EUA)

💵 $110.000 - $145.000 / ano

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

🤖 Inteligência Artificial

👻 Score fantasma 42%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Shyft6

SiteLinkedInTodas as Vagas

201 - 500 funcionários

Fundada em 2019

👥 RH Tech

🎯 Recrutamento

🤝 B2B

HR Tech • Recruitment • B2B

A Shyft6 é uma parceira confiável para empresas inovadoras, especializada em soluções de força de trabalho que abrangem recrutamento e seleção, gestão de força de trabalho e estratégia de capital humano. Com mais de 26 anos de experiência combinada, a Shyft6 oferece uma ampla gama de serviços, incluindo gestão de fornecedores de força de trabalho contingente, terceirização de processos de recrutamento, aumento de pessoal, busca de executivos e folha de pagamento em múltiplos estados. Seu foco é capacitar as organizações por meio do desenvolvimento eficaz da força de trabalho e gestão de projetos, garantindo a entrega bem-sucedida e a aquisição de talentos qualificados.

Descrição

• Design and execute structured evaluations for AI-enabled features and workflows. • Assess outputs for groundedness, instruction adherence, consistency, usefulness, tone, control compliance, and risk. • Identify hallucinations, unsupported assertions, missing logic, and unsafe recommendations. • Build and maintain golden datasets, benchmark prompts, comparison sets, and scorecards. • Develop rubrics that allow quality to be measured consistently across releases and changes. • Compare performance across prompt versions, workflow revisions, tools, and models. • Support release decisions with evidence on quality regression or improvement. • Work closely with Finance SMEs, product managers, and engineers to determine what acceptable looks like in real business contexts. • Help define human-review thresholds and escalation patterns for higher-risk use cases. • Analyze reviewer feedback, override patterns, and live quality signals to improve evaluation coverage over time.

🎯 Requisitos

• 4+ years of experience in QA, analytics, business process validation, AI evaluation, operations, or similar roles. • Strong writing, analysis, and pattern-recognition skills. • Experience evaluating outputs against nuanced criteria rather than only binary correctness. • Ability to work with structured rubrics, scenario libraries, and evidence-based reviews. • Comfort collaborating across Engineering and business teams. • Experience with finance, accounting, FP&A, transaction services, or business process design preferred. • Bachelor's degree preferred.

🏖️ Benefícios

• Salary plus performance-based bonus