Agent Quality, Evals Engineer

🕒 Junho 23

🇺🇸 Estados Unidos – Remoto (EUA)

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

👷🏻‍♀️ Engenheiro

👻 Score fantasma 34%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Softgic

SiteLinkedInTodas as Vagas

51 - 200 funcionários

Fundada em 2011

💼 Consultoria

🤝 B2B

🤖 Inteligência Artificial

Consulting • B2B • Artificial Intelligence

A Softgic é uma empresa de serviços de transformação digital e cognitiva que oferece desenvolvimento de software personalizado, automação, soluções em nuvem e cibersegurança, além de tecnologias emergentes para clientes empresariais. Com mais de uma década de experiência, a Softgic dispõe de "labs" especializados para Design de Soluções (UX, Ágil, design de processos), Construção (codificação, low-code, mobile, DevOps), Metaverso (VR/AR, blockchain, NFTs, economia virtual), Dados (Big Data, BI, IA/ML), Automação (RPA, BPM) e Go Live (cloud, operações de TI, cibersegurança). A empresa enfatiza serviços personalizados, focados em empresas, equipes dedicadas e projetos baseados em engajamento para ajudar os clientes a modernizar suas infraestruturas, otimizar processos e adotar tecnologias avançadas.

Descrição

• Own the eval harness and quality gate from the beginning • Build and maintain the MVP eval harness, including golden tasks, exception tasks, scorecard metrics, and regression packs • Wire evaluations into CI so quality regressions fail builds and releases • Define and maintain release-gate thresholds with Product and the Tech Lead • Prepare for later adversarial and drift-testing expansion without overbuilding MVP scope • Use AI to generate candidate evaluation cases and failure hypotheses while validating generated tests • Establish the first reference agent's published scorecard and gated evaluation path • Automate golden and exception tests • Define measurable 'good enough to ship' criteria

🎯 Requisitos

• Experience evaluating ML, LLM, or non-deterministic systems • Strong test and benchmark design capability • Comfort working with noisy metrics, thresholds, and probabilistic behavior • Good scripting and automation skills • Uses AI to generate candidate eval cases and failure hypotheses, while distinguishing generated tests from validated quality • Treats AI quality as an operating system rather than a QA afterthought