Senior AI Quality Engineer – LLM Evaluation, Automation

🕒 Janeiro 7

🇺🇸 Estados Unidos – Remoto (EUA)

⏰ Tempo Integral

🟠 Sênior

🔧 Engenheiro de QA (Qualidade de Software)

👻 Score fantasma 60%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Softgic

SiteLinkedInTodas as Vagas

51 - 200 funcionários

Fundada em 2011

💼 Consultoria

🤝 B2B

🤖 Inteligência Artificial

Consulting • B2B • Artificial Intelligence

A Softgic é uma empresa de serviços de transformação digital e cognitiva que oferece desenvolvimento de software personalizado, automação, soluções em nuvem e cibersegurança, além de tecnologias emergentes para clientes empresariais. Com mais de uma década de experiência, a Softgic dispõe de "labs" especializados para Design de Soluções (UX, Ágil, design de processos), Construção (codificação, low-code, mobile, DevOps), Metaverso (VR/AR, blockchain, NFTs, economia virtual), Dados (Big Data, BI, IA/ML), Automação (RPA, BPM) e Go Live (cloud, operações de TI, cibersegurança). A empresa enfatiza serviços personalizados, focados em empresas, equipes dedicadas e projetos baseados em engajamento para ajudar os clientes a modernizar suas infraestruturas, otimizar processos e adotar tecnologias avançadas.

Descrição

• Build and maintain the MVP eval harness, including golden tasks, exception tasks, scorecard metrics, and regression packs • Integrate evaluations into CI so quality regressions fail builds and releases • Define and maintain release-gate thresholds with Product and the Tech Lead • Prepare for later adversarial and drift-testing expansion without overbuilding MVP scope • Use AI to generate candidate evaluation cases and failure hypotheses while validating generated tests • Establish measurable agent-quality standards and release gates • Publish the first reference agent scorecard and gated evaluation path • Automate golden and exception test execution • Define measurable criteria for when the product is good enough to ship

🎯 Requisitos

• Experience evaluating ML, LLM, or non-deterministic systems • Strong test and benchmark design capability • Comfort working with noisy metrics, thresholds, and probabilistic behavior • Good scripting and automation skills • Uses AI to generate candidate evaluation cases and failure hypotheses, while distinguishing generated tests from validated quality • Approaches AI quality as an operating system rather than a QA afterthought