Senior AI Quality Engineer – LLM Evaluation, Automation

Provável vaga fantasma

🕒 Janeiro 7

🇨🇴 Colômbia – Remoto

⏰ Tempo Integral

🟠 Sênior

🔧 Engenheiro de QA (Qualidade de Software)

🗣️🇺🇸🇬🇧 Inglês obrigatório

De onde vem esta vaga

Publicada na página de carreiras da Softgic ↗página de carreiras da Softgic, não em um site de vagas

Vista pela primeira vez pelo Remote Rocketship Janeiro 7

Ainda aberta no site da Softgic. Verificada 4 horas atrás.

Candidatar-se
Logo of Softgic

Softgic

51 - 200 funcionários

Fundada em 2011

💼 Consultoria

🤝 B2B

🤖 Inteligência Artificial

Consulting • B2B • Artificial Intelligence

A Softgic é uma empresa de serviços de transformação digital e cognitiva que oferece desenvolvimento de software personalizado, automação, soluções em nuvem e cibersegurança, além de tecnologias emergentes para clientes empresariais. Com mais de uma década de experiência, a Softgic dispõe de "labs" especializados para Design de Soluções (UX, Ágil, design de processos), Construção (codificação, low-code, mobile, DevOps), Metaverso (VR/AR, blockchain, NFTs, economia virtual), Dados (Big Data, BI, IA/ML), Automação (RPA, BPM) e Go Live (cloud, operações de TI, cibersegurança). A empresa enfatiza serviços personalizados, focados em empresas, equipes dedicadas e projetos baseados em engajamento para ajudar os clientes a modernizar suas infraestruturas, otimizar processos e adotar tecnologias avançadas.

Descrição

• Build and maintain the MVP eval harness, including golden tasks, exception tasks, scorecard metrics, and regression packs • Integrate evaluations into CI so quality regressions fail builds and releases • Define and maintain release-gate thresholds with Product and the Tech Lead • Prepare for later adversarial and drift-testing expansion without overbuilding MVP scope • Use AI to generate candidate evaluation cases and failure hypotheses while validating generated tests • Establish measurable agent-quality standards and release gates • Publish the first reference agent scorecard and gated evaluation path • Automate golden and exception test execution • Define measurable criteria for when the product is good enough to ship

🎯 Requisitos

• Experience evaluating ML, LLM, or non-deterministic systems • Strong test and benchmark design capability • Comfort working with noisy metrics, thresholds, and probabilistic behavior • Good scripting and automation skills • Uses AI to generate candidate evaluation cases and failure hypotheses, while distinguishing generated tests from validated quality • Approaches AI quality as an operating system rather than a QA afterthought

Candidatar-se

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Desenvolvido por Lior Neu-ner. Adoraria receber seu feedback — entre em contato por DM ou pelo e-mail support@remoterocketship.com
Follow Remote Rocketship on LinkedInFollow Remote Rocketship on InstagramFollow Remote Rocketship on FacebookFollow Remote Rocketship on TikTok