[Job-30854] AI SDET (Engenheiro de Desenvolvimento de Software em Testes)

🔥 0 minutos atrás

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

CI&T

SiteLinkedInTodas as Vagas

5001 - 10000 funcionários

Fundada em 1995

💼 Consultoria

🏥 Saúde

📣 Marketing

💰 $5.500.000 Venture Round em 2014-04

Consulting • Healthcare • Marketing

CI&T é especialista global em transformação tecnológica, ajudando organizações a trilhar sua jornada tecnológica. Com serviços que vão de modernização de aplicações e soluções em cloud a data analytics com IA e experiência do cliente, a CI&T capacita negócios a acelerar o crescimento e maximizar a eficiência operacional. A empresa enfatiza design de produtos digitais, consultoria estratégica e experiências imersivas, assegurando um suporte robusto para empresas de diversos setores.

Descrição

• Gerenciar e manter o harness de avaliação do Langfuse, incluindo a criação de "Golden Paths" e cenários de teste adversariais • Validar gates de qualidade regulatória (SR 26-2, NYDFS Reg 187) • Executar validação em modo shadow (shadow mode) para comparar o desempenho da IA com benchmarks humanos • Testar degradação da qualidade dos dados, erros de segmentação populacional e confiabilidade de checkpoints human-in-the-loop (HITL) • Verificar que os padrões de saída do Designer, incluindo blocos de explicação e tipos de sinal, sejam mantidos em todos os cenários de avaliação • Encontrar casos de borda por meio de testes céticos e adversariais • Colaborar com engenheiros para corrigir falhas de lógica

🎯 Requisitos

• Proficiência avançada em Python 3.11+, Pytest e frameworks de testes automatizados • Experiência direta com ferramentas de avaliação de IA, como Langfuse, RAGAS ou similares • Experiência com padrões LLM-as-a-Judge • Conhecimento em gerenciamento de risco de modelos (Model Risk Management) e testes de conformidade regulatória • Experiência com estratégias de implantação em modo shadow e validação estatística • Mentalidade cética e adversarial para identificar casos de borda • Atenção rigorosa aos detalhes no que diz respeito a evidências regulatórias • Abordagem colaborativa para trabalhar com engenheiros na correção de falhas de lógica

🏖️ Benefícios

• Seguro saúde e odontológico • Vale-refeição/auxílio-alimentação • Auxílio creche • Licença-paternidade estendida • Parcerias com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass • Participação nos Lucros e Resultados (PLR) • Seguro de vida • Plataforma de aprendizado contínuo (CI&T University) • Clube de descontos • Plataforma online gratuita dedicada ao bem-estar físico, mental e integral • Curso de gravidez e parentalidade responsável • Parcerias com plataformas de ensino online • Plataforma de aprendizado de idiomas