Engenheiro(a) Sênior de IA para Avaliação

Vaga não está no LinkedIn

🔥 33 minutos atrás

🌐 México, Brasil, +1 outros países – Remoto

🇲🇽 México – Remoto 🇧🇷 Brasil – Remoto 🇦🇷 Argentina – Remoto

⏰ Tempo Integral

🟠 Sênior

🤖 Engenheiro de IA

👻 Score fantasma 10%

O que significa: a chance de ninguém estar realmente contratando para esta vaga.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Helpware

SiteLinkedInTodas as Vagas

1001 - 5000 funcionários

Fundada em 2015

📦 Logística

📣 Marketing

💼 Consultoria

💰 Seed Round em 2016-01

Logistics • Marketing • Consulting

A Helpware é uma empresa de terceirização de serviços digitalmente habilitada que se especializa em aprimorar experiências digitais do cliente para empresas de tecnologia em rápido crescimento e que estão revolucionando o mercado. Eles oferecem uma gama de serviços, incluindo atendimento ao cliente com IA, controle e verificação de conteúdo, suporte de back-office, rotulagem de dados, marketing digital, cibersegurança e desenvolvimento de software. A Helpware foca em proporcionar experiências superiores ao cliente e expandir marcas ao integrar serviços de tarefas humanas com soluções tecnológicas. Com locais ao redor do mundo, eles oferecem equipes escaláveis e culturalmente alinhadas em várias indústrias, como eCommerce, SaaS, saúde e finanças.

Descrição

• Projetar a arquitetura, desenvolver, implementar e dimensionar pipelines automatizados personalizados de avaliação para sistemas LLM multiagentes • Avaliar a classificação de intenção, a correção na chamada de ferramentas, a integridade das transições de estado, a manipulação de checkpointers e a reprodução de memória em múltiplos turnos • Desenvolver métricas avançadas específicas de domínio usando G-Eval, arquiteturas de LLM-as-a-judge e métodos de verificação determinísticos • Avaliar a análise complexa de documentos, incluindo contratos de locação e faturas, além de modelos financeiros imobiliários • Implementar testes de alinhamento defensivo, red teaming adversarial e medidas de mitigação contra prompt injection • Prevenir alucinações, vazamento de dados e execução não autorizada de ferramentas em ambientes corporativos de nuvem • Criar conjuntos de dados de avaliação, conjuntos de regressão de referência e pipelines de dados sintéticos que modelem comportamentos de administradores de imóveis, inquilinos e corretores • Monitorar workflows de agentes em produção quanto a desvios comportamentais, regressões de latência, ineficiências de custo e utilização de tokens • Projetar, desenvolver e manter frameworks e pipelines de avaliação escaláveis usando Python, SQL, APIs e CI/CD • Executar centenas ou milhares de casos de avaliação em modelos, prompts, pipelines de RAG e agentes de IA • Implementar avaliação automatizada usando validação determinística, avaliação baseada em referências, rubricas definidas por especialistas, LLM-as-a-judge e avaliação human-in-the-loop • Estabelecer critérios de pontuação e limiares de qualidade para casos de uso de IA • Trabalhar em parceria com as equipes de Engenharia, Produto, Dados e Engenharia de Qualidade para garantir que os recursos de IA sejam mensuráveis, explicáveis, confiáveis e prontos para produção

🎯 Requisitos

• De 5 a 7 anos de experiência em engenharia de software, engenharia de qualidade, automação de testes, engenharia de IA, machine learning ou função técnica relacionada • Experiência prática na avaliação ou no teste de aplicações de LLM, NLP, machine learning ou IA • Domínio de Python e experiência na criação de workflows automatizados de teste ou avaliação • Experiência na criação e manutenção de golden datasets, conjuntos de dados de teste ou datasets de benchmark • Experiência com testes adversariais • Familiaridade com AI Safety, segurança e privacidade e avaliação de Responsible AI • Conhecimento estrutural profundo de LangChain, LangGraph (incluindo subgrafos e roteamento condicional) e LangSmith • Experiência prática no uso do LangSmith para tracing, debugging, experimentos, datasets e avaliações • Sólida experiência com GitHub, incluindo repositórios, branching, pull requests, code reviews e workflows de CI/CD • Experiência com Claude Code ou ferramentas semelhantes de desenvolvimento assistido por IA • Experiência com AWS e Amazon Bedrock • Experiência com REST APIs, JSON, SQL e arquiteturas modernas de aplicações • Conhecimento sólido de LLMs, prompt engineering, embeddings, busca vetorial, RAG e agentes de IA • Experiência com testes automatizados, testes de regressão, testes de integração e testes end-to-end • Experiência prática na avaliação de aplicações baseadas em LangGraph ou multiagentes no nível de nós e transições de estado • Excelentes habilidades analíticas, de resolução de problemas e comunicação • Capacidade de trabalhar de forma independente e assumir a responsabilidade por problemas técnicos ambíguos • Diferencial: experiência com Ragas, DeepEval, Arize Phoenix, TruLens, Promptfoo ou ferramentas de avaliação semelhantes • Diferencial: experiência com abordagens de LLM-as-a-judge e avaliação human-in-the-loop • Diferencial: experiência com Bedrock Agents, Knowledge Bases for Amazon Bedrock, Lambda, S3 ou CloudWatch • Diferencial: experiência na integração de avaliações de IA ao GitHub Actions

🏖️ Benefícios

• Contrato com duração de 6 meses, com alta possibilidade de prorrogação mediante bom desempenho • Possibilidade de atuação de longo prazo

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo