Engenheiro(a) de Avaliação de IA Remoto(a)

Vaga não está no LinkedIn

🔥 38 minutos atrás

🌏 Qualquer lugar do mundo

⏳ Contrato/Temporário

🟡 Pleno

🟠 Sênior

🤖 Inteligência Artificial

👻 Score fantasma 10%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Scopic

SiteLinkedInTodas as Vagas

201 - 500 funcionários

Fundada em 2006

🏥 Saúde

📣 Marketing

📦 Logística

Healthcare • Marketing • Logistics

A Scopic é uma empresa de desenvolvimento de software especializada em soluções personalizadas, desenvolvimento web e mobile, consultoria em IA e serviços de marketing digital. Com expertise em diversas tecnologias, como PHP, Node. js e AWS, a Scopic atende a setores variados, incluindo saúde, finanças e educação. A empresa foca em transformar as ideias dos clientes em aplicações inovadoras, assegurando experiências de usuário de alta qualidade e estratégias de marketing eficazes.

Descrição

• Projetar e implementar pipelines automatizados de testes de CI/CD que validem o comportamento de agentes antes da implantação • Criar e manter golden datasets com prompts de regressão, casos extremos e cenários sintéticos para medir a precisão, a segurança e a latência dos agentes • Implementar verificações rápidas e de baixo custo baseadas em código, incluindo validação de JSON Schema, correspondência por regex, verificações de status de API e similaridade de embeddings • Projetar suítes de testes para conversas multi-turno, validando retenção de contexto, desvio de estado e proteções contra loops infinitos de chamadas de ferramentas • Criar suítes de testes adversariais abrangendo prompt injections, entradas malformadas e respostas caóticas de ferramentas, a fim de proteger sandboxes e guardrails • Implementar tracing com OpenTelemetry, LangSmith, Phoenix ou ferramentas similares • Reduzir os custos de APIs de LLM por meio de caching e mocking

🎯 Requisitos

• Proficiência em Python ou TypeScript, com foco em testes de API, execução headless e sistemas assíncronos • Experiência prática na criação de pipelines de avaliação de LLMs ou frameworks de testes estatísticos, como intervalos de confiança ou taxas de aprovação em N execuções • Experiência na integração de testes ao GitHub Actions ou a sistemas de CI similares, usando execução em nível de SDK • Especialização na validação de saídas estruturadas: JSON Schema, especificações OpenAPI e payloads de function calling • Familiaridade com ferramentas de tracing, como OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave ou sistemas de logging personalizados • Capacidade de projetar e assumir integralmente uma arquitetura de avaliação desde o início • Inglês escrito e falado avançado • Disponibilidade para ter pelo menos 3 horas de sobreposição diária com o horário comercial do fuso Central dos EUA • Experiência com sandboxes de execução de código ou frameworks de agentes, como LangChain, LlamaIndex, AutoGen ou CrewAI • Conhecimento profundo de modelos de embeddings e bancos de dados vetoriais • Experiência em testes de carga de endpoints não determinísticos

🏖️ Benefícios

• Treinamento remunerado e outras oportunidades de desenvolvimento profissional • Horário flexível e possibilidade de escolher o período de trabalho preferencial • Possibilidade de trabalhar de qualquer lugar com uma conexão estável à internet • Fluxo consistente de projetos de produto interessantes e desafiadores • Aumentos salariais anuais por dedicação e desempenho excepcional • Pagamento mensal da remuneração por transferência bancária internacional