Engenheiro de Desenvolvimento de Tarefas

Vaga não está no LinkedIn

🔥 0 minutos atrás

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

METR

SiteLinkedInTodas as Vagas

11 - 50 funcionários

Fundada em 2022

🤖 Inteligência Artificial

☁️ SaaS

Artificial Intelligence • Research • SaaS

METR é uma organização de pesquisa focada em avaliar e entender as capacidades e os riscos de sistemas de IA de ponta. Eles desenvolvem e realizam testes para medir o desempenho da IA, especialmente em capacidades autônomas e em P&D de IA. Ao colaborar com empresas líderes em IA, como Anthropic e OpenAI, a METR visa aprimorar as avaliações de terceiros para gerenciar de forma abrangente os riscos emergentes das tecnologias avançadas de IA.

Descrição

• Desenvolver tarefas difíceis e inovadoras para modelos de IA que permaneçam desafiadoras à medida que os horizontes temporais dos modelos se estendem • Realizar garantia de qualidade das tarefas existentes, verificando a solucionabilidade e assegurando que os modelos recebam apenas as informações necessárias • Estabelecer tarefas de referência (baseline) nas áreas de especialidade quando for útil • Pontuar conclusões de tarefas geradas por IAs ou por baseliners humanos • Melhorar a infraestrutura e os fluxos de trabalho de desenvolvimento de tarefas • Contribuir para avaliações de sistemas de IA de ponta que suportem a metodologia Time Horizons da METR

🎯 Requisitos

• Vários anos de experiência em projetos complexos de engenharia de software e em bases de código • Experiência em construir avaliações de IA exigentes, idealmente baseadas em agentes • Experiência com avaliações como RE-Bench, HCAST, SWE-bench Verified, Cybench ou GPQA • Preferencialmente, experiência com o framework Inspect • Elevada atenção aos detalhes, incluindo identificação de especificações incorretas e ambiguidades • Familiaridade com a infraestrutura da METR, incluindo Hawk, é um diferencial • Familiaridade com a metodologia por trás do trabalho Time Horizons da METR é um diferencial • Disponibilidade para 20–40 horas por semana • Mínimo de 1 hora de sobreposição com o expediente no horário Pacific Coast Time

🏖️ Benefícios

• Horário flexível definido por você • Trabalho remoto em qualquer lugar do mundo • Jornada flexível de trabalho de 20–40 horas por semana • Pessoas que contribuírem com >80 horas serão reconhecidas no resultado final da pesquisa (se desejarem)