Software Engineering Director, Agentic Evaluations

🕒 Setembro 23

🇺🇸 Estados Unidos – Remoto (EUA)

💵 $260.000 - $320.000 / ano

⏰ Tempo Integral

🔴 Especialista

👮‍♀️ Gerente de Engenharia de Software

🦅 Patrocina Visto H1B

Esta empresa já patrocinou vistos H1B no passado.

👻 Score fantasma 0%

O que significa: a chance de ninguém estar realmente contratando para esta vaga.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

G2

SiteLinkedInTodas as Vagas

501 - 1000 funcionários

Fundada em 2012

💼 Consultoria

📣 Marketing

📦 Logística

Consulting • Marketing • Logistics

G2 é o maior e mais confiável marketplace de software do mundo. Mais de 100 milhões de pessoas anualmente — incluindo funcionários de todas as empresas da Fortune 500 — usam o G2 para tomar decisões de software mais inteligentes com base em avaliações autênticas de colegas. Milhares de empresas de software e serviços de todos os tamanhos fazem parceria com o G2 para construir sua reputação e expandir seus negócios — incluindo Salesforce, HubSpot, Zoom e Adobe.

Descrição

• Scope feasibility and effort for evaluating software-vendor agents • Own the full stack of the core evaluation system, including admin and API surfaces and evaluation workflow dispatch • Design reusable evaluation system primitives across software verticals • Turn integration onboarding and maintenance processes into repeatable AI skills or agents • Monitor emerging agent-evaluation frameworks and techniques • Establish industry-accepted methods for distributing evaluation results • Collaborate with data science peers to develop proprietary benchmarks • Lead, mentor, and provide technical leadership to a core engineering team • Promote the use of evaluations in agent-oriented products across the organization • Deliver useful and credible evaluations of live software-vendor agents • Apply agent-first engineering techniques to deliver work to production

🎯 Requisitos

• 10+ years of professional programming experience in backend or full-stack environments • 2+ years of experience directly managing engineers • Expert-level backend development proficiency using Python, Java/Kotlin, TypeScript/JavaScript, or Go • Strong proficiency with backend frameworks such as FastAPI or Node.js • Direct experience creating evaluations against customer-facing agents using agent trajectory trace data and rubrics • Experience measuring task completion rate, accuracy, correctness, or policy adherence • Direct experience using frontier models from OpenAI, Anthropic, or Google in LLM-as-a-judge applications • Regular use of coding agent harnesses such as Claude Code, Codex, Opencode, or Pi • BS/BA degree in a related field • Experience with agent tool use via direct integration or MCP servers is advantageous • Knowledge of STATE-Bench, tau2-bench, or similar benchmark frameworks is advantageous • Experience with Playwright, browser-use, Chrome DevTools MCP, or similar tools is advantageous • Experience with durable execution/workflow frameworks or agent sandboxing is advantageous • Authorization to work in the United States without restriction • No current or future U.S. work sponsorship requirement

🏖️ Benefícios

• Equity • Bonus • Flexible work • Ample parental leave • Unlimited PTO • Inclusive and diverse work environment • Employee resource groups (ERGs) • G2 Gives philanthropic program • AI-assisted application review opt-out option

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo