Software Engineering Director, Agentic Evaluations

🕒 vor 1 Monat

🇺🇸 Vereinigte Staaten – Remote

💵 $260.000 - $320.000 / Jahr

⏰ Vollzeit

🔴 Experte

👮‍♀️ Leiter Softwareentwicklung

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

👻 Geisterscore 0%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

G2

WebsiteLinkedInAlle Stellen

501 - 1000 Mitarbeiter

Gegründet 2012

💼 Beratung

📣 Marketing

📦 Logistik

Consulting • Marketing • Logistics

G2 ist der weltweit größte und vertrauenswürdigste Software-Marktplatz. Mehr als 100 Millionen Menschen jährlich – darunter Mitarbeiter aller Fortune-500-Unternehmen – nutzen G2, um intelligentere Entscheidungen bei der Softwareauswahl auf Basis authentischer Bewertungen von Gleichgesinnten zu treffen. Tausende Software- und Dienstleistungsunternehmen aller Größen arbeiten mit G2 zusammen, um ihren Ruf aufzubauen und ihr Geschäft zu erweitern – darunter Salesforce, HubSpot, Zoom und Adobe.

Beschreibung

• Scope feasibility and effort for evaluating software-vendor agents • Own the full stack of the core evaluation system, including admin and API surfaces and evaluation workflow dispatch • Design reusable evaluation system primitives across software verticals • Turn integration onboarding and maintenance processes into repeatable AI skills or agents • Monitor emerging agent-evaluation frameworks and techniques • Establish industry-accepted methods for distributing evaluation results • Collaborate with data science peers to develop proprietary benchmarks • Lead, mentor, and provide technical leadership to a core engineering team • Promote the use of evaluations in agent-oriented products across the organization • Deliver useful and credible evaluations of live software-vendor agents • Apply agent-first engineering techniques to deliver work to production

🎯 Anforderungen

• 10+ years of professional programming experience in backend or full-stack environments • 2+ years of experience directly managing engineers • Expert-level backend development proficiency using Python, Java/Kotlin, TypeScript/JavaScript, or Go • Strong proficiency with backend frameworks such as FastAPI or Node.js • Direct experience creating evaluations against customer-facing agents using agent trajectory trace data and rubrics • Experience measuring task completion rate, accuracy, correctness, or policy adherence • Direct experience using frontier models from OpenAI, Anthropic, or Google in LLM-as-a-judge applications • Regular use of coding agent harnesses such as Claude Code, Codex, Opencode, or Pi • BS/BA degree in a related field • Experience with agent tool use via direct integration or MCP servers is advantageous • Knowledge of STATE-Bench, tau2-bench, or similar benchmark frameworks is advantageous • Experience with Playwright, browser-use, Chrome DevTools MCP, or similar tools is advantageous • Experience with durable execution/workflow frameworks or agent sandboxing is advantageous • Authorization to work in the United States without restriction • No current or future U.S. work sponsorship requirement

🏖️ Vorteile

• Equity • Bonus • Flexible work • Ample parental leave • Unlimited PTO • Inclusive and diverse work environment • Employee resource groups (ERGs) • G2 Gives philanthropic program • AI-assisted application review opt-out option

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen