Senior AI Product Manager – Evals & Annotations

Stelle nicht auf LinkedIn

🕒 vor 4 Tagen

🏄 California, New York – Remote

🏄 California – Remote 🗽 New York – Remote

💵 $200.000 - $250.000 / Jahr

⏰ Vollzeit

🟠 Senior

✅ Produktmanager

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

👻 Geisterscore 10%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Warum dieser Wert:

• Seit 4 Tagen offen.
• Stellen bei diesem Unternehmen werden meist in 50 Tagen besetzt.

Jetzt Bewerben

Deinen Lebenslauf-Score prüfen

Lebenslauf + Anschreiben anpassen

Ähnliche Remote-Jobs finden

☆ Speichern☑️ Als beworben markieren❌ Ausblenden

Problem melden

Arize AI

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet 2019

🤖 Künstliche Intelligenz

☁️ SaaS

🏢 Unternehmen

Artificial Intelligence • SaaS • Enterprise

Arize AI ist ein Unternehmen, das eine umfassende AI-Überwachungs- und Bewertungsplattform anbietet, die speziell für AI-Ingenieure entwickelt wurde, um AI-Anwendungen zu erstellen und zu verwalten, insbesondere solche, die große Sprachmodelle (LLMs) umfassen. Die Plattform bietet End-to-End-Tools zur AI-Verfolgung, -Überwachung und -Bewertung, um Anwendern dabei zu helfen, Leistungsengpässe zu identifizieren und zu beheben, die Datenqualität sicherzustellen und die Leistung von AI-Systemen zu verbessern. Arize unterstützt zudem Experimente und Visualisierungen, sodass Anwender schnell an AI-Anwendungen arbeiten und eine hohe Servicequalität aufrechterhalten können. Das Unternehmen bedient führende AI-Unternehmen und bietet Lösungen für sowohl Online- als auch Offline-LLM-Bewertungen und -Überwachung. Die Tools von Arize sind besonders wertvoll für die Überwachung, Fehlersuche und Leistungsoptimierung von AI-Modellen, wodurch Unternehmen Risiken minimieren und die Ergebnisse von AI verbessern können.

Beschreibung

• Own Arize's Evals & Annotations product area end-to-end, including eval creation and execution, human review, annotation workflows, and the broader evaluation lifecycle • Set product strategy and roadmap, balancing customer needs, platform investments, UX improvements, and emerging AI and agent-development opportunities • Develop strong workflow opinions, independently prototype solutions, and partner with Design on intuitive, polished experiences • Shape the future of evaluations for autonomous and managed agents, including opportunities within the broader Dynatrace ecosystem • Work with Engineering on evaluation execution, backend systems, orchestration, and data infrastructure • Contribute to technical discussions, implementation approaches, and tradeoffs • Have multiple customer conversations each week to understand evaluation practices, uncover problems, and validate product direction • Collaborate with cofounders and cross-functional teams on product direction, design exploration, and prioritization • Make prioritization decisions and drive products from problem definition through launch, adoption, and iteration

🎯 Anforderungen

• Significant product management experience independently owning technically complex developer-facing products; exact years flexible for candidates with exceptional technical depth, product judgment, and ownership • Strong understanding of LLM evaluations and AI development workflows, including automated evals, human feedback, experimentation, and iteration on AI applications and agents • Experience with developer tools, AI infrastructure, ML platforms, or adjacent technical products • Solid understanding of backend systems and software architecture • Strong technical depth and hands-on engineering ability • Ability to debug issues independently and navigate code when needed • Ability to put up small fixes or PRs • Ability to build prototypes and technical proofs of concept • Ability to propose technical implementations and reason through tradeoffs • Ability to hold credible technical discussions with engineers • Excellent product and UX instincts; ability to define and prototype core product experiences • Strong ownership, initiative, and bias toward action • Ability to navigate ambiguity and make tradeoffs • Collaborative, low-ego approach to working with founders, engineers, and designers • Experience working closely with technical customers • Strong communication skills and ability to move between strategy and execution

🏖️ Vorteile

• Competitive equity package • Medical insurance • Dental insurance • Vision insurance • 401(k) plan • Unlimited paid time off • Generous parental leave plan • Mental and wellness support • WFH monthly stipend for co-working spaces • Optional in-person work in New York City and the San Francisco Bay Area • Regular chats with industry experts, researchers, and ethicists • Culturally conscious events such as LGBTQ trivia during pride month • Active Lady Arizers subgroup

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen