Senior AI Product Manager – Evals & Annotations

Emploi pas sur LinkedIn

🕒 il y a 1 jour

🏄 California, New York – Distant

🏄 California – Remote 🗽 New York – Remote

💵 $200 000 - $250 000 / an

⏰ Temps Plein

🟠 Senior

✅ Responsable Produit

🦅 Parrain de Visa H1B

Cette entreprise a parrainé des visas H1B par le passé.

👻 Score fantôme 11%

Ce que ça veut dire : la probabilité que personne ne recrute vraiment pour cette offre.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Pourquoi ce score :

• Ouverte depuis 2 jours.
• Les offres de cette entreprise sont généralement pourvues en 50 jours.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Arize AI

Site WebLinkedInTous les Emplois

51 - 200 employés

Fondée en 2019

🤖 Intelligence artificielle

☁️ SaaS

🏢 Entreprise

Artificial Intelligence • SaaS • Enterprise

Arize AI est une entreprise qui propose une plateforme complète d'observabilité et d'évaluation de l'IA, conçue pour les ingénieurs en Intelligence Artificielle souhaitant construire et gérer des applications IA, notamment celles impliquant de grands modèles de langage (LLM). La plateforme offre des outils de traçage, de surveillance et d'évaluation de l'IA de bout en bout pour aider les utilisateurs à identifier et à résoudre les goulots d'étranglement de performance, à garantir la qualité des données et à améliorer les performances des systèmes IA. Arize soutient également l'expérimentation et la visualisation, permettant aux utilisateurs d'itérer rapidement sur les applications IA et de maintenir une prestation de service de haute qualité. L'entreprise s'adresse aux principales entreprises d'IA, offrant des solutions pour l'évaluation et l'observabilité des LLM en ligne et hors ligne. Les outils d'Arize sont particulièrement précieux pour la surveillance des modèles IA, le dépannage et l'optimisation des performances, aidant ainsi les entreprises à atténuer les risques et à améliorer les résultats de l'IA.

Description

• Own Arize's Evals & Annotations product area end-to-end, including eval creation and execution, human review, annotation workflows, and the broader evaluation lifecycle • Set product strategy and roadmap, balancing customer needs, platform investments, UX improvements, and emerging AI and agent-development opportunities • Develop strong workflow opinions, independently prototype solutions, and partner with Design on intuitive, polished experiences • Shape the future of evaluations for autonomous and managed agents, including opportunities within the broader Dynatrace ecosystem • Work with Engineering on evaluation execution, backend systems, orchestration, and data infrastructure • Contribute to technical discussions, implementation approaches, and tradeoffs • Have multiple customer conversations each week to understand evaluation practices, uncover problems, and validate product direction • Collaborate with cofounders and cross-functional teams on product direction, design exploration, and prioritization • Make prioritization decisions and drive products from problem definition through launch, adoption, and iteration

🎯 Exigences

• Significant product management experience independently owning technically complex developer-facing products; exact years flexible for candidates with exceptional technical depth, product judgment, and ownership • Strong understanding of LLM evaluations and AI development workflows, including automated evals, human feedback, experimentation, and iteration on AI applications and agents • Experience with developer tools, AI infrastructure, ML platforms, or adjacent technical products • Solid understanding of backend systems and software architecture • Strong technical depth and hands-on engineering ability • Ability to debug issues independently and navigate code when needed • Ability to put up small fixes or PRs • Ability to build prototypes and technical proofs of concept • Ability to propose technical implementations and reason through tradeoffs • Ability to hold credible technical discussions with engineers • Excellent product and UX instincts; ability to define and prototype core product experiences • Strong ownership, initiative, and bias toward action • Ability to navigate ambiguity and make tradeoffs • Collaborative, low-ego approach to working with founders, engineers, and designers • Experience working closely with technical customers • Strong communication skills and ability to move between strategy and execution

🏖️ Avantages

• Competitive equity package • Medical insurance • Dental insurance • Vision insurance • 401(k) plan • Unlimited paid time off • Generous parental leave plan • Mental and wellness support • WFH monthly stipend for co-working spaces • Optional in-person work in New York City and the San Francisco Bay Area • Regular chats with industry experts, researchers, and ethicists • Culturally conscious events such as LGBTQ trivia during pride month • Active Lady Arizers subgroup

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV