Senior Product Manager, AI Evaluation – Quality

🕒 il y a 14 jours

🇺🇸 États-Unis – Télétravail

💵 $150 000 - $159 000 / an

⏰ Temps Plein

🟠 Senior

✅ Responsable Produit

👻 Score fantôme 0%

Ce que ça veut dire : la probabilité que personne ne recrute vraiment pour cette offre.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Pourquoi ce score :

• Ouverte depuis 15 jours.
• Les offres de cette entreprise sont généralement pourvues en 31 jours.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Circana

Site WebLinkedInTous les Emplois

5001 - 10000 employés

🤝 B2B

💼 Conseil

B2B • Consulting

Chez Circana, nous mesurons et accélérons la demande. C'est aussi simple que cela. Nous nous associons aux marques pour aborder leurs défis commerciaux les plus ardus grâce à une combinaison de nos big data, de notre plateforme de visualisation de données alimentée par l'IA, et de notre expertise approfondie dans plus de 25 industries. Nos clients comptent sur nous pour les guider dans leurs prochaines étapes, et celles d'après, afin qu'ils puissent innover, répondre à la demande des consommateurs et croître.

Description

• Define evaluation strategies, methodologies, metrics, and acceptance thresholds for Circana’s AI agents • Build evaluation frameworks for AI agent and agentic workflow capabilities • Partner with the Liquid AI Product Leader, engineering, and product verticals to validate agent performance before release • Develop representative test scenarios, golden datasets, benchmarks, and scoring approaches, including LLM-as-a-judge methods • Evaluate agent quality, accuracy, consistency, reliability, safety, and client value • Identify failure patterns and translate findings into product improvement recommendations • Establish ongoing monitoring of production traces to detect post-launch performance changes • Document evaluation results and communicate findings to technical and business audiences • Promote consistent evaluation standards across Liquid AI product verticals

🎯 Exigences

• 4–6+ years of experience in product evaluation, data science, analytics, experimentation, quality assurance, or a related field • Understanding of statistical evaluation, testing methodologies, and performance metrics • Familiarity with evaluating AI agents or LLM-based systems, including LLM-as-a-judge scoring and production trace analysis • Ability to design structured tests for complex or ambiguous use cases • Strong analytical reasoning and attention to detail • Comfortable operating in an early-stage, fast-moving environment with evolving requirements • Ability to communicate technical findings clearly to varied audiences • Bachelor’s degree in a quantitative, technical, or related discipline, or equivalent experience

🏖️ Avantages

• Flexible and accommodating work environment • Paid time off • Medical, dental, and vision insurance • 401(k) • Bonus pay eligibility • Reasonable accommodation support for applicants with disabilities • Background check conducted in accordance with local legislation • AI-assisted resume screening

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV