Senior Product Manager, AI Evaluation – Quality

🕒 vor 1 Tag

🇺🇸 Vereinigte Staaten – Remote

💵 $150.000 - $159.000 / Jahr

⏰ Vollzeit

🟠 Senior

✅ Produktmanager

👻 Geisterscore 0%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

Circana

WebsiteLinkedInAlle Stellen

5001 - 10000 Mitarbeiter

🤝 B2B

💼 Beratung

B2B • Consulting

Bei Circana messen und beschleunigen wir die Nachfrage. So einfach ist das. Wir arbeiten mit Marken zusammen, um ihre schwierigsten geschäftlichen Herausforderungen zu meistern, indem wir unsere Big-Data-, KI-Datenvisualisierungsplattform und unsere tiefgreifende Expertise in über 25 Branchen kombinieren. Unsere Kunden vertrauen darauf, dass wir sie auf ihren nächsten Schritten und darüber hinaus begleiten, damit sie innovativ sein, die Verbraucheranforderungen erfüllen und wachsen können.

Beschreibung

• Define evaluation strategies, methodologies, metrics, and acceptance thresholds for Circana’s AI agents • Build evaluation frameworks for AI agent and agentic workflow capabilities • Partner with the Liquid AI Product Leader, engineering, and product verticals to validate agent performance before release • Develop representative test scenarios, golden datasets, benchmarks, and scoring approaches, including LLM-as-a-judge methods • Evaluate agent quality, accuracy, consistency, reliability, safety, and client value • Identify failure patterns and translate findings into product improvement recommendations • Establish ongoing monitoring of production traces to detect post-launch performance changes • Document evaluation results and communicate findings to technical and business audiences • Promote consistent evaluation standards across Liquid AI product verticals

🎯 Anforderungen

• 4–6+ years of experience in product evaluation, data science, analytics, experimentation, quality assurance, or a related field • Understanding of statistical evaluation, testing methodologies, and performance metrics • Familiarity with evaluating AI agents or LLM-based systems, including LLM-as-a-judge scoring and production trace analysis • Ability to design structured tests for complex or ambiguous use cases • Strong analytical reasoning and attention to detail • Comfortable operating in an early-stage, fast-moving environment with evolving requirements • Ability to communicate technical findings clearly to varied audiences • Bachelor’s degree in a quantitative, technical, or related discipline, or equivalent experience

🏖️ Vorteile

• Flexible and accommodating work environment • Paid time off • Medical, dental, and vision insurance • 401(k) • Bonus pay eligibility • Reasonable accommodation support for applicants with disabilities • Background check conducted in accordance with local legislation • AI-assisted resume screening

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen