Product Manager – Agent Evaluation Platform (Ona)

Stelle nicht auf LinkedIn

vor 26 Tagen

Bewerben

E-Mails mit ähnlichen Jobs erhalten

Hyperskill

WebsiteLinkedInAlle Stellen

Education • Artificial Intelligence • SaaS

Hyperskill gestaltet die Bildung im KI-Zeitalter neu, indem es intelligente, KI-gesteuerte Lernsysteme und Produktivitätstools entwickelt, die sich an individuelle Lernende anpassen. Das Angebot umfasst projektbasierte Kurse, Karrierewege, Bootcamps und Teamtrainings mit Schwerpunkt auf Programmierung (Python, Java, Kotlin, SQL, Go, C++), KI-Engineering und produktorientierter Entwicklung. Zudem bieten KI-native Tools wie Enlighter, Rolloo, InMind Lab und StoryFlow Unterstützung für Fachleute und Organisationen, um praktische KI-Lösungen zu erlernen und einzusetzen.

11 - 50 Mitarbeiter

📚 Bildung

🤖 Künstliche Intelligenz

☁️ SaaS

Beschreibung

• Als Product Manager erarbeiten Sie, wie Forschung zur Agentenbewertung in ein marktfähiges Produkt überführt wird. • Sie analysieren, wie Unternehmen derzeit ihre KI-Systeme testen, welche Lücken bestehen und wie unsere Plattform diese schließen kann. • Zusammenarbeit mit dem Engineering-Team beim Aufbau von Evaluation-Pipelines, die alles von einfachen Chatbots bis hin zu komplexen mehrstufigen Agenten-Workflows bewerten können. • Finden Sie frühe Kunden — Unternehmen, die KI-Agenten entwickeln und mit den derzeitigen Testmethoden unzufrieden sind. • Entwicklung einer Produktstrategie von Grund auf — Festlegen, wie wir diese Technologie positionieren und verkaufen: als einbettbares SaaS für KI-Plattformen, als eigenständiger Evaluationsdienst, als Integration in Developer-Tools oder andere Modelle. • Umsetzung der Go-to-Market-Strategie — Gewinnung erster Kunden aus Unternehmen, die KI-Agenten entwickeln, Aufbau von Vertriebsprozessen und Festlegung von Preismodellen für eine neue Evaluationskategorie. • Verantwortung für die technische Produktvision — Zusammenarbeit mit dem Engineering hinsichtlich Evaluations-Pipelines, Verständnis verschiedener Testansätze und Übersetzung von Bewertungsmethoden in klaren Geschäftswert.

🎯 Anforderungen

• Erfahrung mit KI-basierten Produkten oder Features — Sie haben KI-Produkte oder -Funktionen entwickelt und praktische Herausforderungen bei der Bewertung ihrer realen Qualität und ihres Geschäftswerts erlebt. • Tiefes Verständnis für KI-Agenten — Sie haben tatsächlich KI-Agenten entwickelt, mit MCPs gearbeitet, verstehen Tool-Calls und deren Sicherheitsimplikationen. • Kenntnisse von Evaluationsmethoden — Sie haben Evals erstellt, Testdatensätze aufgebaut und unterscheiden verschiedene Evaluationsansätze. • Ergebnisorientierung — Sie unterscheiden zwischen ‚Agent hat die Aufgabe abgeschlossen‘ und ‚Agent hat das Problem des Nutzers effektiv gelöst‘. • Sie fühlen sich in unklaren Situationen wohl — Sie werden viel aufbauen, Dinge unterwegs herausfinden, konstant experimentieren und gleichzeitig verschiedene Aufgaben in unterschiedlichen Bereichen übernehmen.

🏖️ Vorteile

• Vertragsverhältnis als Auftragnehmer mit einer in den USA registrierten juristischen Person. • 100% Remote — Arbeit von überall auf der Welt • Wettbewerbsfähiges Gehalt in USD + Beteiligung am Produkt, an dem Sie arbeiten — Wir orientieren uns an Marktpreisen, sind offen für Ihre Gehaltsvorstellungen und erstellen ein Angebot, das Ihrer Expertise entspricht. • Ressourcen — Budget für Tools, Weiterbildung und alles, was Sie zum erfolgreichen Arbeiten benötigen. • Schnelles Arbeitsumfeld — Wir liefern schnell, lernen zügig und iterieren anhand realer Kundenrückmeldungen.