LLMOps Engineer

Stelle nicht auf LinkedIn

🕒 vor 3 Tagen

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

The Disruptors Den

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet 2023

🤝 B2B

🌍 Soziale Wirkung

B2B • Startup • Social Impact

The Disruptors Den ist eine Organisation, die sich auf Innovation und Unternehmertum konzentriert und eine Plattform für Startups und neue Ideen bietet, um zu gedeihen. Sie dient als Gemeinschaft für Disruptoren und Visionäre, die den Status quo herausfordern und Veränderungen in ihren jeweiligen Branchen vorantreiben möchten. Das Ziel von The Disruptors Den ist es, gleichgesinnte Individuen zu verbinden und ein Umfeld zu schaffen, das Wachstum und Zusammenarbeit fördert.

Beschreibung

• Build and run product-specific evaluation suites by failure mode, on schedule and with every release • Maintain cost-effective evaluations as the product line grows • Own the reporting loop by presenting evaluation findings and platform data to the team and stakeholders • Surface unintended or problematic model behaviour before learners encounter it • Steward core datasets, including classified customer-support data • Partner with the AI Product Manager on product instrumentation and build evaluations over captured data • Collaborate with Anthropic Engineers, AI engineers, product managers, and data scientists to design learning experiences • Grow from supporting the technical lead’s designs toward full ownership of the analyzer function

🎯 Anforderungen

• Solid Python skills and comfort shaping and analysing messy LLM-generated data • Data inclination • Ability to decompose AI products into success and failure metrics • Familiarity with Langfuse, RAGAS, DSPy, or similar evaluation tools; depth in one and awareness of the others • Evidence of measuring an AI system honestly in a project • Willingness to own a function rather than only execute tickets • Strong communication and collaboration ability • Self-drive to communicate constantly using web collaboration and video conferencing • Preferred time zone: GMT+2 • Desirable but not required: experience keeping evaluations cheap at scale, dashboarding and reporting, and classical statistics

🏖️ Vorteile

• Encouraged to continually develop capability and attain certifications to reflect individual growth • Virtual working and collaboration across international locations