LLMOps Engineer

Vaga não está no LinkedIn

🕒 Agosto 4

🇺🇸 Estados Unidos – Remoto (EUA)

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

👷🏻‍♀️ Engenheiro

👻 Score fantasma 13%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

The Disruptors Den

SiteLinkedInTodas as Vagas

51 - 200 funcionários

Fundada em 2023

🤝 B2B

🌍 Impacto Social

B2B • Startup • Social Impact

A The Disruptors Den é uma organização focada em inovação e empreendedorismo, oferecendo uma plataforma para startups e novas ideias prosperarem. Funciona como uma comunidade para disruptores e visionários que buscam desafiar o status quo e promover mudanças em seus respectivos setores. O objetivo da The Disruptors Den é conectar pessoas com a mesma mentalidade e fomentar um ambiente propício ao crescimento e à colaboração.

Descrição

• Build and run product-specific evaluation suites by failure mode, on schedule and with every release • Maintain cost-effective evaluations as the product line grows • Own the reporting loop by presenting evaluation findings and platform data to the team and stakeholders • Surface unintended or problematic model behaviour before learners encounter it • Steward core datasets, including classified customer-support data • Partner with the AI Product Manager on product instrumentation and build evaluations over captured data • Collaborate with Anthropic Engineers, AI engineers, product managers, and data scientists to design learning experiences • Grow from supporting the technical lead’s designs toward full ownership of the analyzer function

🎯 Requisitos

• Solid Python skills and comfort shaping and analysing messy LLM-generated data • Data inclination • Ability to decompose AI products into success and failure metrics • Familiarity with Langfuse, RAGAS, DSPy, or similar evaluation tools; depth in one and awareness of the others • Evidence of measuring an AI system honestly in a project • Willingness to own a function rather than only execute tickets • Strong communication and collaboration ability • Self-drive to communicate constantly using web collaboration and video conferencing • Preferred time zone: GMT+2 • Desirable but not required: experience keeping evaluations cheap at scale, dashboarding and reporting, and classical statistics

🏖️ Benefícios

• Encouraged to continually develop capability and attain certifications to reflect individual growth • Virtual working and collaboration across international locations