Senior Applied AI Engineer, Agent Quality & Evaluations

🕒 Setembro 23

🏄 California – Remoto

🏄 California – Remote

💵 $150.000 - $250.000 / ano

⏰ Tempo Integral

🟠 Sênior

🤖 Engenheiro de IA

👻 Score fantasma 0%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Flodesk

SiteLinkedInTodas as Vagas

11 - 50 funcionários

Fundada em 2017

☁️ SaaS

🛍️ Comércio Eletrônico

📣 Marketing

SaaS • eCommerce • Marketing

A Flodesk é uma empresa que oferece ferramentas de software simples e intuitivas para email marketing, permitindo que empreendedores e pequenas empresas expandam seus negócios. A plataforma possibilita que os usuários projetem e enviem e-mails de marketing alinhados com a marca, criem páginas de vendas, aceitem pagamentos online e utilizem formulários de opt-in para aumentar suas listas. Com templates bonitos e personalizáveis e capacidades avançadas de automação, a Flodesk busca simplificar o processo de marketing. Ela também oferece análises robustas para entender o desempenho das campanhas e integrações com várias ferramentas de terceiros via API. A Flodesk atende empresas de todos os tamanhos com opções de planos personalizados e fornece recursos através da Flodesk University para treinamento na plataforma.

Descrição

• Manage member-facing AI behavior across prompt-to-create, agentic editing and future jobs such as segmentation, scheduling, analytics and recommendations • Create, test, version and document prompts and agent instructions • Define system use of context, member data, tools and product state • Build and prototype agent loops, tools and structured interfaces • Own AI evaluation practice, including representative datasets, behavioral scenarios, scoring rubrics, regression suites and human review • Build and operate evaluation harnesses, monitoring and quality dashboards • Diagnose failures across prompts, context, orchestration, models, tools, data and product code • Set quality baselines and release gates for prompt, model and agent changes • Turn production failures, traces and member feedback into durable regression cases • Partner with product, design, marketing and copy experts to encode Flodesk's point of view into the system

🎯 Requisitos

• A track record of building or meaningfully improving production LLM or agentic products, not just prototypes • Strong software engineering skills in Python, TypeScript or a similar language • Understanding of the interaction between prompts, context, tools, agent loops, orchestration and product state • Direct experience with LLM evaluation, observability and experimental design • Ability to combine automated checks with human judgment • Strong product sense for translating ambiguous member feedback into testable quality definitions and concrete system changes • Systems thinking and reusable patterns • Clear communication across technical and nontechnical disciplines • Bonus: experience building content-generation, creative or marketing tools • Bonus: experience building multi-turn agents that use tools and preserve user intent across edits • Bonus: experience with Langfuse, Braintrust or comparable evaluation and observability platforms • Bonus: experience working on products for small businesses, creators or marketers

🏖️ Benefícios

• Fully paid health insurance for individual coverage • 16 weeks paid parental leave for non-birthing parents • 22 weeks paid maternity leave for birthing parents • Unlimited flexible time off • 401(k) match (US employees only) • $1,000 annual stipend for learning and development