Lead Research Engineer, Data Quality

Vaga não está no LinkedIn

🕒 Setembro 23

🌐 Estados Unidos, Singapura – Remoto

🇺🇸 Estados Unidos – Remoto (EUA) 🇸🇬 Singapura – Remoto

🏄 California – Remoto

🏄 California – Remote

⏰ Tempo Integral

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 15%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

hud (YC W25)

SiteLinkedInTodas as Vagas

1 - 10 funcionários

Fundada em 2025

🤖 Inteligência Artificial

☁️ SaaS

🤝 B2B

Artificial Intelligence • SaaS • B2B

A hud é uma plataforma de avaliação desenvolvida para agentes de IA, que facilita a avaliação e a iteração desses agentes em diversos ambientes e tarefas. Com ferramentas voltadas tanto para pesquisadores quanto para profissionais, a hud permite avaliar rapidamente modelos de IA e integrar ferramentas existentes, garantindo resultados ágeis por meio da orquestração de avaliações simultâneas em máquinas. Sua arquitetura flexível oferece suporte a tarefas personalizadas e fluxos de trabalho diversos, tornando-a uma solução robusta para aprimorar o desempenho e as capacidades da IA.

Descrição

• Lead HUD’s data quality strategy, including building QC systems, defining and enforcing quality standards, and designing experiments to grade agent outputs • Develop methods for validating synthetic data at scale, including failure-mode analysis, task mutation checks, and trajectory auditing • Partner with research engineers, domain experts, and data vendors to diagnose quality issues and improve data generation workflows • Turn qualitative research insights into production systems, internal tools, dashboards, validation pipelines, and feedback loops • Build internal research taste around what makes agent training data useful, not just superficially correct • Mentor research engineers to maintain high standards for technical rigor, clarity, and execution speed • Lead the data quality team in evaluating thousands of tasks across RL environments, synthetic data, benchmarks, and domain-specific workflows

🎯 Requisitos

• Advanced proficiency in Python, Docker, and Linux environments • Deep intuition for data quality, including what makes tasks realistic, learnable, diverse, reliable, and useful for training • Experience building QC systems, evals, benchmarks, synthetic data pipelines, validation workflows, or model evaluation infrastructure • Comfort working across messy human and technical systems, including domain experts, vendors, generated data, model outputs, graders, and infrastructure • Strong written communication and ability to explain methodology clearly to researchers, engineers, labs, and external audiences • Experience leading teams on ambiguous technical projects from problem definition through implementation and iteration • Experience working with subject-matter experts to capture domain judgment and convert it into scalable review or generation systems • Ability to design metrics, experiments, and QA/QC processes • Early-stage startup experience and ability to work independently in fast-paced environments • Detail-oriented with ability to spot subtle inconsistencies or edge cases in data • Ability to work hours that overlap 70–80% with San Francisco or Singapore time zones

🏖️ Benefícios

• 100% covered top-of-the-line medical, dental, and vision from Blue Shield of CA (US employees) • Lunch and dinner when you’re in the office (in-office employees) • Company-wide holiday break (Christmas Eve to New Year’s Day) on top of PTO and paid holidays • Equinox membership (US employees) • 401k (US employees) • Commuter benefits (US employees) • Unlimited access to tokens for ChatGPT, Claude Code, Cursor, etc. • Support for relocation and visas for strong full-time candidates to the US or Singapore