Research Engineer, QC Automation

Emploi pas sur LinkedIn

🕒 il y a 1 mois

🏄 California – Distant

🏄 California – Remote

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

📚 Ingénieur de Recherche

👻 Score fantôme 21%

Ce que ça veut dire : la probabilité que personne ne recrute vraiment pour cette offre.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

hud (YC W25)

Site WebLinkedInTous les Emplois

1 - 10 employés

Fondée en 2025

🤖 Intelligence artificielle

☁️ SaaS

🤝 B2B

Artificial Intelligence • SaaS • B2B

hud est une plateforme d’évaluation conçue pour les agents d’IA, qui facilite l’évaluation et l’amélioration itérative de ces agents dans une grande variété d’environnements et de tâches. Grâce à des outils destinés aussi bien aux chercheurs qu’aux professionnels, hud permet d’évaluer rapidement les modèles d’IA et d’intégrer des outils existants, tout en garantissant des résultats rapides grâce à l’orchestration d’évaluations machine concurrentes. Son architecture flexible prend en charge les tâches personnalisées et divers workflows, ce qui en fait une solution robuste pour améliorer les performances et les capacités de l’IA.

Description

• Build systems to automate quality control for training data created using HUD’s infrastructure • Create QC systems based on true understanding and human judgment, without heavy reliance on LLMs • Define and enforce quality standards for training data • Design experiments and metrics to grade agent outputs • Partner with data vendors to debug quality issues and diagnose agent failure modes • Provide actionable feedback and improve vendor data-generation processes • Translate QC learnings into supplier-dataset auditing systems, including sampling strategies, validation pipelines, and feedback loops • Integrate QC learnings into infrastructure tools and the data vendor portal to reduce anomalies, inconsistencies, and edge cases • Participate in a process involving two technical interviews and a 2–3 day work trial

🎯 Exigences

• Proficiency in Python, Docker, and Linux environments • Strong understanding of what “good data” means and how to measure it • Genuine curiosity of different domains and ability to ask questions to understand them • Experience building scalable data validation pipelines and automated QA/QC systems end-to-end without a fully prescribed roadmap • Experience working on benchmarks and evals, including reasoning about realistic tasks, reliable rubrics, usable environments, and useful RL training trajectories • Early-stage startup experience • Ability to work independently in fast-paced environments • Knowledge of statistics may be beneficial • Strong written and verbal communication skills may be beneficial • Comfort designing metrics, experiments, and QA/QC processes may be beneficial • Experience with existing benchmarks and constructing tasks in new evals may be beneficial • Ability to thrive in unstructured problem spaces • Ability to work hours that overlap 70–80% with either San Francisco or Singapore time zones for remote work • Technical aptitude and learning potential prioritized over years of experience

🏖️ Avantages

• 100% covered top-of-the-line medical, dental, and vision from Blue Shield of CA (US employees) • Lunch and dinner when you’re in the office (in-office employees) • Company-wide holiday break (Christmas Eve to New Year’s Day) on top of PTO and paid holidays • PTO and paid holidays • Equinox membership (US employees) • 401k (US employees) • Commuter benefits (US employees) • Unlimited access to tokens for ChatGPT, Claude Code, Cursor, etc. • Support for relocation and visas for strong full-time candidates to the US or Singapore

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV