Research Engineer, QC Automation

Stelle nicht auf LinkedIn

🕒 vor 1 Monat

🏄 California – Remote

🏄 California – Remote

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

📚 Forschungsingenieur

👻 Geisterscore 21%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

hud (YC W25)

WebsiteLinkedInAlle Stellen

1 - 10 Mitarbeiter

Gegründet 2025

🤖 Künstliche Intelligenz

☁️ SaaS

🤝 B2B

Artificial Intelligence • SaaS • B2B

hud ist eine Evaluationsplattform für AI Agents, mit der sich diese in unterschiedlichsten Umgebungen und bei vielfältigen Aufgaben bewerten und weiterentwickeln lassen. Mit Tools für Researchers und Professionals ermöglicht hud die schnelle Evaluation von AI-Modellen und die Integration bestehender Tools. Durch die Orchestrierung paralleler Machine Evaluations liefert die Plattform dabei zügig Ergebnisse. Die flexible Architektur unterstützt individuelle Tasks und verschiedenste Workflows und macht hud zu einer leistungsstarken Lösung, um die Performance und Fähigkeiten von AI zu verbessern.

Beschreibung

• Build systems to automate quality control for training data created using HUD’s infrastructure • Create QC systems based on true understanding and human judgment, without heavy reliance on LLMs • Define and enforce quality standards for training data • Design experiments and metrics to grade agent outputs • Partner with data vendors to debug quality issues and diagnose agent failure modes • Provide actionable feedback and improve vendor data-generation processes • Translate QC learnings into supplier-dataset auditing systems, including sampling strategies, validation pipelines, and feedback loops • Integrate QC learnings into infrastructure tools and the data vendor portal to reduce anomalies, inconsistencies, and edge cases • Participate in a process involving two technical interviews and a 2–3 day work trial

🎯 Anforderungen

• Proficiency in Python, Docker, and Linux environments • Strong understanding of what “good data” means and how to measure it • Genuine curiosity of different domains and ability to ask questions to understand them • Experience building scalable data validation pipelines and automated QA/QC systems end-to-end without a fully prescribed roadmap • Experience working on benchmarks and evals, including reasoning about realistic tasks, reliable rubrics, usable environments, and useful RL training trajectories • Early-stage startup experience • Ability to work independently in fast-paced environments • Knowledge of statistics may be beneficial • Strong written and verbal communication skills may be beneficial • Comfort designing metrics, experiments, and QA/QC processes may be beneficial • Experience with existing benchmarks and constructing tasks in new evals may be beneficial • Ability to thrive in unstructured problem spaces • Ability to work hours that overlap 70–80% with either San Francisco or Singapore time zones for remote work • Technical aptitude and learning potential prioritized over years of experience

🏖️ Vorteile

• 100% covered top-of-the-line medical, dental, and vision from Blue Shield of CA (US employees) • Lunch and dinner when you’re in the office (in-office employees) • Company-wide holiday break (Christmas Eve to New Year’s Day) on top of PTO and paid holidays • PTO and paid holidays • Equinox membership (US employees) • 401k (US employees) • Commuter benefits (US employees) • Unlimited access to tokens for ChatGPT, Claude Code, Cursor, etc. • Support for relocation and visas for strong full-time candidates to the US or Singapore

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen