Software Engineer – Benchmarking

🕒 vor 2 Monaten

🏄 California, New York – Remote

🏄 California – Remote 🗽 New York – Remote

💵 $160.000 - $210.000 / Jahr

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

🧑‍💻 Full-Stack-Entwickler

👻 Geisterscore 15%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Office Hours

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2020

💼 Beratung

🏥 Gesundheitswesen

📣 Marketing

💰 €5.000.000 Seed Round - Office Hours im 2021-02

Consulting • Healthcare • Marketing

Office Hours ist eine Plattform, die Fachleute aus den Bereichen Technologie und Biowissenschaften mit Unternehmen, Forschern und Produktteams verbindet, um durch den Austausch von Fachwissen Geld zu verdienen. Experten nehmen an bezahlten 30- bis 60-minütigen Beratungen, kurzen Umfragen und Aufgaben zur KI-Modellschulung (Datenkennzeichnung, RLHF, Expertenbewertung) teil, während die Plattform die Planung, Zahlungsabwicklung und Chancenvermittlung übernimmt. Sie agiert als globaler Marktplatz und SaaS-ähnlicher Service, der es Fachleuten ermöglicht, Wissen zu monetarisieren und die KI- und Produktentscheidungen mitzugestalten.

Beschreibung

• Prepare and maintain benchmark datasets, including cleaning, preparation, conversion into runnable formats, validation, and ongoing maintenance • Build and maintain infrastructure and evaluation pipelines across model APIs and terminal agents • Create lightweight, containerized environments and viewers for tasking and tool-use evaluation • Support fine-tuning of small open-source LLMs and compare baseline with post-training performance • Develop scoreboards and leaderboards showing model-, benchmark-, task-, domain-, and rubric-level performance • Build analysis tools to identify failure modes, compare models and agent scaffolds, and track capability changes over time • Collaborate with researchers and engineers to ensure evaluation data and outputs are accurate, consistent, and integrated into published work • Build HTML viewers and internal tools for task authoring, review, quality control, and structured data collection

🎯 Anforderungen

• 4+ years of professional experience building and maintaining complex systems • Strong Python skills • Ability to write robust, maintainable code and work deeply in existing codebases and infrastructure • Experience preparing, cleaning, and maintaining datasets • Experience with Docker and reproducible execution environments • Ability to collaborate with researchers and scientists and translate methodology into working systems • Hands-on AI evaluation experience or experience with Harbor, Terminal-Bench, or Inspect is a strong plus • Experience with Python, model APIs, agent/evaluation frameworks, and custom evaluation tooling • Experience with terminal agents and open-source models via the Hugging Face ecosystem and PyTorch • Experience with Docker • Experience with React, Next.js, and Tailwind • Experience with GitHub, Slack, Notion, and Linear • Fine-tuning or post-training open-source LLM experience, or other hands-on machine learning work, is bonus experience • Experience with agentic, multi-turn, long-context, or tool-use evaluation is bonus experience • Experience validating LLM-as-judge or rubric-based grading setups is bonus experience • Background or strong interest in a scientific or technical domain is bonus experience • Experience building data-heavy dashboards, leaderboards, or visualizations is bonus experience • Open-source contributions or published work related to benchmarks and measurement is bonus experience

🏖️ Vorteile

• Competitive salary and equity • Medical, dental, and vision coverage • 401(k) • Monthly wellness and fitness stipend • Paid time off policy, along with company holidays • Annual company off-sites (Tahoe, Mendocino, Mexico City, San Diego, Park City) • Parent-friendly policies • Remote flexibility • Paid family leave