Software Engineer – Benchmarking

🕒 il y a 2 mois

🏄 California, New York – Distant

🏄 California – Remote 🗽 New York – Remote

💵 $160 000 - $210 000 / an

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

🧑‍💻 Développeur Full-Stack

👻 Score fantôme 0%

Ce que ça veut dire : la probabilité que personne ne recrute vraiment pour cette offre.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Office Hours

Site WebLinkedInTous les Emplois

11 - 50 employés

Fondée en 2020

💼 Conseil

🏥 Santé

📣 Marketing

💰 €5 000 000 Seed Round - Office Hours en 2021-02

Consulting • Healthcare • Marketing

Office Hours est une plateforme qui met en relation des professionnels des secteurs de la technologie et des sciences de la vie avec des entreprises, chercheurs et équipes produits, leur permettant de gagner de l'argent en partageant leur expertise. Les experts participent à des consultations payantes de 30 à 60 minutes, des sondages courts, et des tâches de formation de modèles d'IA (étiquetage de données, RLHF, évaluation par experts), tandis que la plateforme gère la planification, les paiements et l'appariement des opportunités. Elle fonctionne comme une place de marché mondiale et un service de type SaaS, permettant aux experts de monétiser leurs connaissances et d'influencer les décisions liées à l'IA et aux produits.

Description

• Prepare and maintain benchmark datasets, including cleaning, preparation, conversion into runnable formats, validation, and ongoing maintenance • Build and maintain infrastructure and evaluation pipelines across model APIs and terminal agents • Create lightweight, containerized environments and viewers for tasking and tool-use evaluation • Support fine-tuning of small open-source LLMs and compare baseline with post-training performance • Develop scoreboards and leaderboards showing model-, benchmark-, task-, domain-, and rubric-level performance • Build analysis tools to identify failure modes, compare models and agent scaffolds, and track capability changes over time • Collaborate with researchers and engineers to ensure evaluation data and outputs are accurate, consistent, and integrated into published work • Build HTML viewers and internal tools for task authoring, review, quality control, and structured data collection

🎯 Exigences

• 4+ years of professional experience building and maintaining complex systems • Strong Python skills • Ability to write robust, maintainable code and work deeply in existing codebases and infrastructure • Experience preparing, cleaning, and maintaining datasets • Experience with Docker and reproducible execution environments • Ability to collaborate with researchers and scientists and translate methodology into working systems • Hands-on AI evaluation experience or experience with Harbor, Terminal-Bench, or Inspect is a strong plus • Experience with Python, model APIs, agent/evaluation frameworks, and custom evaluation tooling • Experience with terminal agents and open-source models via the Hugging Face ecosystem and PyTorch • Experience with Docker • Experience with React, Next.js, and Tailwind • Experience with GitHub, Slack, Notion, and Linear • Fine-tuning or post-training open-source LLM experience, or other hands-on machine learning work, is bonus experience • Experience with agentic, multi-turn, long-context, or tool-use evaluation is bonus experience • Experience validating LLM-as-judge or rubric-based grading setups is bonus experience • Background or strong interest in a scientific or technical domain is bonus experience • Experience building data-heavy dashboards, leaderboards, or visualizations is bonus experience • Open-source contributions or published work related to benchmarks and measurement is bonus experience

🏖️ Avantages

• Competitive salary and equity • Medical, dental, and vision coverage • 401(k) • Monthly wellness and fitness stipend • Paid time off policy, along with company holidays • Annual company off-sites (Tahoe, Mendocino, Mexico City, San Diego, Park City) • Parent-friendly policies • Remote flexibility • Paid family leave

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV