Ingénieur·e en développement de tâches

Emploi pas sur LinkedIn

🔥 il y a quelques secondes

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

METR

Site WebLinkedInTous les Emplois

11 - 50 employés

Fondée en 2022

🤖 Intelligence artificielle

☁️ SaaS

Artificial Intelligence • Research • SaaS

METR est un organisme de recherche axé sur l'évaluation et la compréhension des capacités et des risques des systèmes d'IA de pointe. Ils développent et réalisent des tests pour mesurer les performances de l'IA, en particulier dans les capacités autonomes et la recherche et développement en IA. En collaborant avec des entreprises leaders en IA comme Anthropic et OpenAI, METR vise à améliorer les évaluations tierces pour gérer de manière globale les risques émergents des technologies avancées de l'IA.

Description

• Développer des tâches difficiles et inédites pour des modèles d'IA qui restent exigeantes à mesure que l'horizon temporel des modèles s'étend • Assurer l'assurance qualité des tâches existantes : vérifier leur résolubilité et que les modèles ne reçoivent que les informations nécessaires • Établir des tâches de référence (baselines) dans vos domaines d'expertise lorsque pertinent • Noter (scorer) les complétions de tâches réalisées par des IA ou des baselines humains • Améliorer l'infrastructure et les workflows de développement de tâches • Participer aux évaluations des systèmes d'IA de pointe soutenant la méthodologie Time Horizons de METR

🎯 Exigences

• Plusieurs années d'expérience sur des projets d'ingénierie logicielle complexes et des bases de code • Expérience dans la construction d'évaluations d'IA difficiles, idéalement basées sur des agents • Expérience avec des évaluations telles que RE-Bench, HCAST, SWE-bench Verified, Cybench ou GPQA • Idéalement expérience de l'utilisation du framework Inspect • Grande attention aux détails, notamment la détection de spécifications incorrectes et d'ambiguïtés • La connaissance de l'infrastructure METR, incluant Hawk, est un plus • La familiarité avec la méthodologie derrière le travail Time Horizons de METR est un plus • Disponibilité de 20 à 40 heures par semaine • Minimum d'une heure de recouvrement avec la journée de travail du fuseau horaire Pacific Coast Time

🏖️ Avantages

• Horaires flexibles définis par vous • Télétravail possible partout dans le monde • Temps de travail flexible de 20 à 40 heures par semaine • Les contributeurs ayant plus de 80 heures seront mentionnés dans le rendu final de la recherche (si souhaité)