Responsable de l’équipe Évaluation

Emploi pas sur LinkedIn

🔥 il y a 9 minutes

🇪🇺 Europe – Télétravail

⏰ Temps Plein

🟠 Senior

👻 Score fantôme 12%

infoinfo

🗣️🇺🇸🇬🇧 Anglais requis

Postuler Maintenant
Trouver des Emplois à Distance Similaires

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Logo of Fundamental

Fundamental

51 - 200 employés

Fondée en 2024

🤖 Intelligence artificielle

🏢 Entreprise

☁️ SaaS

Artificial Intelligence • Enterprise • SaaS

Fundamental est une entreprise d'IA d'entreprise qui développe de grands modèles tabulaires (LTM) tels que NEXUS, pré-entraînés sur des milliards de tableaux pour détecter des motifs et prédire des résultats à partir de données structurées. L'entreprise propose une plateforme d'analytique prédictive de niveau entreprise qui peut être déployée avec un minimum de code ou intégrée en profondeur avec des partenaires cloud comme AWS, mettant l'accent sur la confidentialité, la sécurité et l'évolutivité. Née de la recherche académique et soutenue par d'importants investisseurs, Fundamental cible les grandes organisations cherchant à extraire des prévisions de leurs bases de données et à déployer des modèles prédictifs à l'échelle du cloud.

Description

• Diriger l’équipe chargée de mesurer les performances de NEXUS, le Large Tabular Model de Fundamental • Concevoir et maintenir une plateforme d’évaluation partagée pour les équipes Engineering, Research et Applied AI • Ajouter et maintenir en continu des modèles et des jeux de données sélectionnés pour le benchmarking et l’analyse indépendants • Définir les standards relatifs aux métriques, aux découpages des données, à la prévention des fuites de données, à la calibration, à l’incertitude et à la contamination des benchmarks • Construire des pipelines reproductibles avec des entrées et des artefacts versionnés • Intégrer des contrôles de régression aux workflows de recherche et de mise en production • Comparer NEXUS aux approches concurrentes en appliquant des budgets équitables pour le tuning, l’accès aux données, les ressources de calcul et les protocoles de mesure de la latence • Accompagner les évaluations de proof of concept des clients d’Applied AI grâce aux outils, aux recommandations méthodologiques et à l’analyse • Mesurer la qualité prédictive, la latence et les coûts selon les configurations de déploiement, les types de tâches et les caractéristiques des jeux de données • Transformer les résultats en priorités de recherche, recommandations de mise en production et plans d’amélioration client étayés par des données • Recruter et faire évoluer une équipe de petite taille, définir les priorités et rester impliqué(e) dans le code et la conception d’expériences

🎯 Exigences

• Expérience dans la responsabilité de l’évaluation de systèmes de ML tabulaire utilisés en production ou pour des décisions clients à fort enjeu • Solide capacité de jugement statistique : choix des métriques et des schémas de validation, estimation de l’incertitude, comparaison de modèles sur différents jeux de données et prise en compte des expérimentations répétées • Expérience pratique de la détection des fuites de données dans le preprocessing, la construction de features, les jointures, les dépendances temporelles et les entités liées entre les différents splits • Excellente maîtrise de Python et SQL • Connaissance de scikit-learn et des gradient-boosted trees • Expérience dans la création d’outils ou de plateformes ML fiables utilisés par d’autres équipes • Expérience dans la conception de comparaisons de modèles équitables, notamment la recherche d’hyperparamètres, les budgets de ressources et la mesure de la latence de bout en bout • Expérience préalable du management d’équipe, notamment en recrutement, accompagnement technique et feedback de performance, tout en restant techniquement impliqué(e) • Excellentes capacités de communication écrite et orale avec des chercheurs, des ingénieurs et des data scientists côté client • Expérience de l’évaluation de foundation models tabulaires ou de systèmes AutoML (un plus) • Expérience de la mesure de l’impact des optimisations de modèles sur la qualité prédictive et les performances d’inférence (un plus) • Expérience des données relationnelles ou multi-tables, ainsi que des environnements Snowflake ou Databricks (un plus) • Expérience de l’évaluation de workflows ML automatisés ou pilotés par des agents, notamment des échecs que les métriques agrégées peuvent masquer (un plus)

🏖️ Avantages

• Rémunération attractive comprenant un salaire fixe et des actions • Couverture santé complète pour vous et vos ayants droit • Congé parental rémunéré pour tous les nouveaux parents, y compris dans le cadre d’une adoption ou d’un parcours de gestation pour autrui • Aide à la mobilité pour les salariés qui déménagent afin de rejoindre l’équipe dans l’un de nos bureaux • Culture guidée par une mission et dépourvue d’ego, valorisant la diversité des points de vue, le sens des responsabilités et le pragmatisme orienté vers l’action • Poste entièrement en télétravail en Europe ou en Israël • Séminaires mensuels de l’entreprise à Barcelone, avec 4 jours de déplacement

Postuler Maintenant

Emplois Similaires

🕒 il y a 2 mois

Adhoq

11 - 50

💼 Conseil

📦 Logistique

📣 Marketing

Team Lead pilotant les stratégies d'achat média et encadrant une équipe dans une agence internationale de performance marketing. Axé sur la montée en puissance de campagnes rentables sur plusieurs verticales et zones géographiques.

🇪🇺 Europe – Télétravail

⏰ Temps Plein

🟠 Senior

🗣️🇺🇸🇬🇧 Anglais requis

🕒 il y a 3 mois

TSMG Holding

51 - 200

💼 Conseil

📦 Logistique

🤖 Intelligence artificielle

Team Lead coordinating field data collection projects for TSMG across EU countries. Managing teams, schedules, and ensuring quality performance in urban imaging initiatives.

🇪🇺 Europe – Télétravail

⏰ Temps Plein

🟠 Senior

🗣️🇺🇸🇬🇧 Anglais requis