Ingénieur Machine Learning — Optimisation de l'entraînement

Emploi pas sur LinkedIn

🕒 il y a 6 mois

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

Featherless AI

Site WebLinkedInTous les Emplois

1 - 10 employés

Fondée en 2023

🤖 Intelligence artificielle

☁️ SaaS

🔌 API

Artificial Intelligence • SaaS • API

Featherless AI est un fournisseur de services d'inférence AI sans serveur et d'hébergement de modèles qui offre un accès API à un vaste catalogue de modèles à poids ouvert (plus de 12 200), permettant aux développeurs et aux entreprises de déployer, ajuster et exécuter des modèles à grande échelle sans gérer de serveurs. La société propose un tarif d'abonnement forfaitaire avec des jetons illimités, l'orchestration GPU, une utilisation privée/anonyme (sans journaux) et des options de self-hosting pour les entreprises ou des unités de mise à l'échelle pour une haute simultanéité. Featherless AI fonctionne également comme un laboratoire de recherche en intelligence artificielle axé sur la recherche open-source et post-transformateur, revendiquant des améliorations significatives en termes de coûts et de performance pour les grands modèles et agents IA.

Description

• Optimiser les pipelines d'entraînement de modèles à grande échelle (débit, convergence, stabilité et coût) • Améliorer les stratégies d'entraînement distribué (parallélisme de données, de modèle et de pipeline) • Ajuster les optimiseurs, les schedulers, la taille des batches et la précision (bf16 / fp16 / fp8) • Réduire le temps d'entraînement et le coût de calcul via le profilage, l'analyse des goulots d'étranglement et des améliorations côté système • Collaborer avec les chercheurs sur des stratégies d'entraînement tenant compte de l'architecture des modèles • Concevoir et maintenir une infrastructure d'entraînement robuste (sauvegarde d'état / checkpointing, tolérance aux pannes, reproductibilité) • Évaluer et intégrer de nouvelles techniques d'entraînement (p. ex. gradient checkpointing, ZeRO, FSDP, kernels personnalisés) • Prendre en charge les métriques de performance d'entraînement et les améliorer en continu

🎯 Exigences

• Solide expérience d'entraînement de grands réseaux de neurones (LLM ou modèles de taille comparable) • Expérience pratique en optimisation de l'entraînement (pas seulement en utilisation de modèles) • Bonne maîtrise de : • - la rétropropagation, des algorithmes d'optimisation et de la dynamique d'entraînement • - des systèmes distribués pour l'entraînement (ML) • Expérience avec PyTorch (exigée) • À l'aise pour travailler près du matériel (GPU, contraintes mémoire et réseau) • Capacité à passer aisément d'idées de recherche à du code prêt pour la production • Atouts • Expérience en entraînement distribué à grande échelle (multi‑nœud, multi‑GPU) • Familiarité avec DeepSpeed, FSDP, Megatron ou des stacks d'entraînement personnalisés • Expérience d'optimisation sur GPU AMD ou NVIDIA • Contributions à des infrastructures ML open-source ou à des bases de code de recherche • Exposition à des architectures non-Transformer (RNN, modèles hybrides, etc.)

🏖️ Avantages

• Rémunération compétitive et attribution d'actions/options significative