Ingénieur ML senior | Kimchi (optimisation de la stack d’inférence)

🔥 il y a 1 minute

🌐 Allemagne, Autriche, +6 autres pays – Distant

🇩🇪 Allemagne – Télétravail 🇦🇹 Autriche – Télétravail 🇫🇷 France – Télétravail 🇮🇹 Italie – Télétravail 🇳🇱 Pays-Bas – Télétravail 🇵🇱 Pologne – Télétravail 🇪🇸 Espagne – Télétravail 🇬🇧 Royaume-Uni – Télétravail

⏰ Temps Plein

🟠 Senior

🤖 Ingénieur Machine Learning

👻 Score fantôme 12%

Ce que ça veut dire : la probabilité que personne ne recrute vraiment pour cette offre.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Cast AI

Site WebLinkedInTous les Emplois

201 - 500 employés

Fondée en 2019

☁️ SaaS

🤖 Intelligence artificielle

🤝 B2B

SaaS • Artificial Intelligence • B2B

Cast AI est une plateforme SaaS qui automatise la performance des applications Kubernetes, l'optimisation de l'infrastructure et des coûts pour les équipes natives du cloud. Elle se connecte aux clusters EKS/AKS/GKE et sur site sans modifications de code, utilise des modèles prédictifs et des signaux d'exécution pour adapter la taille des pods, faire évoluer les nœuds, optimiser les GPU et les instances Spot, et exécuter des scripts d'auto-réparation approuvés pour maintenir la fiabilité et réduire les dépenses liées au cloud. Cast AI cible les équipes de plateforme, SRE et FinOps et prend en charge les charges de travail AI/LLM, l'optimisation des GPU, le placement des charges de travail en temps réel et l'intelligence des coûts.

Description

• Optimiser le débit, la latence, les démarrages à froid et le coût par token de la stack d’inférence • Régler le continuous batching, le chunked prefill, le speculative decoding, la capture de CUDA Graphs et les schedulers sur des flottes de GPU • Optimiser le time to first token et la latence inter-tokens en analysant les performances du calcul, de la bande passante mémoire, de l’ordonnancement, du stockage et du réseau • Améliorer l’utilisation du KV cache grâce à l’attention hiérarchique et paginée, au prefix caching, aux politiques d’éviction et au KV quantifié • Réduire les démarrages à froid à l’aide de chargeurs de poids de type O_DIRECT et fastsafetensors, des caches JIT et de compilation, ainsi que des chemins de lecture sur systèmes de fichiers partagés • Quantifier les poids, les activations et le KV en INT8/INT4 et FP8/FP4 tout en préservant la qualité sur des workloads réels • Faire évoluer l’inférence distribuée entre plusieurs nœuds grâce à un placement tenant compte du réseau, à la désagrégation prefill/decode et à des stratégies de gestion des checkpoints sans goulot d’étranglement • Définir les orientations techniques en choisissant les benchmarks, les technologies à adopter et les systèmes à construire ; étayer les décisions par des notes techniques et des expériences reproductibles

🎯 Exigences

• Au moins 5 ans d’expérience dans la conception de systèmes ML réels • Portfolio démontrant une expertise approfondie en infrastructure d’inférence ou d’entraînement, au-delà de simples notebooks d’entraînement de modèles • Maîtrise de Python en environnement de production pour les services • Expérience concrète de vLLM, SGLang ou TensorRT-LLM • Bonne compréhension pratique des performances des moteurs sur différents GPU • Expérience de la mesure des régressions liées à la quantification • Expérience des configurations multi-GPU et multi-nœuds, notamment du tensor parallelism, de l’expert parallelism et des communications collectives • Connaissance des page caches, d’O_DIRECT, des systèmes de fichiers réseau et des lectures à l’échelle du téraoctet • Capacité à instrumenter les systèmes avant de les optimiser et à distinguer les améliorations réelles des artefacts de benchmark • Une expérience du routage des LLM, des évaluations de type RouterBench, des fronts de Pareto coût/qualité/latence, de la calibration, de l’abstention, des méthodes conformes, des boucles A/B en ligne et de la surveillance de la dérive constitue un atout • Le processus de recrutement doit être mené à son terme : échange avec un recruteur, entretien avec le hiring manager, entretien technique de conception de systèmes, live coding et évaluation de la culture d’entreprise avec un membre de la direction • Une vérification des antécédents peut être réalisée lors de la dernière étape du recrutement • Cast AI ne prend pas en charge le sponsoring de visa ni les autorisations de travail

🏖️ Avantages

• Rémunération attractive (selon le niveau d’expérience) • Environnement international, flexible et privilégiant le télétravail • Attribution de parts ou d’options au capital • 10 % du temps de travail consacré à des projets personnels ou au développement des compétences • Budget de formation pour le développement professionnel et personnel, notamment pour participer à des conférences internationales et suivre des formations • Hackathon annuel • Budget dédié au team building et événements d’entreprise • Budget pour l’équipement • Jours de congé supplémentaires

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV