Senior ML Engineer | Kimchi (Optimierung des Inference-Stacks)

🔥 vor 27 Minuten

🌐 Deutschland, Österreich, +6 weitere Länder – Remote

🇩🇪 Deutschland – Remote 🇦🇹 Österreich – Remote 🇫🇷 Frankreich – Remote 🇮🇹 Italien – Remote 🇳🇱 Niederlande – Remote 🇵🇱 Polen – Remote 🇪🇸 Spanien – Remote 🇬🇧 Vereinigtes Königreich – Remote

⏰ Vollzeit

🟠 Senior

🤖 Machine-Learning-Entwickler

👻 Geisterscore 12%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

Cast AI

WebsiteLinkedInAlle Stellen

201 - 500 Mitarbeiter

Gegründet 2019

☁️ SaaS

🤖 Künstliche Intelligenz

🤝 B2B

SaaS • Artificial Intelligence • B2B

Cast AI ist eine SaaS-Plattform, die die Leistungsfähigkeit von Kubernetes-Anwendungen, Infrastruktur und Kostenoptimierung für cloud-native Teams automatisiert. Es verbindet sich mit EKS/AKS/GKE und lokalen Clustern ohne Codeänderungen, nutzt prädiktive Modelle und Runtime-Signale, um Pods richtig zu dimensionieren, Knoten zu skalieren, GPUs und Spot-Instanzen zu optimieren und zugelassene selbstheilende Runbooks auszuführen, um Zuverlässigkeit zu gewährleisten und Cloud-Kosten zu senken. Cast AI richtet sich an Plattform-, SRE- und FinOps-Teams und unterstützt KI/LLM-Arbeitslasten, GPU-Optimierung sowie Echtzeit-Arbeitslastplatzierung und Kostenintelligenz.

Beschreibung

• Optimierung des Durchsatzes, der Latenz, der Kaltstarts und der Kosten pro Token des Inference-Stacks • Abstimmung von Continuous Batching, Chunked Prefill, Speculative Decoding, CUDA-Graph-Capture und Schedulern über GPU-Flotten hinweg • Optimierung der Zeit bis zum ersten Token und der Latenz zwischen Tokens durch Profiling von Engpässen bei Rechenleistung, Speicherbandbreite, Scheduling, Storage und Netzwerk • Verbesserung der KV-Cache-Auslastung durch hierarchische und paged Attention, Prefix Caching, Eviction Policies und quantisierte KV-Caches • Reduzierung von Kaltstarts durch O_DIRECT- und FastSafetensors-ähnliche Weight Loader, JIT- und Compile-Caches sowie Lesezugriffe über gemeinsam genutzte Dateisysteme • Quantisierung von Weights, Aktivierungen und KV-Caches mit INT8/INT4 sowie FP8/FP4 bei gleichbleibender Qualität in realen Workloads • Skalierung verteilter Inference über mehrere Nodes durch netzwerkbewusste Platzierung, Prefill/Decode-Disaggregation und Checkpoint-Strategien ohne Engpässe • Festlegung der technischen Ausrichtung durch Auswahl von Benchmarks, zu übernehmenden Technologien und zu entwickelnden Systemen; Unterstützung von Entscheidungen durch technische Dokumentationen und reproduzierbare Experimente

🎯 Anforderungen

• Mindestens fünf Jahre Erfahrung in der Entwicklung realer ML-Systeme • Portfolio mit nachgewiesener Expertise in Inference- oder Training-Infrastruktur, nicht nur in Model-Training-Notebooks • Python auf Produktionsniveau für Services • Praxiserfahrung mit vLLM, SGLang oder TensorRT-LLM • Fundierte praktische Kenntnisse der Engine-Performance auf unterschiedlichen GPUs • Erfahrung mit der Messung von Quantisierungsregressionen • Erfahrung mit Multi-GPU- und Multi-Node-Setups, einschließlich Tensor- und Expert-Parallelismus sowie kollektiver Kommunikation • Kenntnisse zu Page Caches, O_DIRECT, Netzwerkdateisystemen und Lesezugriffen im Terabyte-Maßstab • Fähigkeit, Systeme vor der Optimierung zu instrumentieren und echte Verbesserungen von Benchmark-Artefakten zu unterscheiden • Erfahrung mit LLM-Routing, Evaluierungen der RouterBench-Klasse, Pareto-Fronten für Kosten/Qualität/Latenz, Kalibrierung, Abstention, konformen Methoden, Online-A/B-Schleifen und Drift Monitoring von Vorteil • Erfolgreicher Abschluss des gesamten Einstellungsprozesses einschließlich Recruiter-Screening, Gespräch mit der einstellenden Führungskraft, technischem System-Design-Interview, Live-Coding und abschließendem Cultural-Fit-Gespräch mit der Geschäftsleitung erforderlich • In der abschließenden Phase des Einstellungsverfahrens kann eine Hintergrundüberprüfung durchgeführt werden • Cast AI bietet keine Unterstützung bei der Beantragung von Visa oder Arbeitserlaubnissen

🏖️ Vorteile

• Wettbewerbsfähige Vergütung abhängig von der Berufserfahrung • Flexibles, globales Arbeitsumfeld mit Remote-First-Ausrichtung • Beteiligungsoptionen • 10 % der Arbeitszeit für persönliche Projekte oder die eigene Weiterentwicklung • Lernbudget für die berufliche und persönliche Weiterentwicklung, einschließlich internationaler Konferenzen und Kurse • Jährlicher Hackathon • Budget für Teambuilding und Firmenveranstaltungen • Budget für Arbeitsausstattung • Zusätzliche Urlaubstage

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen