Senior-/Lead Machine-Learning-Engineer (Inference) – Deutschland

🔥 vor 41 Minuten

🇩🇪 Deutschland – Remote

⏰ Vollzeit

🟠 Senior

🤖 Machine-Learning-Entwickler

👻 Geisterscore 13%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Inworld AI

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet 2021

💼 Beratung

🤖 Künstliche Intelligenz

🔌 API

💰 €50.000.000 Series A im 2022-08

Consulting • Artificial Intelligence • API

Inworld AI ist eine auf Entwickler fokussierte Konversations-KI-Plattform, die eine echtzeitfähige, anbieterunabhängige Laufzeitumgebung und qualitativ hochwertige Sprachsynthese (TTS) für den Aufbau ausdrucksstarker Sprachagenten und virtueller Charaktere bietet. Sie ermöglicht mehrsprachige, latenzarme Sprachübertragung, sofortige Klonung, Emotionen und nonverbale Steuerungen sowie eine API-basierte Integrationsschicht mit Vorlagen und Pipelines, die für Skalierung und Kostenoptimierung ausgelegt sind. Die Plattform wird in Spielen, Medien, Kontaktzentren und anderen interaktiven Erlebnissen eingesetzt, um das Engagement zu steigern und Infrastrukturkosten zu senken.

Beschreibung

• Entwicklung und Optimierung von Echtzeit-Inferenzsystemen für KI-Anwendungen für Endnutzer • Arbeit mit hauseigenen Sprachmodellen, LLM-Serving und modularen Echtzeit-APIs mit hohem Datenvolumen • Optimierung der Modellbereitstellung und Inferenzleistung mithilfe moderner Serving-Frameworks und Beschleunigungstechniken • Profiling und Optimierung von Code sowie NVIDIA-GPU-Workloads im Hinblick auf Latenz und Durchsatz • Skalierung der Inferenz über Kubernetes-, Ray-, Multi-GPU- und Multi-Node-Umgebungen hinweg • Zuverlässige Verarbeitung von Tausenden gleichzeitig aktiven Verbindungen • Überführung von Modellen aus der Forschung über Containerisierung und Serving-Optimierung bis hin zum produktiven Deployment • Tägliche Zusammenarbeit mit in den USA ansässigen Führungskräften und Engineering-Teams • Entwicklung von Benchmarks oder Prototypen zur Lösung unklarer Performance- und Zuverlässigkeitsprobleme • Mitwirkung an wirkungsvollen Engineering-Projekten sowie gegebenenfalls an Open-Source-Projekten und technischen Fachbeiträgen

🎯 Anforderungen

• Tiefgehendes Verständnis moderner Serving-Frameworks und -Techniken wie vLLM oder TRT-LLM • Praktische Erfahrung mit Quantisierung, Distillation, Caching-Strategien, Continuous Batching, Paged Attention und Speculative Decoding • Sehr gute Kenntnisse in C++, CUDA, Rust oder hochoptimiertem Python • Fähigkeit zum Profiling von Code und zur Optimierung der NVIDIA-GPU-Performance • Erfahrung mit Kubernetes, Ray, individuellem Load Balancing, Multi-GPU-/Multi-Node-Inferenz und der Verarbeitung von Tausenden gleichzeitig aktiven Verbindungen • Anspruchsvolle Projekte in der Systemprogrammierung, Open-Source-Beiträge zu bedeutenden Inferenz-Engines oder fundierte technische Fachbeiträge • Fähigkeit, ein Modell vom Forschungsteam über Containerisierung und Serving-Optimierung bis hin zu einem zuverlässigen produktiven Deployment zu führen • Promotion in Informatik, Physik, Mathematik oder vergleichbare praktische Erfahrung in der Entwicklung von Backend- oder ML-Systemen • Verhandlungssichere Englischkenntnisse in Wort und Schrift sind erforderlich • Berechtigung zur legalen Beschäftigung in Deutschland, wie sie durch die erforderliche Frage zur Arbeitserlaubnis im Bewerbungsprozess angegeben wird

🏖️ Vorteile

• Für Bewerberinnen und Bewerber, die künftig in die San Francisco Bay Area umziehen möchten, kann vorbehaltlich des betrieblichen Bedarfs sowie der geltenden gesetzlichen Bestimmungen und erforderlichen Arbeitserlaubnisse vollständige Unterstützung bei US-Visum und Relocation angeboten werden