Technische Fachkraft (Mitarbeiter/in im technischen Bereich) – Inferenz

🔥 vor wenigen Sekunden

🌏 Überall auf der Welt

⏰ Vollzeit

🔴 Experte

🖥 Softwareentwickler

👻 Geisterscore 13%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Inferact

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2025

🤖 Künstliche Intelligenz

🤝 B2B

🏢 Unternehmen

Artificial Intelligence • B2B • Enterprise

Inferact ist ein Startup, das von den Schöpfern und Hauptentwicklern von vLLM, der führenden Open-Source-LLM-Inferenz-Engine, gegründet wurde. Das Unternehmen hat das Ziel, den Fortschritt der KI zu beschleunigen, indem es die Modellinferenz kostengünstiger und schneller macht und die Leistung und Unterstützung von vLLM für neue Architekturen und Accelerator-Hardware erweitert. Inferact kombiniert tiefgehende Expertise an der Schnittstelle von Modellen und Hardware, um Infrastrukturen für die Inferenz bereitzustellen, die von Forschungslabors, Großunternehmen und Startups genutzt werden, und entwickelt weiterhin Optimierungen für die Open-Source-Community.

Beschreibung

• Die Grenzen des Servings von LLMs und Diffusionsmodellen erweitern • Im Kern von vLLM arbeiten, um die Modellausführung auf unterschiedlichen Hardwareplattformen und Architekturen zu optimieren • Innovative Lösungen für Inferenz-Runtimes bei Mixture-of-Experts-, multimodalen und agentenbasierten Architekturen entwickeln • In Forschungsarbeiten beschriebene Inferenztechniken und Modellarchitekturen implementieren • Leistungsfähigen und wartbaren Code beitragen • Komplexe Codebasen im Bereich Machine Learning debuggen • Die Ausführung von KI-Inferenz direkt verbessern, indem sie kostengünstiger und schneller gemacht wird

🎯 Anforderungen

• Bachelorabschluss oder gleichwertige Berufserfahrung in Informatik, Ingenieurwesen oder einem vergleichbaren Fachgebiet • Fundierte Kenntnisse von Transformer-Architekturen und ihren Varianten • Sehr gute Programmierkenntnisse in Python sowie Erfahrung mit den Interna von PyTorch • Erfahrung mit LLM-Inferenzsystemen wie vLLM, TensorRT-LLM, SGLang oder TGI • Fähigkeit, Modellarchitekturen und Inferenztechniken aus Forschungsarbeiten zu verstehen und zu implementieren • Fähigkeit, leistungsfähigen und wartbaren Code zu entwickeln und komplexe ML-Codebasen zu debuggen • Von Vorteil: fundierte Kenntnisse im Speichermanagement des KV-Cache, im Prefix-Caching und im hybriden Model Serving • Von Vorteil: Kenntnisse von RL-Frameworks und -Algorithmen für LLMs • Von Vorteil: Erfahrung mit multimodaler Inferenz für Audio, Bilder, Video und Text • Beiträge zu Open-Source-Projekten im Bereich Machine Learning oder Systeminfrastruktur sind von Vorteil • Zusätzlich von Vorteil: Implementierung zentraler Funktionen in vLLM oder anderen Inferenz-Engine-Projekten • Zusätzlich von Vorteil: Beiträge zu vLLM-Integrationen wie verl, OpenRLHF, Unsloth oder LlamaFactory • Zusätzlich von Vorteil: vielbeachtete technische Blogbeiträge oder eigene Projekte zu vLLM oder LLM-Inferenz • Erforderliche Bewerbungsunterlagen: Lebenslauf, GitHub-Benutzername und ein Link zu einem relevanten persönlichen Projekt, Open-Source-Beitrag oder technischen Blogbeitrag

🏖️ Vorteile

• Attraktive Zusatzleistungen, die auf den jeweiligen Arbeitsort abgestimmt sind, einschließlich Krankenversicherung, sofern zutreffend • Beteiligung am Unternehmen (Equity) • Unterstützung bei der Visumbeantragung nach Einzelfallprüfung • Vollständig remote möglich • Zeitzonenflexible Arbeitszeiten mit regelmäßiger Überschneidung mit der pazifischen Zeitzone für wichtige Abstimmungen