LLM Inference Engineer

🕒 vor 2 Monaten

🏄 California – Remote

🏄 California – Remote

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

👷🏻‍♀️ Ingenieur

👻 Geisterscore 42%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

NEAR AI

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2017

🤖 Künstliche Intelligenz

🔒 Cybersecurity

🏢 Unternehmen

Artificial Intelligence • Cybersecurity • Enterprise

NEAR AI ist ein auf Datenschutz ausgerichtetes AI-Infrastrukturunternehmen, das vertrauliche Inferenz und autonome KI-Agenten für Unternehmen, Regierungen und AI-Anwendungen betreibt. Die NEAR AI Cloud und das IronClaw-Agenten-Framework führen Modelle und Workflows innerhalb hardware-gestützter Trusted Execution Environments (TEE) mit kryptographischer Isolation, keinem Bedienerzugang und hardware-signierter Beglaubigung zur unabhängigen Verifikation aus. NEAR AI bietet eine schlüsselfertige Plattform zur Bereitstellung privater Modelle, Automatisierung von wiederkehrenden Vorgängen, Integration mit internen Tools (Slack, E-Mail, Notion) und Bereitstellung regulierter oder souveräner Workloads über einen Marktplatz von Agenten für Finanzen, Recht, Betrieb, Forschung und Sicherheit.

Beschreibung

• Architect and maintain production high-traffic LLM serving systems • Optimize throughput, latency, and cost for leading open-source LLMs • Push the boundaries of how large language models are served • Contribute to decentralized and confidential machine learning infrastructure enabling user-owned AI • Help build highly scalable and efficient infrastructure for open-source AI at global scale

🎯 Anforderungen

• Strong hands-on experience in LLM inference, with expertise debugging and optimizing major inference engines such as SGLang, vLLM, or TensorRT • Deep knowledge of state-of-the-art GPU architectures • Ability to effectively exploit GPU architectures using PyTorch, Triton, CuTe, CUDA, etc. • Proven track record in designing and maintaining end-to-end high-traffic LLM serving systems • Strong problem-solving skills • Ability to communicate technical ideas clearly • Experience with Trusted Execution Environments (TEE) preferred as a nice-to-have • Active contribution to open-source LLM inference engines preferred as a nice-to-have

🏖️ Vorteile

• Interview accommodations available upon request