Senior Software Engineer – AI Inference

🕒 vor 1 Monat

🏄 California, New York, +1 weitere Bundesländer – Remote

🏄 California – Remote 🗽 New York – Remote 🤠 Texas – Remote

💵 $152.000 - $241.500 / Jahr

⏰ Vollzeit

🟠 Senior

🧑‍💻 Full-Stack-Entwickler

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mails für Remote-Jobs erhalten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

NVIDIA

WebsiteLinkedInAlle Stellen

10.000+ Mitarbeiter

Gegründet 1993

🤖 Künstliche Intelligenz

🎮 Gaming

Artificial Intelligence • Gaming • Automotive

NVIDIA ist ein führendes Technologieunternehmen mit Spezialisierung auf beschleunigtes Computing und Künstliche Intelligenz (AI). NVIDIA treibt Fortschritte bei Grafikprozessoren (GPUs), Cloud Computing, Rechenzentren und Virtual Reality voran und fokussiert dabei Branchen wie Gaming, Automotive, Gesundheitswesen und Robotik. Innovationen des Unternehmens wie NVIDIA Omniverse transformieren traditionelle digitale Prozesse, indem sie hochrealistische Simulationen und Rendering-Aufgaben ermöglichen. Die Anwendungen erstrecken sich über zahlreiche Branchen – von autonomen Fahrzeugen mit NVIDIA DRIVE über Gesundheitslösungen mit NVIDIA Clara bis hin zu AI-gestützten Analysen und Workflows.

Beschreibung

• Contribute features, fixes, and optimizations upstream to vLLM/SGLang: author PRs, participate in reviews, write benchmarks/tests, and help drive designs to completion. • Implement and optimize inference-runtime capabilities: batching and scheduling policies, streaming, request lifecycle management, and KV-cache efficiency (paging/sharding) to improve throughput and tail latency. • Profile and improve hot paths across layers-from Python orchestration to C++/CUDA kernels-using data to guide optimization work. • Improve multi-GPU inference performance and reliability: parallelism strategies, communication patterns, and resource utilization across NVIDIA platforms. • Build and maintain performance and correctness regression tests to prevent slowdowns and ensure stable behavior across model and hardware configurations. • Collaborate with model, platform, and SRE teams to translate production requirements into upstreamable solutions with strong operability and maintainability.

🎯 Anforderungen

• 5+ years building production software with solid systems engineering fundamentals and a track record of delivering performance or reliability improvements. • Experience with LLM inference/serving stacks (e.g., vLLM, SGLang) and an understanding of the tradeoffs that drive real production performance. • Strong programming skills in Python plus C++ and/or CUDA; ability to debug and optimize performance-critical code. • Experience with profiling and performance investigation (microbenchmarks, flame graphs, GPU profiling) and a measurement-driven mindset. • Familiarity with distributed systems concepts and concurrency (queues/schedulers, multi-process/multi-threading, scaling across GPUs/nodes). • Strong communication skills and comfort working with open-source communities (issues, PR discussions, code review). • BS/MS in Computer Science, Computer Engineering, or related field (or equivalent experience).

🏖️ Vorteile

• equity • benefits