Senior Software Engineer – AI Inference

🕒 il y a 1 mois

🏄 California, New York, +1 états de plus – Distant

🏄 California – Remote 🗽 New York – Remote 🤠 Texas – Remote

💵 $152 000 - $241 500 / an

⏰ Temps Plein

🟠 Senior

🧑‍💻 Développeur Full-Stack

🦅 Parrain de Visa H1B

Cette entreprise a parrainé des visas H1B par le passé.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Recevoir des emails pour des emplois à distance

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

NVIDIA

Site WebLinkedInTous les Emplois

10 000+ employés

Fondée en 1993

🤖 Intelligence artificielle

🎮 Jeux vidéo

Artificial Intelligence • Gaming • Automotive

NVIDIA est une entreprise technologique de premier plan, spécialisée dans le calcul accéléré et l’intelligence artificielle (IA). NVIDIA est à l’avant‑garde des avancées en GPU (processeurs graphiques), cloud computing, centres de données et réalité virtuelle, avec un accent particulier sur les secteurs du gaming, de l’automobile, de la santé et de la robotique. Ses innovations, telles que NVIDIA Omniverse, transforment les processus numériques traditionnels en permettant des simulations haute fidélité et des tâches de rendu de pointe. Ses applications couvrent de nombreux secteurs, des véhicules autonomes avec NVIDIA DRIVE aux solutions de santé avec NVIDIA Clara, ainsi que des analyses et workflows pilotés par l’IA.

Description

• Contribute features, fixes, and optimizations upstream to vLLM/SGLang: author PRs, participate in reviews, write benchmarks/tests, and help drive designs to completion. • Implement and optimize inference-runtime capabilities: batching and scheduling policies, streaming, request lifecycle management, and KV-cache efficiency (paging/sharding) to improve throughput and tail latency. • Profile and improve hot paths across layers-from Python orchestration to C++/CUDA kernels-using data to guide optimization work. • Improve multi-GPU inference performance and reliability: parallelism strategies, communication patterns, and resource utilization across NVIDIA platforms. • Build and maintain performance and correctness regression tests to prevent slowdowns and ensure stable behavior across model and hardware configurations. • Collaborate with model, platform, and SRE teams to translate production requirements into upstreamable solutions with strong operability and maintainability.

🎯 Exigences

• 5+ years building production software with solid systems engineering fundamentals and a track record of delivering performance or reliability improvements. • Experience with LLM inference/serving stacks (e.g., vLLM, SGLang) and an understanding of the tradeoffs that drive real production performance. • Strong programming skills in Python plus C++ and/or CUDA; ability to debug and optimize performance-critical code. • Experience with profiling and performance investigation (microbenchmarks, flame graphs, GPU profiling) and a measurement-driven mindset. • Familiarity with distributed systems concepts and concurrency (queues/schedulers, multi-process/multi-threading, scaling across GPUs/nodes). • Strong communication skills and comfort working with open-source communities (issues, PR discussions, code review). • BS/MS in Computer Science, Computer Engineering, or related field (or equivalent experience).

🏖️ Avantages

• equity • benefits