Senior Software Engineer – AI Inference

🕒 Abril 15

🏄 California, New York, +1 estados a mais – Remoto

🏄 California – Remote 🗽 New York – Remote 🤠 Texas – Remote

💵 $152.000 - $241.500 / ano

⏰ Tempo Integral

🟠 Sênior

🧑‍💻 Engenheiro Full-stack

🦅 Patrocina Visto H1B

Esta empresa já patrocinou vistos H1B no passado.

Candidatar-se

Encontrar Vagas Remotas Similares

Receber Emails de Vagas Remotas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

NVIDIA

SiteLinkedInTodas as Vagas

10.000+ funcionários

Fundada em 1993

🤖 Inteligência Artificial

🎮 Jogos

Artificial Intelligence • Gaming • Automotive

A NVIDIA é uma empresa de tecnologia líder, especializada em computação acelerada e inteligência artificial. A companhia é pioneira em avanços em unidades de processamento gráfico (GPUs), computação em nuvem, data centers e realidade virtual, com foco nos setores de games, automotivo, saúde e robótica. As inovações da empresa, como o NVIDIA Omniverse, transformam processos digitais tradicionais ao viabilizar simulações de alta fidelidade e tarefas de renderização. Suas aplicações abrangem diversos setores, desde veículos autônomos com o NVIDIA DRIVE até soluções de saúde com o NVIDIA Clara, além de análises e fluxos de trabalho impulsionados por IA.

Descrição

• Contribute features, fixes, and optimizations upstream to vLLM/SGLang: author PRs, participate in reviews, write benchmarks/tests, and help drive designs to completion. • Implement and optimize inference-runtime capabilities: batching and scheduling policies, streaming, request lifecycle management, and KV-cache efficiency (paging/sharding) to improve throughput and tail latency. • Profile and improve hot paths across layers-from Python orchestration to C++/CUDA kernels-using data to guide optimization work. • Improve multi-GPU inference performance and reliability: parallelism strategies, communication patterns, and resource utilization across NVIDIA platforms. • Build and maintain performance and correctness regression tests to prevent slowdowns and ensure stable behavior across model and hardware configurations. • Collaborate with model, platform, and SRE teams to translate production requirements into upstreamable solutions with strong operability and maintainability.

🎯 Requisitos

• 5+ years building production software with solid systems engineering fundamentals and a track record of delivering performance or reliability improvements. • Experience with LLM inference/serving stacks (e.g., vLLM, SGLang) and an understanding of the tradeoffs that drive real production performance. • Strong programming skills in Python plus C++ and/or CUDA; ability to debug and optimize performance-critical code. • Experience with profiling and performance investigation (microbenchmarks, flame graphs, GPU profiling) and a measurement-driven mindset. • Familiarity with distributed systems concepts and concurrency (queues/schedulers, multi-process/multi-threading, scaling across GPUs/nodes). • Strong communication skills and comfort working with open-source communities (issues, PR discussions, code review). • BS/MS in Computer Science, Computer Engineering, or related field (or equivalent experience).

🏖️ Benefícios

• equity • benefits