Senior Engineer 2 – Inference Data Plane

🕒 Março 17

☕ Washington – Remoto

☕ Washington – Remote

💵 $167.200 - $209.000 / ano

⏰ Tempo Integral

🟠 Sênior

🧑‍💻 Engenheiro Full-stack

🦅 Patrocina Visto H1B

Esta empresa já patrocinou vistos H1B no passado.

Candidatar-se

Encontrar Vagas Remotas Similares

Receber Emails de Vagas Remotas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

DigitalOcean

SiteLinkedInTodas as Vagas

1001 - 5000 funcionários

Fundada em 2011

☁️ SaaS

SaaS • Cloud Computing

A DigitalOcean é um provedor de infraestrutura em nuvem que oferece um conjunto de produtos e serviços para que desenvolvedores construam, implantem e dimensionem aplicações. Sua plataforma disponibiliza tutoriais abrangentes, materiais de referência e documentação de suporte para ajudar os usuários a gerenciar recursos de forma eficiente usando suas ferramentas de API e CLI. Com recursos como Droplets (máquinas virtuais), bancos de dados gerenciados, Kubernetes e um marketplace de aplicações de terceiros, a DigitalOcean prioriza simplicidade e desempenho. Atende tanto desenvolvedores individuais quanto organizações de maior porte que buscam soluções em nuvem fáceis de implementar e gerenciar.

Descrição

• Act as a technical leader on the team, driving the end-to-end design, development, and delivery of critical data plane components hosting large generative AI models. • Architect and refine system design proposals for our high-scale, multi-tenant AI inference cloud ecosystem, ensuring they meet rigorous availability and resiliency standards. • Implement and optimize distributed inference hosting using techniques like tensor/data parallelism, KV cache optimizations, and smart routing. • Work cross-functionally with Product Managers, customer-facing teams, and other engineering teams to align technical roadmaps with customer needs. • Coach and mentor junior engineers, fostering a culture of technical excellence and continuous improvement. • Maintain and operate critical, high-scale services, utilizing observability tools and defining SLOs to ensure superior platform health.

🎯 Requisitos

• Strong experience with microservices, messaging systems, databases, and infrastructure as code. • Hands-on experience hosting large language or multimodal models using inference engines like vLLM, SGLang, or Modular. • Familiarity with distributed inference serving frameworks such as llm-d, NVIDIA Dynamo, or Ray Serve. • Understanding of GPU-level optimization and experience with interconnect technologies like NVlink, XGMI, or RoCE. • Knowledge of common LLM architectures and optimization techniques (e.g., continuous batching, quantization). • Expert-level proficiency in GoLang or Python and familiarity with gRPC. • Proven experience shipping customer-facing software products and running critical services in a high-scale environment similar to DigitalOcean. • Experience integrating and building with open-source software.

🏖️ Benefícios

• Employee Assistance Program • Local Employee Meetups • Flexible time off policy • Reimbursement for relevant conferences, training, and education • Access to LinkedIn Learning's 10,000+ courses