Senior Engineer 2 – Inference Data Plane

🕒 il y a 2 mois

☕ Washington – Distant

☕ Washington – Remote

💵 $167 200 - $209 000 / an

⏰ Temps Plein

🟠 Senior

🧑‍💻 Développeur Full-Stack

🦅 Parrain de Visa H1B

Cette entreprise a parrainé des visas H1B par le passé.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Recevoir des emails pour des emplois à distance

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

DigitalOcean

Site WebLinkedInTous les Emplois

1001 - 5000 employés

Fondée en 2011

☁️ SaaS

SaaS • Cloud Computing

DigitalOcean est un fournisseur d'infrastructure cloud qui propose une suite de produits et services permettant aux développeurs de créer, déployer et faire évoluer des applications. Leur plateforme offre des didacticiels complets, des documents de référence et des supports documentaires pour aider les utilisateurs à gérer efficacement leurs ressources en utilisant leurs outils API et CLI. Avec des fonctionnalités telles que Droplets (machines virtuelles), des bases de données gérées, Kubernetes et un marketplace pour les applications tierces, DigitalOcean met l'accent sur la simplicité et les performances. Ils s'adressent à la fois aux développeurs individuels et aux grandes organisations à la recherche de solutions cloud faciles à mettre en œuvre et à gérer.

Description

• Act as a technical leader on the team, driving the end-to-end design, development, and delivery of critical data plane components hosting large generative AI models. • Architect and refine system design proposals for our high-scale, multi-tenant AI inference cloud ecosystem, ensuring they meet rigorous availability and resiliency standards. • Implement and optimize distributed inference hosting using techniques like tensor/data parallelism, KV cache optimizations, and smart routing. • Work cross-functionally with Product Managers, customer-facing teams, and other engineering teams to align technical roadmaps with customer needs. • Coach and mentor junior engineers, fostering a culture of technical excellence and continuous improvement. • Maintain and operate critical, high-scale services, utilizing observability tools and defining SLOs to ensure superior platform health.

🎯 Exigences

• Strong experience with microservices, messaging systems, databases, and infrastructure as code. • Hands-on experience hosting large language or multimodal models using inference engines like vLLM, SGLang, or Modular. • Familiarity with distributed inference serving frameworks such as llm-d, NVIDIA Dynamo, or Ray Serve. • Understanding of GPU-level optimization and experience with interconnect technologies like NVlink, XGMI, or RoCE. • Knowledge of common LLM architectures and optimization techniques (e.g., continuous batching, quantization). • Expert-level proficiency in GoLang or Python and familiarity with gRPC. • Proven experience shipping customer-facing software products and running critical services in a high-scale environment similar to DigitalOcean. • Experience integrating and building with open-source software.

🏖️ Avantages

• Employee Assistance Program • Local Employee Meetups • Flexible time off policy • Reimbursement for relevant conferences, training, and education • Access to LinkedIn Learning's 10,000+ courses