Senior Engineer 2 – Inference Data Plane

🕒 vor 2 Monaten

☕ Washington – Remote

☕ Washington – Remote

💵 $167.200 - $209.000 / Jahr

⏰ Vollzeit

🟠 Senior

🧑‍💻 Full-Stack-Entwickler

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mails für Remote-Jobs erhalten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

DigitalOcean

WebsiteLinkedInAlle Stellen

1001 - 5000 Mitarbeiter

Gegründet 2011

☁️ SaaS

SaaS • Cloud Computing

DigitalOcean ist ein Anbieter von Cloud-Infrastrukturen, der eine Reihe von Produkten und Dienstleistungen für Entwickler anbietet, um Anwendungen zu erstellen, bereitzustellen und zu skalieren. Ihre Plattform bietet umfassende Tutorials, Referenzmaterialien und Support-Dokumentationen, die Benutzern dabei helfen, Ressourcen effektiv mit ihren API- und CLI-Tools zu verwalten. Mit Funktionen wie Droplets (virtuellen Maschinen), verwalteten Datenbanken, Kubernetes und einem Marktplatz für Drittanbieter-Anwendungen fokussiert sich DigitalOcean auf Einfachheit und Leistung. Sie bedienen sowohl einzelne Entwickler als auch größere Organisationen, die nach Cloud-Lösungen suchen, die einfach zu implementieren und zu verwalten sind.

Beschreibung

• Act as a technical leader on the team, driving the end-to-end design, development, and delivery of critical data plane components hosting large generative AI models. • Architect and refine system design proposals for our high-scale, multi-tenant AI inference cloud ecosystem, ensuring they meet rigorous availability and resiliency standards. • Implement and optimize distributed inference hosting using techniques like tensor/data parallelism, KV cache optimizations, and smart routing. • Work cross-functionally with Product Managers, customer-facing teams, and other engineering teams to align technical roadmaps with customer needs. • Coach and mentor junior engineers, fostering a culture of technical excellence and continuous improvement. • Maintain and operate critical, high-scale services, utilizing observability tools and defining SLOs to ensure superior platform health.

🎯 Anforderungen

• Strong experience with microservices, messaging systems, databases, and infrastructure as code. • Hands-on experience hosting large language or multimodal models using inference engines like vLLM, SGLang, or Modular. • Familiarity with distributed inference serving frameworks such as llm-d, NVIDIA Dynamo, or Ray Serve. • Understanding of GPU-level optimization and experience with interconnect technologies like NVlink, XGMI, or RoCE. • Knowledge of common LLM architectures and optimization techniques (e.g., continuous batching, quantization). • Expert-level proficiency in GoLang or Python and familiarity with gRPC. • Proven experience shipping customer-facing software products and running critical services in a high-scale environment similar to DigitalOcean. • Experience integrating and building with open-source software.

🏖️ Vorteile

• Employee Assistance Program • Local Employee Meetups • Flexible time off policy • Reimbursement for relevant conferences, training, and education • Access to LinkedIn Learning's 10,000+ courses