Staff Engineer, Inference Optimizations

🕒 vor 5 Tagen

🍂 Massachusetts – Remote

🍂 Massachusetts – Remote

💵 $191.200 - $239.000 / Jahr

⏰ Vollzeit

🔴 Experte

🧑‍💻 Full-Stack-Entwickler

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

👻 Geisterscore 0%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

DigitalOcean

WebsiteLinkedInAlle Stellen

1001 - 5000 Mitarbeiter

Gegründet 2011

☁️ SaaS

SaaS • Cloud Computing

DigitalOcean ist ein Anbieter von Cloud-Infrastrukturen, der eine Reihe von Produkten und Dienstleistungen für Entwickler anbietet, um Anwendungen zu erstellen, bereitzustellen und zu skalieren. Ihre Plattform bietet umfassende Tutorials, Referenzmaterialien und Support-Dokumentationen, die Benutzern dabei helfen, Ressourcen effektiv mit ihren API- und CLI-Tools zu verwalten. Mit Funktionen wie Droplets (virtuellen Maschinen), verwalteten Datenbanken, Kubernetes und einem Marktplatz für Drittanbieter-Anwendungen fokussiert sich DigitalOcean auf Einfachheit und Leistung. Sie bedienen sowohl einzelne Entwickler als auch größere Organisationen, die nach Cloud-Lösungen suchen, die einfach zu implementieren und zu verwalten sind.

Beschreibung

• Lead technical strategy for benchmarking and performance optimization at inference engine and GPU kernel layers • Optimize attention layers, memory and precision management, and parallelization across multi-node GPU clusters • Improve batch-size performance using AMD’s AITER library for AMD MI355X and tune CK/ASK kernels for FP8/BF16 • Identify kernel-fusion opportunities for GLM-5 Transformer-block kernels, including FlashAttention and RMS Norm • Tune expert gateway router kernels for MoE models such as Qwen3-235B, DeepSeek V3, and GLM-5 • Serve as subject matter expert on NVIDIA and AMD GPUs and software stacks including CUDA, ROCm, TensorRT, and OpenAI Triton • Develop and deploy quantization techniques including FP8, INT8, and FP4 • Lead code and design reviews and mentor engineers through influence • Partner with Product Management and TPMs to translate hardware limits into shippable product features • Contribute to and integrate open-source AI technologies and participate in GPU infrastructure and model performance communities • Guide the technical roadmap for DigitalOcean’s high-performance inference fleet

🎯 Anforderungen

• 5+ years of experience in high-performance computing or AI infrastructure • Proven track record of solving compute utilization and memory bandwidth bottlenecks • Deep familiarity with the Gen AI landscape, including LLM, VLM, and LMM model families • Hands-on experience with attention-layer optimizations and parallelization across distributed GPU environments • Comprehensive understanding of NVIDIA and AMD GPU architectures and software ecosystems, including CUDA and ROCm • Extensive experience integrating, building with, and contributing to open-source software projects • Excellent system design skills related to low-level GPU programming, optimization, memory access patterns, and parallel execution • Experience acting as a technical lead and driving design and delivery through cross-functional alignment • Deep understanding of GPU architectures, including SMs, warp scheduling, and Tensor Cores • Expert-level Triton or CUDA proficiency • Expert-level GPU kernel development; custom CUDA kernels or Triton compiler contributions desired • Ability to work remotely

🏖️ Vorteile

• Reimbursement for relevant conferences, training, and education, subject to company policy • Flexible time off • Local team meetups • Mental health and well-being support • Annual bonus plan eligibility for non-sales roles • Possible new hire equity grant, subject to plan terms and local eligibility • Employee Stock Purchase Program in participating countries • Comprehensive total rewards package

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen