Staff Engineer, Inference Optimizations

🕒 vor 5 Tagen

🏄 California – Remote

🏄 California – Remote

💵 $191.200 - $239.000 / Jahr

⏰ Vollzeit

🔴 Experte

🧑‍💻 Full-Stack-Entwickler

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

👻 Geisterscore 0%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

DigitalOcean

WebsiteLinkedInAlle Stellen

1001 - 5000 Mitarbeiter

Gegründet 2011

☁️ SaaS

SaaS • Cloud Computing

DigitalOcean ist ein Anbieter von Cloud-Infrastrukturen, der eine Reihe von Produkten und Dienstleistungen für Entwickler anbietet, um Anwendungen zu erstellen, bereitzustellen und zu skalieren. Ihre Plattform bietet umfassende Tutorials, Referenzmaterialien und Support-Dokumentationen, die Benutzern dabei helfen, Ressourcen effektiv mit ihren API- und CLI-Tools zu verwalten. Mit Funktionen wie Droplets (virtuellen Maschinen), verwalteten Datenbanken, Kubernetes und einem Marktplatz für Drittanbieter-Anwendungen fokussiert sich DigitalOcean auf Einfachheit und Leistung. Sie bedienen sowohl einzelne Entwickler als auch größere Organisationen, die nach Cloud-Lösungen suchen, die einfach zu implementieren und zu verwalten sind.

Beschreibung

• Lead the technical strategy for benchmarking and performance optimization at inference-engine and GPU-kernel layers • Solve complex performance issues involving attention layers, memory and precision management, and parallelization across multi-node GPU clusters • Implement optimization techniques for generative AI inference • Improve batch-size performance using AMD's AITER library and tune CK or ASK kernels for FP8/BF16 • Identify kernel-fusion opportunities for Transformer-block layers such as FlashAttention and RMS Norm • Tune expert-gateway router kernels for MoE models including Qwen3-235B, DeepSeek V3, and GLM-5 • Advise on NVIDIA/AMD hardware procurement and software integration • Develop and deploy quantization techniques including FP8, INT8, and FP4 • Lead code and design reviews and elevate the team's technical standards • Partner with Product Management and TPMs to turn hardware limits into shippable product features • Contribute to and integrate open-source AI projects and maintain a presence in GPU infrastructure and model-performance communities

🎯 Anforderungen

• 5+ years of experience in high-performance computing or AI infrastructure • Proven track record of solving compute utilization and memory bandwidth bottlenecks • Deep familiarity with the Gen AI landscape, including LLM, VLM, and LMM model families • Hands-on experience with attention-layer optimizations and parallelization across distributed GPU environments • Comprehensive understanding of NVIDIA and AMD GPU architectures and software ecosystems, including CUDA and ROCm • Extensive experience integrating, building with, and contributing to open-source software projects • Excellent system design skills related to low-level GPU programming, optimization, memory access patterns, and parallel execution • Experience acting as a technical lead and driving design and delivery through cross-functional alignment • Deep understanding of GPU architectures, including SMs, warp scheduling, and Tensor Cores • Expert-level Triton or CUDA proficiency • Experience contributing to the Triton compiler or writing custom CUDA kernels for a major LLM is desired

🏖️ Vorteile

• Reimbursement for relevant conferences, training, and education, subject to company policy • Flexible time off • Local team meetups • Mental health and well-being support • Annual bonus plan eligibility for non-sales roles • Eligible employees may receive equity compensation, including a new hire equity grant • Employee Stock Purchase Program in participating countries • Professional development resources • Equal-opportunity employment

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen