Staff Engineer, Inference Optimizations

🕒 vor 5 Tagen

🤠 Texas – Remote

🤠 Texas – Remote

💵 $191.200 - $239.000 / Jahr

⏰ Vollzeit

🔴 Experte

🧑‍💻 Full-Stack-Entwickler

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

👻 Geisterscore 0%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

DigitalOcean

WebsiteLinkedInAlle Stellen

1001 - 5000 Mitarbeiter

Gegründet 2011

☁️ SaaS

SaaS • Cloud Computing

DigitalOcean ist ein Anbieter von Cloud-Infrastrukturen, der eine Reihe von Produkten und Dienstleistungen für Entwickler anbietet, um Anwendungen zu erstellen, bereitzustellen und zu skalieren. Ihre Plattform bietet umfassende Tutorials, Referenzmaterialien und Support-Dokumentationen, die Benutzern dabei helfen, Ressourcen effektiv mit ihren API- und CLI-Tools zu verwalten. Mit Funktionen wie Droplets (virtuellen Maschinen), verwalteten Datenbanken, Kubernetes und einem Marktplatz für Drittanbieter-Anwendungen fokussiert sich DigitalOcean auf Einfachheit und Leistung. Sie bedienen sowohl einzelne Entwickler als auch größere Organisationen, die nach Cloud-Lösungen suchen, die einfach zu implementieren und zu verwalten sind.

Beschreibung

• Lead the technical strategy for benchmarking and performance optimizations at the inference engine and GPU kernel layers • Engineer solutions for attention-layer optimizations, memory and precision management, and advanced parallelization across multi-node GPU clusters • Implement cutting-edge optimization techniques for generative AI workloads • Improve batch size performance using AMD’s AITER library for AMD MI355X, including tuning CK or ASK for FP8/BF16 • Identify kernel fusion opportunities for GLM-5 Transformer-block kernels, including FlashAttention and RMS Norm • Tune expert gateway router kernels for MoE models such as Qwen3-235B, DeepSeek V3, and GLM-5 • Advise on modern NVIDIA and AMD GPU families, software stacks, hardware procurement, and software integration • Develop and deploy quantization techniques including FP8, INT8, and experimental FP4 • Lead code and design reviews and provide technical mentorship without direct-management responsibilities • Partner with Product Management and TPMs to turn hardware limits into shippable product features • Contribute to and integrate open-source AI projects and maintain a presence in GPU infrastructure and model-performance communities

🎯 Anforderungen

• 5+ years of experience in high-performance computing or AI infrastructure • Proven track record of solving compute utilization and memory bandwidth bottlenecks • Deep familiarity with the Gen AI landscape, including LLM, VLM, and LMM model families • Hands-on experience with attention-layer optimizations and parallelization strategies across distributed GPU environments • Comprehensive understanding of NVIDIA and AMD GPU architectures and software ecosystems, including CUDA and ROCm • Extensive experience integrating, building with, and contributing to open-source software projects • Excellent system design skills related to low-level GPU programming, optimization, memory access patterns, and parallel execution • Experience acting as a technical lead and driving design and delivery through cross-functional alignment • Deep understanding of GPU architectures, including SMs, Warp scheduling, and Tensor Cores • Expert-level Triton or CUDA experience • Experience contributing to the Triton compiler or writing custom CUDA kernels for a major LLM is sought

🏖️ Vorteile

• Reimbursement for relevant conferences, training, and education, subject to company policy • Flexible time off • Local team meetups • Mental health and well-being support • Eligible employees may receive equity compensation, including a new hire equity grant • Eligible employees may participate in the Employee Stock Purchase Program in participating countries • Eligibility for DigitalOcean’s annual bonus plan • Equal-opportunity employment

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen