Engineering Lead, Inference Optimization

Emploi pas sur LinkedIn

🔥 il y a 12 heures

🦬 Wyoming – Distant

🦬 Wyoming – Remote

⏰ Temps Plein

🟠 Senior

🧑‍💻 Développeur Full-Stack

👻 Score fantôme 16%

Ce que ça veut dire : la probabilité que personne ne recrute vraiment pour cette offre.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Venice.ai

Site WebLinkedInTous les Emplois

51 - 200 employés

Fondée en 2024

🤖 Intelligence artificielle

☁️ SaaS

🔌 API

🔥 Financement dans la dernière année

💰 €65 000 000 Series A en 2026-06

Artificial Intelligence • SaaS • API

Venice. ai est une plateforme d’IA axée sur la confidentialité, qui donne accès aux principaux modèles tiers et open source pour générer du texte, des images, des vidéos, de l’audio, du code, des embeddings et des agents. L’entreprise met l’accent sur la protection de la vie privée grâce à un accès anonymisé, à l’absence de conservation des données pour les modèles auto-hébergés, aux Trusted Execution Environments (TEE) et au chiffrement de bout en bout côté client. Venice propose une API unifiée compatible avec OpenAI et les stacks d’agents, ainsi que des outils pour les développeurs (SDK, LangChain, compatibilité avec l’OpenAI SDK) et des produits destinés aux créateurs et aux entreprises, avec des offres tarifaires à plusieurs niveaux. Ses fonctionnalités comprennent la génération multimodale, la création, la retouche et l’upscaling d’images et de vidéos, la synthèse vocale, la génération musicale et la prise en charge de modèles non censurés.

Description

• Own Venice’s technical strategy for inference performance • Recruit and lead the Inference Optimization Team at Venice • Optimize Venice's GPU infrastructure across architectures such as H200s and B300s • Improve latency, throughput, and cost per token for LLM inference workloads • Build reproducible benchmarking harnesses across inference engines such as vLLM and SGLang • Identify the optimal engine, quantization scheme, and parallelism strategy for each workload and GPU SKU • Optimize multivariate inference load-balancing algorithms with the inference routing system • Evaluate emerging inference optimization techniques, attention variants, quantization schemes, and compilation stack improvements • Evaluate emerging inference hardware, including FPGAs, ASICs, and custom silicon • Perform hands-on individual-contributor work while managing a small team and shaping Venice’s technical strategy

🎯 Exigences

• 8+ years in performance optimization or HPC, with deep GPU architecture and parallel programming knowledge • 5+ years experience leading engineering teams • Proficiency in Python, Rust, or Go • Hands-on experience with at least one production LLM inference engine, such as vLLM or SGLang, running at high volume in production • Demonstrated experience with LLM inference optimization techniques: continuous batching, PagedAttention/KV cache management, speculative decoding, quantization, CUDA graphs, and torch.compile • Fluency with quantization tradeoffs, both qualitative and quantitative • Experience with distributed inference strategies, including tensor parallelism, pipeline parallelism, and MoE parallelism, in multi-GPU and multi-node environments • Fluency with GPU profiling using Nsight Systems, Nsight Compute, or PyTorch Profiler • Bonus: C++/CUDA • Bonus: diffusion/image model inference optimization, custom Triton kernels, and contributions to open-source inference frameworks

🏖️ Avantages

• No explicit benefits, perks, or compensation extras stated

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV