LLM Inference Deployment Engineer

Emploi pas sur LinkedIn

🕒 il y a 28 jours

🇺🇸 États-Unis – Télétravail

💵 $180 000 - $240 000 / an

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

⛑ Ingénieur DevOps & SRE

🦅 Parrain de Visa H1B

Cette entreprise a parrainé des visas H1B par le passé.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Recevoir des emails pour des emplois à distance

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

EnCharge AI

Site WebLinkedInTous les Emplois

11 - 50 employés

Fondée en 2022

🤖 Intelligence artificielle

🔧 Matériel

🤝 B2B

💰 €100 000 000 Series B - EnCharge AI en 2025-02

Artificial Intelligence • Hardware • B2B

EnCharge AI est une entreprise qui développe du matériel informatique analogique en mémoire et des logiciels complémentaires pour accélérer les charges de travail IA sur les dispositifs locaux et du bord à l’infrastructure cloud. Leur technologie comprend l'accélérateur analogique IA EN100 et d'autres formats (chiplets, ASICs, cartes PCIe) conçus pour offrir une bien plus grande efficacité énergétique, une densité de calcul accrue, et un coût total de possession réduit pour l'inférence par rapport aux GPU conventionnels et aux accélérateurs numériques. EnCharge met l'accent sur la durabilité, la confidentialité des données grâce au traitement local, et le déploiement pour les entreprises et les développeurs recherchant un calcul IA efficace et évolutif en dehors des infrastructures cloud traditionnelles.

Description

• Deploy and optimize LLMs (GPT, LLaMA, Mistral, Falcon, etc.) post-training from libraries like HuggingFace • Utilize inference runtimes such as ONNX Runtime, vLLM for efficient execution. • Optimize batching, caching, and tensor parallelism to improve LLM scalability in real-time applications. • Develop and maintain high-performance inference pipelines using Docker, Kubernetes, and other inference servers.

🎯 Exigences

• Bachelor’s or Master’s degree in Computer Science, Electrical Engineering, or related field. • Experience in LLM inference deployment, model optimization, and runtime engineering. • Strong expertise in LLM inference frameworks (PyTorch, ONNX Runtime, vLLM, TensorRT-LLM, DeepSpeed). • In-depth knowledge of the Python programming language for model integration and performance tuning. • Strong understanding of high-level model representations and experience implementing framework-level optimizations for Generative AI use cases • Experience with containerized AI deployments (Docker, Kubernetes, Triton Inference Server, TensorFlow Serving, TorchServe). • Strong knowledge of LLM memory optimization strategies for long-context applications. • Experience with real-time LLM applications (chatbots, code generation, retrieval-augmented generation).