LLM Inference Deployment Engineer

Stelle nicht auf LinkedIn

🕒 vor 24 Tagen

🇺🇸 Vereinigte Staaten – Remote

💵 $180.000 - $240.000 / Jahr

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

⛑ DevOps- und Site Reliability Engineer (SRE)

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mails für Remote-Jobs erhalten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

EnCharge AI

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2022

🤖 Künstliche Intelligenz

🔧 Hardware

🤝 B2B

💰 €100.000.000 Series B - EnCharge AI im 2025-02

Artificial Intelligence • Hardware • B2B

EnCharge AI ist ein Unternehmen, das analoge In-Memory-Computing-Hardware und ergänzende Software entwickelt, um KI-Workloads auf Geräten sowie von Edge-zu-Cloud zu beschleunigen. Ihre Technologie umfasst den EN100 Analog AI Accelerator und andere Formfaktoren (Chiplets, ASICs, PCIe-Karten), die im Vergleich zu herkömmlichen GPUs und digitalen Beschleunigern eine wesentlich höhere Energieeffizienz, Rechendichte und niedrigere Gesamtbetriebskosten für Inferenz bieten. EnCharge legt großen Wert auf Nachhaltigkeit, den Datenschutz durch lokale Verarbeitung sowie den Einsatz für Unternehmens- und Entwicklerkunden, die effiziente, skalierbare KI-Berechnungen außerhalb herkömmlicher Cloud-Infrastrukturen suchen.

Beschreibung

• Deploy and optimize LLMs (GPT, LLaMA, Mistral, Falcon, etc.) post-training from libraries like HuggingFace • Utilize inference runtimes such as ONNX Runtime, vLLM for efficient execution. • Optimize batching, caching, and tensor parallelism to improve LLM scalability in real-time applications. • Develop and maintain high-performance inference pipelines using Docker, Kubernetes, and other inference servers.

🎯 Anforderungen

• Bachelor’s or Master’s degree in Computer Science, Electrical Engineering, or related field. • Experience in LLM inference deployment, model optimization, and runtime engineering. • Strong expertise in LLM inference frameworks (PyTorch, ONNX Runtime, vLLM, TensorRT-LLM, DeepSpeed). • In-depth knowledge of the Python programming language for model integration and performance tuning. • Strong understanding of high-level model representations and experience implementing framework-level optimizations for Generative AI use cases • Experience with containerized AI deployments (Docker, Kubernetes, Triton Inference Server, TensorFlow Serving, TorchServe). • Strong knowledge of LLM memory optimization strategies for long-context applications. • Experience with real-time LLM applications (chatbots, code generation, retrieval-augmented generation).