LLM Inference Deployment Engineer

Vaga não está no LinkedIn

🕒 Maio 21

🇺🇸 Estados Unidos – Remoto (EUA)

💵 $180.000 - $240.000 / ano

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

⛑ DevOps & Engenheiro de Confiabilidade do Site (SRE)

🦅 Patrocina Visto H1B

Esta empresa já patrocinou vistos H1B no passado.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

EnCharge AI

SiteLinkedInTodas as Vagas

11 - 50 funcionários

Fundada em 2022

🤖 Inteligência Artificial

🔧 Hardware

🤝 B2B

💰 $100.000.000 Series B - EnCharge AI em 2025-02

Artificial Intelligence • Hardware • B2B

A EnCharge AI é uma empresa que desenvolve hardware de computação analógica em memória e software complementar para acelerar cargas de trabalho de IA em dispositivos e da borda para a nuvem. Sua tecnologia inclui o acelerador analógico de IA EN100 e outras formas (chiplets, ASICs, placas PCIe) projetadas para fornecer muito maior eficiência energética, densidade computacional e menor custo total de propriedade para inferência em comparação com GPUs convencionais e aceleradores digitais. A EnCharge enfatiza a sustentabilidade, a privacidade de dados por meio do processamento local e a implantação para clientes empresariais e desenvolvedores que buscam computação de IA eficiente e escalável fora da infraestrutura tradicional de nuvem.

Descrição

• Deploy and optimize LLMs (GPT, LLaMA, Mistral, Falcon, etc.) post-training from libraries like HuggingFace • Utilize inference runtimes such as ONNX Runtime, vLLM for efficient execution. • Optimize batching, caching, and tensor parallelism to improve LLM scalability in real-time applications. • Develop and maintain high-performance inference pipelines using Docker, Kubernetes, and other inference servers.

🎯 Requisitos

• Bachelor’s or Master’s degree in Computer Science, Electrical Engineering, or related field. • Experience in LLM inference deployment, model optimization, and runtime engineering. • Strong expertise in LLM inference frameworks (PyTorch, ONNX Runtime, vLLM, TensorRT-LLM, DeepSpeed). • In-depth knowledge of the Python programming language for model integration and performance tuning. • Strong understanding of high-level model representations and experience implementing framework-level optimizations for Generative AI use cases • Experience with containerized AI deployments (Docker, Kubernetes, Triton Inference Server, TensorFlow Serving, TorchServe). • Strong knowledge of LLM memory optimization strategies for long-context applications. • Experience with real-time LLM applications (chatbots, code generation, retrieval-augmented generation).