LLM Inference Engineer

🕒 Julho 28

🏄 California – Remoto

🏄 California – Remote

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

👷🏻‍♀️ Engenheiro

👻 Score fantasma 24%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

NEAR AI

SiteLinkedInTodas as Vagas

11 - 50 funcionários

Fundada em 2017

🤖 Inteligência Artificial

🔒 Cibersegurança

🏢 Corporativo

Artificial Intelligence • Cybersecurity • Enterprise

A NEAR AI é uma empresa de infraestrutura de IA que prioriza a privacidade, executando inferências confidenciais e agentes de IA autônomos para empresas, governos e aplicações de IA. Sua nuvem NEAR AI e o framework de agentes IronClaw executam modelos e fluxos de trabalho dentro de Ambientes de Execução Confiáveis (TEEs) reforçados por hardware, com isolamento criptográfico, acesso zero do operador e atestação assinada por hardware para verificação independente. A NEAR AI oferece uma plataforma pronta para o uso, permitindo o deploy de modelos privados, automação de operações repetitivas, integração com ferramentas internas (Slack, email, Notion) e oferecimento de cargas de trabalho reguladas ou soberanas através de um marketplace de agentes para finanças, jurídico, operações, pesquisa e segurança.

Descrição

• Architect and maintain production high-traffic LLM serving systems • Optimize throughput, latency, and cost for leading open-source LLMs • Push the boundaries of how large language models are served • Contribute to decentralized and confidential machine learning infrastructure enabling user-owned AI • Help build highly scalable and efficient infrastructure for open-source AI at global scale

🎯 Requisitos

• Strong hands-on experience in LLM inference, with expertise debugging and optimizing major inference engines such as SGLang, vLLM, or TensorRT • Deep knowledge of state-of-the-art GPU architectures • Ability to effectively exploit GPU architectures using PyTorch, Triton, CuTe, CUDA, etc. • Proven track record in designing and maintaining end-to-end high-traffic LLM serving systems • Strong problem-solving skills • Ability to communicate technical ideas clearly • Experience with Trusted Execution Environments (TEE) preferred as a nice-to-have • Active contribution to open-source LLM inference engines preferred as a nice-to-have

🏖️ Benefícios

• Interview accommodations available upon request