Staff Software Engineer, AI Inference Gateway

Vaga não está no LinkedIn

🕒 Setembro 19

🇺🇸 Estados Unidos – Remoto (EUA)

💵 $180.000 - $220.000 / ano

⏰ Tempo Integral

🔴 Especialista

🤖 Engenheiro de IA

🦅 Patrocina Visto H1B

Esta empresa já patrocinou vistos H1B no passado.

👻 Score fantasma 0%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Salad

SiteLinkedInTodas as Vagas

11 - 50 funcionários

Fundada em 2018

🤖 Inteligência Artificial

💳 Fintech

💰 $17.000.000 Series A em 2022-03

Artificial Intelligence • Cloud Computing • Fintech

A Salad é uma empresa de cloud computing especializada em democratizar o acesso a recursos de GPU para aplicações de IA e machine learning. A empresa oferece a SaladCloud, uma plataforma que conecta GPUs ociosas de consumidores a empresas que precisam de capacidade computacional, possibilitando uma redução significativa nos custos de serviços de cloud. A Salad permite que usuários implementem modelos de IA/ML em escala de forma eficiente e acessível, aproveitando uma ampla rede de nodes distribuídos em todo o mundo.

Descrição

• Own the AI Gateway system end to end, including request routing, streaming, batch/async job handling, and horizontal scaling across multiple gateway servers • Build and tune fleet-efficiency algorithms for node autoscaling, performance scoring, and eviction of underperformers • Operate and scale inference nodes running vLLM, llama.cpp, and similar servers • Design and maintain OpenTelemetry-based observability across the gateway and fleet • Maintain accurate pay-per-token and subscription billing integrations based on telemetry • Benchmark new models, quantizations, and GPU hardware for approximately 25% of working time • Work with product and marketing teams to decide what enters production • Collaborate on cross-system design and integrations with Salad engineering • Explain technical trade-offs to technical and non-technical teammates • Report directly to the CTO • Participate in shared after-hours support

🎯 Requisitos

• Strong production Rust experience, ideally on high-throughput networked services • Hands-on experience running LLM inference servers (vLLM, llama.cpp, TGI, TensorRT-LLM, or similar) • Knowledge of KV cache behavior • Distributed systems fundamentals: load balancing, backpressure, failure handling, and unreliable nodes • Experience operating systems with metrics, tracing, and on-call responsibilities • Willingness to be on-call • Clear written and verbal communication • Nice to have: Pingora, Tokio, or proxy/gateway internals • Nice to have: experience with heterogeneous or consumer-grade GPU fleets, CUDA, or ROCm • Nice to have: quantization formats including GGUF, AWQ, GPTQ, and FP8 • Strong in at least two of Rust, LLM inference servers, and distributed systems

🏖️ Benefícios

• Unlimited PTO • 75% of health insurance premiums covered for you and your dependents • Dental and vision coverage • 401(k) plan • Stock options • Company-provided computer • $500 WFH budget • Fully remote, with flexible hours