RAG and Evaluation Engineer

🕒 Junho 12

🇺🇸 Estados Unidos – Remoto (EUA)

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

👷🏻‍♀️ Engenheiro

🦅 Patrocina Visto H1B

Esta empresa já patrocinou vistos H1B no passado.

Candidatar-se

Encontrar Vagas Remotas Similares

Receber Emails de Vagas Remotas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

LTS

SiteLinkedInTodas as Vagas

1001 - 5000 funcionários

🏛️ Governo

🏢 Corporativo

🔐 Segurança

Government • Enterprise • Security

A LTS é uma empresa voltada para apoio a missões governamentais e serviços de saúde, oferecendo resposta a emergências, saúde ocupacional, soluções automatizadas de saúde e consultoria corporativa. Ela proporciona rápida mobilização em todo o país para resposta a desastres, logística e assistência em massa, além de oferecer quiosques de diagnóstico automatizado, testes laboratoriais, pessoal médico, clínicas no local e gestão de testes/vacinação para populações carentes e remotas. A LTS também oferece modernização de TI, integração de nuvem e sistemas, cibersegurança e gestão de riscos, IA/ML e análise de dados, e gestão de programas para clientes federais, estaduais e locais, com forte conformidade (padrões HIPAA e federais) e experiência em aquisições no setor público.

Descrição

• Own the knowledge surface — ingestion pipelines for source code, structured metadata, technical documentation, patches, and additional corpora the customer provides. • Own retrieval quality — chunking, embeddings, hybrid retrieval, reranking, and freshness. • Own the eval harness — benchmarks for translation accuracy, dependency-map correctness, and overall agent quality. • Run A/B testing and regression detection across prompts, retrieval, and model changes. • Operate the feedback loop from production usage back into evals and retrieval. • Define what “good” means for the platform when no one else has a clear view, so the team can tell whether the agent is actually improving. • Pair with the Agent Engineers on the prompt-and-eval iteration cycle.

🎯 Requisitos

• Bachelor’s degree in Computer Science, Engineering, Information Science, or a related field, plus 4 years of professional software engineering experience; equivalent experience may substitute for the degree requirement. • Has shipped a production RAG system with quality the candidate can describe in numbers (rigor matters more than scale). • Ability to work in a fast-paced, collaborative environment. • Production experience with retrieval pipelines — ingestion, chunking, embedding, hybrid retrieval, reranking. • Strong applied evaluation skills — benchmark design, regression detection, LLM-as-judge patterns. • Knows when BM25 beats embeddings and when neither is enough. • Measures everything they ship; opinions about chunking are backed by benchmarks. • Patient with detail; comfortable defining metrics before the team has agreed on them. • Heavy native use of AI tooling: agents in parallel, model as collaborator. • Strong TypeScript or Python. • Demonstrated experience in a remote work environment.

🏖️ Benefícios

• The opportunity to support high visibility federal missions in IT and healthcare • A culture that values innovation, growth, collaboration, and quality • Access to cutting-edge tools and technologies • Comprehensive benefits for you and your family • A career path that rewards ambition and performance