Senior Software Engineer, AI Evaluation Infrastructure

🕒 Outubro 19

🇺🇸 Estados Unidos – Remoto (EUA)

💵 $170.000 - $200.000 / ano

⏰ Tempo Integral

🟠 Sênior

🤖 Engenheiro de IA

🦅 Patrocina Visto H1B

Esta empresa já patrocinou vistos H1B no passado.

👻 Score fantasma 10%

O que significa: a chance de ninguém estar realmente contratando para esta vaga.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Turing

SiteLinkedInTodas as Vagas

1001 - 5000 funcionários

Fundada em 2018

💼 Consultoria

📦 Logística

📣 Marketing

Consulting • Logistics • Marketing

O recrutamento tradicional não foi feito para o mundo atual orientado a software. O modelo antigo é simplesmente lento demais, não permite uma avaliação profunda e tira o controle e a autonomia das suas mãos. Por isso, criamos a Turing, com os desenvolvedores e times mais rigorosamente avaliados do mundo, conectados por AI. A Turing conecta engenheiros de classe mundial a empresas para ajudar ambos a alcançar seus respectivos objetivos de carreira e de negócios.

Descrição

• Design and ship end-to-end features spanning the data model, API, background workers, and UI • Build and improve agent and model evaluation workflows in sandboxed environments • Score evaluation results and turn thousands of runs into trustworthy results • Improve benchmark task quality checks using verifiers, rubric-based grading, and LLM-as-a-judge grading • Integrate new models, agents, and benchmarks using generalizable designs • Improve system performance and reliability through efficient queries, safe migrations, and concurrency under load • Review pull requests against engineering guidelines and maintain codebase consistency • Deliver tested changes, migrations, edge-case handling, and production-ready systems • Collaborate on frontier AI research and enterprise AI applications

🎯 Requisitos

• 5+ years building and operating production backend systems • Ownership of at least one service from design through on-call • Bachelor’s degree or higher in Software Engineering, Computer Science, or a related field • Strong Python • Experience with Django or a similar framework • Experience with PostgreSQL • Experience with a task queue such as Celery • Hands-on experience in LLM evaluation beyond calling a model API • Understanding of benchmark task construction, agent trial scoring, and result aggregation and comparison • Judgment to identify ambiguous instructions, weak or gameable verifiers, leaked answers, and checks that pass for the wrong reason • Comfort with TypeScript and React frontend work • Clear technical writing • Nice to have: experience with Harbor, Terminal-Bench, SWE-bench, Inspect, or a similar harness • Nice to have: experience running agents in Docker, Kubernetes, Modal, or Daytona • Nice to have: experience with LLM-as-a-judge, rubric-based grading, distributed job scheduling, concurrency limits, database locking at scale, or open-source evaluation/infrastructure projects

🏖️ Benefícios

• Equity • Work at the frontier of AI • Contribute to leading-edge AI research and showcase your work at top conferences such as ICLR, ICML, and NeurIPS • Bring frontier AI innovation to the enterprise • Collaborate with and learn from exceptional colleagues with deep AI experience • Startup-speed environment with ownership and impact

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo