Engenheiro(a) de Benchmark de IA | Especialista em Idioma Nativo – Português (Brasil) – Remoto

🔥 22 minutos atrás

🇧🇷 Brasil – Remoto

💵 $50 - $75 / hora

⏳ Contrato/Temporário

🟢 Júnior

🤖 Inteligência Artificial

🚫👨‍🎓 Sem graduação necessária

👻 Score fantasma 15%

infoinfo

🗣️🇧🇷🇵🇹 Português obrigatório

🗣️🇺🇸🇬🇧 Inglês obrigatório

Candidatar-se
Encontrar Vagas Remotas Similares

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Logo of LILT AI

LILT AI

201 - 500 funcionários

Fundada em 2015

🤖 Inteligência Artificial

☁️ SaaS

🏢 Corporativo

💰 $24.999.992 Funding Round - LILT em 2025-06

Artificial Intelligence • SaaS • Enterprise

LILT AI é uma plataforma de IA multilíngue que ajuda empresas e organizações do setor público a criar, traduzir, verificar e gerenciar conteúdo em várias línguas em grande escala. Ela combina modelos de IA específicos de domínio, treinamento contínuo de modelos e uma camada de inteligência humana de linguistas profissionais para oferecer localização segura, verificação de tradução e desenvolvimento de modelos multilíngues consistentes com a marca. A plataforma oferece gerenciamento de projetos empresariais, mais de 100 integrações nativas, implantações on-premises e isoladas, além de ferramentas para treinar, avaliar e governar a IA multilíngue para casos de uso como localização de websites, lançamentos de produtos, documentação técnica e comunicações regulatórias/compliance.

Descrição

• Projetar, criar e validar tarefas do Terminal-Bench para avaliar coding agents • Criar ambientes de tarefas realistas usando datasets e arquivos em português, mantendo os assets no idioma-alvo • Identificar pontos de falha de sistemas de IA por meio de prompting e tradução em português • Desenvolver implementações de referência robustas • Escrever scripts de verificação confiáveis e determinísticos, usando avaliação baseada em rubricas somente quando estritamente necessário • Analisar logs de execução e calibrar a dificuldade das tarefas, de Fácil a Muito Difícil • Executar configurações padrão do Terminal-Bench nos níveis de modelos Haiku, Sonnet e Opus • Participar de um processo de controle de qualidade humano em quatro camadas, abrangendo criação, revisão humana, revisão de calibração e auditoria • Trabalhar em conjunto com verificações automatizadas baseadas em LLM para garantir imparcialidade, precisão gramatical e integridade do benchmark

🎯 Requisitos

• Mais de 1 ano de experiência profissional em software ou prompt engineering • Histórico comprovado de atuação em empresas de tecnologia líderes e/ou graduação em universidades de engenharia de primeira linha • Fluência nativa ou quase nativa em português do Brasil, com profundo domínio das regras de gramática, registro linguístico e construção de frases • Alta proficiência em inglês • Forte domínio de Python, shell scripting padrão e processamento de dados • Ampla experiência com fluxos de desenvolvimento baseados em Terminal/CLI • Familiaridade prática com coding agents • Profundo conhecimento técnico sobre desafios do processamento de texto multilíngue • Experiência com robustez de codificação/decodificação e normalização Unicode • Conhecimento de convenções dependentes de localidade, incluindo ordenação, uso de maiúsculas e minúsculas e datas não gregorianas • Conhecimento de I/O de texto, interoperabilidade de toolchains e operações seguras com strings • Currículo atualizado em inglês • É necessário concluir uma avaliação de GenAI • Disponibilidade e comprometimento confiáveis; a maioria das tarefas exige pelo menos 2 horas por dia ou 10 horas por semana • Contratados não podem ser envolvidos em regiões sujeitas a embargos ou sanções internacionais • Os contratados são responsáveis por suas próprias obrigações fiscais

🏖️ Benefícios

• Horário flexível, sem jornada fixa, reuniões de acompanhamento obrigatórias ou microgerenciamento • Remuneração competitiva e pagamentos pontuais • Acesso a projetos diversos e inovadores que ampliam seu portfólio e aprimoram suas habilidades • Comunidade global de linguistas, especialistas em diferentes áreas e profissionais de idiomas • Não são oferecidos benefícios como plano de saúde, folga remunerada ou contribuições para aposentadoria • A disponibilidade de trabalho varia conforme a demanda dos projetos, e as horas não são garantidas

Candidatar-se