Analista Técnico de Avaliação de IA (LATAM)

Vaga não está no LinkedIn

🔥 4 minutos atrás

🌐 Argentina, Brasil, +4 outros países – Remoto

🇦🇷 Argentina – Remoto 🇧🇷 Brasil – Remoto 🇲🇽 México – Remoto 🇺🇾 Uruguai – Remoto 🇵🇪 Peru – Remoto 🇨🇱 Chile – Remoto

⏳ Contrato/Temporário

🟡 Pleno

🟠 Sênior

🤖 Inteligência Artificial

👻 Score fantasma 12%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Gramian Consulting

SiteLinkedInTodas as Vagas

2 - 10 funcionários

Fundada em 2025

💼 Consultoria

📦 Logística

📣 Marketing

Consulting • Logistics • Marketing

A Gramian Consulting é uma empresa de consultoria com foco remoto que conecta talentos em engenharia e dados/IA com organizações por meio de aumento de talentos, recrutamento, equipes dedicadas e gestão de contratados. A empresa oferece serviços de Dados & IA, incluindo treinamento e ajuste fino de modelos de linguagem, agentes e assistentes de IA, MLOps e infraestrutura de IA, além de programas de mentoria e educação para prontidão de carreira, preparação para entrevistas e orientação para o mercado internacional. Com experiência prática em engenharia e recrutamento, a Gramian ajuda clientes a escalar equipes técnicas e extrair valor de negócios da IA, enquanto desenvolve talentos individuais.

Descrição

• Validar a qualidade das tarefas verificando se as instruções, os materiais de origem, as soluções de referência e os critérios de avaliação são consistentes e completos. • Revisar os rastros de execução dos agentes de IA, as chamadas de ferramentas e os entregáveis para determinar se os resultados são justificáveis. • Auditar a lógica de avaliação para identificar verificações frágeis, respostas esperadas incorretas, critérios de rubric sem fundamentação e penalidades injustas para soluções alternativas válidas. • Investigar discrepâncias entre o desempenho do modelo, os resultados do avaliador e os resultados esperados. • Distinguir limitações genuínas do modelo de defeitos nas tarefas, erros do avaliador e falhas de ambiente ou de ferramentas. • Avaliar de forma independente as descobertas do controle de qualidade (QC) automatizado, em vez de aceitá-las sem verificação. • Documentar descobertas concisas e fundamentadas em evidências, fornecendo feedback acionável e reproduzível. • Sinalizar incertezas e verificar se as revisões implementadas resolvem os problemas identificados anteriormente.

🎯 Requisitos

• Confortável com a leitura e interpretação de Python, SQL, shell scripts, dados estruturados e logs de execução. • Experiência na revisão de fluxos de trabalho técnicos, comportamento de software, saídas de dados ou lógica de avaliação. • Fortes habilidades analíticas, incluindo a capacidade de verificar cálculos e reconciliar evidências conflitantes. • Capacidade comprovada de avaliar a correção e a completude de entregáveis técnicos. • Inglês escrito avançado, com experiência em fornecer feedback claro, específico e reproduzível. • Alto nível de atenção aos detalhes para identificar inconsistências, informações ausentes e defeitos de avaliação.