Treinador(a) de QA em IA - Avaliação de LLM - Projeto Freelance

Vaga não está no LinkedIn

🕒 Março 20

Candidatar-se

Encontrar Vagas Remotas Similares

Receber Emails de Vagas Remotas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Invisible Technologies

SiteLinkedInTodas as Vagas

201 - 500 funcionários

Fundada em 2015

🤖 Inteligência Artificial

☁️ SaaS

🏢 Corporativo

🔥 Investimento no último ano

💰 $100.000.000 Series unknown em 2025-10

Artificial Intelligence • SaaS • Enterprise

A Invisible Technologies é uma empresa de plataforma e serviços de IA corporativa que constrói e implanta sistemas de IA de produção para grandes organizações. Eles combinam uma plataforma SaaS modular (plataforma de dados, construtor de processos, agentes, avaliações) com um mercado humano especializado para treinar modelos, automatizar fluxos de trabalho complexos de back-office, impulsionar centros de contato, fornecer soluções de visão computacional e previsão de demanda, e garantir avaliação e governança contínuas. A Invisible atua em diversos setores (finanças, saúde, setor público, esportes, varejo) para integrar a IA em sistemas operacionais reais e ampliar os resultados.

Descrição

• Interagir com o modelo em cenários do mundo real e prompts de avaliação • Verificar precisão factual e coerência lógica • Projetar e executar planos de teste e suítes de regressão • Elaborar rubricas claras e critérios de aprovação/reprovação • Capturar rastros de erro reproduzíveis com hipóteses de causa raiz • Sugerir melhorias em prompt engineering, guardrails e métricas de avaliação (por exemplo, precision/recall, fidelidade, toxicidade e SLOs de latência) • Colaborar em red-teaming adversarial, automação (Python/SQL) e construção de dashboards para acompanhar variações de qualidade ao longo do tempo

🎯 Requisitos

• Graduação, mestrado ou doutorado em ciência da computação, ciência de dados, linguística computacional, estatística ou área relacionada é desejável • Experiência em QA entregue para sistemas de ML/IA • Experiência com segurança e/ou red-team • Conhecimento em frameworks de automação de testes (por exemplo, PyTest) • Experiência prática com ferramentas de avaliação de LLM (por exemplo, OpenAI Evals, avaliadores RAG, W&B) • Destaque para habilidades como: design de rubricas de avaliação, testes adversariais/red-teaming, testes de regressão em escala, auditoria de viés/equidade, verificação de grounding, engenharia de prompt e system-prompt, automação de testes (Python/SQL) e elaboração de relatórios de bugs de alta qualidade (high-signal) • Comunicação clara e metacognitiva — “mostrar seu raciocínio” — é essencial.

🏖️ Benefícios

• Benefícios patrocinados pela empresa, como plano de saúde, não se aplicam • Você deverá fornecer um computador seguro e internet de alta velocidade