Cientista de Pesquisa — Benchmarks e Avaliações

Vaga não está no LinkedIn

🕒 Maio 21

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Grupo Protege

SiteLinkedInTodas as Vagas

10.000+ funcionários

Fundada em 1971

🤖 Inteligência Artificial

🤝 B2B

☁️ SaaS

Artificial Intelligence • B2B • SaaS

O Grupo Protege é uma plataforma de dados de treinamento para IA que conecta desenvolvedores de IA a dados de treinamento de alta qualidade e obtidos de forma ética. Ela atende tanto aos desenvolvedores de IA, ao oferecer um acervo amplo e rico de dados para treinamento de modelos, quanto aos detentores de dados, ao permitir que monetizem seus dados mantendo governança e controle. A plataforma busca simplificar de forma significativa o processo de aquisição de dados, facilitando o acesso dos desenvolvedores aos dados de que precisam, com eficiência.

Descrição

• Projetar tarefas e benchmarks que diferenciem níveis de capacidade entre modelos de ponta — incluindo cenários baseados em agentes, com foco em raciocínio, e específicos por domínio (saúde, finanças, científico). • Validar avaliações de forma rigorosa: executar baselines humanos, analisar confiabilidade entre avaliadores (inter-rater reliability), estudar como elicitação e scaffolding alteram os resultados, e quantificar o que é sinal versus ruído. • Desenvolver a "ciência das avaliações" na Protege — incluindo teoria da resposta ao item (item response theory), análise de contaminação, estudos de validade preditiva e frameworks estatísticos para comparar modelos com incerteza apropriada. • Conduzir avaliações em modelos de ponta atuais, às vezes em colaboração com parceiros em laboratórios de IA, empresas e órgãos governamentais. • Publicar pesquisas que estabeleçam a Protege como referência para dados de avaliação e contribuir para a compreensão, na comunidade mais ampla de IA, sobre como devem ser boas avaliações. • Traduzir os achados para o produto, trabalhando em estreita colaboração com as equipes de dados e engenharia para transformar pesquisa em conjuntos de dados de avaliação que clientes possam implantar. • Parceria com fornecedores terceirizados de anotação — dados de avaliação são tão bons quanto as pessoas que os produzem. Uma parte significativa desta função é assumir a responsabilidade pela maquinaria estatística que determina quais anotadores confiamos, em quais tarefas e em que grau — e traduzir isso em pontuações de confiabilidade nas quais os clientes da Protege possam confiar.

🎯 Requisitos

• Formação avançada (preferência por PhD, ou MS/BS com experiência industrial equivalente) em área quantitativa — econometria aplicada com experiência em IA, finanças quantitativas, ciência da computação, engenharia, estatística/matemática ou qualquer disciplina de pesquisa aplicada. • Experiência prática em avaliação de LLMs, agents ou outros sistemas de ML — incluindo prompting, scaffolding e fluência com as ferramentas que pesquisadores usam para executar avaliações em escala. • Experiência com qualidade de anotadores e inter-rater reliability — projetando protocolos de rotulagem, calculando estatísticas de concordância e avaliando vieses e calibração dos anotadores. • Excelente redação científica e comunicação — capaz de sintetizar achados técnicos em narrativas que laboratórios de ponta, clientes empresariais e formuladores de políticas possam utilizar. • Tendência a priorizar velocidade. Você sabe quais pipelines precisam ser de nível de produção e quais podem ser mais improvisados, e entrega resultados confiáveis rapidamente.

🏖️ Benefícios

• Plano de saúde • Horário de trabalho flexível • Oportunidades de desenvolvimento profissional