Bolsista Mestre [LLM, Model Evaluation, Python, Prompt Engineering] ICT Itaú

Vaga não está no LinkedIn

🕒 Junho 23

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Sistema Fibra

SiteLinkedInTodas as Vagas

1001 - 5000 funcionários

Fundada em 1972

🤝 B2B

🤝 Sem Fins Lucrativos

📚 Educação

B2B • Non-profit • Education

Página oficial do Sistema Fibra Fibra Sesi Senai e IEL-DF

Descrição

• Desenvolver e executar experimentos para descobrir novas formas de avaliação de Large Language Models (LLMs) e agentes, investigando métricas de qualidade, factualidade, segurança e aderência a requisitos específicos. • Desenvolver pipelines experimentais de LLM-as-a-Judge, incluindo construção de prompts, rubricas e protocolos de avaliação automática para análise escalável de respostas geradas por modelos de IA, misturando conceitos de Reinforcement Learning e Preference Optimization. • Investigar e aplicar técnicas de otimização por preferências e aprendizado por reforço para melhoria contínua de modelos de linguagem, analisando impactos em qualidade, robustez e alinhamento. • Realizar análises quantitativas dos resultados experimentais, documentando descobertas, propondo melhorias metodológicas e contribuindo para a definição de boas práticas em avaliação e otimização de LLMs.

🎯 Requisitos

• Formação: Mestre • Cursos: Ciência da Computação, Engenharia da Computação, Sistemas de Informação, Ciência de Dados, Estatística, Matemática Aplicada, áreas correlatas à Computação, Inteligência Artificial, Machine Learning. • Programação em Python. • Conhecimento dos fundamentos de Machine Learning e Deep Learning. • Familiaridade com Large Language Models (LLMs) e IA Generativa. • Experiência com bibliotecas de desenvolvimento de modelos de IA (PyTorch e/ou Hugging Face Transformers). • Capacidade de leitura e compreensão de artigos científicos em inglês. • Conhecimentos básicos de experimentação, análise de resultados e avaliação de modelos. • Experiência com LLM Evaluation / LLM-as-a-Judge (desejável). • Experiência com RLHF, DPO ou otimização por preferências (desejável). • Participação em pesquisa científica/publicações em IA ou Machine Learning (desejável).

🏖️ Benefícios

• Bolsa Auxílio: R$ 9.000,00 • Disponibilidade: 40h semanais; Duração: 12 meses