Qualitative Evaluation Engineer

🕒 Julho 28

🇺🇸 Estados Unidos – Remoto (EUA)

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

👷🏻‍♀️ Engenheiro

👻 Score fantasma 15%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Luma AI

SiteLinkedInTodas as Vagas

2 - 10 funcionários

🤖 Inteligência Artificial

☁️ SaaS

📱 Mídia

💰 $90.000.000 Series B em 2025-01

Artificial Intelligence • SaaS • Media

A Luma AI é uma empresa baseada em Palo Alto que desenvolve modelos de IA generativa multimodal e ferramentas de fluxo de trabalho criativo focadas na produção de vídeo, imagem, áudio e texto. A Luma oferece modelos e produtos como Ray (geração de vídeos), UNI-1/Uni-1. 1 (modelos de inteligência de marca) e uma API/ofertas empresariais que permitem que equipes criativas gerem, editem e dirijam ativos de qualidade cinematográfica com continuidade de marca. Eles enfatizam a pesquisa de fronteira (Laboratório Aberto de IA Física), o desenvolvimento de modelos próprios e produtos para equipes criativas, agências e serviços de produção. A Luma também fornece APIs, planos empresariais, um programa de parceiros criativos e recursos de aprendizado.

Descrição

• Evaluate generative model performance across diverse tasks, prompts, and modalities, and surface the failure modes, regressions, and edge cases that hurt product quality • Build and maintain qualitative evaluation frameworks that are scalable and reusable • Translate high-level product goals into concrete evaluative criteria • Lead qualitative studies, side-by-side comparisons, and human-in-the-loop evaluations • Turn nuanced judgments into clear feedback that informs fine-tuning, dataset curation, and product UX • Work closely with technical artists and engineers to keep evaluations aligned with model capabilities and real use cases

🎯 Requisitos

• 5+ years in product evaluation, UX research, model testing, or similar structured qualitative assessment • Master's or higher in Cognitive Science, HCI, Design Research, Psychology, Media Studies, or a related field • Systems thinking: you can define abstract qualities like believability or scene coherence in clear evaluative terms • Comfort working across engineers, researchers, and creatives

🏖️ Benefícios

• Luma's mission is to build unified general intelligence that can generate, understand, and operate in the physical world • Excellent written communication and the ability to synthesize nuanced judgment into actionable insight • Deep familiarity with creative workflows for generative models (animation, filmmaking, digital art, VFX)