Director, AI Evaluation

🕒 Julho 16

🔔 Pennsylvania – Remoto

🔔 Pennsylvania – Remote

⏰ Tempo Integral

🔴 Especialista

🤖 Inteligência Artificial

🦅 Patrocina Visto H1B

Esta empresa já patrocinou vistos H1B no passado.

👻 Score fantasma 30%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Geisinger

SiteLinkedInTodas as Vagas

10.000+ funcionários

Fundada em 1915

🏥 Saúde

💊 Farmacêutico

🧘 Bem-estar

Healthcare • Pharmaceuticals • Wellness

Geisinger é uma organização de saúde que atende comunidades na Pensilvânia há mais de um século, oferecendo serviços médicos essenciais e soluções inovadoras em saúde. A organização enfatiza a diversidade, o desenvolvimento de carreira e a criação de um ambiente de apoio para seus funcionários, enquanto se esforça para melhorar a saúde e o bem-estar de seus pacientes por meio de diversos programas e iniciativas comunitárias. Geisinger é reconhecida como um dos sistemas de saúde mais inovadores e está comprometida em moldar o futuro da saúde com foco no cuidado ao paciente e na inclusividade.

Descrição

• The Director of AI Evaluation owns how Geisinger defines, proves, and sustains quality across its entire AI portfolio — internally built models and vendor-provided systems alike. • Manages the people who do the building and the proving: the data scientists who develop production machine learning and fine-tuned AI systems, and the senior analysts who evaluate them. • Sets that standard, leads the team that enforces it, and reports findings to the VP of AI, executive leaders, and the board. • Owns the methodology that holds initiatives to that standard: pre-production validation and live production monitoring. • Attracts and retains strong technical talent, developing careers, and leads the evaluation team. • Provides hands-on technical guidance to program teams as they design validation studies, equity audits, monitoring plans, and escalation playbooks. • Owns the evaluation toolkit and reusable playbooks and templates that let each new program move faster than the last. • Connects each AI to the Outcome it was deployed to improve against a pre-launch baseline.

🎯 Requisitos

• People-leadership experience — managing, developing, and growing technical staff; building teams, not just leading projects. • Strong foundation in experimental design and causal inference, with judgment about which method fits which situation. • Hands-on experience designing and running model evaluation studies in real production settings. • Experience evaluating LLM or generative AI systems, or comparable experience with complex ML systems where ground truth is ambiguous or noisy. • Proven ability to translate ambiguous failure modes into concrete, defensible evaluation designs and monitoring metrics. • Strong fluency in Python and SQL; working comfort with modern ML tooling and cloud-native data environments. • Experience in evaluating fairness and equity in ML systems. • Clear written communication — the role produces evaluation memos and specifications that non-technical decision-makers rely on. • Healthcare, clinical, or regulated-industry experience strongly preferred.

🏖️ Benefícios

• We offer healthcare benefits for full time and part time positions from day one, including vision, dental and domestic partners. • We encourage an atmosphere of collaboration, cooperation and collegiality.