Director, AI Evaluation

🕒 vor 2 Monaten

🔔 Pennsylvania – Remote

🔔 Pennsylvania – Remote

⏰ Vollzeit

🔴 Experte

🤖 Künstliche Intelligenz

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

👻 Geisterscore 40%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Geisinger

WebsiteLinkedInAlle Stellen

10.000+ Mitarbeiter

Gegründet 1915

🏥 Gesundheitswesen

💊 Pharmazie

🧘 Wellness

Healthcare • Pharmaceuticals • Wellness

Geisinger ist eine Gesundheitseinrichtung, die seit über einem Jahrhundert Gemeinschaften in Pennsylvania betreut und wesentliche medizinische Dienstleistungen sowie innovative Gesundheitslösungen bietet. Das Unternehmen legt großen Wert auf Vielfalt, berufliche Entwicklung und die Schaffung eines unterstützenden Umfelds für seine Mitarbeiter, während es sich durch verschiedene Programme und Gemeinschaftsinitiativen bemüht, die Gesundheit und das Wohlbefinden seiner Patienten zu verbessern. Geisinger wird als eines der innovativsten Gesundheitssysteme anerkannt und ist bestrebt, die Zukunft des Gesundheitswesens durch Fokus auf Patientenpflege und Inklusivität zu gestalten.

Beschreibung

• The Director of AI Evaluation owns how Geisinger defines, proves, and sustains quality across its entire AI portfolio — internally built models and vendor-provided systems alike. • Manages the people who do the building and the proving: the data scientists who develop production machine learning and fine-tuned AI systems, and the senior analysts who evaluate them. • Sets that standard, leads the team that enforces it, and reports findings to the VP of AI, executive leaders, and the board. • Owns the methodology that holds initiatives to that standard: pre-production validation and live production monitoring. • Attracts and retains strong technical talent, developing careers, and leads the evaluation team. • Provides hands-on technical guidance to program teams as they design validation studies, equity audits, monitoring plans, and escalation playbooks. • Owns the evaluation toolkit and reusable playbooks and templates that let each new program move faster than the last. • Connects each AI to the Outcome it was deployed to improve against a pre-launch baseline.

🎯 Anforderungen

• People-leadership experience — managing, developing, and growing technical staff; building teams, not just leading projects. • Strong foundation in experimental design and causal inference, with judgment about which method fits which situation. • Hands-on experience designing and running model evaluation studies in real production settings. • Experience evaluating LLM or generative AI systems, or comparable experience with complex ML systems where ground truth is ambiguous or noisy. • Proven ability to translate ambiguous failure modes into concrete, defensible evaluation designs and monitoring metrics. • Strong fluency in Python and SQL; working comfort with modern ML tooling and cloud-native data environments. • Experience in evaluating fairness and equity in ML systems. • Clear written communication — the role produces evaluation memos and specifications that non-technical decision-makers rely on. • Healthcare, clinical, or regulated-industry experience strongly preferred.

🏖️ Vorteile

• We offer healthcare benefits for full time and part time positions from day one, including vision, dental and domestic partners. • We encourage an atmosphere of collaboration, cooperation and collegiality.