Teamleitung Evaluation

Stelle nicht auf LinkedIn

🔥 vor 12 Minuten

🇪🇺 Europa – Remote

⏰ Vollzeit

🟠 Senior

👻 Geisterscore 12%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Fundamental

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet 2024

🤖 Künstliche Intelligenz

🏢 Unternehmen

☁️ SaaS

Artificial Intelligence • Enterprise • SaaS

Fundamental ist ein Unternehmen für Enterprise-KI, das große tabellarische Modelle (LTMs) wie NEXUS entwickelt, die auf Milliarden von Tabellen vortrainiert sind, um Muster zu erkennen und Ergebnisse aus strukturierten Daten vorherzusagen. Das Unternehmen bietet eine unternehmensgerechte Plattform für prädiktive Analysen, die mit minimalem Code bereitgestellt oder tief in Cloud-Partner wie AWS integriert werden kann, wobei der Schwerpunkt auf Datenschutz, Sicherheit und Skalierbarkeit liegt. Entstanden aus akademischer Forschung und unterstützt von namhaften Investoren, richtet sich Fundamental an große Organisationen, die Erkenntnisse aus ihren Datenbanken gewinnen und prädiktive Modelle im Cloud-Maßstab einsetzen möchten.

Beschreibung

• Leitung des Teams, das NEXUS, Fundamentals Large Tabular Model, evaluiert • Aufbau und Pflege einer gemeinsamen Evaluationsplattform für Engineering, Forschung und Applied AI • Kontinuierliche Erweiterung und Pflege von Modellen und kuratierten Datensätzen für unabhängiges Benchmarking und Untersuchungen • Definition von Standards für Metriken, Datensplits, Vermeidung von Data Leakage, Kalibrierung, Unsicherheit und Benchmark-Kontamination • Aufbau reproduzierbarer Pipelines mit versionierten Eingaben und Artefakten • Integration von Regressionsprüfungen in Forschungs- und Release-Workflows • Benchmarking von NEXUS im Vergleich zu konkurrierenden Ansätzen unter Verwendung fairer Vorgaben für Tuning-Budgets, Datenzugriff, Rechenressourcen und Latenzprotokolle • Unterstützung von Proof-of-Concept-Evaluierungen für Kunden im Bereich Applied AI durch Tools, methodische Anleitung und Analysen • Messung von Prognosequalität, Latenz und Kosten über verschiedene Deployment-Konfigurationen, Aufgabentypen und Datensatzmerkmale hinweg • Überführung der Ergebnisse in Forschungsprioritäten, Release-Empfehlungen und evidenzbasierte Verbesserungspläne für Kunden • Einstellung und Entwicklung eines kleinen Teams, Priorisierung von Aufgaben sowie weiterhin aktive Mitarbeit an Code und Versuchsplanung

🎯 Anforderungen

• Erfahrung in der Gesamtverantwortung für die Evaluation tabellarischer ML-Systeme, die in Produktionsumgebungen oder für maßgebliche Kundenentscheidungen eingesetzt werden • Ausgeprägtes statistisches Urteilsvermögen: Auswahl von Metriken und Validierungsschemata, Schätzung von Unsicherheiten, Vergleich von Modellen über verschiedene Datensätze hinweg sowie Berücksichtigung wiederholter Experimente • Praktische Erfahrung beim Aufdecken von Data Leakage in der Vorverarbeitung, Feature-Konstruktion, bei Joins, zeitlichen Abhängigkeiten und verbundenen Entitäten über Datensplits hinweg • Sehr gute Kenntnisse in Python und SQL • Vertrautheit mit scikit-learn und Gradient-Boosted Trees • Erfahrung im Aufbau zuverlässiger ML-Tools oder -Plattformen, die von anderen Teams genutzt werden • Erfahrung mit der Konzeption fairer Modellvergleiche einschließlich Hyperparameter-Suche, Ressourcenbudgets und Messung der End-to-End-Latenz • Frühere Erfahrung in der Führung von Mitarbeitenden, einschließlich Einstellung, technischem Coaching und Leistungsfeedback, bei gleichzeitiger technischer Mitarbeit • Klare schriftliche und mündliche Kommunikation mit Forschenden, Engineers und Data Scientists auf Kundenseite • Erfahrung in der Evaluation tabellarischer Foundation Models oder AutoML-Systeme (von Vorteil) • Erfahrung in der Messung des Einflusses von Modelloptimierungen auf Prognosequalität und Inferenzleistung (von Vorteil) • Erfahrung mit relationalen Daten oder Multi-Table-Daten sowie mit Snowflake- oder Databricks-Umgebungen (von Vorteil) • Erfahrung in der Evaluation automatisierter oder agentengesteuerter ML-Workflows, einschließlich Fehlern, die aggregierte Metriken möglicherweise verbergen (von Vorteil)

🏖️ Vorteile

• Wettbewerbsfähige Vergütung mit Gehalt und Beteiligungsoptionen • Umfassende Krankenversicherung für Sie und Ihre Angehörigen • Bezahlte Elternzeit für alle frischgebackenen Eltern, einschließlich Adoption und Leihmutterschaft • Unterstützung beim Umzug für Mitarbeitende, die für ihre Tätigkeit an einen unserer Bürostandorte ziehen • Eine werteorientierte, hierarchiefreie Unternehmenskultur, die unterschiedliche Perspektiven, Eigenverantwortung und eine ausgeprägte Umsetzungsorientierung schätzt • Vollständig remote innerhalb Europas oder Israels • Monatliche Company Offsites in Barcelona mit vier Reisetagen