Research Scientist, Benchmarks & Evals

🕒 vor 17 Tagen

🇺🇸 Vereinigte Staaten – Remote

💵 $250.000 - $350.000 / Jahr

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

🧬 Forschungswissenschaftler

👻 Geisterscore 12%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

Kled AI

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2025

🤖 Künstliche Intelligenz

🏪 Marktplatz

🤝 B2B

Artificial Intelligence • Marketplace • B2B

Kled AI ist ein forschungsbasiertes Datenmarktplatz- und Mobilitätsplattform, das opt-in Menschendatensätze beschafft, kuratiert und lizenziert, um KI-Modelle zu trainieren und zu verbessern. Durch eine Mitwirkenden-App, die Nutzer für Fotos, Videos und andere menschlich generierte Daten bezahlt, aggregiert Kled Datensätze mit hohem Nutzen und überprüfbarer Qualität für KI-Unternehmen, Regierungen und Forschungseinrichtungen und veröffentlicht Forschungsergebnisse, die die Verbesserung von Datensätzen für die Modellgenauigkeit demonstrieren. Das Unternehmen konzentriert sich darauf, das Problem der Datenknappheit bei KI zu lösen, indem es Marktplatzdienste, Mitwirkendentools, automatisierte Qualitätskontrollen und unternehmensgerichtete Datensätze kombiniert.

Beschreibung

• Design and ship public benchmarks for image, video, and document models • Build private test sets from real, opt-in data that no model has trained on • Run data-value experiments by training models with and without Kled data and measuring the differences • Design human evaluation studies and automatic metrics • Publish trusted leaderboards and reports for frontier AI researchers • Identify model shortcomings and advise the team on what data to collect next • Work directly with founders and lab buyers to turn results into data deals • Operate at the frontier of applied AI data infrastructure • Build systems handling millions of uploads per day, adversarial environments, and global contributors

🎯 Anforderungen

• 5-7+ years ML research or research engineering experience • A benchmark or evaluation you built that other people actually used • Strong hands-on experience training and fine-tuning image or video models using PyTorch • Deep understanding of experimental design and statistics, including controls, ablations, and human studies • Experience running experiments end to end, from GPUs to final report • Clear writing for both researchers and buyers • Publications at NeurIPS, ICML, ICLR, or CVPR, especially datasets and benchmarks (bonus) • Experience on an evaluation or data team at an AI lab (bonus) • Experience selling or licensing data to AI labs (bonus) • Experience with data valuation or data attribution research (bonus) • Python/PyTorch proficiency • Experience with open-weight image and video models • Experience with cloud GPUs • Experience with PostgreSQL (Supabase) • Experience with S3 storage

🏖️ Vorteile

• $750,000–$1,500,000 equity • Opportunity to work directly with founders and AI lab buyers • Opportunity to own core systems powering a large human data network • Opportunity to design infrastructure influencing next-generation AI training data • Opportunity to build at scale with millions of uploads per day and global contributors • Opportunity to ship alongside a team experienced in marketplaces, AI systems, and products used by millions

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen