Research Scientist, Human Data & Evaluation

Stelle nicht auf LinkedIn

🕒 vor 2 Monaten

🏄 California – Remote

🏄 California – Remote

💵 $150.000 - $200.000 / Jahr

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

🧬 Forschungswissenschaftler

👻 Geisterscore 21%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

Contra

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2019

🏪 Marktplatz

🎯 Rekrutierung

Marketplace • Recruitment

Contra ist ein Marketplace und Netzwerk für Kreativschaffende, das Marken und Unternehmen mit unabhängigen Kreativtalenten wie Designer:innen, Entwickler:innen, Video-Editor:innen, Motion Designer:innen und weiteren Spezialist:innen verbindet. Die Plattform bietet provisionsfreie Zahlungen, verifizierte Studios, Tools für die Personalsuche, von der Community organisierte Challenges und Preisveranstaltungen sowie Forschungs- und KI-Initiativen über Contra Labs – darunter Creative Data und Benchmarks mit Human-in-the-Loop zur Feinabstimmung von KI. Im Mittelpunkt stehen die Entdeckung geeigneter Projekte, geprüfte Freelancer und Studios sowie gemeinsames Lernen in der Community (Contra University). So finden Marken und Unternehmen passende Kreativtalente, während Kreative ihre Arbeit präsentieren und damit Geld verdienen können.

Beschreibung

• Translate ambiguous client questions into clear research questions, hypotheses, and study designs • Develop research proposals and methodologies from scratch • Identify new research directions and help define what Contra Labs should measure, study, and build • Design human-data collection strategies, evaluation protocols, rubrics, annotation schemes, and experiments • Develop prompt strategies for eliciting, evaluating, and comparing model behavior • Determine sampling, evaluator selection, calibration, quality-control, and reliability methods • Design methodologies across creative and multimodal domains including design, image, video, and agentic workflows • Analyze qualitative and quantitative evaluation data • Explain why patterns occur and their implications • Synthesize findings into recommendations, research narratives, and hypotheses • Produce client-ready reports, presentations, benchmarks, and research publications • Independently own research engagements from initial scoping through final delivery • Collaborate with project leads, creative experts, research engineers, and data/engineering teams • Maintain research rigor and data quality on fast client timelines • Support multiple concurrent projects at different stages • Participate in client scoping and proposal development • Collaborate with Strategic Project Leads on client delivery

🎯 Anforderungen

• Based in San Francisco, California • 3–5+ years of relevant research experience • Master’s, PhD, or equivalent industry research depth in HCI, Human-Centered AI, ML, design research, or a related field • Strong qualitative and quantitative research skills • Experience in human evaluation, experimentation, data collection, UX/HCI, annotation, or model behavior research • Ability to independently design and execute rigorous research • Ability to decide what data to collect, why, and how to analyze it • Ability to turn data and observations into insights, research directions, and actionable recommendations • Comfortable analyzing data with Python and/or SQL • Strong written communication and ability to explain methodological tradeoffs and research decisions • Comfortable operating independently through ambiguity and balancing research rigor with startup speed and pragmatism • Familiarity with modern ML and generative AI systems • Understanding of RLHF, post-training, preference data, and model evaluation • Experience studying image, video, multimodal, creative, or agentic systems • Experience designing prompts or systematically studying prompting/model behavior • Experience with large-scale human-data or annotation programs • Experience working directly with AI research or model teams • Strong publication record or evidence of generating original research ideas • Startup / 0-to-1 experience

🏖️ Vorteile

• Medical, Dental, Vision Benefits • 401k Matching • Company laptop provided on start date • Equity

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen