Researcher – Benchmark Reviews

Stelle nicht auf LinkedIn

🕒 vor 3 Monaten

🇺🇸 Vereinigte Staaten – Remote

💵 $100.000 - $200.000 / Jahr

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

👻 Geisterscore 51%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Epoch AI

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2022

💼 Beratung

📣 Marketing

🤖 Künstliche Intelligenz

Consulting • Marketing • Artificial Intelligence

Epoch AI ist eine Forschungs- und Datenorganisation, die Trends in der künstlichen Intelligenz verfolgt und analysiert. Sie pflegt offene Datenbanken für KI-Modelle, Rechenzentren, Hardware-Leistungen, Chip-Verkäufe und Benchmarkergebnisse. Die Organisation veröffentlicht wissenschaftliche Arbeiten, Berichte, Newsletter, Podcasts und Datenanalysen und bietet maßgeschneiderte Forschungs- und Beratungsdienste für politische Entscheidungsträger, Institutionen und Unternehmen, um Entscheidungen über die Entwicklung, Infrastruktur und Governance von KI zu informieren.

Beschreibung

• Review benchmarks: Assess a new benchmark at least every two weeks. You’ll evaluate their methodology and what a 'good performance' would imply about AI capabilities. • Publish and maintain reports: Write up public-facing reports on new benchmarks and periodically update them as new versions release and models make progress. • Dig into data: Examine individual tasks within benchmarks in detail, using coding agents to assist while retaining your own critical oversight.

🎯 Anforderungen

• You excel at written communication. Your first drafts rarely need much polishing; they’re clear and publication-quality with minimal revision. • You think critically about research methodologies. You have strong opinions about what benchmarks and evaluations should look like, and can recognize when something seems wrong. • You’re already familiar with existing AI benchmarks, their methodologies, strengths, and weaknesses. You have ideas for new benchmarks that don’t exist yet, but should. • You’re comfortable working with dense data. You’ll often be breaking down benchmarks into their component parts, which can be overwhelming without familiarity. • Experience writing about AI/ML for a public or research audience is nice to have. • Hands-on experience running or building AI evaluations is nice to have.

🏖️ Vorteile

• Annual salary between $100,000 and $200,000 USD, depending on location, seniority, and experience. • Salaries are not restricted to USD, and contracts and payments are usually in local currencies. • Fully remote environment, including flexible work hours. • Competitive global benefits program, including a comprehensive health insurance program—including supplemental benefits specific to a local country, as available and mandated by local law—and life insurance and a pension plan, if applicable in your country. • Generous paid time off (PTO), including no specific annual limit, with 30 days PTO per year protected, unlimited personal and sick leave, and 4 months paid parental leave for permanent staff with at least 12 months of tenure. • A flexible and generous expense policy for you to spend on equipment and a large range of productivity tools or learning/development opportunities, including unlimited spending on AI tools, subject to regulations and manager approval. • Paid work trips, including 3 staff retreats per year and relevant conferences. • Access to our very well-equipped offices in Berkeley, California, including paid meals, snacks, gym, and more.