Researcher, Evaluations

Stelle nicht auf LinkedIn

🕒 vor 3 Monaten

🇺🇸 Vereinigte Staaten – Remote

💵 $115.000 - $200.000 / Jahr

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

👻 Geisterscore 51%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Epoch AI

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2022

💼 Beratung

📣 Marketing

🤖 Künstliche Intelligenz

Consulting • Marketing • Artificial Intelligence

Epoch AI ist eine Forschungs- und Datenorganisation, die Trends in der künstlichen Intelligenz verfolgt und analysiert. Sie pflegt offene Datenbanken für KI-Modelle, Rechenzentren, Hardware-Leistungen, Chip-Verkäufe und Benchmarkergebnisse. Die Organisation veröffentlicht wissenschaftliche Arbeiten, Berichte, Newsletter, Podcasts und Datenanalysen und bietet maßgeschneiderte Forschungs- und Beratungsdienste für politische Entscheidungsträger, Institutionen und Unternehmen, um Entscheidungen über die Entwicklung, Infrastruktur und Governance von KI zu informieren.

Beschreibung

• Create and curate an evaluation suite. Find real-world tasks that serve as challenging tests for practical AI capabilities, and update the tasks over time as AI capabilities evolve. Devise rubrics for evaluating AI performance. • - Evaluate AI systems. Regularly evaluate new, notable AI models and products on the task suite. Update tasks and rubrics to reflect the changing landscape of AI capabilities. • - Communicate your research. Create public-facing reports, blog posts, and data visualizations with your observations. Ensure the evaluations feed into our other research topics and help keep our team informed. • - Conduct data analysis. Analyze evaluation results and compare models across tasks. • - Improve the process. You might automate parts of the workflow, and build out parts of the evaluation into standalone benchmarks.

🎯 Anforderungen

• Analytical thinking. **You conduct experiments with rigor and care, making sure that findings are well-supported by evidence. • - Grounded, skeptical mentality. **You form your own well-reasoned view of what an AI system can do, distinguishing practical capabilities from hype. • - Comfort with AI agents and tools.** You have experience working with AI agents in the course of your own work, and are comfortable delegating tasks. • - Familiarity with AI benchmarks and evaluations.** You follow AI capabilities at least casually and have opinions on what benchmarks do and don’t tell us. • - Research and data-analysis experience,** including enough comfort with light coding to analyze your own results. • - Strong written communication skills:** You can convey nuanced observations clearly and precisely.

🏖️ Vorteile

• Annual salary between **$115,000 – $200,000 USD**, depending on location and experience. • - Fully remote environment, including flexible work hours. • - Competitive global benefits program, including a comprehensive health insurance program—including supplemental benefits specific to a local country, as available and mandated by local law—and life insurance and a pension plan, if applicable in your country. • - Generous paid time off (PTO), including no specific annual limit, with 30 days PTO per year protected, unlimited personal and sick leave, and 4 months paid parental leave for permanent staff with at least 12 months of tenure (prorated parental leave if less than 12 months). • - A flexible and generous expense policy for you to spend on equipment and a large range of productivity tools or learning/development opportunities, including unlimited spending on AI tools, subject to regulations and manager approval. • - Paid work trips, including 3 staff retreats per year and relevant conferences. • - Access to our very well-equipped offices in Berkeley, California, including paid meals, snacks, gym, and more. All staff, independently of where they are based, have access to the office for at least 20 days each year.