LLM Red Team & Benchmark Evaluation Specialist

🕒 vor 28 Tagen

🗽 New York – Remote

🗽 New York – Remote

💵 $55 - $85 / Stunde

⏰ Vollzeit

🟢 Junior

👻 Geisterscore 6%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

24-MAG

WebsiteLinkedInAlle Stellen

2 - 10 Mitarbeiter

🤝 B2B

💼 Beratung

B2B • Consulting

24-MAG ist eine Unternehmensberatung für kommerzielle Strategie und Umsetzung, die B2B-Unternehmen dabei unterstützt, Systeme, Workflows und Betriebsrhythmen für Vertrieb, Kundenmanagement und bereichsübergreifende Projekte zu entwerfen und umzusetzen. Sie konzentrieren sich darauf, verstreute Prozesse in abgestimmte, messbare und skalierbare kommerzielle Funktionen zu verwandeln. Dies umfasst die Struktur des Vertriebskanals, Rahmenwerke für das Kundenmanagement und operative Disziplinen für Teams, die ein effizientes und zielgerichtetes Wachstum anstreben.

Beschreibung

• Adversarial Model Evaluation • Probe frontier AI models across coding, machine learning, analysis, and multi-step agentic tasks • Identify subtle errors, vulnerabilities, edge cases, and misleadingly plausible outputs • Investigate situations where models appear capable while reaching incorrect or unsupported conclusions • Design reproducible experiments to isolate and validate model failure modes • Benchmark & Challenge Design • Convert observed model weaknesses into rigorous benchmark tasks • Develop challenges that are technically demanding while remaining fair and objectively assessable • Define clear task requirements, expected outcomes, and evaluation criteria • Ensure tasks require genuine reasoning rather than allowing shortcuts or superficial pattern matching • Failure Analysis & Documentation • Document findings with clear evidence, methodology, and reproducible steps • Explain why a model failed and which capabilities or assumptions contributed to the error • Produce detailed technical write-ups for researchers and task authors • Track recurring failure patterns across models, prompts, and evaluation environments • Task Strengthening & Research Collaboration • Work with task authors to close loopholes, grading gaps, and unintended shortcuts • Review benchmark tasks for ambiguity, exploitability, and evaluation reliability • Share insights with researchers and other specialists to improve benchmark coverage • Participate in iterative calibration, peer review, and task-refinement workflows

🎯 Anforderungen

• At least 1 year of experience in research, research engineering, security, AI evaluation, or a related technical role • Demonstrated experience identifying vulnerabilities, edge cases, or failure modes in LLMs or ML systems • Background in red teaming, adversarial testing, security research, benchmark development, or rigorous model evaluation • Working proficiency in Python and Git • Ability to develop scripts, probes, and analyses independently • Strong familiarity with LLM capabilities, limitations, and evaluation techniques • Excellent written communication and technical documentation skills • Creativity, precision, and persistence when working through ambiguous research problems • Reliable availability for approximately 35 hours per week • A master's degree or PhD in a STEM field is highly relevant