Member of Technical Staff, Evals

🕒 vor 6 Tagen

🇺🇸 Vereinigte Staaten – Remote

💵 $200.000 - $550.000 / Jahr

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

🖥 Softwareentwickler

🗣️🇺🇸🇬🇧 Englisch erforderlich

Woher diese Stelle stammt

Veröffentlicht auf der Karriereseite von Magic ↗der Karriereseite von Magic, nicht über eine Jobbörse

Von Remote Rocketship zum ersten Mal gesehen vor 6 Tagen

Noch offen auf der Website von Magic. Geprüft vor 1 Stunde.

Jetzt Bewerben
Logo of Magic

Magic

1 - 10 Mitarbeiter

Gegründet 2021

🤖 Künstliche Intelligenz

Artificial Intelligence • Software

Magic ist ein innovatives Unternehmen, das sich auf den Aufbau von führenden Code-Modellen zur Automatisierung der Softwareentwicklung und Forschung konzentriert. Sie arbeiten darauf hin, sichere Künstliche Allgemeine Intelligenz (AGI) zu erreichen, indem sie KI-Forschung und Code-Generierung automatisieren, um Ausrichtungsprobleme zuverlässiger als durch menschliche Bemühungen allein zu lösen. Das Unternehmen setzt fortschrittliche Techniken wie Frontier-Scale Pre-Training, domänenspezifisches Reinforcement Learning und ultra-lange Kontextberechnungen ein. Mit einer erheblichen Finanzierung von 515 Millionen US-Dollar ist Magic ein kleines, aber engagiertes Team von Ingenieuren und Forschern, das grundlegende Forschungsprobleme im Zusammenhang mit AGI adressiert.

Beschreibung

• Develop new benchmarks and evaluation methodologies • Run data ablations • Assess dataset quality • Investigate whether measurements accurately reflect model performance • Design and validate evaluations and benchmarks across model training and deployment • Investigate model behavior and identify gaps in existing evaluations • Identify opportunities to improve training data • Improve evaluation correctness, reproducibility, and reliability • Audit and improve public benchmarks, research papers, and open-source implementations • Define metrics that accurately reflect model quality • Build tools that make evaluation results accessible and useful across Magic

🎯 Anforderungen

• Experience developing model evaluations, benchmarks, or ML experiments • Strong programming skills and experience working with machine learning systems • Track record of owning technical projects end-to-end • Skepticism toward results that cannot be reproduced, validated, or explained • Experience analyzing model performance and interpreting experimental results • Comfortable navigating ambiguity and determining whether a measurement actually captures the behavior it claims to measure • Commitment to raising the standard of rigor in AI evaluations

🏖️ Vorteile

• Equity is a significant part of total compensation, in addition to salary • 401(k) plan with 6% salary matching • Generous health, dental, and vision insurance for you and your dependents • Unlimited paid time off • Visa sponsorship and relocation support for candidates moving to San Francisco • A small, fast-moving, highly collaborative team working on frontier AI systems

Jetzt Bewerben

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Ähnliche Jobs

🕒 vor 6 Tagen

Bright Vision Technologies

51 - 200

💼 Beratung

🏥 Gesundheitswesen

🔒 Cybersecurity

Oracle PL/SQL Developer building and optimizing enterprise database platforms for a technology consulting company. Supporting cloud modernization, financial, healthcare, and regulatory systems.

🗣️🇺🇸🇬🇧 Englisch erforderlich

🕒 vor 6 Tagen

Zayo Group

1001 - 5000

📦 Logistik

💼 Beratung

🏥 Gesundheitswesen

Managing fiber engineers and planners designing, implementing, and maintaining Zayo’s telecommunications network. Overseeing routes, databases, projects, KPIs, and team development.

🇺🇸 Vereinigte Staaten – Remote

💵 $71.800 - $110.400 / Jahr

💰 €92.900.000 Grant im 2023-06

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

🖥 Softwareentwickler

🗣️🇺🇸🇬🇧 Englisch erforderlich

🕒 vor 6 Tagen

IRIS Software Group

1001 - 5000

☁️ SaaS

🤝 B2B

👥 HR Tech

Software Engineer building scalable .NET cloud applications for IRIS, a UK software company serving businesses, schools and accountancy firms. Owning features from design through production.

🇺🇸 Vereinigte Staaten – Remote

💰 Private Equity Round im 2018-05

⏰ Vollzeit

🟢 Junior

🟡 Mittelstufe

🖥 Softwareentwickler

🚫👨‍🎓 Kein Abschluss erforderlich

🗣️🇺🇸🇬🇧 Englisch erforderlich

🕒 vor 6 Tagen

CoLogix Analytics

1 - 10

🏥 Gesundheitswesen

💼 Beratung

📦 Logistik

NetSuite Developer building customizations and integrations for Cologix, a North American interconnection and hyperscale edge data center company. Supporting scalable internal corporate systems.

🇺🇸 Vereinigte Staaten – Remote

💵 $90.000 - $115.000 / Jahr

⏰ Vollzeit

🟡 Mittelstufe

🖥 Softwareentwickler

🗣️🇺🇸🇬🇧 Englisch erforderlich

🕒 vor 6 Tagen

turbopuffer

1 - 10

☁️ SaaS

🔌 API

🤖 Künstliche Intelligenz

Head of Deployed Engineering leading turbopuffer’s customer-facing technical team. Driving technical sales, demos, benchmarks, implementations, and customer success for database solutions.

🇺🇸 Vereinigte Staaten – Remote

⏰ Vollzeit

🟠 Senior

🔴 Experte

🖥 Softwareentwickler

🗣️🇺🇸🇬🇧 Englisch erforderlich

Entwickelt von Lior Neu-ner. Ich freue mich über Ihr Feedback — kontaktieren Sie mich per DM oder per E-Mail support@remoterocketship.com
Follow Remote Rocketship on LinkedInFollow Remote Rocketship on InstagramFollow Remote Rocketship on FacebookFollow Remote Rocketship on TikTok