Research Engineer – Pretraining

🕒 vor 16 Tagen

🏄 California – Remote

🏄 California – Remote

💵 $150.000 - $350.000 / Jahr

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

📚 Forschungsingenieur

👻 Geisterscore 5%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

Prime Intellect

WebsiteLinkedInAlle Stellen

1 - 10 Mitarbeiter

🤖 Künstliche Intelligenz

☁️ SaaS

Artificial Intelligence • SaaS • Cloud Computing

Prime Intellect ist ein Unternehmen, das sich darauf konzentriert, die KI-Entwicklung zu demokratisieren, indem es skalierbare und dezentrale Computerressourcen für das Training von Modellen bereitstellt. Ihre Plattform ermöglicht es Nutzern, weltweit verfügbare Computerressourcen zu finden und zu teilen, um den Training von hochmodernen Modellen durch verteilte Cluster zu ermöglichen. Sie fördern das kollektive Eigentum an KI-Innovationen, einschließlich Sprach- und wissenschaftlicher Modelle. Prime Intellect bietet zudem eine Reihe von GPU-Optionen, um kostengünstiges und effizientes Modelltraining zu erleichtern. Sie streben danach, die Forschung im Bereich des dezentralen Trainings und die Entwicklung von Open-Source-KI weltweit voranzutreiben.

Beschreibung

• Build and extend the pretraining code in prime-rl, taking small experiments into full training runs • Evaluate model architecture changes, including MoE and attention designs, against model quality and training cost • Profile training jobs and improve end-to-end throughput with systems engineers on hardware-aware execution • Make long runs resilient to failures through reliable checkpointing and recovery • Investigate training dynamics and numerical stability, ensuring optimizations preserve convergence • Run controlled ablations to guide larger experiments while keeping setup and results reproducible • Work with data and evaluation researchers on training mixtures, including midtraining and long-context experiments • Take the next open models from architecture experiments through full pretraining runs, scaling toward 1–3T parameters

🎯 Anforderungen

• Hands-on experience training language models, including modifying training code and following the effects through actual runs • Strong Python skills • Experience with PyTorch or a comparable framework • Systems understanding sufficient to debug distributed training • Practical understanding of model architectures and optimization, including their effect on convergence • Ability to design ablations that answer research questions and explain what results do and do not show • Good judgment about what to investigate independently and when to involve a colleague

🏖️ Vorteile

• Equity incentives included in cash compensation range • Flexible work arrangements, with the option to work remotely or in-person at offices in San Francisco • Visa sponsorship • Relocation assistance for international candidates • Quarterly team off-sites • Hackathons • Conferences and learning opportunities • Opportunity to work with a talented, hard-working and mission-driven team

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen