Research Engineer – Pre-training

🕒 vor 2 Monaten

🌐 Vereinigte Staaten, Australien – Remote

🇺🇸 Vereinigte Staaten – Remote 🇦🇺 Australien – Remote

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

📚 Forschungsingenieur

👻 Geisterscore 38%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

Pluralis Research

WebsiteLinkedInAlle Stellen

1 - 10 Mitarbeiter

🤖 Künstliche Intelligenz

🌐 Web 3

Artificial Intelligence • Web 3

Pluralis Research ist ein führendes KI-Forschungslabor, das sich auf Protokolllernen konzentriert – dezentralisiertes, mehrteilnehmerfähiges Training von Fundamentmodellen, bei dem kein einzelner Teilnehmer eine vollständige Kopie des Modells besitzt. Die Gruppe entwickelt Methoden, um kommunikationseffiziente Modell- und Pipeline-Parallelisierung, nicht extrahierbare kollaborative Modelle und hochkomprimierte Kontext-Parallelisierung zu ermöglichen, sodass gemeinschaftlich trainierte und besessene Spitzenmodelle über Geräte mit niedriger Bandbreite und Internetverbindung skaliert werden können. Ihre Arbeit zielt darauf ab, praktische Systeme und Algorithmen zu entwickeln, die dezentrales Training wettbewerbsfähig mit zentralisiertem Training machen, während neue Eigentums- und Wirtschaftsmodelle ermöglicht werden.

Beschreibung

• Implement and optimize model-parallel distributed pretraining across data, pipeline, and tensor parallelism • Train large models on heterogeneous GPUs over low-bandwidth, high-latency internet links • Implement techniques to reduce communication overhead while maintaining model convergence • Build elasticity and fault tolerance for node churn, including checkpointing, state synchronization, and participant recovery • Build run instrumentation and monitoring for throughput, bottlenecks, and model quality across hundreds of devices • Take Protocol Learning from an 8B model run to frontier scale

🎯 Anforderungen

• Hands-on experience training models across many devices in PyTorch using FSDP, DeepSpeed, Megatron, or an equivalent implementation • Understanding of data, tensor, and pipeline parallelism • Production-quality Python • Experience with concurrency, failure handling, and profiling before optimizing • Evidence of shipped systems, research code, open-source work, or serious personal projects • Professional-level English proficiency, written and spoken • Comfortable working across time zones • Nice to have: experience training or serving large language models such as Nemotron, Qwen, or OLMo • Nice to have: experience with P2P networking and NAT traversal • Nice to have: experience with post-training and reinforcement learning • Nice to have: experience with inference and serving systems • Nice to have: experience at proprietary, open-weight, or open-source AI labs

🏖️ Vorteile

• Significant equity ownership in addition to a high base salary • Flexible remote work environment • Full visa sponsorship and relocation support to Australia or the US for exceptional candidates • Opportunity to work on open, frontier-scale research problems • Work with a globally distributed team

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen