Machine Learning Engineer – Distributed ML Systems

🕒 vor 4 Monaten

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Pluralis Research

WebsiteLinkedInAlle Stellen

1 - 10 Mitarbeiter

🤖 Künstliche Intelligenz

🌐 Web 3

Artificial Intelligence • Web 3

Pluralis Research ist ein führendes KI-Forschungslabor, das sich auf Protokolllernen konzentriert – dezentralisiertes, mehrteilnehmerfähiges Training von Fundamentmodellen, bei dem kein einzelner Teilnehmer eine vollständige Kopie des Modells besitzt. Die Gruppe entwickelt Methoden, um kommunikationseffiziente Modell- und Pipeline-Parallelisierung, nicht extrahierbare kollaborative Modelle und hochkomprimierte Kontext-Parallelisierung zu ermöglichen, sodass gemeinschaftlich trainierte und besessene Spitzenmodelle über Geräte mit niedriger Bandbreite und Internetverbindung skaliert werden können. Ihre Arbeit zielt darauf ab, praktische Systeme und Algorithmen zu entwickeln, die dezentrales Training wettbewerbsfähig mit zentralisiertem Training machen, während neue Eigentums- und Wirtschaftsmodelle ermöglicht werden.

Beschreibung

• Design and implement large-scale distributed training systems optimized for heterogeneous hardware operating under low-bandwidth, high-latency conditions. • Develop and optimize model-parallel training strategies (data, tensor, pipeline parallelism) with custom sharding techniques that minimize communication overhead. • Optimize GPU utilization, memory efficiency, and compute performance across distributed nodes. • Implement robust checkpointing, state synchronization, and recovery mechanisms for long-running, fault-prone training jobs. • Build monitoring and metrics systems to track training progress, model quality, and system bottlenecks. • Architect resilient training systems where nodes can fail, networks can partition, and participants can dynamically join or leave. • Design and optimize peer-to-peer topologies for decentralized coordination across non-co-located nodes. • Implement NAT traversal, peer discovery, dynamic routing, and connection lifecycle management. • Profile and optimize communication patterns to reduce latency and bandwidth overhead in multi-participant environments.

🎯 Anforderungen

• Strong experience building and operating distributed systems in production • Hands-on expertise with distributed training frameworks (FSDP, DeepSpeed, Megatron, or similar) • Deep understanding of model parallelism (data, tensor, pipeline parallelism) • Expert-level Python with production experience (concurrency, error handling, retry logic, clean architecture) • Strong networking fundamentals: P2P systems, gRPC, routing, NAT traversal, distributed coordination • Experience optimizing GPU workloads, memory management, and large-scale compute efficiency

🏖️ Vorteile

• Equity-heavy compensation with meaningful ownership in a mission-driven company • Competitive base salary for senior engineering roles in Australia • Visa sponsorship available for exceptional candidates • Remote-first with optional access to our Melbourne hub • World-class team — team mates were previously at at Google, Amazon, Microsoft, and leading startups