Research Engineer – Pre-training

🕒 il y a 2 mois

🌐 États-Unis, Australie – Distant

🇺🇸 États-Unis – Télétravail 🇦🇺 Australie – Télétravail

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

📚 Ingénieur de Recherche

👻 Score fantôme 38%

Ce que ça veut dire : la probabilité que personne ne recrute vraiment pour cette offre.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Pluralis Research

Site WebLinkedInTous les Emplois

1 - 10 employés

🤖 Intelligence artificielle

🌐 Web 3

Artificial Intelligence • Web 3

Pluralis Research est un laboratoire de recherche en IA axé sur le Protocol Learning — l'apprentissage décentralisé et multi-participant de modèles fondamentaux où aucun participant ne détient une copie complète du modèle. Le groupe développe des méthodes pour permettre un parallélisme efficace en communication des modèles et pipelines, des modèles collaboratifs inextractables, et un parallélisme contextuel à haute compression pour que les modèles de pointe, formés et possédés par la communauté, puissent évoluer sur des appareils connectés à Internet à faible bande passante. Leur travail cible des systèmes et algorithmes pratiques qui rendent la formation décentralisée compétitive face à la formation centralisée tout en permettant de nouveaux modèles de propriété et économiques.

Description

• Implement and optimize model-parallel distributed pretraining across data, pipeline, and tensor parallelism • Train large models on heterogeneous GPUs over low-bandwidth, high-latency internet links • Implement techniques to reduce communication overhead while maintaining model convergence • Build elasticity and fault tolerance for node churn, including checkpointing, state synchronization, and participant recovery • Build run instrumentation and monitoring for throughput, bottlenecks, and model quality across hundreds of devices • Take Protocol Learning from an 8B model run to frontier scale

🎯 Exigences

• Hands-on experience training models across many devices in PyTorch using FSDP, DeepSpeed, Megatron, or an equivalent implementation • Understanding of data, tensor, and pipeline parallelism • Production-quality Python • Experience with concurrency, failure handling, and profiling before optimizing • Evidence of shipped systems, research code, open-source work, or serious personal projects • Professional-level English proficiency, written and spoken • Comfortable working across time zones • Nice to have: experience training or serving large language models such as Nemotron, Qwen, or OLMo • Nice to have: experience with P2P networking and NAT traversal • Nice to have: experience with post-training and reinforcement learning • Nice to have: experience with inference and serving systems • Nice to have: experience at proprietary, open-weight, or open-source AI labs

🏖️ Avantages

• Significant equity ownership in addition to a high base salary • Flexible remote work environment • Full visa sponsorship and relocation support to Australia or the US for exceptional candidates • Opportunity to work on open, frontier-scale research problems • Work with a globally distributed team

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV