Research Engineer – Pretraining

🕒 il y a 16 jours

🏄 California – Distant

🏄 California – Remote

💵 $150 000 - $350 000 / an

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

📚 Ingénieur de Recherche

👻 Score fantôme 5%

Ce que ça veut dire : la probabilité que personne ne recrute vraiment pour cette offre.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Prime Intellect

Site WebLinkedInTous les Emplois

1 - 10 employés

🤖 Intelligence artificielle

☁️ SaaS

Artificial Intelligence • SaaS • Cloud Computing

Prime Intellect est une entreprise dédiée à la démocratisation du développement de l'IA en offrant des ressources informatiques évolutives et décentralisées pour l'entraînement de modèles. Leur plateforme permet aux utilisateurs de trouver et de partager des ressources de calcul à l'échelle mondiale, facilitant ainsi l'entraînement de modèles avancés via des clusters distribués. Ils promeuvent la propriété collective des innovations en IA, incluant des modèles linguistiques et scientifiques. Prime Intellect propose également une gamme d'options GPU pour permettre un entraînement de modèles abordable et efficace. Leur objectif est de faire progresser la recherche sur l'entraînement décentralisé et le développement de l'IA open-source à l'échelle mondiale.

Description

• Build and extend the pretraining code in prime-rl, taking small experiments into full training runs • Evaluate model architecture changes, including MoE and attention designs, against model quality and training cost • Profile training jobs and improve end-to-end throughput with systems engineers on hardware-aware execution • Make long runs resilient to failures through reliable checkpointing and recovery • Investigate training dynamics and numerical stability, ensuring optimizations preserve convergence • Run controlled ablations to guide larger experiments while keeping setup and results reproducible • Work with data and evaluation researchers on training mixtures, including midtraining and long-context experiments • Take the next open models from architecture experiments through full pretraining runs, scaling toward 1–3T parameters

🎯 Exigences

• Hands-on experience training language models, including modifying training code and following the effects through actual runs • Strong Python skills • Experience with PyTorch or a comparable framework • Systems understanding sufficient to debug distributed training • Practical understanding of model architectures and optimization, including their effect on convergence • Ability to design ablations that answer research questions and explain what results do and do not show • Good judgment about what to investigate independently and when to involve a colleague

🏖️ Avantages

• Equity incentives included in cash compensation range • Flexible work arrangements, with the option to work remotely or in-person at offices in San Francisco • Visa sponsorship • Relocation assistance for international candidates • Quarterly team off-sites • Hackathons • Conferences and learning opportunities • Opportunity to work with a talented, hard-working and mission-driven team

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV