Membre de l'équipe d'ingénierie (Pré‑entraînement / Recherche sur les données)

🕒 il y a 2 mois

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

poolside

Site WebLinkedInTous les Emplois

51 - 200 employés

Fondée en 2023

🤖 Intelligence artificielle

🏢 Entreprise

Artificial Intelligence • Enterprise

Poolside est un accélérateur spécifiquement conçu pour les fondateurs et builders Web3. Il apporte un soutien aux projets en finance décentralisée (DeFi), gaming, gouvernance, infrastructure et NFT. Fort d’un écosystème de 20 000 membres, incluant des mentors, des investisseurs et des builders Web3, Poolside a co-lancé et accompagné plus de 110 projets. L’accélérateur offre un accès privilégié au mentorat et à l’expertise technique pour aider les projets Web3 à scaler et à réussir leurs lancements. Poolside collabore également avec des entreprises et des protocoles de premier plan pour stimuler la croissance et l’innovation dans l’écosystème Web3.

Description

• Vous travaillerez au sein de notre équipe data, axée sur la qualité des jeux de données fournis pour l'entraînement de nos modèles. • Il s'agit d'un rôle opérationnel où votre mission principale sera d'améliorer la qualité des jeux de données de pré‑entraînement en vous appuyant sur votre expérience, votre intuition et des expériences d'entraînement. • Cela inclut la génération de données synthétiques et l'optimisation du mix de données. • Vous collaborerez étroitement avec d'autres équipes telles que Pré‑entraînement, Post‑entraînement, Evals et Product pour définir des besoins en données de haute qualité correspondant aux capacités manquantes des modèles et aux cas d'usage en aval. • Se tenir à jour des dernières recherches dans les domaines de la conception de jeux de données et du pré‑entraînement est essentiel pour réussir à ce poste. • Vous conduirez en permanence des initiatives de recherche originales via des expériences courtes et limitées dans le temps tout en déployant des solutions d'ingénierie techniques en production. • Étant donné le volume massif de données à traiter, vous disposerez d'une pipeline de données distribuée performante ainsi que d'un grand cluster GPU.

🎯 Exigences

• Solide formation en machine learning et en ingénierie • Expérience avec les Large Language Models (LLM), incluant : • Compréhension des architectures transformer et du fonctionnement de l'apprentissage des LLM • Ablations de données et lois d'échelle • Techniques en cours d'entraînement (mid‑training) et post‑entraînement • Entraînement de modèles de raisonnement et modèles 'agentic' • Expérience des évaluations (evals) pour suivre les capacités des modèles (connaissances générales, raisonnement, mathématiques, codage, contextes longs, etc.) • Expérience dans la constitution de jeux de données de pré‑entraînement à l'échelle 'trillion-scale', et bonne connaissance de concepts tels que la curation de données, la déduplication, le data mixing, la tokenization, le curriculum d'entraînement et l'impact de la répétition des données. • Excellentes compétences en programmation Python • Solides compétences en prompt engineering • Expérience de travail avec de grands clusters GPU et des pipelines de données distribués • Forte obsession pour la qualité des données • Expérience en recherche : • Avoir rédigé des articles scientifiques sur des sujets tels que le deep learning appliqué, les LLM, la génération de code source, etc. est un plus • Savoir discuter librement des derniers articles et entrer dans les détails techniques • Avoir des avis argumentés

🏖️ Avantages

• Télétravail intégral et horaires flexibles • 37 jours/an de congés et jours fériés • Allocation pour la complémentaire santé pour vous et vos ayants droit • Matériel fourni par l'entreprise • Indemnités pour le bien‑être, la formation continue et le télétravail • Rencontres d'équipe fréquentes • Culture diversifiée, inclusive et axée sur les personnes