Member of Engineering – Pre-training, Data Engineering

Emploi pas sur LinkedIn

🕒 il y a 6 mois

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

poolside

Site WebLinkedInTous les Emplois

51 - 200 employés

Fondée en 2023

🤖 Intelligence artificielle

🏢 Entreprise

Artificial Intelligence • Enterprise

Poolside est un accélérateur spécifiquement conçu pour les fondateurs et builders Web3. Il apporte un soutien aux projets en finance décentralisée (DeFi), gaming, gouvernance, infrastructure et NFT. Fort d’un écosystème de 20 000 membres, incluant des mentors, des investisseurs et des builders Web3, Poolside a co-lancé et accompagné plus de 110 projets. L’accélérateur offre un accès privilégié au mentorat et à l’expertise technique pour aider les projets Web3 à scaler et à réussir leurs lancements. Poolside collabore également avec des entreprises et des protocoles de premier plan pour stimuler la croissance et l’innovation dans l’écosystème Web3.

Description

• Build and maintain high-performance pipelines for trillions of tokens. • Deliver diverse and high quality datasets for pre-training foundation models. • Closely work with other teams such as Pretraining, Posttraining, Evals and Product to to ensure alignment on the quality of the models delivered.

🎯 Exigences

• Strong background in building production-grade, distributed data systems for machine learning, with experience in: • Orchestration: Slurm, Airflow, or Dagster • Observability & Reliability: CI/CD, Grafana, Prometheus, etc. • Infra: Git, Docker, k8s, cloud managed services • Batched inference (ex: vLLM) • Performance obsession, especially with large-scale GPU clusters and distributed pipelines • Expert-level python knowledge and ability to write clean and maintainable code • Strong algorithmic foundations • Proficiency with libraries like Polars, Dask, or PySpark • Nice to have: • Experience in building trillion-scale SOTA pretraining datasets • Experience translating research to production at scale • Experience with OCR, web crawling, or evals • Prior experience pre-training LLMs

🏖️ Avantages

• Fully remote work & flexible hours • 37 days/year of vacation & holidays • Health insurance allowance for you and dependents • Company-provided equipment • Wellbeing, always-be-learning and home office allowances • Frequent team get togethers • Great diverse & inclusive people-first culture