Member of Engineering – Pre-training, Data Acquisition

🕒 vor 28 Tagen

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mails für Remote-Jobs erhalten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

poolside

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet 2023

🤖 Künstliche Intelligenz

🏢 Unternehmen

Artificial Intelligence • Enterprise

Poolside ist ein Accelerator, der speziell für Web3-Gründerinnen und -Gründer sowie Builder konzipiert ist. Das Programm unterstützt Projekte in den Bereichen Decentralized Finance (DeFi), Gaming, Governance, Infrastruktur und NFTs. Mit einem starken Ökosystem aus 20. 000 Mitgliedern – darunter Mentorinnen und Mentoren, Investorinnen und Investoren sowie Web3-Builder – hat Poolside über 110 Projekte mitangestoßen und begleitet. Der Accelerator bietet exklusiven Zugang zu Mentoring und technischer Expertise, um Web3-Projekte zu skalieren und erfolgreiche Markteinführungen zu ermöglichen. Darüber hinaus arbeitet Poolside mit führenden Unternehmen und Protokollen zusammen, um Wachstum und Innovation im Web3-Bereich voranzutreiben.

Beschreibung

• Design, build, and operate a large-scale web crawler responsible for acquiring all openly accessible data on the internet • Develop specialized deep crawlers targeting high-value sources to improve recall and coverage • In collaboration with data researchers, own a long-term road map for data acquisition • Build observability, monitoring, and debugging tooling to ensure reliability and transparency across crawl infrastructure • Collaborate with pre-training, post-training, and evaluations teams to align data acquisition priorities with model training needs • Build high-throughput ingestion pipelines for rapidly onboarding partner data and evaluating it for quality

🎯 Anforderungen

• Strong distributed systems background with proven experience building and operating large-scale infrastructure — data pipelines, web crawlers, or similar • Proficiency in Python, and comfortable optimizing performance and debugging complex systems under production conditions • Hands-on experience with web crawling or large-scale data extraction: understanding of HTTP protocols, distributed job queues, and data parsing at scale • Familiarity with cloud platforms (AWS) and container orchestration (Kubernetes, Docker) for deploying and managing high-throughput workloads • Awareness of the non-technical dimensions of internet-scale crawling: data privacy, robots.txt adherence, and responsible crawl practices • Nice to have: • Prior experience pre-training LLMs • Experience in building trillion-scale SOTA pre-training datasets • Experience translating research to production at scale

🏖️ Vorteile

• Fully remote work & flexible hours • 37 days/year of vacation & holidays • 16 weeks of flexible, full-pay parental leave • Health insurance allowance for you & dependents • Company-provided equipment • Well-being, always-be-learning & home office allowances • Frequent team get togethers • Diverse & inclusive people-first culture