Data Processing Principal Engineer

Stelle nicht auf LinkedIn

🕒 vor 7 Monaten

🇺🇸 Vereinigte Staaten – Remote

⏰ Vollzeit

🔴 Experte

🧑‍💻 Full-Stack-Entwickler

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mails für Remote-Jobs erhalten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

DataPelago

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet 2022

🤖 Künstliche Intelligenz

🏢 Unternehmen

🤝 B2B

Artificial Intelligence • Enterprise • B2B

DataPelago ist ein Unternehmen, das eine universelle Datenverarbeitungs-Engine (DataPelago Nucleus) und den DataPelago Accelerator für Spark bereitstellt, um GenAI- und Analyse-Workloads drastisch zu beschleunigen. Ihre Plattform nutzt heterogenes beschleunigtes Computing (GPUs, FPGAs und CPUs), integriert sich in Open-Source-Frameworks wie Spark, Trino und Gluten/Substrait und zielt darauf ab, Leistungssteigerungen um Größenordnungen und signifikante Kostensenkungen zu liefern, ohne Änderungen an Anwendungen oder Anbieterbindung. DataPelago richtet sich an Unternehmensdaten- und KI-Anwender und bietet Bereitstellungshandbücher, Benchmarks und Fallstudien, die große Einsparungen und schnellere Verarbeitung für großflächige strukturierte, semi-strukturierte und unstrukturierte Datensätze demonstrieren.

Beschreibung

• Lead architecture, design, and implementation of next-generation data processing engine built to exploit accelerated computing. • Work with cross-functional teams to advance the architecture at the core of Datapelago’s parallel and distributed execution engine based on accelerated computing • Lead the execution engine team in the design, implementation, and rollout of enterprise grade, highly reliable acceleration engine for data processing • Design, implement, test, and maintain major components of the execution engine • Analyze and identify areas for differentiation and improvements in the execution engine • Collaborate with other teams and team members to drive code reviews, design reviews, performance and reliability reviews, and development process and to drive continuous improvement in all of these

🎯 Anforderungen

• B.S. EE/CS or equivalent with 15+ years experience or MS with 10+ years experience • 10+ years of experience developing core components of an enterprise-grade database or analytics execution engine serving large-scale data processing workloads. Experience developing for platforms such as Apache Spark, Gluten, Velox, DataFusion preferred. • Experienced developing high-performance parallel implementations of data processing operators and functions, such as joins, aggregations, sorts • Experience leading 10+ teams in designing, developing, and releasing high-performance data processing engines for large production deployments • Strong programming ability in C, C++, and Rust • Strong development experience on Linux platforms