Data Processing Principal Engineer

Emploi pas sur LinkedIn

🕒 il y a 9 mois

🇺🇸 États-Unis – Télétravail

⏰ Temps Plein

🔴 Expert

🧑‍💻 Développeur Full-Stack

🦅 Parrain de Visa H1B

Cette entreprise a parrainé des visas H1B par le passé.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

DataPelago

Site WebLinkedInTous les Emplois

51 - 200 employés

Fondée en 2022

🤖 Intelligence artificielle

🏢 Entreprise

🤝 B2B

Artificial Intelligence • Enterprise • B2B

DataPelago est une entreprise qui propose un moteur universel de traitement de données (DataPelago Nucleus) et le DataPelago Accelerator pour Spark afin d'accélérer drastiquement les charges de travail en GenAI et analytique. Leur plateforme exploite l'informatique accélérée hétérogène (GPU, FPGA et CPU), s'intègre aux frameworks open-source tels que Spark, Trino, et Gluten/Substrait, et vise à offrir des performances inédites et des réductions de coûts significatives sans apporter de modifications aux applications ni d'enfermement propriétaire. DataPelago cible les praticiens de la donnée et de l'IA en entreprise, offrant des guides de déploiement, des benchmarks et des études de cas démontrant de grandes économies et un traitement plus rapide pour les ensembles de données à grande échelle, structurées, semi-structurées et non structurées.

Description

• Lead architecture, design, and implementation of next-generation data processing engine built to exploit accelerated computing. • Work with cross-functional teams to advance the architecture at the core of Datapelago’s parallel and distributed execution engine based on accelerated computing • Lead the execution engine team in the design, implementation, and rollout of enterprise grade, highly reliable acceleration engine for data processing • Design, implement, test, and maintain major components of the execution engine • Analyze and identify areas for differentiation and improvements in the execution engine • Collaborate with other teams and team members to drive code reviews, design reviews, performance and reliability reviews, and development process and to drive continuous improvement in all of these

🎯 Exigences

• B.S. EE/CS or equivalent with 15+ years experience or MS with 10+ years experience • 10+ years of experience developing core components of an enterprise-grade database or analytics execution engine serving large-scale data processing workloads. Experience developing for platforms such as Apache Spark, Gluten, Velox, DataFusion preferred. • Experienced developing high-performance parallel implementations of data processing operators and functions, such as joins, aggregations, sorts • Experience leading 10+ teams in designing, developing, and releasing high-performance data processing engines for large production deployments • Strong programming ability in C, C++, and Rust • Strong development experience on Linux platforms