Data Processing Principal Engineer

Vaga não está no LinkedIn

🕒 Outubro 22, 2025

🇺🇸 Estados Unidos – Remoto (EUA)

⏰ Tempo Integral

🔴 Especialista

🧑‍💻 Engenheiro Full-stack

🦅 Patrocina Visto H1B

Esta empresa já patrocinou vistos H1B no passado.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

DataPelago

SiteLinkedInTodas as Vagas

51 - 200 funcionários

Fundada em 2022

🤖 Inteligência Artificial

🏢 Corporativo

🤝 B2B

Artificial Intelligence • Enterprise • B2B

A DataPelago é uma empresa que fornece um mecanismo universal de processamento de dados (DataPelago Nucleus) e o DataPelago Accelerator para Spark para acelerar drasticamente cargas de trabalho GenAI e de análise. Sua plataforma aproveita a computação acelerada heterogênea (GPUs, FPGAs e CPUs), integra-se com frameworks de código aberto como Spark, Trino e Gluten/Substrait, e visa oferecer uma performance várias ordens de magnitude superior e uma redução significativa de custos sem necessidade de alterações nas aplicações ou dependência de fornecedores. A DataPelago tem como público-alvo profissionais de dados e IA em empresas, oferecendo guias de implantação, benchmarks e estudos de caso que demonstram grandes economias e processamento mais rápido para conjuntos de dados grandes e estruturados, semiestruturados e não estruturados.

Descrição

• Lead architecture, design, and implementation of next-generation data processing engine built to exploit accelerated computing. • Work with cross-functional teams to advance the architecture at the core of Datapelago’s parallel and distributed execution engine based on accelerated computing • Lead the execution engine team in the design, implementation, and rollout of enterprise grade, highly reliable acceleration engine for data processing • Design, implement, test, and maintain major components of the execution engine • Analyze and identify areas for differentiation and improvements in the execution engine • Collaborate with other teams and team members to drive code reviews, design reviews, performance and reliability reviews, and development process and to drive continuous improvement in all of these

🎯 Requisitos

• B.S. EE/CS or equivalent with 15+ years experience or MS with 10+ years experience • 10+ years of experience developing core components of an enterprise-grade database or analytics execution engine serving large-scale data processing workloads. Experience developing for platforms such as Apache Spark, Gluten, Velox, DataFusion preferred. • Experienced developing high-performance parallel implementations of data processing operators and functions, such as joins, aggregations, sorts • Experience leading 10+ teams in designing, developing, and releasing high-performance data processing engines for large production deployments • Strong programming ability in C, C++, and Rust • Strong development experience on Linux platforms