Senior Data Engineer – Databricks, AWS

Vaga não está no LinkedIn

🕒 Julho 14

🇺🇸 Estados Unidos – Remoto (EUA)

⏰ Tempo Integral

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 19%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

nDeavour Consulting

SiteLinkedInTodas as Vagas

1 - 10 funcionários

Fundada em 2019

💼 Consultoria

📦 Logística

📣 Marketing

Consulting • Logistics • Marketing

A nDeavour Consulting é uma empresa de recrutamento e aconselhamento de carreira sediada em Sófia, Bulgária. Com uma década de experiência, a nDeavour foca em ajudar indivíduos e empresas a alcançarem seus objetivos de crescimento, proporcionando oportunidades de trabalho excepcionais e orientação profissional. A empresa se orgulha de seus princípios de confidencialidade, agilidade, orgulho, honestidade, transparência, coragem e responsabilidade, que promovem relações fortes com clientes e candidatos.

Descrição

• Design and implement robust, scalable data ingestion and transformation pipelines using Databricks, PySpark, and distributed processing. Utilize Airflow (or similar) for reliable workflow orchestration. • Implement Delta Lake principles, focusing on CDC and schema evolution. Establish and integrate data quality frameworks (e.g., Great Expectations) within CI/CD pipelines for data integrity. • Develop and optimize complex SQL and Python scripts. Integrate diverse data sources (APIs, S3 files, etc.) and handle both structured and unstructured data. • Support the implementation of data governance and cataloguing solutions (e.g., Unity Catalog). Proactively investigate and improve inconsistent legacy datasets. • Guide and manage AI agents for code generation, ensuring quality and stability. Work pragmatically and collaboratively to drive technical solutions.

🎯 Requisitos

• 5+ years of professional experience in data engineering, focused on cloud and distributed processing environments. • Strong experience with Databricks, PySpark, distributed processing, and Delta Lake. Deep knowledge of CDC and schema evolution. • Expert SQL optimization and Python skills. Hands-on experience with Airflow (or similar). • Familiarity with relevant AWS components. Good understanding of CI/CD for data workflows and implementing data quality frameworks. • Knowledge of streaming (Kafka/Kinesis) and exposure to Unity Catalog or similar governance tools. • Proactive problem-solver; comfortable working with complex, inconsistent data without needing explicit specs. • Able to work independently in a fast-paced rebuild environment. • Collaborative, pragmatic, thrives on rapid iteration. • Skilled at directing AI agents to code while maintaining high quality standards.

🏖️ Benefícios

• Remote Office – Flexible hybrid form of working • Parking Space – We provide free parking spots • Fun Office Space – We offer a game zone and a relaxation area • Health Insurance – Additional private health insurance, including a dental care plan • Personal Development – Company-sponsored training budget to further develop your skills • Employee Referral Program – Receive a bonus for referring a friend • Holidays – Enjoy an extra 5 days after your 1st and 5th year • Social Events – We love to celebrate our success together • Family Insurance – Add insurance to a family member • Offering sports cards – 100% sponsored by the company