Engenheiro de Dados Databricks SR

🔥 0 minutos atrás

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

SysMap Solutions

SiteLinkedInTodas as Vagas

1001 - 5000 funcionários

Fundada em 1999

A SysMap Solutions é uma empresa de serviços dedicada a oferecer desenvolvimento tecnológico aos seus clientes desde 1997.

Descrição

• Desenvolver, evoluir e sustentar pipelines de dados escaláveis para ingestão, transformação e disponibilização de informações em ambiente Databricks, utilizando Python, SQL, Spark e DBT; • Projetar, implementar e optimizar processos de ETL/ELT, garantindo alta performance, confiabilidade, governança e qualidade dos dados ao longo do ciclo de vida das soluções; • Construir, manter e monitorar workflows e DAGs no Apache Airflow, assegurando a correta orquestração, automação e observabilidade das cargas de dados; • Atuar na modelagem e implementação das camadas Bronze, Silver e Gold seguindo a arquitetura Lakehouse e as melhores práticas de Data Engineering; • Integrar dados provenientes de múltiplas fontes, como APIs, bancos de dados relacionais e não relacionais, sistemas corporativos e serviços em nuvem; • Apoiar a definição de padrões técnicos, boas práticas de desenvolvimento, versionamento, testes e documentação de pipelines de dados; • Trabalhar em parceria com equipes de Analytics, BI, Data Science e áreas de negócio para entender requisitos e transformar necessidades em soluções de dados escaláveis; • Investigar e solucionar incidentes, problemas de performance e falhas em processos de dados, garantindo a estabilidade e disponibilidade da plataforma.

🎯 Requisitos

• Experiência sólida como Engenheiro(a) de Dados Sênior em projetos de dados corporativos e ambientes de grande volume de informações; • Domínio de Databricks, Apache Spark, Delta Lake, Python e SQL para desenvolvimento, sustentação e otimização de pipelines de dados; • Experiência prática com DBT para transformação, modelagem e gerenciamento de ativos de dados; • Conhecimento avançado em Apache Airflow para orquestração, monitoramento e automação de fluxos de dados; • Experiência com arquitetura Lakehouse e modelagem de dados nas camadas Bronze, Silver e Gold; • Vivência em integração de dados por meio de APIs REST, bancos de dados relacionais e outras fontes corporativas; • Conhecimento em versionamento de código utilizando Git e experiência com Azure DevOps ou ferramentas similares de CI/CD; • Experiência em práticas de qualidade, monitoramento, observabilidade e governança de dados; • Conhecimento em performance tuning e otimização de consultas e pipelines de processamento de dados; • Certificações Databricks, Azure Data Engineer Associate ou similares; • Experiência com Azure Data Lake Storage (ADLS), Azure Data Factory (ADF) e demais serviços de dados na nuvem Azure; • Conhecimento em DataOps, CI/CD para pipelines de dados e Infraestrutura como Código (IaC); • Experiência com ferramentas de Data Quality, Data Governance e Observabilidade de Dados.

🏖️ Benefícios

• Vaga também para PcD