Engenheiro de Dados SR – Databricks

🔥 0 minutes ago

Apply Now

Find Similar Remote Jobs

Set Up Email Alert For New Jobs

📊 Check your resume score for this job

Improve your chances of getting an interview by checking your resume score before you apply.

Upload Resume

SysMap Solutions

WebsiteLinkedInAll Job Openings

1001 - 5000 employees

Founded 1999

SysMap Solutions is a services company devoted to offering technological development to its customers since 1997.

📋 Description

• Desenvolver, evoluir e sustentar pipelines de dados escaláveis para ingestão, transformação e disponibilização de informações em ambiente Databricks, utilizando Python, SQL, Spark e DBT; • Projetar, implementar e optimizar processos de ETL/ELT, garantindo alta performance, confiabilidade, governança e qualidade dos dados ao longo do ciclo de vida das soluções; • Construir, manter e monitorar workflows e DAGs no Apache Airflow, assegurando a correta orquestração, automação e observabilidade das cargas de dados; • Atuar na modelagem e implementação das camadas Bronze, Silver e Gold seguindo a arquitetura Lakehouse e as melhores práticas de Data Engineering; • Integrar dados provenientes de múltiplas fontes, como APIs, bancos de dados relacionais e não relacionais, sistemas corporativos e serviços em nuvem; • Apoiar a definição de padrões técnicos, boas práticas de desenvolvimento, versionamento, testes e documentação de pipelines de dados; • Trabalhar em parceria com equipes de Analytics, BI, Data Science e áreas de negócio para entender requisitos e transformar necessidades em soluções de dados escaláveis; • Investigar e solucionar incidentes, problemas de performance e falhas em processos de dados, garantindo a estabilidade e disponibilidade da plataforma.

🎯 Requirements

• Experiência sólida como Engenheiro(a) de Dados Sênior em projetos de dados corporativos e ambientes de grande volume de informações; • Domínio de Databricks, Apache Spark, Delta Lake, Python e SQL para desenvolvimento, sustentação e otimização de pipelines de dados; • Experiência prática com DBT para transformação, modelagem e gerenciamento de ativos de dados; • Conhecimento avançado em Apache Airflow para orquestração, monitoramento e automação de fluxos de dados; • Experiência com arquitetura Lakehouse e modelagem de dados nas camadas Bronze, Silver e Gold; • Vivência em integração de dados por meio de APIs REST, bancos de dados relacionais e outras fontes corporativas; • Conhecimento em versionamento de código utilizando Git e experiência com Azure DevOps ou ferramentas similares de CI/CD; • Experiência em práticas de qualidade, monitoramento, observabilidade e governança de dados; • Conhecimento em performance tuning e otimização de consultas e pipelines de processamento de dados; • Certificações Databricks, Azure Data Engineer Associate ou similares; • Experiência com Azure Data Lake Storage (ADLS), Azure Data Factory (ADF) e demais serviços de dados na nuvem Azure; • Conhecimento em DataOps, CI/CD para pipelines de dados e Infraestrutura como Código (IaC); • Experiência com ferramentas de Data Quality, Data Governance e Observabilidade de Dados.

🏖️ Benefits

• Vaga também para PcD