Engenharia de Dados | Remota - 134797

🕒 Julho 20

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

GFT Technologies

SiteLinkedInTodas as Vagas

10.000+ funcionários

Fundada em 1987

💼 Consultoria

🛡️ Seguros

🔒 Cibersegurança

Consulting • Insurance • Cybersecurity

GFT Technologies é uma empresa líder em tecnologia e transformação digital que se especializa em fornecer soluções avançadas para gestão de consentimento e conformidade com privacidade de dados. Seu produto principal, o Cookiebot, permite que as empresas automatizem a coleta de consentimento dos usuários de forma eficiente, garantindo a conformidade com regulamentações de privacidade complexas, como GDPR e CCPA. As soluções da GFT possibilitam integração perfeita às infraestruturas digitais existentes, ajudando mais de 600. 000 clientes globalmente a gerenciar dados de usuários com transparência e segurança.

Descrição

• Reconstruir pipelines do Data Warehouse legado em Databricks utilizando PySpark e Spark SQL; • Implementar as camadas bronze, silver e gold seguindo os padrões da arquitetura medalhão; • Aplicar padrões de ingestão CDC e batch conforme diretrizes do projeto; • Executar waves de reconstrução por domínio em coexistência com o DW legado até o cutover; • Implementar regras de negócio e transformações com testes automatizados; • Realizar reconciliação e validação de paridade entre os dados do ambiente legado e do Lakehouse; • Otimizar performance e custos dos pipelines por meio de particionamento, OPTIMIZE, Z-ORDER e dimensionamento de workloads; • Contribuir com a documentação técnica das regras migradas; • Apoiar a priorização e execução das waves de migração;

🎯 Requisitos

• Conhecimento avançado em PySpark e Python; • Experiência com desenvolvimento de pipelines batch em larga escala; • Conhecimento avançado em SQL; • Experiência com modelagem de dados relacional e dimensional; • Experiência com Databricks e Delta Lake em ambiente produtivo; • Conhecimento em arquitetura medalhão (bronze, silver e gold); • Experiência com Delta Live Tables, Lakeflow e Asset Bundles; • Vivência em migração ou reconstrução de pipelines ETL; • Experiência com tradução de regras de negócio de plataformas legadas para Spark; • Conhecimento em ingestão CDC e batch a partir de bancos relacionais; • Experiência com AWS (S3, Glue, EMR, Athena, Lambda, DMS e Step Functions); • Conhecimento em Azure Synapse (SQL Pools e Pipelines); • Experiência com qualidade e reconciliação de dados; • Conhecimento em testes automatizados e controles de Data Quality; • Experiência com Git e CI/CD aplicados à engenharia de dados;

🏖️ Benefícios

• Cartão multi-benefícios – você escolhe como e onde utilizar. • Bolsas de Estudos para cursos de Graduação, Pós, MBA e Idiomas. • Programas de incentivo à Certificações. • Horário de trabalho flexível. • Salários competitivos. • Avaliação de desempenho anual com plano de carreira estruturado. • Possibilidade de carreira internacional. • Wellhub e TotalPass. • Previdência Privada. • Auxílio-Creche. • Assistência Médica. • Assistência Odontológica. • Seguro de Vida.