Senior Data Engineer – GCP, DBT

Job not on LinkedIn

🕒 June 24

Apply Now

Find Similar Remote Jobs

Set Up Email Alert For New Jobs

📊 Check your resume score for this job

Improve your chances of getting an interview by checking your resume score before you apply.

Upload Resume

Leega

WebsiteLinkedInAll Job Openings

201 - 500 employees

Founded 2010

🔌 API

🤖 Artificial Intelligence

API • Artificial Intelligence • Cloud Solutions

Leega is a leading technology solutions provider in Latin America, specializing in data analytics and cloud solutions. As the first company in the region certified by Google Cloud for Data Analytics, Leega offers a range of services including application development, machine learning, and risk management analytics. The firm partners with major cloud services such as AWS and Microsoft Azure to help businesses enhance their data management and transition effectively to the cloud, ultimately driving digital transformation and innovation.

📋 Description

• Análise e Planejamento de Cargas/Pipelines: Avaliar a arquitetura e os requisitos do DW. • Mapear os dados, transformações e processos os serviços GCP (Cloud Storage, BigQuery, Dataproc). • Definir a estratégia de migração de dados (full load, incremental, CDC). • Elaborar um plano de arquitetura de dados no GCP. • Design e Modelagem de Dados no GCP: Projetar esquemas de tabelas no BigQuery, considerando performance, custo e escalabilidade. • Definir estratégias de particionamento e clustering para BigQuery. • Modelar as zonas de dados no Cloud Storage (Bronze, Silver e Gold). • Desenvolvimento de Pipelines de ELT/ETL: Criar rotinas de transformação de dados usando Dataproc (Spark) ou Dataflow para carregar dados para o BigQuery. • Traduzir a lógica de negócios e as transformações existentes no GCP. • Implementar mecanismos de validação e qualidade de dados. • Provisionamento e Gerenciamento de Infraestrutura: Utilizar ferramentas de IaC (Terraform) para provisionar e gerenciar recursos GCP (BigQuery datasets/tables, Cloud Storage buckets, Dataproc clusters). • Configurar e otimizar clusters Dataproc para diferentes cargas de trabalho. • Gerenciar redes, segurança (IAM) e acessos no GCP. • Otimização de Performance e Custo: Otimizar consultas no BigQuery para reduzir custos e melhorar o desempenho. • Ajustar e otimizar jobs Spark no Dataproc. • Monitorar e otimizar o uso de recursos GCP para controlar custos. • Segurança e Governança de Dados: Implementar e garantir a segurança dos dados em trânsito e em repouso. • Definir e aplicar políticas de IAM para controlar o acesso aos dados e recursos. • Garantir a conformidade com as políticas de governança de dados. • Monitoramento e Suporte: Solucionar problemas de desempenho e funcionalidade dos pipelines de dados e recursos GCP. • Documentação: Documentar a arquitetura, os pipelines de dados, os modelos de dados e os procedimentos operacionais. • Comunicação: Comunicar-se de forma eficaz com membros da equipe, stakeholders e outras áreas da empresa. • Garantir a comunicação clara entre as definições de arquitetura e componentes de software, evolução e a qualidade dos desenvolvimentos da equipe; • Jira / Metodologias Ágeis: Conhecer as metodologias ágeis, seus ritos e proficiência com a ferramenta Jira.

🎯 Requirements

• Google Cloud Platform (GCP): Profundo conhecimento em modelagem de dados, otimização de consultas, particionamento, clustering, carga de dados (streaming e batch), segurança e governança de dados. • Cloud Storage: Experiência em gerenciamento de buckets, classes de armazenamento, políticas de ciclo de vida, controle de acesso (IAM) e segurança de dados. • Dataproc: Habilidade em provisionamento, configuração e gerenciamento de clusters Spark/Hadoop, otimização de jobs, e integração com outros serviços GCP. • Dataflow/Composer/DBT: Conhecimento em ferramentas de orquestração e processamento de dados para pipelines ELT/ETL. • Conhecimento comprovado no mínimo 4 anos em GCP; • Conhecimento comprovado no mínimo 4 anos em DBT; • Conhecimento comprovado no minimo 3 anos em Pyspark; • Conhecimento comprovado em GitFlow; • Cloud IAM (Identity and Access Management): Implementação de políticas de segurança e controle de acesso granular. • VPC, Networking e Security: Entendimento de redes, sub-redes, regras de firewall e melhores práticas de segurança na nuvem. • Linguagens de Programação: Python e PySpark. Essencial para scripts de automação, desenvolvimento de pipelines de dados e integração com APIs GCP. • SQL (avançado): Para BigQuery, DBT e transformações de dados. • Shell Scripting: Para automação de tarefas. • Controle de Versão: Git/GitHub/Bitbucket.

🏖️ Benefits

• 🏥 Convênio Médico Porto Seguro • 🦷 Convênio Odontológico Porto Seguro • 💰 Participação nos Lucros e Resultados (PLR) • 👶 Auxílio Creche • 🍽️ Vale Alimentação e Refeição Alelo • 💻 Auxílio Home Office • 📚 Parcerias com Instituições de Ensino • 🚀 Incentivo para Certificações, inclusive em Cloud • 🎁 Pontos Livelo • 🏋️‍♂️ TotalPass • 🧘‍♂️Mindself