Engenheiro de Dados Pleno GCP/DBT

Vaga não está no LinkedIn

🕒 Junho 24

🇧🇷 Brasil – Remoto

⏰ Tempo Integral

🟡 Pleno

🚰 Engenheiro de Dados

De onde vem esta vaga

Publicada na página de carreiras da Leega ↗página de carreiras da Leega, não em um site de vagas

Vista pela primeira vez pelo Remote Rocketship Junho 24

Ainda aberta no site da Leega. Verificada 4 horas atrás.

Candidatar-se
Logo of Leega

Leega

201 - 500 funcionários

Fundada em 2010

💼 Consultoria

📣 Marketing

🔌 API

Consulting • Marketing • API

A Leega é uma provedora líder de soluções de tecnologia na América Latina, especializada em analytics de dados e soluções em nuvem. Primeira empresa na região certificada pelo Google Cloud em Data Analytics, a Leega oferece um portfólio de serviços que inclui desenvolvimento de aplicações, machine learning e analytics para gestão de riscos. A empresa faz parcerias com os principais provedores de nuvem, como AWS e Microsoft Azure, para ajudar as empresas a aprimorar a gestão de dados e realizar uma migração eficiente para a nuvem, impulsionando a transformação digital e a inovação.

Descrição

• Análise e Planejamento de Cargas/Pipelines: • Avaliar a arquitetura e os requisitos do DW. • Mapear os dados, transformações e processos os serviços GCP (Cloud Storage, BigQuery, Dataproc). • Definir a estratégia de migração de dados (full load, incremental, CDC). • Elaborar um plano de arquitetura de dados no GCP. • Design e Modelagem de Dados no GCP: • Projetar esquemas de tabelas no BigQuery, considerando performance, custo e escalabilidade. • Definir estratégias de particionamento e clustering para BigQuery. • Modelar as zonas de dados no Cloud Storage (Bronze, Silver e Gold). • Desenvolvimento de Pipelines de ELT/ETL: • Criar rotinas de transformação de dados usando Dataproc (Spark) ou Dataflow para carregar dados para o BigQuery. • Traduzir a lógica de negócios e as transformações existentes no GCP. • Implementar mecanismos de validação e qualidade de dados. • Otimização de Performance e Custo: • Otimizar consultas no BigQuery para reduzir custos e melhorar o desempenho. • Ajustar e otimizar jobs Spark no Dataproc. • Monitorar e otimizar o uso de recursos GCP para controlar custos. • Segurança e Governança de Dados: • Implementar e garantir a segurança dos dados em trânsito e em repouso. • Definir e aplicar políticas de IAM para controlar o acesso aos dados e recursos. • Garantir a conformidade com as políticas de governança de dados. • Monitoramento e Suporte: • Solucionar problemas de desempenho e funcionalidade dos pipelines de dados e recursos GCP. • Documentação: • Documentar a arquitetura, os pipelines de dados, os modelos de dados e os procedimentos operacionais. • Comunicação: • Comunicar-se de forma eficaz com membros da equipe, stakeholders e outras áreas da empresa. • Garantir a comunicação clara entre as definições de arquitetura e componentes de software, evolução e a qualidade dos desenvolvimentos da equipe; • Jira / Metodologias Ágeis: • Conhecer as metodologias ágeis, seus ritos e proficiência com a ferramenta Jira.

🎯 Requisitos

• Conhecimento comprovado em DBT no minimo de 3 anos; • Domínio de: • models (staging, intermediate, marts) • ref() e source() • macros (Jinja) • seeds e snapshots • tests (not null, unique, custom) • Organização em camadas: • Staging → Transform → Mart (Data Warehouse • **Google Cloud Platform (GCP):** • **BigQuery:** Profundo conhecimento em modelagem de dados, otimização de consultas, particionamento, clustering, carga de dados (streaming e batch), segurança e governança de dados. • **Cloud Storage:** Experiência em gerenciamento de buckets, classes de armazenamento, políticas de ciclo de vida, controle de acesso (IAM) e segurança de dados. • **Dataproc:** Habilidade em provisionamento, configuração e gerenciamento de clusters Spark/Hadoop, otimização de jobs, e integração com outros serviços GCP. • **Dataflow/Composer/DBT:** Conhecimento em ferramentas de orquestração e processamento de dados para pipelines ELT/ETL. • **Cloud IAM (Identity and Access Management):** Implementação de políticas de segurança e controle de acesso granular. • **VPC, Networking e Security:** Entendimento de redes, sub-redes, regras de firewall e melhores práticas de segurança na nuvem. • **Linguagens de Programação:** • **Python e PySpark:** Essencial para scripts de automação, desenvolvimento de pipelines de dados e integração com APIs GCP. • **SQL (avançado):** Para BigQuery, DBT e transformações de dados. • **Shell Scripting:** Para automação de tarefas. • **Controle de Versão:** • Git/GitHub/Bitbucket.

🏖️ Benefícios

• 🏥 Convênio Médico Porto Seguro • 🦷 Convênio Odontológico Porto Seguro • 💰 Participação nos Lucros e Resultados (PLR) • 👶 Auxílio Creche • 🍽️ Vale Alimentação e Refeição Alelo • 💻 Auxílio Home Office • 📚 Parcerias com Instituições de Ensino • 🚀 Incentivo para Certificações, inclusive em Cloud • 🎁 Pontos Livelo • 🏋️‍♂️ TotalPass • 🧘‍♂️Mindself

Candidatar-se

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Vagas Similares

🕒 Junho 1

Chainlink Labs

201 - 500

💸 Finanças

💳 Fintech

🌐 Web 3

Engenheiro(a) de Software em Data Growth na Chainlink, desenvolvendo automação e experiências self-service para clientes Web3. para melhorar a eficiência operacional e escalar processos.

🗣️🇺🇸🇬🇧 Inglês obrigatório

🕒 Maio 8

Goodway Group

201 - 500

💼 Consultoria

📣 Marketing

Engenheiro(a) de Dados Sênior projetando e construindo sistemas de dados que suportam análises para o Goodway Group. Colabora com diversas equipes e garante a qualidade dos dados, com 5+ anos de experiência.

🗣️🇺🇸🇬🇧 Inglês obrigatório

🕒 Abril 23

remopt

201 - 500

💼 Consultoria

📦 Logística

🤖 Inteligência Artificial

Engenheiro(a) de Dados Sênior experiente projetando infraestrutura de dados corporativa e garantindo qualidade e conformidade dos dados. Colabora com equipes de analytics e orienta engenheiros juniores no Brasil.

🕒 Abril 1

A3Data

51 - 200

🏥 Saúde

📦 Logística

📣 Marketing

Engenheiro de Dados desenvolvendo soluções e pipelines de dados para uma empresa de tecnologia no Brasil. Foco em manipulação de dados, plataformas em nuvem e ambiente de trabalho colaborativo.

🕒 Abril 1

AB InBev

10.000+ funcionários

🏨 Hospitalidade

📣 Marketing

✈️ Turismo

Engenheiro de Dados desenvolvendo soluções de dados para o Growth Group da AB InBev. Implementação de soluções ETL/ELT e colaboração entre equipes para garantir segurança e desempenho dos dados.

🗣️🇺🇸🇬🇧 Inglês obrigatório

Desenvolvido por Lior Neu-ner. Adoraria receber seu feedback — entre em contato por DM ou pelo e-mail support@remoterocketship.com
Follow Remote Rocketship on LinkedInFollow Remote Rocketship on InstagramFollow Remote Rocketship on FacebookFollow Remote Rocketship on TikTok