Engenheiro de Dados GCP - Sênior

Vaga não está no LinkedIn

🕒 Julho 29

🇧🇷 Brasil – Remoto

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 14%

infoinfo

🗣️🇺🇸🇬🇧 Inglês obrigatório

Candidatar-se
Encontrar Vagas Remotas Similares

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Logo of Leega

Leega

201 - 500 funcionários

Fundada em 2010

💼 Consultoria

📣 Marketing

🔌 API

Consulting • Marketing • API

A Leega é uma provedora líder de soluções de tecnologia na América Latina, especializada em analytics de dados e soluções em nuvem. Primeira empresa na região certificada pelo Google Cloud em Data Analytics, a Leega oferece um portfólio de serviços que inclui desenvolvimento de aplicações, machine learning e analytics para gestão de riscos. A empresa faz parcerias com os principais provedores de nuvem, como AWS e Microsoft Azure, para ajudar as empresas a aprimorar a gestão de dados e realizar uma migração eficiente para a nuvem, impulsionando a transformação digital e a inovação.

Descrição

• Realizar engenharia reversa de lógicas complexas escritas em PySpark, traduzindo-as para SQL nativo e otimizado no BigQuery; • Operar ferramentas de IA para acelerar a conversão de pipelines de dados e automatizar testes; • Modernizar e construir fluxos de ingestão substituindo ferramentas legadas por serviços nativos do GCP (Datastream, Dataflow, Cloud Run) orquestrados pelo Cloud Composer; • Gerenciar e otimizar dados no formato Apache Iceberg integrados via BigLake, garantindo performance e controle de custos; • Criar e executar frameworks de testes automatizados para validar a equivalência volumétrica, chaves de negócio e agregações entre o ambiente legado e o novo; • Contagem de linhas: Verificação por tabela e por partição; • Reconciliação por chave de negócio: Comparação direta dos registros entre a origem (Spark) e o destino (BigQuery); • Checksum/Hash: Agregação das colunas relevantes para garantir a integridade dos dados; • Validação de agregações-chave: Conferência de somas, contagens distintas, mínimos e máximos utilizados nos indicadores de negócio.

🎯 Requisitos

• Forte experiência em Google Cloud Platform, especialmente BigQuery, GCS e Cloud Composer (Airflow), com pelo menos 6 anos de experiência profissional; • Sólido domínio técnico em SQL avançado e Python/PySpark, com pelo menos 6 anos de experiência profissional; • Experiência prática com formatos de dados abertos (Open Table Formats), especificamente conversão e manipulação de Apache Iceberg e Delta; • Conhecimento em orquestração de transformações de dados utilizando Dataform ou dbt; • Capacidade de resolver problemas complexos de performance e schema evolution em cenários de alta volumetria (escala de terabytes).

🏖️ Benefícios

• PcD

Candidatar-se

Vagas Similares

🕒 Julho 29

Stefanini Brasil

10.000+ funcionários

💼 Consultoria

🏥 Saúde

📦 Logística

Senior Data Engineer at Stefanini, managing data integration using Oracle Data Integrator. Collaborating with teams on ETL processes and optimizing data architectures.

🗣️🇧🇷🇵🇹 Português obrigatório

🕒 Julho 29

Stone & Company

1 - 10

💼 Consultoria

🤝 B2B

Engenheiro(a) de Dados Sênior responsável por construir arquiteturas de dados seguras e escaláveis na Stone, transformando requisitos complexos de produto em plataformas de dados robustas.

🗣️🇧🇷🇵🇹 Português obrigatório

🕒 Julho 29

Smarthis

51 - 200

💼 Consultoria

📦 Logística

📣 Marketing

Sr Data Platform Engineer developing and evolving data platform components with Databricks, Python, and Azure for a digital transformation leader in Latin America. Collaborating in a remote and hybrid work culture.

🗣️🇧🇷🇵🇹 Português obrigatório

🗣️🇺🇸🇬🇧 Inglês obrigatório

🕒 Julho 29

Smarthis

51 - 200

💼 Consultoria

📦 Logística

📣 Marketing

Lead Data Platform Engineer overseeing global data platform evolution in a top digital transformation firm in Latin America. Drives technical strategies and mentors engineering teams.

🗣️🇧🇷🇵🇹 Português obrigatório

🗣️🇺🇸🇬🇧 Inglês obrigatório

🕒 Julho 28

NetSource

1 - 1

🏢 Corporativo

🔐 Segurança

📋 Conformidade

Vaga de Engenheiro de Dados com foco em pipelines de dados escaláveis e soluções de Data Warehouse para analytics. Envolve a implementação e manutenção de workflows de ETL/ELT utilizando ferramentas modernas de dados.

🗣️🇧🇷🇵🇹 Português obrigatório