Engenheiro de Dados GCP - Sênior

Vaga não está no LinkedIn

🕒 Julho 29

🇧🇷 Brasil – Remoto

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 23%

infoinfo

🗣️🇺🇸🇬🇧 Inglês obrigatório

Candidatar-se
Encontrar Vagas Remotas Similares

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Logo of Leega

Leega

201 - 500 funcionários

Fundada em 2010

💼 Consultoria

📣 Marketing

🔌 API

Consulting • Marketing • API

A Leega é uma provedora líder de soluções de tecnologia na América Latina, especializada em analytics de dados e soluções em nuvem. Primeira empresa na região certificada pelo Google Cloud em Data Analytics, a Leega oferece um portfólio de serviços que inclui desenvolvimento de aplicações, machine learning e analytics para gestão de riscos. A empresa faz parcerias com os principais provedores de nuvem, como AWS e Microsoft Azure, para ajudar as empresas a aprimorar a gestão de dados e realizar uma migração eficiente para a nuvem, impulsionando a transformação digital e a inovação.

Descrição

• Realizar engenharia reversa de lógicas complexas escritas em PySpark, traduzindo-as para SQL nativo e otimizado no BigQuery; • Operar ferramentas de IA para acelerar a conversão de pipelines de dados e automatizar testes; • Modernizar e construir fluxos de ingestão substituindo ferramentas legadas por serviços nativos do GCP (Datastream, Dataflow, Cloud Run) orquestrados pelo Cloud Composer; • Gerenciar e otimizar dados no formato Apache Iceberg integrados via BigLake, garantindo performance e controle de custos; • Criar e executar frameworks de testes automatizados para validar a equivalência volumétrica, chaves de negócio e agregações entre o ambiente legado e o novo; • Contagem de linhas: Verificação por tabela e por partição; • Reconciliação por chave de negócio: Comparação direta dos registros entre a origem (Spark) e o destino (BigQuery); • Checksum/Hash: Agregação das colunas relevantes para garantir a integridade dos dados; • Validação de agregações-chave: Conferência de somas, contagens distintas, mínimos e máximos utilizados nos indicadores de negócio.

🎯 Requisitos

• Forte experiência em Google Cloud Platform, especialmente BigQuery, GCS e Cloud Composer (Airflow), com pelo menos 6 anos de experiência profissional; • Sólido domínio técnico em SQL avançado e Python/PySpark, com pelo menos 6 anos de experiência profissional; • Experiência prática com formatos de dados abertos (Open Table Formats), especificamente conversão e manipulação de Apache Iceberg e Delta; • Conhecimento em orquestração de transformações de dados utilizando Dataform ou dbt; • Capacidade de resolver problemas complexos de performance e schema evolution em cenários de alta volumetria (escala de terabytes).

🏖️ Benefícios

• PcD

Candidatar-se

Vagas Similares

🕒 Julho 27

ROIT

51 - 200

💼 Consultoria

⚖️ Jurídico

☁️ SaaS

Tech Lead liderando a evolução de uma plataforma de dados escalável na ROIT, definindo arquitetura, padrões de engenharia e promovendo o crescimento da equipe.

🗣️🇧🇷🇵🇹 Português obrigatório

🕒 Julho 27

Aevium

51 - 200

💼 Consultoria

🤖 Inteligência Artificial

☁️ SaaS

Engenheiro(a) de Dados Sênior desenvolvendo e mantendo pipelines de ingestão de dados em uma consultoria tecnológica focada no crescimento por meio de soluções tecnológicas. Colaboração com times de Analytics, BI e Engenharia.

🗣️🇧🇷🇵🇹 Português obrigatório

🕒 Julho 25

iblue

51 - 200

💼 Consultoria

🏥 Saúde

🛡️ Seguros

Engenheiro(a) de Dados Sênior responsável por construir e otimizar pipelines de dados na iblue Consulting. Colaboração com equipes multidisciplinares para impulsionar o crescimento do negócio e aprimorar a modelagem de dados.

🗣️🇧🇷🇵🇹 Português obrigatório

🕒 Julho 24

Five Acts

51 - 200

💼 Consultoria

📣 Marketing

📦 Logística

Engenheiro de Dados Sênior com foco na construção e validação de processos de qualidade de dados. Atuação em regime remoto para garantir a confiabilidade dos dados e gerar valor para as áreas de negócio.

🗣️🇧🇷🇵🇹 Português obrigatório

🕒 Julho 22

Lumini IT Solutions

51 - 200

💼 Consultoria

🏥 Saúde

📦 Logística

Engenheiro de Dados atuando na construção e integração de pipelines em ambientes Azure e AWS. Responsável pela implementação de soluções de dados em um programa de inovação e modernização.

🗣️🇧🇷🇵🇹 Português obrigatório