Engenheiro de Dados GCP – Sênior

🕒 July 29

🇧🇷 Brazil – Remote

⏰ Full Time

🟠 Senior

🚰 Data Engineer

Where this job comes from

Posted on Leega's careers page ↗Leega's careers page, not through a job board

First seen by Remote Rocketship July 29

Still open on Leega's site. Checked 5 hours ago.

Apply Now
Logo of Leega

Leega

201 - 500 employees

Founded 2010

💼 Consulting

📣 Marketing

🔌 API

Consulting • Marketing • API

Leega is a leading technology solutions provider in Latin America, specializing in data analytics and cloud solutions. As the first company in the region certified by Google Cloud for Data Analytics, Leega offers a range of services including application development, machine learning, and risk management analytics. The firm partners with major cloud services such as AWS and Microsoft Azure to help businesses enhance their data management and transition effectively to the cloud, ultimately driving digital transformation and innovation.

📋 Description

• Realizar engenharia reversa de lógicas complexas escritas em PySpark, traduzindo-as para SQL nativo e otimizado no BigQuery; • Operar ferramentas de IA para acelerar a conversão de pipelines de dados e automatizar testes; • Modernizar e construir fluxos de ingestão substituindo ferramentas legadas por serviços nativos do GCP (Datastream, Dataflow, Cloud Run) orquestrados pelo Cloud Composer; • Gerenciar e otimizar dados no formato Apache Iceberg integrados via BigLake, garantindo performance e controle de custos; • Criar e executar frameworks de testes automatizados para validar a equivalência volumétrica, chaves de negócio e agregações entre o ambiente legado e o novo; • Contagem de linhas: Verificação por tabela e por partição; • Reconciliação por chave de negócio: Comparação direta dos registros entre a origem (Spark) e o destino (BigQuery); • Checksum/Hash: Agregação das colunas relevantes para garantir a integridade dos dados; • Validação de agregações-chave: Conferência de somas, contagens distintas, mínimos e máximos utilizados nos indicadores de negócio.

🎯 Requirements

• - Forte experiência em Google Cloud Platform, especialmente BigQuery, GCS e Cloud Composer (Airflow), experiência profissional de no mínimo 6 anos; • - Sólido domínio técnico em SQL avançado e Python/PySpark, experiência profissional de no mínimo 6 anos; • - Experiência prática com formatos de dados abertos (Open Table Formats), especificamente conversão e manipulação de Apache Iceberg e Delta; • - Conhecimento em orquestração de transformações de dados utilizando Dataform ou dbt; • - Capacidade de resolver problemas complexos de performance e schema evolution em cenários de alta volumetria (escala de Terabytes).

🏖️ Benefits

• PcD

Apply Now

📊 Check your resume score for this job

Improve your chances of getting an interview by checking your resume score before you apply.

Similar Jobs

🕒 July 27

ROIT

51 - 200

💼 Consulting

⚖️ Legal

☁️ SaaS

Tech Lead leading the evolution of a scalable data platform at ROIT, defining architecture, engineering standards, and team growth.

🗣️🇧🇷🇵🇹 Portuguese Required

🕒 July 25

iblue

51 - 200

💼 Consulting

🏥 Healthcare

🛡️ Insurance

Senior Data Engineer tasked with building and optimizing data pipelines at iblue Consulting. Collaborating with multidisciplinary teams for business growth and data modeling enhancements.

🗣️🇧🇷🇵🇹 Portuguese Required

🕒 July 22

Lumini IT Solutions

51 - 200

💼 Consulting

🏥 Healthcare

📦 Logistics

Engenheiro de Dados atuando na construção e integração de pipelines em ambientes Azure e AWS. Responsável pela implementação de soluções de dados em um programa de inovação e modernização.

🗣️🇧🇷🇵🇹 Portuguese Required

🕒 July 13

Dadoteca

51 - 200

💼 Consulting

🏥 Healthcare

📣 Marketing

Senior Data Engineer working on data project development using Azure and Databricks solutions. Collaborating with squads to implement technical solutions and optimize processing routines in Python.

🗣️🇧🇷🇵🇹 Portuguese Required

🕒 July 10

Dadoteca

51 - 200

💼 Consulting

🏥 Healthcare

📣 Marketing

Engenheiro(a) de Dados Sênior atuando em sustentação de projetos de dados com forte conhecimento técnico e perfil proativo. Contribuindo para a evolução de soluções e melhoria contínua dos processos.

🗣️🇧🇷🇵🇹 Portuguese Required

Built by Lior Neu-ner. I'd love to hear your feedback — Get in touch via DM or support@remoterocketship.com
Follow Remote Rocketship on LinkedInFollow Remote Rocketship on InstagramFollow Remote Rocketship on FacebookFollow Remote Rocketship on TikTok