Engenheiro de Dados Sênior, SAS e GCP

Job not on LinkedIn

September 30

Apply Now

Receive Emails with Similar Jobs

Leega

WebsiteLinkedInAll Job Openings

API • Artificial Intelligence • Cloud Solutions

Leega is a leading technology solutions provider in Latin America, specializing in data analytics and cloud solutions. As the first company in the region certified by Google Cloud for Data Analytics, Leega offers a range of services including application development, machine learning, and risk management analytics. The firm partners with major cloud services such as AWS and Microsoft Azure to help businesses enhance their data management and transition effectively to the cloud, ultimately driving digital transformation and innovation.

201 - 500 employees

Founded 2010

🔌 API

🤖 Artificial Intelligence

📋 Description

• Avaliar arquitetura e requisitos do DW SAS existente e mapear dados, transformações e processos para GCP • Definir estratégia de migração (full load, incremental, CDC) e elaborar plano de arquitetura de dados no GCP • Projetar esquemas de tabelas no BigQuery, definir particionamento e clustering e modelar zonas de dados no Cloud Storage (Bronze/Silver/Gold) • Desenvolver pipelines ELT/ETL usando Dataproc (Spark) ou Dataflow e traduzir lógica SAS para o ambiente GCP • Implementar validação e qualidade de dados • Provisionar e gerenciar infraestrutura com IaC (Terraform) e otimizar clusters Dataproc • Gerenciar redes, segurança (IAM) e acessos no GCP • Otimizar performance e custo (consultas BigQuery, jobs Spark, uso de recursos GCP) • Implementar segurança e governança de dados, aplicar políticas de IAM e garantir conformidade • Monitorar, solucionar problemas e dar suporte a pipelines e recursos GCP • Documentar arquitetura, pipelines, modelos de dados e procedimentos operacionais • Comunicar-se com equipe, stakeholders e garantir alinhamento entre arquitetura e desenvolvimento • Atuar com Jira e metodologias ágeis

🎯 Requirements

• Profundo conhecimento em BigQuery (modelagem, otimização de consultas, particionamento, clustering, cargas streaming e batch, segurança e governança) • Experiência com Cloud Storage (gerenciamento de buckets, classes de armazenamento, políticas de ciclo de vida, IAM) • Experiência com Dataproc (provisionamento, configuração e gestão de clusters Spark/Hadoop, otimização de jobs) • Conhecimento em Dataflow, Composer e Cloud Functions para orquestração e processamento de pipelines ELT/ETL • Implementação de Cloud IAM e políticas de segurança • Conhecimento de VPC, redes, sub-redes, regras de firewall e segurança na nuvem • Experiência com SAS Data Warehouse e linguagem SAS; habilidade para ler/entender e traduzir código SAS • Desejável conhecimento em SAS DI Studio e SAS Enterprise Guide • Experiência em processamento distribuído e Big Data, especialmente Apache Spark (Scala, Python ou Java) • Domínio avançado de SQL • Proficiência em Python e PySpark • Shell scripting para automação • Experiência com controle de versão (Git/GitHub/Bitbucket) • Conhecimento em modelagem dimensional e conceitos DW/BI • Familiaridade com Jira e metodologias ágeis

🏖️ Benefits

• Convênio Médico Porto Seguro • Convênio Odontológico Porto Seguro • Participação nos Lucros e Resultados (PLR) • Auxílio Creche • Vale Alimentação e Refeição Alelo • Auxílio Home Office • Parcerias com Instituições de Ensino (descontos em cursos e graduações) • Incentivo para Certificações, inclusive em Cloud • Pontos Livelo • TotalPass (desconto em planos de academia) • Mindself (meditação e mindfulness)