Engenheiro(a) de Dados Sênior, Data Lake

🔥 34 minutos atrás

🇧🇷 Brasil – Remoto

⏰ Tempo Integral

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 10%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Visa

SiteLinkedInTodas as Vagas

10.000+ funcionários

💳 Fintech

💸 Finanças

🏦 Bancário

💰 Post IPO equity em 2016-10

Fintech • Finance • Banking

A Visa é uma empresa global de tecnologia em pagamentos que conecta consumidores, comerciantes, instituições financeiras e governos para viabilizar pagamentos e comércio eletrônico. Ela opera uma rede mundial de cartões para pagamentos com crédito, débito e pré-pagos, fornecendo serviços de processamento de pagamentos, segurança e mitigação de fraudes, análise de dados e produtos de valor agregado para consumidores e empresas. A Visa investe em soluções de pagamento de próxima geração (incluindo comércio impulsionado por IA), apoia iniciativas de inclusão financeira através da Visa Foundation e oferece benefícios de cartões para consumidores e serviços para comerciantes.

Descrição

• Desenvolver, testar e manter pipelines de ingestão, transformação e verificação de qualidade de dados usando PySpark/SparkSQL no Databricks • Criar e modificar DAGs do Airflow (MWAA) para orquestração de pipelines • Escrever e otimizar consultas SQL para transformação e validação de dados • Implementar e monitorar verificações de qualidade de dados usando Great Expectations ou equivalente • Participar de revisões de código • Investigar falhas em pipelines e problemas de qualidade de dados com orientação de engenheiros seniores • Escrever e manter documentação de datasets e pipelines • Participar do planejamento, da estimativa e das retrospectivas de sprints • Seguir os padrões de CI/CD, testes e governança definidos pela equipe • Contribuir para a confiabilidade e a qualidade do data lake corporativo da Visa

🎯 Requisitos

• Residir no Brasil • Proficiência em inglês no nível B2 ou superior (intermediário-avançado) • Mais de 3 anos de experiência profissional relevante com bacharelado ou curso superior tecnológico/técnico OU mais de 5 anos de experiência profissional relevante • Python para automação e processamento de dados • Conceitos de pipelines de dados (processamento em lote e padrões ETL/ELT) • Fundamentos do Apache Spark (PySpark ou SparkSQL) • Databricks (jobs, workflows, gerenciamento de clusters e tuning) • SQL (nível intermediário a avançado: joins, window functions e CTEs) • Design de data lakes no Amazon S3 (particionamento, organização e ciclo de vida) • Conceitos básicos de cloud (AWS: S3, IAM e CloudWatch) • Modelagem de dados (dimensional/Kimball e camadas medallion) • Fluxo de trabalho com Git/GitHub e revisão de código • Diferenciais: Delta Lake, Apache Airflow/MWAA, padrões de CDC, conceitos de qualidade de dados, fundamentos de Terraform e integração com BI (Superset e criação de dashboards)

🏖️ Benefícios

• Trabalho remoto • Oportunidade de gerar impacto em grande escala • Desenvolvimento de habilidades e crescimento profissional por meio de trabalhos relevantes • A presença no escritório da Visa, mediante aviso prévio e programação, pode estar disponível para posições remotas