Engenheiro de Dados Sênior (AWS - PySpark - Kafka)

Vaga não está no LinkedIn

🔥 10 minutos atrás

🇧🇷 Brasil – Remoto

⏳ Contrato/Temporário

🟠 Sênior

☁️ Engenheiro de Cloud

👻 Score fantasma 13%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Leega

SiteLinkedInTodas as Vagas

201 - 500 funcionários

Fundada em 2010

💼 Consultoria

📣 Marketing

🔌 API

Consulting • Marketing • API

A Leega é uma provedora líder de soluções de tecnologia na América Latina, especializada em analytics de dados e soluções em nuvem. Primeira empresa na região certificada pelo Google Cloud em Data Analytics, a Leega oferece um portfólio de serviços que inclui desenvolvimento de aplicações, machine learning e analytics para gestão de riscos. A empresa faz parcerias com os principais provedores de nuvem, como AWS e Microsoft Azure, para ajudar as empresas a aprimorar a gestão de dados e realizar uma migração eficiente para a nuvem, impulsionando a transformação digital e a inovação.

Descrição

• Projetar e evoluir arquitetura orientada a eventos na AWS, usando Kafka como backbone entre sistemas transacionais e plataforma analítica • Desenvolver producers e consumers Kafka com PySpark (Spark Structured Streaming), controlando offsets, checkpointing, idempotência, late data e semântica de entrega • Definir e defender desenho de tópicos, chaves, particionamento, retenção, compactação e contratos de eventos • Governar esquemas no Schema Registry, definindo compatibilidade e evolução sem quebrar consumidores • Implementar CDC de bancos transacionais via Kafka Connect ou Debezium • Integrar fontes como APIs de custodiantes, distribuidores e provedores de mercado • Construir persistência de eventos no Data Lake em S3 com Iceberg ou Delta, integrando Glue, EMR e Redshift • Realizar tuning de performance e custo em Kafka e Spark, incluindo lag, rebalanceamento, brokers, micro-batch, skew e spill • Instrumentar observabilidade e controles automatizados de qualidade dos fluxos de eventos • Garantir linhagem, rastreabilidade, controles de acesso, criptografia, segregação por sensibilidade e conformidade com LGPD e normas do setor • Automatizar provisionamento e deploy com infraestrutura como código e CI/CD • Documentar decisões arquiteturais (ADRs), participar de code review, pareamento e definição de padrões • Interagir com Wealth Management, Comercial, Risco, Compliance e Operações • Atuar como referência técnica para engenheiros pleno e júnior

🎯 Requisitos

• 6+ anos de experiência em engenharia de dados, sendo pelo menos 2 anos com responsabilidade arquitetural sobre plataformas orientadas a eventos • Histórico comprovado de colocar em produção e operar plataforma de streaming com Kafka, incluindo incidentes e plantão • Domínio de Apache Kafka: tópicos, partições, chaves, consumer groups, offsets, retenção, compactação, rebalanceamento, configuração de producers e consumers e diagnóstico de lag • Experiência prática com producers e consumers usando PySpark (Spark Structured Streaming) integrado ao Kafka, incluindo checkpointing, triggers, watermarks e gestão de estado • Experiência consolidada no ecossistema AWS: Amazon MSK, S3, Glue, EMR, Lambda, IAM e Redshift ou equivalente • Python aplicado à engenharia de dados, com código modular, testável e versionado, tipagem e testes automatizados • SQL avançado, incluindo window functions, CTEs e leitura de plano de execução • Experiência com Schema Registry e formatos Avro, Protobuf ou JSON Schema, incluindo compatibilidade e evolução de esquemas • Experiência com Kafka Connect ou Debezium para Change Data Capture (CDC) • Infraestrutura como código: Terraform, CloudFormation ou CDK • Git, code review e CI/CD aplicado a dados • Experiência com formatos de tabela abertos Iceberg ou Delta e arquitetura Lakehouse sobre S3 • Rigor com correção numérica e garantias de entrega • Comunicação escrita clara para documentar arquitetura de eventos • Autonomia para investigar problemas de ponta a ponta • Capacidade de atuar como referência técnica, realizando code review, pareamento e mentoria • Capacidade de traduzir demandas de negócio em desenho de eventos sustentável • Honestidade na estimativa de escopo, risco e prazo • Diferenciais: mercado financeiro, dados regulatórios CVM/BACEN/BSM/ANBIMA, Confluent, Kafka Streams, ksqlDB, Apache Flink, Kinesis, Airflow, Step Functions, dbt, ferramentas de qualidade/catálogo/observabilidade e certificações AWS ou Confluent

🏖️ Benefícios

• Capacitação constante • Ambiente dinâmico e colaborativo • Trabalho 100% remoto • Possibilidade de atuação em projetos do mercado financeiro e de investimentos • Atuação com tecnologias AWS, Kafka, PySpark e engenharia de dados • Empresa inclusiva: vaga também para PcD