2128 Engenheiro(a) de Dados Sênior — Modernização e Migração de Plataforma

Vaga não está no LinkedIn

🔥 20 minutos atrás

🌐 Argentina, Brasil, +3 outros países – Remoto

🇦🇷 Argentina – Remoto 🇧🇷 Brasil – Remoto 🇺🇾 Uruguai – Remoto 🇵🇾 Paraguai – Remoto 🇵🇪 Peru – Remoto

⏰ Tempo Integral

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 25%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

In All Media

SiteLinkedInTodas as Vagas

1001 - 5000 funcionários

💼 Consultoria

📣 Marketing

☁️ SaaS

Consulting • Marketing • SaaS

A In All Media é uma organização global de serviços orientada por comunidade, especializada em serviços de desenvolvimento ágil. A empresa se concentra em desenvolver soluções digitais por meio de uma abordagem colaborativa que aproveita o swarming e a dinâmica de equipe. É dedicada a alinhar as necessidades do setor aos interesses de sua comunidade técnica, cujos membros possuem ampla experiência em diversas áreas, como design UX/UI, engenharia de qualidade (QE), cloud computing, big data, Salesforce e mais. A In All Media enfatiza um ambiente de desenvolvimento seguro e um forte espírito de colaboração, buscando inovação e excelência na produção de software. Seu modelo se apoia em equipes pré-estabelecidas, com amplo histórico de trabalho conjunto, garantindo a entrega eficiente e eficaz de soluções de desenvolvimento sob medida.

Descrição

• Executar a migração completa de aproximadamente 1.000 conjuntos de dados para o Snowflake • Atualizar os workflows de orquestração do Apache Airflow 2 para o Airflow 3 • Migrar estruturas e conjuntos de dados legados do Hive para o Apache Iceberg usando o framework/conectores Snowpark Connect • Reconfigurar, atualizar e migrar conexões de streaming do Confluent/Apache Kafka entre regiões de nuvem • Adaptar os pipelines de dados existentes para ambientes Snowflake • Otimizar consultas SQL usando CTEs, window functions e joins complexos • Gerenciar, testar e depurar DAGs do Apache Airflow e o agendamento de workflows • Implementar estratégias de testes e realizar debugging prático de código para garantir a qualidade e a consistência dos dados • Modernizar a infraestrutura de streaming entre regiões de nuvem • Manter padrões rigorosos de qualidade e desempenho dos dados durante a modernização da plataforma

🎯 Requisitos

• Mínimo de 2 anos de experiência prática em engenharia de dados, trabalhando com grandes volumes de dados, Apache Airflow e Apache Spark • Sólidos fundamentos de engenharia de software • Experiência prática de desenvolvimento em Python • Conhecimentos avançados de SQL, incluindo joins complexos, CTEs, window functions e tuning de consultas • Experiência comprovada com modelagem de dados e arquitetura de schemas no Snowflake • Experiência direta na criação e nos testes de pipelines usando Apache Airflow, Apache Kafka e Apache Spark/PySpark • Domínio dos formatos de dados Apache Iceberg e Apache Parquet • Experiência com AWS S3, incluindo data lakes, particionamento de buckets e políticas de ciclo de vida • Capacidade de definir estratégias de testes e depurar de forma independente pipelines de dados distribuídos complexos • Excelentes habilidades de comunicação e capacidade de trabalhar de forma independente em um ambiente dinâmico • É obrigatório utilizar um AWS WorkSpace provisionado pelo cliente • É necessário demonstrar boa conectividade com uma região do AWS WorkSpace, concluindo o teste de conectividade e enviando uma captura de tela como comprovante • Inglês obrigatório para todas as entrevistas, documentações e comunicações diárias

🏖️ Benefícios

• Trabalho totalmente remoto • Contratação em período integral e por prazo indeterminado • AWS WorkSpace provisionado pelo cliente