Engenheiro de Plataforma de Dados (102-08SENG-01)

Vaga não está no LinkedIn

🕒 Agosto 20

🇧🇷 Brasil – Remoto

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 22%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Siteup

SiteLinkedInTodas as Vagas

1 - 10 funcionários

Fundada em 2024

💼 Consultoria

📣 Marketing

🤝 B2B

Consulting • Marketing • B2B

Eleve sua presença online com nossas soluções inovadoras de desenvolvimento web e de apps e serviços estratégicos de marketing digital. Na SiteUp, somos especializados em criar sites e apps móveis sob medida que engajam usuários e impulsionam o crescimento do seu negócio. Explore nossos serviços e libere todo o potencial da sua presença digital hoje.

Descrição

• Converter pipelines do Azure Data Factory em workflows do Databricks na AWS usando templates reutilizáveis • Re-hospedar workspaces do Databricks na AWS e migrar armazenamento ADLS Gen2 para S3 • Reescrever Web Activities do ADF como funções Lambda ou tarefas do Step Functions • Substituir o escalonamento específico do ADF por mecanismos nativos do Databricks • Desenvolver e tunar transformações em PySpark para volumes de dados de produção • Substituir Azure Synapse Serverless por Databricks SQL Warehouse • Reconciliar os dados migrados com os sistemas de origem • Migrar 2.094 pipelines do ADF, traduzir 9.859 atividades de pipeline, mover 471 dataflows Spark para Databricks na AWS e re-hospedar quatro workspaces do Databricks em Dev, QA, Pré-prod e Prod

🎯 Requisitos

• Experiência em produção com Databricks, incluindo workspaces, jobs e workflows • Sólida experiência em Spark e PySpark com volumes reais de dados, incluindo tuning • Python em nível de produção • Experiência em construir ou migrar pipelines do Azure Data Factory e entendimento sólido do modelo de atividades do ADF • Experiência com serviços de dados da AWS: S3, Glue, Athena, Lambda e Step Functions • SQL avançado, incluindo leitura e análise de stored procedures • Inglês profissional, escrito e falado • Desejável: Delta Lake, Unity Catalog, Azure Synapse, Terraform, Airflow/MWAA, dbt, Kafka, certificação Databricks, modelagem de dados, Great Expectations, integração com SAS/plataforma analítica e dados de CRM

🏖️ Benefícios

• Trabalho 100% remoto • Contratação em tempo integral