Engenheiro de Plataforma de Dados (102-08SENG-01)

Vaga não está no LinkedIn

🕒 Agosto 20

🇧🇷 Brasil – Remoto

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 38%

O que significa: a chance de ninguém estar realmente contratando para esta vaga.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Cloudary

SiteLinkedInTodas as Vagas

51 - 200 funcionários

🤝 B2B

🎯 Recrutamento

💼 Consultoria

B2B • Recruitment • Consulting

A Cloudary é uma empresa B2B de talentos e staffing que fornece profissionais de engenharia e arquitetura de cloud avaliados por Principals, exclusivamente para empresas parceiras de consultoria e tecnologia em public cloud. A empresa oferece staff augmentation (alocação rápida e white-label de equipes nearshore/onshore) e serviços de contratação permanente, com foco em profissionais seniores de Cloud, Data & AI, especialização em AWS e experiência em GCP e Azure. A Cloudary prioriza uma avaliação técnica ao vivo conduzida por Principals, projetos exclusivos com parceiros, conformidade rigorosa (GDPR/IA), equipes distribuídas pela América Latina alinhadas aos fusos horários da América do Norte e propostas de valor como implantação rápida (≤11 dias para staff augmentation), prazo mediano de até 21 dias entre a abertura da vaga e a oferta na contratação, taxas de recrutamento cobradas somente em caso de sucesso, alta retenção (90%+) e excelentes métricas de CSAT.

Descrição

• Converter pipelines do Azure Data Factory em workflows do Databricks na AWS usando templates reutilizáveis • Re-hospedar workspaces do Databricks na AWS e migrar armazenamento ADLS Gen2 para S3 • Reescrever Web Activities do ADF como funções Lambda ou tarefas do Step Functions • Substituir o escalonamento específico do ADF por mecanismos nativos do Databricks • Desenvolver e tunar transformações em PySpark para volumes de dados de produção • Substituir Azure Synapse Serverless por Databricks SQL Warehouse • Reconciliar os dados migrados com os sistemas de origem • Migrar 2.094 pipelines do ADF, traduzir 9.859 atividades de pipeline, mover 471 dataflows Spark para Databricks na AWS e re-hospedar quatro workspaces do Databricks em Dev, QA, Pré-prod e Prod

🎯 Requisitos

• Experiência em produção com Databricks, incluindo workspaces, jobs e workflows • Sólida experiência em Spark e PySpark com volumes reais de dados, incluindo tuning • Python em nível de produção • Experiência em construir ou migrar pipelines do Azure Data Factory e entendimento sólido do modelo de atividades do ADF • Experiência com serviços de dados da AWS: S3, Glue, Athena, Lambda e Step Functions • SQL avançado, incluindo leitura e análise de stored procedures • Inglês profissional, escrito e falado • Desejável: Delta Lake, Unity Catalog, Azure Synapse, Terraform, Airflow/MWAA, dbt, Kafka, certificação Databricks, modelagem de dados, Great Expectations, integração com SAS/plataforma analítica e dados de CRM

🏖️ Benefícios

• Trabalho 100% remoto • Contratação em tempo integral

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo