Data Engineer (Databricks) | SR (Remote)

🔥 3 horas atrás

🇧🇷 Brasil – Remoto

⏰ Tempo Integral

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 13%

O que significa: a chance de ninguém estar realmente contratando para esta vaga.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Compass

SiteLinkedInTodas as Vagas

10.000+ funcionários

🏠 Imobiliário

📱 Mídia

Real Estate • Media

A Compass é um site focado em conteúdo e serviços imobiliários que oferece análises de mercado detalhadas, guias de compra/venda/aluguel, informações sobre hipotecas e financiamentos, além de conselhos sobre melhoria e renovação de imóveis. O site disponibiliza recursos para compradores de imóveis, vendedores, locatários, agentes e investidores imobiliários — incluindo artigos sobre avaliações, moradia acessível, estratégias de investimento, encenação e manutenção de propriedades. A Compass visa ajudar os usuários a tomarem decisões informadas ao longo do ciclo de vida habitacional através de atualizações de mercado oportunas e conteúdo prático de "como fazer".

Descrição

• Atuar na definição e evolução de arquiteturas de dados utilizando Databricks, garantindo a otimização de pipelines, a eficiência do processamento e a resolução de problemas técnicos de alta complexidade. • Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance. • Trabalhar com Apache Spark, Airflow, Kafka, dbt, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (Databricks, AWS Glue, BigQuery). • Projetar, definir e implementar arquiteturas de dados escaláveis, utilizando o modelo Lakehouse e a arquitetura Medallion (Bronze, Silver e Gold). • Implementar soluções de processamento de dados em batch e streaming, incluindo CDC e Structured Streaming. • Desenvolver e orquestrar processos de ingestão e integração de dados utilizando Azure Data Factory (ADF), Auto Loader e Lakeflow. • Implementar práticas de governança, segurança e controle de acesso aos dados por meio do Unity Catalog. • Desenvolver APIs REST, integrações e automações utilizando Python. • Implementar processos de CI/CD, versionamento e automação de deploy utilizando Git e Databricks Workflows.

🎯 Requisitos

• Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake. • Experiência sólida com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming. • Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta. • Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso. • Experiência na definição e implementação de Arquitetura de Dados, incluindo modelo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold). • Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados. • Experiência em Desenvolvimento de APIs (REST) e programação avançada em Python para construção de integrações, microsserviços e automações. • Conhecimento avançado em Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução. • Experiência com Databricks Workflows, CI/CD, Git e Declarative Automation Bundles. • Capacidade de otimizar workloads, dimensionar recursos computacionais e reduzir custos de processamento. • Experiência em observabilidade, monitoramento e sustentação de pipelines em produção. • Capacidade de atuar como referência técnica, orientar profissionais e estabelecer boas práticas de engenharia de dados. • Certificações: Databricks Certified Data Engineer Associate; Databricks Certified Data Engineer Professional.

🏖️ Benefícios

• Vale-alimentação e/ou vale-refeição • Plano de saúde e plano odontológico • Plano de saúde para o seu pet • Auxílio home office (para vagas remotas) • Kit de boas-vindas no onboarding • Seguro de vida • Zenklub, com acompanhamento psicológico e nutricional • TotalPass • Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce) • Parcerias e descontos para o seu desenvolvimento • Acesso ao conteúdo UOL • Kit maternidade • Licença maternidade e paternidade estendidas • Programa de indicações

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo