Databricks Lakehouse Engenheiro(a) de Dados | Sênior (Remote)

🔥 15 minutos atrás

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Compass

SiteLinkedInTodas as Vagas

10.000+ funcionários

🏠 Imobiliário

📱 Mídia

Real Estate • Media

A Compass é um site focado em conteúdo e serviços imobiliários que oferece análises de mercado detalhadas, guias de compra/venda/aluguel, informações sobre hipotecas e financiamentos, além de conselhos sobre melhoria e renovação de imóveis. O site disponibiliza recursos para compradores de imóveis, vendedores, locatários, agentes e investidores imobiliários — incluindo artigos sobre avaliações, moradia acessível, estratégias de investimento, encenação e manutenção de propriedades. A Compass visa ajudar os usuários a tomarem decisões informadas ao longo do ciclo de vida habitacional através de atualizações de mercado oportunas e conteúdo prático de "como fazer".

Descrição

• Colaborar na construção da plataforma Enterprise Lakehouse em Databricks, estruturada em domínios de dados conforme os princípios de Data Mesh. • Implementar e administrar o Unity Catalog como camada de governança central e o compartilhamento de dados entre domínios via Delta Sharing. • Desenvolver padrões de ingestão de dados (streaming e batch) e o template de arquitetura medalhão (bronze/silver/gold) para uso dos domínios. • Desenvolver o framework de contrato de dados e o framework de Data Quality da plataforma. • Estruturar esteiras de CI/CD para a plataforma Databricks e automação de infraestrutura. • Integrar a plataforma Databricks ao produto Data Mesh existente na AWS, garantindo interoperabilidade de catálogos e aderência ao modelo de contrato de dados. • Contribuir com decisões de arquitetura, documentação técnica e mentoria do time.

🎯 Requisitos

• Databricks: experiência sólida com a plataforma — administração de workspaces, clusters, jobs e workflows; • Unity Catalog: governança de dados, modelo de permissões, lineage, external locations e integração com storage; • Delta Lake e arquitetura medalhão (bronze, silver, gold) em ambientes produtivos; • Padrões de ingestão de dados: streaming e batch em escala; • CI/CD para Databricks (Databricks Asset Bundles, Repos, integração com esteiras como GitHub Actions, Azure DevOps ou similares); • Ecossistema AWS: S3, Glue, Lake Formation, EMR (EC2 e Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge; • IaC (Terraform, incluindo o provider do Databricks); • Python e PySpark avançados para desenvolvimento de pipelines e automações de plataforma; • SQL avançado; • Data Contracts e ferramentas de metadados como OpenMetadata; • DataDog : para controles e monitoramentos de observabilidade; • Desejáveis: • Vivência em projetos de Data Mesh (domínios, data products, governança federada) — diferencial importante; • Experiência no mercado financeiro ou de crédito — diferencial importante; • Observabilidade e monitoramento de plataformas de dados (system tables, métricas de jobs, qualidade de dados); • FinOps: monitoramento, alocação e otimização de custos em Databricks (DBUs, dimensionamento de clusters, políticas de compute); • Delta Sharing em cenários cross-company, cross-cloud ou cross-region; • Certificações AWS (ex.: Data Engineer Associate, Solutions Architect); • Certificações Databricks (Data Engineer Associate, Data Engineer Professional, Platform Administrator); • Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS).

🏖️ Benefícios

• Vaga também para PcD