Data Engineer (Azure/Databricks) | SR (Remote)

Vaga não está no LinkedIn

🔥 0 minutos atrás

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Compass

SiteLinkedInTodas as Vagas

10.000+ funcionários

🏠 Imobiliário

📱 Mídia

Real Estate • Media

A Compass é um site focado em conteúdo e serviços imobiliários que oferece análises de mercado detalhadas, guias de compra/venda/aluguel, informações sobre hipotecas e financiamentos, além de conselhos sobre melhoria e renovação de imóveis. O site disponibiliza recursos para compradores de imóveis, vendedores, locatários, agentes e investidores imobiliários — incluindo artigos sobre avaliações, moradia acessível, estratégias de investimento, encenação e manutenção de propriedades. A Compass visa ajudar os usuários a tomarem decisões informadas ao longo do ciclo de vida habitacional através de atualizações de mercado oportunas e conteúdo prático de "como fazer".

Descrição

• Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance • Desenvolver modelagem de dados, utilizando Databricks, SAP Datasphere, Data Factory, Azure Data Lake Storage (ADLS), Python e BD (SQL Server, Oracle) • Extração de dados e criação de data lake de dados e tabelas • Estruturar RAG dos dos contratos e demais documentos • Realizar ETL a partir das APIs do CXL e transformá-los e tratá-los em base de dados no Databricks • Estruturar tabelas de dados no Databricks • Desenvolvimento de ETL para análise de dados estruturados e não estruturados, utilizando API para análise de arquivos e validação dos dados

🎯 Requisitos

• Experiência e conhecimento avançado no Databricks • Experiência com Data Factory e Azure Data Lake Storage (ADLS) • Experiência na implementação de arquiteturas de Data Lake e Data Lakehouse • Experiência com Python e Apache Spark • Experiência com Airflow • Experiência com bancos SQL/NoSQL, incluindo PostgreSQL, MongoDB e Cassandra • Conhecimento em Kafka (desejável) • Conhecimento em DBT (desejável) • Conhecimento em AWS Glue e BigQuery (desejável) • Conhecimento em AI/RAG (desejável) • Conhecimento em SAP Datasphere (desejável)