[Job-32426] Arquiteto(a) de Dados (Databricks), Brasil

🔥 52 minutos atrás

🇧🇷 Brasil – Remoto

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 10%

O que significa: a chance de ninguém estar realmente contratando para esta vaga.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

CI&T

SiteLinkedInTodas as Vagas

5001 - 10000 funcionários

Fundada em 1995

💼 Consultoria

🏥 Saúde

📣 Marketing

💰 $5.500.000 Venture Round em 2014-04

Consulting • Healthcare • Marketing

CI&T é especialista global em transformação tecnológica, ajudando organizações a trilhar sua jornada tecnológica. Com serviços que vão de modernização de aplicações e soluções em cloud a data analytics com IA e experiência do cliente, a CI&T capacita negócios a acelerar o crescimento e maximizar a eficiência operacional. A empresa enfatiza design de produtos digitais, consultoria estratégica e experiências imersivas, assegurando um suporte robusto para empresas de diversos setores.

Descrição

• Criar, otimizar e manter pipelines de dados escaláveis e processos de ETL/ELT • Implementar arquiteturas de dados, incluindo data lakes, data warehouses e camadas de integração • Implementar verificações de qualidade de dados, processos de validação e sistemas de monitoramento • Desenvolver e manter integrações entre fontes de dados, ferramentas de terceiros e plataformas de analytics • Colaborar com gestores de Dados e Analytics e stakeholders de negócio para compreender requisitos e entregar soluções técnicas • Monitorar e otimizar o desempenho dos pipelines, a eficiência das queries e os custos de armazenamento • Criar e manter documentação técnica de arquiteturas de dados, pipelines e processos • Implementar boas práticas de segurança e garantir conformidade com regulamentações de privacidade de dados • Utilizar ferramentas de IA e automação para aprimorar fluxos de trabalho e produtividade em data engineering

🎯 Requisitos

• Experiência prática em migração de Databricks com a ferramenta databricks/migrate, incluindo notebooks, jobs, clusters, secrets e ACLs • Experiência em migração do Unity Catalog para o Glue Catalog • Migração de notebooks e jobs, incluindo notebooks, pipelines DAG e pipelines DLT • Refatoração de caminhos de armazenamento de referências /mnt/ e DBFS para locais respaldados pelo S3 • Migração de dados do formato Delta Lake para o formato Iceberg no S3, incluindo tabelas Delta, arquivos brutos e sincronização incremental • Experiência com streaming usando Auto Loader e rebootstrap de checkpoints do DLT • Deduplicação por event_id • Validação usando contagens de linhas, checksums, queries de amostra e comparação do tempo de execução de ETL • Recriação de secret scopes no AWS Secrets Manager • Experiência com AWS S3, Glue, Secrets Manager, fundamentos de IAM, Athena, Lake Formation e EMR • Proficiência em Spark SQL, PySpark, Java, Python e Scala • Entrega em pods ágeis, incluindo atualizações diárias de tickets, daily stand-ups e code review • Certificação Databricks Certified Consultant (Associate/Professional) será considerada um diferencial • Experiência em migração de DBR para EMR na AWS será considerada um diferencial

🏖️ Benefícios

• Plano de saúde e odontológico • Vale-refeição e vale-alimentação • Auxílio-creche • Licença-paternidade estendida • Parcerias com academias e profissionais de saúde e bem-estar por meio do Wellhub (Gympass) e TotalPass • Participação nos Lucros e Resultados (PLR) • Seguro de vida • Plataforma de aprendizagem contínua (CI&T University) • Clube de descontos • Plataforma online gratuita dedicada ao bem-estar físico, mental e integral • Curso sobre gestação e parentalidade responsável • Parcerias com plataformas de aprendizagem online • Plataforma de aprendizagem de idiomas • Equipe de Saúde e Bem-Estar, especialistas em inclusão e grupos de afinidade • Suporte e adaptações para pessoas com deficiência

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo