[Job - 30813] Senior Data Developer (Databricks), Brasil

🔥 36 minutos atrás

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

CI&T

SiteLinkedInTodas as Vagas

5001 - 10000 funcionários

Fundada em 1995

💼 Consultoria

🏥 Saúde

📣 Marketing

💰 $5.500.000 Venture Round em 2014-04

Consulting • Healthcare • Marketing

CI&T é especialista global em transformação tecnológica, ajudando organizações a trilhar sua jornada tecnológica. Com serviços que vão de modernização de aplicações e soluções em cloud a data analytics com IA e experiência do cliente, a CI&T capacita negócios a acelerar o crescimento e maximizar a eficiência operacional. A empresa enfatiza design de produtos digitais, consultoria estratégica e experiências imersivas, assegurando um suporte robusto para empresas de diversos setores.

Descrição

• Estamos procurando um Senior Data Developer (Databricks) para integrar o time e assumir a responsabilidade por uma plataforma de dados crítica que suporta reporting e analytics para nosso cliente. • Esta é uma oportunidade para trabalhar profundamente no ecossistema Databricks — desde a ingestão bruta até uma camada dimensional totalmente modelada — atuando como referência técnica na qual o restante da equipe confia para expertise de plataforma. • Esta função combina execução prática com liderança técnica: você será responsável por possuir e evoluir notebooks em toda a arquitetura medallion, projetar e estender artefatos de modelagem dimensional que alimentam a inteligência de negócio downstream e atuar como revisor principal e ponto de referência técnica para a equipe. • Você atuará tanto estrategicamente — propondo melhorias arquiteturais e de processo — quanto operacionalmente — solucionando jobs em produção, promovendo deploys entre ambientes e mantendo a documentação atualizada. • Entrega & Melhoria Contínua: Trabalhar em tickets e bugs atribuídos enquanto busca continuamente oportunidades de melhoria além da tarefa imediata — identificando proativamente dívida técnica, oportunidades de refatoração e lacunas de automação, em vez de limitar contribuições ao que foi atribuído. • Responsabilidade pela Pipeline de Dados: Possuir e evoluir notebooks nas camadas Stage, Bronze, Silver e Gold, desde a ingestão até o modelo dimensional consumido por ferramentas de reporting de Business Intelligence. • Modelagem Dimensional: Projetar e implementar artefatos de modelagem dimensional — fatos, dimensões e Slowly Changing Dimensions — com entendimento claro de como eles habilitam o reporting downstream. • Gerenciamento de Workflow: Fazer alterações em jobs e workflows de processamento de dados conforme necessário para suportar requisitos de negócio em evolução. • Revisão de Código & Qualidade: Revisar pull requests de outros desenvolvedores, aplicando padrões de qualidade de código, performance e consistência arquitetural em todo o código-base. • Gerenciamento de Ambientes & Deploy: Realizar deploys e promover mudanças entre ambientes (Dev, QA, UAT, PROD), manter o rastreamento de deploys atualizado e dar suporte a operações de ambiente, como restauração de ambientes ou tabelas a partir de outro ambiente ou de um ponto específico no tempo. • Monitoramento & Troubleshooting em Produção: Monitorar e solucionar jobs diários em produção, investigando falhas e problemas de performance usando ferramentas nativas da plataforma, logs de jobs e histórico de tabelas. • Testes & Automação: Manter e aprimorar a pipeline de testes automatizados, incluindo fluxos de CI/CD e a framework de testes subjacente. • Documentação: Manter a documentação técnica atualizada para que o conhecimento institucional não se perca à medida que as pipelines e conexões da equipe evoluem. • Referência Técnica & Mentoria: Atuar como referência técnica na plataforma de dados — a pessoa a quem os demais recorrem quando é necessário um conhecimento profundo da plataforma — e apoiar outros membros da equipe em tópicos de modelagem de dados e desenvolvimento. • Colaboração com Stakeholders: Propor e recomendar melhorias arquiteturais e de processo, colaborando com stakeholders de negócio e técnicos do cliente — incluindo a função de arquitetura de dados do cliente — para traduzir requisitos em pipelines de dados escaláveis e bem testados, mantendo também a capacidade de receber direcionamentos da liderança técnica do lado do cliente.

🎯 Requisitos

• Solid experience in data development, with proven hands-on production experience on the Databricks platform • Strong proficiency in PySpark (DataFrame API, Spark SQL, UDFs, window functions) and Databricks SQL (ANSI SQL, MERGE INTO, COPY INTO, CTEs), including performance tuning such as partition pruning, file compaction, skew handling, and query optimization • Solid, practical experience with Delta Lake: MERGE/upsert patterns, ACID transactions, time travel, and table maintenance (OPTIMIZE, VACUUM, ZORDER, liquid clustering, Change Data Feed) • Demonstrated experience implementing Slowly Changing Dimensions (Type 1 and Type 2) and dimensional modeling concepts (star schema, fact/dimension design) — not requiring you to have designed a model from scratch, but requiring the mindset to understand and extend one • Experience with medallion (or comparable layered) architecture in a production data platform, and with Unity Catalog, jobs/workflows, secrets management, and notebook-based development • Experience with Git and Azure DevOps (or equivalent) for version control, pull requests, and CI/CD pipelines, along with Microsoft Azure services (Key Vault, Service Principal/Managed Identity, Data Lake Storage) • Ability to read and navigate a large, established codebase (400+ notebooks), learning and following existing conventions rather than rewriting them, and to ramp up quickly in a business-rule-heavy environment • Advanced English (C1 or above) communication skills, with the ability to work directly with US-based client stakeholders, propose technical recommendations, and align with decisions made by client-side technical leadership • Nice to Have • Experience with Databricks Asset Bundles or other Infrastructure-as-Code approaches for managing jobs, clusters, and permissions as code • Familiarity with Delta Live Tables and with Databricks Genie (AI/BI Genie) for natural-language querying and conversational analytics • Familiarity with data quality frameworks (e.g., Great Expectations, Soda Core, or custom validation frameworks) • Experience with pytest and databricks-connect for automated testing of Spark pipelines outside of manual notebook execution • Familiarity with Pydantic or similar typed-configuration approaches, and experience with schema migration/versioning approaches (e.g., Flyway, Liquibase, or custom frameworks) • Comfortable using AI-assisted development tools (e.g., GitHub Copilot, Cursor, or similar) to accelerate coding, debugging, and code review workflows

🏖️ Benefícios

• Health and dental insurance • Meal and food allowance • Childcare assistance • Extended paternity leave • Partnership with gyms and health and wellness professionals via Wellhub (Gympass) TotalPass; • Profit Sharing and Results Participation (PLR); • Life insurance • Continuous learning platform (CI&T University); • Discount club • Free online platform dedicated to physical, mental, and overall well-being • Pregnancy and responsible parenting course • Partnerships with online learning platforms • Language learning platform • And many more!