1104 | Engenheiro Sênior de Dados (Databricks)

🔥 1 hora atrás

🌐 Argentina, Colômbia, +4 outros países – Remoto

🇦🇷 Argentina – Remoto 🇨🇴 Colômbia – Remoto 🇧🇷 Brasil – Remoto 🇪🇨 Equador – Remoto 🇵🇪 Peru – Remoto 🇨🇷 Costa Rica – Remoto

⏰ Tempo Integral

🟠 Sênior

🚰 Engenheiro de Dados

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Intetics

SiteLinkedInTodas as Vagas

501 - 1000 funcionários

Fundada em 1995

💼 Consultoria

🏥 Saúde

📦 Logística

Consulting • Healthcare • Logistics

A Intetics é uma empresa inovadora que oferece serviços de desenvolvimento de software sob medida, especializada em soluções de IA e machine learning. Ela oferece Remote In-Sourcing® para formar equipes especialistas para projetos de engenharia de software e processamento de dados, além de ferramentas avançadas como o TETRA™ para avaliação da qualidade de software. A Intetics busca potencializar os negócios ao aproveitar dados de alta qualidade e integrar tecnologias modernas em diversos setores, incluindo saúde, finanças e mais.

Descrição

• Ser responsável pelo suporte à produção do Databricks para a plataforma preditiva de dados, incluindo monitoramento, alertas e resposta a incidentes em todos os fluxos de dados de produção. • Manter e reportar métricas de desempenho de SLA para entrega de pipelines de dados, garantindo visibilidade da saúde da plataforma e responsabilização entre stakeholders internos e externos. • Identificar e implementar otimizações de pipeline que reduzam custos de compute no Databricks, melhorem o throughput e reduzam janelas de processamento, acompanhando impactos por meio de KPIs mensuráveis. • Migrar pipelines ETL/ELT legados para Databricks, construindo ferramentas de automação para reduzir intervenção manual e garantir entrega contínua de dados durante as transições. • Apoiar a integração de novos clientes provisionando, validando e fortalecendo pipelines de dados por tenant que entreguem dados isolados e confiáveis desde o primeiro dia. • Projetar e construir pipelines de alto desempenho no Databricks que ingiram, transformem e sirvam dados de ERP e CRM em escala, tanto em ambientes Azure quanto AWS. • Ser responsável pela arquitetura Delta Lake, incluindo design de esquema, estratégias de particionamento, aplicação de qualidade de dados e padrões de processamento incremental. • Aplicar melhores práticas de segurança de dados em ambientes Databricks, incluindo controle de acesso baseado em papéis, gerenciamento de secrets e requisitos de conformidade para dados corporativos de CRM e ERP. • Implementar monitoramento de qualidade de dados e observabilidade da saúde dos pipelines e dos inputs de modelos de ML, garantindo integridade dos dados que suportem diretamente a precisão das previsões dos modelos. • Aplicar e reforçar padrões de isolamento de dados multi-tenant, assegurando entrega de dados confiável e segura entre clientes corporativos. • Trabalhar em parceria com a equipe de Arquitetura Corporativa para garantir que os pipelines de dados se integrem de forma fluida ao ecossistema de produtos. • Dar suporte a uma operação globalmente distribuída por meio de rodízio de on-call e resposta a incidentes fora do horário, cumprindo SLAs em múltiplos fusos horários. • Manter documentação técnica, runbooks e registros de decisões arquiteturais, contribuindo para o compartilhamento de conhecimento da equipe e prontidão operacional em cenários de on-call e resposta a incidentes. • Aplicar práticas de CI/CD ao desenvolvimento de pipelines de dados, incluindo controle de versão, testes automatizados e ferramentas de deploy para garantir entregas de pipelines confiáveis e repetíveis.

🎯 Requisitos

• Mínimo de 4 anos de experiência em engenharia de dados. • Pelo menos 2 anos de experiência com Databricks ou com o ecossistema Apache Spark em Azure e/ou AWS. • Proficiência em PySpark, SQL e Python, com histórico consistente de construção e operação de pipelines em produção sob restrições de SLA. • Experiência prática com Delta Lake, incluindo evolução de esquema, transações ACID, ciclo optimize/vacuum e padrões de processamento incremental e streaming. • Experiência prática em tuning de performance de pipelines e otimização de compute em ambientes Databricks de produção. • Conhecimento sólido de PostgreSQL, incluindo otimização de queries, design de esquema e uso como fonte ou destino em pipelines de produção. • Experiência em suporte e manutenção de ferramentas ETL legadas (SSIS, Informatica, pipelines customizados em Python/SQL ou similares) em produção. • Experiência com arquiteturas multi-tenant de grande escala, com foco em isolamento por tenant, desempenho por tenant e privacidade de dados, incluindo o trabalho com ferramentas e plataformas que assumem modelos single-tenant por padrão. • Capacidade comprovada de trabalho colaborativo entre Data Science, Produto e Infraestrutura, assumindo a entrega end-to-end em ambientes cross-functional. • Forte entendimento de governança de dados, segurança e princípios de conformidade, incluindo controle de acesso, privacidade de dados e proteção de dados sensíveis empresariais em ambientes multi-tenant.