ENGENHEIRO DADOS PL

🔥 0 minutos atrás

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Stefanini Brasil

SiteLinkedInTodas as Vagas

10.000+ funcionários

Fundada em 1987

💼 Consultoria

🏥 Saúde

📦 Logística

Consulting • Healthcare • Logistics

A Stefanini Brasil é uma provedora líder de soluções de transformação digital, oferecendo um portfólio de serviços que inclui inteligência artificial, cibersegurança, cloud enablement e consultoria. Com mais de 35 anos de experiência, a empresa se dedica a integrar tecnologias inovadoras para ajudar organizações de diversos setores a aprimorar suas operações e a experiência de seus clientes. Sua expertise abrange segmentos como saúde, varejo e bens industriais, possibilitando que as empresas otimizem processos e gerem valor por meio da tecnologia.

Descrição

• Realizar o levantamento e análise do ambiente atual em Cloudera Hadoop, identificando tabelas, pipelines, jobs e queries em HQL. • Mapear e documentar rotinas de orquestração desenvolvidas em Shell Script. • Migrar queries HQL para serviços AWS, utilizando Amazon Athena, AWS Glue ou Amazon EMR, conforme critérios de custo, performance e necessidade do negócio. • Redesenhar processos de orquestração baseados em Shell Script para serviços gerenciados da AWS, como AWS Step Functions, AWS Lambda, Amazon EventBridge e Amazon MWAA (Airflow). • Projetar e implementar a arquitetura do Data Lake em Amazon S3, estruturando as camadas Raw, Trusted e Refined. • Modelar e implementar estruturas analíticas em Amazon Redshift, quando necessário. • Desenvolver, testar e validar pipelines de dados, garantindo integridade, qualidade e performance. • Atuar na implantação, homologação e estabilização das soluções em produção. • Trabalhar em conjunto com equipes de arquitetura, infraestrutura e negócios para garantir uma migração eficiente e segura. • Documentar processos, arquiteturas e fluxos desenvolvidos durante o projeto. • Atuar de ponta a ponta no projeto estratégico de migração de dados, desde o levantamento do ambiente atual até a implantação e estabilização em produção.

🎯 Requisitos

• Experiência como Engenheiro(a) de Dados • Vivência em projetos de migração de ambientes de dados • Conhecimento em Cloudera Hadoop e desenvolvimento de queries em HQL (Hive Query Language) • Experiência com desenvolvimento e manutenção de Shell Script • Conhecimento sólido de Amazon Athena, AWS Glue, Amazon EMR, Amazon S3, Amazon Redshift, AWS Step Functions, AWS Lambda, Amazon EventBridge e Amazon MWAA (Airflow) • Experiência com modelagem de Data Lake e pipelines de dados • Conhecimento em SQL e boas práticas de modelagem de dados • Experiência com processos de ETL/ELT • Diferenciais: certificações AWS • Diferencial: conhecimento em Python para desenvolvimento de pipelines e automações • Diferencial: experiência com CI/CD aplicado à engenharia de dados • Diferencial: vivência em projetos de modernização de plataformas de dados e migração para Cloud • Vaga também para PcD

🏖️ Benefícios

• Vale-alimentação ou vale-refeição • Desconto em cursos, universidades e instituições de idiomas • Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado • Mentoring • Clube de vantagens para consultas e exames • Assistência médica • Assistência odontológica • Clube de vantagens e descontos nos melhores estabelecimentos • Clube de viagens • Convênio para pets