Engenheiro de Dados

Vaga não está no LinkedIn

Agosto 22

Candidatar-se

Receber Emails com Vagas Similares

Thaloz

SiteLinkedInTodas as Vagas

SaaS • B2B • Enterprise

A Thaloz é uma empresa de consultoria em tecnologia e outsourcing, focada no desenvolvimento de produtos cloud-native e na terceirização de equipes de engenharia. Ela oferece soluções de desenvolvimento de software sob medida, aproveitando talentos de alto nível da América Latina. A Thaloz fornece uma variedade de serviços, como desenvolvimento de produtos customizados, staff augmentation e soluções corporativas. Sua abordagem enfatiza uma consultoria centrada em pessoas e uma cultura de trabalho remoto, garantindo a integração sem atritos de profissionais de TI qualificados nos projetos dos clientes. Com expertise em diversas tecnologias, a Thaloz oferece suporte end-to-end, da estratégia ao lançamento, promovendo comunicação e colaboração fluidas.

51 - 200 funcionários

☁️ SaaS

🤝 B2B

🏢 Corporativo

Descrição

• Engenheiro de Dados Sênior responsável por projetar, construir e manter pipelines de dados e processos ETL escaláveis e confiáveis para a equipe de Dados da Plataforma de Crédito. • Arquitetar, desenvolver e manter pipelines de dados e workflows ETL escaláveis que suportem a ingestão, transformação e armazenamento de grandes volumes de dados provenientes de fontes diversas. • Implementar verificações automatizadas de qualidade de dados e processos de validação para garantir a precisão, consistência e confiabilidade dos dados entre os sistemas. • Trabalhar em estreita colaboração com product managers, analistas de dados e stakeholders de negócio para coletar e entender requisitos de dados, traduzindo-os em especificações técnicas e tarefas de engenharia acionáveis. • Monitorar e otimizar continuamente os sistemas de dados quanto a desempenho, escalabilidade e custo-eficiência, garantindo que a infraestrutura de dados atenda às necessidades de negócio em evolução. • Diagnosticar e resolver prontamente problemas relacionados a dados, fornecendo análises de causa raiz e implementando medidas preventivas. • Manter documentação abrangente das pipelines de dados, processos ETL e arquitetura do sistema. Participar de revisões de design e código para manter altos padrões de engenharia. • Manter-se atualizado sobre tecnologias, ferramentas e melhores práticas emergentes em engenharia de dados para promover inovação e melhoria contínua na equipe. • Fornecer orientação e mentoria a engenheiros de dados juniores, fomentando uma cultura de compartilhamento de conhecimento e excelência técnica.

🎯 Requisitos

• Graduação em Ciência da Computação, Engenharia ou área relacionada. • SQL: Proficiência nível especialista em SQL para consulta, manipulação e otimização de bancos de dados relacionais. Capacidade de escrever consultas complexas, otimizar desempenho e trabalhar eficientemente com grandes volumes de dados. • Python: Forte habilidade de programação em Python, incluindo experiência com bibliotecas de processamento de dados como Pandas. Capacidade de desenvolver scripts e ferramentas de automação robustos, manuteníveis e escaláveis. • PySpark: Proficiência no uso de PySpark para processamento distribuído de grandes conjuntos de dados. Experiência com a API DataFrame do Spark, RDDs e tuning de performance em ambientes de big data. • ETL (Extract, Transform, Load): Entendimento profundo de conceitos de ETL e experiência prática no design e implementação de pipelines ETL que garantam integridade e eficiência dos dados. • Modelagem de Dados: Expertise em técnicas de modelagem de dados para projetar modelos lógicos e físicos que suportem consultas e relatórios eficientes. Familiaridade com normalização, desnormalização e boas práticas de design de esquema. • Bancos de Dados Relacionais: Experiência com sistemas de gerenciamento de bancos de dados relacionais (RDBMS) como Oracle, MySQL ou plataformas similares. Conhecimento em design de banco, indexação e otimização de consultas. • Data Warehousing: Compreensão sólida de conceitos, arquiteturas e melhores práticas de data warehousing. Experiência em construir e manter data warehouses que suportem business intelligence e analytics. • Unix/Linux: Proficiência em sistemas operacionais Unix/Linux para gerenciamento de workflows de dados, scripting e monitoramento de sistema. • Shell Scripting: Capacidade de escrever scripts em shell para automatizar tarefas rotineiras, gerenciar pipelines de dados e integrar com outros componentes do sistema. • Testes de Automação: Experiência em implementar frameworks de testes automatizados para pipelines de dados e processos ETL, garantindo qualidade dos dados e confiabilidade do sistema. • Experiência Profissional: Mínimo de 3+ anos de experiência comprovada como Engenheiro de Dados ou em função similar, com sólida bagagem em desenvolvimento de banco de dados, processos ETL e desenvolvimento de software.