Engenheiro de Dados - Senior/Especialista

Vaga não está no LinkedIn

4 horas atrás

Candidatar-se

Receber Emails com Vagas Similares

OpenCircle

SiteLinkedInTodas as Vagas

Na OpenCircle, nascemos para levar inovação e a melhor tecnologia para dentro das empresas, transformando a tecnologia em soluções que não apenas facilitam o dia a dia das pessoas, mas também impulsionam os negócios e catalisam a inovação.

51 - 200 funcionários

Fundada em 2019

Descrição

• Modernizar e estruturar o Data Lake, garantindo escalabilidade e saúde da plataforma, utilizando Microsoft Fabric (OneLake, Dataflows Gen2) e Azure Synapse. • Desenvolver e otimizar pipelines de ingestão de dados com automação e monitoramento end-to-end, integrando Microsoft Fabric Pipelines e Dataflows para processamento eficiente. • Implementar práticas de governança de dados, assegurando conformidade com normas como LGPD e GDPR, utilizando ferramentas como Microsoft Purview e RBAC no Microsoft Fabric. • Trabalhar com arquiteturas de ingestão e processamento de dados em tempo real e batch, utilizando Microsoft Fabric, Azure Data Factory e Synapse Analytics. • Selecionar e integrar tecnologias adequadas ao ecossistema de dados, incluindo ferramentas de ETL/ELT, Data Lake, Microsoft Fabric, e processamento distribuído. • Monitorar e garantir a observabilidade dos dados, utilizando métricas de qualidade e logs detalhados dentro do Microsoft Fabric e Azure Monitor. • Colaborar com equipes de IA/ML, fornecendo infraestrutura e dados preparados para modelagem e análise com Microsoft Fabric, SynapseML e Azure Machine Learning. • Atuar na evolução do ambiente cloud e otimização de custos, considerando diferentes modelos de pagamento e eficiência computacional no Microsoft Fabric e Azure Cost Management. • Formar um squad ágil e atuar no desenvolvimento do projeto dentro do prazo estipulado, utilizando boas práticas de engenharia de dados e governança no Microsoft Fabric.

🎯 Requisitos

• Experiência com ingestão de dados em Python (Airflow, Spark). • Experiência com Microsoft Fabric. • Experiência com ETLS utilizando a ferramenta Databricks. • Experiência em conceito de APIs Rest. • Familiaridade com metodologias ágeis. • Experiência ou conhecimento em otimização de Queries. • Experiência em SQL Server e T-SQL. • Experiência em ambiente Azure e ferramentas de dados (Data Factory, Databricks, Azure Data Lake, Storage Account). • Boas habilidades de comunicação e resolução de problemas. • Capacidade de trabalhar de forma independente e em equipe. • Familiaridade com ferramentas de controle de versão, como Git e esteiras de CI/CD.

🏖️ Benefícios

• Cultura colaborativa, com forte senso de cooperação e união entre todos. • Respeito à diversidade. • Compartilhamento de experiências e conhecimentos entre as áreas. • Incentivo à inovação. • Ambiente horizontal e dinâmico. • Horários flexíveis.