Engenheiro de Dados – Python, PySpark, AWS Glue, Amazon Athena, SQL, Apache Airflow

Vaga não está no LinkedIn

Setembro 10

Candidatar-se

Receber Emails com Vagas Similares

PrideLogic

SiteLinkedInTodas as Vagas

A PrideLogic é uma empresa que, no momento, não tem informações detalhadas disponíveis, pois seu site está em construção. Mais detalhes poderão ser fornecidos no futuro, assim que as atualizações estiverem disponíveis em seu site.

11 - 50 funcionários

Descrição

• Construir, otimizar e escalar pipelines de dados e infraestrutura usando Python, TypeScript, Apache Airflow, PySpark, AWS Glue e Snowflake. • Projetar, operacionalizar e monitorar fluxos de ingestão e transformação: DAGs, alertas, retries, SLAs, lineage e controle de custos. • Colaborar com equipes de plataforma e AI/ML para automatizar ingestão, validação e fluxos de computação em tempo real; avançar em direção a um feature store. • Integrar saúde dos pipelines e métricas em dashboards de engenharia para visibilidade e observabilidade completas. • Modelar dados e implementar transformações eficientes e escaláveis em Snowflake e PostgreSQL. • Construir frameworks e conectores reutilizáveis para padronizar publicação e consumo de dados internos.

🎯 Requisitos

• 4+ anos de experiência em engenharia de dados em produção. • Experiência prática e profunda com Apache Airflow, AWS Glue, PySpark e pipelines de dados baseados em Python. • Fortes habilidades em SQL e experiência em operar PostgreSQL em ambientes de produção. • Sólido entendimento de fluxos de dados nativos em nuvem (preferência por AWS) e observabilidade de pipelines (métricas, logging, tracing, alertas). • Experiência comprovada em responsabilidade por pipelines de ponta a ponta: design, implementação, testes, implantação, monitoramento e iteração. • Experiência com tuning de performance em Snowflake (warehouses, partitions, clustering, query profiling) e otimização de custos. • Experiência com processamento em tempo real ou quase em tempo real (ex.: ingestão por streaming, modelos incrementais, CDC). • Experiência prática com um framework backend em TypeScript (ex.: NestJS) é um diferencial forte. • Experiência com frameworks de qualidade de dados, testes de contrato ou gerenciamento de esquema (ex.: Great Expectations, testes dbt, OpenAPI/Protobuf/Avro). • Experiência na construção de plataformas internas para desenvolvedores ou componentes de plataforma de dados (conectores, SDKs, CI/CD para dados).