Senior Data Engineer – Data Quality, Observability

🕒 Julho 16

🇺🇸 Estados Unidos – Remoto (EUA)

⏰ Tempo Integral

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 48%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Softgic

SiteLinkedInTodas as Vagas

51 - 200 funcionários

Fundada em 2011

💼 Consultoria

🤝 B2B

🤖 Inteligência Artificial

Consulting • B2B • Artificial Intelligence

A Softgic é uma empresa de serviços de transformação digital e cognitiva que oferece desenvolvimento de software personalizado, automação, soluções em nuvem e cibersegurança, além de tecnologias emergentes para clientes empresariais. Com mais de uma década de experiência, a Softgic dispõe de "labs" especializados para Design de Soluções (UX, Ágil, design de processos), Construção (codificação, low-code, mobile, DevOps), Metaverso (VR/AR, blockchain, NFTs, economia virtual), Dados (Big Data, BI, IA/ML), Automação (RPA, BPM) e Go Live (cloud, operações de TI, cibersegurança). A empresa enfatiza serviços personalizados, focados em empresas, equipes dedicadas e projetos baseados em engajamento para ajudar os clientes a modernizar suas infraestruturas, otimizar processos e adotar tecnologias avançadas.

Descrição

• Design and implement a scalable data quality framework across the platform. • Lead the implementation and operationalization of GX Core (Great Expectations) as the primary data validation framework. • Develop and maintain reusable data quality rules using a Rule-as-Code approach. • Create automated validation checks for business-critical datasets and workflows. • Implement data observability, monitoring, alerting, and reporting solutions. • Define and maintain data lineage across key business domains. • Design validation processes for data completeness, accuracy, integrity, consistency, reconciliation, freshness, and anomaly detection. • Integrate data quality validations into CI/CD pipelines and release processes. • Develop dashboards and reports to monitor data quality trends and operational health. • Investigate root causes of recurring data issues and implement preventive solutions. • Collaborate with Data Engineering, Application Engineering, QA, Product, and Support teams to establish ownership and governance for data quality. • Define standards for governance, validation frequency, remediation workflows, and quality metrics. • Continuously improve data quality processes and establish long-term observability best practices.

🎯 Requisitos

• 5+ years of experience as a Data Engineer or in similar data engineering roles. • Strong experience designing and implementing enterprise Data Quality frameworks. • Hands-on experience with GX Core (Great Expectations) or similar tools such as Soda. • Strong SQL skills and experience working with Aurora PostgreSQL and Amazon Redshift. • Experience designing data validation rules, reconciliation processes, and observability solutions. • Experience building and maintaining ETL pipelines and large-scale data workflows. • Strong understanding of data modeling, referential integrity, synchronization, and batch processing. • Experience integrating data validation into CI/CD pipelines. • Experience with Git and engineering best practices such as Rule-as-Code. • Experience building dashboards, alerts, and reporting for operational monitoring. • Strong analytical and problem-solving skills with experience performing root cause analysis. • Experience collaborating with cross-functional engineering teams. • Excellent communication and documentation skills.

🏖️ Benefícios

• Fully remote position. • Opportunity to build enterprise-scale data quality and observability solutions. • High-impact role with ownership over data quality strategy and engineering best practices. • Collaborative environment working alongside Data Engineering, QA, Product, and Application Engineering teams. • Opportunity to work with modern data validation, observability, and cloud data technologies while driving continuous improvement across the platform.