Senior Data Engineer

🕒 Maio 17

🌽 Illinois – Remoto

🌽 Illinois – Remote

⏰ Tempo Integral

🟠 Sênior

🚰 Engenheiro de Dados

🦅 Patrocina Visto H1B

Esta empresa já patrocinou vistos H1B no passado.

Candidatar-se

Encontrar Vagas Remotas Similares

Receber Emails de Vagas Remotas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

CDW

SiteLinkedInTodas as Vagas

10.000+ funcionários

Fundada em 1984

🏢 Corporativo

☁️ SaaS

🔒 Cibersegurança

💰 Post-IPO Equity em 2015-07

Enterprise • SaaS • Cybersecurity

A CDW é uma provedora líder de soluções tecnológicas, oferecendo uma gama abrangente de produtos e serviços para atender às necessidades dos setores empresarial, governamental, de saúde e educação. Eles são especializados em fornecer serviços de infraestrutura de TI, serviços gerenciados e soluções de segurança. A CDW faz parcerias com as principais marcas de tecnologia para entregar soluções personalizadas que aumentam a produtividade e o desempenho dos negócios em vários setores. Com um forte foco em transformação digital, segurança e soluções em nuvem, a CDW apoia as empresas na navegação pelas complexidades dos ambientes de TI modernos. Sua expertise abrange vários domínios, incluindo espaços de trabalho digitais, cibersegurança e soluções empresariais, fazendo da CDW um parceiro chave na condução de avanços tecnológicos.

Descrição

• Build and maintain scalable data pipelines, ETL and ELT processes, and data models within the Databricks platform. • Design, develop, and deploy data and AI solutions using Databricks, Spark, Delta Lake, and related technologies. • Develop batch and streaming pipelines using tools such as Databricks Workflows and Azure Data Factory. • Design logical data flow diagrams and normalized schemas, implementing Lakehouse patterns such as the Medallion Architecture (Bronze, Silver, Gold layers). • Ensure data quality, integrity, security, and governance throughout the data lifecycle, including use of Unity Catalog. • Optimize Spark jobs and data transformations through effective partitioning, caching, and join strategies. • Monitor pipeline execution, identify failures, and troubleshoot complex data processing issues. • Collaborate with data architects, analysts, data scientists, and business stakeholders to understand requirements and deliver solutions. • Support documentation of data processes, standards, and data flows.

🎯 Requisitos

• 5 Years of experience designing, developing, and deploying data solutions on the Databricks platform. • Proficiency in Python, including PySpark, and SQL. • Hands-on experience with Spark, Delta Lake, and Lakehouse architectures. • Experience implementing data quality, governance, and security practices across data pipelines. • Familiarity with machine learning concepts, tools, and libraries such as TensorFlow, PyTorch, Scikit-learn, and MLflow is a plus. • Experience configuring and integrating external AI models and working with AI governance and monitoring tools is a plus. • Experience with asynchronous programming patterns in Python for building scalable data or AI workloads is a plus. • Strong problem-solving, collaboration, and communication skills.

🏖️ Benefícios

• Health insurance • 401(k) matching • Paid time off • Professional development