Data Engineer – MS Fabric, PySpark

Job not on LinkedIn

October 2

🎸 Mississippi – Remote

Although this job is listed in Mississippi, this company may be open to hiring remote in other states.

⏰ Full Time

🟡 Mid-level

🟠 Senior

🚰 Data Engineer

Apply Now

Receive Emails with Similar Jobs

SQLI

WebsiteLinkedInAll Job Openings

eCommerce • Digital Consulting • SaaS

SQLI is a European digital services company that specializes in defining, building, and enhancing the digital business value for international A-brands. Founded in the 1990s, SQLI leverages technology, creativity, and methodologies to create meaningful and engaging digital experiences. The company focuses on designing, developing, and deploying robust architectures to enhance business agility, increase efficiencies, and support business growth. With a wide range of services including e-Commerce, experience platforms, technology and transformation, data insights, digital marketing and consulting, SQLI is committed to taking businesses to the next level of digital engagement.

1001 - 5000 employees

Founded 1990

🛍️ eCommerce

☁️ SaaS

📋 Description

• En tant qu’Ingénieur Data, vous rejoindrez notre équipe data afin de participer à des projets stratégiques d’analyse de données et de mise en place de solutions de traitement de données à grande échelle. • Vous serez responsable de la conception, de l’optimisation et du développement de pipelines de données sur des plateformes cloud, avec un focus sur l’utilisation de PySpark et Azure Data Factory. • Concevoir, développer et maintenir des pipelines de données à grande échelle utilisant PySpark. • Mettre en place des flux de données avec Azure Data Factory, en intégrant des sources et destinations de données variées (SQL, Data Lakes, APIs, etc.). • Assurer l'intégration de données provenant de systèmes variés dans un environnement cloud (Azure). • Optimiser les performances des traitements de données (SQL, PySpark, etc.). • Collaborer avec les équipes métier, data analysts et data scientists pour comprendre les besoins et proposer des solutions efficaces et scalables. • Participer à la définition de l’architecture des données et de la stratégie de gouvernance. • Mettre en place et assurer le monitoring des jobs de traitement de données (gestion des erreurs, gestion des performances). • Documenter les solutions mises en place et suivre les bonnes pratiques de développement. • Participer à l'amélioration continue des processus et outils existants.

🎯 Requirements

• Bac +5 en informatique, data science, ou dans un domaine équivalent. • Minimum de 3 ans d’expérience sur un poste similaire, avec une expérience confirmée en développement sur PySpark et Azure Data Factory. • Maîtrise de PySpark pour le traitement de données massives en environnement distribué. • Expérience significative dans la mise en place et la gestion de Azure Data Factory pour la création et l’orchestration de pipelines de données. • Solide expérience en bases de données relationnelles et non relationnelles (SQL, NoSQL). • Connaissance des outils de gestion de données dans l’écosystème Azure (Azure Data Lake, Azure SQL Database, Azure Blob Storage, etc.). • Connaissances pratiques des services cloud Azure et de leur utilisation dans des solutions de traitement de données (Azure Databricks, Azure Synapse Analytics, etc.). • Expérience avec des outils de gestion de versions (Git, Azure DevOps, etc.) et des bonnes pratiques de développement logiciel. • Connaissance des concepts de Big Data et de l’optimisation des performances dans des environnements distribués. • Autonomie, rigueur et sens du détail. • Excellente capacité à résoudre des problèmes techniques complexes. • Bonnes compétences en communication et capacité à travailler en équipe. • Esprit d’analyse et capacité à comprendre les besoins métier pour proposer des solutions adaptées.

🏖️ Benefits

• Un environnement dynamique et innovant, au sein d’une équipe passionnée par les technologies de données. • La possibilité de travailler sur des projets d’envergure, à la pointe des technologies cloud et Big Data. • Des opportunités d’évolution et de formation continue pour développer vos compétences. • Un cadre de travail flexible et des avantages attractifs.