Senior Data Engineer – Databricks Migration

🕒 il y a 1 mois

🇵🇱 Pologne – Télétravail

⏰ Temps Plein

🟠 Senior

🚰 Ingénieur Data

👻 Score fantôme 11%

Ce que ça veut dire : la probabilité que cette offre reste ouverte sans recrutement actif.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

Sigma Software Group

Site WebLinkedInTous les Emplois

1001 - 5000 employés

Fondée en 2002

💼 Conseil

🏥 Santé

🚘 Automobile

Consulting • Healthcare • Automotive

Sigma Software Group est une entreprise multinationale, fondée en 2002, qui se spécialise dans le développement de logiciels de haute qualité, le design graphique, les tests et les services de support. L'entreprise se concentre sur la fourniture de solutions dans divers secteurs tels que l'automobile, les télécommunications, l'aviation, la publicité, le jeu vidéo, la banque, l'immobilier et la santé. Sigma Software valorise la croissance professionnelle, offre des opportunités de travail à distance dans le monde entier et travaille pour des clients renommés tels qu'AstraZeneca, Scania et SAS. L'entreprise met l'accent sur une culture d'éducation continue, de mentorat et d'environnements de travail flexibles, ce qui en fait un lieu de travail privilégié pour les spécialistes IT visant à travailler sur des solutions complexes utilisant des technologies de pointe. Sigma Software s'engage à proposer des solutions innovantes et à concevoir l'avenir tout en contribuant à des causes sociales comme le travail caritatif en Ukraine.

Description

• Participate in migrating a large-scale analytical platform from BigQuery to Databricks • Design and implement scalable Lakehouse architectures using Databricks and Delta Lake • Analyze ETL/ELT workloads and define migration approaches • Develop and optimize high-volume retail and analytical data pipelines • Implement incremental processing strategies and scalable transformation frameworks • Build and maintain Spark-based data processing solutions using PySpark • Design and maintain Bronze, Silver, and Gold medallion architecture layers • Implement data governance and security best practices using Unity Catalog • Collaborate with Data Science, Analytics, Product, and Customer Engineering teams • Participate in architecture discussions and technical solution design • Develop reusable data platform components and engineering standards • Conduct code reviews and contribute to platform reliability and maintainability • Troubleshoot and optimize complex SQL and Spark workloads • Support production deployments and platform modernization activities

🎯 Exigences

• 5+ years of professional experience as a Data Engineer • Strong programming skills in Python • Advanced SQL skills • Hands-on commercial experience with Databricks • Strong knowledge of Apache Spark, primarily PySpark • Experience designing and building modern cloud-based data platforms • Experience developing ETL/ELT pipelines and large-scale data processing solutions • Hands-on experience with Delta Lake • Experience with Spark Declarative Pipelines • Experience with cluster monitoring, metrics analysis, and performance optimization • Strong understanding of distributed data processing architectures • Solid understanding of data warehousing concepts and dimensional modeling • Experience with Airflow or similar orchestration tools • Experience optimizing complex analytical SQL workloads • Experience implementing CI/CD practices for data engineering platforms • Strong troubleshooting and performance optimization skills • Ability to work collaboratively in cross-functional international teams • Upper-Intermediate or higher English level • Experience with GCP cloud services, AWS, or Azure is a plus • Experience in retail analytics or pricing optimization domains is a plus • Experience supporting machine learning or AI-related data workloads is a plus • Experience with platform modernization and cloud migration initiatives is a plus

🏖️ Avantages

• Opportunities for continuous learning • Technology growth opportunities • Meaningful engineering impact • Work on complex international projects