Senior Data Engineer – Databricks Migration

🕒 vor 3 Monaten

🇵🇱 Polen – Remote

⏰ Vollzeit

🟠 Senior

🚰 Dateningenieur

👻 Geisterscore 28%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

Sigma Software Group

WebsiteLinkedInAlle Stellen

1001 - 5000 Mitarbeiter

Gegründet 2002

💼 Beratung

🏥 Gesundheitswesen

🚘 Automobilindustrie

Consulting • Healthcare • Automotive

Die Sigma Software Group ist ein multinationales Unternehmen, das 2002 gegründet wurde und sich auf hochwertige Softwareentwicklung, Grafikdesign, Testing und Support-Services spezialisiert hat. Das Unternehmen liefert Lösungen für unterschiedlichste Branchen, darunter Automotive, Telekommunikation, Luftfahrt, Werbung, Gaming, Banking, Immobilien und Gesundheitswesen. Sigma Software fördert die berufliche Weiterentwicklung, bietet weltweit Remote-Work-Möglichkeiten und betreut renommierte Kundinnen und Kunden wie AstraZeneca, Scania und SAS. Das Unternehmen legt Wert auf eine Kultur der kontinuierlichen Weiterbildung, des Mentorings und flexibler Arbeitsumgebungen – und ist damit ein bevorzugter Arbeitgeber für IT-Spezialistinnen und -Spezialisten, die an komplexen Lösungen mit Cutting-Edge-Technologien arbeiten möchten. Sigma Software steht für innovative Lösungen und gestaltet die Zukunft des Engineerings mit – und engagiert sich zugleich gesellschaftlich, unter anderem durch karitative Arbeit in der Ukraine.

Beschreibung

• Participate in migrating a large-scale analytical platform from BigQuery to Databricks • Design and implement scalable Lakehouse architectures using Databricks and Delta Lake • Analyze ETL/ELT workloads and define migration approaches • Develop and optimize high-volume retail and analytical data pipelines • Implement incremental processing strategies and scalable transformation frameworks • Build and maintain Spark-based data processing solutions using PySpark • Design and maintain Bronze, Silver, and Gold medallion architecture layers • Implement data governance and security best practices using Unity Catalog • Collaborate with Data Science, Analytics, Product, and Customer Engineering teams • Participate in architecture discussions and technical solution design • Develop reusable data platform components and engineering standards • Conduct code reviews and contribute to platform reliability and maintainability • Troubleshoot and optimize complex SQL and Spark workloads • Support production deployments and platform modernization activities

🎯 Anforderungen

• 5+ years of professional experience as a Data Engineer • Strong programming skills in Python • Advanced SQL skills • Hands-on commercial experience with Databricks • Strong knowledge of Apache Spark, primarily PySpark • Experience designing and building modern cloud-based data platforms • Experience developing ETL/ELT pipelines and large-scale data processing solutions • Hands-on experience with Delta Lake • Experience with Spark Declarative Pipelines • Experience with cluster monitoring, metrics analysis, and performance optimization • Strong understanding of distributed data processing architectures • Solid understanding of data warehousing concepts and dimensional modeling • Experience with Airflow or similar orchestration tools • Experience optimizing complex analytical SQL workloads • Experience implementing CI/CD practices for data engineering platforms • Strong troubleshooting and performance optimization skills • Ability to work collaboratively in cross-functional international teams • Upper-Intermediate or higher English level • Experience with GCP cloud services, AWS, or Azure is a plus • Experience in retail analytics or pricing optimization domains is a plus • Experience supporting machine learning or AI-related data workloads is a plus • Experience with platform modernization and cloud migration initiatives is a plus

🏖️ Vorteile

• Opportunities for continuous learning • Technology growth opportunities • Meaningful engineering impact • Work on complex international projects

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen