Senior Data Engineer

🕒 vor 12 Tagen

🇵🇱 Polen – Remote

⏰ Vollzeit

🟠 Senior

🚰 Dateningenieur

👻 Geisterscore 10%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

Sigma Software Group

WebsiteLinkedInAlle Stellen

1001 - 5000 Mitarbeiter

Gegründet 2002

💼 Beratung

🏥 Gesundheitswesen

🚘 Automobilindustrie

Consulting • Healthcare • Automotive

Die Sigma Software Group ist ein multinationales Unternehmen, das 2002 gegründet wurde und sich auf hochwertige Softwareentwicklung, Grafikdesign, Testing und Support-Services spezialisiert hat. Das Unternehmen liefert Lösungen für unterschiedlichste Branchen, darunter Automotive, Telekommunikation, Luftfahrt, Werbung, Gaming, Banking, Immobilien und Gesundheitswesen. Sigma Software fördert die berufliche Weiterentwicklung, bietet weltweit Remote-Work-Möglichkeiten und betreut renommierte Kundinnen und Kunden wie AstraZeneca, Scania und SAS. Das Unternehmen legt Wert auf eine Kultur der kontinuierlichen Weiterbildung, des Mentorings und flexibler Arbeitsumgebungen – und ist damit ein bevorzugter Arbeitgeber für IT-Spezialistinnen und -Spezialisten, die an komplexen Lösungen mit Cutting-Edge-Technologien arbeiten möchten. Sigma Software steht für innovative Lösungen und gestaltet die Zukunft des Engineerings mit – und engagiert sich zugleich gesellschaftlich, unter anderem durch karitative Arbeit in der Ukraine.

Beschreibung

• Design and build scalable cloud-native data platforms from greenfield to production • Design and implement near-real-time ingestion pipelines using event-driven patterns • Define and enforce data platform standards including Data Lake/Lakehouse principles, medallion architecture, and data contracts • Refactor, optimize, and modernize Spark and PySpark scripts for performance and maintainability • Introduce best practices for code quality, testing, and CI/CD across data pipelines • Drive adoption of AI tooling and agentic workflows within the data engineering team • Ensure data quality, observability, and reliability across pipelines and platforms • Design and deliver self-service tooling and microservices that abstract platform complexity • Collaborate directly with the Customer’s scientific and engineering teams • Monitor platform performance, reliability, and cloud infrastructure costs

🎯 Anforderungen

• 5+ years of experience in data engineering • 3+ years of production experience with Databricks and Delta Lake • Strong expertise in medallion architecture and event-driven asynchronous pipeline design • Advanced proficiency in Python, PySpark, and SQL • Deep hands-on experience with Databricks, including Unity Catalog, Lakeflow Jobs/Workflows, and job optimization • Strong AWS expertise including S3, IAM, KMS, AWS Batch, ECR, EventBridge, Lambda, or API Gateway • Experience with infrastructure as code and CI/CD using Terraform and Databricks Asset Bundles • Practical experience with Git workflows, pull request reviews, and automated testing • Experience configuring secure CI pipelines using OIDC or service principals • Practical MLflow experience including experiment tracking, model registration, and reproducibility practices • Strong understanding of data quality, lineage, provenance, schema contracts, and versioning • Experience with data quality frameworks such as Great Expectations, Soda, pyDeequ, or Databricks Labs DQX • Experience with monitoring, observability, and cloud cost optimization • Upper-Intermediate English level or higher • Strong analytical mindset • Ownership and accountability • Ability to communicate complex technical concepts clearly • Proactive approach to problem-solving • Attention to scalability and maintainability • Collaborative and team-oriented attitude • Plus: Experience packaging workloads in Docker containers and running batch jobs on AWS • Plus: Familiarity with scikit-optimize, BoTorch, Ax, and scipy • Plus: Experience building feature sets and train/test splits that avoid data leakage • Plus: Experience with regulated or high-security environments including data residency requirements • Plus: Experience disabling or restricting AI features in secured environments

🏖️ Vorteile

• Employees can work remotely • Opportunity to work on innovative global projects • Opportunity to contribute to breakthrough research in clean energy and fusion science • Driving engineering excellence, automation, and AI adoption within the data platform ecosystem

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen