Senior Data Engineer, Databricks

🕒 vor 1 Monat

🌐 Polen, Serbien, +4 weitere Länder – Remote

🇵🇱 Polen – Remote 🇷🇸 Serbien – Remote 🇷🇴 Rumänien – Remote 🇪🇸 Spanien – Remote 🇬🇧 Vereinigtes Königreich – Remote 🇪🇪 Estland – Remote

⏰ Vollzeit

🟠 Senior

🚰 Dateningenieur

👻 Geisterscore 15%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Intetics

WebsiteLinkedInAlle Stellen

501 - 1000 Mitarbeiter

Gegründet 1995

💼 Beratung

🏥 Gesundheitswesen

📦 Logistik

Consulting • Healthcare • Logistics

Intetics ist ein innovatives Unternehmen, das maßgeschneiderte Softwareentwicklungsdienstleistungen anbietet und sich auf KI- und Machine-Learning-Lösungen spezialisiert hat. Das Unternehmen bietet Remote In-Sourcing® an, um Expertenteams für Software-Engineering- und Datenverarbeitungsprojekte aufzubauen, sowie fortschrittliche Tools wie TETRA™ zur Bewertung der Softwarequalität. Ziel von Intetics ist es, Unternehmen zu befähigen, hochwertige Daten zu nutzen und moderne Technologien in verschiedenen Branchen – darunter Gesundheitswesen, Finanzwesen und mehr – zu integrieren.

Beschreibung

• Own Databricks production support for the predictive data platform, including monitoring, alerting, and incident response across all production data flows. • Maintain and report on SLA performance metrics for data pipeline delivery, ensuring visibility into platform health and accountability across internal and external stakeholders. • Identify and implement pipeline optimizations that reduce Databricks compute costs, improve throughput, and reduce processing windows while tracking impacts through measurable KPIs. • Migrate legacy ETL/ELT pipelines to Databricks, building automation tooling to reduce manual intervention and ensure uninterrupted data delivery during transitions. • Support new customers onboarding by provisioning, validating, and hardening tenant data pipelines that deliver reliable, isolated data from day one. • Design and build high-performance Databricks pipelines that ingest, transform, and serve ERP and CRM data at scale across both Azure and AWS environments. • Own the Delta Lake architecture including schema design, partitioning strategies, data quality enforcement, and incremental processing patterns. • Enforce data security best practices across Databricks environments, including role-based access control, secrets management, and compliance requirements for enterprise CRM and ERP data. • Implement data quality monitoring and observability across pipeline health and ML model inputs, ensuring data integrity that directly supports model prediction accuracy. • Apply and enforce multi-tenant data isolation patterns ensuring reliable, secure data delivery across enterprise customers. • Partner with the Enterprise Architecture team to ensure data pipelines integrate seamlessly with the broader product ecosystem. • Support a globally distributed operation through on-call rotation and after-hours incident response, meeting SLAs across multiple time zones. • Maintain technical documentation, runbooks, and architectural decision records, contributing to team knowledge sharing and operational readiness across on-call and incident response scenarios. • Apply CI/CD best practices to data pipeline development, including version control, automated testing, and deployment tooling to ensure reliable and repeatable pipeline delivery.

🎯 Anforderungen

• 4+ years of data engineering experience. • At least 2 years on Databricks or the Apache Spark ecosystem across Azure and/or AWS. • Proficiency in PySpark, SQL, and Python with a strong track record building and operating production-grade pipelines under SLA constraints. • Hands-on experience with Delta Lake including schema evolution, ACID transactions, optimize/vacuum lifecycle, and both incremental and streaming processing patterns. • Hands-on experience with pipeline performance tuning and compute optimization in production Databricks environments. • Solid working knowledge of PostgreSQL including query optimization, schema design, and use as a source or sink in production data pipelines. • Experience supporting and maintaining legacy ETL tooling (SSIS, Informatica, custom Python/SQL pipelines, or similar) in production. • Experience supporting large-scale multi-tenant architectures with a focus on tenant isolation, per-tenant performance, and data privacy, including navigating tools and platforms that default to single-tenant assumptions. • Proven ability to work collaboratively across Data Science, Product, and Infrastructure teams, owning end-to-end delivery in a cross-functional environment. • Strong understanding of data governance, security, and compliance principles, including access control, data privacy, and protection of sensitive enterprise data across multi-tenant environments.