Senior Data Engineer

🔥 vor 21 Stunden

🌐 Deutschland, Polen – Remote

🇩🇪 Deutschland – Remote 🇵🇱 Polen – Remote

⏰ Vollzeit

🟠 Senior

🚰 Dateningenieur

👻 Geisterscore 12%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Sigma Software Group

WebsiteLinkedInAlle Stellen

1001 - 5000 Mitarbeiter

Gegründet 2002

💼 Beratung

🏥 Gesundheitswesen

🚘 Automobilindustrie

Consulting • Healthcare • Automotive

Die Sigma Software Group ist ein multinationales Unternehmen, das 2002 gegründet wurde und sich auf hochwertige Softwareentwicklung, Grafikdesign, Testing und Support-Services spezialisiert hat. Das Unternehmen liefert Lösungen für unterschiedlichste Branchen, darunter Automotive, Telekommunikation, Luftfahrt, Werbung, Gaming, Banking, Immobilien und Gesundheitswesen. Sigma Software fördert die berufliche Weiterentwicklung, bietet weltweit Remote-Work-Möglichkeiten und betreut renommierte Kundinnen und Kunden wie AstraZeneca, Scania und SAS. Das Unternehmen legt Wert auf eine Kultur der kontinuierlichen Weiterbildung, des Mentorings und flexibler Arbeitsumgebungen – und ist damit ein bevorzugter Arbeitgeber für IT-Spezialistinnen und -Spezialisten, die an komplexen Lösungen mit Cutting-Edge-Technologien arbeiten möchten. Sigma Software steht für innovative Lösungen und gestaltet die Zukunft des Engineerings mit – und engagiert sich zugleich gesellschaftlich, unter anderem durch karitative Arbeit in der Ukraine.

Beschreibung

• Diagnose-SQL-Abfragen für umfangreiche Produktionsdatensätze schreiben und fachlich vertreten • Ingestion-Pipelines für Bid-, Win- und Impression-Logs in BigQuery entwickeln und warten • Felder aus unabhängig entworfenen Datensätzen harmonisieren und versionierte Feldzuordnungen pflegen • Zum jeweiligen Zeitpunkt korrekte Feature-Tabellen und Aggregationspipelines entwickeln • Conversion- und Labeling-Pipelines mit Verarbeitung verzögert verfügbarer Labels entwerfen und warten • Für den Schreibpfad der Datenbereitstellung, Schema-Verträge, Veröffentlichungsprozesse und Freshness-SLOs verantwortlich sein • Experimentierinfrastruktur einschließlich Traffic-Splitting und Reporting-Pipelines aufbauen • Umfangreiche historische Backfills und sichere Neuverarbeitungen nach Änderungen an Feldzuordnungen durchführen • Maßnahmen zur Datenisolierung und sicheren Aggregation zum Schutz von Werbekundendaten implementieren • Automatisierte Frameworks zur Validierung der Datenqualität entwickeln • Eng mit Customer Engineers zusammenarbeiten und Betriebsdokumentation erstellen • Zu Architekturentscheidungen und Verbesserungen der Plattformskalierbarkeit beitragen

🎯 Anforderungen

• Mindestens 5 Jahre Erfahrung im Data Engineering • Mindestens 2 Jahre Erfahrung mit produktiven ML- oder Analytics-Pipelines in großem Maßstab • Sehr gute SQL-Kenntnisse, einschließlich Window Functions und Mustern für inkrementelle Verarbeitung • Fundierte Python-Kenntnisse für die Entwicklung produktionsreifer Pipelines • Praktische Erfahrung mit Spark oder PySpark • Erfahrung im Entwurf von ETL-/ELT-Pipelines mit Airflow, Cloud Composer, Dagster oder vergleichbaren Tools • Erfahrung mit Cloud Data Warehouses im großen Maßstab, vorzugsweise BigQuery • Ausgeprägtes Verständnis von Datenmodellierung und zeitpunktgenauer Korrektheit • Erfahrung mit ereignisgesteuerten oder Clickstream-Datensätzen in sehr großem Maßstab • Erfahrung in der Betreuung geschäftskritischer Produktionspipelines • Englischkenntnisse auf gehobenem mittlerem Niveau oder höher

🏖️ Vorteile

• Möglichkeit zur Arbeit im Homeoffice • Möglichkeit, an wirkungsvollen globalen Produkten zu arbeiten • Zusammenarbeit mit erfahrenen Engineers • Möglichkeit, zu Architekturentscheidungen beizutragen • Möglichkeit, Fachkenntnisse in großen verteilten Systemen und modernen Datenplattformen auszubauen