Staff-Ingenieur für Data‑Plattformen
Stelle nicht auf LinkedIn
🔥 vor 51 Minuten
🗣️🇺🇸🇬🇧 Englisch erforderlich
📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle
Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.
Beschreibung
• Aufbau einer Data Control Plane zur Steuerung von Schemata, Lineage, Ownership, Freshness‑Commitments, Datenqualität und Zugriff • Entwicklung von Bibliotheken, SDKs, Templates, daten-spezifischen CI/CD‑Pipelines und eines unterstützten Near‑Real‑Time‑Patterns zum Bereitstellen von Datenprodukten • Aufbau einer Durchsetzungs‑/Enforcement‑Schicht für Datenstandards, einschließlich Schema-Registry, Contract‑Validator, CI‑Schritt und automatisierter Zertifizierung • Standardmäßige Beobachtbarkeit von Datenprodukten durch Freshness‑Metriken, Volumenmessung, Schema‑Konformität und Qualitäts‑Instrumentation • Emittierung von Monitoring‑Daten mit Ownership‑ und Lineage‑Metadaten zur Ermöglichung KI‑gestützter Triage • Festlegung der Plattform‑Architektur, Roadmap sowie Build‑vs‑Buy‑Entscheidungen • Durchführung von Design‑Reviews, Berücksichtigung der Anforderungen von Produzenten‑ und Konsumenten‑Teams und Modularisierung der Plattform für Beiträge • Direkte Zusammenarbeit mit dem Senior Director of Data Engineering als erster Data‑Platform‑Engineer im Team • Aufbau und Ausbau des Data‑Platform‑Teams mit wachsendem Verantwortungsumfang
🎯 Anforderungen
• Built loosely coupled production services, APIs, and SDKs in Python used by multiple teams • Built metadata-driven platforms integrating with catalogs and automatically checking lineage, contracts, and quality • Built observability that other teams depend on, with ability to distinguish signal from noise • Ability to drive tool adoption through architecture reviews, mentorship, and clear communication • Strong AWS experience • Strong Terraform experience • Strong Kubernetes experience • Strongly preferred: experience moving from batch to streaming and understanding cost tradeoffs • Strongly preferred: Spark and Iceberg at significant scale, and Snowflake in production • Strongly preferred: ad tech or another domain with high-volume event data and multiple consumers • Strongly preferred: tooling and data structures used by AI agents • Nice to have: experience establishing a platform team’s first-generation capabilities • Nice to have: data catalog, semantic layer, or governance tooling experience
Jetzt Bewerben
