Senior Data Platform Engineer, Microsoft Fabric

🕒 vor 23 Tagen

🇵🇱 Polen – Remote

⏰ Vollzeit

🟠 Senior

🚰 Dateningenieur

👻 Geisterscore 14%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

Software Mind

WebsiteLinkedInAlle Stellen

1001 - 5000 Mitarbeiter

Gegründet 1999

🤖 Künstliche Intelligenz

☁️ SaaS

📡 Telekommunikation

💰 Private Equity Round im 2020-12

Artificial Intelligence • SaaS • Telecommunications

Software Mind ist ein Technologieunternehmen, das sich auf Softwareentwicklung und digitale Transformationsdienste spezialisiert hat. Mit einem Fokus auf KI- und Cloud-Lösungen bietet das Unternehmen eine breite Palette von Dienstleistungen an, darunter individuelle Softwareentwicklung, Mobile-App-Entwicklung und Cloud-Beratung. Software Mind bedient verschiedene Branchen wie Finanzdienstleistungen, Telekommunikation, Biotechnologie und Medien und bietet maßgeschneiderte Lösungen, um digitale Transformationen zu beschleunigen und das Geschäft weltweit zu fördern.

Beschreibung

• Own the client's medallion data architecture end-to-end on Microsoft Fabric • Design and build Bronze, canonical Silver, and Gold Delta tables with PAN-safe physical layouts • Build Fabric Spark feature pipelines for rolling velocity, merchant-level rolling, hierarchical rollup, and cross-merchant features • Author per-flavor-version Silver adapters, unioned by name and tested against golden fixtures • Build the idempotent Bronze-to-canonical-Silver MERGE DAG according to Aperia's canonical Fabric internal specification v1.4 • Build Gold materialization pipelines for transaction-risk and merchant-risk grains with score-source stamping and idempotent merge semantics • Design and implement Direct Lake semantic models for reporting surfaces and performance-test them against representative data volumes • Configure OneLake namespace layouts, workspace catalogs, and cross-workspace shortcut relationships • Establish idempotent Delta write patterns using delta-rs from Python containers with segmented parallel writes and a single atomic commit • Size Fabric capacity, select F-SKUs, perform load testing, and make Reservation versus PAYG decisions • Partner with the DevOps engineer on Fabric IaC, including Terraform capacity provisioning and Fabric REST workspace bootstrap • Consult on a ClickHouse contingency if Direct Lake latency is insufficient for client-tier UIs • Collaborate with a Senior Technical Lead, Senior DevOps engineer, and mid-level developer on platform foundation and risk product delivery • Work on a platform ingesting transaction and merchant data via SFTP and API, tokenizing sensitive PAN data at the ingestion boundary, and feeding DMN rules and Mastercard Brighterion feeds

🎯 Anforderungen

• 5+ years data engineering experience • At least 2 years hands-on Spark development; PySpark preferred • Deep Delta Lake internals knowledge, including transaction log format, checkpoints, retention settings, VACUUM, OPTIMIZE, deletion vectors, and statistics collection • Parquet format expertise, including footers, statistics allowlists, row-group sizing, dictionary encoding, and column indexes • Microsoft Fabric hands-on experience with workspaces, capacities, notebooks, lakehouses, semantic models, Direct Lake, and SQL analytics endpoint • SQL performance tuning skills for OLAP (Fabric) and OLTP (PostgreSQL) workloads • Strong Python data engineering skills, including pandas, PyArrow, and delta-rs • Ability to communicate architecture clearly in writing and work autonomously on well-scoped features • PCI-scoped data platform experience • Financial services or payments domain background • Power BI semantic model authoring using DAX • Familiarity with published data-standard governance patterns, including logical model vs physical profile, SCD2 dimensions, natural-key idempotency, and extension attribute stores • OneLake shortcuts and cross-workspace lakehouse patterns • ClickHouse or similar OLAP engine familiarity • Terraform for Azure data resources • Prior experience with fluid or schema-flexible ingestion patterns

🏖️ Vorteile

• Flexible and remote cooperation options • International projects with leading global clients • Travels related to international projects • Non-corporate atmosphere • Access to language classes • Access to knowledge-sharing initiatives • Access to private healthcare and life insurance • Access to multisport card • The availability and terms of individual benefits may vary depending on the chosen form of cooperation

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen