Senior Databricks Engineer

Stelle nicht auf LinkedIn

🕒 vor 1 Monat

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

EXL

WebsiteLinkedInAlle Stellen

10.000+ Mitarbeiter

🏥 Gesundheitswesen

🛡️ Versicherung

📦 Logistik

💰 €2.000.000 Venture Round im 2015-01

Healthcare • Insurance • Logistics

Die Wahl eines digitalen Partners ist mehr als nur eine Frage der Fähigkeiten – es geht um Zusammenarbeit und Charakter. Unrealistische Umgestaltungen und von der Stange gekaufte Produkte vernachlässigen, was am wichtigsten ist – Ihre einzigartigen Bedürfnisse, Kultur, Ziele und Ihre bestehenden Daten- und Technologieumgebungen. Bei EXL basiert unsere Zusammenarbeit auf kontinuierlichem Zuhören und Lernen, um unsere Methoden anzupassen. Wir sind Ihr Partner für die Weiterentwicklung Ihres Geschäfts – wir passen Lösungen an, die das Beste aus Daten herausholen, um bessere Geschäftsentscheidungen zu treffen und mehr Intelligenz in Ihre zunehmend digitalen Abläufe zu bringen. Ob Ihre Ziele darin bestehen, die Nutzung von KI und Digitaltechnik zu skalieren, Betriebsmodelle neu zu gestalten oder bessere und schnellere Entscheidungen zu treffen, wir sind hier, um mit Ihnen zusammenzuarbeiten, um Ihnen zu helfen, einen nachhaltigen Wettbewerbsvorteil mit effizienten, skalierbaren Modellen zu erreichen und zu erhalten. Unser Fachwissen in den Bereichen Transformation, Datenwissenschaft und Veränderungsmanagement hilft dabei, Ihr Unternehmen effizienter und effektiver zu machen, Kundenbeziehungen zu verbessern und das Umsatzwachstum zu steigern. Anstatt sich auf mehrjährige, ressourcen- und zeitintensive Plattformdesigns oder Migrationen zu konzentrieren, betrachten wir Ihre gesamte Wertschöpfungskette genauer, um Strategien mit Wirkung zu integrieren. Wir nutzen unsere Spezialisierung in den Bereichen Analytik, digitale Interventionen und Betriebsführung – zusammen mit umfassender Branchenexpertise – um Lösungen zu liefern, die Ihnen helfen, der Konkurrenz einen Schritt voraus zu sein. Bei EXL dreht sich alles um Ergebnisse – Ihre Ergebnisse – und darum, Erfolg zu Ihren Bedingungen zu liefern. Teilen Sie uns Ihre Ziele mit, und gemeinsam optimieren wir, wie Sie Daten nutzen, um Ihr Unternehmen voranzubringen. Für weitere Informationen besuchen Sie www.exlservice.com.

Beschreibung

• Ingestion & Transformation: Design and optimize high-volume ETL/ELT pipelines using Delta Live Tables (DLT) and PySpark, ensuring data integrity across the Bronze, Silver, and Gold layers. • Workflow Orchestration: Develop and maintain sophisticated pipelines using Databricks Workflows or Airflow, focusing on modularity, reusability, and automated error handling. • Streaming & Real-time Integration: Implement real-time data flows utilizing Structured Streaming and Kafka/Event Hubs to enable immediate data availability for downstream consumption. • Data Security & Privacy: Enforce data anonymization and fine-grained access controls to ensure compliance with global regulations (GDPR/CCPA/HIPAA). • DataOps & DevOps: Implement CI/CD patterns using Databricks Asset Bundles (DABs), Terraform, and Git to automate environment parity and deployments. • Open Table Formats: Manage and optimize Delta Lake storage, utilizing advanced features like Liquid Clustering, Z-Ordering, and Change Data Feed (CDF). • Compute Engine Optimization: Drive cost efficiency and performance by optimizing Spark configurations, Photon engine utilization, and Serverless SQL Warehouses. • Observability & Monitoring: Integrate comprehensive monitoring and alerting (e.g., Databricks System Tables, Grafana, or Splunk) to rapidly identify bottlenecks and troubleshoot production issues.

🎯 Anforderungen

• 6+ Years of hands-on, progressive experience in Data Engineering, with at least 5 years focused heavily on the Databricks platform. • Architectural Understanding: Expert knowledge of Medallion Architecture, Data Vault 2.0 or Dimensional Modeling, and modern Lakehouse design patterns. • Scale Expertise: Proven track record of building and managing large-scale data infrastructure (Petabyte-scale) in cloud-native environments. • Industry Experience: Experience in the Insurance or Financial Services industry is preferred (focusing on claims, policy, or risk data). • Technical Toolset: • Cloud Environment: Azure (preferred), AWS. • Databricks Stack: Unity Catalog, Delta Live Tables, Databricks SQL, MLflow. • Core Languages: Expert-level SQL, Python, and PySpark. • Supporting Tools: dbt (Databricks adapter), Git, and Orchestration tools.

🏖️ Vorteile

• Work From Home