Senior Data Engineer

Stelle nicht auf LinkedIn

vor 4 Monaten

Bewerben

E-Mails mit ähnlichen Jobs erhalten

1648 Factory

WebsiteLinkedInAlle Stellen

AI • B2B • SaaS

1648 Factory ist auf Staff Augmentation und individuelle Softwareentwicklung spezialisiert. Das Unternehmen bietet Expertenunterstützung mit dem Fokus, Unternehmen durch maßgeschneiderte AI-Lösungen voranzubringen, marktreife digitale Produkte zu entwickeln und mithilfe von State-of-the-Art-Technologien innovative Unternehmen aufzubauen. Der Ansatz legt besonderen Wert auf Zusammenarbeit, um für Kundinnen und Kunden wirkungsvolle digitale Transformationen zu realisieren.

51 - 200 Mitarbeiter

Gegründet 2020

🤝 B2B

☁️ SaaS

Beschreibung

• Ihre Aufgabe ist der Aufbau der Datenbasis und von Pipelines für einen intelligenten, KI-gesteuerten Agenten, der operative und geschäftliche Daten sammelt, strukturiert und analysiert. • Entwurf skalierbarer Datenarchitekturen sowie ETL-/ELT-Pipelines unter Verwendung von Azure und Databricks • Aufbau hybrider Pipelines zur Integration von On-Prem- und Cloud-Datenquellen (SQL Server, MongoDB, Cosmos DB) • Anwendung von CDC, Delta Lake und Medallion-Architekturprinzipien • Optimierung von Performance und Kosten: Auto-Scaling, Caching, Partitionierung, Z-Ordering, Kapazitätsplanung • Gewährleistung von Datensicherheit und Governance, einschließlich Verschlüsselung, Zugriffssteuerung und Monitoring • Enge Zusammenarbeit mit AI/ML-Ingenieuren für nachgelagerte LLM-Anwendungen • Mitwirkung an CI/CD und Automatisierung der Infrastruktur in Zusammenarbeit mit DevOps • Ausgeprägte Kommunikations- und Dokumentationsfähigkeiten • Fähigkeit, Architekturentscheidungen sachlich zu begründen

🎯 Anforderungen

• Mindestens 5 Jahre Erfahrung im Data Engineering • Fundierte praktische Kenntnisse in: Azure Cloud, Databricks (Delta Lake, PySpark, Performance-Tuning), Azure-Sicherheitspraktiken (RBAC, Key Vault, Verschlüsselung) • Nachgewiesene Erfahrung mit Datenmigrationen, insbesondere von On-Prem-Umgebungen nach Azure • Vertrautheit mit hybriden Datenarchitekturen • Verständnis von Techniken zur Kosten- und Performance-Optimierung in Big-Data-Workflows • Erfahrung mit CI/CD für Datenpipelines (Azure DevOps, GitHub Actions oder ähnliches) • Englisch: oberes Mittelstufenniveau (B2+)

🏖️ Vorteile

• Arbeitsumfeld mit viel Gestaltungsspielraum. • Eigenverantwortliches Arbeiten mit einem eingespielten Team im Hintergrund. • Remote-Arbeit möglich. • Sehr erfahrenes internationales Team. • Vertrauen und Unterstützung durch das Management. • Hoher Verantwortungsgrad und große Autonomie. • Agile Teams, in denen Ihre Ideen und Lösungen geschätzt werden.