Data Engineer – Complex Data Pipelines

🕒 vor 27 Tagen

🇫🇷 Frankreich – Remote

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

🚰 Dateningenieur

👻 Geisterscore 12%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

MARSS Group

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

📦 Logistik

💼 Beratung

🎖️ Verteidigung

Logistics • Consulting • Defense

Die MARSS Group ist ein Technologieunternehmen, das sich auf die Entwicklung fortschrittlicher Sicherheits- und Überwachungssysteme zur Stärkung der nationalen Sicherheit spezialisiert hat. Das 2005 gegründete Unternehmen verfügt über mehr als 15 Jahre Erfahrung in Forschung und Zusammenarbeit mit der EU, der NATO und verschiedenen Verteidigungsbehörden. Zu den technologischen Innovationen von MARSS gehören integrierte sensorbasierte Überwachung, künstliche Intelligenz und Open-Source Intelligence (OSINT). Diese Technologien schützen weltweit kritische Infrastrukturen, maritime Anlagen, Spezialeinheiten und hochrangige Personen. Das Produktportfolio umfasst Systeme wie NiDAR™ zur Weiterentwicklung von Command-and-Control-Funktionen sowie verschiedene Lösungen zur Abwehr unbemannter Luftfahrtsysteme und zur Verbesserung des Lagebilds in unterschiedlichen Sicherheitskontexten.

Beschreibung

• Design and build data pipelines from scratch, from data ingestion through processing, transformation, storage and consumption • Design ingestion for distributed recording nodes that are offline most of the time, including local buffering, resumable transfer, and reconciliation of late-arriving or out-of-order data on reconnection • Define, together with the ML team, which data is prioritised during short and bandwidth-limited connection windows • Design pipelines capable of handling structured/tabular data, images, video and temporal/time-series data • Work with sensor-generated sequential data and handle clock drift across nodes to ensure trustworthy downstream timing • Develop robust and scalable data processing solutions using Python and SQL • Design data models and storage approaches, including capacity planning and retention for large volumes of image and video data on self-managed storage • Own workflow definitions in the orchestration layer, including ordering, retry, idempotency and backfill behaviour • Build processes for data ingestion, transformation, validation, quality control and traceability • Develop tools supporting data preparation and availability for machine learning and AI applications • Collaborate with Machine Learning Engineers, DevOps and Software Engineers to understand data requirements and provide solutions • Ensure pipelines are reliable, maintainable and scalable as data volumes and use cases increase • Identify data-quality issues, including gaps and duplicates caused by node outages and retries, and define data-quality and pipeline-health monitoring • Define the overall architecture and technical standards for the in-house data platform • Document pipeline architecture, data flows and technical solutions

🎯 Anforderungen

• Strong professional experience in a closely related data engineering role • Demonstrated experience designing and implementing data pipelines from zero (not cloud-based), including architectural and technical decisions • Good programming skills in Python & SQL • Professional experience working with several different types of data • Experience building pipelines involving at least some of the following: images, video, sensor data, time-series or other sequential data • Experience with systems that must tolerate unreliable or absent network connectivity and recover gracefully, offline-first, store-and-forward, edge collection or similar architectures • Experience running data infrastructure on bare metal or self-managed servers, rather than exclusively on managed cloud services • Good understanding of data ingestion, transformation, storage, validation and data-quality principles • Experience working with large or complex datasets • Strong Linux skills, including comfort with filesystems, storage, services and network troubleshooting • Good software engineering practices, including Git, testing, code review and documentation • Ability to independently investigate technical problems and propose appropriate architecture and solutions • Fluent English, written and spoken.

🏖️ Vorteile

• Full-time employment (CDI)