FR - Data Engineer – Pipelines de données complexes (on-premise)

🔥 il y a 36 minutes

🇫🇷 France – Télétravail

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

🚰 Ingénieur Data

👻 Score fantôme 12%

Ce que ça veut dire : la probabilité que cette offre reste ouverte sans recrutement actif.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

MARSS Group

Site WebLinkedInTous les Emplois

51 - 200 employés

📦 Logistique

💼 Conseil

🎖️ Défense

Logistics • Consulting • Defense

Fondée en 2005, le leadership technologique de MARSS s'est développé grâce à plus de 15 ans de collaboration en recherche avec l'UE, l'OTAN, des agences de défense, le monde académique et l'industrie. MARSS développe des systèmes de sécurité et de surveillance pour la protection de la sécurité nationale utilisant la surveillance par capteurs intégrés, l'intelligence artificielle et le renseignement open-source. Nos technologies sont opérationnelles dans le monde entier, protégeant des nations, des infrastructures critiques, des actifs navals, des forces spéciales, des chefs d'État, des superyachts et le transport maritime commercial. La gamme de produits MARSS inclut NiDAR™, NiDAR 4D, NiDAR Command, NiDAR X, NiDAR CUAS, MOBtronic™, RADiRguard™ et Interceptor.

Description

• Concevoir et développer des pipelines de données de zéro, de l’ingestion des données à leur traitement, leur transformation, leur stockage et leur consommation • Concevoir l’ingestion pour des nœuds d’enregistrement distribués, hors ligne la plupart du temps, notamment la mise en mémoire tampon locale, le transfert reprenable et la réconciliation des données reçues tardivement ou dans le désordre lors de la reconnexion • Définir, avec l’équipe ML, les données à prioriser pendant les fenêtres de connexion courtes et limitées en bande passante • Concevoir des pipelines capables de gérer des données structurées ou tabulaires, des images, des vidéos et des données temporelles ou de séries temporelles • Travailler avec des données séquentielles générées par des capteurs et gérer la dérive des horloges entre les nœuds afin de garantir une chronologie fiable en aval • Développer des solutions robustes et évolutives de traitement des données en Python et SQL • Concevoir les modèles de données et les approches de stockage, notamment le capacity planning et les politiques de conservation pour de grands volumes d’images et de vidéos sur une infrastructure de stockage auto-administrée • Être responsable de la définition des workflows dans la couche d’orchestration, notamment de l’ordonnancement, des nouvelles tentatives, de l’idempotence et du comportement lors des backfills • Développer les processus d’ingestion, de transformation, de validation, de contrôle qualité et de traçabilité des données • Développer des outils facilitant la préparation et la disponibilité des données pour les applications de machine learning et d’IA • Collaborer avec les Machine Learning Engineers, les équipes DevOps et les Software Engineers afin de comprendre les besoins en données et de proposer des solutions • Garantir la fiabilité, la maintenabilité et l’évolutivité des pipelines à mesure que les volumes de données et les cas d’usage augmentent • Identifier les problèmes de qualité des données, notamment les lacunes et les doublons causés par les interruptions des nœuds et les nouvelles tentatives, et définir le monitoring de la qualité des données et de la santé des pipelines • Définir l’architecture globale et les standards techniques de la plateforme de données développée en interne • Documenter l’architecture des pipelines, les flux de données et les solutions techniques

🎯 Exigences

• Expérience professionnelle significative dans un poste étroitement lié à la data engineering • Expérience avérée dans la conception et la mise en œuvre de pipelines de données à partir de zéro, hors environnement cloud, incluant les choix d’architecture et les décisions techniques • Bonne maîtrise de la programmation en Python et SQL • Expérience professionnelle avec plusieurs types de données • Expérience dans la création de pipelines impliquant au moins certains des éléments suivants : images, vidéos, données de capteurs, séries temporelles ou autres données séquentielles • Expérience des systèmes devant tolérer une connectivité réseau instable ou inexistante et se rétablir correctement, notamment les architectures offline-first, store-and-forward, de collecte en edge ou similaires • Expérience de l’exploitation d’une infrastructure de données sur bare metal ou des serveurs auto-administrés, plutôt que exclusivement sur des services cloud managés • Bonne compréhension des principes d’ingestion, de transformation, de stockage, de validation et de qualité des données • Expérience avec des jeux de données volumineux ou complexes • Solides compétences Linux, notamment une bonne maîtrise des systèmes de fichiers, du stockage, des services et du diagnostic des problèmes réseau • Bonnes pratiques de software engineering, notamment Git, les tests, les revues de code et la documentation • Capacité à analyser de manière autonome les problèmes techniques et à proposer une architecture et des solutions adaptées • Anglais courant, à l’écrit comme à l’oral.

🏖️ Avantages

• Poste à temps plein en CDI