Ingénieur Data senior

Emploi pas sur LinkedIn

🔥 il y a 19 heures

🇪🇺 Europe – Télétravail

⏰ Temps Plein

🟠 Senior

🚰 Ingénieur Data

👻 Score fantôme 25%

Ce que ça veut dire : la probabilité que cette offre reste ouverte sans recrutement actif.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

NIR-YU

Site WebLinkedInTous les Emplois

201 - 500 employés

💼 Conseil

📦 Logistique

📣 Marketing

Consulting • Logistics • Marketing

NIR-YU est une entreprise dédiée à l'autonomisation des petites et moyennes entreprises (PME) en proposant des solutions de personnel nearshore sur mesure. Elle se concentre sur le recrutement stratégique de professionnels nearshore qualifiés, offrant une tarification en coût majoré pour la transparence et l'accessibilité. Ses services incluent l'augmentation de personnel, la location de personnel, l'acquisition de talents et l'employeur de référence (EOR), visant à aider les PME à accéder à une main-d'œuvre qualifiée d'Amérique latine. En facilitant l'embauche de talents à distance et en assurant la conformité aux réglementations locales, NIR-YU permet aux entreprises de renforcer leurs équipes avec des professionnels anglophones, d'optimiser les coûts et de se concentrer sur les stratégies de croissance sans avoir à créer d'entités étrangères.

Description

• Mettre en place une ingestion concurrente pour les API de fournisseurs, les webhooks, les fichiers et le web scraping, avec gestion des limites de débit et des erreurs • Orchestrer les workflows planifiés et les backfills historiques à l’aide d’Airflow, Dagster ou Prefect • Mettre en place une ingestion pilotée par les événements avec Pub/Sub ou Cloud Tasks, notamment les nouvelles tentatives, les dead-letter queues et le rejeu contrôlé des traitements en échec • Conserver les payloads d’origine, notamment les données JSON des fournisseurs, dans Google Cloud Storage avant leur transformation avec dbt • Établir des couches medallion pour les données brutes, standardisées et préparées • Implémenter des upserts idempotents, des nouvelles tentatives sûres, le rejeu et les backfills historiques afin d’éviter les doublons et la corruption des données • Assurer la traçabilité des données jusqu’à leur source et permettre leur retraitement en toute sécurité • Définir des contrats de données, une validation automatisée, des tests de pipelines, ainsi que le suivi de la fraîcheur et des erreurs • Concevoir et optimiser les schémas, les requêtes et les modes de chargement PostgreSQL • Intégrer l’enrichissement fourni par les fournisseurs et l’extraction structurée de données à partir de textes, basée sur des LLM, à la plateforme

🎯 Exigences

• Expérience dans la conception de plateformes de données de production multi-sources, de zéro à un, depuis l’architecture initiale et l’implémentation des pipelines jusqu’au déploiement et à l’exploitation courante • Expérience en production avec des outils d’orchestration de workflows tels qu’Airflow, Dagster, Prefect ou Temporal, notamment la gestion des dépendances, des nouvelles tentatives et de la reprise après incident • Expérience pratique en production avec dbt et GCP • Expérience dans la conception de systèmes pilotés par les événements avec des systèmes de messagerie ou des files de tâches, notamment le traitement asynchrone et la reprise après incident • Solides compétences en SQL et PostgreSQL, notamment en modélisation des données, optimisation des requêtes et chargement incrémental fiable • Expérience des contrats de données, du stockage brut et préparé, des politiques de rétention et des contrôles qualité automatisés • Solides compétences en Python, notamment en HTTP asynchrone et en traitement concurrent avec des outils tels qu’asyncio, aiohttp ou HTTPX • Expérience pratique du web scraping avec des outils tels que Scrapy, Playwright, Selenium ou Beautiful Soup, notamment le scraping concurrent, la gestion des limites de débit et des erreurs • Expérience d’Airflow appréciée • Expérience dans des start-up ou de petites équipes d’ingénierie appréciée • Expérience en entity resolution appréciée • Expérience de l’extraction structurée basée sur des LLM ou de l’enrichissement de données sur les entreprises et les personnes appréciée • Connaissance de BigQuery et Dataform appréciée

🏖️ Avantages

• Télétravail à 100 % • Possibilité de prendre en charge la plateforme de données, de l’architecture jusqu’à la mise en production • Large périmètre de responsabilités et priorités évolutives dans un environnement de start-up ou de petite équipe