Senior Data Engineer

Stelle nicht auf LinkedIn

🔥 vor 19 Stunden

🇪🇺 Europa – Remote

⏰ Vollzeit

🟠 Senior

🚰 Dateningenieur

👻 Geisterscore 25%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

NIR-YU

WebsiteLinkedInAlle Stellen

201 - 500 Mitarbeiter

💼 Beratung

📦 Logistik

📣 Marketing

Consulting • Logistics • Marketing

NIR-YU ist ein Unternehmen, das sich der Unterstützung von kleinen und mittelständischen Unternehmen (KMU) verschrieben hat, indem es maßgeschneiderte, nahe gelegene Personalbeschaffungs-lösungen anbietet. Sie konzentrieren sich auf die strategische Rekrutierung qualifizierter Nearshore-Fachkräfte und bieten eine Kosten-plus-Preisgestaltung für Transparenz und Erschwinglichkeit. Ihre Dienstleistungen umfassen Personalverstärkung, Mitarbeiterleasing, Talentakquise und Arbeitgeberaufzeichnung (EoR), um KMU den Zugang zu einer qualifizierten Arbeitskraft aus Lateinamerika zu ermöglichen. Durch die Vermittlung von Remote-Talenten und die Sicherstellung der Einhaltung lokaler Vorschriften ermöglicht NIR-YU Unternehmen, ihre Teams mit englischsprachigen Fachkräften zu verstärken, Kosten zu optimieren und sich auf Wachstumsstrategien zu konzentrieren, ohne die Last der Einrichtung ausländischer Einheiten.

Beschreibung

• Aufbau einer nebenläufigen Datenaufnahme für Provider-APIs, Webhooks, Dateien und Web-Scraping einschließlich Ratenbegrenzungen und Fehlerbehandlung • Orchestrierung geplanter Workflows und historischer Backfills mit Airflow, Dagster oder Prefect • Aufbau einer ereignisgesteuerten Datenaufnahme mit Pub/Sub oder Cloud Tasks einschließlich Wiederholungsversuchen, Dead-Letter-Queues und kontrollierter Wiederholung fehlgeschlagener Aufgaben • Speicherung der ursprünglichen Payloads, einschließlich Provider-JSON, in Google Cloud Storage vor der Transformation mit dbt • Einrichtung von Medallion-Schichten für Rohdaten sowie standardisierte und kuratierte Daten • Implementierung idempotenter Upserts, sicherer Wiederholungsversuche, Replays und historischer Backfills, um doppelte Datensätze oder Datenbeschädigungen zu vermeiden • Sicherstellung der Rückverfolgbarkeit der Daten bis zu ihrer Quelle und einer sicheren erneuten Verarbeitung • Definition von Datenverträgen, automatisierten Validierungen, Pipeline-Tests sowie Überwachung der Datenaktualität und von Fehlern • Konzeption und Optimierung von PostgreSQL-Schemata, Abfragen und Lademustern • Integration von Provider-Anreicherungen und strukturierter LLM-basierter Textextraktion in die Plattform

🎯 Anforderungen

• Erfahrung im Aufbau produktiver Datenplattformen aus mehreren Quellen von Grund auf – von der anfänglichen Architektur und Pipeline-Implementierung über die Bereitstellung bis zum laufenden Betrieb • Produktionserfahrung mit Workflow-Orchestrierungstools wie Airflow, Dagster, Prefect oder Temporal, einschließlich Abhängigkeiten, Wiederholungsversuchen und Fehlerwiederherstellung • Praktische Produktionserfahrung mit dbt und GCP • Erfahrung im Aufbau ereignisgesteuerter Systeme mit Messaging- oder Task-Queues einschließlich asynchroner Verarbeitung und Fehlerwiederherstellung • Sehr gute SQL- und PostgreSQL-Kenntnisse einschließlich Datenmodellierung, Abfrageoptimierung und zuverlässigem inkrementellem Laden • Erfahrung mit Datenverträgen, Rohdaten- und kuratierten Speichern, Aufbewahrungsrichtlinien und automatisierten Qualitätsprüfungen • Sehr gute Python-Kenntnisse einschließlich asynchroner HTTP-Kommunikation und nebenläufiger Verarbeitung mit Tools wie asyncio, aiohttp oder HTTPX • Praktische Erfahrung im Web-Scraping mit Tools wie Scrapy, Playwright, Selenium oder Beautiful Soup einschließlich nebenläufigem Scraping, Ratenbegrenzungen und Fehlerbehandlung • Airflow-Erfahrung von Vorteil • Erfahrung in Start-ups oder kleinen Engineering-Teams von Vorteil • Erfahrung mit Entity Resolution von Vorteil • Erfahrung mit strukturierter LLM-basierter Textextraktion oder der Anreicherung von Unternehmens- und Personendaten von Vorteil • Vertrautheit mit BigQuery und Dataform von Vorteil

🏖️ Vorteile

• Vollständig remote möglich • Möglichkeit, die Datenplattform von der Architektur bis zum Produktivbetrieb eigenverantwortlich zu gestalten • Umfassender Verantwortungsbereich und wechselnde Prioritäten in Start-up- oder kleinen Teamumgebungen