Senior Data Engineer

Stelle nicht auf LinkedIn

🔥 vor 3 Minuten

🌏 Überall auf der Welt

💵 $190.000 - $240.000 / Jahr

⏰ Vollzeit

🟠 Senior

🚰 Dateningenieur

👻 Geisterscore 0%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Ready.net

WebsiteLinkedInAlle Stellen

1 - 10 Mitarbeiter

💼 Beratung

📦 Logistik

🏛️ Regierung

Consulting • Logistics • Government

Ready. net bietet innovative Softwarelösungen, die speziell auf die Effizienz von Regierungsbehörden und die Entwicklung der Breitbandinfrastruktur zugeschnitten sind. Das Unternehmen stellt eine umfassende Plattform zur Verfügung, die das Management von Breitband-, Energie- und Wasserzuschüssen ermöglicht und dabei geospatial AI für effiziente Einhaltung, Berichterstattung und Zusammenarbeit nutzt. Ready. net spezialisiert sich darauf, Prozesse für Regierungsbehörden, Versorgungsunternehmen und Breitbandanbieter zu automatisieren und zu optimieren, um die Ressourcenzuweisung zu verbessern und Abläufe zu straffen. Die Dienstleistungen des Unternehmens zielen darauf ab, die Effizienz, Transparenz und das Engagement zwischen den Beteiligten zu erhöhen. Ready. net engagiert sich dafür, die digitale Kluft zu überbrücken, indem es staatliche Breitbandbüros und andere Organisationen befähigt, Zuschüsse effektiv zu verwalten, digitale Gerechtigkeit sicherzustellen und unterversorgte Gemeinschaften zu vernetzen.

Beschreibung

• Zusammenarbeit mit Produkt- und Engineering-Teams, um Anforderungen zu verstehen und in eine technische Architektur zu überführen • Bewertung und Empfehlung von Datentools, Frameworks und Infrastrukturentscheidungen • Mitwirkung an Roadmap-Diskussionen sowie an Make-or-buy-Entscheidungen • Konzeption, Implementierung und Pflege skalierbarer AWS-Dateninfrastrukturen • Verantwortung für die Architektur von Data Lake und Data Warehouse einschließlich Partitionierung, Speicheroptimierung und Datenlebenszyklusmanagement • Entwicklung und Pflege produktionsreifer Apache-Airflow-DAGs für Workflows zur Datenaufnahme, -transformation und zum Datenexport • Sicherstellung der Observability durch Monitoring, Alerting und die Behebung von Störungen • Entwicklung und Pflege von dbt-Pipelines mit Datenqualitätsprüfungen und strukturiertem Datenmodellierungskonzept • Konzeption und Pflege von Datenbankschemata für Multi-State- und Multi-Tenant-Programmdaten • Erstellung und Optimierung von SQL-Abfragen für PostgreSQL, Redshift und Athena • Entwicklung wiederverwendbarer Datenmodelle, Utilities und gemeinsamer Python-Pakete • Konzeption von Infrastrukturen für umfangreiche Zeitreihen- und ereignisbasierte Daten • Implementierung von Mustern für die Aufnahme, Speicherung und den Abruf hochfrequenter zeitbezogener Datensätze • Arbeit mit Vektordatenbanken für KI-gestützte Funktionen und semantische Suche • Integration von LLM-Workflows in ELT-Pipelines mit AWS Bedrock, LangChain und verwandten Frameworks • Entwicklung produktiver KI-gestützter Pipelines zum Datenvergleich, zur Validierung und Anreicherung • Arbeit mit MLflow und Bereitstellung produktionsreifer ML-Pipelines • Beobachtung der Entwicklungen im Bereich KI-/ML-Tools und Einbringung relevanter Innovationen ins Team • Konzeption automatisierter Data-QA-Systeme zur Prüfung von Datenqualität, Vollständigkeit und Konsistenz von Datensätzen • Implementierung von Bereinigungs- und Abstimmungsroutinen für die Aufnahme aus mehreren Quellen • Proaktives Monitoring von Pipelines und Behebung von Problemen, bevor nachgelagerte Systeme beeinträchtigt werden • Betreuung von Junior- und Mid-Level Data Engineers durch Code-Reviews, Pair Programming und architektonische Beratung • Etablierung von Standards für Codequalität, Testing und Dokumentation • Förderung von Verantwortungsbewusstsein, Neugier und kontinuierlicher Verbesserung im Data-Team

🎯 Anforderungen

• Mindestens 5 Jahre Erfahrung im Data Engineering mit durchgängiger Verantwortung für produktive Systeme einschließlich ihres operativen Betriebs und Supports • Fähigkeit, technische Abwägungen zu beurteilen und pragmatische Architekturentscheidungen unter Berücksichtigung von Kosten und Performance zu treffen • Sehr gute Kenntnisse in SQL, insbesondere PostgreSQL und Athena/Presto • Sehr gute Kenntnisse in Python sowie Erfahrung mit produktionsreifem Coding • Umfassende praktische Erfahrung mit AWS-Datendiensten: S3, Athena, RDS, ECS, Lambda, IAM und CloudWatch • Erfahrung im produktiven Einsatz von Apache Airflow oder vergleichbaren Orchestrierungstools • Erfahrung mit umfangreichen Zeitreihen-, ereignisbasierten oder Streaming-Datensystemen • Erfahrung mit Versionsverwaltung unter Verwendung von GitHub, Subversion, GitLab oder Mercurial • Vertrautheit mit Vektordatenbanken und Integrationsmustern für LLMs wie LangChain und AWS Bedrock • Erfahrung mit der Entwicklung von Data-Quality-Frameworks oder automatisierten Validierungssystemen • Nachweisbare Fähigkeit, andere Engineers zu betreuen und zur Teamkultur beizutragen • Ausgeprägte Kommunikationsfähigkeit, um komplexe Infrastrukturentscheidungen auch Nicht-Technikerinnen und Nicht-Technikern verständlich zu erklären • Souveräner Umgang mit unklaren Anforderungen und Fähigkeit, Entscheidungen auf Basis grundlegender Prinzipien zu treffen • Bereitschaft und Fähigkeit zur Zusammenarbeit über mehrere Zeitzonen hinweg • Erfahrung im Datenmanagement für SaaS-Plattformen von Vorteil • Erfahrung mit umfangreichen spatiotemporalen Datenpipelines einschließlich PostGIS, räumlicher Indizierung und Tiling von Vorteil

🏖️ Vorteile

• Attraktive und kontinuierlich ausgebaute Zusatzleistungen für Mitarbeitende und mitversicherte Angehörige • Möglichkeiten zum Lernen und zur persönlichen Weiterentwicklung – Startup-Umfeld in allen Facetten • Arbeiten von jedem gewünschten Ort aus, sofern eine zuverlässige Internetverbindung vorhanden ist • Optionale, ausdrücklich geförderte Retreats zwei- bis dreimal pro Jahr • Möglichkeit, das Benefits-Programm aktiv mitzugestalten • Attraktive Beteiligungschancen am Unternehmenserfolg