Senior Data Engineer

Stelle nicht auf LinkedIn

🕒 vor 1 Monat

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Simple Technology Solutions

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

🏛️ Regierung

🤖 Künstliche Intelligenz

Government • Cloud • Artificial Intelligence

Simple Technology Solutions ist ein kleines Unternehmen in einer HUBZone, das sich auf die IT-Modernisierung und digitale Erfahrungen für Regierungsoperationen spezialisiert hat. Es konzentriert sich darauf, Regierungsprozesse mithilfe von Cloud-nativen Technologien und agilen Praktiken zu digitalisieren und Full-Stack-Digitallösungen bereitzustellen. Das Unternehmen legt Wert auf Sicherheit, Skalierbarkeit und Interoperabilität in seinem Unternehmensansatz. Es arbeitet daran, Cloud-Umgebungen zu verbessern, Altsysteme zu migrieren und DevSecOps-Praktiken zu fördern. Darüber hinaus entwickelt Simple Technology Solutions Unternehmensdatenmanagementstrategien, die maschinelles Lernen und künstliche Intelligenz nutzen, modernisiert Anwendungen und bietet Cloud-Kontaktzentren-Services an. Sie bedienen vor allem Bundesbehörden, insbesondere in den Bereichen Strafverfolgung und öffentliche Sicherheit.

Beschreibung

• design, build, and maintain well-architected ETL pipelines • work at enterprise scale and process terabytes of financial data • ensure data is timely, accurate, and stored within contractually required timelines • build and maintain ingestion pipelines using AWS Glue • process and ingest large-volume XML filings • store curated zone data in Apache Iceberg tables • prevent duplicate data loads across target destinations • integrate the agency's ETL Common Library into Glue jobs • ensure all ETL jobs populate ETL Load Reports in real-time • implement technical data quality standards • develop and maintain the semantic layer • deploy ETL resources using CloudFormation templates • create and maintain documentation suite for each dataset • support operationalization of statistical outputs and derived data products

🎯 Anforderungen

• US Citizenship is required • Bachelor's Degree is required • minimum of 6 years' position related experience is required • strong expertise in AWS Glue (Spark-based), PySpark, and Python (PEP 8) • direct experience building large-scale ETL pipelines on AWS • experience with Apache Iceberg, Parquet, ORC, and Avro file formats • experience with PostgreSQL, Redshift, and Oracle; familiarity with NoSQL, knowledge bases, and vector stores • experience with Trino, Athena, and Hive • experience parsing and ingesting large-volume XML datasets with schema evolution handling using PySpark • proficiency with CloudFormation, GitHub branching workflows, CI/CD pipelines • demonstrated ability to produce complete ETL documentation

🏖️ Vorteile

• flexibility to help them thrive personally and professionally • collaboration, continuous learning, and excellence • special incentives for team members living in qualified HUBZones