AWS Data Engineer

🕒 vor 3 Monaten

🤠 Texas – Remote

🤠 Texas – Remote

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

🚰 Dateningenieur

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Scalepex

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

🤝 B2B

👥 HR Tech

🤖 Künstliche Intelligenz

B2B • HR Tech • Artificial Intelligence

Scalepex ist ein Unternehmen in Minderheitenbesitz, das sich auf Talentlösungen spezialisiert hat, um Unternehmen beim Wachstum und der Erreichung ihrer strategischen Ziele zu unterstützen. Durch die Kombination von Kreativität, Strategie und Umsetzung nutzt Scalepex eine einzigartige KI-Plattform zur Verbesserung der Talentqualität und bietet Personal- und Vermittlungsdienstleistungen für Branchen wie Technologie, Finanzen, Gesundheitswesen und mehr. Der Ansatz des Unternehmens konzentriert sich auf individuelle Unterstützung, Kostenmanagement und strategische Beratung in Bereichen wie Fusionen und Übernahmen, Softwareentwicklung, Datenbefähigung und mehr. Mit einem starken Fokus auf soziale Verantwortung strebt Scalepex an, benachteiligte Gemeinschaften mit erstklassigen Möglichkeiten zu verbinden, um den Erfolg der Kunden sowie die persönliche und berufliche Zufriedenheit der Teammitglieder zu gewährleisten.

Beschreibung

• Develop scalable, reliable data pipelines using AWS services (e.g., Glue, S3, Redshift) to process and transform large datasets from utility systems like smart meters or energy grids. • Use AWS Step Functions to orchestrate workflows across data pipelines; experience with Airflow is acceptable but Step Functions is preferred. • Implement ETL/ELT processes using PySpark, Python, and Pandas to clean, transform, and integrate data from multiple sources into unified datasets. • Leverage experience with complex distributed systems to ensure reliability, scalability, and performance in handling large-scale utility data. • Use AWS Lambda functions to build serverless solutions for automating data processing tasks. • Design data models tailored for utilities use cases (e.g., energy consumption forecasting) to enable advanced analytics. • Continuously monitor and improve the performance of data pipelines to reduce latency, enhance throughput, and ensure high availability. • Implement robust security measures to protect sensitive utility data and ensure compliance with industry regulations.

🎯 Anforderungen

• Minimum of 5 years of experience in data engineering • Proficiency in AWS services such as Step Functions, Lambda, Glue, S3, DynamoDB, and Redshift. • Strong programming skills in Python with experience using PySpark and Pandas for large-scale data processing. • Hands-on experience with distributed systems and scalable architectures. • Knowledge of ETL/ELT processes for integrating diverse datasets into centralized systems. • Familiarity with utilities-specific datasets (e.g., smart meters, energy grids) is highly desirable. • Strong analytical skills with the ability to work on unstructured datasets. • Knowledge of data governance practices to ensure accuracy, consistency, and security of data. • Strong experience in AWS data engineering • Ability to work independently • Ability to work with a cross-functional teams, including interfacing and communicating with business stakeholders • Professional oral and written communication skills • Strong problem solving and troubleshooting skills with experience exercising mature judgement • Excellent teamwork and interpersonal skills • Ability to obtain and maintain the required clearance for this role