AWS Data Engineer

🕒 il y a 4 mois

🤠 Texas – Distant

🤠 Texas – Remote

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

🚰 Ingénieur Data

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

Scalepex

Site WebLinkedInTous les Emplois

51 - 200 employés

💼 Conseil

🏥 Santé

📦 Logistique

Consulting • Healthcare • Logistics

Scalepex est une entreprise détenue par des minorités qui se spécialise dans les solutions de talents pour aider les entreprises à croître et à atteindre leurs objectifs stratégiques. En combinant créativité, stratégie et exécution, Scalepex utilise une plateforme d'IA unique pour améliorer la qualité des talents, offrant des services de recrutement et de placement dans des secteurs tels que la technologie, la finance, la santé, et plus encore. Leur approche se concentre sur un soutien individualisé, la gestion des coûts et la consultation stratégique dans des domaines comme les fusions et acquisitions, le développement de logiciels, et l'habilitation des données. Avec un fort accent sur la responsabilité sociale, Scalepex vise à connecter les communautés mal desservies avec des opportunités de classe mondiale, assurant le succès des clients ainsi que la satisfaction personnelle et professionnelle de leurs membres d'équipe.

Description

• Develop scalable, reliable data pipelines using AWS services (e.g., Glue, S3, Redshift) to process and transform large datasets from utility systems like smart meters or energy grids. • Use AWS Step Functions to orchestrate workflows across data pipelines; experience with Airflow is acceptable but Step Functions is preferred. • Implement ETL/ELT processes using PySpark, Python, and Pandas to clean, transform, and integrate data from multiple sources into unified datasets. • Leverage experience with complex distributed systems to ensure reliability, scalability, and performance in handling large-scale utility data. • Use AWS Lambda functions to build serverless solutions for automating data processing tasks. • Design data models tailored for utilities use cases (e.g., energy consumption forecasting) to enable advanced analytics. • Continuously monitor and improve the performance of data pipelines to reduce latency, enhance throughput, and ensure high availability. • Implement robust security measures to protect sensitive utility data and ensure compliance with industry regulations.

🎯 Exigences

• Minimum of 5 years of experience in data engineering • Proficiency in AWS services such as Step Functions, Lambda, Glue, S3, DynamoDB, and Redshift. • Strong programming skills in Python with experience using PySpark and Pandas for large-scale data processing. • Hands-on experience with distributed systems and scalable architectures. • Knowledge of ETL/ELT processes for integrating diverse datasets into centralized systems. • Familiarity with utilities-specific datasets (e.g., smart meters, energy grids) is highly desirable. • Strong analytical skills with the ability to work on unstructured datasets. • Knowledge of data governance practices to ensure accuracy, consistency, and security of data. • Strong experience in AWS data engineering • Ability to work independently • Ability to work with a cross-functional teams, including interfacing and communicating with business stakeholders • Professional oral and written communication skills • Strong problem solving and troubleshooting skills with experience exercising mature judgement • Excellent teamwork and interpersonal skills • Ability to obtain and maintain the required clearance for this role