Big Data Engineer

🕒 il y a 8 jours

⚔️ Virginia – Distant

⚔️ Virginia – Remote

💵 $104 600 - $156 800 / an

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

🚰 Ingénieur Data

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

AdvanSix

Site WebLinkedInTous les Emplois

1001 - 5000 employés

Fondée en 2016

🏭 Fabrication

🤝 B2B

💰 €12 000 000 Grant - AdvanSix en 2024-09

Manufacturing • B2B

AdvanSix est un fabricant de produits chimiques basé aux États-Unis, spécialisé dans la production de nylon 6, de caprolactame, de sulfate d'ammonium et d'autres intermédiaires chimiques et matériaux de performance pour des clients industriels. L'entreprise exploite des installations de production chimique intégrées fournissant des polymères, des fibres et des produits chimiques de spécialité à des clients dans les secteurs des plastiques, des textiles, de l'agriculture (engrais) et d'autres marchés industriels. AdvanSix sert principalement des clients professionnels (B2B) et se concentre sur la fabrication à grande échelle et la production de matériaux.

Description

• AdvanSix is seeking a Big Data Engineer to build and operate our enterprise Unified Data Layer (UDL). • Engineer batch/CDC/streaming pipelines, model curated/semantic layers, and harden run-state with testing, CI/CD, security, and observability. • Partner closely with the data team and larger IT organization. • Design and deliver scalable, secure data pipelines and data models that safely connect operational systems to analytics. • Build ingestion pipelines (batch, CDC, streaming) from S/4HANA/DataSphere, PHD/historian, LIMS, TMS, HSE, and other sources. • Implement data contracts, schema/versioning, SCD handling, partitioning, and performance tuning. • Develop dimensional/semantic models that back certified Power BI datasets and APIs for apps/agents. • Integrate OT data via OPC UA/MQTT and collaborate with plant controls on change control, signal quality, and downtime windows. • Embed data quality rules, unit/integration tests, and validation checks. • Automate build/test/deploy with Git-based CI/CD.

🎯 Exigences

• Minimum 5 years' in data engineering building production pipelines at scale (batch/CDC/streaming). • Hands-on with Azure data stack: Databricks or Fabric/Synapse, ADF/Pipelines, ADLS/OneLake, Azure SQL/SQL MI, Key Vault. • Strong SQL and Python/PySpark; comfort with Spark Structured Streaming and performance tuning. • Experience implementing tests/observability (freshness, schema, expectations), and Git-based CI/CD. • Familiarity with SAP S/4HANA structures and SAP DataSphere semantic modeling. • OT concepts: historians (PHD/PI), OPC UA/MQTT, event/batch frames, ISA-95/99 basics. • Understanding of Power BI consumption (semantic models, RLS) and APIs for downstream AI/ML apps/agents.