Data Engineer, Spark

🕒 vor 5 Monaten

🇵🇱 Polen – Remote

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

🚰 Dateningenieur

👻 Geisterscore 49%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Addepto

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

💼 Beratung

📦 Logistik

🏥 Gesundheitswesen

Consulting • Logistics • Healthcare

Addepto ist ein Unternehmen, das sich auf Künstliche Intelligenz und Machine Learning-Lösungen spezialisiert hat, die für verschiedene Branchen maßgeschneidert sind. Sie bieten KI-Beratung, MLOps-Beratung und Data-Engineering-Dienstleistungen an und liefern umfassende, auf KI-gestützte Strategien und Anwendungen. Addepto konzentriert sich darauf, anspruchsvolle KI-Technologien wie Generative KI, Computervision und große Sprachmodelle zu implementieren, um komplexe Geschäftsprobleme zu lösen. Sie bedienen Branchen wie Finanzen, Luftfahrt, Einzelhandel und Logistik, um Betrieb und Entscheidungsprozesse zu verbessern.

Beschreibung

• Develop and maintain a high-performance data processing platform for automotive data, ensuring scalability and reliability. • Design and implement data pipelines that process large volumes of data in both streaming and batch modes. • Optimize data workflows to ensure efficient data ingestion, processing, and storage using technologies such as Spark, Cloudera, and Airflow. • Work with data lake technologies (e.g., Iceberg) to manage structured and unstructured data efficiently. • Collaborate with cross-functional teams to understand data requirements and ensure seamless integration of data sources. • Monitor and troubleshoot the platform, ensuring high availability, performance, and accuracy of data processing. • Leverage cloud services (AWS) for infrastructure management and scaling of processing workloads. • Write and maintain high-quality Python (or Java/Scala) code for data processing tasks and automation.

🎯 Anforderungen

• At least 4 years of commercial experience implementing, developing, or maintaining Big Data systems, data governance and data management processes. • Strong programming skills in Python (or Java/Scala): writing clean code, OOP design. • Hands-on with Big Data technologies like Spark, Cloudera, Kafka, Data Platform, Airflow, NiFi, Docker, and Iceberg. • Excellent understanding of dimensional data and data modeling techniques. • Experience implementing and deploying solutions in cloud environments. • Consulting experience with excellent communication and client management skills, including prior experience directly interacting with clients as a consultant. • Ability to work independently and take ownership of project deliverables. • Fluent English (at least C1 level). • Bachelor’s degree in technical or mathematical studies. • Nice to have: Experience with an MLOps framework such as Kubeflow or MLFlow. Familiarity with Databricks and/or dbt.

🏖️ Vorteile

• Work in a supportive team of passionate enthusiasts of AI & Big Data. • Engage with top-tier global enterprises and cutting-edge startups on international projects. • Enjoy flexible work arrangements, allowing you to work remotely or from modern offices and coworking spaces. • Accelerate your professional growth through career paths, knowledge-sharing initiatives, language classes, and sponsored training or conferences, including a partnership with Databricks, which offers industry-leading training materials and certifications. • Choose your preferred form of cooperation: B2B or a contract of mandate, and make use of 20 fully paid days off. • Participate in team-building events and utilize the integration budget. • Celebrate work anniversaries, birthdays, and milestones. • Access medical and sports packages, eye care, and well-being support services, including psychotherapy and coaching. • Get full work equipment for optimal productivity, including a laptop and other necessary devices. • Experience a smooth onboarding with a dedicated buddy, and start your journey in our friendly, supportive, and autonomous culture.