Data Platform Engineer

🕒 il y a 26 jours

🇵🇱 Pologne – Télétravail

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

🚰 Ingénieur Data

👻 Score fantôme 13%

Ce que ça veut dire : la probabilité que cette offre reste ouverte sans recrutement actif.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

Software Mind

Site WebLinkedInTous les Emplois

1001 - 5000 employés

Fondée en 1999

🤖 Intelligence artificielle

☁️ SaaS

📡 Télécommunications

💰 Private Equity Round en 2020-12

Artificial Intelligence • SaaS • Telecommunications

Software Mind est une entreprise technologique spécialisée dans le développement logiciel et les services de transformation numérique. En mettant l'accent sur les solutions IA et cloud, l'entreprise propose une large gamme de services, incluant le développement de logiciels sur mesure, le développement d'applications mobiles et le conseil en cloud. Software Mind dessert divers secteurs tels que les services financiers, les télécommunications, la biotechnologie et les médias, fournissant des solutions personnalisées pour accélérer les transformations numériques et la croissance des entreprises à l'échelle mondiale.

Description

• Build and operate change-data-capture pipelines from PostgreSQL into Azure using Kafka Connect and Debezium • Configure, deploy and scale connectors end to end, including connector setup, task management, offsets, schema history and snapshot strategy • Run pipelines as stateful workloads on Kubernetes (AKS), covering configuration, secrets, networking and resource tuning • Monitor and troubleshoot the platform in production, including connector failures, task rebalances, restarts, throughput, backpressure, message-size limits, retries and recovery • Automate the platform in Python through configuration-driven onboarding, pipeline orchestration, monitoring and alerting, recovery workflows and automated testing • Integrate CDC streams with Azure Event Hubs, ADLS, Azure PostgreSQL, ADF and Databricks • Manage platform infrastructure as code so environments are reproducible and changes are reviewable • Apply data protection requirements to sensitive data flowing through pipelines, including masking, hashing, access control and retention

🎯 Exigences

• Solid commercial experience as a data or platform engineer, with hands-on work on streaming or CDC pipelines rather than batch reporting alone • Practical Kafka knowledge — topics, partitions, offsets, consumer groups and delivery semantics — including at least one Kafka Connect deployment you ran yourself • Strong SQL and PostgreSQL skills, with working knowledge of WAL, logical replication, replication slots and replication lag • Working understanding of CDC concepts: initial snapshots, inserts, updates and deletes, event ordering, at-least-once delivery, and schema evolution • Confident Python for automation and tooling — orchestration, monitoring, recovery scripts, and automated tests • Hands-on experience with Azure data services, for example Event Hubs, ADLS or Azure PostgreSQL • Comfortable working with Kubernetes as a user: deploying workloads, handling configuration and secrets, reading logs, debugging failing pods • Ability to debug a running pipeline from metrics and logs — telling throughput problems from backpressure, retries or a genuine connector failure • Production experience with Debezium specifically — snapshot strategies on large tables, schema history recovery, offset loss, and bringing connectors back after failure • Experience operating stateful workloads on AKS: StatefulSets, stable worker identity, and resource tuning under load • Infrastructure-as-code and CI/CD for data platform components (Terraform, Bicep or similar) • Hands-on work with Databricks and ADF at production scale • Hands-on experience implementing data protection controls for sensitive data — masking, hashing, access control and retention policies

🏖️ Avantages

• Flexible employment and remote work • International projects with leading global clients • International business trips • Non-corporate atmosphere • Language classes • Internal & external training • Private healthcare and insurance • Multisport card • Well-being initiatives