Fullstack Data Engineer

🕒 il y a 3 mois

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

Codvo.ai

Site WebLinkedInTous les Emplois

51 - 200 employés

Fondée en 2019

🤖 Intelligence artificielle

🔒 Cybersecurity

☁️ SaaS

Artificial Intelligence • Cybersecurity • SaaS

Codvo. ai est une entreprise technologique spécialisée dans la fourniture de solutions d'entreprise stratégiques grâce à une innovation avancée pilotée par l'IA. Elles se concentrent sur la transformation des données d'entreprise en valeur mesurable en aidant les entreprises à accélérer leur croissance avec des implémentations IA sur mesure adaptées aux défis spécifiques de diverses industries. Leurs offres de services étendues incluent l'automatisation IA/ML, le développement d'applications, l'analyse de données, la cybersécurité et la transformation numérique, garantissant que les organisations peuvent prospérer dans un paysage numérique en évolution rapide.

Description

• Design, build, and maintain Databricks data pipelines (ETL/ELT) for ingestion, transformation, and orchestration using Spark/Delta Lake/Databricks Workflows. • Operationalize machine learning models by building inference pipelines that invoke models authored by data scientists (batch or real-time), ensuring consistency between training and inference environments. • Ensure data reliability, quality, and observability through robust validation, monitoring, alerting, and automated recovery mechanisms. • Collaborate closely with data scientists to productionize models, manage model deployment lifecycles, and optimize inference performance and cost. • Implement best-practice DevOps/MLOps processes such as CI/CD for pipelines, model versioning, environment promotion, and infrastructure-as-code. • Optimize performance and cost across compute clusters, jobs, and storage layers. • Implement and manage the enterprise data catalog, including schema design, table ownership, lineage, governance, and documentation using Unity Catalog. • Experience with some Databricks infrastructure. • Experience with building BI dashboards and visualization. • Experience with coding agents and best practices (spec-driven development, etc.)

🎯 Exigences

• 8+ yrs experience • Databricks platform experience • Python development for data processing and ETL pipelines • Unity Catalog knowledge • AWS data services (S3, IAM, VPC, potentially Glue/Lambda) • Data lake/lakehouse architecture patterns • Dashboard building experience • RESTful API design and development (Flask, FastAPI, or similar) • Authentication/authorization patterns (OAuth, API keys, IAM roles) • Query optimization and performance tuning • PySpark optimization experience • ML/AI pipeline experience • Databricks AI/BI