Director of Software Engineering – Node.js, Web Scraping Expert

Emploi pas sur LinkedIn

🕒 il y a 2 mois

🏄 California – Distant

🏄 California – Remote

⏰ Temps Plein

🔴 Expert

🔙 Ingénieur Back-end

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Recevoir des emails pour des emplois à distance

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

PortPro

Site WebLinkedInTous les Emplois

51 - 200 employés

🚗 Transport

☁️ SaaS

💰 €12 000 000 Series A en 2023-01

Transport • SaaS

PortPro est une entreprise technologique privée spécialisée dans la fourniture de solutions logicielles opérationnelles avancées, adaptées aux transporteurs de conteneurs et aux courtiers en fret. Leur plateforme est conçue pour améliorer les opérations de transport de conteneurs en optimisant la communication, l'efficacité opérationnelle et la satisfaction client. En utilisant un système de gestion des transports (TMS) moderne, PortPro se concentre sur l'aide aux entreprises pour rationaliser leurs processus, améliorer leur trésorerie, accroître leur performance opérationnelle et développer leur activité. Le logiciel primé de l'entreprise soutient à la fois les divisions avec et sans actifs, permettant une intégration transparente et une gestion complète des opérations de transport et de courtage de conteneurs. PortPro est reconnu pour son support client et ses offres technologiques innovantes qui permettent aux clients d'atteindre une plus grande transparence et efficacité dans leurs opérations.

Description

• Architect, develop, and maintain scalable and distributed web scraping systems using Node.js. • Design and implement data extraction pipelines to process large volumes of structured and unstructured data. • Develop solutions to bypass anti-bot mechanisms, including CAPTCHA handling, session management, fingerprinting, and IP rotation. • Optimize scraping processes for performance, reliability, and efficiency while managing proxy services (residential, datacenter, rotating). • Oversee data storage and processing strategies, ensuring high availability and consistency. • Collaborate with Product, DevOps, and Data Science teams to integrate extracted data into analytics and business applications. • Implement best practices for microservices, API integrations, and real-time data streaming. • Lead the transition to cloud-native, containerized, and serverless architectures for web scraping. • Ensure compliance with legal and ethical standards (robots.txt, GDPR, CCPA, etc.). • Optimize cloud resources (AWS, GCP, or Azure) to support high-throughput scraping. • Manage real-time monitoring and alerting systems to detect scraping failures, IP bans, or performance bottlenecks. • Work closely with DevOps teams to optimize CI/CD pipelines, automated deployments, and system scalability. • Lead, mentor, and grow a high-performance engineering team. • Define and execute the technology roadmap, aligning with business objectives. • Foster a culture of continuous learning, collaboration, and innovation. • Implement agile development methodologies (Scrum, Kanban) to optimize project execution. • Ensure code quality, security, and best practices across all engineering efforts.

🎯 Exigences

• 10+ years of experience in software engineering, with at least 5+ years in web scraping and large-scale data extraction. • Strong hands-on expertise in Node.js, Puppeteer, Playwright, Cheerio, Selenium, and headless browser automation. • Extensive experience in handling CAPTCHAs, IP rotation, session management, and anti-bot evasion techniques. • Deep knowledge of proxy management (residential, datacenter, rotating, and VPNs). • Experience with NoSQL/SQL databases (MongoDB, PostgreSQL, Redis, Elasticsearch, etc.). • Familiarity with data processing frameworks (Kafka, RabbitMQ, Spark, Airflow, etc.). • Strong experience with CI/CD, containerization (Docker, Kubernetes), and cloud deployment (AWS/GCP/Azure).