Director of Software Engineering – Node.js, Web Scraping Expert

Stelle nicht auf LinkedIn

🕒 vor 7 Monaten

🏄 California – Remote

🏄 California – Remote

⏰ Vollzeit

🔴 Experte

👮‍♀️ Leiter Softwareentwicklung

👻 Geisterscore 53%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

PortPro

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

📦 Logistik

🚗 Transport

☁️ SaaS

💰 €12.000.000 Series A im 2023-01

Logistics • Transport • SaaS

PortPro ist ein privat geführtes Technologieunternehmen, das sich auf die Bereitstellung fortschrittlicher Betriebssoftwarelösungen spezialisiert hat, die speziell für Spediteure im Bereich Containertransport und Frachtvermittlung zugeschnitten sind. Ihre Plattform zielt darauf ab, Containertransport-Operationen durch verbesserte Kommunikation, betriebliche Effizienz und Kundenzufriedenheit zu optimieren. PortPro fokussiert sich mit einem modernen Transportation Management System (TMS) darauf, Unternehmen zu helfen, ihre Prozesse zu optimieren, den Cashflow zu verbessern, die betriebliche Leistung zu steigern und ihr Geschäft auszubauen. Die preisgekrönte Software des Unternehmens unterstützt sowohl Asset-basierte als auch nicht Asset-basierte Abteilungen und ermöglicht eine nahtlose Integration und umfassende Verwaltung von Transport- und Vermittlungsoperationen. PortPro ist bekannt für seinen Kundenservice und innovative Technologieangebote, die Kunden unterstützen, größere Transparenz und Effizienz in ihren Abläufen zu erzielen.

Beschreibung

• Architect, develop, and maintain scalable and distributed web scraping systems using Node.js. • Design and implement data extraction pipelines to process large volumes of structured and unstructured data. • Develop solutions to bypass anti-bot mechanisms, including CAPTCHA handling, session management, fingerprinting, and IP rotation. • Optimize scraping processes for performance, reliability, and efficiency while managing proxy services (residential, datacenter, rotating). • Oversee data storage and processing strategies, ensuring high availability and consistency. • Collaborate with Product, DevOps, and Data Science teams to integrate extracted data into analytics and business applications. • Implement best practices for microservices, API integrations, and real-time data streaming. • Lead the transition to cloud-native, containerized, and serverless architectures for web scraping. • Ensure compliance with legal and ethical standards (robots.txt, GDPR, CCPA, etc.). • Optimize cloud resources (AWS, GCP, or Azure) to support high-throughput scraping. • Manage real-time monitoring and alerting systems to detect scraping failures, IP bans, or performance bottlenecks. • Work closely with DevOps teams to optimize CI/CD pipelines, automated deployments, and system scalability. • Lead, mentor, and grow a high-performance engineering team. • Define and execute the technology roadmap, aligning with business objectives. • Foster a culture of continuous learning, collaboration, and innovation. • Implement agile development methodologies (Scrum, Kanban) to optimize project execution. • Ensure code quality, security, and best practices across all engineering efforts.

🎯 Anforderungen

• 10+ years of experience in software engineering, with at least 5+ years in web scraping and large-scale data extraction. • Strong hands-on expertise in Node.js, Puppeteer, Playwright, Cheerio, Selenium, and headless browser automation. • Extensive experience in handling CAPTCHAs, IP rotation, session management, and anti-bot evasion techniques. • Deep knowledge of proxy management (residential, datacenter, rotating, and VPNs). • Experience with NoSQL/SQL databases (MongoDB, PostgreSQL, Redis, Elasticsearch, etc.). • Familiarity with data processing frameworks (Kafka, RabbitMQ, Spark, Airflow, etc.). • Strong experience with CI/CD, containerization (Docker, Kubernetes), and cloud deployment (AWS/GCP/Azure).

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen