Director of Software Engineering – Node.js, Web Scraping Expert

Vaga não está no LinkedIn

🕒 Abril 1

🏄 California – Remoto

🏄 California – Remote

⏰ Tempo Integral

🔴 Especialista

👮‍♀️ Gerente de Engenharia de Software

👻 Score fantasma 53%

O que significa: a chance de ninguém estar realmente contratando para esta vaga.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

PortPro

SiteLinkedInTodas as Vagas

51 - 200 funcionários

📦 Logística

🚗 Transporte

☁️ SaaS

💰 $12.000.000 Series A em 2023-01

Logistics • Transport • SaaS

A PortPro é uma empresa de tecnologia de capital privado que se especializa em fornecer soluções avançadas de software operacional personalizadas para transportadoras de contêineres e corretoras de frete. Sua plataforma é projetada para aprimorar as operações de transporte de contêineres, melhorando a comunicação, a eficiência operacional e a satisfação do cliente. Utilizando um moderno Sistema de Gerenciamento de Transporte (TMS), a PortPro se concentra em ajudar as empresas a otimizar seus processos, melhorar o fluxo de caixa, aumentar o desempenho operacional e expandir seus negócios. O software premiado da empresa suporta divisões baseadas em ativos e não baseadas em ativos, permitindo uma integração perfeita e gestão abrangente das operações de transporte e corretagem de contêineres. A PortPro é reconhecida pelo suporte ao cliente e pelas ofertas tecnológicas inovadoras que capacitam os clientes a alcançar maior transparência e eficiência em suas operações.

Descrição

• Architect, develop, and maintain scalable and distributed web scraping systems using Node.js. • Design and implement data extraction pipelines to process large volumes of structured and unstructured data. • Develop solutions to bypass anti-bot mechanisms, including CAPTCHA handling, session management, fingerprinting, and IP rotation. • Optimize scraping processes for performance, reliability, and efficiency while managing proxy services (residential, datacenter, rotating). • Oversee data storage and processing strategies, ensuring high availability and consistency. • Collaborate with Product, DevOps, and Data Science teams to integrate extracted data into analytics and business applications. • Implement best practices for microservices, API integrations, and real-time data streaming. • Lead the transition to cloud-native, containerized, and serverless architectures for web scraping. • Ensure compliance with legal and ethical standards (robots.txt, GDPR, CCPA, etc.). • Optimize cloud resources (AWS, GCP, or Azure) to support high-throughput scraping. • Manage real-time monitoring and alerting systems to detect scraping failures, IP bans, or performance bottlenecks. • Work closely with DevOps teams to optimize CI/CD pipelines, automated deployments, and system scalability. • Lead, mentor, and grow a high-performance engineering team. • Define and execute the technology roadmap, aligning with business objectives. • Foster a culture of continuous learning, collaboration, and innovation. • Implement agile development methodologies (Scrum, Kanban) to optimize project execution. • Ensure code quality, security, and best practices across all engineering efforts.

🎯 Requisitos

• 10+ years of experience in software engineering, with at least 5+ years in web scraping and large-scale data extraction. • Strong hands-on expertise in Node.js, Puppeteer, Playwright, Cheerio, Selenium, and headless browser automation. • Extensive experience in handling CAPTCHAs, IP rotation, session management, and anti-bot evasion techniques. • Deep knowledge of proxy management (residential, datacenter, rotating, and VPNs). • Experience with NoSQL/SQL databases (MongoDB, PostgreSQL, Redis, Elasticsearch, etc.). • Familiarity with data processing frameworks (Kafka, RabbitMQ, Spark, Airflow, etc.). • Strong experience with CI/CD, containerization (Docker, Kubernetes), and cloud deployment (AWS/GCP/Azure).

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo