Research Crawling Engineer

🕒 Abril 20

Candidatar-se

Encontrar Vagas Remotas Similares

Receber Emails de Vagas Remotas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Wynd Labs

SiteLinkedInTodas as Vagas

11 - 50 funcionários

Fundada em 2018

🤖 Inteligência Artificial

Artificial Intelligence • Data

A Wynd Labs está focada em tornar os dados públicos da web acessíveis para aplicações de inteligência artificial. A empresa oferece aos clientes empresariais redes robustas de web scraping para acessar dados diversos, como insights financeiros para empresas de médio e pequeno porte. Além disso, a Wynd Labs contribui para o desenvolvimento de IA oferecendo conjuntos de dados orientados para IA e projetando modelos de IA nativos para ajudar na extração e estruturação de dados. Sua plataforma suporta uma ampla gama de soluções de negócios, incluindo dados de treinamento de IA, extração de preços, verificação de anúncios e serviços de dados financeiros.

Descrição

• Build and maintain large-scale web crawlers across diverse domains • Design high-throughput, fault-tolerant systems for data collection (millions to billions of URLs/day) • Handle anti-bot systems, rate limits, and dynamic/JS-heavy sites • Develop pipelines for cleaning, deduplication, filtering, and normalization • Construct and maintain datasets for research and model training • Monitor crawl performance, coverage, and data quality; iterate quickly • Collaborate with research teams to align data collection with modeling needs • Optimize infrastructure for cost, latency, and reliability

🎯 Requisitos

• Strong programming experience in one or more of: Go, Rust, Python, Java, or C++ • Experience building web crawlers or large-scale data pipelines • Solid understanding of HTTP, networking, and browser behavior • Familiarity with distributed systems and parallel processing • Experience working with large datasets (TB–PB scale preferred) • Ability to debug unstable or adversarial environments

🏖️ Benefícios

• Competitive salary • Benefits and equity package