Research Crawling Engineer

Vaga não está no LinkedIn

🕒 Abril 20

🇺🇸 Estados Unidos – Remoto (EUA)

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

👷🏻‍♀️ Engenheiro

👻 Score fantasma 60%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Wynd Labs

SiteLinkedInTodas as Vagas

11 - 50 funcionários

Fundada em 2018

💼 Consultoria

📣 Marketing

🤖 Inteligência Artificial

Consulting • Marketing • Artificial Intelligence

A Wynd Labs está focada em tornar os dados públicos da web acessíveis para aplicações de inteligência artificial. A empresa oferece aos clientes empresariais redes robustas de web scraping para acessar dados diversos, como insights financeiros para empresas de médio e pequeno porte. Além disso, a Wynd Labs contribui para o desenvolvimento de IA oferecendo conjuntos de dados orientados para IA e projetando modelos de IA nativos para ajudar na extração e estruturação de dados. Sua plataforma suporta uma ampla gama de soluções de negócios, incluindo dados de treinamento de IA, extração de preços, verificação de anúncios e serviços de dados financeiros.

Descrição

• Build and maintain large-scale web crawlers across diverse domains • Design high-throughput, fault-tolerant systems for data collection (millions to billions of URLs/day) • Handle anti-bot systems, rate limits, and dynamic/JS-heavy sites • Develop pipelines for cleaning, deduplication, filtering, and normalization • Construct and maintain datasets for research and model training • Monitor crawl performance, coverage, and data quality; iterate quickly • Collaborate with research teams to align data collection with modeling needs • Optimize infrastructure for cost, latency, and reliability

🎯 Requisitos

• Strong programming experience in one or more of: Go, Rust, Python, Java, or C++ • Experience building web crawlers or large-scale data pipelines • Solid understanding of HTTP, networking, and browser behavior • Familiarity with distributed systems and parallel processing • Experience working with large datasets (TB–PB scale preferred) • Ability to debug unstable or adversarial environments

🏖️ Benefícios

• Competitive salary • Benefits and equity package