Research Crawling Engineer

Emploi pas sur LinkedIn

🕒 il y a 3 mois

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

Wynd Labs

Site WebLinkedInTous les Emplois

11 - 50 employés

Fondée en 2018

💼 Conseil

📣 Marketing

🤖 Intelligence artificielle

Consulting • Marketing • Artificial Intelligence

Wynd Labs se consacre à rendre les données web publiques accessibles pour les applications d'intelligence artificielle. L'entreprise fournit à ses clients des réseaux de web scraping robustes pour accéder à des données variées, telles que des informations financières pour les actions à faible et moyenne capitalisation. De plus, Wynd Labs contribue au développement de l'IA en proposant des ensembles de données orientés IA et en concevant des modèles IA natifs pour aider à l'extraction et à la structuration des données. Leur plateforme soutient une large gamme de solutions commerciales, incluant des données de formation IA, l'extraction de prix, la vérification publicitaire et des services de données financières.

Description

• Build and maintain large-scale web crawlers across diverse domains • Design high-throughput, fault-tolerant systems for data collection (millions to billions of URLs/day) • Handle anti-bot systems, rate limits, and dynamic/JS-heavy sites • Develop pipelines for cleaning, deduplication, filtering, and normalization • Construct and maintain datasets for research and model training • Monitor crawl performance, coverage, and data quality; iterate quickly • Collaborate with research teams to align data collection with modeling needs • Optimize infrastructure for cost, latency, and reliability

🎯 Exigences

• Strong programming experience in one or more of: Go, Rust, Python, Java, or C++ • Experience building web crawlers or large-scale data pipelines • Solid understanding of HTTP, networking, and browser behavior • Familiarity with distributed systems and parallel processing • Experience working with large datasets (TB–PB scale preferred) • Ability to debug unstable or adversarial environments

🏖️ Avantages

• Competitive salary • Benefits and equity package