Research Crawling Engineer

Stelle nicht auf LinkedIn

🕒 vor 3 Monaten

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Wynd Labs

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2018

💼 Beratung

📣 Marketing

🤖 Künstliche Intelligenz

Consulting • Marketing • Artificial Intelligence

Wynd Labs konzentriert sich darauf, öffentliche Webdaten für Anwendungen der künstlichen Intelligenz zugänglich zu machen. Das Unternehmen stellt Unternehmenskunden robuste Web-Scraping-Netzwerke zur Verfügung, um auf vielfältige Daten zuzugreifen, wie z. B. Finanzinformationen für Small- bis Mid-Cap-Aktien. Darüber hinaus trägt Wynd Labs zur KI-Entwicklung bei, indem es KI-orientierte Datensätze anbietet und native KI-Modelle entwirft, um beim Daten-Scraping und der Strukturierung zu unterstützen. Ihre Plattform unterstützt eine breite Palette von Geschäftslösungen, einschließlich KI-Trainingsdaten, Preis-Scraping, Anzeigenverifizierung und Finanzdatenservices.

Beschreibung

• Build and maintain large-scale web crawlers across diverse domains • Design high-throughput, fault-tolerant systems for data collection (millions to billions of URLs/day) • Handle anti-bot systems, rate limits, and dynamic/JS-heavy sites • Develop pipelines for cleaning, deduplication, filtering, and normalization • Construct and maintain datasets for research and model training • Monitor crawl performance, coverage, and data quality; iterate quickly • Collaborate with research teams to align data collection with modeling needs • Optimize infrastructure for cost, latency, and reliability

🎯 Anforderungen

• Strong programming experience in one or more of: Go, Rust, Python, Java, or C++ • Experience building web crawlers or large-scale data pipelines • Solid understanding of HTTP, networking, and browser behavior • Familiarity with distributed systems and parallel processing • Experience working with large datasets (TB–PB scale preferred) • Ability to debug unstable or adversarial environments

🏖️ Vorteile

• Competitive salary • Benefits and equity package