Crawling Engineer

🔥 vor 9 Stunden

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Ant-Tech

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2016

💼 Beratung

📣 Marketing

🔌 API

Consulting • Marketing • API

Ant-Tech ist ein französisches Technologieunternehmen, das sich auf innovative digitale Lösungen spezialisiert hat und Dienstleistungen in den Bereichen Design, Webentwicklung und Erstellung von mobilen Apps anbietet. Das Unternehmen legt den Fokus auf Benutzererfahrung und nutzt die neuesten Technologietrends, um qualitativ hochwertige Produkte zu liefern, die an die Bedürfnisse der Kunden angepasst sind. Ant-Tech ist stolz auf seine Expertise im Projektmanagement und Support, um sicherzustellen, dass alle Meisterwerke reibungslos und effizient laufen.

Beschreibung

• Build and maintain large-scale web crawlers across diverse domains • Design high-throughput, fault-tolerant systems for data collection at millions to billions of URLs per day • Handle anti-bot systems, rate limits, and dynamic/JS-heavy sites • Develop pipelines for cleaning, deduplication, filtering, and normalisation • Construct and maintain datasets for research and model training • Monitor crawl performance, coverage, and data quality; iterate quickly • Collaborate with research teams to align data collection with modeling needs • Optimize infrastructure for cost, latency, and reliability • Operate at the boundary of scale and reliability • Adapt to constantly changing web environments • Balance throughput, coverage, and data quality • Own end-to-end data acquisition pipelines

🎯 Anforderungen

• Strong programming experience in one or more of Go, Rust, Python, Java, or C++ • Experience building web crawlers or large-scale data pipelines • Solid understanding of HTTP, networking, and browser behavior • Familiarity with distributed systems and parallel processing • Experience working with large datasets; TB–PB scale preferred • Ability to debug unstable or adversarial environments • Experience with NLP pipelines or dataset curation for ML preferred • Familiarity with LLM pretraining data or retrieval systems preferred • Experience with headless browsers such as Chrome DevTools Protocol, Playwright, or Puppeteer preferred • Knowledge of proxy systems, IP rotation, and large-scale request orchestration preferred • Background in data quality evaluation or benchmarking preferred • Experience running workloads on cloud or bare-metal infrastructure preferred

🏖️ Vorteile

• Competitive salary • Benefits • Equity package • Fully remote work