Data Collection Engineer

🕒 vor 11 Tagen

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Two Six Technologies

WebsiteLinkedInAlle Stellen

501 - 1000 Mitarbeiter

🔐 Sicherheit

Security • Defense

Two Six Technologies ist ein Unternehmen, das sich auf die Entwicklung fortschrittlicher Technologien zur Unterstützung von Verteidigungs-, Sicherheits- und Schutzmissionen spezialisiert hat. Das Unternehmen entwickelt Technologien der nächsten Generation und bietet Lösungen in Bereichen wie Informationsoperationen, Cyberverteidigung, Datenanalyse und sichere elektronische Systeme. Two Six Technologies arbeitet mit Organisationen wie dem US-Verteidigungsministerium und der Heimatschutzbehörde zusammen, um nationale und globale Sicherheitsprojekte zu stärken. Ihre Produkte umfassen Innovationen wie ZeroTrust-Architektur, CBRN-Detektion und Reverse-Engineering-Plattformen, die für missionskritische Operationen von entscheidender Bedeutung sind. Angetrieben von Innovation und Wirkung konzentriert sich das Unternehmen darauf, globale Herausforderungen durch Forschung und Entwicklung sowie den operativen Einsatz ihrer Technologien zu bewältigen.

Beschreibung

• Design and deploy high-performance, distributed web scrapers using Python and Scrapy • Utilize Browser Scripting tools to navigate, interact with, and extract data from websites • Deploy, scale, and manage scraping workloads on Kubernetes • Define strict JSON Schemas and leverage Pydantic for data validation • Build and optimize search and storage pipelines using Elasticsearch • Architect robust pipeline workflows to manage the end-to-end data lifecycle • Manage complex proxy rotation and session handling to maintain high success rates

🎯 Anforderungen

• 7+ years of professional software engineering experience • Excellent reverse-engineering skills • Expert-level proficiency in Python • Deep experience with Scrapy • Proven experience with browser automation tools • Mastery of JSON and data validation using Pydantic • Hands-on experience indexing, querying, and optimizing Elasticsearch clusters • Strong proficiency in managing and scaling applications within Kubernetes environments • Experience building structured pipeline workflows • Bachelor’s degree in Computer Science or Engineering

🏖️ Vorteile

• medical, dental, and vision insurance • life and disability insurance • retirement benefits • paid leave • tuition assistance • professional development