Staff Data Engineer

Stelle nicht auf LinkedIn

🕒 vor 4 Monaten

🗽 New York – Remote

🗽 New York – Remote

⏰ Vollzeit

🔴 Experte

🚰 Dateningenieur

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

VirtusLab

WebsiteLinkedInAlle Stellen

201 - 500 Mitarbeiter

Gegründet 2010

💳 Fintech

💰 Private Equity Round im 2021-12

Fintech • Software Engineering • Cloud Engineering

VirtusLab ist ein globales Technologieberatungsunternehmen, das sich auf Softwareentwicklung, IT-Beratung und Entwicklererfahrung spezialisiert hat. Das Unternehmen konzentriert sich darauf, durch strategische Einblicke, maßgeschneiderte Konzeptentwicklung und umfassende Projektunterstützung Effizienz und Innovation zu verbessern, insbesondere in Bereichen wie maschinelles Lernen, Cloud-Engineering und Scala-Beratung. Mit dem Engagement, eine positive Entwicklung in der Softwaretechnologie voranzutreiben, hilft VirtusLab Unternehmen, ihre Technologie-Stacks zu optimieren und skalierbare Lösungen für ihre Softwarebedürfnisse zu erreichen.

Beschreibung

• building web crawling or large-scale data systems from scratch • designing scalable, fault-tolerant distributed systems • leading complex technical initiatives • mentoring engineers and promoting a collaborative culture • operating ETL/ELT pipelines • extracting structured/unstructured web data

🎯 Anforderungen

• Proven experience building web crawling or large-scale data systems from scratch • Strong architectural skills in designing scalable, fault-tolerant distributed systems • Track record leading complex technical initiatives and driving architecture direction for teams • Demonstrated ability to evolve production systems incrementally while maintaining reliability • Experience mentoring engineers at all levels and promoting a collaborative culture • Deep background in large-scale data engineering (terabytes daily) • Hands-on experience with cloud data warehouses (BigQuery, Snowflake) • Experience with Apache Kafka, Kubernetes (GKE/EKS), and orchestration tools (Airflow) • Familiarity with multi-cloud environments (GCP + AWS) • Expertise in designing and operating ETL/ELT pipelines • Deep expertise in web crawling technologies and advanced scraping (Scrapy or similar) • Experience in extracting structured/unstructured web data and SERP extraction • Knowledge of proxy infrastructure management, anti-bot detection, and ethical crawling • Familiarity with crawling vendors and AI/LLM-based extraction approaches • Support the VirtusLab U.S. and international teams by lending senior technical expertise to client-facing activities, including technical discovery sessions, workshops, and solution architecture • Conduct requirements analysis and solution discovery, identifying business and technical needs • Provide technical consulting and advisory services, recommending appropriate data architectures aligned with customer goals • Prepare and review technical sections of commercial offers, including solution descriptions, statements of work (SoWs), project estimates, timelines, and delivery models

🏖️ Vorteile

• self-development opportunities • good working conditions