Staff Data Engineer

Emploi pas sur LinkedIn

🕒 il y a 4 mois

🗽 New York – Distant

🗽 New York – Remote

⏰ Temps Plein

🔴 Expert

🚰 Ingénieur Data

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

VirtusLab

Site WebLinkedInTous les Emplois

201 - 500 employés

Fondée en 2010

💼 Conseil

🏭 Fabrication

📦 Logistique

💰 Private Equity Round en 2021-12

Consulting • Manufacturing • Logistics

VirtusLab est une entreprise mondiale de conseil en technologie spécialisée dans l'ingénierie logicielle, le conseil en IT et l'expérience développeur. L'entreprise se concentre sur l'amélioration de l'efficacité et de l'innovation à travers une vision stratégique, le développement de concepts sur mesure et un soutien complet aux projets, notamment dans des domaines tels que le machine learning, l'ingénierie cloud et le conseil Scala. Engagée à promouvoir une évolution positive dans la technologie logicielle, VirtusLab aide les entreprises à optimiser leurs architectures technologiques et à atteindre des solutions évolutives pour leurs besoins logiciels.

Description

• building web crawling or large-scale data systems from scratch • designing scalable, fault-tolerant distributed systems • leading complex technical initiatives • mentoring engineers and promoting a collaborative culture • operating ETL/ELT pipelines • extracting structured/unstructured web data

🎯 Exigences

• Proven experience building web crawling or large-scale data systems from scratch • Strong architectural skills in designing scalable, fault-tolerant distributed systems • Track record leading complex technical initiatives and driving architecture direction for teams • Demonstrated ability to evolve production systems incrementally while maintaining reliability • Experience mentoring engineers at all levels and promoting a collaborative culture • Deep background in large-scale data engineering (terabytes daily) • Hands-on experience with cloud data warehouses (BigQuery, Snowflake) • Experience with Apache Kafka, Kubernetes (GKE/EKS), and orchestration tools (Airflow) • Familiarity with multi-cloud environments (GCP + AWS) • Expertise in designing and operating ETL/ELT pipelines • Deep expertise in web crawling technologies and advanced scraping (Scrapy or similar) • Experience in extracting structured/unstructured web data and SERP extraction • Knowledge of proxy infrastructure management, anti-bot detection, and ethical crawling • Familiarity with crawling vendors and AI/LLM-based extraction approaches • Support the VirtusLab U.S. and international teams by lending senior technical expertise to client-facing activities, including technical discovery sessions, workshops, and solution architecture • Conduct requirements analysis and solution discovery, identifying business and technical needs • Provide technical consulting and advisory services, recommending appropriate data architectures aligned with customer goals • Prepare and review technical sections of commercial offers, including solution descriptions, statements of work (SoWs), project estimates, timelines, and delivery models

🏖️ Avantages

• self-development opportunities • good working conditions