Senior Data Engineer

🕒 Julho 16

🐊 Florida, New Jersey, +3 estados a mais – Remoto

🐊 Florida – Remote 🏖️ New Jersey – Remote 🗽 New York – Remote 🌲 North Carolina – Remote ⚔️ Virginia – Remote

💵 $140.000 - $160.000 / ano

⏰ Tempo Integral

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 4%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Hack The Box

SiteLinkedInTodas as Vagas

51 - 200 funcionários

Fundada em 2017

💼 Consultoria

📦 Logística

🔒 Cibersegurança

Consulting • Logistics • Cybersecurity

Hack The Box é uma plataforma online de ponta que oferece educação e treinamento em cibersegurança por meio de experiências gamificadas. Ela oferece uma ampla gama de serviços, incluindo labs práticos, competições de cibersegurança e certificações reconhecidas pelo mercado, atendendo indivíduos, equipes profissionais, escolas e empresas. A plataforma foi projetada para ajudar os usuários a desenvolver e aprimorar suas habilidades em segurança ofensiva e defensiva, capacitando-os a enfrentar ameaças cibernéticas do mundo real. O Hack The Box é amplamente utilizado para avaliações de equipes e benchmarking de habilidades em diversos setores e promove eventos envolventes, como competições de Capture The Flag (CTF), para viabilizar o aprendizado interativo.

Descrição

• You will own and evolve our data pipelines on GCP — building new ones, hardening existing ones, improving data quality, and making clean, trustworthy data available across the organisation. • Designing ELT/ETL processes on BigQuery and ClickHouse, building real-time pipelines on Pub/Sub and Kafka with Dataflow (and where it fits, Flink/Spark). • Orchestrating workflows with Airflow, and ensuring data is properly cleaned, modelled, and served for analytics, ML training, and online inference. • Partnering with ML engineers on feature pipelines, monitoring data drift, and keeping models well-fed and retrained as needed. • Consuming and building REST APIs, integrate with third-party SaaS sources, and treating infrastructure as code. • Collaborating closely with Infrastructure, Software Engineering, Product, and ML/AI engineers. • Helping drive the migration off Snowflake onto GCP-native stack — and retire shadow pipelines along the way. • Owning the orchestration layer in Airflow, including SLAs, retries, and data quality gates. • Modeling data for analytics and for ML — including feature pipelines that serve both training and low-latency online inference. • Capturing requirements from stakeholders and translating them into pragmatic, well-scoped data products. • Continuously improving data quality, reliability, observability, and cost efficiency. • Identifying new data sources worth acquiring and integrating them cleanly.

🎯 Requisitos

• Strong data modelling and warehouse architecture skills (dimensional modelling, event-driven, lakehouse patterns) • Hands-on experience with GCP data services — BigQuery is a must; Pub/Sub, Dataflow, Bigtable, Cloud Composer are strong pluses • Production experience with streaming pipelines on Dataflow/Beam, Flink, or Spark Structured Streaming, ingesting from Kafka and/or Pub/Sub • Solid SQL and strong Python — you write production-quality code, not just notebooks • Experience with ClickHouse or another columnar OLAP engine in production • Workflow orchestration experience with Airflow (or Prefect/Dagster) • Comfortable with dbt or equivalent transformation frameworks • Experience migrating off legacy warehouses (Snowflake, Redshift, Synapse) onto cloud-native stacks is a plus • Working knowledge of ML in production — feature engineering, feature stores, model deployment, drift monitoring, retraining • Docker & Kubernetes experience • CI/CD mindset, infrastructure-as-code sensibility, and a bias for simple, observable systems • Bonus: CDC tooling (Datastream, Debezium), Vertex AI / Feature Store

🏖️ Benefícios

• Medical, Dental & Vision (employee coverage 100% paid for by Hack The Box) • 401K w/ employer match • Employer-paid Life and AD&D Insurance • Supplemental Life Insurance • Short-term and Long-term Disability • Healthcare and Dependent Care FSA • Paid parental leave • 25 annual leave days • Home Office Allowance • Dedicated budget for training and professional development, participation in conferences • State-of-the-art equipment • Full access to the Hack The Box lab offerings; so you can learn how to hack 😉