Engenheiro(a) Sênior de Migração de Spark Serverless

Vaga não está no LinkedIn

🔥 7 minutos atrás

🌐 Brasil, México, +2 outros países – Remoto

🇧🇷 Brasil – Remoto 🇲🇽 México – Remoto 🇺🇸 Estados Unidos – Remoto (EUA) 🇨🇦 Canadá – Remoto

⏰ Tempo Integral

🟠 Sênior

👷🏻‍♀️ Engenheiro

👻 Score fantasma 13%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Virtasant

SiteLinkedInTodas as Vagas

51 - 200 funcionários

💼 Consultoria

🏢 Corporativo

🤝 B2B

Consulting • Enterprise • B2B

A Virtasant é uma empresa de serviços e otimização em cloud que ajuda empresas a migrarem para, gerenciarem e construírem em plataformas de nuvem pública. Eles combinam uma plataforma proprietária de automação com serviços gerenciados e expertise em FinOps para reduzir custos na nuvem (alegando economias médias superiores a 50%), apoiar programas de Cloud FinOps e oferecer engajamentos baseados em resultados ao invés de cobrança por hora ou por assento. A Virtasant também fornece orientação em IA empresarial e faz parceria com grandes provedores de nuvem (AWS, Google Cloud, Azure) para oferecer migração, otimização e operações gerenciadas 24/7.

Descrição

• Liderar migrações de workloads corporativos de Spark de ambientes on-premise para AWS e GCP • Avaliar aplicações Spark, clusters, configurações, dependências, fluxos de dados e utilização de recursos • Determinar abordagens de migração entre rehost, replatform, refactor, modernização ou desativação • Modernizar workloads tradicionais baseados em clusters para Spark serverless, quando apropriado • Projetar e implementar arquiteturas usando AWS EMR Serverless, S3, Glue, Lake Formation, GCP Dataproc Serverless, GCS e BigQuery • Refatorar aplicações legadas em PySpark/Scala/Spark SQL para portabilidade, escalabilidade e confiabilidade na nuvem • Migrar workloads que utilizam Hadoop, HDFS, YARN, Hive e clusters Spark on-premise • Diagnosticar e otimizar workloads Spark, incluindo particionamento, comportamento de shuffle, joins, skew de dados, planos de execução, configuração de executors, serialização e execução SQL • Realizar benchmarks de performance e otimizar workloads serverless visando performance, confiabilidade e custos de nuvem • Criar ferramentas, automações, templates e frameworks reutilizáveis para migração • Implementar CI/CD e Infrastructure as Code utilizando ferramentas como Terraform • Definir padrões de testes, validação, cutover, rollback, observabilidade e prontidão para produção • Trabalhar em parceria com as equipes de Data Engineering, ML, Cloud Architecture, Platform Engineering, DevOps/SRE, Security, Governance e FinOps • Ser responsável por todo o ciclo de vida da migração: Descoberta, Avaliação, Design, Refatoração, Migração, Validação, Otimização e Operação

🎯 Requisitos

• Mais de 8 anos de experiência em engenharia de dados, sistemas distribuídos, engenharia de nuvem ou engenharia de plataformas • Mais de 5 anos de experiência prática com Apache Spark em ambientes corporativos • Sólida experiência de desenvolvimento com PySpark e/ou Scala • Experiência comprovada na migração de workloads Spark de grande escala entre plataformas de infraestrutura • Experiência prática com AWS e GCP • Experiência com ecossistemas Hadoop/Spark on-premise, incluindo HDFS, YARN e Hive • Conhecimento aprofundado dos componentes internos do Spark e de processamento distribuído • Sólidos fundamentos de SQL e engenharia de dados • Experiência com data lakes na nuvem e object storage • Forte experiência em troubleshooting de produção e tuning de performance • Experiência com CI/CD, Git e Infrastructure as Code • Capacidade de conduzir o trabalho de migração de ponta a ponta, desde a descoberta e arquitetura até o cutover em produção e a otimização • Experiência com EMR/EMR Serverless, Dataproc/Dataproc Serverless, Glue, Lake Formation, BigQuery, Delta Lake, Iceberg, Kafka, Airflow, Terraform, Docker ou Kubernetes será considerada um diferencial

🏖️ Benefícios

• Trabalho remoto • Disponibilidade durante o horário do Pacífico (das 8h às 17h PST)