Big Data Engineer, Hadoop, Azure

Vaga não está no LinkedIn

🕒 Julho 27

🔔 Pennsylvania – Remoto

🔔 Pennsylvania – Remote

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 49%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Martian Wall

SiteLinkedInTodas as Vagas

11 - 50 funcionários

Fundada em 2019

🎯 Recrutamento

💼 Consultoria

🤝 B2B

Recruitment • Consulting • B2B

A Martian Wall é uma empresa de recrutamento e consultoria em RH com sede em Nashik, especializada na aquisição de talentos de TI e não-TI para clientes globais, incluindo empresas Fortune 500. A companhia oferece serviços personalizados de recrutamento e consultoria em RH—focados na aquisição de talentos e otimização da força de trabalho—na América do Norte, América do Sul, Europa e Reino Unido, posicionando-se como um parceiro B2B que conecta talentos de ponta com empresas multinacionais.

Descrição

• Design, develop and maintain an optimal data pipeline architecture using both structured data sources and big data for both on-premise and cloud-based environments in both streaming and real time. • Develop and automate ETL code using scripting languages, ETL tools and job scheduling software to support all reporting and analytical data needs. • Design and build dimensional data models to support the data warehouse initiatives. • Assemble large, complex data sets that meet the analytical needs of the data science team. • Assess new data sources to better understand availability and quality of data. • Identify, design, and implement internal process improvements: automating manual processes, optimizing data pipeline performance, re-designing infrastructure for greater scalability and access to information. • Participate in requirements gathering sessions to distill technical requirements from business requests. • Collaborate with business partners to productionize, optimize, and scale enterprise analytics. • Collaborate with data architects and modelers on data store designs and best practices.

🎯 Requisitos

• Five (5)+ years’ experience in traditional and modern Big Data technologies (HDFS, Hadoop, Hive, Pig, Sqoop, Kafka, Apache Spark, hBase, Oozie, No SQL databases, PostgreSQL, GIT, Python, REST API, Snowflake, etc.) • Two (2)+ years’ experience building data platforms using Azure stack (Azure Data Factory, Azure DataBricks, etc.) • Experience with object-oriented/object function scripting languages: Python, Java, C++, Scala • Experience extracting/querying/joining large data sets at scale • Experience utilizing Snowflake to build data marts with the data residing in Azure storage is a plus • Thorough understanding of relational, columnar and NoSQL database architectures and industry best practices for development • Understanding of dimensional data modeling for designing and building data warehouses • Excellent advanced SQL coding and performance tuning skills • Experience with parsing data formats such as XML/JSON and leveraging external APIs • Understanding of agile development methodologies • Ability to work in a team-oriented, collaborative environment; good interpersonal skills • Strong analytical and problem-solving skills; ability to weigh various suggested technical solutions against the original business needs and choose the most cost-effective solution • Keen attention to detail and ability to access impact of design changes prior to implementation • Self-driven, highly motivated and ability to learn quick • Ability to effectively prioritize and execute tasks in a high-pressure environment • Strong customer service orientation • Ability to present and explain technical information to diverse types of audiences in a way that establishes rapport and gains understanding • Work experience with geospatial data and spatial analytics is preferred.