Data Engineer

🕒 Setembro 2

🇺🇸 Estados Unidos – Remoto (EUA)

⏰ Tempo Integral

🟡 Pleno

🟠 Sênior

🚰 Engenheiro de Dados

👻 Score fantasma 28%

O que significa: quão provável esta vaga está aberta sem contratação ativa.Como ler: 60% ou mais significa que achamos que é uma vaga fantasma. Pontuações mais baixas preocupam menos.Como pontuamos: tempo em aberto, republicações, vagas abertas vs tamanho do time, rapidez para fechar vagas, e se o salário está divulgado.Observação: é uma estimativa de dados públicos, não um julgamento da empresa. Vagas reais podem ter pontuação alta, então use como uma dica, não como um fato.

Candidatar-se

Encontrar Vagas Remotas Similares

Configurar Alerta de Email para Novas Vagas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Wynd Labs

SiteLinkedInTodas as Vagas

11 - 50 funcionários

Fundada em 2018

💼 Consultoria

📣 Marketing

🤖 Inteligência Artificial

Consulting • Marketing • Artificial Intelligence

A Wynd Labs está focada em tornar os dados públicos da web acessíveis para aplicações de inteligência artificial. A empresa oferece aos clientes empresariais redes robustas de web scraping para acessar dados diversos, como insights financeiros para empresas de médio e pequeno porte. Além disso, a Wynd Labs contribui para o desenvolvimento de IA oferecendo conjuntos de dados orientados para IA e projetando modelos de IA nativos para ajudar na extração e estruturação de dados. Sua plataforma suporta uma ampla gama de soluções de negócios, incluindo dados de treinamento de IA, extração de preços, verificação de anúncios e serviços de dados financeiros.

Descrição

• Maintain, optimize, and troubleshoot database queries and related data systems • Create, maintain, and improve pipelines for collecting, processing, transforming, validating, and delivering large-scale datasets • Support web scraping and data collection initiatives by developing, testing, and maintaining data-gathering scripts and tools • Monitor and troubleshoot data pipeline issues • Identify data quality concerns and implement timely fixes • Document database queries, pipeline processes, scraping workflows, technical decisions, issues, and resolutions • Participate in research and development projects to improve the company’s data products and workflows

🎯 Requisitos

• Bachelor’s degree or equivalent work experience • Advanced Python, including async programming, multiprocessing, and production-grade code for long-running data jobs • Hands-on experience with high-volume web scraping, including proxies, rate limiting, and anti-bot evasion • Experience with platform APIs and large media/metadata datasets • Experience designing and operating distributed data pipelines across many workers/servers • Experience with task queues such as Celery, Kafka, RabbitMQ, or similar • Practical experience with columnar/analytical data warehouses • Databend, ClickHouse, or BigQuery experience strongly preferred • Comfortable with complex analytical queries, partitioning strategies, and cost-aware querying on cloud warehouses • Experience with Docker and Kubernetes, including containerizing workloads, writing Helm charts/manifests, managing deployments, and autoscaling workloads • Comfortable managing services on Linux servers and debugging disk I/O, network, and memory performance issues • CI/CD experience for data workflows using GitHub Actions or ArgoCD • Experience writing scalable APIs

🏖️ Benefícios

• Competitive salary, benefits and equity package • Fully remote team • Opportunity to work on a web-scale crawler and knowledge graph • Lean, technical culture with low red tape and fast decision-making • Opportunity to improve access to public web data and extend the value of AI