Engenheiro de Software Sênior — Processamento de Dados

Vaga não está no LinkedIn

🔥 6 minutos atrás

Candidatar-se

Encontrar Vagas Remotas Similares

Receber Emails de Vagas Remotas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

Grupo Protege

SiteLinkedInTodas as Vagas

10.000+ funcionários

Fundada em 1971

🤖 Inteligência Artificial

🤝 B2B

☁️ SaaS

Artificial Intelligence • B2B • SaaS

O Grupo Protege é uma plataforma de dados de treinamento para IA que conecta desenvolvedores de IA a dados de treinamento de alta qualidade e obtidos de forma ética. Ela atende tanto aos desenvolvedores de IA, ao oferecer um acervo amplo e rico de dados para treinamento de modelos, quanto aos detentores de dados, ao permitir que monetizem seus dados mantendo governança e controle. A plataforma busca simplificar de forma significativa o processo de aquisição de dados, facilitando o acesso dos desenvolvedores aos dados de que precisam, com eficiência.

Descrição

• Projetar, construir e operar sistemas de ingestão que processam grandes volumes de dados multimodais em conjuntos de dados utilizáveis e bem estruturados • Ser responsável pelo caminho de ingestão de ponta a ponta, desde a forma como os dados chegam até como são validados, processados, rastreados e disponibilizados a jusante • Construir etapas de processamento específicas por modalidade para dados de origem do mundo real, como processamento de imagens médicas, extração de metadados de áudio e vídeo, validação de qualidade e processamento de anotações • Desenvolver parsers, validadores e lógica de normalização que lidem sistematicamente com formatos de origem bagunçados, não padronizados e de alta variância • Transformar trabalhos repetitivos e pontuais de manipulação de dados em padrões de processamento reutilizáveis, ferramentas internas e capacidades de plataforma • Projetar para alto volume e alto throughput, otimizando sistemas para confiabilidade, custo e velocidade • Trabalhar em sistemas distribuídos e de computação paralela para processar workloads que não se adequam bem a uma única máquina • Escolher o modelo de execução adequado para a carga de trabalho, incluindo processamento em batch, execução distribuída e padrões modernos de computação para dados não estruturados e processamento intensivo em inferência • Diagnosticar e resolver gargalos em sistemas de ingestão e processamento, evitando degradação de desempenho conforme crescem volume e complexidade das modalidades • Construir validações e checagens de qualidade que identifiquem dados ruins, incompletos ou malformados antes que se propaguem a jusante • Lidar com dados sensíveis e regulados, incluindo PHI, com a segurança e o cuidado exigidos pelo domínio, incluindo desidentificação quando necessário • Rastrear proveniência, metadados e restrições de uso ao longo do caminho de ingestão para que o uso a jusante permaneça compatível e auditável • Elevar o padrão de qualidade para observabilidade, debuggability e confiabilidade operacional na camada de ingestão • Colaborar com produto e com o Data Lab para suportar novas modalidades, novos requisitos de parceiros e dados de origem não padronizados • Trabalhar diretamente com equipes de engenharia de parceiros quando necessário para traduzir as realidades dos sistemas de origem em design robusto de ingestão e processamento • Identificar padrões recorrentes que valem a padronização em transforms, validadores e ferramentas internas reutilizáveis • Contribuir para definir como o Protege lida com novos tipos de dados à medida que a plataforma se expande para ambientes de dados mais complexos

🎯 Requisitos

• 5+ anos construindo e operando sistemas backend ou de dados em produção, com experiência real em processamento de dados em larga escala • Experiência prática no desenho e operação de pipelines de dados em grande escala • Fortes habilidades de programação em Python • Experiência com processamento de dados distribuído • Sólida proficiência em AWS • Conforto com dados bagunçados, variados e de alto volume e com alta ambiguidade, com habilidade para encontrar padrões em ambientes complexos • Atenção aos detalhes sem perder velocidade e viés para a ação • Empolgado para trabalhar em um produto focado em movimentar e processar grandes volumes de dados • Curioso, tenaz e proativo

🏖️ Benefícios

• Plano de saúde • Oportunidades de desenvolvimento profissional • Horário de trabalho flexível