Open Source Engineer

Emploi pas sur LinkedIn

🕒 il y a 9 mois

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

LanceDB

Site WebLinkedInTous les Emplois

11 - 50 employés

Fondée en 2022

🤖 Intelligence artificielle

🏢 Entreprise

☁️ SaaS

Artificial Intelligence • Enterprise • SaaS

LanceDB est le premier Lakehouse Multimodal AI-Natif open-source conçu pour répondre aux besoins complexes de données AI à grande échelle. Il offre une solution unifiée pour les données multimodales, intégrant le stockage, la recherche, l'ingénierie des fonctionnalités et l'analytique sur une seule plateforme. Cela permet aux utilisateurs de gérer efficacement divers types de données et flux de travail, facilitant ainsi une itération rapide et un déploiement des modèles AI. Doté de capacités avancées telles que la recherche hybride et des pipelines d'entraînement optimisés, LanceDB est conçu pour les entreprises cherchant à utiliser efficacement leurs données dans des applications AI.

Description

• Driving open-source community efforts to integrate the Lance format with Spark, Hive Metastore, Presto, Trino, Ray, and other data infrastructure systems • Designing and maintaining efficient distributed Lance dataset operations • Building efficient indices to enable predicate pushdown and accelerate queries in Spark, Ray, or Trino • Working on table formats, data encodings, and various aspects of the Lance format in Rust • Operating and improving internal data processing infrastructure • Promoting the Lance format in open-source communities and at Big Data conferences

🎯 Exigences

• 5+ years of experience building high-performance databases, big data systems, or large-scale data services • Deep understanding of internals of open-source Big Data or AI training systems (e.g., Hadoop, Spark, Flink, Ray, Iceberg, Delta Lake, Hudi, ClickHouse, Trino, Presto, PyTorch, or JAX) • Strong experience with high-performance computing in Java or Scala • Experience with Rust (or willingness to learn it) • Proven ability to move fast, work independently, and collaborate with a high-caliber team

🏖️ Avantages

• Medical, dental, vision, and life insurance • 401(k) retirement plan • Flexible Spending Accounts (FSA) and Health Savings Accounts (HSA) • Commuter benefits • Generous paid time off