Open Source Engineer

Stelle nicht auf LinkedIn

🕒 vor 9 Monaten

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

LanceDB

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

Gegründet 2022

🤖 Künstliche Intelligenz

🏢 Unternehmen

☁️ SaaS

Artificial Intelligence • Enterprise • SaaS

LanceDB ist das erste Open-Source, AI-native Multimodal Lakehouse, das entwickelt wurde, um komplexe AI-Datenbedürfnisse in großem Maßstab zu bewältigen. Es bietet eine einheitliche Lösung für multimodale Daten, die Speicherung, Suche, Feature Engineering und Analytik in einer einzigen Plattform integriert. Dies ermöglicht es Nutzern, verschiedene Datentypen und Workflows effizient zu verwalten und erleichtert die schnelle Iteration und Bereitstellung von AI-Modellen. Mit fortschrittlichen Funktionen wie hybrider Suche und optimierten Trainingspipelines ist LanceDB für Unternehmen konzipiert, die ihre Daten effektiv in AI-Anwendungen nutzen möchten.

Beschreibung

• Driving open-source community efforts to integrate the Lance format with Spark, Hive Metastore, Presto, Trino, Ray, and other data infrastructure systems • Designing and maintaining efficient distributed Lance dataset operations • Building efficient indices to enable predicate pushdown and accelerate queries in Spark, Ray, or Trino • Working on table formats, data encodings, and various aspects of the Lance format in Rust • Operating and improving internal data processing infrastructure • Promoting the Lance format in open-source communities and at Big Data conferences

🎯 Anforderungen

• 5+ years of experience building high-performance databases, big data systems, or large-scale data services • Deep understanding of internals of open-source Big Data or AI training systems (e.g., Hadoop, Spark, Flink, Ray, Iceberg, Delta Lake, Hudi, ClickHouse, Trino, Presto, PyTorch, or JAX) • Strong experience with high-performance computing in Java or Scala • Experience with Rust (or willingness to learn it) • Proven ability to move fast, work independently, and collaborate with a high-caliber team

🏖️ Vorteile

• Medical, dental, vision, and life insurance • 401(k) retirement plan • Flexible Spending Accounts (FSA) and Health Savings Accounts (HSA) • Commuter benefits • Generous paid time off