Applied AI Evaluation Scientist

🕒 vor 3 Monaten

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mails für Remote-Jobs erhalten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Jump - Advisor AI

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet 2023

🤖 Künstliche Intelligenz

💳 Fintech

☁️ SaaS

💰 €24.574.985 Series A - Jump im 2025-02

Artificial Intelligence • Fintech • SaaS

Jump - Advisor AI ist eine KI-gestützte SaaS-Plattform, die administrative und kundenorientierte Workflows für Finanzberater und Vermögensverwaltungs-Teams automatisiert. Sie bietet Vorbereitungen für Meetings, automatisierte Notizen, die Erstellung von Follow-up-E-Mails, Tools zur Kundenbindung und datengesteuerte Einblicke, während sie sich in CRMs, Finanzplanungstools, Konferenzsysteme und Kalender integriert. Mit Sicherheit auf Unternehmensniveau und konfigurierbaren Compliance-Kontrollen wurde Jump für RIAs, Broker-Dealer und andere Beratungsunternehmen entwickelt, um Zeit zu sparen, die Meetingkapazität zu erhöhen und die Überwachung und Prüfungsfähigkeit zu vereinfachen.

Beschreibung

• Design and curate evaluation datasets for retrieval quality • Measure retrieval quality using metrics like Recall@k, Precision@k, MRR, and NDCG@k • Recommend data cleaning/normalization strategies • Evaluate and optimize chunking strategies • Assess embedding and re-ranking strategies • Evaluate generation quality in context • Attribute failures across the pipeline • Conduct systematic error analysis on AI/ML system outputs • Design and validate LLM-as-Judge evaluators • Build and maintain golden datasets for CI regression testing of AI pipelines • Lead or facilitate annotation workflows

🎯 Anforderungen

• BS in Computer Science, Statistics, Data Science, Information Science, Mathematics, Engineering, or a related quantitative field (MS or PhD preferred) • 5+ years of experience in data science, applied ML, information retrieval, or AI evaluation roles • Strong product sense • Statistical rigor • Information retrieval fundamentals • Proficiency with Python and SQL (Experience with Elixir is a plus) • Hands-on experience with LLMs • Data labeling and annotation experience • Strong written and verbal communication

🏖️ Vorteile

• Competitive salary • Equity • Health insurance • Dental insurance • Vision insurance