AI QA Trainer – LLM-Evaluation – Freiberufliches Projekt

Stelle nicht auf LinkedIn

🕒 vor 2 Monaten

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mails für Remote-Jobs erhalten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Invisible Technologies

WebsiteLinkedInAlle Stellen

201 - 500 Mitarbeiter

Gegründet 2015

🤖 Künstliche Intelligenz

☁️ SaaS

🏢 Unternehmen

🔥 Finanzierung im letzten Jahr

💰 €100.000.000 Series unknown im 2025-10

Artificial Intelligence • SaaS • Enterprise

Invisible Technologies ist ein Unternehmen für KI-Plattformen und -Dienstleistungen auf Unternehmensebene, das produktionsreife KI-Systeme für große Organisationen entwickelt und implementiert. Sie kombinieren eine modulare SaaS-Plattform (Datenplattform, Prozessentwickler, Agenten, Bewertungen) mit einem Expertenmarktplatz, um Modelle zu trainieren, komplexe Backoffice-Workflows zu automatisieren, Kontaktzentren zu betreiben, Lösungen für Computer Vision und Bedarfsprognosen bereitzustellen und kontinuierliche Bewertung und Governance sicherzustellen. Invisible arbeitet sektorübergreifend (Finanzen, Gesundheitswesen, öffentlicher Sektor, Sport, Einzelhandel), um KI in reale Betriebssysteme zu integrieren und Ergebnisse in großem Umfang zu erzielen.

Beschreibung

• Mit dem Modell in realitätsnahen Szenarien und anhand von Evaluations-Prompts interagieren • Sachliche Genauigkeit und logische Konsistenz prüfen • Testpläne und Regressionssuites entwerfen und durchführen • Klare Bewertungsrubriken sowie Pass/Fail-Kriterien erstellen • Reproduzierbare Fehlerspuren erfassen und Hypothesen zur Fehlerursache dokumentieren • Verbesserungsvorschläge für Prompt-Engineering, Guardrails und Bewertungsmetriken machen (z. B. Precision/Recall, Faithfulness, Toxicity, Latency-SLOs) • Bei adversarialem Red-Teaming, Automatisierung (Python/SQL) und Dashboarding zusammenarbeiten, um Qualitätsänderungen über die Zeit zu verfolgen

🎯 Anforderungen

• Bachelor-, Master- oder PhD-Abschluss in Informatik, Data Science, Computerlinguistik, Statistik oder einem verwandten Fachgebiet ist ideal • Erfahrung in der Qualitätssicherung (QA) für ML-/AI-Systeme, die produktiv eingesetzt wurden • Erfahrung im Bereich Safety/Red-Teaming • Kenntnisse in Testautomatisierungs-Frameworks (z. B. PyTest) • Praktische Erfahrung mit LLM-Evaluierungstools (z. B. OpenAI Evals, RAG-Evaluator, W&B) • Besonders relevante Fähigkeiten: Entwicklung von Bewertungsrubriken, adversariales Testing/Red-Teaming, Regressionstests in großem Maßstab, Bias-/Fairness-Audits, Grounding-Verifikation, Prompt- und System-Prompt-Engineering, Testautomatisierung (Python/SQL) und präzise, aussagekräftige Fehlerberichte • Klare, metakognitive Kommunikation – "Arbeitsschritte offenlegen" – ist unerlässlich.

🏖️ Vorteile

• Unternehmensgesponserte Leistungen wie Krankenversicherung finden keine Anwendung • Sie stellen einen sicheren Computer und eine schnelle Internetverbindung bereit