Remote AI-Evaluierungsingenieur

Stelle nicht auf LinkedIn

🔥 vor 35 Minuten

🌏 Überall auf der Welt

⏳ Vertrag

🟡 Mittelstufe

🟠 Senior

🤖 Künstliche Intelligenz

👻 Geisterscore 10%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Scopic

WebsiteLinkedInAlle Stellen

201 - 500 Mitarbeiter

Gegründet 2006

🏥 Gesundheitswesen

📣 Marketing

📦 Logistik

Healthcare • Marketing • Logistics

Scopic ist ein Softwareentwicklungsunternehmen, das sich auf maßgeschneiderte Softwarelösungen, Mobile- und Webentwicklung, KI-Beratung sowie Digital-Marketing-Services spezialisiert hat. Mit Expertise in Technologien wie PHP, Node. js und AWS bedient Scopic unterschiedliche Branchen, darunter Gesundheitswesen, Finanzwesen und Bildung. Der Fokus liegt darauf, Kundenideen in innovative Anwendungen zu verwandeln und dabei hochwertige Nutzererlebnisse (UX) und effektive Marketingstrategien sicherzustellen.

Beschreibung

• Automatisierte CI/CD-Testpipelines entwerfen und bereitstellen, die das Verhalten von Agenten vor der Bereitstellung validieren • Golden Datasets mit Regressions-Prompts, Edge Cases und synthetischen Szenarien erstellen und pflegen, um Genauigkeit, Sicherheit und Latenz der Agenten zu messen • Schnelle und kostengünstige codebasierte Prüfungen implementieren, einschließlich JSON-Schema-Validierung, Regex-Abgleichen, API-Statusprüfungen und Embedding-Ähnlichkeitsvergleichen • Testsuiten für Multi-Turn-Konversationen entwerfen, die Kontextbeibehaltung, Zustandsdrift und Schutzmechanismen gegen Endlosschleifen bei Tool-Aufrufen validieren • Adversariale Testsuiten erstellen, die Prompt-Injections, fehlerhafte Eingaben und chaotische Tool-Antworten abdecken, um Sandboxes und Guardrails abzusichern • Tracing mit OpenTelemetry, LangSmith, Phoenix oder vergleichbaren Tools implementieren • LLM-API-Kosten durch Caching und Mocking reduzieren

🎯 Anforderungen

• Sehr gute Kenntnisse in Python oder TypeScript mit Schwerpunkt auf API-Tests, Headless-Ausführung und asynchronen Systemen • Praktische Erfahrung beim Aufbau von LLM-Evaluierungspipelines oder statistischen Test-Frameworks, beispielsweise mit Konfidenzintervallen oder Erfolgsquoten über N Durchläufe • Erfahrung bei der Integration von Tests in GitHub Actions oder vergleichbare CI-Systeme unter Verwendung der SDK-Ausführung • Expertise bei der Validierung strukturierter Ausgaben: JSON Schema, OpenAPI-Spezifikationen und Function-Calling-Payloads • Vertrautheit mit Tracing-Tools wie OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave oder eigenen Logging-Lösungen • Fähigkeit, eine Evaluierungsarchitektur eigenständig von Grund auf zu konzipieren und zu verantworten • Sehr gute schriftliche und mündliche Englischkenntnisse • Täglich mindestens drei Stunden Überschneidung mit den US-amerikanischen Geschäftszeiten in der Central Time Zone • Erfahrung mit Codeausführungs-Sandboxes oder Agent-Frameworks wie LangChain, LlamaIndex, AutoGen oder CrewAI • Tiefgreifendes Verständnis von Embedding-Modellen und Vektordatenbanken • Erfahrung mit Lasttests für nichtdeterministische Endpunkte

🏖️ Vorteile

• Bezahlte Schulungen und weitere berufliche Entwicklungsmöglichkeiten • Flexible Arbeitszeiten und bevorzugte Arbeitszeitfenster • Möglichkeit, von überall aus mit einer stabilen Internetverbindung zu arbeiten • Kontinuierlicher Zugang zu interessanten und anspruchsvollen Produktaufgaben • Jährliche Gehaltserhöhungen bei Engagement und überzeugender Leistung • Monatliche Vergütung per Überweisung