Agent Quality, Evals Engineer

🕒 vor 3 Monaten

🇺🇸 Vereinigte Staaten – Remote

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

👷🏻‍♀️ Ingenieur

👻 Geisterscore 55%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Softgic

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet 2011

💼 Beratung

🤝 B2B

🤖 Künstliche Intelligenz

Consulting • B2B • Artificial Intelligence

Softgic ist ein Unternehmen für digitale und kognitive Transformationsdienste, das maßgeschneiderte Softwareentwicklung, Automatisierung, Cloud- und Cybersicherheitslösungen sowie Lösungen für aufkommende Technologien für Geschäftskunden anbietet. Mit mehr als einem Jahrzehnt Erfahrung bietet Softgic spezialisierte „Labs“ für Lösungsdesign (UX, Agile, Prozessdesign), Aufbau (Codierung, Low-Code, Mobile, DevOps), Metaverse (VR/AR, Blockchain, NFTs, virtuelle Wirtschaft), Daten (Big Data, BI, KI/ML), Automatisierung (RPA, BPM) und Go Live (Cloud, IT-Betrieb, Cybersicherheit). Das Unternehmen legt Wert auf maßgeschneiderte, unternehmensfokussierte Dienstleistungen, dedizierte Teams und projektbasierte Engagements, um Kunden dabei zu unterstützen, die Infrastruktur zu modernisieren, Prozesse zu optimieren und fortschrittliche Technologien einzuführen.

Beschreibung

• Own the eval harness and quality gate from the beginning • Build and maintain the MVP eval harness, including golden tasks, exception tasks, scorecard metrics, and regression packs • Wire evaluations into CI so quality regressions fail builds and releases • Define and maintain release-gate thresholds with Product and the Tech Lead • Prepare for later adversarial and drift-testing expansion without overbuilding MVP scope • Use AI to generate candidate evaluation cases and failure hypotheses while validating generated tests • Establish the first reference agent's published scorecard and gated evaluation path • Automate golden and exception tests • Define measurable 'good enough to ship' criteria

🎯 Anforderungen

• Experience evaluating ML, LLM, or non-deterministic systems • Strong test and benchmark design capability • Comfort working with noisy metrics, thresholds, and probabilistic behavior • Good scripting and automation skills • Uses AI to generate candidate eval cases and failure hypotheses, while distinguishing generated tests from validated quality • Treats AI quality as an operating system rather than a QA afterthought