Senior AI Quality Engineer – LLM Evaluation, Automation

🕒 vor 9 Monaten

🇺🇸 Vereinigte Staaten – Remote

⏰ Vollzeit

🟠 Senior

🔧 QA-Ingenieur (Qualitätssicherung)

👻 Geisterscore 63%

Was es bedeutet: die Wahrscheinlichkeit, dass für diese Stelle niemand wirklich einstellt.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

Softgic

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet 2011

💼 Beratung

🤝 B2B

🤖 Künstliche Intelligenz

Consulting • B2B • Artificial Intelligence

Softgic ist ein Unternehmen für digitale und kognitive Transformationsdienste, das maßgeschneiderte Softwareentwicklung, Automatisierung, Cloud- und Cybersicherheitslösungen sowie Lösungen für aufkommende Technologien für Geschäftskunden anbietet. Mit mehr als einem Jahrzehnt Erfahrung bietet Softgic spezialisierte „Labs“ für Lösungsdesign (UX, Agile, Prozessdesign), Aufbau (Codierung, Low-Code, Mobile, DevOps), Metaverse (VR/AR, Blockchain, NFTs, virtuelle Wirtschaft), Daten (Big Data, BI, KI/ML), Automatisierung (RPA, BPM) und Go Live (Cloud, IT-Betrieb, Cybersicherheit). Das Unternehmen legt Wert auf maßgeschneiderte, unternehmensfokussierte Dienstleistungen, dedizierte Teams und projektbasierte Engagements, um Kunden dabei zu unterstützen, die Infrastruktur zu modernisieren, Prozesse zu optimieren und fortschrittliche Technologien einzuführen.

Beschreibung

• Build and maintain the MVP eval harness, including golden tasks, exception tasks, scorecard metrics, and regression packs • Integrate evaluations into CI so quality regressions fail builds and releases • Define and maintain release-gate thresholds with Product and the Tech Lead • Prepare for later adversarial and drift-testing expansion without overbuilding MVP scope • Use AI to generate candidate evaluation cases and failure hypotheses while validating generated tests • Establish measurable agent-quality standards and release gates • Publish the first reference agent scorecard and gated evaluation path • Automate golden and exception test execution • Define measurable criteria for when the product is good enough to ship

🎯 Anforderungen

• Experience evaluating ML, LLM, or non-deterministic systems • Strong test and benchmark design capability • Comfort working with noisy metrics, thresholds, and probabilistic behavior • Good scripting and automation skills • Uses AI to generate candidate evaluation cases and failure hypotheses, while distinguishing generated tests from validated quality • Approaches AI quality as an operating system rather than a QA afterthought

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen