AI Evals Engineer – Evaluation Datasets, Ground Truth

🕒 vor 25 Tagen

🇺🇸 Vereinigte Staaten – Remote

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

🤖 Künstliche Intelligenz

👻 Geisterscore 15%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Prophetic

WebsiteLinkedInAlle Stellen

11 - 50 Mitarbeiter

🏠 Immobilien

☁️ SaaS

🤖 Künstliche Intelligenz

💰 €3.200.000 Seed im 2025-05

Real Estate • SaaS • Artificial Intelligence

Prophetic ist eine KI-native SaaS-Plattform, die Land- und Entwicklungsinformationen für Immobilienentwickler und verwandte Fachleute bereitstellt. Die Plattform entdeckt marktferne Parzellen und Assemblierungen, liefert sofortige Klarheit über die Zoneneinteilung, führt Machbarkeits-/Ertragsstudien in Sekunden durch, verfolgt Entwicklungsaktivitäten und zentralisiert Landpipeline- und Sorgfaltsprüfung-Daten. Zu den Hauptprodukten gehören SearchAI, ZoneAI, SiteAI, DevMap, ein Land Relationship Manager (LRM) und Due-Diligence-Tools, die darauf ausgelegt sind, Deals zu beschleunigen, manuelle Recherchen zu reduzieren und Entwicklern zu helfen, schneller Entscheidungen zu treffen und mehr Chancen zu gewinnen.

Beschreibung

• Decompose pipelines and system architecture into evaluable modules with explicit input-to-expected-output contracts • Define correctness through rubrics, label schemas, edge-case policies, and business-relevant tolerances • Prioritize validation sets that unlock the most iteration • Pull stratified, de-identified production samples reflecting real traffic and long-tail cases • Scope and run human-labeling programs, create annotation guidelines and calibration sets, measure inter-annotator agreement, and manage vendors or subject-matter experts • Design synthetic/oracle-generated ground truth and verify oracle outputs against human-labeled samples • Create programmatic and adversarial labels, templated edge cases, and incident-based backtests • Version datasets and track lineage, splits, model/prompt exposure, contamination, and leakage • Slice datasets by customer segment, input type, and difficulty; refresh and retire examples as traffic changes • Calibrate automated graders against human gold sets and determine when they are reliable enough for gating • Report precision/recall/F1, confusion matrices, calibration, confidence intervals, and sample-size requirements • Partner with eval-harness and CI engineers and ML engineers on classifier features • Report to the Chief AI Officer and work across product and pipeline teams; expected to eventually lead a small eval-engineering team

🎯 Anforderungen

• Candidates must be authorized to work in the United States without current or future sponsorship • Experience building or evaluating ML or LLM-powered systems in production, in a role where output quality was your problem • Experience building evaluation or validation datasets, with ability to explain correctness definitions, label sourcing, failure modes, and label quality • Working fluency in ML validation fundamentals: train/validation/test discipline, stratified sampling, precision/recall trade-offs, class imbalance, calibration, inter-rater agreement, basic significance testing and power • Understanding of feature engineering sufficient to reason about classifier failures and data requirements • Strong Python and SQL; comfortable pulling and reshaping data • Hands-on experience with LLM-based systems, including prompting, structured outputs, agent/tool-use harnesses, non-determinism, prompt sensitivity, and evaluator bias • Judgment about when LLM-as-judge is reliable and how to validate it • Ability to read system designs, understand business logic, and translate it into label schemas • Experience running human-labeling programs end to end, including vendor selection, guideline authoring, QA sampling, and cost/quality trade-offs (nice to have) • Experience with eval tooling (nice to have) • Experience with data labeling platforms (nice to have) • Experience using a frontier model as a distillation/oracle source (nice to have)

🏖️ Vorteile

• 100% medical, dental & vision insurance coverage for you; 30% coverage for dependents • Competitive salary and meaningful early-stage equity • Unlimited PTO • Hybrid/Remote stipend • In-office perks: snacks, drinks, coffee, ping-pong table, and more • Budget for intra-office travel • 2–3 annual team meetups in person • Generous budget for labeling vendors and oracle compute