Technical Solutions Architect, Evals & Fine-Tuning

Stelle nicht auf LinkedIn

🕒 vor 24 Tagen

🇺🇸 Vereinigte Staaten – Remote

💵 $140.000 - $160.000 / Jahr

⏰ Vollzeit

🟠 Senior

🔴 Experte

💻 Lösungsingenieur

👻 Geisterscore 24%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

InnoData

WebsiteLinkedInAlle Stellen

2 - 10 Mitarbeiter

Gegründet 2019

🤝 B2B

💼 Beratung

🌍 Soziale Wirkung

B2B • Consulting • Social Impact

InnoData steht für INNOvation DATA SCS, eine italienische Sozialgenossenschaft mit Sitz in Foggia, die sich als Anbieter technologischer Lösungen identifiziert. Die Unternehmenswebsite (derzeit in Wartung) hebt "Soluzioni tecnologiche" (technologische Lösungen) hervor und betont den sozialen Einfluss ("Impatto sociale"). Aufgeführte Kontaktdetails sind Via Francesco Crispi 65, 71121 Foggia, Italien. Basierend auf den verfügbaren Informationen scheint InnoData an der Schnittstelle von Technologie und sozialem Einfluss zu agieren und bietet wahrscheinlich technikorientierte Dienstleistungen für andere Organisationen an.

Beschreibung

• Lead technical discovery with prospective and existing customers — foundation model labs, frontier AI teams, and large enterprises — to understand model objectives, gaps, and constraints. • Design end-to-end solutions across the post-training stack: SFT data curation, preference data collection for RLHF/DPO, golden datasets, custom benchmarks, LLM-as-judge pipelines, human-in-the-loop evaluation, red teaming, and multimodal eval (text, image, audio, video, long-context). • Architect engagements that combine Innodata’s platforms (GenAI Test & Evaluation Platform, Annotation Platform, GenAI Workbench) with our global SME workforce across 85+ languages and domains. • Author technical proposals, SOWs, solution diagrams, and pricing models in partnership with sales, delivery, and finance. • Run technical workshops, POCs, and pilot designs that de-risk larger programs and prove value quickly. • Serve as the ongoing technical advisor during delivery, partnering with applied research scientists, AI/ML research engineers, language data scientists, and program managers to keep solutions aligned with the original intent. • Feed customer signal back into Innodata’s R&D and product roadmap — what benchmarks customers actually want, where eval methodology is breaking, what new fine-tuning paradigms are gaining traction. • Stay current on the state of the art in evals (e.g., dynamic and agentic benchmarks, capability vs. safety evals, long-context and tool-use evaluation) and post-training (SFT, RLHF, DPO, RLAIF, rejection sampling, distillation). • Represent Innodata externally — at customer reviews, conferences, and in technical content.

🎯 Anforderungen

• 7+ years of experience in applied ML, ML engineering, ML research, or technical solutions roles, with at least 2+ years focused specifically on LLM evaluation and/or post-training. • Hands-on experience fine-tuning LLMs (SFT at minimum; preference optimization methods like RLHF, DPO, or KTO strongly preferred) and designing the data pipelines that feed them. • Deep familiarity with LLM evaluation methodology: public benchmarks and their limitations, custom benchmark construction, LLM-as-judge design and its failure modes, inter-annotator agreement, and human eval workflow design. • Strong fluency in Python and the modern LLM toolchain (Hugging Face, PyTorch, vLLM, evaluation frameworks such as lm-evaluation-harness, lighteval, or equivalents). • Excellent technical communication. You can hold your own in a room with research scientists at a frontier lab and, an hour later, brief a non-technical executive on the same engagement. • A consultative mindset: you ask sharp questions, you push back when a customer’s stated request won’t actually solve their problem, and you are comfortable owning a recommendation. • Bachelor’s or advanced degree in computer science, machine learning, computational linguistics, or related field — or equivalent demonstrated experience.