LLM Evaluation Engineer

Stelle nicht auf LinkedIn

🕒 vor 4 Monaten

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

ThirdLaw Molecular

WebsiteLinkedInAlle Stellen

1 - 10 Mitarbeiter

Gegründet 2020

🧬 Biotechnologie

💊 Pharmazie

⚕️ Krankenversicherung

Biotechnology • Pharmaceuticals • Healthcare Insurance

ThirdLaw Molecular ist ein wegweisendes Biotechnologieunternehmen, das eine bahnbrechende Plattform entwickelt hat, die Spiroligomer™-Moleküle für die gezielte Wirkstoffentdeckung und Diagnostik nutzt. Gegründet von Dr. Christian Schafmeister, konzentriert sich das Unternehmen darauf, eine neue Klasse von Therapeutika zu schaffen, die durch den Einsatz einer einzigartigen chemischen Plattform für das Design synthetisch konstruierter Moleküle sicherer und effektiver sind. Ihr innovativer Ansatz ermöglicht eine hochselektive Bindung an Proteine, wodurch das Potenzial für sowohl Medikamententherapien als auch diagnostische Anwendungen gesteigert wird.

Beschreibung

• Build the evaluation layer in the ThirdLaw platform for LLM prompts and responses • Design and tune guardrails, classifiers, and semantic judgment systems in real-time • Implement evaluation strategies with semantic similarity, foundation model scoring, and rule-based systems • Integrate model outputs with downstream enforcement actions (e.g. redaction, escalation, blocking) • Prototype, tune, and productize small language models for classification, labeling, or scoring • Collaborate with data infrastructure engineers to connect evaluation logic with ingestion and storage • Build tools to observe, debug, and improve evaluator performance across data distributions • Define abstractions for reusable evaluation components that can scale across use cases

🎯 Anforderungen

• 7+ years of experience in ML systems or AI engineering roles • At least 1–2 years working directly with LLMs, NLP pipelines, or semantic search • Deep understanding of foundation models (e.g. OpenAI, Claude, Mistral, Llama) and APIs • Hands-on experience with vector search (e.g. FAISS, Qdrant, Weaviate) and embeddings pipelines • Proven ability to implement real-time or near-real-time evaluation logic using semantic similarity, classifier scoring, or structured rules • Strong in Python, with familiarity using libraries like Hugging Face Transformers, LangChain, and PyTorch or TensorFlow • Ability to reason about model behavior, test prompt configurations, and debug complex decision logic in production

🏖️ Vorteile

• Generous benefits • Market cash compensation • Above-market equity • Well-designed benefits