LLM Evaluation Engineer

Emploi pas sur LinkedIn

🕒 il y a 4 mois

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

ThirdLaw Molecular

Site WebLinkedInTous les Emplois

1 - 10 employés

Fondée en 2020

🧬 Biotechnologie

💊 Pharmaceutique

⚕️ Assurance santé

Biotechnology • Pharmaceuticals • Healthcare Insurance

ThirdLaw Molecular est une entreprise de biotechnologie pionnière qui a développé une plateforme révolutionnaire utilisant les molécules Spiroligomer™ pour la découverte de médicaments ciblés et le diagnostic. Fondée par le Dr Christian Schafmeister, l'entreprise se concentre sur la création d'une nouvelle classe de thérapeutiques plus sûres et plus efficaces, en employant une plateforme chimique unique pour la conception de molécules synthétiquement conçues. Leur approche innovante permet une liaison hautement sélective aux protéines, augmentant le potentiel pour des thérapies médicamenteuses et des applications diagnostiques.

Description

• Build the evaluation layer in the ThirdLaw platform for LLM prompts and responses • Design and tune guardrails, classifiers, and semantic judgment systems in real-time • Implement evaluation strategies with semantic similarity, foundation model scoring, and rule-based systems • Integrate model outputs with downstream enforcement actions (e.g. redaction, escalation, blocking) • Prototype, tune, and productize small language models for classification, labeling, or scoring • Collaborate with data infrastructure engineers to connect evaluation logic with ingestion and storage • Build tools to observe, debug, and improve evaluator performance across data distributions • Define abstractions for reusable evaluation components that can scale across use cases

🎯 Exigences

• 7+ years of experience in ML systems or AI engineering roles • At least 1–2 years working directly with LLMs, NLP pipelines, or semantic search • Deep understanding of foundation models (e.g. OpenAI, Claude, Mistral, Llama) and APIs • Hands-on experience with vector search (e.g. FAISS, Qdrant, Weaviate) and embeddings pipelines • Proven ability to implement real-time or near-real-time evaluation logic using semantic similarity, classifier scoring, or structured rules • Strong in Python, with familiarity using libraries like Hugging Face Transformers, LangChain, and PyTorch or TensorFlow • Ability to reason about model behavior, test prompt configurations, and debug complex decision logic in production

🏖️ Avantages

• Generous benefits • Market cash compensation • Above-market equity • Well-designed benefits