LLM Evaluation Engineer

Vaga não está no LinkedIn

🕒 Março 28

Candidatar-se

Encontrar Vagas Remotas Similares

Receber Emails de Vagas Remotas

📊 Verifique sua pontuação de currículo para esta vaga

Melhore suas chances de conseguir uma entrevista verificando sua pontuação de currículo antes de se candidatar.

Enviar Currículo

ThirdLaw Molecular

SiteLinkedInTodas as Vagas

1 - 10 funcionários

Fundada em 2020

🧬 Biotecnologia

💊 Farmacêutico

⚕️ Seguro de Saúde

Biotechnology • Pharmaceuticals • Healthcare Insurance

ThirdLaw Molecular é uma empresa de biotecnologia pioneira que desenvolveu uma plataforma revolucionária utilizando moléculas Spiroligomer™ para descoberta direcionada de medicamentos e diagnósticos. Fundada pelo Dr. Christian Schafmeister, a empresa foca na criação de uma nova classe de terapêuticos mais seguros e eficazes, empregando uma plataforma química única para o design de moléculas sinteticamente engenheiradas. Sua abordagem inovadora permite uma ligação altamente seletiva a proteínas, ampliando o potencial tanto para terapias medicamentosas quanto para aplicações diagnósticas.

Descrição

• Build the evaluation layer in the ThirdLaw platform for LLM prompts and responses • Design and tune guardrails, classifiers, and semantic judgment systems in real-time • Implement evaluation strategies with semantic similarity, foundation model scoring, and rule-based systems • Integrate model outputs with downstream enforcement actions (e.g. redaction, escalation, blocking) • Prototype, tune, and productize small language models for classification, labeling, or scoring • Collaborate with data infrastructure engineers to connect evaluation logic with ingestion and storage • Build tools to observe, debug, and improve evaluator performance across data distributions • Define abstractions for reusable evaluation components that can scale across use cases

🎯 Requisitos

• 7+ years of experience in ML systems or AI engineering roles • At least 1–2 years working directly with LLMs, NLP pipelines, or semantic search • Deep understanding of foundation models (e.g. OpenAI, Claude, Mistral, Llama) and APIs • Hands-on experience with vector search (e.g. FAISS, Qdrant, Weaviate) and embeddings pipelines • Proven ability to implement real-time or near-real-time evaluation logic using semantic similarity, classifier scoring, or structured rules • Strong in Python, with familiarity using libraries like Hugging Face Transformers, LangChain, and PyTorch or TensorFlow • Ability to reason about model behavior, test prompt configurations, and debug complex decision logic in production

🏖️ Benefícios

• Generous benefits • Market cash compensation • Above-market equity • Well-designed benefits