LLM Ops Engineer

🕒 July 9

🇲🇽 Mexico – Remote

⏰ Full Time

🟡 Mid-level

🟠 Senior

⚙️ Operations

👻 Ghost score 23%

What it means: how likely this posting is sitting open without active hiring.How to read it: 60% or higher means we think this is a ghost. Lower scores are less of a worry.How we score it: age, reposts, open roles vs team size, how fast jobs close, and whether pay is listed.Fine print: an estimate from public data, not a judgment of the company. Real jobs can score high, so treat it as a hint, not a fact.

Apply Now

Find Similar Remote Jobs

Set Up Email Alert For New Jobs

📊 Check your resume score for this job

Improve your chances of getting an interview by checking your resume score before you apply.

Upload Resume

Cashea

WebsiteLinkedInAll Job Openings

501 - 1000 employees

Founded 2022

💳 Fintech

🛍️ eCommerce

👥 B2C

💰 $750k Seed Round - Cashea on 2025-03

Fintech • eCommerce • B2C

Cashea is a Venezuelan buy-now-pay-later fintech offering an app-based payment line that lets consumers purchase at partner merchants and pay in scheduled, interest-free installments. The platform pre-approves credit lines quickly, supports both in-store and online payments across thousands of partnered retailers, and includes a loyalty program to reward responsible usage. Cashea focuses on consumer financing for everyday and larger purchases while onboarding merchants to accept flexible installment payments.

📋 Description

• Diseñar, construir y operar una gateway de LLMs que ofrezca una interfaz unificada sobre múltiples proveedores • Implementar enrutamiento de modelos, fallbacks , reintentos, balanceo y selección dinámica de proveedor/modelo por caso de uso • Gestionar credenciales y claves de proveedores de forma segura (rotación, secrets management) • Implementar caching (incluido semantic caching ) para reducir costos y latencia • Construir y operar una gateway de MCP para exponer, descubrir y gobernar el acceso a servidores y herramientas MCP • Definir controles de acceso por herramienta/servidor (qué app o equipo puede invocar qué) • Auditar y registrar el uso de herramientas MCP, con trazabilidad de extremo a extremo • Implementar guardrails , filtrado de contenido y defensas contra prompt injection y fuga de datos • Implementar redacción/enmascaramiento de datos sensibles (PII) en prompts , respuestas y logs • Definir y aplicar políticas de acceso (RBAC), cuotas y límites de uso por equipo, app o usuario • Mantener registros de auditoría y apoyar requisitos de cumplimiento y privacidad • Implementar atribución de costos por equipo/app/feature y presupuestos con alertas • Construir observabilidad para IA: tracing , métricas de latencia, costo, uso y calidad • Establecer dashboards y alertas sobre consumo, errores y degradación de proveedores • Definir SLAs/SLOs para la plataforma de IA y planes de respuesta ante incidentes (incluida la caída de un proveedor) • Apoyar a los equipos de producto e ingeniería en la integración con la gateway

🎯 Requirements

• Experiencia sólida en Python (o lenguaje similar de backend) construyendo servicios/APIs en producción • Experiencia diseñando y operando API gateways, proxies o capas de middleware a escala • Experiencia con contenedores y orquestación : Docker y Kubernetes • Experiencia con al menos una nube (AWS, GCP o Azure) • Experiencia integrando APIs de proveedores de LLMs (OpenAI, Anthropic u otros) • Sólidos fundamentos de seguridad : gestión de secretos, autenticación/autorización (RBAC, OAuth), manejo de datos sensibles (PII) • Mentalidad de plataforma: construir abstracciones que otros equipos consumen de forma confiable • Comprensión de los retos propios de los LLMs: latencia, costos variables, no-determinismo y necesidad de observabilidad

🏖️ Benefits

• Oportunidades de desarrollo profesional • Cultura de trabajo basada en la confianza y el propósito • Espacio para la creatividad y curiosidad