Staff Software Engineer, AI Inference

Stelle nicht auf LinkedIn

🕒 vor 7 Tagen

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Syllo

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet 2019

⚖️ Rechtswesen

🤖 Künstliche Intelligenz

☁️ SaaS

🔥 Finanzierung im letzten Jahr

💰 €30.000.000 Venture Round - Syllo im 2025-10

Legal • Artificial Intelligence • SaaS

Syllo ist ein Unternehmen für Litigation-KI, das eine einheitliche Plattform zur ganzheitlichen Verwaltung komplexer Rechtsstreitigkeiten bietet. Die Software kombiniert Fallmanagement, eDiscovery, juristische Recherche, Analyse, Erstellung von Dokumenten und das Tagging von Themen, um internen Teams und Kanzleien dabei zu helfen, den Überblick zu bewahren, Themenkategorien im großen Stil anzuwenden und Strategien sowie Arbeitsabläufe bei schriftlichen Entdeckungen, Aussagen und Vorbereitungsarbeiten zu beschleunigen. Syllo positioniert sich als ein KI-gestützter, kollaborativer Arbeitsraum, der sich auf komplexe kommerzielle Rechtsstreitigkeiten konzentriert.

Beschreibung

• Lead the design and development of our production inference platform. • Define the technical roadmap for inference infrastructure, model serving, and runtime optimization. • Build and operate scalable, cost-effective systems for serving large language models in production. • Evaluate and integrate modern inference technologies, frameworks, and serving runtimes. • Optimize latency, throughput, GPU utilization, memory efficiency, and infrastructure cost. • Develop systems for model deployment, traffic routing, autoscaling, scheduling, observability, and operational excellence. • Partner with ML engineers to productionize new models and inference techniques. • Establish benchmarking methodologies to evaluate new models, runtimes, and hardware. • Make key architectural decisions around when to build internally versus leverage open-source or commercial solutions. • Mentor engineers as the team grows and help establish engineering best practices for AI infrastructure.

🎯 Anforderungen

• Significant experience designing and operating production AI inference systems. • Experience building or leading production LLM serving infrastructure. • Deep experience with one or more modern inference runtimes and frameworks such as vLLM, SGLang, TensorRT-LLM, Triton Inference Server, Hugging Face TGI, NVIDIA Dynamo, or comparable technologies. • Strong background in distributed systems, backend infrastructure, or high-performance platform engineering. • Experience optimizing inference performance across GPU workloads, including latency, throughput, batching, memory utilization, and serving efficiency. • Experience operating GPU infrastructure in production. • Strong proficiency in Python and at least one systems programming language (such as Go, Rust, or C++). • Proven ability to lead technical architecture for complex infrastructure initiatives. • Excellent communication skills and the ability to influence technical direction across engineering teams.

🏖️ Vorteile

• Health insurance