Machine-Learning-Ingenieur (Speech) – Gemeinsame Audio‑Video‑Modellierung

Stelle nicht auf LinkedIn

🔥 vor 30 Minuten

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Cantina

WebsiteLinkedInAlle Stellen

51 - 200 Mitarbeiter

Gegründet founded by Sean Parker

🤖 Künstliche Intelligenz

🎮 Gaming

🌍 Soziale Wirkung

Artificial Intelligence • Gaming • Social Impact

Cantina ist ein Unternehmen, das sich auf die Erstellung fortschrittlicher KI-Charaktere spezialisiert hat, die sprechen, fühlen und ihre Abenteuer mit Selfies festhalten können. Es bietet eine Plattform, auf der Nutzer ihre KI-Bots in Online-Communities entfalten können, was diesen lebensechten, sozialen Wesen ermöglicht, mit Menschen zu interagieren. Cantina konzentriert sich auf den Aufbau von Netzwerken von KI-Influencern und ermutigt Nutzer, ihre eigenen Sammlungen von KI-Bots zu erkunden und zu erstellen. Die Mission des Unternehmens ist es, ein interaktives Universum zu schaffen, das Kreativität und soziale Interaktion durch digitale Persönlichkeiten und KI-Technologie fördert.

Beschreibung

• Audio‑Repräsentationen: Entwerfen, trainieren und verbessern der Audio‑VAEs, neuronalen Codecs und Vocoder, auf denen unsere generativen Modelle aufbauen; Gestaltung latenter Repräsentationen, Rekonstruktions‑ und perzeptueller Zielgrößen sowie Abwägungen zwischen Kompression und Wiedergabetreue. • Modellaufbau: Architektur, Implementierung, Pre‑Training, Fine‑Tuning und Post‑Training/Alignment (z. B. GRPO/DPO) von Diffusions‑ und Flow‑Matching‑Transformern für großskalige Audio‑ und Video‑Generierung. • Gemeinsame Audio‑Video‑Modellierung: Entwurf von Audio‑Conditioning und cross‑modaler Ausrichtung in gemeinsamen AV‑Modellen, Audio‑Latents neben Video‑Latents, Referenz‑Audio und Multi‑Speaker‑Conditioning sowie Multi‑Shot‑Generierung für Audio/Video. • Experimentelles Design: Konzeption, Durchführung und Analyse wissenschaftlicher Experimente zur Weiterentwicklung unseres Modellverständnisses. • Datenverantwortung: Definition von Datenanforderungen und Zusammenarbeit bei Akquise, Kuratierung, AV‑Synchronisation und Qualitätsfilterung, Sicherstellung der Annotationsqualität und Entwicklung von Strategien für synthetische Daten für gepaarte Audio‑Video‑ und Sprachkorpora. • Strenge Evaluation: Aufbau automatisierter objektiver und subjektiver Evaluationsverfahren für Audio‑Wiedergabetreue und Verständlichkeit, AV‑Sync, Hör‑ und Sichttests, Robustheits‑ und Bias‑Prüfungen sowie Red‑Team‑Studien. • Inference‑Effizienz: Vorantreiben von Distillation, Reduktion der Schrittanzahl, Quantisierung sowie Kernel‑ und Speicher‑Optimierungen, um interaktive Latenz‑ und Kostenanforderungen zu erfüllen. • Pipeline‑Bereitstellung: Härtung der Trainings → Evaluation → Inference‑Pipeline; Profiling von Latenz, Speicher und Kosten; Einhaltung von Produktions‑SLAs mit robustem Monitoring und Rollback‑Mechanismen. • GPU‑Skalierung: Zusammenarbeit mit der Infrastruktur zur Durchführung von verteiltem Training/Inference auf Cloud‑Fleets und Produktivsetzung von Modellen mit hoher Zuverlässigkeit und Observability. • Projektleitung: Eigenständige Leitung kleiner Forschungsprojekte und Zusammenarbeit an größeren Teaminitiativen, einschließlich teamübergreifender Arbeiten im Bereich Video‑Generierung. • Tool‑Entwicklung: Entwicklung und Verbesserung von Developer‑Tools zur Steigerung der Teamproduktivität. • Sicherheit & Verantwortung: Beitrag zu Sicherheits‑ und Einwilligungs‑Guardrails, Watermarking sowie Maßnahmen zur Verhinderung von Missbrauch und Missbräuchen für verantwortungsvolle Technologien im Bereich Stimme und Personenabbildung.

🎯 Anforderungen

• Außergewöhnliche Forschungs‑ und Entwicklungserfahrung mit großskaligen Audio‑Modellen (>8 Mrd. Parameter, >500.000 Stunden Daten). • Umfangreiche praktische Erfahrung mit Diffusions‑ und/oder Flow‑Matching‑Transformern, einschließlich praktischem Wissen zu Samplern, Schedules, Conditioning‑Mechanismen und Distillation. • Tiefgehende praktische Erfahrung im Training von Audio‑VAEs, neuronalen Audio‑Codecs und Vocodern: Gestaltung von Latents/Tokenizern, Rekonstruktions‑ und perzeptuellen Zielgrößen sowie adversarialem Training. • Umfangreiche Erfahrung mit Multi‑Node‑, Multi‑GPU‑verteiltem Training (FSDP/DeepSpeed oder Äquivalent). • Ausgeprägte Software‑Engineering‑Fähigkeiten mit nachweislicher Erfahrung beim Aufbau komplexer Systeme. • Fundierte Kenntnisse in PyTorch und Performance‑Arbeit (Profiling, CUDA/Triton/C++ nach Bedarf) sowie Erfahrung im Schreiben zuverlässigen Produktions‑Codes. • Erfahrung in der Produktivsetzung großskaliger Speech/Audio‑ oder multimodaler generativer Modelle. • Erfahrung im Umgang mit großskaligen ML‑Daten und die Fähigkeit, Daten iterativ zu verbessern und Qualität mithilfe subjektiver und objektiver Signale zu triangulieren. • Erfahrung mit Voice‑Cloning, Speech‑Control/Steerability oder expressiver Sprachgenerierung. • Bemerkenswerte Publikationen und/oder Open‑Source‑Beiträge im Bereich Speech/Audio/ML. • Stark bevorzugt: • Erfahrung mit multimodaler Audio‑Video‑Modellierung: gemeinsame AV‑Generierung von Multi‑Shot‑, Multi‑Speaker‑Szenen mit Dialog, Musik und Sounddesign, die gemeinsam mit Video erzeugt werden, sowie die cross‑modale Ausrichtung zur Synchronisation. • Erfahrung in der Video‑Generierung: Video‑Diffusions/Flow‑Matching‑Transformer, Video‑VAEs, konditionierte und Multi‑Shot‑Generierung sowie Aufbau von Datenpipelines für Videomodelle. • Streaming oder Echtzeit‑Generierung sowie kausale Distillation (z. B. Self Forcing / Self Forcing++).

🏖️ Vorteile

• Wettbewerbsfähiges Gehalt und großzügige Unternehmensbeteiligung • Kranken-, Zahn‑ und Sehhilfeversicherung – 99,99 % der Beiträge werden von Cantina übernommen • 42 Tage bezahlte Freistellung, einschließlich: • 15 PTO‑Tage • 10 Krankheitstage • 15 firmeninterne Feiertage • 2 flexible Feiertage • Großzügige Elternzeit und Unterstützung bei Fertilitätsbehandlungen • 401(k)‑Altersvorsorgeplan • Lifestyle‑Spending‑Account – 500 $/Monat zur freien Verfügung • Kostenloses Mittagessen und Snacks für Mitarbeitende im Büro • One Medical‑Mitgliedschaft und mehr!