Ingénieur·e en évaluation de l’IA en télétravail

Emploi pas sur LinkedIn

🔥 il y a 36 minutes

🌏 N'importe où dans le monde

⏳ Contrat

🟡 Intermédiaire

🟠 Senior

🤖 Intelligence Artificielle

👻 Score fantôme 10%

Ce que ça veut dire : la probabilité que cette offre reste ouverte sans recrutement actif.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

Scopic

Site WebLinkedInTous les Emplois

201 - 500 employés

Fondée en 2006

🏥 Santé

📣 Marketing

📦 Logistique

Healthcare • Marketing • Logistics

Scopic est une société de développement logiciel spécialisée dans les solutions logicielles sur mesure, le développement mobile et web, le conseil en IA et les services de marketing digital. Forte d’une expertise sur des technologies telles que PHP, Node. js et AWS, Scopic accompagne des secteurs variés, notamment la santé, la finance et l’éducation. Scopic met l’accent sur la transformation des idées de ses clients en applications innovantes, tout en garantissant des expériences utilisateur de haute qualité et des stratégies marketing efficaces.

Description

• Concevoir et déployer des pipelines de tests CI/CD automatisés validant le comportement des agents avant leur mise en production • Créer et maintenir des jeux de données de référence comprenant des prompts de régression, des cas limites et des scénarios synthétiques afin de mesurer la précision, la sécurité et la latence des agents • Mettre en œuvre des contrôles rapides et peu coûteux basés sur le code, notamment la validation de schémas JSON, la correspondance par expressions régulières, les vérifications du statut des API et la similarité entre embeddings • Concevoir des suites de tests pour les conversations à plusieurs tours, en validant la conservation du contexte, la dérive de l’état et les mécanismes de protection contre les boucles infinies d’appels d’outils • Créer des suites de tests adversariaux couvrant les injections de prompts, les entrées malformées et les réponses chaotiques des outils afin de sécuriser les environnements sandbox et les garde-fous • Mettre en place le tracing avec OpenTelemetry, LangSmith, Phoenix ou des outils similaires • Réduire les coûts des API de LLM grâce à la mise en cache et au mocking

🎯 Exigences

• Maîtrise de Python ou TypeScript, avec une spécialisation dans les tests d’API, l’exécution headless et les systèmes asynchrones • Expérience pratique de la création de pipelines d’évaluation de LLM ou de frameworks de tests statistiques, notamment les intervalles de confiance ou les taux de réussite sur N exécutions • Expérience de l’intégration de tests dans GitHub Actions ou des systèmes CI similaires, avec une exécution au niveau des SDK • Expertise dans la validation des sorties structurées : schémas JSON, spécifications OpenAPI et payloads d’appels de fonctions • Connaissance des outils de tracing tels qu’OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave ou des systèmes de journalisation personnalisés • Capacité à concevoir et à prendre en charge de manière autonome une architecture d’évaluation depuis zéro • Très bon niveau d’anglais à l’écrit comme à l’oral • Disponibilité pour assurer au moins 3 heures de chevauchement quotidien avec les horaires de travail du fuseau Central Time aux États-Unis • Expérience des environnements sandbox d’exécution de code ou des frameworks d’agents tels que LangChain, LlamaIndex, AutoGen ou CrewAI • Excellente compréhension des modèles d’embeddings et des bases de données vectorielles • Expérience des tests de charge sur des endpoints non déterministes

🏖️ Avantages

• Formation rémunérée et autres opportunités de développement professionnel • Horaires flexibles et possibilité de choisir ses plages de travail préférées • Possibilité de travailler depuis n’importe où avec une connexion Internet stable • Flux régulier de projets produits stimulants et exigeants • Augmentations salariales annuelles en fonction de l’implication et des performances • Versement mensuel de la rémunération par virement bancaire