Spécialiste Assurance Qualité IA
Télétravail d'abord, journées optionnelles au bureau de Montréal · Temps plein · Ingénierie logiciel
Des agents IA parlent maintenant à de vrais clients au téléphone. Ils donnent des prix, traitent des plaintes, répondent à des questions sur les couvertures d'assurance. La plupart des entreprises n'ont aucune idée de ce que ces agents disent réellement, et encore moins ont quelqu'un dont le travail est de prouver qu'ils se comportent bien.
Supervisr.ai est la couche de supervision qui s'installe au-dessus de ces agents. Nous écoutons chaque conversation, signalons les enjeux critiques de conformité en temps réel pour qu'ils puissent être stoppés en plein appel, et révisons tout après l'appel pour détecter les dérives, les écarts au script et les trous dans les politiques, avant qu'un client ou un régulateur ne le fasse. La voix est notre point de départ ; le clavardage suit.
Vous serez la personne qui décide si un agent IA est prêt à parler au public.
La qualité en IA, c'est un autre métier
Tester une application classique, c'est vérifier que la même entrée donne la même sortie. Tester un agent IA, c'est vérifier que mille conversations différentes restent toutes dans les règles, et qu'elles y restent encore quand le modèle, le prompt ou une dépendance change sous vos pieds. Les résultats comptent plus que les écrans.
Supervisr se gère en langage courant : une règle, un comportement attendu ou un scénario de test se décrit en une phrase, et la plateforme le transforme en configuration structurée et en cas de test. Vous utiliserez cette même mécanique pour générer, exécuter et juger des scénarios à grande échelle, et vous aiderez à décider ce que le moteur de conformité doit supporter pour chaque client.
Ce que vous ferez
Vous serez responsable de la validation de la qualité sur l'ensemble de la plateforme Supervisr.ai, avec un accent marqué sur les résultats de conformité et le comportement réel de l'IA. Concrètement :
- Concevoir, exécuter et maintenir des stratégies de test couvrant les scénarios fonctionnels, d'intégration, de régression et axés sur les résultats, et collaborer avec l'ingénierie sur la couverture unitaire pour garder la plateforme stable à mesure que le code évolue
- Valider les configurations d'agents IA (scripts, intentions, chemins d'escalade, logique de conformité) pour un comportement prévisible et vérifiable
- Contribuer à la définition des règles, étiquettes et scénarios de conformité à partir de cas clients réels, et ainsi façonner ce que le moteur de conformité doit supporter pour tous les clients
- Valider le comportement de la plateforme lors de la sortie de nouvelles versions de LLM ou de dépendances centrales : repérer les changements dans les sorties, le raisonnement et la gestion des cas limites, et définir les mesures d'atténuation avec l'ingénierie
- Reproduire des scénarios réels observés en production, notamment par la revue continue des alertes et des sorties de supervision, pour mettre au jour défauts, cas limites et modes de défaillance, et mener l'analyse des causes avec l'ingénierie
- Valider les alertes, la logique de supervision et les sorties d'audit par rapport aux attentes réglementaires et d'audit
- Assurer la qualité des campagnes sortantes : flux d'approvisionnement de numéros de téléphone, suivi de la réputation des numéros et validation des automatisations pour que les campagnes restent livrables et conformes
- Travailler avec les équipes internes pour traduire les flux de travail, profils de risque et exigences de conformité des clients en scénarios de test, stratégies de validation et exigences de plateforme
- Participer aux pilotes et aux évaluations contrôlées en production pour valider le comportement de l'IA face aux exigences réglementaires, aux résultats documentés et aux référentiels de qualité
- Apporter un regard qualité et risque à la planification des sprints, aux revues et aux rétrospectives, avec des retours clairs et exploitables pour le produit et l'ingénierie
Ce rôle est pour vous si
- Vous êtes fasciné(e) par la façon dont les LLM échouent, pas seulement par leurs réussites
- Vous pensez que « ça marchait dans la démo » est le point de départ des tests, pas la ligne d'arrivée
- Vous aimez transformer une attente réglementaire floue en scénario concret et reproductible
- Vous voulez que l'IA dans les secteurs réglementés soit réellement tenue responsable
Notre pile technologique
Python, Java et TypeScript avec une interface Angular, le tout infonuagique natif sur Google Cloud. Plusieurs LLM via Vertex AI, des serveurs MCP qui relient les pièces, et un moteur de conformité qui transforme des règles en langage courant en vérifications applicables.
Ce que nous recherchons
Essentiel
- Expérience en assurance qualité logicielle, incluant les tests manuels et automatisés
- Solide compréhension des applications web modernes, des API et des systèmes distribués
- Expérience de collaboration étroite avec des équipes d'ingénierie en mode agile
- Esprit d'analyse marqué et attention aux cas limites et aux modes de défaillance
- Capacité à documenter clairement les problèmes et à communiquer leur impact
Atouts
- Expérience en test de systèmes propulsés par l'IA, d'applications basées sur des LLM ou d'agents conversationnels
- Exposition à des environnements réglementés ou axés sur la conformité comme la finance, l'assurance ou la santé
- Expérience en validation du comportement lors de mises à niveau de modèles ou de changements de dépendances tierces
- Familiarité avec les pipelines CI et les cadriciels d'automatisation des tests
- Expérience en voix, téléphonie ou centre de contact
Pourquoi Supervisr.ai ?
- Travailler en première ligne de la supervision d'agents IA, un enjeu qui ne fait que grandir
- Petite équipe. Grand impact. Beaucoup d'autonomie
- Flexibilité et culture de télétravail
- Rémunération concurrentielle
Ce poste vous intéresse ?
Envoyez-nous votre candidature.