Comment Alan construit son support client augmenté par l’IA

Dans ce nouvel épisode de “C’est pas SorciAI”, notre émission IA et Product, en partenariat avec Maestro et animée par Fred Bardolle (Head of Product IA chez Scaleway et référent IA du Ticket), Véronique Pochart, Product Manager de l’assurance santé Alan, nous raconte les coulisses du passage à l’échelle d’une flotte d’agents IA au support client. Un projet lancé en 2023 qui ambitionne de traiter automatiquement 40 % des tickets d’ici la fin de l’année !

⌛ 6 min de lecture (ou 56 min en replay vidéo)

🎫 Les membres Premium du Ticket ont un accès intégral à cet article

 ✉️ Article issu du Ticket n°106

---

Ce que tu vas apprendre dans ce résumé de l’émission de Véronique Pochart d’Alan sur le passage à l’échelle du support client avec l’IA :

• Impact / Risque : Comment s’est fait le choix du périmètre de l’IA pour le service client chez Alan
• Pourquoi commencer par la classification de la demande sans puis avec un agent sélecteur
• Comment fonctionne concrètement un agent IA
• Pourquoi le design n’est pas accessoire dans un produit IA
• Comment Alan fait l’évaluation de ses modèles 
• Les prochaines étapes de l’aventure d’Alan dans les agents IA pour le service client 

---

Demo Time ! Commençons par la fin en montrant à quoi ressemble dans la vraie vie le support client d’Alan augmenté par IA, avec le cas classique d’une demande de carte de tiers payant.

En une petite minute, l’agent IA informe le client, lui propose de lui renvoyer une carte physique et répond à sa question complémentaire. Un ticket résolu sans qu’un humain n’ait eu à intervenir. Voilà pour le résultat de près d’un an et demi de travail.

Voyons maintenant ce qui se cache sous le capot.

Impact / Risque : Comment s’est fait le choix du périmètre de l’IA pour le service client chez Alan

Le service client fait partie des éléments sur lesquels Alan souhaite se différencier stratégiquement. D’où cette réflexion entamée dès 2023 sur l’opportunité que représente l’IA sur cette partie du produit.

Avec, à l’époque, un dilemme :

• Doit-on se servir de l’IA pour suggérer des réponses aux agents humains et accroître ainsi leur productivité ? L’option “human in the loop”.

• Ou mettre un agent IA en interface directe avec les clients ? L’option assurément la plus risquée mais celle qui, à terme, pourra avoir l’impact le plus fort en termes d’économie d’échelle (100 % du temps d’un ticket potentiellement évité) et de satisfaction client. 

Un vrai raisonnement de Product Manager. Résultat : Alan décide de prendre la seconde voie (et voix !). 

“On a très vite eu le soutien du leadership pour tenter ce pari, qui donnait de surcroît la possibilité d’apporter aux clients des réponses immédiates, de la même qualité qu’un humain, 24h/24 et 7j/7”, rappelle Véronique. 

La première brique : La classification de la demande sans puis avec un agent sélecteur

Une des règles d’un produit avec de l’IA : commencer petit mais aller vite en prod’. C’est ce que font Véronique et son équipe (1 data scientist et quelques ingés au début, sans compter l’implication absolument clé des équipes support, notamment les ambassadeurs du produit appelées Product Specialists chez Alan).

En se concentrant sur un petit périmètre : seulement les questions qui concernent les garanties (tu sais, ce tableau des mutuelles avec plein de % et d’acronymes incompréhensibles). Si un client pose une question qui s’apparente à cette thématique, l’agent IA la prend en charge. Sinon, il la laisse à un agent humain.

Le taux de réponses acceptables de l’agent, c’est-à-dire de la même qualité qu’un humain, n’est évidemment pas parfait au début.

“Mais on l’a lancé sur un faible échantillon et avec des reviews immédiates, rassure Véronique. Aujourd’hui, on a établi une barre autour des 70% - 80 % de réponses acceptables avant de déployer un nouvel agent”.

Les résultats sont positifs et prouvent que cela fonctionne. D’autres agents sont alors développés pour couvrir progressivement un spectre plus large. Mais également un agent dit “sélecteur” qui, comme on le voit dans le graphique ci-dessus (à droite), s’occupe en amont d’analyser des questions des clients, de les classifier et de les attribuer aux bons agents.

Autrement dit, l’architecture est la suivante : un agent de triage des questions au-dessus d’une multitude d’agents spécialisés. Pourquoi ne pas avoir développé l’agent sélecteur dès le début ?

“Car on ne savait pas si le premier agent allait marcher donc cela ne servait à rien de créer d’emblée une structure complexe, répond Véronique. Plus que jamais avec l’IA, il faut aller vite en prod’ pour affiner le modèle progressivement”.

Niveau orga, c’est d’ailleurs la grande différence entre le product management traditionnel et le product management avec de l’IA : l'équipe produit cadre les contours du problème à résoudre et ensuite, c’est tout le monde, ingés inclus, qui met les mains dans le cambouis pour explorer les solutions.

“Les grands principes produit qu’on lit dans les bouquins volent en éclat avec l’IA. On est obligé de prototyper tout de suite et d’être en Proof of Concept en permanence”, assure Véronique.

Zoom sur le fonctionnement concret d’un agent

Après avoir vu l'architecture globale, zoomons sur le “raisonnement” d’un agent IA. En l’occurrence, celui du départ, spécialiste des questions de garantie. 

Quand une question lui est attribuée, il la classifie à son tour afin de bien cerner la garantie dont il s’agit, parmi les 150 couvertures de la mutuelle (hôpital, maternité, médecine douce etc.), qu’Alan lui fournit , à travers le document “liste des garanties” que tu peux voir en fin du prompt ci-dessous (le vrai prompt utilisé par Alan).

Puis, une 2ème IA va récupérer uniquement le tableau des garanties en question mais également, et c’est là où c’est fort, les infos pertinentes des membres. C’est ce qui va permettre de générer une réponse non seulement correcte mais également personnalisée.

Voici l’exemple de ce que cela peut donner concrètement :

Non seulement l’IA répond à la question posée mais, en plus, elle est capable de donner les informations personnalisées du membre.

💡 Ce type d’architecture s’appelle un RAG (pour Retrieval-Augmented Generation). Avant de répondre à la question, l’IA va récupérer une source d’infos propre à l’entreprise afin de générer une réponse plus complète.

Voici d’autres exemples de type de réponses, vues depuis l’interface de l’outil Intercom, dont se sert l’équipe support client d’Alan.

Aujourd’hui, cet agent IA qui traite des questions de garanties automatise 70 % des tickets.

Dans un produit IA, le design n’est pas accessoire

Faisons un pas de côté dans l’histoire pour aborder une dimension négligée quand on parle d’IA : le design. L’équipe d’Alan a en effet mené une réflexion à ce sujet assez tôt dans le processus.

• 1er défi : comment évoquer aux clients qu’il s’agit d’un agent IA ?

D’emblée, sur l’écran d’accueil, le choix a été fait de ne pas le mentionner.

“On voulait que les clients tapent des messages complets et non du “robotique” comme “osthéopathie” par exemple, avec lequel nous ne pourrions pas faire grand chose”, détaille Véronique.

Avec cette interface, moins de 3% des utilisateurs n’écrivent pas leur question en langage naturel.

Puis, lors du 1er message, l’agent IA se présente en tant que tel. Sachant que, dès le début, Alan avait fait un proto pour vérifier que les membres étaient d’accord pour parler à une IA. Il en était ressorti que ce n’était pas un problème pour eux… tant que la réponse était de qualité.

• 2e défi : comment donner l’accès à un humain malgré tout.

Là, Alan n’a pas voulu mettre des obstacles. Au contraire, à chaque interaction, il est proposé à l’utilisateur de “parler à l’équipe”. 

Intéressant au passage de voir qu’environ 10 % des personnes demandent à parler à un humain… alors que la réponse de l’agent IA est correcte, mais qu’elle ne les satisfait pas !

“Elles pensent qu’elles pourront obtenir une réponse différente de la part d’un agent humain”, sourit Véronique.

Comment Alan fait l’évaluation de ses modèles 

Passons à la partie aussi bien nouvelle avec les produits IA non déterministes que cruciale dans ce cas de réponses en live à un utilisateur : l’évaluation des modèles IA. Voici comment Alan a procédé.