“Le produit doit apprendre à parler le langage business” : Nos 5 moments forts de la conférence data et ROI

Comment transformer ses données en business ? C’était le thème de notre conférence organisée avec Amplitude le 9 octobre dernier chez Join Maestro. Martin Boutges, directeur produit de Doctolib et Kevin Eon, directeur produit du kiosque de presse numérique Cafeyn, ont livré leurs retours d’expérience concrets. Sans langue de bois ! Retour en 5 points marquants.

⌛ 6 min de lecture

🎫 Les membres Premium du Ticket ont un accès intégral à cet article

---

Ce que tu vas apprendre dans cette synthèse de la conférence données x ROI : 

1- Les compétences pour faire un produit avec de l’IA ? Les mêmes qu’avant : définir précisément ses indicateurs de succès !

2- Les données ne font pas une stratégie - et conduisent parfois à prendre de mauvaises décisions produit

3- Pour prioriser ses fonctionnalités, il ne faut pas s’arrêter aux données produit et tirer le fil vers les données business

4- Chez Cafeyn, toute nouvelle fonctionnalité doit être validée par un business case

5- Le produit doit apprendre à s’attribuer des résultats business

---

1- Les compétences pour faire un produit avec de l’IA ? Les mêmes qu’avant : définir précisément ses indicateurs de succès !

Il faut que tout change pour que rien ne change. L’IA est aujourd’hui sur toutes les lèvres, entraînant son lot de questions sur les compétences nécessaires pour se mettre à jour. 

Martin Boutges assène lui une vérité contre-intuitive :

“On voit beaucoup de personnes actuellement qui veulent devenir des Product Managers spécialistes en IA. Un peu comme si tu avais raté ta vie si tu n’avais pas un produit avec une API branchée à OpenAI. Sauf que quand tu regardes dans les faits, en termes de compétences, il s’agit avant tout d’avoir une rigueur extrême sur tes indicateurs d’évaluation. Plein de gens redécouvrent ça, alors que ça fait 10 ans qu’on est censé le faire !” 

Retour aux fondamentaux donc.

Son argumentaire est le suivant : avec l’IA, tu ajoutes un élément non déterministe dans ton produit. Comme tu ne maîtrises que partiellement cet aspect fonctionnel, l’enjeu principal est d’essayer de comprendre comment le modèle se comporte… en définissant de bons indicateurs. C’est ce qu’on appelle l’évaluation.

“C’est ce qu’on a toujours fait au produit. Sauf que désormais, on a cette brique non déterministe au milieu. Mais le cœur du métier reste le même”, poursuit-il.

Mais comment faire pour définir un bon indicateur ?

Martin prend un exemple concret : celui d’une auto-complétion d’un moteur de recherche (les suggestions qui apparaissent lorsque tu commences à taper). Par exemple, sur Doctolib, le fait de commencer à écrire une recherche et que le moteur suggère un médecin ou une pathologie.

Impossible de faire des specs en l’état : le nombre de cas de figure est illimité. Il convient donc de revenir à la source et de se demander : c’est quoi un bon auto-complete ? Réponse : on a envie que le patient trouve ce qu’il cherche.

• Premier indicateur donc : le taux de clic. Le nombre de personnes qui cliquent sur une suggestion. OK, mais cela ne prend pas en compte l’effort de l’utilisateur.

• Deuxième indicateur à ajouter : le rang de l’item cliqué. La lecture se faisant de haut en bas, l’objectif est que le modèle positionne le bon résultat le plus haut possible.

OK, mais si l’utilisateur doit taper 90 % de sa recherche avant de se voir suggérer le bon résultat, cela n’est pas forcément très utile.

• Troisième indicateur : le nombre de caractères écrit par l’utilisateur avant qu’il clique sur son résultat.

“Et voilà, en faisant ce travail de décorticage, tu te retrouves avec les 3 indicateurs qui te permettront de mesurer si ton auto-complétion fonctionne bien ou non. Qu’il y ait de l’IA ou pas dans le produit, la rigueur doit rester la même, estime Martin. D’ailleurs, on pense y ajouter de l’IA plus tard et les indicateurs resteront les mêmes.”

Conclusion : IA ou non, il est primordial pour les Product Managers de garder un haut niveau d’expertise dans la capacité à traduire la proposition de valeur du produit en indicateurs mesurables.

2- Les données ne font pas une stratégie (et conduisent parfois à prendre de mauvaises décisions produit)