Comment leboncoin dope drastiquement l’efficacité de ses petites annonces grâce à l’IA

Depuis 5 ans, le n°2 du e-commerce en France multiplie les fonctionnalités basées sur du machine learning et de l’IA générative pour faciliter le dépôt d’annonces en ligne. Avec des résultats déjà perceptibles. Reportage dans les bureaux parisiens de leboncoin, un fleuron tech et produit paradoxalement méconnu.

⌛ 12 minutes de lecture avec de grandes annonces

🎫 Les membres Premium du Ticket ont un accès intégral à cet article

 ✉️ Article issu du Ticket n°123

---

Ce que tu vas apprendre dans cet article sur les coulisses du déploiement de l’IA dans le produit de leboncoin :

1-IA implicite vs explicite : pourquoi leboncoin choisit parfois de rendre l’IA transparente pour les utilisateurs

2- Avec l’IA générative, le prompt devient le coeur de la fonctionnalité

3- Les techniques mises en place par leboncoin pour rendre les Product Managers autonomes sur le prompting

4- L’enjeu de l’évaluation : entre complexité de trouver le bon indicateur, annotation humaine et LLM as a judge

5- Le choix du modèle : un compromis entre performance, coût et rapidité

---

Un tremblement de terre. Ce jeudi 9 octobre, jour de notre reportage sur place, les équipes de leboncoin ne parlent que de ça dans les couloirs : le départ d’Antoine Jouteau, dirigeant historique de la plateforme, 16 ans de maison dont 10 à sa tête.

L’homme qui a transformé ce qui n’était, à l’origine en 2006, que la déclinaison hexagonale d’un site de petites annonces suédois en un géant, le 2e site d’e-commerce en France derrière Amazon. 

Les chiffres donnent le vertige : plus de 30 millions d’utilisateurs uniques chaque mois, 800 000 annonces publiées chaque jour, 110 millions de transactions par an (soit près de 50 % de plus que Fnac-Darty, Web et magasins cumulés) et environ 550 millions de CA en 2023.

Notre métier ? Mettre en relation ! Ce n’est pas un slogan, c’est une fonction profondément humaine : connecter les gens, créer des opportunités, rendre optimiste. C’est ça, leboncoin”, résume-t-il dans sa publication Linkedin d’au revoir.

Le paradoxe ? Derrière ce qui constitue à l’évidence l’un des plus beaux succès tech français, leboncoin reste relativement peu identifié… pour ses innovations produit.

Le fruit d’une culture jusqu’à présent peu loquace en externe - ce qui est en train de changer, on va y revenir. Mais également d’un parti pris sur le produit en lui-même : la simplicité. Une évidence quand on est utilisé par la moitié des Français, des plus technophiles aux novices de l’Internette.

Cela a notamment été incarné par le titre de la conférence de Martin Berthonneau, son Chief Product Officer, lors de la dernière édition de La Product Conf, en mai dernier : Innover discrètement, impacter massivement. Notamment en matière d’IA.

On a déployé le premier modèle de machine learning pour la modération d’annonces dès 2014. (...) Mais on a toujours raisonné en termes d’IA implicite, afin que les utilisateurs n’aient pas à en supporter la complexité, explique Martin, en interview au Ticket.

Le CPO donne un chiffre étonnant : leboncoin compte aujourd’hui 80 cas d’utilisation de l’IA au sein de son produit ! Très loin devant la grande majorité de l’écosystème selon notre étude récente sur la question. “On a généralement du mal à nous croire quand on le dit tellement on a réussi à la rendre transparente”, sourit-il.

Aujourd’hui, sur les 1 500 employés de la plateforme, la moitié font partie de l’équipe Product & Tech dont une centaine qui travaillent sur l’IA, notamment 25 Data Scientists et Machine Learning Engineers.

On retrouve ainsi du Machine Learning, du Deep Learning ou encore de l’IA générative au service client (⅓ des tickets automatisés), dans la recherche (avec la personnalisation du contenu par exemple) ou dans le dépôt des annonces.

Avec, dans ce dernier cas, des résultats tangibles : grâce à l’IA et quelques fonctionnalités d’automatisation, le taux de complétion d’une annonce (% de personnes qui vont au bout du processus de publication) est passé de 90 % à 96 % en 5 ans, tandis que l’efficacité des annonces (nombre de contacts et de transactions) s’est accrue de 20 %. Rapporté au volume quotidien de leboncoin, on te laisse imaginer l’impact business généré…

Ouvrons le capot afin de voir comment les équipes ont procédé concrètement.

Le dépôt d’annonces : un “cercle vertueux” au coeur du modèle de leboncoin

Comme on peut le voir dans le schéma ci-dessous, le dépôt d’annonces est une étape cruciale pour leboncoin, tant la mécanique qu’elle engendre se répercute directement sur le modèle économique de la plateforme.

D’où le nom du département produit qui s’en occupe : “cercle vertueux”. Une équipe horizontale qui s’occupe également de la recherche, l’authentification, les outils internes pour le service client, la modération ou encore le CRM. Bref, le cœur du réacteur de leboncoin.

Présente dans l’entreprise depuis 2016, Julia Langlois s’est occupée pendant 4 ans du dépôt d’annonces au sein de la squad dédiée, appelée “Ad Life”. La vision produit de son équipe ? Le dépôt en un clic. Une image à télécharger et hop, l’annonce se crée toute seule.

Un idéal, volontairement utopique, qui donne toutefois une direction globale : la suppression un à un de tous les obstacles à la création d’une annonce. 

L’objectif est de faire gagner du temps aux vendeurs, tout en proposant des annonces de meilleure qualité, afin, in fine, que cela génère plus de transactions et donc un impact business pour nous”, résume la Senior Product Manager.

En 2020, Julia et son équipe s'attaquent au premier bloqueur, au tout début du parcours : le choix de la catégorie de l’objet du vendeur, parmi les 75 que comptent la plateforme.

La solution ? Un modèle de machine learning qui suggère automatiquement la bonne catégorie en fonction du titre indiqué par le vendeur. Résultat : 1 point de conversion gagné ! (rappelons que l’équipe part déjà de haut, 90 % de taux de complétion).

Fort de ce premier succès, la squad multiplie alors les initiatives similaires les années suivantes. Suggestion de prix, prédiction du poids d’un colis, recommandation de paramètres sur la base du titre et de l’image de l’annonce… Toujours avec des algorithmes de machine learning en arrière plan. Et toujours avec ce principe d’IA implicite, invisible aux yeux des utilisateurs.

Des fonctionnalités basées sur des API tierces (sans IA) sont également venues nourrir cet effort de simplicité en automatisant certains processus. Par exemple, en scannant le code-barres d’un livre ou le numéro de plaque d’immatriculation d’une voiture.

“En 5 ans, on a drastiquement réduit le temps moyen de dépôt d’une annonce, qui est aujourd’hui inférieur à 2’30 minutes, tandis que le Net Promoter Score (NPS) n’a cessé de croître”, indique Julia.

La description automatique : le passage à l’IA générative

En 2024, cette dernière s’attelle à un gros morceau : le texte de description de l’annonce. Afin de résoudre le sempiternel problème de la page blanche pour les vendeurs, qui se termine bien souvent par un lapidaire “bon état” ou… “à vendre”.

On a testé la suggestion de mots clés, une solution sans IA qui avait l’avantage de la simplicité. Mais clairement, cela ne faisait envie à personne donc on a rapidement abandonné cette piste”, confie Julia.

Qui décide donc plutôt d’utiliser l’IA générative. Il faut dire qu'en février 2024, le comex a justement fait un workshop spécifique sur l'enjeu que représente l'émergence de ChatGPT et consorts pour leboncoin. "L'idée n'est pas de faire de l'IA pour faire de l'IA, il faut que cela réponde à de vrais besoins utilisateurs" assure Eva Corba, sa Product Strategist.

L'intégration de l'IA générative dans le dépôt d'annonce ? Très rapide, grâce aux modèles disponibles sur étagère (Claude Haiku et l'infrastructure AWS Bedrock en l’occurrence). Débuté durant l’été, le MVP de cette fonctionnalité sort quelques mois plus tard, en octobre 2024. “Ce qui a pris le plus de temps, c’est la partie prompting et testing”, précise Julia.

Et pour cause : la première expérimentation s’est révélée… cata ! Avec son binôme à l’UX, Nafi Cissé, elle imprime en effet des premiers exemples de description générée par IA et les montrent à des utilisateurs. Leurs avis ? “Trop formel”, “trop verbeux”, “cela ressemble plus au texte d’un catalogue de produits”, “où est la touche humaine ?”.

“leboncoin n'est pas n'importe quelle plateforme de petites annonces – elle a son propre langage unique. Il s'agit de paraître naturel, comme une vraie personne vendant ses affaires à une autre vraie personne. Chaque itération devait nous rapprocher du ton parfait leboncoin : concis mais complet, informatif mais conversationnel”, écrit Julia dans cet article sur les coulisses de cette fonctionnalité.

Elle découvre à cette occasion l’une des grandes différences entre un produit classique et un produit avec de l’IA générative : la base de la fonctionnalité n’est pas le parcours en soi mais ce qu’il y a derrière, le prompt. L’instruction donnée au modèle.

Bon côté : les itérations se font plus rapidement. Quelques heures suffisent. Mauvais côté : c’est un peu la boîte noire ! Les investigations sont plus longues et il est parfois difficile de comprendre pourquoi un résultat n’est pas satisfaisant, avec ces modèles non déterministes.

“Avoir des Data Scientists au sein des équipes change tout de ce point de vue”, ajoute-t-elle. En effet, à l'origine, la data est une équipe centrale chez leboncoin, qui répond ponctuellement aux besoins des différentes squads.

Mais on voyait bien que l’IA devenait indispensable à notre écosystème et qu’il fallait passer au niveau suivant. En 2023, on a alors commencé à décentraliser la data science et les Machine Learning Engineers dans les Features Teams. Pour une bonne et simple raison : une fois acculturées à l’IA, ces dernières ont des besoins permanents !”, assure Martin Berthonneau.

“Top, faut qu’on accélère !”

En octobre 2024, la fonctionnalité est déployée sur Android et sur trois catégories ne nécessitant pas forcément une description très poussée (jeux vidéo, jeux et jouets et électroménager).

Le résultat est au-delà des espérances. Plus de 20 % des utilisateurs commencent à générer leur description de la sorte et leurs annonces… génèrent 20 % de contacts ou de transactions en plus que les autres !

Si 60 % modifient le texte après coup, ce qui est le but, l’IA ne peut pas tout savoir avec les inputs à sa disposition (durée de garantie, raison de la vente etc.), seulement 10 % le suppriment totalement. Sans compter le gain du grand prix de l’innovation de la fédé du e-commerce - sympa, même si cela ne vaut pas les Product Awards 😅.

Même la partie conformité légale, un obstacle majeur généralement quand on parle d’IA générative (confidentialité des données, hallucinations…), se révèle fluide.

Cela peut surprendre mais, d’une part, l’équipe juridique était très enthousiaste sur ce projet. Et, d’autre part, on l’a intégré dès le début en lui partageant les modèles utilisés et les contrats et en faisant tester la fonctionnalité tous les 15 jours à notre référent juridique à la Tech et au produit”, partage Julia.

La réaction de la direction ? Top, faut qu’on accélère ! Sauf que, là encore, le passage à l’échelle d’une fonctionnalité IA n’est pas aussi simple. En l’occurrence, s’ouvrir à de nouvelles catégories implique de revoir à chaque fois le prompt. Les critères sont en effet très différents entre une annonce pour vendre sa Nintendo Switch et son T3 de 92 m2 à Maubeuge.

D’autant que, en janvier dernier, Julia change de périmètre et rejoint le département immobilier justement. Tandis que, en juin, l’ex Data Scientist Pauline Minary rejoint en tant que Senior AI Product Manager la squad Cognition, une équipe composée uniquement de Machine Learning Engineers dédiée au dépôt d’annonces. 

C’est avec elle et son collègue Jérémy Chamoux, AI Engineering Manager, que nous allons poursuivre l’histoire, en abordant plus précisément les nouvelles compétences nécessaires demain pour les Product Managers : le prompting et l’évaluation des modèles.

LLM as a judge, Langsmith et évaluation humaine