L’IA dans les équipes produit : Quel est le vrai état du marché ?

L’écosystème produit est-il à la pointe ou à la ramasse en matière d’intelligence artificielle générative ? Réponse (avec un poil plus de nuances 😅) avec la première grande enquête sur le sujet menée par Le Ticket auprès de plus de 1 000 participant·es.

⏳ 12 minutes de lecture sans hallucination

 ✉️ Article issu du Ticket n°115

---

TL;DR – Les 7 enseignements majeurs de l’enquête IA et produit : 

1- Environ 20 % de personnes à l’aise et un bon tiers de personnes novices

2- Productivité : une utilisation interne très fréquente, très diversifiée (+ 15zaine de cas) et plutôt efficace

3- Outils utilisés : les modèles généralises plutôt que les spécialistes

4- IA au sein du produit : la majorité a commencé il y a moins d’un an

5- Les freins au développement : Les compétences internes et la sécurité 

6- Shadow IA : 70 % utilisent leurs comptes perso d’outils d’IA au travail

7- Des équipes produit enthousiastes mais pas béates sur les conséquences de l’IA (notamment environnementales)

---

La petite histoire derrière la 1ère grande enquête sur l’IA & les équipes produit

Il y a Linkedin et la vraie vie. D’un côté, on voit pulluler sur notre réseau social adoré les promesses de nouveaux prompts (“ultimes”, il va s’en dire) et autres hacks de déglingos (emoji fusée) avec l’IA. Tous les jours, un nouveau modèle, un nouvel outil révolutionnaire, une nouvelle licorne peuplée de 12 personnes. 

De quoi se prendre un FOMO permanent.

De l’autre, des retours d’expérience de personnes qui galèrent avec leurs données, avec la sécurité de leurs outils, avec des acronymes barbares (LLM, RAG, MCP…). L’impression d’être largué·e. De prendre du retard.

Où se situe la vérité ? Qui fait quoi (vraiment) dans sa boîte ? En un mot : quel est le vrai niveau global en IA des équipes produit ?

Rendre publique une info privée

Cette question, on se l’ai posée tout au long du premier semestre au Ticket, en réalisant nos émissions “C’est pas SorciAI”. Et comme on ne trouvait pas l’information… on a décidé de la “créer” !

Au sens : de la rendre accessible. En centralisant via un sondage les réalités uniques de chacun et chacune afin d’en révéler des tendances globales. Comme on l’avait fait l’an passé pour la stack d’outils des équipes produit.

C’est notre force autant que notre raison d’être en tant que média. C’est également notre contribution à l’écosystème : partager une info d’intérêt général et exclusive qui aide tout le monde à se situer et à progresser. Quand on se regarde, on se désole, quand on se compare, on se console.

L’IA générative comme focus

Merci au passage aux autres acteurs de l’industrie (Le Hub de Bpifrance, Maestro, Noé, Pachamama, ProductInCorp, The Product Crew) qui ont relayé le sondage et ont permis de dépasser le cap des 1 000 répondant·es (1 031 exactement), ce qui rend l’étude d’autant plus représentative et significative. 

• Essentiellement des pros du Product Management (80 %), mais également des Product Designers et des Product Marketers
• De tout type d’organisation, de la startup (53 % des participant·es = moins de 200 employés) au grand groupe (21 % = + de 1 000 employés)
• Avec une parité proche (48 % de femmes et 51 % d’hommes)

On pourra nous reprocher de ne parler ici que d’IA générative, qui n’est, rappelons-le, qu’une couche de l’IA. Certes. Mais c’est la porte d’entrée aujourd’hui de beaucoup d’équipes produit. Un choix réducteur assumé qui permet d’obtenir des réponses plus précises et claires, donc plus interprétables. Et actionnables, espérons-le !

Allez, en route pour les 7 enseignements clés de l’étude.

1- Niveau en IA de l’écosystème produit : Une (grande) marge de progression

📌 TL;DR : Un écosystème composé d’environ 20 % de personnes à l’aise et un bon tiers de personnes novices

Comment mesurer la maturité IA des équipes produit ? Première approche par le biais d’une auto-évaluation de la communauté. Résultat : une majorité (51 %) s’estime dans la moyenne tandis que plus d’un quart (26 %) se sent à la ramasse.

Notons ici que la taille de l’entreprise n’est pas un facteur déterminant… contrairement au genre (seulement 14,5 % des femmes s’estiment supérieures à la moyenne contre un tiers inférieures à la moyenne).

Sauf qu’on avait de la suite dans les idées. À la fin du sondage, on a posé 9 questions sur le niveau de maîtrise réel de grandes compétences en IA (techniques de prompting, évaluation d’un modèle, RAG etc.). 

Et on a comparé les deux résultats. Afin de déceler la part d’esbrouffe dans cette auto-évaluation éminemment subjective.

L’IA, un sujet de développement important… mais pas forcément prioritaire

On en retient 3 éléments : 

1️⃣ La majorité (63 %) est lucide et s’évalue correctement (c’est-à-dire que celles et ceux qui se disent inférieurs à la moyenne par exemple ont en effet des résultats aux 9 questions finales inférieurs à la moyenne).

2️⃣ Étonnement, il n’y a pas de sous-estimation généralisée : on retrouve autant de personnes qui se sous-estiment (49,5 %) et qui se surestiment (50,5 % = esbrouffe).

3️⃣ Enfin et surtout : il y a encore du boulot niveau éducation ! On a ainsi été surpris de constater que 35 % ne connaît “pas du tout” les meilleures pratiques de prompting, 42 % ne sait pas ce qu’est un RAG (Retrieval-augmented Generation) ou que 49 % ne sait pas du tout comment évaluer un modèle d’IA générative.

Des chiffres qui risquent de baisser sûrement… mais lentement. La montée en compétences d’ici la fin de l’année sur l’IA générative n’est qu’une priorité absolue pour moins d’un cinquième des répondant·es (20 %). Moins que le nombre de personnes qui indiquent vouloir se former “mais que ce n’est pas prioritaire” (24 %).

Notons, là encore, un écart de genre significatif : les hommes en font plus leur priorité absolue que les femmes (24 % vs 15 %).

2- IA & Produit : quels cas d’usage ?

📌 TL;DR : Les équipes produit qui utilisent l’IA générative le font de manière très fréquente et pour des cas extrêmement diversifiés (+ 15zaine ressortent). Avec des effets significatifs sur leur productivité.

Passons aux utilisations tangibles de l’IA au sein des équipes produit. Premier apprentissage : l’équilibre quasi parfait entre un usage uniquement pour augmenter sa productivité (45 %) et un mix “productivité + intégration de l’IA dans son produit” (46 %). 

Notons que près de 10 % des Product Managers n’utilisent pas l’IA générative aujourd’hui dans leur travail.

OK et CONCRÈTEMENT que font les équipes produit avec l’IA générative ? Des mails, des CR de réunions, de la discovery & entretiens utilisateurs… Entre autres ! Les cas sont extrêmement variés.

Intéressant de constater également à quel point l’IA générative est devenue aussi rapidement centrale dans le travail de celles et ceux qui l’utilisent pour accroître leur productivité : 8 personnes sur 10 en font un usage quotidien (dont 65 % plusieurs fois par jour).

Avec de réels effets positifs sur la productivité ? Oui, pour l’immense majorité des répondant·es (Entre 10 et 20 % de gain pour 54 % et plus de 20 % pour 40 %). 

Petite pensée au passage pour les 3 personnes qui estiment que l’IA générative les rend moins productives…

3- Quels sont les outils d’IA utilisés par les équipes produit ?

📌 TL;DR : Même chez les pros, les outils généralistes restent loin devant les outils spécifiques.

Oh, quelle surprise ! ChatGPT est l’outil plébiscité des équipes produit (en version payante légèrement devant celle gratuite). 

Derrière, les inévitables Gemini de Google, Claude d’Anthropic et le “moteur de réponses” Perplexity. Les Européens arrivent en force ensuite avec l’outil de traduction DeepL, celui de vibe coding Lovable ou encore Le Chat de Mistral et Dust.

En croisant les données, on s’est aperçu de quelques apprentissages instructifs : 

• En proportion, les startups (1 à 50 employés) utilisent plus la version payante de ChatGPT (68 %) tandis que les grandes entreprises (+ 1 000 employés) sont plus adeptes de la version gratuite (59 % contre 38 % pour la version payante)
• L’écart start-up / grand groupe est encore plus marqué pour Lovable, l’outil de vibe coding : 24 % vs 8,5 % !
• Les équipes qui se sont le plus appropriées Lovable justement ? Les designers (33 %) nettement devant les Product (18 %). Fait surprenant, plus on monte dans la hiérarchie, plus l’usage est élevé : 29 % des CPO déclarent l’utiliser mais seulement 23 % des Senior Product Managers ou 12% des Product Owners

On a tenté une petite escapade hors du monde pro pour savoir si, à titre perso, les équipes produit payaient des abonnements à ces outils (qui ont, pour l’heure, des versions gratuites assez étendues : acquisition, acquisition !).

C’est le cas pour plus d’un tiers des personnes. Mais avec un budget limité : moins de 30 € par mois soit l’équivalent d’un abonnement à un seul outil.

4- Mettre de l’IA générative dans son produit : une pratique encore précoce mais prometteuse

📌 TL;DR : La majorité des équipes produit ont commencé à mettre de l’IA dans leur produit depuis moins d’un an. Parfois pour répondre à un objectif business, parfois… pour suivre la hype !

On l’a vu, une petite moitié (45 %) des équipes produit ne se contentent pas d’utiliser l’IA générative pour un usage interne afin d’améliorer leur productivité, mais l’intègrent directement au sein de leur produit.

Creusons cette utilisation spécifique.

D’emblée, un mot nous vient à l’esprit : défrichage. Plus de la moitié des équipes produit (55 %) ont en effet commencé à travailler sur une fonctionnalité avec de l’IA générative depuis moins d’un an. Seulement 19 % ont mis les mains dedans depuis plus de 2 ans. 

De quoi calmer l’ardeur des recruteurs qui indiquent 2 ans d’XP en IA générative dans leur fiche de poste… et faire péter les grilles salariales pour la minorité qui les possèdent vraiment !

D’après l’ensemble du panel de répondant·es, 42 % des organisations n’ont pas encore déployé en production la moindre fonctionnalité d’IA générative. 

Dit autrement : la majorité des orga (58 %) ont déjà mis en prod’ une fonctionnalité avec de l’IA gen. 22 % en ont même déjà sorti plus de trois.

Un impact business de l’IA déjà réel

Avec quels objectifs ? Essentiellement de l’amélioration de l’expérience utilisateur (64 %) ou de la réduction de coûts opérationnels (47 %), par exemple une automatisation partielle du service client.

On convient que cette question peut prêter à interprétation : une amélioration de l’expérience utilisateur peut indirectement se traduire par une augmentation de la rétention et, in fine, du chiffre d’affaires.

Toutefois, elle a le mérite de révéler en creux les postures de certaines organisations qui utilisent l’IA plus pour suivre la hype que pour répondre à de vrais enjeux business (en tout cas d’après leurs équipes).

Ainsi, près d’un quart (23 %) des répondant·es estiment que le but des fonctionnalités IA de leur orga est de faire de la com’… voire qu’il s’agit simplement d’une réponse à une demande externe (20 %), du market’, des investisseurs ou de la direction.

Finissons par parler pépettes. On a été surpris de constater à quel point ces fonctionnalités IA déployées ont eu, d’après les équipes produit, un impact business légèrement (43 %) ou extrêmement positif (21 %) positif. Surtout quand, dans le même temps, le MIT affirme que seules 5 % des initiatives d’IA générative produisent une réelle accélération des revenus.

Pour du défrichage, c’est un bon ratio. Même si nous n’avons pas creusé la question du ROI, qui nous semblait encore un brin prématuré pour cet usage encore émergente. Et qu’un quart des personnes indiquent qu’elles ne savent pas mesurer l’impact business de ces fonctionnalités…

5- Quelle est la stratégie IA des organisations de l’écosystème ?

📌 TL;DR : Le manque de compétences internes et les problèmes de confidentialité / sécurité sont les principaux freins au développement de l’IA en interne.

Tournons désormais le projecteur vers les organisations. Avec une première question, avouons-le, un peu racoleuse. 

En demandant aux équipes d’évaluer la maturité IA de leur boîte, les fourbes que nous sommes cherchions en réalité à connaître la part de personnes qui trouvent que leur orga est à la ramasse. Résultat : 23 %.

Autre donnée qui peut prêter à débat : l’équipe qui pousse le plus pour investir sur l’IA générative. La direction vient logiquement en premier (59 %) devant… l’équipe produit (48 %). Fayots ! Une question qui mériterait d’être posée aux autres fonctions afin d’avoir un son de cloche peut-être différent 😅

Assurément plus intéressant : les principaux freins à l’utilisation de l’IA au sein de son orga. À savoir essentiellement le manque de compétences internes (42 %) et les problèmes de confidentialité / sécurité (42 %).

Par ailleurs, l’achat de licences d’outils IA (61 %), l’intégration d’une composante IA dans la stratégie (40 %) ainsi que l’organisation de conférences internes (38 %) font partie des actions concrètes les plus mises en place dans les entreprises.

6- Le grand risque du « Shadow IA » 

📌 TL;DR : 70 % des équipes produit utilisent leurs comptes perso d’outils d’IA générative au travail… et 55 % d’entre elles y manient des données utilisateurs ou business.

Le Shadow IT, le fait d’utiliser des outils dans son boulot sans l’autorisation de son employeur, est une pratique aussi vieille que l’informatique. 

Elle prend toutefois une autre dimension avec l’essor de l’intelligence artificielle générative, avec le risque majeur de fuite de données confidentielles. Une mésaventure arrivée, entre autres, à Samsung début 2023, alors que des ingénieurs avaient partagé des données sensibles de l’entreprise (code source, notes de réunions)… en les copie-collant dans ChatGPT pour vérifier qu’il n’y avait pas d’erreurs !

D’où l’émergence de l’expression de “Shadow IA” (ou en français “IA fantôme” bouh 👻 ou “en cachette”).

Une partie du questionnaire y était consacrée pour essayer d’estimer l’ampleur d’un agissement par définition discret.

Déjà, notons que plus de la moitié des organisations imposent des restrictions partielles (31 %) ou totales (23 %) sur l’utilisation d’outils d’IA générative.

Et à la question “Te sers-tu de tes comptes personnels pour utiliser l’IA générative dans ton travail ?”, la sentence tombe : oui à plus de 70 % ! Dont la majorité (41 %) souvent ou tout le temps.

Intéressant de noter que, étonnement, la politique restrictive ou permissive de l’entreprise n’a quasiment aucun impact sur l’utilisation ou non de comptes personnels. Autrement dit, ce n’est pas parce qu’une organisation va interdire des outils… que les salariés ne vont pas les utiliser pour autant !

Toutefois, il y a une différence importante : la fréquence d’utilisation. Dans les entreprises restrictives, moins d’un cinquième des équipes utilisent leurs comptes personnels « tout le temps ». On passe à près de 30 % dans des contextes sans restriction. C’est-à-dire que la restriction ne bride pas l’accès mais la fréquence d’utilisation.

Ces éléments donnent un premier aperçu de l’enjeu. Mais ce n’est pas tout. On a mis les pieds dans le plat en demandant à ces 70 % s’ils utilisaient des données utilisateurs ou business avec leurs outils d’IA perso. Pas dupe que certaines personnes travestiraient quelque peu la réalité.

Et bien on a été très surpris du niveau de franchise : 54 % confient que c’est le cas !

Dit autrement, près de 40 % des équipes produit utilisent des données de leur entreprise avec leurs comptes perso d’outils d’IA générative dans leur travail.

Peut-être qu’elles prennent des précautions (anonymisation, modification des paramètres pour ne pas que les robots s’entraînent sur ces données…). Toujours est-il que l’info risque de faire tomber de leur chaise les responsables légaux et compliance des organisations.

Allez, pour les aider, on leur partage cette super enquête réalisée en juin dernier par l’Institut national de recherche en informatique et en automatique (Inria) et le groupe de data scientists datacraft.

7- Des équipes produit enthousiastes… mais pas béates face à l’IA

📌 TL;DR : Ce n’est pas parce qu’une grande majorité des équipes produit sont enthousiastes face à l’IA qu’elles n’en demeurent pas préoccupées par ses conséquences (notamment environnementales).

En guise de dernière section, on a voulu prendre un pas de recul pour connaître le sentiment général de la communauté par rapport à l’IA générative.

Première surprise : on s’attendait à voir plus de rejet. Or une infime minorité est très (2 %) ou plutôt (5 %) réfractaire à l’IA. La majorité étant enthousiaste (47 %) voire très enthousiaste (20 %).

Malgré tout, enthousiasme ne veut pas dire candide. L’IA générative préoccupe l’ensemble des répondant·es, à commencer par son impact environnemental (69 %), son pouvoir de manipulation (58 %) et ses hallucinations (54 %).

Une préoccupation qui concerne également leur boulot : 63 % ressentent de l’inquiétude sur l’évolution de leur métier. Non négligeable.