Erreurs, confidentialité, formation : quels garde-fous à l’IA dans le conseil ?

Une accélération nette du recours à l’intelligence artificielle, en particulier depuis la mise à disposition publique de ChatGPT : tel était le constat clair établi par le Boston Consulting Group et une série de professeurs d’université d’Harvard, de Wharton, de Warwick ou encore du MIT lorsqu’ils ont testé les impacts du recours à l’IA auprès des consultants du cabinet au printemps dernier.

Les cabinets tombent-ils dans une utilisation illimitée ?

À l’aune de cette expérience, il était évident pour eux que l’IA est arrivée à une « frontière technologique » mouvante : en deçà de cette frontière, l’IA est a priori une aide ; au-delà, elle est une source d’erreurs ou d’appauvrissement. Gare à « une utilisation illimitée et sans contrôle » de l’IA, mettait en garde Michael Brigl, le patron du BCG pour l’Allemagne, l’Autriche et la Suisse, à l’issue de cette expérimentation

à lire aussi

Manuel de survie

L’IA, une grande aide, surtout pour les consultants les plus faibles

L’intelligence artificielle est-elle un atout pour le travail des consultants ? Ou représente-t-elle un risque d’erreurs et d’appauvrissement ? 758 consultants du BCG se sont livrés à une expérience grandeur nature, dont les conclusions viennent d’être rendues publiques.

Et pourtant, à certains égards, les cabinets semblent accélérer fort sur les recours à l’IA, en faisant fi de ces précautions d’usage. L’IA serait devenu en quelques mois aussi nécessaire qu’Excel et PowerPoint. Les usages ne se comptent plus : recherche documentaire, transcription écrite, recherches sectorielles, veille, rédaction de cahiers des charges en réponse à des appels d’offres, recherche de risques et opportunités, agrégation de données dans des tableurs, knowledge management, génération de présentations PowerPoint toutes faites… IA, IA, IA, IA !

L’IA, une turbine à erreurs

Ce qui ne va pas sans son lot de questions et d’inquiétudes. Au premier chef sur les erreurs que commettent les IA. « Nous interdisons pour l'instant les retranscriptions de réunions avec des outils d’IA parce que nombre d'entre eux attribuent mal ou pas du tout les propos des uns et des autres. A fortiori, ces retranscriptions ne hiérarchisent pas les informations. Cela donne des retranscriptions sans direction ni relief », illustre Guillaume Tellier, partner et responsable du data lab de Mawenzi partners, l’unité qui coordonne la politique de recours à l’IA au sein du cabinet.

Une politique qui se veut pour l’heure plutôt restrictive. Le cabinet se montre en effet prudent, d’abord pour s’assurer de la confidentialité des données fournies à l’IA. Car Mawenzi, comme nombre de ses confrères, ne peut pas prendre le risque de rompre la confidentialité des données transmises par ses clients en les passant à la moulinette de X ou Y outils automatisés, sans être sûr des conditions d’hébergement de ces données. Or, peu d’outils sont transparents sur ces conditions à date. « Beaucoup d’outils ne sont pas du tout clairs sur l'hébergement des données et la confidentialité », abonde Guillaume Tellier.

« Toute l’année 2023 a été consacrée au test d’outils pour étudier tous les cas d’usages envisageables dans notre activité à ce stade. Nous en avons tiré une liste de do et don’t. Elle est évolutive, car nous sommes en veille constante et nos règles sont amenées à évoluer », résume Guillaume Tellier.

Dans ce qui est autorisé aux consultants à ce stade : la synthèse de documents et la génération de bouts de codes. « Pour que les consultants ne passent plus des dizaines d’heures à dépiauter des documents. C’est du temps libéré consacré à la réflexion, et cela leur permet de monter plus vite en compétences », appuie Guillaume Tellier.

Puis, c’est tout.

Un usage restrictif et évolutif

Pour les études de marché, « comme ChatGPT ou les outils équivalents sourcent les données sur Internet globalement, nous avons de gros problèmes de fiabilité, avec des chiffres partiels ou erronés. Nous recommandons aux consultants de ne les utiliser que pour aiguiller leurs recherches ».

Ne pas prendre pour argent comptant les résultats générés par deux ou trois requêtes dans ChatGPT ou équivalent. Ce qui pour Thibaut Lacour, senior manager spécialiste des sujets énergie chez Corporate Value Associates et nouvellement promu head of IA, ne change pas grand-chose par rapport à ce qui pouvait prévaloir avec des recherches préliminaires faites dans des moteurs de recherche classiques.

« Ce n’est pas très différent de quand un consultant faisait des recherches Google préliminaires sur, par exemple, les pompes à chaleur vendues aux États-Unis. Les premiers résultats sont souvent des rapports payants qui donnent leur avis sur tout. Un consultant peu consciencieux peut copier-coller quelques chiffres avec la mention “CVA analysis”. Mais cela témoigne d’un manque de rigueur total et ce consultant sera incapable de défendre ses chiffres si le client veut lui rentrer dedans à ce sujet », analyse Thibaut Lacour.

Autre limite dans le cas de Mawenzi, les profils de sociétés que le cabinet établit, notamment en amont des rendez-vous avec des prospects commerciaux : des profils tout faits générés par des IA ne sont pas de grande valeur et doivent seulement être utilisés comme un faisceau parmi d’autres. Ils doivent faire in fine l’objet d’une synthèse humaine à valeur ajoutée.

Deux autres contraintes, choisies ou subies, limitent l’élargissement des recours à l’IA. La première est surprenante auprès d’un public jeune et a priori tech friendly : « Certains consultants n’ont pas le réflexe IA et montrent une certaine résistance au changement, comme on pouvait le constater dans un premier temps avec la data science », témoigne Guillaume Tellier.

La seconde est l’investissement que représentent ces différentes technologies. Chacune a un coût dont le retour sur investissement dans le modèle économique des cabinets de conseil n’est pas toujours démontré ou évident pour le moment.

Une méthodologie stricte et évolutive, qui fait le tri entre des outils OK et des outils pas OK : voilà pour résumer l’approche retenue par Mawenzi. Quand Singulier de son côté prône le cas par cas en fonction des profils de consultants, un peu comme le mettait en exergue l’étude BCG – Harvard (voir plus haut en introduction de l’article) selon laquelle l’IA pouvait franchement bénéficier aux uns et clairement nuire aux autres.

La question cruciale de l’évolution des modèles et des formations

Comme le dit Rémi Pesseguier, le CEO de Singulier : « L’IA, pour des gens talentueux, est un enabler pour aller plus vite. En revanche, si le profil est fragile, c’est une menace. Ce qui en creux pose la question de la formation. »

C’est en effet une des interrogations les plus récurrentes sur les dangers de l’IA dans le conseil : le grand remplacement des consultants, tout comme il fut redouté avec le développement des plateformes.

À l’instar de cette diplômée de l’EDHEC, gentiment remerciée par une grande banque française, où elle était en mission pour son cabinet de conseil. La banque lui a indiqué que ses tâches pouvaient être faites par l’IA, un peu moins bien certes, mais pour un coût nettement inférieur.

C’est aussi ce qu’explique anonymement à Consultor un consultant en stratégie chez EY en Belgique depuis que la firme a rendu accessible en octobre une sorte de ChatGPT interne : « Depuis que c’est sorti, je l’utilise quasi tous les jours. La conséquence est que des consultants juniors sont sortis de l’équipe qui est désormais plus restreinte. Et je ne suis pas sûr que le management ait pris pour l’heure pleinement conscience des impacts de l’IA sur le business model sur lequel sont assis les cabinets de conseil », dit-il.

Tout doux sur les fantasmes

Calme, réalisme et lucidité, plaident à l’unisson Thibaut Lacour chez CVA et Guillaume Tellier chez Mawenzi. « Nous ne croyons pas une IA toute puissante dans un avenir proche. Cela restera un outil spécifique, plus puissant sur certaines tâches, mais l’humain restera essentiel. L’objectif est plutôt qu’humain et machine ne fassent pas 1 +1= 2, mais 1 +1=10 », défend Thibaut Lacour.

Et de donner l’exemple d’un jeune diplômé de HEC qui fait ses débuts sur le sujet de la filière nucléaire française : « Il aura beau avoir la tête très bien faite, il n’en débarquera pas moins sur Mars. Ce sera charge à moi de le faire monter en compétences. Mais, cela dit, s’il peut aussi le faire parallèlement avec ChatGPT, ce sera un gain de temps. »

Même son de cloche chez Mawenzi : « Le cœur de métier du consultant en stratégie s’apprend essentiellement par l’expérience », dit Guillaume Tellier. Si ce dernier anticipe peut-être une accélération de certains parcours, il ne table pas sur un « encapsulage des grades » qui résulterait d’une séniorisation rapide des juniors.

En attendant, chez Mawenzi, un nouveau brief des consultants est prévu tous les mois sur l’IA. Avec l’introduction petit à petit de nouveaux outils sur la liste des outils autorisés.