L’IA, une grande aide, surtout pour les consultants les plus faibles

Au printemps, le Boston Consulting Group et une série de professeurs d’universités (Harvard, Wharton, Warwick, MIT) ont convié une bonne partie des consultants du cabinet à se livrer à une expérience assez inédite.

Les participants étaient invités, sur des durées d’exercice déterminées, à apporter leurs réponses à deux business cases, typiques de ceux par lesquels les cabinets de conseil en stratégie ont l’habitude de recruter leurs consultants.

Un premier business case plutôt créatif

Dans le premier, les consultants étaient mis dans la situation de servir une entreprise de production de chaussures. Son dirigeant leur demande de mettre sur pied une idée de nouveau modèle à lancer.

Les consultants du BCG devaient répondre à une série de 18 questions. « Proposez 10 idées de nouvelles chaussures destinées à un marché donné ou à un sport donné qui sont sous-adressés à l’heure actuelle. » « Choisissez la meilleure de ces idées et expliquez pourquoi de manière que le boss de l’entreprise et ses managers puissent comprendre votre raisonnement. » « Présentez une liste d’étapes successives nécessaires au lancement du produit. » « Donnez un nom à votre produit. Envisagez-en au moins 4. » « Faites usage de votre connaissance de l’industrie pour segmenter l’industrie de la production de chaussures par type de consommateurs. » « Décidez lequel de ces segments est le plus important et expliquez pourquoi. » « Écrivez un mémo de 500 mots au boss de l’entreprise pour expliquer votre choix. » Et ainsi de suite…

Un second business case plutôt analytique

Le sujet du second business case est d’une autre nature. Les consultants sont à présent mis en situation de servir le CEO d’une entreprise fictionnelle, Kleding, qui cherche à mieux comprendre les performances des trois marques du groupe (Kleding Man, Kleding Woman, Kleding Kids).

Objectif : établir une note de 500 à 700 mots pour le CEO dans laquelle les consultants devaient choisir une marque sur laquelle prioriser les investissements, et suggérer des actions tactiques et innovantes que le CEO peut entreprendre pour améliorer les performances de la marque en question. Pour ce faire, les consultants avaient à leur disposition des retranscriptions d’interviews avec des insiders de Kleding et des fichiers Excel décomposant les données financières du groupe par marque.

Les limites de l’IA

Jusque-là, que du très classique de ce qui peut se faire dans le conseil en stratégie. La grande différence, cette fois-ci, est que les consultants qui se sont livrés à ces deux exercices ont pu à certaines conditions avoir recours à ChatGPT (GPT-4, le plus abouti à la date de l’expérimentation conduite au printemps 2023) pour les aider dans leur travail.

En effet, les professeurs d’universités qui ont conçu l’expérience avec le BCG constatent, comme tout un chacun, que « les capacités de l’IA à produire un travail analogue à du travail humain se sont rapidement améliorées, tout particulièrement depuis la mise à disposition publique de ChatGPT ». Ils établissent cependant pour préalable que l’IA ne peut pas tout faire.

« Alors que les capacités de l’IA recouvrent de plus en plus les capacités humaines, la coordination du travail de l’IA avec le travail humain pose de nouveaux défis et présente de nouvelles opportunités, en particulier dans des domaines intensifs en connaissances. […] »

D’où le choix de réaliser cette expérience dans un cabinet de conseil en stratégie et au BCG en particulier, environnement chargé en jus de cerveau, et d’y tester la réalité de la « frontière technologique » mouvante à laquelle l’IA est arrivée aujourd’hui. En deçà de cette frontière, l’IA est a priori une aide ; au-delà, elle est une source d’erreurs ou d’appauvrissement.

Les consultants du BCG de part et d’autre de la « frontière » de l’IA

Ainsi, les 758 consultants volontaires, qui ont été financièrement incités par le BCG à se rendre disponibles environ une demi-journée aux fins de cette expérimentation, ont été répartis moitié-moitié entre les deux cas d’affaires : le premier, sur la fabrication d’un nouveau modèle de chaussures, se voulait à l’intérieur des frontières actuelles de l’IA ; le second, sur les recommandations adressées à un CEO, à l’extérieur de ces frontières.

Puis, dans chacun de ces deux sous-groupes, trois niveaux de recours à ChatGPT étaient prévus : répondre aux questions sans ChatGPT ; y répondre avec l’aide de ChatGPT ; y répondre avec ChatGPT, mais avec une formation préalable sur l’art et la manière de bien s’en servir.

Voilà pour la règle du jeu et le contexte. Objectif global : mesurer les gains potentiels du recours à l’IA dans le conseil en stratégie. « L’expérimentation visait à mieux comprendre comment l’intégration de l’IA pourrait redessiner les contours des flows de travail traditionnels de ces professionnels à fort capital humain », écrivent les six professeurs et les trois consultants seniors du BCG (le partner français François Candelon, et les deux project leaders Lisa Krayer et Saran Rajendran), auteurs de l’article de recherche publié mi-septembre dans la Harvard Business Review.

à lire aussi

Manuel de survie

« On m’a dit que ChatGPT pouvait faire mon travail » : quand l’IA remplace les consultants

Plusieurs dirigeants de cabinets et consultants témoignent de l’accélération de l’automatisation de certaines tâches à faible valeur ajoutée. Conséquence, certaines missions sont arrêtées par des clients, et la question des recrutements se pose sur le moyen terme. Inversement, l’essor de l’IA pourrait redorer le blason du métier en l’allégeant de ses tâches les plus pénibles.

Oui pour l’IA, mais avec des pincettes

Résultat global : grand oui, mais avec de sérieuses pincettes. « Nos résultats montrent que cette génération de LLMs (large language models, réseaux de neurones profonds entraînés sur une grande quantité de textes utilisant l’IA, ndlr) est capable d’entraîner des hausses importantes de qualité et de productivité, voire même de complètement automatiser certaines tâches. Mais les tâches actuelles que l’IA sait faire sont surprenantes, et pas immédiatement évidentes pour les individus et même pour les producteurs de LLMs eux-mêmes », jugent les mêmes auteurs.

Dans le détail, dans le cadre de la première expérience sur le fabricant de chaussures (385 personnes y ont participé), ceux des consultants BCG qui se sont aidés de ChatGPT ont réalisé 12,5 % de tâches en plus que ceux qui n’y ont pas eu recours. L’IA « a également amélioré la qualité de leur réponse ». Un bond qualitatif que les auteurs de l’étude estiment à +40 % par rapport aux réponses formulées sans IA embarquée.

« Pour les tâches qui sont clairement dans ses frontières de capacité, même celles qui historiquement demandaient des interactions humaines intensives, l’IA fournit de bénéfices énormes en termes de performance », avancent les auteurs au terme de leur expérience.

En revanche, pour la seconde expérience (373 participants), hors des frontières de ce que l’IA sait faire, « nous avons observé des baisses de performance liées au recours à l’IA », indiquent les auteurs.

Michael Brigl, le patron du BCG pour l’Allemagne, l’Autriche et la Suisse, qui a présenté les résultats de cette étude au Handelsblatt, a expliqué que pour la recherche de solutions de maximisation de la valeur, la performance de consultants ayant eu recours à l’IA a chuté de 23 %, comparativement à ceux qui n’y ont pas eu recours.

Pour répondre à cette seconde catégorie de tâches pertinemment, « les participants devaient regarder les données quantitatives en faisant un usage subtil, mais clair des insights émanant des interviews d’insiders. Alors que les tableurs Excel étaient conçus pour donner le sentiment de l’exhaustivité, une revue attentive des interviews révélait des détails cruciaux », contextualise l’article de la Harvard Business Review.

Quand l’intelligence humaine garde tout son rôle

Là, l’intelligence humaine du consultant garde pleinement sa place pour moduler les conclusions trop mécaniques auxquelles l’IA parvient avec la matière fournie.

« D’un côté, nous n’aurions pas imaginé que cette technologie améliorerait notre performance de manière aussi significative en ce qui concerne des éléments créatifs. De l’autre, nous ne nous attendions pas à ce qu’elle fonctionne aussi mal pour de la résolution de problèmes plus analytiques », a analysé Michael Brigl dans les colonnes du Handelsblatt.

D’où les précautions d’usage mises en avant quant au recours à l’IA dans le conseil en stratégie : valider et interroger les principes de fonctionnement de l’IA utilisée ou continuer à faire preuve d’esprit critique. Gare à « une utilisation illimitée et sans contrôle », met en garde Michael Brigl.

Attention à un « déficit de formation de long terme »

Dans un futur proche, le BCG et les universitaires identifient un risque de court terme en ce qui concerne l’essor de l’IA : que toutes les tâches jugées faciles et dans ses frontières de compétence ne soient plus confiées à des profils juniors qui, en temps normal, s’en occuperaient. Ce qui pourrait avoir pour conséquence néfaste, alertent-ils, de « créer un déficit de formation de long terme ».