Olivier Sibony, professeur à HEC : "Si l’IA vous contredit, c’est peut-être qu’elle a raison"

Dans la masse d’ouvrages proposant une grille de lecture souvent binaire – et parfois hors sol - sur l’intelligence artificielle, la parution de Faut-il encore décider ? (Flammarion, 240 p.) ce 25 février, offre un grand bol d’air frais. Peut-être est-ce parce que ce n’est pas un livre sur l’IA mais sur la décision à l’ère de l’IA. Une approche qui devrait intéresser de nombreux décideurs. Olivier Sibony, professeur de stratégie à HEC Paris, et l’entrepreneur Eric Hazan explorent études et exemples concrets à l’appui, comment l’arrivée de l’IA nous oblige à revoir notre rapport à la décision — et pourquoi cela va aller crescendo dans les années à venir.

Un constat : "Nous sommes entrés dans un monde où, de plus en plus, les décisions artificielles seront meilleures que celles des experts humains." Si l’IA peut vraiment décider mieux que nous, faut-il encore décider ? interrogent dès les deux auteurs. Ici, point de dystopie ou de "technophilie naïve". La question n’est pas simplement de savoir qui décide, mais dans quelles conditions chacun doit le faire. Entretien.

L’Express : De manière étonnante, l’histoire de l’IA et celle des sciences de la décision sont étroitement liées, expliquez-vous.

Olivier Sibony : Oui, car l’étude scientifique de la décision est plus récente qu’on ne l’imagine. Mais ce qui est intéressant — et ce qui nous a surpris lorsque nous avons mené cette étude historique —, c’est que les différentes formes d’IA actuelles présentent une analogie avec les deux modes de pensée identifiés par les sciences de la décision au cours des cinquante dernières années : la pensée rapide et intuitive, dite Système 1, qui nous vient naturellement, et la pensée logique et systématique, dite Système 2, qui demande un effort conscient.

La première vague de l’IA, celle de l’IA "symbolique", reposait sur l’idée d’indiquer explicitement les règles à suivre pour décider. C’est notamment la logique des systèmes experts : leur principe consistait à interroger des spécialistes sur leur manière de décider, puis à encoder leur raisonnement afin qu’un système puisse en reproduire la logique. C’était une tentative d’imiter l’humain quand il utilise son Système 2, formel et rigoureux. Cependant, les informaticiens ont vite constaté que, même avec une puissance de calcul qui augmentait, cette approche atteignait ses limites : le monde est trop compliqué, trop ambigu et trop désordonné pour qu’une logique entièrement fondée sur des règles puisse suffire. D’ailleurs, ce n’est pas ainsi que les humains réfléchissent. Nous ne fonctionnons pas seulement avec notre "système 2", qui applique consciemment des règles explicites et logiques. Nous mobilisons aussi largement le "système 1", basé sur l’association d’idées, l’intuition et l’expérience.

Et c’est précisément ce que font les nouvelles IA, celles qui nous impressionnent depuis quelques années, notamment depuis l’utilisation des LLM [NDLR : modèles d'intelligence artificielle générative]. Tandis que l’IA "à l’ancienne" imitait notre Système 2, les LLM fonctionnent un peu comme notre Système 1, c'est-à-dire par une sorte d’association d'idées fondée sur des probabilités. Ils s’appuient sur une immense quantité d'expérience, sans qu'on comprenne très bien comment cette expérience a été traduite en règles – parce qu’elle ne l’a pas été.

Si l’IA a des biais, c’est parce qu’elle nous imite

Et là où avec les IA traditionnelles, l’erreur sautait souvent aux yeux comme une "erreur de machine", aujourd'hui, les erreurs de ChatGPT paraissent incroyablement humaines. Pour paraphraser un trait d’humour d’Amos Tversky, les erreurs de ChatGPT ressemblent moins à de l’intelligence artificielle qu’à de la stupidité naturelle. On le voit bien avec ce qu’on appelle abusivement des "hallucinations" : le LLM fait un peu la même chose qu’un lycéen appelé au tableau alors qu’il n'a rien compris à la leçon, et qui essaye de raconter quelque chose de plausible à partir des phrases qu’il a mémorisées sans les comprendre.

Dès lors, peut-on s’appuyer sur ChatGPT pour prendre des décisions ?

Lorsqu’il s’agit d’une décision importante, on ne devrait jamais demander à ChatGPT quoi faire, ce que pourtant tout le monde fait. Si vous lui posez deux fois la même question (ou si vous posez la même question à deux LLM différents), vous aurez souvent deux réponses différentes. Et si vous lui posez deux fois la même question, mais avec une formulation légèrement différente, qui lui laisse à penser que vous préférez une réponse plutôt qu'une autre, il aura cette tendance flagorneuse à vous suggérer la réponse allant dans votre sens.

Mais attention : cela ne veut pas dire que l’IA ne peut pas nous aider à décider ! Il existe déjà des tas d'IA qui sont meilleures que les meilleurs experts humains dans différents domaines : l’imagerie médicale, les transactions financières ou encore les choix logistiques, etc. En d'autres termes, il existe des systèmes d’IA capables de prendre de meilleures décisions que les humains et il y en aura de plus en plus.

Selon vous, il existe deux bonnes manières d’utiliser l’IA pour prendre des décisions. Encore faut-il savoir dans quel cas de figure l’on se trouve.

Oui. Le premier est celui que je viens de décrire : une IA outil, qui nous indique la décision à prendre, parce qu’elle est meilleure que nous pour une tâche donnée. Cette supériorité a une conséquence importante, dont peu de personnes ont réellement pris conscience : c’est qu’il faudra accepter de suivre les recommandations de ce modèle, même lorsque l’on n’est pas d’accord avec lui. Si l’on cède à la tentation de le corriger au cas par cas, sous prétexte qu’on nous répète que "l’humain doit garder le contrôle", on dégradera en réalité la performance du modèle d’IA en le corrigeant lorsqu’il a raison et que nous avons tort.

Encore faut-il pour cela être convaincu que l’IA est réellement meilleure que nous ; et cela implique au moins deux conditions. D’une part, il faut être en mesure d’indiquer précisément à l’IA ce que nous cherchons, ce que nous voulons optimiser. D'autre part, ces modèles doivent avoir été testés et validés sur une quantité suffisante de données, de préférence par une autorité indépendante, et pas seulement par la société qui les commercialise. Dans ce premier cas de figure, notre responsabilité, immense consiste à exercer un contrôle a priori très vigilant sur la qualité du modèle d’IA que nous choisissons d’utiliser. C’est cela que "garder le contrôle" veut dire.

Ce qui m'amène au second cas de figure, celui de la codécision. Souvent, pour des décisions importantes, nous ne savons pas définir précisément nos priorités. Et parfois, nous n’avons pas des données d’assez bonne qualité pour qu’on puisse entraîner une IA et vérifier qu’elle est meilleure que nous. On peut alors utiliser l’IA différemment : pas comme un outil à notre service, mais comme un partenaire dans le processus de décision. On va par exemple demander à l’IA de nous aider à explorer différentes options, d’analyser les avantages et les inconvénients de chacune, d’imaginer différents scénarios d’avenir, de jouer le rôle d’avocat du diable lorsque nous sommes tentés de nous précipiter sur la première solution venue... Bref, l’IA va faire ce que l’on attendrait de collègues ou de conseillers dans un bon processus de décision, mais qu’ils ne font pas toujours, soit par manque de temps, soit parce qu’ils hésitent à contredire le chef en lui disant ce qu’il n’a pas envie d’entendre. Et pour cette codécision, les LLM sont souvent de bons partenaires.

Selon vous, le recrutement est un des domaines où il est difficile de définir clairement les objectifs, et où utiliser l’IA peut s’avérer contre-productif.

Sur ce point, rappelons d'abord une chose : l’IA apporte un gain de productivité d’autant plus nécessaire qu’elle en a également apporté aux candidats : ils peuvent désormais déposer 500 CV sur des systèmes automatisés — là où, il y a dix ou vingt ans, ils en auraient envoyé cinq dans le même laps de temps. Les entreprises se trouvent donc confrontées à un afflux de candidatures impossible à trier manuellement. Utiliser l’IA pour effectuer ce tri ne dégrade pas nécessairement la qualité des décisions, car les décisions prises manuellement n’étaient pas toujours optimales non plus. Mais on pourrait saisir l’opportunité de l’améliorer. Pour ce faire, il faudrait faire l’effort de définir précisément ce que l’on recherche, et ne pas laisser une IA essayer de deviner ce que nous cherchons à partir de son analyse de nos décisions passées. C’est un véritable danger — dans tous les domaines, pas seulement dans les ressources humaines : son interprétation de nos décisions passées risque de reproduire nos erreurs.

Parmi les objections fréquemment adressées à l’IA décisionnelle figure en particulier l’idée qu’elle serait dangereuse en raison de ses biais.

L’objection est parfaitement juste, mais la conclusion qu’on en tire ne l’est pas toujours ! Car si l’IA a des biais, c’est parce qu’elle nous imite – et que des biais, nous en avons nous aussi. Quand nous la laissons inférer de nos décisions passées ce que sont nos critères de choix, elle reproduit les biais qui ont entaché nos décisions passées. Alors, oui, les biais algorithmiques sont un problème important, mais dire : "puisque l’IA a des biais, revenons au jugement humain" ne nous fait pas avancer d’un pouce. L’IA n’est pas le problème : elle est le miroir. Or, casser le miroir parce que l'on se trouve mauvaise mine ne nous donnera pas meilleure allure.

Si l’on ne veut pas se contenter d’automatiser les décisions imparfaites que nous prenions auparavant, alors il faut demander à l’IA de corriger les biais que nous souhaitons corriger. On en revient toujours au même point : pour que l’IA nous aide, il faut lui dire clairement ce que l’on veut.

Comment l’IA décisionnelle va-t-elle transformer certains métiers ?

Il ne faut pas raisonner en termes de secteur ou de poste, mais de décisions. Il n’existe en effet personne dont le métier consiste uniquement à décider. En revanche, pour beaucoup, la décision constitue une part importante du travail. Et, en matière de décisions, deux tendances se dessinent.

La première, c’est l’extension de ce que nous avons appelé les "territoires conquis", à savoir les domaines dans lesquels l’IA prend déjà des décisions. Prenons l’exemple du credit scoring. Il n’y a pas de raison évidente pour que, demain, un crédit immobilier ou un prêt à une entreprise soient accordés par un comité de crédit plutôt que par une IA. C’est le type de décision où il existe une "bonne" réponse, mesurable, et une quantité de données, et où pourtant on hésite encore à utiliser l’IA. Nous appelons cela le "marais de l’inquiétude" : les domaines où subsiste une aversion à l’égard de l’IA, qui va progressivement se dissiper. Dès lors que l’on sait ce que l’on veut et que l’on dispose de suffisamment de données pour entraîner un algorithme, on va être en territoire conquis.

L'empathie d’une machine n’est pas identique à celle d’un humain. Mais elle ne vaut pas rien pour autant

La seconde tendance concerne les "champs de la codécision". Ici aussi, l’IA sera de plus en plus utilisée, mais différemment. Ainsi, si des pans entiers de la finance de marché relèvent déjà des territoires conquis, le private equity ou le venture capital vont plutôt se situer dans une logique de codécision, avec une IA qui aidera le comité d’investissement à mieux réfléchir collectivement. C’est la même chose pour un conseil d’administration : toutes ces décisions conservent nécessairement une forme d’ambiguïté qui interdit de les déléguer complètement à l’IA.

Les résultats de l’IA sont bluffants en matière de diagnostic médical grâce, notamment, à sa capacité à identifier des régularités, des "motifs", dans de vastes ensembles de données.

Cet exemple illustre parfaitement la différence entre les décisions et les métiers. La décision qui consiste à lire une radiographie et à déterminer s’il y a une tumeur ou non est désormais une décision que l’IA prend mieux qu’un radiologue. C’est d’ailleurs ce qui faisait dire à Geoffrey Hinton [NDLR : le "parrain" de l’IA moderne] dès 2016, qu’il fallait arrêter d’urgence de former des radiologues car d'ici cinq ans, il n’y aurait plus de travail pour eux. Pourtant, aujourd’hui, il y a de plus en plus de radiologues — et on en manque même — parce qu'ils font bien d’autres choses que de simplement lire des radiographies : ils parlent à leurs patients, échangent avec les autres médecins… La tâche décisionnelle peut être automatisable, mais le métier d’un professionnel intègre de multiples composantes riches et intéressantes, qu’il va développer quand il aura libéré du temps en déléguant à la machine des tâches répétitives.

Paradoxalement, l’IA, présentée comme déshumanisante, pourrait d’une certaine façon humaniser davantage la bureaucratie. Pourquoi ?

Parce que nous nous plaignons de la bureaucratie alors que nous devrions nous plaindre de la mauvaise décision. Lorsque nous avons affaire à une bureaucratie qui nous paraît épouvantable et inhumaine, c’est généralement parce que nous contestons une de ses décisions. Donc si l’on améliore les décisions, on réduit mécaniquement le nombre d’interactions désagréables. Il ne faut pas perdre cela de vue, car nous avons tendance à idéaliser l’humain. Or, dans ces bureaucraties, ce sont bien des humains qui prennent les décisions. Ils les prennent en appliquant des règles — c’est même le propre d’une bureaucratie —, mais souvent des règles trop simples, voire simplistes, qui ne s’adaptent pas à notre cas personnel. Des décisions plus intelligentes, ça ne peut être qu’un progrès…

Mais, à la différence d’un humain, l’IA ne sera jamais capable de faire preuve d’empathie.

C’est un autre paradoxe : quand on mesure l’empathie de l’IA par rapport à celle de professionnels dont le métier est justement d’être empathiques, on constate que l’IA fait plutôt du bon travail. Bien sûr, ce n’est pas une véritable empathie, puisqu’une machine n’éprouve rien. L’empathie de la machine est un simulacre. Mais cela signifie-t-il pour autant que cette empathie simulée ne vaut rien ? Les millions d’individus qui demandent chaque jour à l’IA des conseils sur leur vie, leurs relations amoureuses, qui lui parlent comme à un ami, se laissent-ils berner ?

Je réponds par une analogie. Un bitcoin n’est pas une pièce d’or. Ceux qui affirment que c’est la même chose que de l’or se trompent. Mais un bitcoin ne vaut pas rien. Il vaut autre chose. De la même manière, l’empathie d’une machine n’est pas identique à celle d’un humain. Mais elle ne vaut pas rien pour autant : elle est autre chose. Et si cette autre chose a une valeur pour certaines personnes, qui suis-je pour leur dire qu’elles ont tort ?

En matière d’IA décisionnelle, vous expliquez qu’il doit y avoir des zones interdites. Lesquelles ?

En admettant que l’IA puisse prendre de meilleures décisions que les humains — ce qui, pour toutes les raisons que nous avons évoquées, n’est pas toujours vrai — existe-t-il néanmoins des situations où, pour des raisons de principe, l’on préférerait que ce soit un humain qui décide ? Une fois la question posée ainsi, la réponse s’impose : ce sont les situations où le fait de prendre la décision soi-même — ou le fait qu’un humain la prenne — est plus important que la qualité intrinsèque de la décision. En d'autres termes, les cas où la manière de décider compte davantage que le résultat ; où l’acte de décider est plus important que la décision elle-même.

Prenez la justice pénale. En théorie, l’IA peut – ou pourra bientôt - rendre de meilleures décisions que des juges. Les juges sont des humains : ils font des erreurs. La justice est encombrée, et sa lenteur conduit parfois à un déni de justice. Certains en concluent qu’automatiser la justice, remplacer les juges par des systèmes d’IA, est une solution qui s’impose. On peut être d’accord avec ça pour certaines choses, mais au moins pour les cas les plus graves (en gros, le pénal), cela nous semble très problématique. Le théâtre de la justice – le respect des procédures, les formes, les costumes, le décor — est aussi important que le verdict lui-même. Ce qui fait la légitimité de la décision, c’est la manière dont elle a été prise, et donnée à voir. Ce n’est pas seulement le fait qu’on regarde le verdict et qu’on dise : "Je suis d’accord". Quand la manière de décider est une condition de l’acceptabilité de la décision, il faut s’interdire de la déléguer à la machine.

L’audit des algorithmes est, selon vous, une condition indispensable au bon développement de l’IA décisionnelle.

Si je reviens à notre premier cas de figure — celui de l’IA outil qui prend des décisions pour nous —, avant d’accepter de lui déléguer une décision, encore faut-il s’assurer qu’elle les prend correctement. Or moi, professionnel qui prends quelques décisions chaque jour, je n’ai ni les compétences statistiques et techniques, ni les bases de données nécessaires. Je ne suis pas équipé pour faire ces tests.

Songez à un médicament : on ne demande pas à un médecin de délivrer lui-même une autorisation de mise sur le marché. On ne lui demande pas non plus de l’essayer sur trois ou quatre patients pour vérifier s’il fonctionne comme attendu. On lui dit : ce médicament a été testé pour une indication donnée, sur un échantillon de patients suffisant et représentatif, il a reçu une autorisation, vous pouvez l’utiliser. De la même manière, le rôle de l’utilisateur d’un système d’aide à la décision n’est pas de valider ce système mais de l’utiliser, une fois qu’une autorité compétente et crédible lui a assuré qu’il pouvait le faire sans risques. Cette autorité incombe à ceux qui auditent les algorithmes. On voit d’ailleurs émerger une industrie de l’audit des algorithmes, capable de nous garantir que, lorsque nous utilisons un algorithme, nous pouvons lui faire confiance.

Si l’IA prend de plus en plus de décisions, que restera-t-il du rôle humain ?

C'est une inquiétude que l’on entend partout : ne risquons-nous pas de devenir les marionnettes de l’IA et donc de ceux qui contrôlent ces systèmes ? N’abdiquons-nous pas une grande part de notre humanité ? Faut-il ralentir l’IA, voire l’interdire, pour protéger l’humanité de nos décisions ? Il existe des situations, nous l’avons dit, où cette position se défend. Mais il y a aussi des cas où cette résistance, quelque peu technophobe, ne mène pas très loin. Il faut traiter les véritables causes de cette inquiétude. Et il nous semble que ces causes tiennent avant tout à un déficit démocratique qui était déjà là bien avant l’IA, mais que celle-ci risque d’aggraver si l’on n’y prend pas garde.

Parcoursup en est une bonne illustration. Ce n’est pas à proprement parler de l’IA sophistiquée, mais c’est bien un algorithme qui prend des décisions. On dit souvent que Parcoursup est opaque. Or, rien n’est plus faux : son code source est accessible publiquement. Si les gens ont un problème avec Parcoursup, c’est parce qu’ils n’ont pas été associés à la définition de ses objectifs. Que voulons-nous qu’il optimise ? La mixité sociale ? La proximité géographique ? Cette question a été traitée comme un problème purement technique, pas comme un choix politique. D’où le rejet. Et plus on va avoir d’IA décisionnelle, et plus on court ce risque de la méfiance et du rejet, car ces algorithmes doivent bien être paramétrés. L’IA nous oblige donc à prendre ce problème à bras-le-corps, en réfléchissant à la manière dont les citoyens doivent être impliqués dans ces choix.

La bonne nouvelle, c’est que l’IA ne fait pas que révéler le problème : elle peut aussi contribuer à le résoudre. La technologie en général — et l’IA en particulier — offre des outils extraordinaires pour changer d’échelle dans la gouvernance démocratique et citoyenne.

C'est-à-dire ?

Aujourd’hui, organiser une assemblée citoyenne — comme celles qui ont eu lieu sur les rythmes scolaires, la fin de vie ou le climat — est une usine à gaz. Il faut contacter des centaines de milliers de personnes pour parvenir à constituer un groupe d’une centaine de participants représentatifs. On ne peut guère dépasser ce nombre si l’on souhaite les réunir physiquement pour avoir un vrai débat. On finit par avoir un petit groupe qui accomplit du bon travail, salué par tous, mais auquel très peu de citoyens ont effectivement contribué. Avec les technologies actuelles, il est facile d’imaginer que l’on puisse multiplier par dix, par cent, voire par mille la taille de ces groupes. Il est désormais possible de dialoguer de manière crédible avec des milliers de personnes à la fois. On pourrait même faire intervenir, au sein d’une assemblée citoyenne, l’avatar d’un expert mondial, alors qu’il dort à l’autre bout du monde. Donc, l’IA permet un changement d’échelle de la gouvernance démocratique : c'est une opportunité à saisir.

GRAND COLLOQUE - "Apprendre et se former à l'ère de l'IA" - L’Express réunit patrons, dirigeants de grandes écoles, chercheurs et intellectuels, lundi 23 mars, à partir de 14h30, au théâtre Marigny, à Paris, pour réfléchir aux enjeux d’éducation et de formation. Pour vous inscrire, cliquez ici.