L’intelligence artificielle (IA) est de plus en plus entrée dans notre routine, avec des opérations allant de la personnalisation de la publicité que nous voyons sur Internet à la détermination si notre dernier achat par carte de crédit est suspecté de fraude.

Dans la grande majorité des cas, ces décisions sont déléguées à des algorithmes dits « boîte noire » : ceux dans lesquels il n’est pas possible d’exprimer explicitement la règle utilisée pour la décision. Nous savons à quoi la machine réagit dans chaque cas, mais jamais pourquoi. Au fur et à mesure que l’IA élargit son champ d’action, cette approche « aveugle » crée des problèmes de plus en plus sérieux.

L’attention du public a d’abord été attirée sur le cas découvert par ProPublica concernant US Northpointe, une entreprise qui a conçu une boîte noire pour prédire si des prisonniers américains finiraient par récidiver ou non, information qui a ensuite été utilisée pour décider s’ils seraient ou non libérés sous condition. . Après une analyse approfondie, il est devenu clair que l’algorithme était en quelque sorte « raciste »: les prisonniers afro-américains, quel que soit leur casier judiciaire, recevaient de pires prédictions que les Blancs, en supposant qu’ils récidivent plus souvent. Pour comprendre ce problème, connu sous le nom de « biais algorithmique «  , vous devez approfondir ce que sont réellement les méthodes d’IA et d’apprentissage automatique.

Le premier problème avec ces outils est leur nom même. Quelle que soit l’utilité de leurs apports, il est essentiel de reconnaître qu’il n’y a pas en eux de matière intelligente et rien à apprendre non plus, puisqu’ils reposent sur des techniques purement mécaniques. L’apprentissage automatique n’est ni plus ni moins qu’un processus d’identification de modèles dans les données d’entrée et de leur application à de nouveaux cas. La machine reçoit des données sous la forme d’exemples de problèmes résolus, puis elle les généralise à de nouveaux en utilisant les modèles identifiés.

Dans la plupart des méthodes utilisées aujourd’hui, ces modèles ne sont jamais rendus explicites, ce qui conduit à des boîtes noires. Celles-ci incluent, entre autres techniques, les réseaux de neurones dits artificiels. La technique connue sous le nom d’apprentissage en profondeur ajoute un facteur de confusion supplémentaire, puisqu’elle est essentiellement identique à l’apprentissage automatique, seulement quantitativement supérieure : avec plus d’éléments et des exigences de calcul plus importantes. Il n’y a rien de profondeur ou de compréhension. Un réseau de neurones avec peu de neurones est un apprentissage automatique ; avec beaucoup d’apprentissage en profondeur.

Le problème avec l’algorithme de récidive était que dans les données de formation (qui étaient sous la forme d’histoires de prisonniers, y compris des informations indiquant s’ils avaient fini par récidiver ou non), les récidivistes afro-américains étaient surreprésentés. Cela a conduit l’algorithme à conclure que les Afro-Américains récidivent davantage, et il a donc intégré cela dans ses prédictions. Le biais contre les Noirs est introduit par le même algorithme lorsqu’il fonctionne correctement, d’où le nom de biais algorithmique.

Un autre exemple récent est celui qui a émergé sur un réseau social qui signalait beaucoup plus fréquemment les photos de femmes non blanches comme un contenu inapproprié. Apparemment, l’algorithme a été formé sur les photos publicitaires comme exemple de contenu valide, et sur la pornographie comme exemple de contenu non autorisé. La base de données pornographique était apparemment beaucoup plus diversifiée sur le plan racial que la base de données publicitaire, ce qui a conduit l’algorithme à généraliser plus facilement que la photo d’une femme non blanche était un contenu inapproprié.

Dans les algorithmes boîte noire, il n’est possible de détecter un biais qu’a posteriori et après avoir effectué des analyses spécifiques. Par exemple, dans le cas de l’algorithme de récidive, il faudrait soumettre des profils similaires de détenus de races différentes, puis comparer les réponses. Mais si nous n’avions pas réalisé que la race était un problème lors de la construction de notre base de données, comment pourrions-nous faire de tels tests ? Et si le préjugé faisait mal non pas selon la race, mais selon une combinaison plus complexe de traits, comme les Afro-Américains jeunes et pauvres ?

A cela, il faut ajouter le risque de « sur-ajustement«  , également dérivé de la généralisation des exemples. Imaginons que l’on entraîne l’algorithme de récidive sur un nombre relativement restreint d’histoires et que, par pur hasard, il s’avère que les condamnés dont la photo a un léger reflet dans le coin supérieur gauche soient exactement les récidivistes. Si, par simple coïncidence dans les données, un tel modèle existait, la machine le détecterait et l’utiliserait pour fonder ses prédictions. En étudiant son taux de réussite, il apparaîtrait que l’algorithme anticipe la récidive avec une grande précision. Cependant, cela échouerait lamentablement lorsqu’il serait appliqué à de nouvelles histoires, puisque les modèles qu’il a extraits n’ont pas de sens ; c’est-à-dire qu’elles ne correspondent à aucun phénomène connu ou vérifiable.

Abandonner une décision aussi importante que l’octroi de la libération conditionnelle à un système automatique peut conduire à des injustices qui, si cela ne suffisait pas, resteront cachées dans les entrailles opaques de la boîte noire. Ces injustices, il ne faut pas l’oublier, sont de la responsabilité des êtres humains qui s’appuient sur une telle machine pour prendre de telles décisions.

Une décision pertinente ne doit jamais être simplement déléguée à une machine. Au contraire, nous devrions voir l’IA uniquement comme une aide. Une aide précieuse mais seulement cela : des informations supplémentaires qui peuvent nous aider à prendre une décision ou qui augmentent la rapidité avec laquelle nous pouvons l’entreprendre.

Si l’IA n’était qu’une technique de plus pour aider les humains à prendre des décisions, l’apprentissage automatique n’apprend pas et les boîtes noires ne comprennent pas ne devraient pas être un problème. Cependant, cela présente un problème supplémentaire qui passe souvent inaperçu : non seulement les machines ne comprennent pas, mais elles ne nous laissent pas non plus comprendre.

À ce stade, il est essentiel de faire la distinction entre la compréhension de l’algorithme et la compréhension de la décision qu’il génère. Nous pouvons avoir un accès complet au code de l’algorithme et aux étapes qu’il établit pour résoudre un problème. Cependant, de sa complexité intérieure émergera bientôt une obscurité totale. Bien que ses mécanismes soient simples, le résultat est « complexe », au sens où les sciences de la complexité emploient ce mot : un système complexe est un système dans lequel quelques règles simples donnent lieu à des phénomènes qui ne peuvent être déduits de ces mêmes règles. Nous savons comment fonctionne l’algorithme, mais nous ne sommes pas en mesure de prédire ou d’expliquer ses résultats.

Tout cela pourrait nous conduire au découragement. A supposer que soit nous renoncions à notre besoin de comprendre et acceptons de laisser notre sort entre les mains des boîtes noires, soit nous devenons des néo-luddites fermés au progrès technique et perdons les opportunités que nous propose l’IA malgré l’égarement de son nom . La bonne nouvelle est que ce qui précède n’est pas vrai. Il existe une troisième voie : demander des explications à l’IA. Il existe des alternatives techniquement viables aux algorithmes de la boîte noire, qui se développeront au rythme exigé par la société. En fait, il existe deux manières principales d' »ouvrir » la boîte noire.

Le premier est l’utilisation de « modèles de substitution ». Ce sont des versions simplifiées de la boîte noire, mais elles ont le potentiel d’être comprises par les gens. Cependant, le modèle de substitution est différent de la boîte noire et, par conséquent, peut conduire à des décisions différentes, donc comprendre les décisions de l’un ne signifie pas avoir compris l’autre. De plus, les techniques de construction de modèles de substitution sont extrêmement complexes.

Alors pourquoi ne pas utiliser un modèle simple que nous pouvons comprendre directement ? C’est précisément ce que l’IA interprétable est censée faire. Les alternatives avec le meilleur potentiel d’interprétation incluent les modèles basés sur les scores, dans lesquels nous accumulons une série de critères et attribuons des scores basés sur les réponses aux tests, que nous additionnons à la fin. Nous avons également des régressions logistiques, très utiles lorsqu’il s’agit de problèmes binaires (ceux dont la solution est « oui » ou « non »), dans lesquelles une moyenne pondérée des scores est transformée par une fonction qui fait rentrer les résultats dans l’intervalle entre 0 et 1, qui peut représenter la probabilité d’un événement. Les arbres de décision sont également extrêmement utiles,

Souvent, le développement de ces modèles simples nécessite un travail laborieux de la part d’une équipe interdisciplinaire, dans laquelle une machine est non seulement entraînée (ce qui se fait généralement mécaniquement dans les algorithmes actuels), mais interagit également de manière répétée avec le modèle jusqu’à trouver une solution non seulement statistiquement acceptable. , mais fait également sens pour l’expert.

Dans certains cas, développer des modèles interprétables est techniquement difficile, voire impossible, comme avec le traitement de l’image ou de la parole. Cependant, ce ne sont pas les applications d’IA qui ont le plus d’impact sur nos vies. Dans les données structurées, telles que les casiers judiciaires ou médicaux, il est souvent possible de développer des modèles interprétables qui fonctionnent presque aussi bien que des boîtes noires. De plus, il convient de garder à l’esprit que souvent, lorsque les boîtes noires semblent faire des prédictions presque parfaites, les fantômes du biais algorithmique et du surajustement se cachent derrière les résultats.

Par exemple, Cynthia Rudin de Duke University a développé une alternative à la boîte noire critiquée par ProPublica en 2019. Le système consistait en un schéma de notation simple pour des variables transparentes telles que l’âge, le nombre total de délits, et en particulier les délits violents. Ce modèle a un pouvoir prédictif très similaire à celui de la boîte noire, mais il est totalement transparent et exempt de biais algorithmique.

Les modèles interprétables nous offrent quelque chose que nous devons commencer à exiger de l’IA : que seul le modèle auquel nous pouvons faire confiance est valide ; et que l’on ne peut faire confiance qu’à quelque chose que l’on comprend et qui, de surcroît, fait sens lorsqu’on le met en relation avec l’expérience antérieure et le bon sens. Nous avons le droit — et c’est notre responsabilité — de demander des explications.

Cette nouvelle étape de l’IA nécessite un changement de paradigme. De la délégation de décision aux outils d’aide à la décision ; des boîtes noires aux modèles transparents ; du modèle généré automatiquement au travail d’une équipe pluridisciplinaire. Ce n’est que dans cette perspective que nous pourrons surmonter la confusion à laquelle nous sommes confrontés et réorienter les avancées dans ce domaine afin qu’elles servent l’être humain dans la liberté et la responsabilité.

Previous articleUne connexion inattendue entre la physique des particules et l’intelligence artificielle
Next articleL’avenir quantique de la chimie