DossierSur le chemin de l'IA- [Podcast inclus]
4 - Risques de l'IA : attention à l'effet "black box"!
L'intelligence artificielle s'annonce remplie de promesses pour les entreprises. Mais elle implique aussi de nouveaux risques. Notamment le manque de transparence dans son fonctionnement, la "black box". Un risque à appréhender pour profiter de tous les avantages de l'IA, sans impact négatif.
En 2014, Amazon avait mis au point une intelligence artificielle dans l'objectif de recruter ses futurs collaborateurs. Trois ans plus tard, l'entreprise américaine a dû mettre un terme à l'expérimentation, le logiciel s'étant révélé... sexiste. Se basant sur l'historique de sélection et d'évolution au sein du groupe, l'algorithme écartait les candidatures féminines. Une anecdote qui montre à quel point il faut se montrer prudent avec l'intelligence artificielle. Cette dernière est porteuse de nombreuses promesses, mais aussi de nombreux risques.
Une prise de conscience qui est en train de percer : nombre d'organismes s'émeuvent, en effet, de ces risques et appellent à la vigilance vis-à-vis de cette technologie. Le rapport Villani, par exemple, identifie les différents impacts négatifs de l'IA. Tout comme le pôle Fintech de l'Autorité de contrôle prudentiel et de résolution (ACPR), superviseur adossé à la Banque de France, ou encore le Conseil de stabilité financière (CSF). Représentant les banques centrales et les régulateurs des économies du G20, ce dernier a édité un rapport alertant, notamment, sur les risques de dépendance et de cybercriminalité.
"L'intelligence artificielle amplifie des risques existants ou en apporte de nouveaux", souligne Sonia Cabanis, associée spécialisée dans la mise en oeuvre de dispositifs de gestion des risques chez Deloitte, qui a mené une étude sur le sujet. Des risques envers lesquels il faut faire preuve de clairvoyance afin de ne pas transformer les belles opportunités de l'intelligence artificielle en menaces.
Contrôle humain nécessaire
L'exemple de l'algorithme de recrutement d'Amazon est révélateur de l'une des faiblesses de l'intelligence artificielle : elle est soumise à différents biais dans son interprétation des données qui l'alimentent. Ce problème des biais se retrouve dans l'analyse des images : quelques pixels modifiés et un éléphant devient une balle de baseball. Il faut donc placer des garde-fous, c'est-à-dire essayer de comprendre le raisonnement de l'IA et vérifier s'il n'est pas tronqué.
L'idée est d'aller à l'encontre de l'effet "black box" de l'intelligence artificielle, c'est-à-dire le fait qu'elle aboutisse à un résultat sans que l'on comprenne comment elle y est parvenue. "La black box n'est pas une fatalité, insiste Stéphane Roder, fondateur d'AI Builders. Il existe la possibilité de mettre en exergue les paramètres ayant le plus compté dans la décision de l'intelligence artificielle, en procédant à une analyse." Pour Jean-David Benassouli, associé PwC en charge des activités data analytics et intelligence artificielle, les algorithmes doivent effectivement toujours être validés par un humain. "Il faut pouvoir expliquer aux collaborateurs, au comité d'audit, aux clients... pourquoi telle ou telle décision a été prise", prévient-il.
Dans son livre Algorithmes, la bombe à retardement, la mathématicienne américaine Cathy O'Neil met en garde contre ce phénomène "black box". Selon elle, la data science est tout sauf objective. Au contraire, elle accroît les inégalités en catégorisant les personnes en fonction de leur revenu, de leur lieu de résidence, de leur sexe... offrant des opportunités à certaines et les refusant à d'autres selon des critères appartenant au passé, reproduisant les comportements indéfiniment.
"Les choix s'effectuent en fonction du passé. Cela pose problème pour une entreprise qui souhaiterait modifier sa politique, de recrutement par exemple. À moins de mettre des coefficients", observe l'informaticien Jean Rohmer, directeur de recherches à l' École supérieure d'ingénieurs Léonard de Vinci et vice-président du think tank sur les nouvelles technologies Institut Fredrik R. Bull. Pour lui, l'avenir de l'intelligence artificielle se situe dans la double commande : du machine learning lié à des développements humains.
"Lorsque j'ai commencé ma carrière, dans les années 1970, nous parlions déjà d'intelligence artificielle, mais nous allions observer précisément le métier d'un être humain pour le reproduire via un logiciel, à travers des règles informatiques que l'on écrivait. Cela prenait du temps et était coûteux. C'est pourquoi l'intelligence artificielle a été abandonnée ... pour réapparaître des années plus tard avec l'apprentissage automatique, qui est moins long et moins coûteux mais qui montre ses limites."
La double commande permettrait de réorienter l'apprentissage de l'intelligence artificielle par des développements élaborés par des humains. L'intervention humaine permettrait aussi d'adopter de nouveaux comportements, d'être plus créatif. "La machine calcule et analyse très vite mais ne sait pas faire preuve de créativité", rappelle Jean Rohmer. Cédric Vasseur, formateur chez Orsys, rapporte que c'est vers une option de ce type que se sont dirigés les assistants vocaux tels que Siri ou Alexa : "Les scripts sont fermés. L'intelligence artificielle apprend moins, le développement est plus long, mais cela évite qu'elle absorbe n'importe quoi de la part des utilisateurs", décrit-il. Microsoft a, en effet, fait les frais de l'apprentissage par le grand public lorsque son chatbot Tay s'est mis à publier des tweets racistes et vulgaires.
Des risques réglementaires et de dépendance
Autre conséquence de l'effet "black box" : le risque réglementaire. Stéphane Roder mentionne dans son Guide pratique de l'intelligence artificielle dans l'entreprise que l'article 22 du RGPD offre le droit à l'explicabilité : les clients et collaborateurs de l'entreprise sont désormais en droit de demander des comptes vis-à-vis des décisions prises les concernant. Et le risque réglementaire n'est pas lié seulement au RGPD, mais peut aussi concerner d'autres réglementations, bancaires par exemple.
"L'opacité de l'intelligence artificielle induit un risque de conformité : il s'agit d'apporter de la transparence aux régulateurs", avertit Sonia Cabanis (Deloitte), qui conseille de travailler main dans la main avec les régulateurs pour savoir quels contrôles mettre en place. Ce risque de non- transparence est renforcé par le fait que très peu d'entreprises ont internalisé l'IA : elles utilisent des outils développés par des éditeurs de logiciels qui ne communiquent pas sur la façon dont leur intelligence artificielle fonctionne.
Sonia Cabanis pointe, par ailleurs, le risque de dépendance induit par cette situation : "Il y a un réel risque de dépendance vis-à-vis de tiers, mais aussi un risque de réversibilité." Ce risque de dépendance est aussi souligné par le rapport de l'ACPR, qui craint que le marché de solutions à base d'IA se retrouve aux mains de grands groupes comme Amazon, Microsoft, Google ou IBM, et que cela entraîne une hausse des prix, des relations commerciales déséquilibrées et des difficultés en termes d'audit et de transparence. Pour l'organisme, les start-up deviendraient des prestataires de ces grands groupes, ce qui aurait un impact sur la chaîne de responsabilité et le contrôle des processus.
Enfin, la "black box" peut aussi générer des risques en matière de cybermalveillance. Si le fonctionnement de l'IA n'est pas surveillé, on peut très bien imaginer des pirates s'y introduire pour la transformer, par exemple en rentrant de nouvelles données. "Un pirate peut très bien modifier quelques pixels dans une image en vue de tromper l'IA", admet Cédric Vasseur, conférencier formateur, spécialiste en IA et robotique.
Des risques RSE à ne pas négliger
Dès son apparition, l'intelligence artificielle a suscité des inquiétudes en matière d'emploi. Un récent rapport de l'OCDE évalue d'ailleurs que 14 % des emplois disparaîtraient du fait de la robotisation et que 31,6 % seraient profondément transformés (respectivement 16,4 % et 32,8 % des emplois pourraient être ainsi affectés en France). Cependant, de nouveaux emplois voient le jour parallèlement : le rapport note que quatre emplois sur dix créés au cours de la dernière décennie l'ont été dans des industries où l'usage du digital est élevé.
Mais les postes qui disparaissent et ceux qui apparaissent ne font pas appel aux mêmes compétences : les entreprises doivent donc relever le défi de former leurs collaborateurs afin de les aider à occuper de nouveaux postes qui ne font pas appel aux mêmes qualités. Au risque, sinon, de faire face à la fois à une pénurie de profils adaptés à cette transformation digitale et à une crise sociale due à la disparition d'emplois moins qualifiés. Le rapport Villani propose la création d'un "lab d'expérimentations de la transformation au travail" afin de mener une réflexion sur ce sujet.
À noter également que les intelligences artificielles se nourrissent grâce à des "travailleurs du clic" aux conditions de travail précaires. Ce qui peut faire courir un fort risque d'image aux entreprises qui viendraient à les utiliser, directement ou indirectement via des prestataires. Au-delà de ce risque social, l'intelligence artificielle fait courir un risque environnemental et climatique. Le rapport Villani révèle que la consommation énergétique du numérique augmente de 8,5 % par an et que sa part dans la consommation mondiale d'électricité (en croissance de 2 % par an) pourrait atteindre entre 20 et 50 % en 2030. Bien sûr, l'IA n'est pas la seule responsable de cette hausse, mais elle y contribue pour beaucoup et la croissance de sa consommation semble inéluctable.
Jean Rohmer, directeur de recherches à l'École supérieure d'ingénieurs Léonard de Vinci, rapporte que la course à la performance conduit à la construction de monstres, des centres de calcul de plus en plus gros pour faire des recherches sur l'apprentissage profond. "Pour l'apprentissage sur les images, on fait tourner des supermachines pendant des semaines, indique-t-il. Il existe un fantasme selon lequel plus on dépense d'énergie, plus on va découvrir des pépites." Le rapport Villani fait plusieurs propositions pour éviter cette surconsommation d'énergie, comme le recours à des technologies moins énergivores (par exemple, le "stockage sur ADN") ou encore une meilleure gestion des data centers (en récupérant la chaleur des machines, par exemple). Les entreprises ayant recours à l'IA doivent, elles aussi, se poser cette question du risque environnemental pour faire progresser la réflexion.
