Les IA sont des hackers, pour le meilleur et pour le pire

Vulgarisateur hors pair, le cryptographe et « guru de la sécurité » informatique Bruce Schneier a récemment publié un essai consacré aux intelligences artificielles : comment elles « hackent  » les codes logiciels, mais également ceux des impôts, entre autres, et plus largement n'importe quel code sociétal. 

L'intelligence artificielle finira par trouver des vulnérabilités dans toutes sortes de systèmes sociaux, économiques et politiques, puis les exploitera à une vitesse, une échelle et une portée sans précédent, écrit Bruce Schneier dans un rapport roboratif de 54 pages :

« Après avoir piraté l'humanité, les systèmes d'IA pirateront ensuite d'autres systèmes d'IA, et les humains ne seront guère plus que des dommages collatéraux.

La plupart de ces hacks ne nécessitent même pas de percées majeures dans la recherche en IA. Ils se produisent déjà. Cependant, à mesure que l'IA devient plus sophistiquée, nous ne saurons souvent même pas que cela se produit. »

Le résumé qu'il en a publié sur Wired et son blog n'est qu'un succédané ne témoignant guère de la richesse de l'essai publié par le Conseil sur l'utilisation responsable de l'intelligence artificielle du Belfer Center for Science and International Affairs de la Harvard Kennedy School. Nous l'avons donc synthétisé.

Schneier commence par rappeler, en préambule, que si le hacking est généralement considéré comme un acte ciblant des systèmes informatiques, cette conceptualisation peut être étendue à « tout système de règles », tels que le code des impôts et les marchés financiers, par exemple.

L'essai envisage dès lors un monde où les IA pourraient découvrir des vulnérabilités dans l'ensemble de nos systèmes sociaux, économiques et politiques, mais également de pouvoir les exploiter « à la vitesse et à l'échelle d'un ordinateur ». Il ne postule aucune « singularité technologique », hypothèse selon laquelle la boucle de rétroaction d'apprentissage de l'IA deviendrait si rapide qu'elle dépasserait la compréhension humaine et induirait des changements imprévisibles. 

Ses scénarios ne partent pas non plus du postulat que les IA, pas plus que leurs auteurs ou exploitants, seraient mal intentionnés. Certains des hacks qu'il évoque ne nécessitent même pas de percées majeures dans la recherche.

Il estime en revanche qu'ils s'amélioreront au fur et à mesure que les techniques d'IA deviendront plus sophistiquées et que cette évolution adviendra logiquement, au fur et à mesure de leurs avancées en termes d'apprentissage, de compréhension et de résolution de problèmes.

MacGyver était un hacker

Schneier rappelle que la défunte hackeuse et auteure Jude Milhon (St. Jude), pionnière de la mouvance cypherpunk, estimait que « le hack est un contournement intelligent des limites imposées, que ces limites soient imposées par votre gouvernement, votre propre personnalité ou les lois de la physique », et revient donc sur la définition du terme « hack » :

1. Une exploitation intelligente et fortuite d'un système qui : a) subvertit les règles ou normes de ce système, b) aux dépens d'une autre partie de ce système.
2. Quelque chose qu'un système permet, mais non anticipé par ses concepteurs.

Le hacking ne serait donc pas du ressort de « la triche » sans foi ni loi, mais suit des règles, et subvertit leur intention. C'est une exploitation, consistant à « jouer avec le système ». Ou, dit autrement : « MacGyver était un hacker ». Les systèmes étant optimisés pour des résultats spécifiques, le hacking n'est donc jamais que la poursuite d'un autre résultat, « souvent au détriment de l'optimisation d'origine ».

Or, les systèmes ont tendance à être rigides, limitent ce que nous pouvons faire et, invariablement, certains d'entre nous veulent pouvoir en faire autre chose : « Alors on hacke. Pas tout le monde, bien sûr. Tout le monde n'est pas un hacker. Mais nous sommes assez nombreux ».

Si le code fiscal n'est pas un logiciel, et s'il ne requiert pas un ordinateur, rien n'empêche de le considérer comme un « code » au sens informatique du terme, à savoir une série d'algorithmes qui prend une entrée – des informations financières pour l'année – et produit une sortie : le montant de l'impôt dû. « C'est déterministe, ou du moins censé l'être », relève Schneier.

Or, tous les logiciels contiennent des défauts, ou bogues, qu'il s'agisse d'erreurs de spécification, de programmation, voire d'implémentation. Pour le coup, « les chiffres peuvent surprendre, mais les applications logicielles modernes ont généralement des centaines, voire des milliers de bogues », sans que cela les empêche de fonctionner ni qu'ils soient forcément détectés.

Mais ils sont là, introduisent des failles de sécurité, ou vulnérabilités, qu'un attaquant pourrait exploiter afin de subvertir les fonctionnalités escomptées. 

Les impôts ont un code, ils ont donc des bogues

Le code des impôts, note Schneier, comporte lui aussi des erreurs dans la manière dont les lois fiscales ont été rédigées, d'omissions (in)volontaires dans la façon dont certaines parties de la loi ont été conçues, ou résultant d'interactions entre ses différentes composantes. Et certains de ces « bogues » sont aussi des « vulnérabilités ». Il existe par exemple une astuce fiscale bien connue, celle du « Double irlandais et sandwich hollandais », qui découle des interactions entre les lois fiscales de plusieurs pays.

Son objectif est d'exploiter les législations fiscales irlandaises et néerlandaises afin de transférer les bénéfices d'une entreprise vers ses filiales relevant de juridictions à faible (ou sans) imposition, de leur céder des droits de propriété intellectuelle, puis de transférer les profits dans des paradis fiscaux. Les entreprises technologiques sont connues pour exploiter cette vulnérabilité.

Certaines vulnérabilités sont par ailleurs délibérées. Les lobbyistes essaient ainsi constamment d'insérer de nouvelles dispositions dans le code des impôts, au profit de leurs clients. Parfois, ces vulnérabilités sont mêmes inscrites dans la loi en toute connaissance de cause du législateur, qui parraine l'amendement.

Dans le monde fiscal, tirer parti de ces vulnérabilités est qualifiée d'« évasion fiscale ». Et des milliers de « hackers », appelés « avocats fiscalistes », examinent chaque ligne du code des impôts à la recherche de telles vulnérabilités exploitables.

L'histoire de la finance est une histoire de hacks​

Les logiciels modernes sont incroyablement complexes, rappelle en outre Schneier : Windows 10 compte ainsi environ 50 millions de lignes de code. Or, plus de complexité signifie plus de bogues, et donc plus de vulnérabilités. Pour autant, on sait comment corriger les vulnérabilités du code informatique : 

« Nous pouvons utiliser une variété d'outils pour les détecter et les corriger avant que le code ne soit terminé et – plus important – nous voulons que les fournisseurs les corrigent rapidement une fois qu'ils sont connus. »

Passer en revue le code logiciel ligne par ligne est typiquement le genre de problème fastidieux dans lequel les IA excellent. Ce pourquoi Schneier estime que la recherche de vulnérabilités constitue un domaine particulièrement fructueux pour les systèmes d'IA, si on leur apprend à reconnaître une vulnérabilité. De fait, il existe déjà une abondante littérature universitaire à ce sujet, et la recherche se poursuit, relève-t-il.

Pour autant, les implications vont bien au-delà des réseaux informatiques. Il n'y a aucune raison pour que les IA ne puissent pas trouver de nouvelles vulnérabilités dans de nombreux systèmes : le code des impôts, la réglementation bancaire, les processus politiques, etc.

Dès lors qu'un grand nombre de règles interagissent les unes avec les autres, « nous devrions nous attendre à ce que les IA finissent par trouver les vulnérabilités et créer les exploits », prédit-il. De fait, des IA recherchent déjà des failles dans les contrats, et ce n'est qu'un début :

« Quelqu'un pourrait alimenter une IA avec les codes fiscaux mondiaux ou la réglementation financière mondiale, dans le but de lui faire créer une multitude de hacks rentables. Mais une IA pourrait aussi, bien que par inadvertance, pirater un système. Les deux sont dangereux, mais le second est plus dangereux car nous ne saurons peut-être jamais que cela s'est produit. »

Les lois fiscales américaines dénombreraient pour leur part environ 2 600 pages, relève Schneier. Et les réglementations et les décisions fiscales de l'IRS (l'Internal Revenue Service, l'administration américaine chargée des impôts, ndlr) augmentent ce chiffre à environ 70 000 pages.

Si l'on peut tenter d'utiliser ces mêmes méthodes pour corriger le code des impôts, ce n'est souvent pas aussi simple, estime le cryptographe :

« Certains hacks sont inscrits dans la loi ou ne peuvent en être écartés. Il peut être difficile de savoir qui est censé corriger le problème : le législateur, les tribunaux, les responsables fiscaux ? Cela peut prendre des années. Nous n'avons tout simplement pas la capacité de patcher le code fiscal avec la même agilité que pour un logiciel. »

Reste que pour lui, « l'histoire de la finance est une histoire de hacks. Encore et encore, les institutions financières et les commerçants recherchent des failles dans les règles – tout ce qui n'est pas expressément interdit, mais une subversion fortuite des systèmes sous-jacents – qui leur donnent un avantage ».

Le problème est (aussi) entre la chaise et le clavier

Enfin, les gens peuvent eux aussi être piratés. L'ingénierie sociale, la tactique de hacking classique consistant à convaincre quelqu'un de divulguer ses informations de connexion ou d'agir au bénéfice du pirate informatique, relève bien plus de la psychologie, de questions de confiance et d'autorité, que de codes informatiques.

Personnalisée en fonction de nos attitudes et comportements, la publicité moderne est elle aussi un hack de nos systèmes de persuasion. Les réseaux sociaux exploitent (et donc piratent) pour leur part l'économie de l'attention. 

La désinformation pirate de même notre compréhension commune de la réalité. Le terrorisme, souligne Schneier, pirate quant à lui nos systèmes cognitifs d'évaluation de la peur et de l'évaluation des risques en cherchant à convaincre l'opinion publique qu'il s'agit d'une menace plus gravissime qu'elle ne l'est en réalité.

Mais le plus intéressant, relève-t-il, est l'informatisation de systèmes plus traditionnels : « finances, fiscalité, conformité réglementaire, élections, tout cela et bien plus encore ont été informatisés. Et quand quelque chose est informatisé, la façon dont il peut être piraté change. L'informatisation accélère le piratage dans trois dimensions : vitesse, échelle et portée ».

« La vitesse de l'ordinateur modifie la nature des hacks. Exemple simple : automatiser la négociation d'actions. Le processus évolue, à très grande vitesse. Autre exemple, le trading haute fréquence, non anticipé par ceux qui ont conçu les premiers marchés.

Tous les systèmes ne sont pas également piratables. Les systèmes complexes avec de nombreuses règles sont particulièrement vulnérables, simplement parce qu'il y a plus de possibilités et de conséquences imprévues. C'est vrai pour les systèmes informatiques, et tout autant pour des systèmes comme le code des impôts, le système financier et les IA. »

Quand l'IA passe de la science-fiction à la réalité

En 1968, rappelle Schneier, le pionnier de l'IA, Marvin Minsky, la définissait comme « la science consistant à faire en sorte que les machines fassent des choses qui exigeraient de l'intelligence si elles étaient faites par des hommes ».

Le département américain de la Défense évoque de son côté « la capacité des machines à exécuter des tâches qui nécessitent normalement des renseignements humains ».

La version de 1950 du test de Turing, appelée « jeu d'imitation » dans la discussion originale, se concentrait pour sa part sur un programme informatique que les humains ne pouvaient pas distinguer d'un humain réel.

Les IA spécialisées sont quant à elles conçues pour une tâche spécifique. Schneier prend pour exemple les systèmes de contrôle des voitures autonomes. Ils savent comment diriger le véhicule, comment respecter le code de la route, comment éviter les accidents et ce qu'il faut faire en cas d'imprévu, comme la balle d'un enfant qui rebondit soudainement sur la route.

Nous avions l'habitude de supposer que la lecture des radiographies pulmonaires nécessitait un radiologue, c'est-à-dire un être humain intelligent avec une formation appropriée. Maintenant, nous nous rendons compte que c'est une tâche qui peut également être effectuée par un ordinateur.

« Une IA spécialisée en sait beaucoup et peut prendre des décisions sur la base de ces connaissances, mais uniquement dans ce domaine limité », note cela dit le vulgarisateur. Il raconte ainsi une blague courante chez les chercheurs en IA : « dès que quelque chose fonctionne, ce n'est plus de l'IA, juste un logiciel ». 

Vers la « propagande computationnelle »

Schneier relève par ailleurs que les gens attribuent depuis longtemps des qualités humaines aux programmes informatiques : « ils sont polis avec les assistants vocaux comme Alexa et Siri. Et Siri se plaint lorsque vous ne l'êtes pas, en vous répondant que "ce n'est pas très gentil" ; mais parce qu'il est programmé pour, bien sûr ».

Or, non seulement nous traiterons les IA comme des personnes, mais elles agiront également comme des personnes d'une manière délibérément conçue pour nous tromper, en utilisant des hacks cognitifs, tout comme le font publicitaires et terroristes.

Lors des élections américaines de 2016, environ un cinquième des tweets politiques avaient ainsi été publiés par des robots, souligne l'essayiste, mais également un tiers de ceux consacrés au vote britannique sur le Brexit. De plus, et depuis des années, des IA rédigent aussi des reportages sur le sport et la finance pour des organes de presse comme le Monde ou Associated Press.

Pour lui, « de tels efforts ne feront que devenir plus sophistiqués ». Ils commencent ainsi à écrire des histoires plus généralistes. Or, si ces systèmes peuvent se nourrir de faits réels pour écrire des histoires plausibles, ils peuvent tout aussi facilement se nourrir de contre-vérités pour écrire de fausses nouvelles, et nourrir des théories complotistes : 

« Il ne faut pas beaucoup d'imagination pour voir comment l'IA dégradera le discours politique. Ces systèmes ne feront que s'améliorer : plus sophistiqués, plus articulés, plus personnels et plus difficiles à distinguer des êtres humains réels.

Cela a été qualifié de "propagande computationnelle", et cela changera notre façon de voir la communication. L'IA rendra infinie l'offre future de désinformation, en inondant les agences gouvernementales et les réseaux sociaux de faux commentaires. »

La robotique rendra ces hacks plus efficaces

Ces systèmes nous toucheront également au niveau personnel, estime Bruce Schneier, qui relève que la plupart des e-mails de phishing sont génériques et facilement étiquetés comme spam, alors que les e-mails de phishing les plus efficaces, ceux qui font perdre beaucoup d'argent aux personnes et aux entreprises, sont, a contrario, personnalisés :

« La tâche laborieuse de personnalisation des attaques de phishing pourrait être automatisée par des techniques d'IA, permettant aux spécialistes du marketing d'envoyer des publicités personnalisées et aux fraudeurs de phishing d'envoyer des e-mails ciblés individuellement.

Ce n'est pas qu'être persuadé par une IA soit fondamentalement plus dommageable que d'être persuadé par un autre humain, c'est que les IA seront capables de le faire à la vitesse et à l'échelle de l'ordinateur. »

Il note au surplus que « les hacks cognitifs d'aujourd'hui sont grossiers : un faux article de journal conçu pour ne tromper que les plus crédules, ou un coup de pouce persuasif conçu pour n'affecter que les plus désespérés ». Or, l'intelligence artificielle a là aussi le potentiel de procéder à des micro-ciblages permettant de générer des hacks personnalisés, optimisés et livrés individuellement.

Les robots anthropomorphes reposant sur une technologie « émotionnellement persuasive », Schneier prédit en outre que l'IA en amplifiera l'attractivité, rendant ces hacks encore plus efficaces : « comme l'IA imite les humains, voire les animaux, elle détournera tous les mécanismes que les humains utilisent » pour pirater nos cerveaux, comme l'écrivait la psychologue Sherry Turkle en 2010 :

« Lorsque les robots établissent un contact visuel, reconnaissent les visages, reflètent les gestes humains, ils poussent nos boutons darwiniens, manifestant le type de comportement que les gens associent à la sensibilité, aux intentions et aux émotions. »

Les IA essaient déjà de détecter les émotions en analysant nos écrits, nos expressions faciales, notre respiration et rythme cardiaque. « Elles se trompent souvent », reconnaît Schneier, mais « elles finiront par surpasser les gens en termes de capacités. Cela leur permettra de nous manipuler plus précisément ».

Une IA ne peut pas expliquer ce qu'elle a fait (ni comment)

« Les IA ne résolvent pas les problèmes comme le font les humains. Leurs limites sont différentes des nôtres. Elles envisageront plus de solutions possibles que nous ne pourrions le faire », rappelle en outre le vulgarisateur : « elles emprunteront des chemins que nous n'avons tout simplement pas envisagés, des chemins plus complexes que le genre de choses que nous gardons généralement à l'esprit ».

En 2016, le programme d'IA AlphaGo avait ainsi battu Lee Sedol, l'un des meilleurs joueurs de Go au monde, grâce à un mouvement qu'aucun humain n'aurait jamais choisi de faire.

En 2015, un groupe de recherche alimenta un système d'IA appelé Deep Patient avec des données médicales et de santé provenant d'environ 700 000 personnes, afin de tester si le système pouvait ou non prédire les maladies. Bizarrement, Deep Patient semblait bien anticiper l'apparition de troubles psychiatriques comme la schizophrénie et ce, même si un premier épisode psychotique est presque impossible à prédire pour les médecins.

Deep Patient ne fournissait aucune explication permettant de comprendre les tenants de ses diagnostics, et les chercheurs n'avaient aucune idée de la façon dont il parvenait à ses conclusions. Dit autrement : les médecins pouvaient décider de faire confiance ou bien d'ignorer l'ordinateur, mais sans pouvoir l'interroger pour obtenir plus d'explications...

Or, ce que nous voulons, analyse Schneier, ce n'est pas seulement que l'IA nous fournisse des réponses que les intelligences humaines peineraient à obtenir. Elle doit fournir une explication intelligible de ses résultats, dans un format que les humains peuvent comprendre : 

« Nous les voulons pour pouvoir faire confiance aux décisions de l'IA, mais également pour nous assurer que nos systèmes d'IA n'ont pas été piratés pour prendre des décisions biaisées. »

Mais à court terme, « l'IA devient de plus en plus opaque, à mesure que les systèmes deviennent plus complexes, moins humains, et moins explicables ».

Les IA ne comprennent pas le concept de tricherie

Les IA déboucheront dès lors invariablement sur des solutions que nous, humains, n'aurions peut-être jamais pu anticiper. Et ce, parce que les IA ne pensent pas en termes d'implications, de contexte, de normes et de valeurs que les humains partagent et tiennent pour acquis. De plus, souligne Schneier, « elles ne comprennent pas le concept abstrait de tricherie » :

« Nous ne pouvons pas complètement spécifier les objectifs d'une IA. Et les IA ne seront pas en mesure de comprendre complètement le contexte. Alors que les humains comprennent le plus souvent implicitement le contexte et agissent généralement de bonne foi, les IA ne seront pas en mesure de comprendre complètement le contexte. S'il y a des problèmes, des incohérences ou des failles dans les règles, et si ces propriétés conduisent à une solution acceptable telle que définie par les règles, alors les IA les trouveront. »

Schneier raconte ainsi qu'en 2018, un programmeur voulait que son robot aspirateur arrête de se cogner contre les meubles. Il avait formé une IA à ne pas heurter les capteurs de pare-chocs. Sauf qu'au lieu d'apprendre à éviter les obstacles, l'IA apprit à... conduire en arrière, car les capteurs de pare-chocs ne sont qu'à l'avant de l'appareil.

Un être humain à qui on demanderait de ramener du café irait probablement à la cafetière la plus proche ou au café du coin. Une IA, illustre Schneier, pourrait de son côté aller acheter une plantation de café au Costa Rica, identifier la personne la plus proche tenant une tasse de café avant de la lui arracher des mains, ramener du café froid ou encore une serviette en papier usagée ayant servi à essuyer du café.

Les IA penseront comme des extraterrestres

À rebours des clichés (trop) souvent véhiculés dans les médias dès lors qu'il est question de hackers ou de hacking, Schneier rappelle que « le piratage est aussi vieux que l'humanité », que « nous sommes des résolveurs de problèmes créatifs, des exploiteurs d'échappatoires ». L'informatique a également dopé leurs capacités en la matière : 

« En raison de leur complexité, les ordinateurs sont piratables. Et aujourd'hui, tout est un ordinateur. Voitures, appareils électroménagers, téléphones : ce sont tous des ordinateurs. Tous nos systèmes sociaux – finances, fiscalité, conformité réglementaire, élections – sont des systèmes sociotechniques complexes impliquant des ordinateurs et des réseaux. Cela rend tout plus vulnérable au piratage. »

De même, souligne-t-il, les hacks cognitifs sont plus efficaces lorsqu'ils sont perpétrés par un ordinateur. Pas tant parce que les ordinateurs seraient intrinsèquement meilleurs que les humains pour ce qui est de créer des publicités persuasives, mais simplement parce qu'ils peuvent personnaliser les publicités en fonction des individus bien plus rapidement que nous ne pourrions le faire.

Un processus humain qui pourrait prendre des mois ou des années pourrait être compressé en jours, heures ou même secondes, prédit Schneier. Mais « que peut-il se passer lorsque vous fournissez à une IA l'intégralité du code fiscal américain et que vous lui ordonnez de comprendre toutes les façons dont on peut minimiser le montant de l'impôt dû ? » 

Et que pourrait faire une IA à qui une multinationale demanderait d'analyser l'intégralité des codes fiscaux de l'ensemble des pays ? Comprendrait-t-elle, sans qu'on lui dise, qu'il est judicieux d'enregistrer son entreprise au Delaware et d'immatriculer ses navires au Panama ? Combien de vulnérabilités et d'échappatoires découvrirait-elle que nous ne connaissons pas déjà ? Des douzaines, centaines, milliers ? Nous n'en avons aucune idée, reconnaît Schneier, qui n'en estime pas moins que nous le saurons probablement dans la prochaine décennie :

« La recherche de nouveaux hacks nécessite de l'expertise, du temps, de la créativité et de la chance. Lorsque les IA commenceront à pirater, cela changera. Les IA ne seront pas contraintes de la même manière ou n'auront pas les mêmes limites que les personnes. Elles penseront comme des extraterrestres, et pirateront les systèmes d'une manière que nous ne pouvons pas anticiper. »

Les IA nous mettront tous en danger

Schneier relève au surplus que nos systèmes sociétaux n'ont jusqu'alors été habitués qu'à n'encaisser les hacks humains : « nous n'avons aucun système de gouvernance capable de gérer des centaines – et encore moins des milliers – d'échappatoires fiscaux nouvellement découvertes. Nous ne pouvons tout simplement pas corriger le code des impôts aussi rapidement ».

« Nous ne sommes pas en mesure de traiter avec des personnes utilisant Facebook pour pirater la démocratie, sans parler de ce qui se passera quand une IA le fera. Nous ne serons pas en mesure de nous remettre d'une IA qui découvre des piratages imprévus mais légaux des systèmes financiers. À la vitesse des ordinateurs, le piratage devient un problème que nous, en tant que société, ne pouvons plus gérer. »

La finance est déjà informatisée, et le trading à haute fréquence nous a montré ce que des hacks financiers à la vitesse de l'ordinateur pouvaient entraîner. Pour autant, rappelle Schneier, il ne s'agit pas d'IA, mais de systèmes automatisés capables d'exécuter à des vitesses surhumaines des règles et des stratégies générées par des êtres humains.

Reste que l'IA prend déjà des décisions importantes qui affectent nos vies et qui autrefois relevaient de processus humains. L'essayiste rappelle ainsi que des IA prennent des décisions sur la mise en liberté sous caution et la libération conditionnelle. Que d'autres sélectionnent les candidats à un emploi, aident à décider qui recevra des prêts bancaires, modèrent les informations, publicités, personnes et sujets qui s'affichent sur nos médias sociaux.

« Lorsque les IA seront capables de découvrir de nouvelles vulnérabilités logicielles, ce sera une aubaine incroyable pour les pirates informatiques gouvernementaux, criminels et amateurs du monde entier. Cela nous mettra tous en danger. »

Un monde sans vulnérabilités logicielles (ni fiscales)

Schneier n'en estime pas moins que les IA seront tout aussi utiles en matière de défense. Les éditeurs de logiciels pourront en déployer afin de rechercher des vulnérabilités sur leurs propres codes, les identifier, les corriger – ou du moins celles détectables automatiquement – afin d'éviter de publier des versions boguées.

Cette fonctionnalité pourrait aussi être exploitée automatiquement dans le processus même de développement du code. « Nous pourrions facilement imaginer un avenir où les vulnérabilités logicielles appartiennent au passé », se plaît-il même à imaginer :

« Bien sûr, la période de transition sera dangereuse. Mais sur le long terme, une technologie d'IA qui détecte des vulnérabilités logicielles favorise la défense.

Imaginez une nouvelle loi fiscale testée de cette manière. Quelqu'un – ce pourrait être un législateur, une organisation de surveillance, la presse, n'importe qui – pourrait prendre le texte d'un projet de loi et trouver toutes les vulnérabilités exploitables. »

Cela ne signifie pas que les vulnérabilités seront toutes corrigées, mais qu'elles pourraient en théorie être corrigées avant que des personnes mal intentionnées ne les trouvent et les exploitent. Pour autant, « la période de transition sera dangereuse à cause de toutes nos lois et règles héritées du passé ». 

Reste à découvrir quel sera le rapport de force entre l'attaque et la défense : « les IA pourront pirater les réseaux informatiques à des vitesses informatiques, mais les IA défensives pourront-elles détecter et réagir efficacement ? Les IA vont directement pirater notre cognition, mais pouvons-nous déployer des IA pour surveiller nos interactions et nous alerter que nous sommes manipulés ? Nous n'en savons pas assez pour faire des prédictions précises », conclue-t-il.

Schneier estime dès lors qu'« il faudra mettre en place des structures de gouvernance résilientes capables de réagir rapidement et efficacement » à ces nouveaux types de problèmes. « Cela ne servira à rien s'il faut des années pour corriger le code des impôts, ou si un piratage législatif devient si ancré qu'il ne peut pas être politiquement corrigé ».

Pour lui, « la solution globale ici, ce sont les gens. Et nous devrions d'ores et déjà commencer à réfléchir à des solutions éthiques applicables, compréhensibles » afin de se préparer à appréhender, dans cette interaction entre les systèmes humains et informatiques, les risques inhérents lorsque les ordinateurs décideront à la place des humains.

« Et s'il est facile de laisser la technologie nous guider vers l'avenir, il nous revient, en tant que société, de décider quel devrait être le rôle de la technologie dans notre avenir. Et c'est un débat que nous devons avoir maintenant, avant que ces IA ne se mettent en ligne et ne commencent à pirater notre monde. »