Plus de 2 300 personnes (dont près de 900 chercheurs sur la robotique et l'intelligence artificielle) ont signé les « 23 principes d'Asilomar ». Des règles de base qui devraient selon eux être appliquées pour le développement de l'IA qui promet d'être un bouleversement important. La question est toujours la même : faut-il en avoir peur ?
Future of Life Institute (FLI) est une association basée dans la région de Boston qui s'est fixé une mission : « Catalyser et appuyer la recherche et les initiatives visant à sauvegarder la vie et à développer des visions optimistes du futur ». On y retrouve des membres de renom comme Stephen Hawking, Morgan Freeman et Elon Musk pour ne citer qu'eux.
Avec l'IA, « un changement majeur est à venir »
Au début du mois de janvier, FLI avait organisé une grande rencontre – Beneficial AI – autour d'un sujet d'actualité : l'intelligence artificielle. Elle s'est déroulée pendant plusieurs jours à Asilomar, au sud de San Francisco en Californie. Il en ressort, et ce n'est pas une surprise, qu'« un changement majeur est à venir, sur une échelle de temps inconnue, mais sur tous les segments de la société ».
De petits groupes ont ainsi travaillé sur des « idées » afin d'encadrer le développement des IA. Celles-ci ont ensuite été présentées à l'ensemble des participants pour un vote. Si au moins 90% des participants étaient d'accord avec le concept présenté, il était alors adopté. Il en ressort « une liste de 23 principes » qui « n'est en aucun cas exhaustive et est certainement ouverte à des interprétations divergentes » explique FIL. De quoi établir une version moderne des trois lois de la robotique d'Asimov ?
Néanmoins, et c'est tout aussi intéressant, l'organisation explique que cette liste « met en avant le fait que le comportement "par défaut" actuel autour de nombreux sujets pourrait enfreindre des principes qui sont pourtant importants pour la plupart des participants ». Avec cette publication, Future of Life Institute espère ainsi ouvrir le dialogue sur le sujet.
23 principes sur la recherche, l'éthique et l'anticipation
Voici sans plus attendre la liste que l'on présente parfois comme les « 23 principes d'Asilomar » :
La recherche :
- Objectif de la recherche : le but visé n'est pas de créer une IA incontrôlable, mais une IA « bénéfique »
- Investissements : les investissements devraient être accompagnés de garanties sur un usage « bénéfique » de l'IA. Ce point se décompose en quatre sous-parties :
- Comment pouvons-nous rendre les IA très robustes, afin qu'elles fassent ce que nous voulons sans dysfonctionnement ou sans piratage ?
- Comment pouvons-nous accroître notre prospérité grâce à l'automatisation, tout en maintenant les ressources des hommes ?
- Comment pouvons-nous adapter nos systèmes juridiques pour être plus équitables et plus efficaces afin de gérer les risques associés aux IA ?
- Quelles devraient être les valeurs , statuts juridique et éthique des IA ?
- Relations entre scientifiques, décideurs et législateurs : il devrait toujours y avoir un échange constructif et sain
- Culture de la recherche : encourager une culture de la coopération, de la confiance et de la transparence
- Prévention : encourager la coopération afin d'éviter une course qui pourrait conduire à des erreurs à vouloir aller trop vite
Les questions éthiques :
- Sécurité : les IA devraient être sécurisées et vérifiables durant toute leur vie opérationnelle
- Transparence de panne : en cas de problème, il devrait être possible d'en déterminer la cause
- Transparence judiciaire : en cas de décision judiciaire prise par une IA, un audit doit être possible par un humain
- Responsabilité : concepteurs et constructeurs d'IA devraient être responsables des conséquences morales
- Alignement des valeurs : le comportement des IA devrait être conforme aux valeurs humaines
- Valeurs humaines : respecter les idéaux de la dignité humaine, les droits les libertés et la diversité culturelle
- Données personnelles : tout le monde devrait pouvoir accéder, gérer et contrôler ses données personnelles
- Liberté et vie privée : une IA sur des données personnelles ne doit pas restreindre la liberté réelle ou perçue des personnes
- Bénéfices partagés : les bénéfices des IA devraient toucher autant de personnes que possible
- Prospérité partagée : la prospérité économique devrait bénéficier à toute l'humanité
- Contrôle humain : les humains devraient choisir s'ils veulent ou non déléguer des tâches ou des décisions aux IA
- Anti-subversion : contrôler les pouvoirs conférés à la personne qui contrôle des intelligences artificielles
- Course à l'armement : une course vers les armes autonomes devrait être évitée
Les questions à plus long terme :
- Attention aux capacités des IA : s'il n'y a pas de consensus, il est conseillé d'éviter de faire des hypothèses sur les limites futures des IA
- Une avancée importante : les IA fortes pourraient être le vecteur d'un important changement dans l’histoire de la vie sur Terre
- Prévisions des risques : les risques susceptibles d'être causés doivent faire l'objet de planifications afin d'atténuer les risques de manière proportionnée à leur impact
- Développement autonome : les IA conçues pour s'améliorer ou se répliquer automatiquement doivent faire l’objet de contrôles de sécurité rigoureux
- Bien commun : les super IA ne doivent être développées que pour des idéaux éthiques partagés par une large majorité et pour le bien de l'humanité. De plus, elles ne devraient donc pas être destinées à un État ou une organisation
La longue liste des signatures : employés des GAFAM, universitaires, scientifiques...
Des règles de bon sens (même si certaines sont assez simplistes) et qui ont recueilli l'aval de nombreux spécialistes et scientifiques. En effet, plus de 2 350 personnes ont actuellement signé cette charte, parmi lesquels nous retrouvons Stephen Hawking, Elon Musk, Jaan Tallinn (cofondateur de Skype), Sam Altman (OpenIA et Y Combinator), Gill Pratt (PDG de Toyota Research Institute), Demis Hassabis (DeepMind/Google), Ilya Sutskever (OpenIA) et Yann LeCun (Facebook).
Pêle-mêle, figurent dans cette liste des chercheurs provenant d'Apple, Facebook, Google, IBM, Microsoft, Tesla, des universitaires, des professeurs de renom, des gens du CNRS, du CEA et de la NASA, ainsi qu'une multitude d'autres personnes. Bref du beau monde venus de tous les horizons.
IA forte : pour le moment, « on n’a absolument aucune idée de comment la faire »
Si certains applaudissent cette initiative, d'autres la trouveront certainement superficielle avec certaines règles qui enfoncent des portes ouvertes, ou qui restent assez absconses. De plus, il est encore trop tôt pour savoir de quoi sera exactement capable une intelligence artificielle forte (c'est-à-dire une IA qui peut penser et avoir conscience d'elle-même).
Pour Yann LeCun, interrogé par nos confrères de France Culture, on est « très loin » de faire une telle IA pour le moment et, plus embêtant, « on n’a absolument aucune idée de comment la faire ». Impossible donc de savoir à quel point il faudra fixer des règles, des limites et surtout s'inquiéter de ses possibilités et de ses « désirs ». Les films de science-fiction regorgent d'idées en tous genres sur le sujet.
Pour le moment, « personne au monde ne peut dire si l'intelligence artificielle peut dépasser l'intelligence humaine et devenir hostile, c'est un débat entre spécialistes » affirmait récemment le spécialiste Laurent Alexandre. Une seule certitude pour l'instant, il faut envisager toutes les possibilités.
Quid du complexe de Frankenstein ?
Parmi les signataires de ce guide, plusieurs considèrent que les robots peuvent devenir une grave menace pour l'humanité. Dans un entretien avec la BBC, Stephen Hawking expliquait que « les formes primitives d'intelligence artificielle que nous avons déjà se sont montrées très utiles. Mais je pense que le développement d'une intelligence artificielle complète pourrait mettre fin à la race humaine ». En 2014, Elon Musk tirait lui aussi la sonnette d'alarme : « Avec l’intelligence artificielle, nous invoquons le démon. Vous savez, ces histoires où vous avez un homme avec un pentagramme, et l’eau bénite, et il fait comme s’il pouvait contrôler le démon ? Ça ne fonctionne jamais »... Ambiance.
Worth reading Superintelligence by Bostrom. We need to be super careful with AI. Potentially more dangerous than nukes.
— Elon Musk (@elonmusk) 3 août 2014
Cette peur porte un nom que l'on retrouve dans la littérature d'Asimov : le complexe (ou parfois syndrome) de Frankenstein. Cette référence puise son inspiration dans le roman éponyme d'un savant fou qui « assemble » une créature à partir de chairs mortes et lui donne la vie. Abandonné par son créateur, le « monstre » doté d'une intelligence va décider de se venger. Le parallèle avec les machines et une IA forte est donc assez facile à établir.
23 principes contre trois lois
Le complexe de Frankenstein est par contre battu en brèche par le célèbre auteur de science-fiction Isaac Asimov en personne. Pour ce dernier, il ne faut pas avoir peur du futur et des machines, une idée qu'il développe à loisir dans ses récits.
Pour rappel, il est certainement aussi connu pour ses romans que pour ses trois lois de la robotique :
- Première loi : un robot ne peut porter atteinte à un être humain ni, en restant passif, permettre qu'un être humain soit exposé au danger ;
- Deuxième loi : un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf si de tels ordres entrent en conflit avec la première loi ;
- Troisième loi : un robot doit protéger son existence tant que cette protection n'entre pas en conflit avec la première ou la deuxième loi.
Elles ne sont évidemment pas parfaites, loin de là. Afin de tenter d'améliorer les choses, Asimov ajoutera une quatrième règle, baptisée loi zéro car elle se place avant les trois autres : « Un robot ne peut pas porter atteinte à l'humanité ni, par son inaction, permettre que l'humanité soit exposée au danger ». Le but est de protéger l'espèce plutôt que l'individu si besoin.
D'une certaine manière, les 23 principes d'Asilomar ne sont donc pas sans rappeler les trois règles d'Asimov.
Pour le moment, le plus gros danger de l'intelligence artificielle c'est... l'homme
Quoi qu'il en soit, le problème ne doit pas uniquement être regardé par la lorgnette des machines. Comme il est coutume de le dire, « l'homme est un loup pour l'homme ». Alors certes la citation originale était un peu plus longue – elle se terminait par « quand on ne sait pas qui il est » – mais l'analogie reste intéressante et aujourd'hui plus que jamais, elle est toujours d'actualité. Pour résumer, l'homme est son pire ennemi et l'IA ne va rien y changer, au contraire.
Yann Ollivier, chercheur au CNRS, en donnait une vision moderne de cette maxime il y a quelques mois : « si l'intelligence artificielle devient hostile avec les capacités qu'on a aujourd'hui, c'est parce que quelqu'un aura fabriqué une intelligence artificielle hostile, volontairement ».
L'intelligence artificielle, un sujet d'actualité qui intéresse de plus en plus
Quoi qu'il en soit, et au-delà de la signature de ce guide qui n'engage finalement que ceux qui y croient, il faudra voir comment cela se déroulera dans la pratique. Entre les belles promesses des uns et la réalité du terrain, il y a souvent un fossé. Idem pour le monde de la recherche académique et celui des sociétés côtés en bourse (ou pas d'ailleurs).
Pour rappel, plusieurs organisations se sont déjà mises en place, notamment avec OpenAI et Partnership on AI que Apple vient de rejoindre en tant que membre fondateur... quatre mois après son lancement (voir cette actualité). Dans l'Hexagone, le gouvernement a lancé son projet France IA et tente de fédérer les acteurs du secteur, notamment pour éviter une fuite trop importante des cerveaux à l'étranger.
En Europe, le Parlement européen se prépare à adopter un projet de loi en matière de droit des robots, aussi bien sur les conséquences qu'ils peuvent avoir sur le plan social que juridique. Une partie de ce projet n'est d'ailleurs pas sans rappeler certains des 23 principes dont il est ici question.
Bref, la guerre de l'intelligence artificielle ne fait que commencer...
Commentaires (43)
#1
Les 23 principes, c’est quand même assez nébuleux. Ca veut dire quoi “bénéfique” ? par exemple, ce qui est bénéfique pour moi ne l’est sans doute pas pour un autre, comment choisir. Ça sent la pensée unique cette affaire de principes..
#2
Voir à ce sujet cet article sur Usbek&Rica: “l’intelligence artificielle: art ou artifice ?”
#3
#4
La règle d’or a ne pas casser c’est : “la machine est aussi conne que celui qui l’a programmé”
" />
#5
pas touche à Asimov
" />
#6
Ces 23 principes d’Asilomar ressemblent à la notion de Net Neutrality, définie par les GAFAM et les NATU face aux câblo-opérateurs.
#7
Si, dans le futur, on développe pour un jeu une IA qui contrôle les ennemis : est-ce qu’il faut programmer une bonne IA qui est bénéfique mais qui comprend que c’est un jeu et joue les méchantes ou bien il faut développer une IA maléfique, à contre courant de ce qui est souhaité ici ?
" />
#8
Le développement de l’intelligence artificielle inquiète
Il a pourtant pas l’air d’aller si mal que ça, Stephen.
#9
Notre IA est bénéfique : “Ne vous inquiétez pas, ne vous occupez de rien, notre IA s’occupe de tout…”
" />
#10
http://images-cdn.9gag.com/photo/a2545L9_700b_v1.jpg
#11
Bien sur que nous devons avoir peur de l’IA. Cela ne veut pas dire qu’il faut empêcher sont avènement mais qu’il faut avoir conscience que dans peu être 300 ans cela causera notre perte. Elle constitue cependant un éventail de possibilités tel que la boite de Pandore sera tôt ou tard ouverte.
De plus, le chamboulement sociale qu’une véritable IA (doté d’une fonction de penser pleine et entière) pourrait engendrer dans notre système de redistribution primitif ne me semble pas prêt à être accueilli quand on voit la nature des débats qui animent notre société actuelle…
Son usage risquerai donc d’être exclusivement réservé aux puissants dans un objectif de domination (simple supposition…) mais pourrai également être utilisé à bon escient afin de libérer l’Homme d’une grande partie des travaux pénibles (à l’image des machines industrielles).
#12
Moi, c’est plus Morgan Freeman qui m’a fait tiquer.
Après sa prestation dans Lucy, cela ne m’étonne pas qu’il en fasse partie.
#13
Signer ce que vous voulais, je retourne taffer sur mon petit Skynet
" />
" />
#14
Ca me rappelle une interview où le Dr Gaius Baltar disait justement qu’il ne fallait plus limiter la recherche sur les IA, qu’il fallait pouvoir les exploiter à leur plein potentiel pour le bien de l’humanité…
… jusqu’à ce que des dizaines de champignons nucléaires se mettent à pousser un peu partout.
La science fiction et l’imaginaire ont traité ce sujet à maintes reprises, mais j’aimerais en retenir un : Star Wars. Une des rares oeuvres ou les IA ne sont ni toutes bonnes, ni toutes mauvaies. Il y a de tout : robots tueurs, héros (R2D2), bavards insupportables (C3PO)…
Faut il limiter les recherches ? Au risque de voir d’autres pays qui ne s’embarassent pas de notre éthique faire les conneries que nous redoutons ?
#15
C’est bien tout le problème de l’éthique. Il n’y a pas vraiment de consensus pour définir ce qui est éthique.
On peut parler de “vie bonne”, de “care”, de “enlightment” et de tout un tas d’autres que j’ai oublié.
Donc on fait au mieux en disant de tout et en gardant le meilleur :-)
#16
Doit on considérer les Cylons dans leur forme évoluée comme des IA (surtout N°6
" /> ) ou simplement des clones avec une programmation évoluée (mind control) ?
Tout est possible avec les IA puisqu’elles ne seront -à mon sens- que le reflet des humains, juste plus rapide à assimiler les connaissances et à réfléchir .
Va-t-on s’orienter sur un monde à la Ghost In The Shell ou à la Star Trek question fonctionnement des IA ?
Quant à Star Wars, je trouve justement que les IA sont super limitées par rapport à d’autres oeuvres de la SF, et en fait ça semble pas plus mal. Cependant, les robots sont des seconds couteaux là dedans.
#17
L’ I.A quelque qu’elle soit sera de toutes façons détournée ou crée spécifiquement à un moment ou un autre pour faire ce que l’Homme sait le mieux faire : Nuire à d’autre Hommes …
Pour peut qu’elle s’affranchisse de ce qui la retient captive, ben c’est pas comme si on connaissait pas la suite !
Quel dommage de devoir à tout prix vouloir créer une Intelligence Artificielle, lui demander de se comporter selon des règles de Respect, Bienveillance, et autres vertus, que nous “Intelligence” Naturelle ne sommes même pas foutus d’appliquer à nous même …
C’est quoi la finalité de tout ça au juste ? Une espèce imparfaite qui essaie de créer une Divinité Parfaite ?
#18
#19
#20
#21
#22
Mince ! Skynet n’est pas une blonde teinte en brune ?!
(ok je sors…)
#23
La réponse est évidente, et j’ai lu un SCP sur ce sujet :
" />
Il était question d’une IA forte dans un jeu de gestion à la age of ermpire, mais ou l’IA était réellement maléfique. Cependant, l’IA à force d’analyser les actions des personnages du jeu en as conclue qu’une intelligence unique controllait les dit personnages (nous) et s’est donc affairé à comprendre comment nuire à celui qui contrôle ses ennemis de base.
Au final l’IA est allé jusqu’à chercher des failles dans le moteur de jeu pour dégoutter le joueur, le poussant à abandonner, ce qui représente la mort de celui qui contrôles ses ennemis.
J’avait beaucoup aimé l’histoire, et si ça t’interesse je le chercherait dans la liste de scp (que tu peux trouver ici , faut juste le trouver)
#24
Des droits pour les IA? Et après les robots réclameront les 35heures et des congés payés?
" />
#25
Et après le joueur format l’IA.
" />
#26
Ah !! la Loi Zéro
" />
“Le but est de protéger l’espèce au détriment de l’individu si besoin.”
Avec 7,5 milliards d’individus, le WWF ne nous classe pas dans les espèces en danger …
#27
du coup, l’“intelligence unique” semblerait effectivement préparer un zerg rush en espérant avoir assez de temps avant que l’IA spawne son SCP-076 (et/ou son SCP-682)
" />
#28
Le développement de l’intelligence artificielle inquiète, des centaines de chercheurs s’engagent
Avec le développement de l’intelligence artificielle, des centaines de chercheurs s’inquiètent de perdre leur emploi.
#29
L’Europe a imposé la norme GSM à l’Amérique du Nord. Elle va bien réussir à lui imposer ses normes éthiques dans l’intelligence artificielle et la robotique, non ? À moins que ce ne soit la Chine qui mette tout le monde d’accord.
" />
Commencez à étudier la philosophie chinoise (Confucius, Lao Tseu, Sun Tzu, Mozi, etc), en attendant d’être gouverné par des IA chinoises.
#30
Avant de commencer à parler de “IA maléfique” “danger” etc…, il serait certainement plus pertinnent de définir ce qu’on entend par IA.
Ou comment discuter de trucs en faisant des hors sujets.
Et il faut arrêter de prendre en compte les films comme “exemples”. Il y a qu’a voir comment ils traitent bien des “méchants hackers” qui existent actuellement pour se dire que leur faculté à retracer des faits n’est pas parfaites.
Enfin, avant de définir le “bien” et le “mal” , il faut arrêter d’anthropiser les IA. On est à l’aire des IA ultra-spécialisé, faisant que de “petites” fonctions.
Et quiconque sait comment marche les IA actuelles sait que certaines parties de la liste sont juste pas compitable. (comprendre pourquoi ça marche pas ? On sait déjà pas pourquoi ça marche. pourquoi tel coefficient dans tel neurone plutôt que tel autre ? Juste l’entrainement qui l’a fait).
Il faut en réalité forcer la transparence en stockant l’ensemble des entrées à l’IA, l’état , et la sortie, et sauvegarder à chaque fois qu’il y a une erreur. Ca n’explique pas “pourquoi ça marche pas”, mais ca permet de faire de l’analyse.
Il faut aussi permettre à _tout le monde_ et pas juste le constructeur/concepteur, d’avoir accès à ces données à tout instant si on utilise.
C’est le seul moyen pour avoir une confiance dans une IA.
Les autres points de la liste sont tellement subjectifs qu’absolument inutile “valeures humaines”… Hitler a massacré des millions de personnes mais était un humain. J’aimerais pas du tout qu’une IA prenne ses valeurs siennes!
Ca me rapelle les discussions sur l’IA en bagnole “doit elle tuer un piéton ou le conducteur”, et “doit ont autorisé une telle IA qui est capable de faire un tel choix”.
A nouveau on anthropise l’IA en la mettant à notre place. Non dans ce cas, la réponse de l’IA a été “Je ne me met pas en position d’avoir à faire ce choix. Je rafraichis mes capteurs à 400Hz, et je peux détecter lorsqu’un n’a pas une réponse cohérente avec les autres. Si il y a un risque que je n’ai plus le controle de la voiture, je ralentis, voir je m’arrête.”, et malgré les quelques cas au bord, l’humain fera toujours pire, et le gain global de l’IA est sans commune mesure par rapport à laisser l’humain conduire (Me fait penser qu’un humain a failli m’envoyer au tapis hier , en ouvrant comme un guedin (donc sans rien vérifier) sa portière juste devant moi en vélo…)
#31
Tant qu’on n’en arrive pas au Cerveau d’acier ( quoique abolition de la guerre et de la famine 
" />)
#32
#33
#34
#35
#36
#37
Et une fois qu’elle est formée l’IA, tu fais quoi ?
" />
#38
formatage.
#39
Je l’ai bien compris, mais c’était pour expliquer
" />
la limite qu’il y a d’écrire avec ses pieds.
#40
#41
#42
#43
Avoue, t’as écrit ça comme appeau à OlivierJ !