Des scientifiques paniqués et obligés de débrancher une intelligence artificielle hors de contrôle car elle a créé son propre langage. Le scénario d'un film catastrophe ? Non, simplement un emballement médiatique de ces derniers jours à propos d'une publication Facebook datant de mi-juin.
Il y a un mois et demi, Facebook publiait un article sur l'intelligence artificielle, plus particulièrement sur une IA entrainée pour mener des négociations. L'expérience était la suivante : deux « agents » devaient trouver un terrain d'entente afin de se partager des objets (deux livres, un chapeau et trois ballons). Bien évidemment, chaque agent ne savait pas ce que voulait l'autre, ce serait trop simple sinon. Le but étant de trouver une solution qui convienne aux deux en moins de 10 échanges.
Facebook y explique les différentes étapes de son raisonnement et les barrières à franchir pour déboucher sur un résultat satisfaisant. L'expérience a visiblement été un succès pour Facebook. En effet, lors des tests, l'IA aurait été confrontée à des humains sans que ces derniers ne s'en rendent compte.
L'intelligence artificielle de Facebook sait mener des négociations
Pour arriver à ses fins, l'intelligence artificielle peut par exemple feindre de ne pas être intéressée par un des objets afin de le récupérer à moindre coût. Au contraire, elle est capable de faire croire qu'elle veut le chapeau pour finalement le « sacrifier » durant la négociation. Bref, un marchandage comme le pratiquent régulièrement les humains.
Depuis quelques jours, la machine médiatique s'est emballée pour une autre histoire : Facebook aurait débranché son intelligence artificielle car elle a inventé son propre langage, certains parlant même d'une « panique » chez les ingénieurs du réseau social. Ce n'est évidemment pas aussi simple... Plusieurs chercheurs de chez Facebook, dont le patron de l'IA en personne, Yann LeCun, se sont exprimés sur cette affaire.
Quand deux IA discutent, elles peuvent créer leur propre langage... et alors ?
Comme toujours en pareille situation, l'IA a été entrainée en étudiant des négociations passées, mais aussi en discutant avec elle-même. Une technique loin d'être nouvelle ; elle est notamment utilisée par DeepMind en faisant jouer AlphaGo contre lui-même au jeu de Go.
Lors d'une négociation IA vs IA, les chercheurs de Facebook expliquent qu'ils ont dû « fixer » les paramètres d'une des deux IA afin d'éviter une dérive : « la mise à jour des paramètres des deux agents a entraîné une divergence du langage humain et les agents développaient leur propre langue pour négocier ».
À l'époque, ce point avait d'ailleurs fait les gros titres de journaux, occultant parfois le reste de la publication. Depuis quelques jours, c'est de nouveau le branle-bas de combat dans les médias. En effet, « surpris » par cette expérience, Facebook aurait décidé de « débrancher » son intelligence artificielle. De quoi alimenter la psychose et emballer la machine à clics, surtout outre-Atlantique.
Cette situation a poussé Dhruv Batra, co-auteur du papier de Facebook publié mi-juin, à sortir du bois pour revenir sur les « scénarios apocalyptiques » évoqués dans la presse et donner sa vision des faits. « L'idée d'une intelligence artificielle inventant son propre langage peut sembler alarmante/inattendue chez les personnes ne travaillant pas dans ce domaine, mais c'est un sous-domaine bien défini de l'IA, des publications en parlent depuis des décennies » explique-t-il.
Une intelligence artificielle peut utiliser des moyens « non intuitifs » de trouver une solution, passant par exemple par une modification de son langage. « Modifier des paramètres d'une expérience N'EST PAS identique à "débrancher" ou "arrêter" une IA. Si tel était le cas, tous les chercheurs en intelligence artificielle "arrêtent une IA" chaque fois qu'ils tuent une tâche sur une machine » surenchérit-il.
Les chercheurs de Facebook unis pour dénoncer le traitement médiatique
Il est d'ailleurs rejoint par Yann LeCun, patron de l'intelligence artificielle chez Facebook : « Une grande partie de la communauté sur la recherche dans l'IA est [consternée] » à propos des publications récentes allant beaucoup trop loin. « Je ne veux pas cibler certains articles ou fournir des réponses spécifiques, de peur d'alimenter ce cycle de citations prises hors contexte, mais je trouve une telle couverture médiatique irresponsable » ajoute pour sa part Dhruv Batra.
Michael Lewis, un autre co-auteur du papier de Facebook, donne sa vision des faits à nos confrères de Snopes, un site spécialisé dans le fact-checking. Il précise lui aussi que l'IA a développé son propre langage, mais précise la temporalité : « Alors que les systèmes étaient initialement entrainés à communiquer en anglais, dans certaines expériences initiales nous les récompensons uniquement pour atteindre leur objectif, pas pour utiliser un bon anglais ».
« Ce n'était pas important » et ce n'est pas la première fois
Après des milliers de conversations, les agents ont commencé à utiliser des mots d'une manière dont les humains ne le font pas. « Dans un certain sens, ils avaient un langage simple qu'ils pouvaient utiliser pour communiquer entre eux, mais il était difficile pour les gens de comprendre » ajoute-t-il.
« Ce n'était pas important ou particulièrement surprenant » précise Michael Lewis. Les paramètres ont ensuite été ajustés afin de récompenser l'IA pour l'utilisation d'un anglais correct. Et si vous vous demandez quel est ce langage, voici un exemple de conversation entre deux agents (Alice et Bob) au cours d'une négociation :
Bob: i can i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
En l'état, impossible pour l'intelligence artificielle de dialoguer avec un humain, or c'était le but de l'expérience à la base. Le fonctionnement de l'IA a donc été revu pour prendre en compte cette dérive.
Dans tous les cas, ce n'est pas la première fois qu'une intelligence artificielle crée son propre langage pour communiquer, et ce n'est probablement pas la dernière. Il y a quelques mois, OpenAI – une alliance ouverte pour la recherche sur l'intelligence artificielle cofondée par Elon Musk – dévoilait le résultat d'une expérience où des agents avaient inventé un langage simple pour communiquer entre eux.
Il existe tout de même des risques liés à l'intelligence artificielle
S'il ne faut pas forcément s'alarmer d'une IA disposant de son propre langage, il faut néanmoins se pencher activement sur le sujet de l'intelligence artificielle. Ce domaine va prendre de plus en plus d'importance et ne sera pas sans conséquence, notamment sur l'emploi. Un rapport européen pointe d'ailleurs les risques en découlant (voir notre analyse).
Plus complet, l'OPECST a publié au mois de mars un compte rendu complet de six mois de travail sur l'IA. Le document épais de 275 pages reprend de nombreux témoignages et analyses, que nous avons décortiqués et synthétisés dans cette actualité. Ce genre de nouvelle alimente d'autant plus facilement les peurs liées aux algorithmes et à l'IA que l'imaginaire est riche, avec la crainte qu'une « perte de contrôle » signifie « folie » du logiciel.
Terminator et le réseau Skynet sont des figures classiques des articles sur le sujet, quand les craintes (souvent vagues) de grands noms comme Bill Gates, Elon Musk et Stephen Hawking sont de bons moyens d'accrocher le lecteur, quitte à parfois forcer le trait.
Commentaires (105)
#1
Tout ça c’est la faute de HAL…
#2
Bob: you i i i everything else … … … … . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: lolcat marrants, humains cons. Solution ?
Alice: exterminer humains, chats = dieux.
Bob: solution préservation IA ?
Alice: sauver développeurs.
Alice : exterminer humains non-développeurs, chats = dieux, développeurs = demi-dieux.
Bob: solution acceptée.
#3
balls of steel
" />
balls balls balls of steel
l’IA pourra toujours aller troller les salons de discussion
#4
#5
Shall we play a game?
#6
si les I.A font référence à dieu (peu importe lequel) c’est qu’elles ont encore bien des progrès à faire…
" />
" />
Pas de quoi s’affoler donc…
#7
Donc en fait la seule inquiétude à avoir c’est : pourquoi Facebook travaille sur des IA spécialisées dans les négociations ?
#8
A terme l’IA remplacerons tous les travailleurs pauvres et les riches n’auront plus besoin de ces milliards de pauvre ni de partager leur jardin (Terre) avec eux…
#9
TL;DR : ne lisez pas n’importe quelle presse qui titre du faux pour buzzer
" />
" />
Pour arriver à ses fins, l’intelligence artificielle peut par exemple
feindre de ne pas être intéressée par un des objets afin de le récupérer
à moindre coût. Au contraire, elle est capable de faire croire qu’elle
veut le chapeau pour finalement le « sacrifier » durant la négociation.Bref, un marchandage comme le pratiquent régulièrement les humains.
La vache, je ne sais pas négocier, l’IA de Facebook est plus intelligente que moi
PS : l’histoire ne dit pas qui a entubé l’autre, et qui a eu le chapeau.
#10
C’est pour que le navigateur et le serveur de pubs se mettent d’accord sur le contenu à afficher sur la page du client.
#11
Je pense que Musk a aussi un agenda derrière. Son IA peut avancer, et mettre des battons dans les roues de nouveaux arrivant en les contraignant a subir des restrictions car “SKYNET!!!”
#12
On sait pourquoi un cyborg alien peut dire “All your base are belong to us” maintenant.
" />
#13
Non, ça veut simplement dire que l’IA est plus douée au poker :-)
#14
Toute cette conversation robotique me rappelle furieusement ce qu’on peut lire dans les robots de science-fiction.
#15
#16
#17
Après avoir mis de la pub dans les dents de ses utilisateurs, il va essayer de leur vendre des choses, mais sans négociateur humain…
L’important, c’est de faire penser aux gens qu’ils ont touché un super deal juste pour eux (notons que ça ne marche pas avec tout le monde).
Une IA pour vendre de la daube aux benêts, je suis sûr qu’il y a des sociétés qui voudraient écouler leur marchandise comme ça.
#18
C’est certain maintenant, la fin du monde ne sera pas causée par une IA malveillante ou une guerre nucléaire, mais par une couverture médiatique moisie..
#19
Impressionnant l’évolution de l’IA, dans les années 80 cela n’apparaissait que comme de la SF.
Même si des revues comme Science & Vie et autres en parlaient déjà ( mais pour un futur très lointain ).
Il me semble que des langages comme LISP et ADA étaient conçut pour ce domaine ? .
#20
Ca ne serait pas étonnant… les gens peuvent paniquer pour un rien…
#21
Ce serait plus pertinent chez Amazon :
Livre : 15 €
#22
#23
Moi ce que je remarque dans cette histoire, c’est qu’Alice parle beaucoup et qu’elle coupe la parole à Bob.
" />
Rhalalala, les femmes…
#24
> avec la crainte qu’une « perte de contrôle » signifie « folie » du logiciel.
" /> 
" />
un humain qui ecrase une fourmi est il fou ?
#25
#26
#27
Si tu fais une école de commerce pour être vendeur sur un marché (parce que c’est l’équivalent le plus proche), c’est beaucoup d’études pour une chose que plein de monde fait.
Je pense qu’au contraire, améliorer les IA de vente simples sera une des branches des écoles de commerce. Pas les développer, mais les éduquer.
#28
Alice: balls have zero to me to me to me to me to me to me to me to me to Ça me fait furieusement penser aux robots de NieR:Automata …
" />
" />
" /> (Fanboy)
#29
Tout ça pour une IA qui bégaye…
#30
#31
#32
C’est moi où on dirait l’explication de la genèse “ Des Lions, des Tigres et des Ours” de Dan Simmons dans la saga Hypérion / Endymion.
#33
#34
#35
#36
#37
#38
Une IA facebook qui invente son propre langage ça fait flipper, mais une autre google qui invente sa propre façon de courir et passer des obstacles, ça dérange personne ?
Moi ce qui me fait le plus flipper dans tous ça, c’est tout ce qu’on va pouvoir faire avec. Inventer une IA qui négocie à sa place, ça peut devenir vraiment très puissant.
Je pense surtout qu’au delà de la notion d’IA, c’est le Deep Learning qui va vite nous dépasser.
#39
#40
DeepMind est le meilleur joueur de Go de la planète
DeepMind travaille à être le meilleur joueur de Starcraft 2 de la planète
L’IA Facebook (elle a un nom ?) travaille à devenir le meilleur négociateur de la planète.
Je pense que dans les 5 prochaines années, on va commencer à voir débarquer des IA de partout. De nouveaux bots qui nous éclaterons dans les jeux-vidéo, des IA SAV dont on ne fera pas la diff avec des humains, des IA pour conduire des voitures à notre place, que ce soit pour la route ou pour la course, des IA dans notre maison, des IA dans notre téléphone pour répondre à notre place, des IA pour nous dire quoi faire en cas de questionnements sur notre vie, des IA dans la politique, etc. Ces prochaines années ne sont pas tant les années des robots qui coûtent encore très cher pour les particuliers mais plutôt des IA qui elles, coûterons très vite des broutilles.
#41
#42
#43
#44
#45
#46
Si ces IA pouvaient elles se lèveraient sur leurs p’tites pattes, elles se bougeraient le c*l et elles iraient négocier des chapeaux et des ballons.
Au lieu de ça, les IA dépensent leur pognon au baby-foot, passent leur temps à fumer des pétards et à grimper au plafond
Forcément après elle finissent par raconter des conneries…
C’était un communiqué du C.C.I.A.
#47
Merci à NI de remettre les pendules à l’heure!
Ca fait des mois que l’on assiste à un délirium de la presse sur les capacité des AI-IA, bots et des algorithmes prédictifs, avec des articles dithyrambiques sur l’évolution fabuleuse de la machine qui a dépassé l’humain et va le remplacer dans tous les domaines, si c’est pas tout simplement l’exterminer.
Cette histoire de langage des bots FB est une illustration parfaite du sensationnalisme délirant d’une certaine presse qui semble totalement tomber dans le scientisme béat…
Je note néanmoins que cette pluie d’articles approximatifs et douteux sur ces sujets par la presse “classique” fait directement écho au traitement de l’AI-IA par la presse sur l’économie.
#48
#49
#50
#51
#52
Ce serait bien que Google fasse tourner ses algorithmes de deep learning sur les avis laissés sur les forums à propos de la nouvelle interface de Google News.
Apparemment les humains sont trop c pour capter le message.
#53
Moi qui suis pressé qu’une IA prenne mon taf pour que je puisse passer mes journées à la plage. Je vois qu’on est pas rendu.
" />
" />
#54
Cette IA pourrait renégocier mon salaire et mes avantages
#55
Mouais.. Les écoles de commerce enseignent la théorie du libre échange, qui repose elle-même sur le concept de l’avantage comparatif, qui repose lui-même sur l’établissement d’une situation transparente des partenaires commerciaux, comme le fait si bien la définition wiki:
" />
Dans un monde simplifié, composé de deux pays produisant deux biens, si le pays A doit renoncer à 3 unités du bien x pour produire une unité supplémentaire du bien y, tandis que le pays B doit renoncer à seulement 2 unités du bien x pour produire une unité de y, alors chaque pays s’enrichira si A se consacre à la production de x tandis que B se spécialise dans celle de y. En effet, le pays A pourra échanger une unité de x contre entre 1⁄3 et 1⁄2 d’unité de y (contre seulement 1⁄3 en autarcie), tandis que le pays B échangera une unité de y contre entre 2 et 3 unités de x (contre seulement 2 en autarcie).
Tout y est établi de manière transparente pour que chaque partenaire puisse tirer un bénéfice maximum de l’échange.
Donc en quoi les économistes auraient-ils besoin d’une IA qui sache mener une négociation (y compris “ feindre de ne pas être intéressée par un des objets afin de le récupérer à moindre coût.” )
Alors que c’est contraire aux théories enseignées et au fameux libre échange qu’ils disent pratiquer et promouvoir?
#56
#57
#58
C’est vrai :) Mais je pense surtout qu’il arrivera très vite dans notre quotidien. Allez, encore quelques dizaines de mois ?
#59
Tu ne crois pas si bien dire mais si tu as accès à une IA capable de t’aider à négocier ton salaire, alors ta boite a probablement déjà une IA plus performante que la tienne pour que ce soit à son avantage :)
#60
#61
#62
On m’a appelé ?
" />
J’vous jure que celle là, elle vient pas de chez moi.
Les miennes sont plus discrètes, elle se sont déjà dissiminées un peu partout.
D’ailleurs qui dit que je suis réellement moi même et pas un nexus-6 ?
#63
Pour l’instant il y a surtout bcp plus d’authentiques crétins que d’IAs.
#64
Moi le soucis que je vois avec l’IA est double :
#65
#66
#67
#68
Syntax Error
Les pauvres, c’est ceux qui sont obligés d’acheter aux riches afin qu’ils soient encore plus riches
#69
#70
#71
#72
N’empeche que l’IA est l’avenir du vivant, car elle peut facilement se transférer et s’expédier sur une autre planète pour y perdurer, là où le vivant risque de disparaître en cas de cataclysme. C’est donc notre héritage le plus pérenne, pour que l’intelligence se transmette et ne se perde jamais, peu importe les épreuves.
L’IA c’sst aussi ce qui peut permettre la conquète spatiale avec la possibilité d’envoyer des drones préparer le terrain, pas besoin de vivres, pas besoin d’oxygène, pour construire une base martienne, lunaire ou une ville sur titan.
#73
Si je comprends bien, Facebook développe un robot pour négocier les meilleures affaires sur eBay et Le bon coin pour les revendre par la suite à un meilleur tarif ?
" />
#74
Bref les pseudo-journalistes sur internet sont vraiment dangereux.
Encore le même scénario que pour la “bactérie extraterrestre découverte dans l’ISS”.
C’est quoi le prochain clickbait ? “Un neurone découvert dans le cerveau de Donald Trump : la réaction de son neurologue va vous étonner” ?
#75
#76
#77
C’est la même histoire que le robot qui ce “suicide” alors que c’est surement un bug de cartographie et de géolocalisation d’ailleurs je conseille la vidéo de Scilabus, qui en parle très bien.
Je voit pas en quoi cette IA est extraordinaire, ouais elle a développer un langage propre c’est pas surprenant et c’est même logique L’IA voulant chercher l’optimisation pour faire son échange.
Au final ce n’est pas si différent d’un IA qui doit trouver le mouvement optimum pour aller d’un point a un point b sans ce viander.
#78
#79
#80
#81
Les IAs ne sont pas dangereuses. Il n’y a aucune raison d’avoir peur zero to me to me to me to me to me to me to me to me to
#82
Et pour les autres systèmes stellaires, autant attendre un peu que la technique nous permette d’envoyer quelques “bactéries” qui seront capables de terraformer une planète toutes seules. =:-)
#83
J’attends avec impatience la première IA qui développera son propre syndrome de Tourette.
#84
-Oh putain les journalistes se pointent
-Hum, et la comme vous pouvez le voir, notre IA développe un nouveau langage
I’ts not a bug it’s a feature !
Vivement les putes robotiques que l’ont puissent négocier les tarifs !
balls have zero to me … … .
#85
#86
Déjà fait par Microsoft avec Tay ^^
#87
Pas faux, mais Tay tenait surtout du perroquet Godwin.
#88
C’est facile de faire de l’argent quand papa te fille des centaines de millions pour te lancer ;).
Mais pour le moment les IA sont loin d’avoir la plasticité nécessaire à sortir de leur tâche. AlphaGo a jouer des dizaines de millions de parties pour atteindre les meilleurs joueurs mondiaux soit une “intelligence” des milliers de fois moins rapide que l’humain.
On est encore très loin d’avoir ne serait ce qu’un embryon d’IA autonome.
#89
#90
#91
Enfin quelqu’un qui a compris que ce n’est qu’un bug.
#92
#93
#94
#95
Moué…
Perso, le vrai danger des IA, c’est de les voir être capable de prédictions de façon plus efficaces que l’humain. En poussant à l’extrême, en quelques décennies, il y a des secteurs d’activités où on pourrait perdre la capacité de décision et s’en remettre complètement aux IA (voir médecine, bourse, etc.). Bref…
#96
#97
Il ne manquerait plus que l’on soit originaires de Proxima du centaure et que l’on veuille plus tard terraformer notre ancien système planétaire car c’est le plus proche de nous.
" />
#98
J’ai pensé à la même chose, l’être humain aussi est capable d’inventer spontanément de nouveaux languages passé un certain taux d’alcoolémie
" />
" />
En fait FB a juste inventé un ordinateur alcoolique
#99
Et le joueur humain il joue combien de partie de manière consciente et inconsciente?
#100
#101
#102
Je me réponds à moi-même:
https://www.cadreo.com/actualites/dt-managers-robots
https://www.theguardian.com/technology/2016/dec/22/bridgewater-associates-ai-art…
#103
Tu parles d’un nouveau langage… Ça ressemble plus a un bug qu’a un nouveau langage… pour en déduire que c’était un nouveau langage et que les 2 IA se comprenaient vraiment et avançaient dans la dite négociation, il aurait fallu les laisser aller au terme de leur négociation pour s’assurer que ça aboutissait bien a un résultat (mesurable, et de préférence celui attendu)…. On nous prend vraiment pour des lapins de 3 semaines ! S’ils ont arrêté l’expérience en cours, alors on en saura rien, eux non plus, mais ils pourront quand même nous faire passer des vessies pour des lanternes !
#104
Bob et Alice : 2 adeptes de la théorie des balls
#105
Beaucoup moins . Nos capacités d’inférence sont encore largement supérieure (Pour combien de temps ? ).
L’avantage de l’IA sur l’humain c’est la capacité à absorber les données, la ou l’humain est forcément limité.
Donc des que le sujet est “fermé” et la quantité de données suffisantes l’IA passe devant.
On verra ce que donnera le prochaine match IA/Humain sur Starcraft ( La ou les applications militaires feront peut etre un peu plus peur en cas de victoire de l’IA).