Vous n'avez pas encore de notification

Page d'accueil

Options d'affichage

Abonné

Actualités

Abonné

Des thèmes sont disponibles :

Thème de baseThème de baseThème sombreThème sombreThème yinyang clairThème yinyang clairThème yinyang sombreThème yinyang sombreThème orange mécanique clairThème orange mécanique clairThème orange mécanique sombreThème orange mécanique sombreThème rose clairThème rose clairThème rose sombreThème rose sombre

Vous n'êtes pas encore INpactien ?

Inscrivez-vous !

Reconnaissance vocale : l'IA égale l'humain une nouvelle fois

La NSA est déjà à 0 % d'erreur
Tech 5 min
Reconnaissance vocale : l'IA égale l'humain une nouvelle fois
Crédits : AntonioGuillem/iStock

Pour la seconde fois, Microsoft annonce que son IA fait aussi bien qu'un humain dans la reconnaissance vocale. Une manière de répondre à IBM qui affirmait le contraire il y a peu de temps. Si les deux concurrents se livrent une bataille pour quelques pouièmes de pour cent, elle ne doit pas cacher la réalité : il reste encore beaucoup de travail.

L'intelligence artificielle est largement utilisée dans de nombreux domaines depuis plusieurs dizaines d'années maintenant. La reconnaissance vocale est l'un d'eux, et elle ne cesse de progresser au fil du temps. De nos jours, on l'utilise régulièrement avec les assistants numériques d'Amazon, d'Apple, de Google et de Microsoft pour ne citer que ces quatre-là.

Reconnaissance vocale : les ordinateurs veulent faire aussi bien que les humains

Afin de mesurer les performances des systèmes de reconnaissance vocale, et aussi les comparer les uns aux autres, les chercheurs peuvent utiliser le Speaker Recognition Evaluation (SRE) du National Institute of Standard and Technology (NIST).

Il comprend plusieurs milliers de conversations téléphoniques pour un total de près de 150 heures d'enregistrement (4,31 Go). Sur le benchmark Switchboard, Microsoft annonce avoir atteint un taux d'erreur de 5,1 %, en baisse de 12 % par rapport au mois d'octobre dernier (le taux était alors de 5,9 %).

Le but reste le même : faire toujours mieux et réussir à égaler, ou dépasser, un humain. Microsoft et IBM se livrent d'ailleurs une guerre de communication sur ce sujet depuis plusieurs mois. Ainsi, pour la seconde fois en l'espace d'un an, Microsoft revendique faire aussi bien qu'un humain, une affirmation qui avait été réfuté par IBM la première fois.

Quand Microsoft prend IBM à son propre jeu

Le 18 octobre 2016, Microsoft annonçait fièrement avoir « atteint la parité » avec un humain dans la reconnaissance vocale. « Le taux d'erreur de 5,9 % est à peu près égal à celui des personnes qui ont été invitées à transcrire les mêmes conversations » expliquait alors le géant du Net. Il ajoutait que c'était alors le score « le plus bas jamais enregistré » sur le test de reconnaissance vocale utilisé dans le cas présent (Switchboard).

En mars de cette année, il était par contre dépassé par IBM qui revendiquait à son tour un « nouveau record » avec un taux d'erreur de 5,5 %, soit 0,4 point de mieux. La société expliquait par contre qu'elle n'était pas arrivée au niveau d'un humain, et en profitait pour tacler son concurrent au passage : « Atteindre la parité humaine, c'est-à-dire un taux d'erreur à égalité avec celui de deux humains discutant, a longtemps été le but ultime de l'industrie. D'autres poursuivent également ce but, et certains ont récemment affirmé avoir atteint 5,9 %, un score équivalent à la parité humaine ».

Avec 5,5 %, IBM « ne sabre pas encore le champagne » et s'explique : la parité humaine ne se situerait pas à 5,9 % ou à 5,5 %, mais à 5,1 %. Bref, selon les tests d'IBM, aucune intelligence artificielle n'était en mesure d'égaler un humain en mars de cette année. Le taux d'erreur de 5,1 % annoncé aujourd'hui par Microsoft lui permet donc de revendiquer la couronne... pour la seconde fois.

Petites variations sur les protocoles

La question est maintenant de savoir si l'on peut se fier aux chiffres concernant le taux d'erreur d'un humain. Dans ce document, Microsoft retrace un peu son historique. En 1997, Lippman annonçait environ 4 %, mais sans avancer de données expérimentales. En 2010, il était question de 4,1 à 4,5 % selon le Linguistic Data Consortium (LDC). Vient ensuite Microsoft avec 5,9 % en 2016 et enfin IBM avec 5,1 % en 2017. 

Reconnaisance vocale IA
Historique des taux d'erreur au test Switchboard (SWB) - Crédit image : Microsoft

Des scores différents qui peuvent s'expliquer de plusieurs manières : le facteur humain déjà (une même personne n'aura pas forcément le même résultat en faisant plusieurs fois le même exercice), la différence de performance entre les transcripteurs et les conditions des tests. Par exemple, à l'aide de plusieurs transcriptions indépendantes, IBM a sélectionné les meilleurs transcripteurs pour obtenir le score de 5,1 %, ce qui peut expliquer – au moins en partie – la différence avec les 5,9 % de Microsoft. Mais d'autres transcripteurs pourraient obtenir des scores encore plus faibles. Bref, il s'agit plus d'un indicateur que d'une donnée exacte.

Si l'on parle de quelques points d'écart pour les humains, les ordinateurs ont pour leur part gagné des dizaines de points en l'espace de 20 ans. Durant cette période, le taux d'erreur est passé de plusieurs dizaines de pour cent pour arriver à 5,1 % seulement. Bien évidemment, les machines peuvent encore progresser et ainsi largement (et sans contestation) dépasser les humains dans les prochaines années.

Qu'en est-il de la compréhension du texte ? 

Microsoft reste lucide sur les capacités de son intelligence artificielle. La société ajoute en effet qu'elle doit encore progresser pour arriver au niveau des humains dans de nombreuses situations : environnements bruyants, micros éloignés de l'orateur, discours prononcés avec un fort accent, etc. Le problème étant que les données disponibles pour l'apprentissage de l'IA dans ces conditions sont limitées. Or, comme nous n'avons de cesse de le répéter, pour qu'une IA soit performante, il faut l'entrainer avec des quantités astronomiques de données.

Rappelons enfin qu'il ne s'agit que de retranscrire des mots, pas de les comprendre... et sur ce point il reste encore beaucoup de travail, précise sans détour Microsoft. « Passer de la reconnaissance à la compréhension du discours est la prochaine grande frontière » indique ainsi le père de Cortana en guise de conclusion.

27 commentaires
Avatar de Silences Abonné
Avatar de SilencesSilences- 22/08/17 à 12:34:46

A quand le logiciel qui permettra de détecter les gays à l'intonation de la voix?

Avatar de wanou2 Abonné
Avatar de wanou2wanou2- 22/08/17 à 12:37:31

A quand un bon logiciel de reconnaissance vocale pour taper un texte. Parce que je trouve que cette fonction est encore aujourd'hui très médiocre. La correction contextuelle qui est faite améliore nettement la qualité de la reconnaissance mais c'est pas folichon sans ça.

Avatar de Drepanocytose Abonné
Avatar de DrepanocytoseDrepanocytose- 22/08/17 à 12:38:20

Ils ont mis leur IA nazie dans un meeting de Trump, normal qu'elle ait tout compris

Avatar de letter Abonné
Avatar de letterletter- 22/08/17 à 12:45:39

Dragon Naturally Speaking était déjà bien il y a 10 ans, je pense que maintenant, ça doit être rôdé pour cet usage.

Édité par letter le 22/08/2017 à 12:45
Avatar de OlivierJ Abonné
Avatar de OlivierJOlivierJ- 22/08/17 à 12:46:29

Ayant tendance à parler plutôt vite, je dois ralentir très nettement mon débit pour être correctement retranscrit par mon téléphone (Android récent), là où un humain me comprend. Donc à mon sens il y a encore pas mal de progrès à faire dans la reconnaissance vocale, même si à débit lent c'est pas mal du tout, et que ça reconnaît parfois des noms propres peu courants. A l'inverse, la transcription est parfois juste phonétiquement et assez drôle à lire.

Avatar de MoonRa Abonné
Avatar de MoonRaMoonRa- 22/08/17 à 12:47:50

Quand leur IA pourra piger certain accent Irlandais là je serais étonnés. 

De nos jours, on l'utilise régulièrement avec les assistants numériques d'Amazon, d'Apple, de Google et de Microsoft pour ne citer que ces quatre-là.

 :cap:

Édité par MoonRa le 22/08/2017 à 12:48
Avatar de kosame Abonné
Avatar de kosamekosame- 22/08/17 à 12:48:24

J'ai des doutes sur la qualité des textes utilisés pour la reconnaissance. Celui là doit pas passer le 1% de reconnaissance :
  https://www.wordetweb.com/word-et-web/HUMOUR-papous-pas-a-poux-papous-pas-papa-a-poux-papous-epoux-FR.htm

Avatar de ColinMaudry Abonné
Avatar de ColinMaudryColinMaudry- 22/08/17 à 12:58:12

Je pense qu'il s'agit ici exclusivement de reconnaissance de la langue anglaise. Mais effectivement, balèze :D

Avatar de WereWindle INpactien
Avatar de WereWindleWereWindle- 22/08/17 à 13:01:02

tu lui passes l'intégrale de Devos à ton IA

Avatar de Sans intérêt Abonné
Avatar de Sans intérêtSans intérêt- 22/08/17 à 13:03:09

La société ajoute en effet qu'elle doit encore progresser pour arriver au niveau des humains dans de nombreuses situations : environnements bruyants, micros éloignés de l'orateur, discours prononcés avec un fort accent, etc. Le problème étant que les données disponibles pour l'apprentissage de l'IA dans ces conditions sont limitées.

Voici une affirmation étonnante : je n'aurais pas cru que l'on manquait de telles données.

En effet, outre la transcription de films et séries, il existe aussi de nombreuses transcriptions de directs à la télévision (certaines chaînes sont particulièrement attentives sur ce point), prêtes à l'emploi, ou, à défaut, prêtes à être retranscrites encore une fois. Par ailleurs, ce ne sont pas les services de vidéo remplies de vidéos amateur en accès public qui manquent, avec des qualités d'enregistrement extrêmement variables. Dont des "environnements bruyants, micros éloignés de l'orateur, discours prononcés avec un fort accent, etc."

Certes, cela suppose qu'il soit tout de même possible de retranscrire des phrases effectivement inaudibles et non identifiables par des humains, afin d'entraîner l'IA sur celles-ci en particulier.

Il n'est plus possible de commenter cette actualité.
Page 1 / 3