Android P, Assistant, Photos : l’IA au secours de votre bien-être (et de Google)

En ouverture de la Google I/O, le groupe a présenté la prochaine fournée d'Android, à l'interface remaniée et rempli d'intelligence artificielle, comme la plupart de ses services. La plateforme s'ouvre encore aux développeurs, avec la promesse de réduire le temps passé par les utilisateurs sur Internet, sur la mélodie du « bien-être ».

Hier soir, Google tenait la conférence d'ouverture de l'I/O 2018, son événement annuel dédié aux développeurs. Comme l'an dernier, l'intelligence artificielle a tenu un rôle central dans les évolutions annoncées, de la prochaine version d'Android à la refonte de Google Actualités, encore plus personnalisable.

Après un premier discours prudent de Sundar Pichai sur l'IA, évoquant la « responsabilité » du groupe sur le sujet, la conférence a consisté en deux heures de promesses tous azimuts sur l'amélioration du quotidien par le filtrage des contenus et la prédiction du comportement. Un équilibre devenu la marotte de l'entreprise, restée discrète sur la vie privée.

Interface revue et actions contextuelles pour Android P

Comme chaque année, Google a profité de cette conférence pour détailler la future mouture de son système mobile. Elle est disponible en bêta pour 11 smartphones. Le changement le plus évident est une nouvelle navigation par gestes, inspirée de celle de l'iPhone X. Les trois boutons de navigation classiques d'Android sont remplacés par des gestes, activables en partant du bas de l'écran. Certains boutons réapparaissent au besoin, par exemple pour revenir à l'application précédente ou confirmer une rotation d'écran.

De nombreux éléments d'interface ont été affinés, comme les contrôles du volume, la fonction de capture d'écran, les boites de dialogue pour les plantages ou l'affichage des profils professionnels.

Sur Android P, l'IA contribue à la batterie adaptative. Le système est censé se conformer à l'utilisation habituelle de l'appareil, en gérant différemment les applications. Le groupe dit avoir constaté une réduction de 30 % des réveils du CPU par lesdites applications, qui sont la hantise de Google. La luminosité de l'écran est également tripatouillée via de l'IA, pour se conformer aux préférences de l'utilisateur et éviter les transitions brutales. Le propriétaire pourra aussi restreindre plus facilement l'utilisation en arrière-plan pour chaque app.

Le lanceur d'applications de Google présentait déjà des suggestions d'applications. Avec Android P, il ajoutera des actions, comme appeler un contact particulier ou reprendre la lecture d'un morceau sur Spotify après le branchement d'écouteurs. Une nouvelle fois, la tambouille menant à ces résultats reste le secret de Google.

Plus discrètement, le système empêchera les applications de surveiller l'activité réseau, en restreignant l'accès à proc/net. Esquivée lors de la conférence, cette correction devrait éviter que chaque logiciel voie les connexions des autres.

L'écran d'accueil d'Android P présenté lors de la conférence, et celui d'Android TV

Avec cette mise à jour, Android TV gagne une nouvelle interface, présentant d'abord les applications, puis des suggestions de contenus générales et par application. Elle revoit quelques autres éléments, comme la première configuration (suggérant des applications) et les paramètres. La prochaine mouture est censée être adaptée aux box de câblo-opérateurs.

D'autres formats sont possibles, comme la JBL Link Bar, qui sert à la fois de barre de son, de boitier TV et d'enceinte Google Assistant. Les développeurs peuvent, eux, réclamer une clé Android TV (4K), l'ADT-2, embarquant une préversion du système.

Android P : de nouveaux outils pour les applications

Google a révélé les « App Actions », des suggestions d'actions au sein des applications, d'abord proposées dans celles de Google, avant l'ouverture aux développeurs tiers. Par la magie de l'IA, ils pourront ainsi proposer des fonctions en un appui selon ce que l'utilisateur souhaite.

Dans l'autre sens, les Slices permettront d'appeler une « tranche » d'une application au sein d'une autre, comme la recherche Google, pour suggérer des actions. Une recherche sur un lieu pourra, par exemple, afficher d'elle-même un devis de Lyft ou Uber pour s'y rendre, entre autres réponses. Ces deux nouvelles API (App Actions et Slices) seront fournies aux développeurs à compter du mois prochain.

Pour exploiter le cloud de Google, le groupe propose désormais ML Kit, afin de faciliter l'intégration du machine learning (local ou en ligne) dans les applications. Ce nouvel ensemble d'API est proposé via Firebase, le guichet unique des services Google pour les développeurs d'applications mobiles, Android et iOS. Ces API permettent ainsi de labelliser des images, de reconnaitre du texte, de détecter des visages ou des points de repères, de scanner de code-barres ou encore de suggérer des réponses dans une messagerie.

Le groupe met en outre à jour ses outils de développement de réalité augmentée, ARCore. Ils permettent maintenant de partager des expériences entre plusieurs terminaux, de juxtaposer des objets sur plus de surface (via la Vertical Plane Detection) et promet un développement plus rapide d'applications. La réalité augmentée est d'ailleurs ajoutée aux Instant Apps, les versions d'essai sans téléchargement fournies par le Play Store. Ces Instant Apps sont d'ailleurs maintenant ouvertes à tous les développeurs de jeux.

Les ajouts ne s'arrêtent pas là. Android P fournit une API de reconnaissance de texte (pendant sa rédaction), une boite de dialogue unique pour réclamer l'empreinte digitale, des suggestions de réponses dans les notifications et une API de gestion fine du son (Dynamics Processing).

Le moment « droit à la déconnexion »

Accusés d'encourager l'addiction, les systèmes mobiles commencent à jouer la carte de la sobriété numérique. Cette conférence d'ouverture de la Google I/O a prôné la déconnexion pour un « bien-être numérique ». Comme d'habitude, la solution est technologique et dopée à l'intelligence artificielle.

Android P disposera ainsi d'un tableau de bord détaillant l'utilisation du smartphone, avec les applications les plus utilisées et le nombre de notifications reçues. Le système tentera de comprendre les habitudes du mobinaute pour « se concentrer sur ce qui compte », voire « trouver l'équilibre pour sa famille ».

La future mouture du système pourra couper les notifications si l'écran du smartphone est retourné contre une table. Comme d'habitude, ce mode « Ne pas déranger » pourra être outrepassé par les contacts favoris. Enfin, la fonction « Wind Down » doit encourager à aller dormir. Elle passe l'écran en mode nuit, active le mode « Ne pas déranger » et désature l'affichage à l'heure choisie pour se coucher.

Des applications auront des options spécifiques. YouTube proposera de faire une pause si l'utilisateur regarde trop longtemps des vidéos, via un panneau dédié. Elle groupera aussi les notifications reçues sur une journée, pour éviter de l'ouvrir à chaque nouvelle sortie de vidéo. La mise à jour est promise pour cette semaine.

Google Assistant gonflé à bloc

Au-delà d'Android, la star du « show » était Google Assistant, le service sur 500 millions de terminaux, pouvant interagir avec 5 000 appareils (des caméras connectées aux lave-vaisselles). Il gagne six nouvelles voix aux intonations plus naturelles, via la technologie WaveNet introduite en octobre dernier dans le service.

Surtout, l'assistant pourra prendre des rendez-vous à la place de l'utilisateur, en appelant les commerces au besoin. La démonstration de deux appels, à un restaurant et à un salon de coiffure, a fait forte impression. « Google Duplex » tente de se faire passer pour une personne physique, en réagissant correctement aux répliques qui sortent du schéma habituel. Idéal pour ceux qui veulent éviter les interactions humaines.

Comme feu Google Now, toujours dans la logique de gain de temps, l'Assistant fournira sur smartphone un récapitulatif des actions à mener pour la journée, selon l'heure, le lieu et les interactions récentes avec le logiciel. À compter de juillet, des « smart displays » capables d'afficher ses réponses seront mis en vente, possiblement chez JBL, Lenovo et LG.

Dans les prochaines semaines, il introduira aussi des poursuites de conversation, sans avoir besoin de relancer chaque réponse d'un « OK Google ». Cerise sur le gâteau, les intégrations de services tiers s'enrichissent encore avec le temps. L'Assistant doit s'ouvrir à 80 nouveaux pays d'ici la fin de l'année.

Pour calculer toutes ces opérations, Google a lancé ses processeurs Tensor processor units 3.0, les premiers avec du refroidissement liquide. Selon The Register, la puissance « multipliée par huit » par rapport aux TPU 2.0 correspondrait à 100 PetaFLOPS par unité. Ils seront déployés à grande échelle dans les prochains mois.

Autre nouveauté : l'introduction du morse dans le clavier mobile Gboard. La fonction d'accessibilité est disponible en bêta pour Android.

Google Actualités revu de fonds en combles

Critiqué sur la diffusion de désinformation et sur le classement des actualités, Google répond avec une refonte de son service, qui devient méconnaissable. Dans sa nouvelle mouture, la page d'accueil présente un briefing avec les cinq actualités à connaitre puis une sélection de sujets personnalisés, piochés dans des articles, vidéos et podcasts. Mountain View oblige, le service devine les centres d'intérêt et affine sa sélection avec l'utilisation. Comme Facebook, Google donne ici une place particulière aux infos locales.

Google Actualités se propose aussi de résumer des sujets, en présentant des citations et extraits de différents supports. Le but affirmé est d'avoir une première impression sur un sujet, avant d'éventuellement plonger dans un contenu. Sur une même actualité, les articles sont réorganisés selon ce qu'ils apportent à sa compréhension. Si la sélection des sujets est personnalisée, Google jure que ce classement des sources est le même pour tous.

Cette refonte ne pouvait pas se faire sans les éditeurs, très critiques du modèle d'Actualités, bien que friands de ses programmes de soutien. Le groupe dévoile ainsi Subscribe with Google, une formule d'abonnement aux médias en ligne, dont les contenus payants deviennent accessibles directement dans les recherches, dans Actualités et sur les sites de presse eux-mêmes. Les conditions pour les médias n'ont pas été détaillées, le groupe comptant 60 éditeurs impliqués dans le monde. Le service doit être ouvert à tous dans la semaine.

La nouvelle application boostée remplace Newsstand sur Android et iOS, et devrait être disponible pour tous la semaine prochaine.

Plus discrètement, le framework d'accélération du chargement des pages web AMP a droit à son toilettage. L'équipe compte utiliser le Web Packaking pour restituer des URL cohérentes avec l'article à l'internaute, plutôt qu'une adresse située chez Google.

Le framework a en outre été retravaillé pour inclure le recueil du consentement de l'internaute pour les publicités (dès le 10 mai) et les vidéos (dès le 15 mai), alors que le Règlement général sur la protection des données (RGPD) s'applique le 25 mai. Ce recueil peut être demandé selon la géolocalisation de l'utilisateur, pour restreindre ce consentement explicite à certains pays si on le souhaite.

Des Gmail, Photos et Maps plus intelligents

Fin avril, Gmail subissait un sérieux lifting, introduisant de nouvelles fonctionnalités, comme des messages confidentiels auto-destructibles et l'arrivée des suggestions de réponses d'Inbox. Hier, Google a promis des suggestions de phrases directement pendant la rédaction, dans le courant du mois. Il n'est pas dit si elles seront réservées à l'anglais ou rapidement étendues à d'autres langues.

Google Photos, qui recense cinq milliards de photos vues chaque jour, complète sa visionneuse. Dans les prochains mois, l'intelligence artificielle permettra de suggérer des actions en un clic, comme partager une photo avec une personne y figurant, voire d'adapter la luminosité sur les photos mal exposées. L'application suggèrera aussi des effets, comme désaturer une photo pour mettre en valeur un objet en couleurs. Elle convertira également en PDF des documents pris en photo (une fonction similaire à celle d'Office Lens de Microsoft).

Le groupe ouvre dans la foulée un programme partenaires, pour les développeurs qui voudraient s'appuyer sur son service pour l'hébergement et le traitement de clichés.

Pour sa part, Google Maps compte devenir le guichet unique pour découvrir un quartier ou une ville. Dès cet été, il affichera les lieux ou événements « tendance » d'une zone, comme un restaurant qui ouvre ses portes. Un nouvel onglet, « Pour vous », contiendra ces suggestions et des recommandations personnalisées.

La navigation à pied sera aussi revue, pour afficher une boussole devant une vue de la caméra. Chaque lieu ou commerce disposera d'annotations en réalité augmentée, par exemple avec les notes et commentaires de clients. Google Assistant est également promis au sein de l'application de cartographie pour cet été.

Enfin, l'outil de reconnaissance de contenus Google Lens sera intégré dans l'application caméra des Pixels et de plusieurs autres constructeurs. Il reconnaîtra bientôt les mots (pour expliquer de quoi il s'agit en surimpression) ou suggèrera des objets dans le même style que celui filmé, par exemple une lampe ou un vêtement. L'ensemble sera proposé dans les prochaines semaines.

Des outils pour faciliter la conception d'applications

La Google I/O ne serait pas une conférence pour développeurs sans des mentions d'Android Studio, de Material Design ou de Kotlin. La liste des nouveautés est massive. L'environnement de développement Android Studio 3.2 « Canary » intègre un nouvel éditeur visuel, le support des « Slices », de nouvelles fonctions de réusinage de code, des snapshots dans l'émulateur ainsi qu'une estimation de l'impact de l'application sur l'autonomie.

Surtout, l'IDE est adapté aux deux nouveaux gros morceaux pour les développeurs. D'un côté, l'Android Jetpack étend les capacités de la bibliothèque de compatibilité avec les anciennes versions d'Android pour accélérer la conception d'applications, notamment dans l'élaboration de l'interface.

De l'autre, l'Android App Bundle est un nouveau format d'application, qui contient l'ensemble de ses ressources mais confie au Play Store la génération et la signature du paquet. L'objectif : créer des paquets plus légers adaptés à chaque appareil, via une livraison dynamique de l'application. Ses fonctions peuvent aussi être téléchargées à la demande, plutôt qu'en un bloc.

Pour les développeurs Android et iOS, Google a mis en ligne la bêta 3 de Flutter, ses outils pour accélérer le développement d'interfaces mobiles fondées sur le Material Design. La société a aussi rafraîchi son site Material.io, avec de nouvelles ressources dédiées à son langage graphique.

Le groupe annonce enfin l'arrivée d'Android Things 1.0, son système pour objets connectés. Compatible avec de nouveaux systems on modules (SoM), il fournit une base de travail sûre aux concepteurs d'objets, promettant du matériel et des API certifiées, ainsi qu'une plateforme sécurisée.

Les données personnelles, carburant du bien-être

Via sa conférence et sa multitude de billets de blog, Google continue de dessiner un monde où l'intelligence artificielle, comme une baguette magique, continue d'améliorer le quotidien des heureux utilisateurs. Accessibilité, gains de temps dans l'organisation, choix d'un restaurant ou information, l'IA est la solution à tous les problèmes de l'internaute moderne.

Le préambule de Sundar Pichai, pointant le besoin de ne pas être « aveugles » face aux effets de ces outils, est le seul élément détonant d'une vision entièrement positive du système... soutenu par une IA sous perfusion de données personnelles, fournies par ses utilisateurs ou ceux d'applications tierces.

Quelques semaines après le scandale Cambridge Analytica, qui a mis Facebook dans l'embarras, Google continue de promettre un monde où elles ne sont qu'un carburant pour des outils de « bien-être numérique » fourni gratuitement. Un conte de fée qui pourrait bien vivre ses dernières années, à la faveur de la montée des notions de « privacy by design » et de « privacy by default », invitant au régime les gloutons des données personnelles.