Comment les « pirates » de Google ATAP veulent tout connecter, même vos vêtements

Lors de la Google I/O, samedi, le groupe de recherche ATAP a dévoilé certains projets censés changer notre matière d’interagir avec nos terminaux. Quand certains en sont encore au prototype, d’autres semblent bien à quelques pas de l’industrialisation.

Le groupe ATAP de Google fait de plus en plus parler de lui, alors qu’il n'était connu jusqu’ici que pour son smartphone modulaire, le projet Ara. Lors d’une conférence de la grand-messe annuelle de Google, I/O, l’équipe a présenté plusieurs projets d’envergure dans quelques domaines-clés : les interactions avec un smartphone, la sécurité des données et le divertissement. « Nous sommes une petite équipe de pirates qui réduisent l’écart entre ‘Et si ?’ et ‘C’est prêt !’ » explique Regina Dugan, vice-présidente en charge de l’ingénierie et projets chez Google et co-fondatrice du groupe ATAP. De « pirates », ils n'en ont pourtant ni le look, ni le parcours.

Le groupe ATAP est une équipe de Google, récupérée de Motorola, qui développe des projets sur des périodes très courtes. Leur méthode est inspirée de l'armée, d'où viennent la plupart des fondateurs. En moins de deux ans, l’équipe doit passer chaque concept au statut de technologie utilisable, voire commercialisable dans certains cas. Un de ces projets concluants est Tango, une tablette capable de voir en 3D autour d’elle, et qui a été récupérée par une autre équipe de Google.

Lors de la Google I/O, le stand du groupe ATAP a été l’un des plus populaires auprès des journalistes, les nouveautés étant très graphiques, comme nous allons le voir. Mais l’important n’est pas que dans ce qui est affiché. « En 11 mois [depuis la dernière Google I/O], le nombre de partenaires est passé de 305 à 514, passant de 22 pays à 27, de trois continents à cinq. C’est l’innovation grandeur nature sous stéroïdes » vante Regina Dugan, sans fausse modestie. L’objectif est de concevoir les projets au sein de l’équipe, pour les expérimenter et les développer avec des partenaires externes, souvent des groupes industriels.

« Dans les projets ATAP, nous voyons la créativité inhérente d’autres personnes en œuvre, de scénaristes oscarisés, d’ingénieurs système, de musiciens ou de mathématiciens. Notre équipe interne agile nous donne de la vitesse, nos partenariats externes donnent de la dimension aux projets et de l’expertise qui n’est pas disponible dans notre petite équipe. Ensemble, nous avons la capacité de résoudre des problèmes difficiles, qu’on ne peut résoudre seuls » explique encore la responsable d’ATAP. Le premier sujet, les objets connectés à porter sur soi (« wearables »), en est la démonstration.

Des technologies utilisables et plus proches du corps

« Nous parlons de wearables depuis 20 ans. Si nous avons peiné à faire de grandes avancées, c’est qu’il y a des principes scientifiques sous-jacents qui manquaient » affirme encore Regina Dugan, qui cite une étude de Paul Fitts datée de 1954, « Capacité d’information du système moteur humain », quasi-fondateur dans la création d’interfaces.

Dans les faits, la loi de Fitts est utilisée en informatique et en ergonomie pour déterminer la difficulté physique d’une tâche pour l’utilisateur. Fitts demandait au cobaye de rapidement taper tour à tour sur deux plaques éloignées avec un crayon, pour mesurer la difficulté à concilier vitesse et précision.

Le groupe ATAP a donc appliqué une formule tirée des travaux de Fitts aux smartphones et tablettes, pour modéliser la difficulté à interagir avec un écran selon sa taille. Pour l’équipe, la taille d’un écran de montre connectée (de 1 à 2 pouces) est la limite où les interactions deviennent très difficiles. « Plus les technologies se rapprochent du corps, plus nous approchons la limite où il est impossible d’interagir avec » affirme le groupe ATAP. Google mesure cette difficulté en bande passante (bits par seconde) : plus elle est élevée, plus l’action est difficile. L’équipe a donc deux projets pour y remédier, Soli et Jacquard, qui éliminent le besoin d’un écran.

Projet Soli, tout contrôler avec ses doigts via un radar

Le projet Soli utilise les mouvements de la main dans l’air, près d’un capteur, pour utiliser un système. En un sens, il rappelle le Leap Motion pour PC, qui vise aussi à modéliser les mouvements des mains dans une certaine zone pour manier un système. « Ce que nous proposons, c’est d’utiliser des mouvements de la main que vous avez déjà appris avec vos outils au quotidien » explique Ivan Poupyrev, en charge du projet.

Il prend l’exemple du défilement de contenu sur smartphone. Le but de Soli est de conserver le mouvement en enlevant l’appareil. Ce mode d’interaction « virtuelle » permet aussi d’imaginer de nouveaux mouvements, comme un frottement pour simuler le fait de tourner une roue entre deux doigts.

Surtout, ce mode permettrait de contrôler plusieurs appareils ou applications en même temps, chacun avec ses gestes dédiés. « On peut multiplier le vocabulaire qu’on peut appliquer dans différents contextes. Vous pourriez utiliser le touchpad virtuel pour manipuler une carte sur votre montre ou créer un cadran pour contrôler votre radio, pour changer de volume ou de station » explique Ivan Poupyrev.

Les mouvements sont perçus par un capteur contenu dans l’objet porté. Il doit être capable de détecter des petits mouvements de doigts, leur superposition et les mouvements de la main dans l’espace. Tout cela à travers des couches d’autres matériaux. Plutôt que d’utiliser un capteur capacitif ou une caméra pour voir les mouvements, le groupe ATAP a opté pour un radar, qu’ils ont développé et miniaturisé. Il est intégrable dans une quantité d’objets, dont une montre, et permet de capter les gestes, quelle que soit la luminosité.

« C’est une nouvelle catégorie de capteur radar qui tourne à 60 GHz, qui capture les mouvements de la main et des doigts dans l’espace, avec une précision et une vitesse impossibles avant » vante encore le responsable de Google, qui parle de 10 000 images par seconde dans le meilleur des cas. Les concepteurs de Soli ont présenté en direct quelques fonctions (comme le défilement) mais l’intégration dans un appareil risque d’attendre encore un bon moment. Ils disent finaliser le développement du circuit et de l’API logicielle, qu’ils comptent publier avant la fin de l’année.

Jacquard : le vêtement devient une interface

Le deuxième projet de Google pour éliminer le besoin de manipuler de petits écrans se nomme Jacquard. Son but est d’utiliser le vêtement lui-même comme surface pour manipuler un objet. Ivan Poupyrev, toujours, compare les écrans tactiles et les textiles. « Ce sont tous deux des grilles entrecroisées. Donc si nous pouvons remplacer certains fils textiles par des fils conducteurs, on peut tisser des capteurs tactiles multipoints » explique-t-il, en ajoutant que le procédé peut fonctionner avec les matériaux classiques, comme la soie ou la laine. « Si nous faisions des vêtements avec ces textiles, ils seraient immédiatement interactifs, mais nous n’appellerions pas ça un objet connecté, mais une veste ! »

« L’industrie textile vend 19 milliards de produits par an. On ne peut pas espérer qu’ils changent pour nous (même si nous sommes Google !), nous devons donc permettre des interactions avec les techniques de fabrication actuelles » affirme encore la société. Selon elle, les techniques pour produire des textiles tactiles n’existent pas encore. La société a donc conçu ses propres fils textiles, qui doivent supporter un traitement industriel et être utilisables comme un tissu quelconque par les designers. Un fil conducteur est enroulé dans des fils textiles, pour un rendu classique.

Plutôt que de rendre toute la surface du vêtement tactile, ce qu’ATAP considère difficile à alimenter, le groupe a opté pour une surface plus réduite, qui peut être délimitée visuellement. Une fois le carré en place, la main est détectée par le vêtement même sans le toucher. Il suffit de s’en approcher de quelques centimètres. Dans la démonstration d’Ivan Poupyrev, les gestes de la main en hauteur et les doigts en contact sont bien détectés. Ils sont pour l’instant transcrits sous forme de visualisation.

La prochaine étape est l’industrialisation. Google y voit des usages dans les vêtements mais aussi dans tous les objets textiles du quotidien, comme une couette ou un canapé, où le mélange de mouvements larges et précis pourrait être utile. Vu que seule la surface d’interaction change, un tel appareil se comporte comme n’importe quel objet connecté, en étant joignable à un smartphone via Bluetooth ou Wi-Fi. Le premier partenaire d’envergue est la marque Levi’s, dont le rôle exact n’est pas encore connu.

Abacus : au revoir mot de passe, bonjour capteurs

Ces nouveautés, « de la science-fiction » comme aime l’entendre Google, règlent des problèmes encore très spécifiques. D’autres concepts, eux, veulent régler des soucis bien plus répandus. Le groupe a ainsi un projet dans les cartons pour lutter contre le grand méchant mot de passe. « 70 % des utilisateurs oublient un mot de passe une fois par mois. Il faut en moyenne 2,4 essais avant d’entrer le bon mot de passe. Les humains sont une mauvaise source d’entropie, parce que nous avons besoin de modèles pour nous souvenir des choses » affirme Regina Dugan du groupe ATAP.

Une première piste est de faire des interactions elles-mêmes un mot de passe. Il s’agit du projet Abacus. Le groupe de « pirates » du huppé Mountain View pense ainsi utiliser la manière de glisser le doigt pour déverrouiller, de taper au clavier ou de parler comme méthode d’identification, avec un traitement des données en local. « Vous êtes le mot de passe » affirme le groupe, comme l’ont déjà fait les tenants de l’approche biométrique, concepteurs de lecteurs d’empreinte en tête.

« Il ne s’agit pas d’une simple identification par oui ou non, mais d’une continuité dans la confiance » accordée par l’appareil à la personne qui l’utilise. « Cela pousse le poids des codes PIN et mots de passe de l’utilisateur au terminal lui-même » affirme encore Google. L’idée est de combiner plusieurs capteurs simultanément pour multiplier la sécurité. Un scoré de sécurité est calculé en temps réel, tout au long de la journée, en utilisant par exemple l’image de la caméra frontale en même temps que le clavier.

Le groupe ATAP a monté une équipe avec une dizaine d’universités pour travailler « sur un large jeu de données » : 2,8 millions de sessions mobiles de 1 500 utilisateurs consentants. Une équipe de 25 experts, de 16 institutions, ont décortiqué ces données pendant trois mois. Bien entendu, ils ont confirmé la théorie de Google : utiliser plusieurs capteurs est bien plus efficace que d’en utiliser un seul, en fournissant une entropie démultipliée. « Cette combinaison est dix fois plus sûre que le meilleur des lecteurs d’empreinte » déclare sans ciller Regina Dugan.

« Notre espoir est de pouvoir fournir ce niveau de sécurité à des millions de téléphones Android, via une simple mise à jour logicielle » affirme encore la responsable de Google. Le but est d’abord de débloquer le smartphone, mais surtout de fournir une API qui puisse indiquer individuellement à des applications (par exemple bancaires) que le bon utilisateur a le smartphone en main, avec le bon niveau de sécurité.

Google ne semble encore en être qu’à l’expérimentation. Un éventuel déploiement d’Abacus sur Android reste hypothétique, même si le matériel de la majorité des smartphones doit permettre de l’utiliser. Des questions restent aussi en suspens, comme la possibilité de tromper un capteur ou encore le délai pour reconnaitre un mauvais utilisateur, qui est pour l’instant assez long.

Vault : un coffre-fort numérique dans une carte microSD

Ce n’est pas le seul essai du groupe ATAP dans le domaine. « Le projet Vault [coffre-fort] est un environnement matériel et logiciel isolé, sous la forme d’une carte microSD, qui peut être utilisé aussi bien sur mobile, PC ou pour l’Internet des objets » attaque Regina Dugan. Une fois la carte SD insérée, l’utilisateur doit disposer d’un espace confiné du reste du smartphone, pour les données et les échanges les plus sensibles. « [Le hacker] .mudge et son équipe ont inséré un ordinateur dédié à la sécurité dans une carte microSD. [...] Vault permettra des communications et un stockage sécurisés, d’abord pour l’entreprise » continue la co-fondatrice d’ATAP. Google dit déjà utiliser 500 de ces cartes, notamment pour l’identification des participants au projet Abacus.

« Il y a une tension entre l’envie de multiplier les fonctions d’un système d’exploitation et celle de sécuriser le code qui contrôle ces fonctions »  affirme Google, qui rappelle que plus un logiciel utilise de code, plus le risque de faille est grand. Le principe de Vault, dans la grande maison vulnérable qu’est un terminal, est de protéger spécifiquement les données sensibles, et uniquement elles. « Vous introduisez la carte, puis vous utilisez les outils fournis pour chiffrer les données stockées ou pour chiffrer les communications de bout-en-bout en audio ou vidéo par exemple » explique .mudge.

« Les données et les communications ne sont pas exposées au système auquel vous connectez la carte » garantit-il. Le développeur dit vouloir créer un élément sécurisé pour smartphone, à la manière de la carte SIM pour les opérateurs ou les composants de confiance pour les constructeurs.

La carte microSD contient un processeur ARM, un système d’exploitation temps réel (RTOS) pour objet connecté, une puce NFC et 4 Go de « stockage scellé », même si les modèles semblent aller jusqu’à 64 Go. Les outils embarqués peuvent hasher, signer et chiffrer en temps réel du contenu. Deux utilisateurs de la carte pourraient ainsi communiquer sans que le système lui-même ait idée du contenu qu’il fait transiter. La carte microSD trompe l’OS en créant automatiquement une fausse partition, de façade. Vault se veut donc « agnostique », le système hôte ne gérant aucune activité.

L’équipe a publié les sources du projet, des outils de chiffrement à la plateforme de développement. Google destinant d’abord ce système aux entreprises, il pourrait sûrement s’intégrer au programme Google for Work du groupe, qui vise à conquérir le monde de l’entreprise, notamment par la sécurité mobile.

Les histoires à 360° « Spotlight Stories » disponibles sur Android

Le groupe de recherché de Google a ensuite présenté Google Spotlight Stories, son application de cinéma à 360°, adoubée par un scénariste de Disney. L’app permet de télécharger des histoires qui sont jouées sur l’appareil, et obligent à tourner son smartphone pour suivre l’action. Le système étant destiné au cinéma d’animation, Google a dévoilé lors de la conférence son SDK (Story Development Kit, en référence au Software Development Kit).

L’outil s’intègre donc aux outils de création, comme Maya. Il comprend notamment un éditeur d’histoire, qui permet par exemple d’attendre que l’écran soit tourné vers un endroit précis pour déclencher un événement. Un autre outil permet de placer les images d’un storyboard dans l’espace, à l’aide d’un smartphone. Le groupe commence également à adapter son système pour les films classiques, avec une première collaboration du réalisateur Justin Lin.

Google a aussi publié une application Google Spotlight Stories sur le Play Store. Ces histoires interactives étaient déjà disponibles sur les smartphones Motorola via une app dédiée ; le groupe ATAP ayant été racheté avec Motorola, sans être revendu. Elles sont désormais disponibles pour les utilisateurs de smartphones Android, et plus tard sur iOS. Le format des vidéos Spotlight Stories sera bientôt disponible sur l’app YouTube mobile, assure par ailleurs Google.

Un smartphone en kit fonctionnel et un la 3D mobile en bonne voie

La conférence s’est terminée, très succinctement, sur le projet Ara. Ce téléphone modulaire, dont nous vous avons parlé longuement (sur sa genèse et les aspects techniques, puis sur sa prochaine commercialisation), est le joyau de la couronne du groupe ATAP, qui travaille dessus depuis près de deux ans. La dernière présentation date de janvier. Il est composé d’un squelette et de modules interchangeables qui s’agrègent dessus. À l’époque, le smartphone démarrait à peine, les interactions avec l’écran étant encore impossibles.

La Google I/O a été l’occasion de présenter un premier prototype réellement fonctionnel, sous Android Lollipop (5.0 ou 5.1). Presque six mois après la précédente présentation, le smartphone démarre et permet (enfin) d’interagir avec l’écran. Mieux encore, l’appareil photo fonctionne. Le démonstrateur a pu lancer l’application sans module photo installé, insérer le module avec le capteur puis prendre une photo, sans interruption. Le changement de module à chaud est l’une des fonctions attendues du smartphone, et semble désormais prête.

Cette démonstration pose tout de même quelques questions, comme l’état d’avancement du troisième prototype, annoncé pour le deuxième trimestre... Qui vient de se conclure. Le Spiral 3 devait par exemple régler les problèmes des connecteurs des modules (pour ne laisser qu’une plaque à induction pour les transferts des données) ou encore avancer vers un smartphone utilisable en 4G avec une autonomie d’une journée. Pour l’instant, tout ce que Google a montré est un téléphone qui sait démarrer et prendre une photo, qui ressemble beaucoup au deuxième prototype. « Nous commençons notre troisième vague » annonce tout de même mystérieusement la société. Un test grandeur nature de la vente du smartphone doit encore avoir lieu avant la fin de l’année, avec une quatrième version du téléphone.

Un autre projet a, lui, eu droit à sa propre conférence. Tango est à la base un prototype de tablette capable de voir l’environnement autour d’elle, en 3D. Le but est, entre autres, de créer de nouvelles manières d’interagir avec des capteurs capables de modéliser son contexte. Les usages les plus évidents sont la réalité virtuelle et la réalité augmentée.

Le projet s’est émancipé du groupe ATAP pour mener sa propre vie chez Google. Cette semaine, la tablette a commencé sa mise en vente publique aux États-Unis ; d’autres pays suivront sûrement. La société a également annoncé un partenariat avec Qualcomm pour développer un smartphone Tango. Enfin, Google lance un concours pour développeurs. Ceux-ci doivent créer des applications utiles, de réalité virtuelle ou augmentée et de divertissement. Les résultats du concours sont attendus pour septembre.