Twitter vient de faire l'annonce d'une nouvelle fonctionnalité au sein de son moteur de recherche qui intéressera les utilisateurs du service de micro-blogging, mais surtout tous ceux qui se penchent de près ou de loin au développement de ce genre d'outils. En effet, il est désormais possible de retrouver n'importe quel message publié depuis le premier jour de Twitter.
Via son « Engineering Blog », Twitter vient de faire l'annonce de la mise en place d'une nouvelle infrastructure afin de gérer son moteur de recherche. Son but ? Permettre à l'équipe de réaliser un rêve de longue date : l'indexation de l'ensemble des messages publiés depuis le premier jour, afin de permettre de retrouver chacun d'entre eux au sein des résultats.
Et la tâche n'a rien de facile. En effet, les ingénieurs de Twitter précisent qu'ils disposent déjà d'un index « en temps réel », stocké en mémoire, qui contient à peu près une semaine de contenu, mais que l'index global est plus de 100 fois plus important, plusieurs milliards de tweets étant rajoutés chaque semaine. De quoi nécessiter une montée en capacité constante. Les chiffres les plus récents donnés par le service sont en effet de 500 millions de tweets publiés par jour en moyenne, pour 284 millions d'utilisateurs actifs par mois.
L'équipe s'était d'ailleurs déjà essayée à la mise en place d'une recherche partielle dans les archives en 2012, en indexant 2 milliards de tweets parmi les plus populaires, et en permettant d'y effectuer une recherche. Après une augmentation de cet index l'année dernière, il est donc désormais question de l'ensemble des messages, du premier publié à ceux rajoutés chaque seconde, le traitement étant découpé par lots d'une journée de tweets.
L'équipe détaille son infrastructure et le processus de traitement complet par ici pour les plus curieux. Dans la pratique, lors d'une recherche au sein des applications Android, iOS ou sur le web, il faudra toujours passer par le lien « Tout » en tête des résultats de recherche pour avoir une chance de les voir apparaître.
Notez que vous pouvez aussi indiquer des filtres par date au sein de la recherche avancée. Il est ainsi assez facile de retrouver les premiers messages à la mise en place de nos abonnements Premium en 2009 par exemple, les résultats apparaissant de manière quasiment instantanée. Du beau boulot, donc.
