Le 31 mars, comme annoncé plus tôt par Elon Musk, Twitter a rendu public une partie de son code source. Celui-ci donne un aperçu de la manière dont des tweets peuvent se retrouver dans la page « For You » des usagers et de ce qui leur fait perdre en « découvrabilité ».
Le 31 mars, dans une publication titrée « une nouvelle ère de transparence pour Twitter », la plateforme annonçait la publication de deux dépôts de son code source sur GitHub (main repo, ml repo). Dedans, une partie du code qui fait tourner l’algorithme de recommandation derrière la page « For You ».
Une autre publication, dans la partie « ingénierie » du blog de l’entreprise, apporte des précisions supplémentaires sur cet algorithme. L’article rappelle que l’algorithme « For You » n’est qu’un outil de recommandation parmi une série d’autres, interconnectés et accessibles via l’onglet de recherche, la page « Explore », ou simplement pour sélectionner les publicités présentées à l’internaute.
Home Mixer, le système qui gère les recommandations de la page « For You »
Le but de la page « For You » est de sélectionner les tweets les plus pertinents selon Twitter pour chaque utilisateur. Le choix s’opère sur les 500 millions de tweets publiés chaque jour sur la plateforme. Le système en charge de créer et de publier les tweets que vous voyez apparaître dans votre page « For you » s’appelle le Home Mixer.
Pour résumer, il opère sa sélection en trois étapes. Il commence par réaliser une recherche de « candidats » (candidate sourcing), pour trouver les 1 500 meilleurs tweets parmi les personnes que vous suivez (« in network », à 50 %) et parmi d’autres, auxquelles vous n’êtes pas abonné(e) (« out of network », à 50 %).
Pour la première moitié, le modèle Real Graph calcule la probabilité que vous soyez « engagé(e) » par le tweet d’une autre personne, c’est-à-dire que vous le likiez, le retweetiez et/ou le commentiez.
Pour la seconde, l’enjeu est différent puisqu’il s’agit de deviner quels tweets peuvent vous intéresser alors que vous ne suivez pas leurs auteurs. Twitter utilise pour cela des graphes sociaux (comme le fait Facebook, par exemple) intégrant des informations sur les tweets avec lesquels les personnes que vous suivez ont interagi et les actions de profils Twitter similaires au vôtre. L’entreprise utilise aussi SimClusters, une technologie qui permet de repérer et constituer des communautés d’auteurs et de tweets proches des intérêts de l’usager.
Ensuite, le home mixer classe les quelque 1 500 tweets de sa sélection grâce à un modèle d’apprentissage machine intégrant environ 48 millions de paramètres. Enfin, la machine applique divers filtres sur le tri obtenu, pour enlever les publications d’utilisateurs que vous avez bloqués, le contenu pornographique, les tweets déjà vus, s’assurer que vous ne receviez pas que la production d’un seul auteur, etc.
Crédits : Twitter
Ratio following/followers et importance de Twitter Blue
Le 1er avril, les fils analysant le code de Twitter se sont succédé, avec plus ou moins de précision.
Ce qui est certain, c’est que le « Tweepcred », un algorithme dérivé du PageRank de Google, donne une réelle importance au ratio entre le nombre de personnes suivies (following) et le nombre d’abonnés (followers) d’un compte. « Cette méthode réduit le classement des utilisateurs qui ont un faible nombre de followers, mais un nombre élevé de followings », indique la documentation.
Par ailleurs, si vous êtes abonné(e) à Twitter Blue, vous serez quatre fois plus visible dans le fil d’une personne de votre cluster et deux fois plus visible ailleurs : payer a un impact réel sur la visibilité de vos publications. Parmi les autres actions qui peuvent faire apparaître vos tweets dans la page « For you » d’un usager, l’entrepreneur et développeur Steven Tey relève les likes, les RT, le clic plus réponse (qui pèse encore plus lourd si la personne reste plus de deux minutes sur votre tweet), le clic sur le profil plus réponse ou like d’un tweet, la discussion (une réponse puis une réponse à la réponse), etc.
Le fait d’être muté, bloqué ou qu’un utilisateur ait demandé à « voir moins souvent » vos productions fera baisser le score de votre profil dans le Home Mixer. Autres éléments qui font chuter les scores de visibilité : le spam – le spam crypto a même droit à sa catégorie spécifique. Le fait d’être signalé a l’impact le plus fort de tous les éléments listés, en négatif.
Plusieurs internautes, parmi lesquels la chercheuse Jane Manchun Wong, ont aussi noté qu’il existait quatre sous-groupes spécifiques pour lesquels tester le nombre d’impressions de chaque tweet : « author_is_elon », si c’est Elon Musk qui l’a écrit, les « power users », les démocrates et les républicains. Auprès de Reuters, un employé de Twitter a déclaré que le classement républicain/démocrate était une ancienne fonctionnalité non utilisée dans le système de recommandation, et que l’entreprise prévoyait de l’enlever.
Jane Manchun Wong a aussi fait remarquer que les comptes de Jack Dorsey, Katy Perry, Stephen Curry et Barack Obama avaient pu être utilisés comme « comptes tests » auxquels envoyer des tweets au hasard, une précision qui a rapidement été effacée.
Plus de transparence et du travail collectif
Dans son article annonçant la publication de ces éléments, Twitter indique qu’il s’agit de la « première étape » vers plus de transparence. L’entreprise prévoit de « continuer à partager du code qui ne présente pas de danger significatif pour Twitter ou pour les personnes présentes sur la plateforme », une promesse réitérée par Elon Musk sur la plateforme.
Les utilisateurs de GitHub sont invités à soumettre des issues et des pull requests, l’équipe de Twitter déclarant travailler à un outil de tri des suggestions et de synchronisation dans leur dépôt interne.
L’évolution peut être vue de manière positive – l’ouverture du code source est une pratique reconnue dans l’industrie pour auditer, corriger et faire évoluer un logiciel ainsi que pour faciliter l’interopérabilité et la réutilisation de certains éléments du logiciel. Elon Musk avait justement déclaré qu’il œuvrerait en faveur de la transparence pour améliorer la confiance des utilisateurs envers la plateforme et pour accélérer les améliorations de la plateforme.
Elle peut aussi être analysée comme un moyen de crowdsourcer une partie du travail sur l’infrastructure de Twitter. En effet, l’entreprise a licencié près des trois quarts de ses 7 500 employés depuis l’arrivée d’Elon Musk à sa tête, début novembre. Début mars, selon le média Platformer, elle ne comptait plus que 550 ingénieurs à plein temps.
- Rachat de Twitter par Elon Musk : quatre mois en eaux troubles
- Des parties du code de Twitter auraient fuité
La publication du code avait été annoncée le 17 mars par Elon Musk. Elle fait aussi suite à une fuite partielle du code source de l’entreprise, dont Twitter avait demandé le retrait à GitHub le 24 mars. Selon le New-York Times, certains éléments de cette fuite étaient disponibles en ligne depuis plusieurs mois.
Commentaires (30)
#1
C’est aussi une pub détournée/indirecte pour souscrire twitter blue qui a priori est une des rentrées d’argent principales envisagées.
Dans tous les cas on peut saluer la promesse tenue, pour l’instant ça ressemblait plutôt à une suite de mauvaises idées/pratiques ce rachat.
#2
Pour ma part, j’y vois plus un moyen de faire des économies de salaires et/ou pour compenser le départ d’un grand nombre de développeurs plus qu’un réel soucis de transparence…
#3
Parmi les “analyses” que j’ai pu voir ici et là sur les réseaux sociaux, j’ai noté qu’il était fait état de l’absence de tests ou d’instructions de compilation : ça sera pas évident de crowdsourcer si personne ne peut le tester…
#4
C’est drôle, tout le monde réclame le code source à tort et à travers puis quand c’est dévoilé, tout le monde gueule ^^
#4.1
Bienvenu dans le monde merveilleux des développeurs
#4.2
Personnellement, lorsque j’étais sur l’oiseau bleu, à part bien sûr les rares gens que je suivais et appréciait vraiment, je n’ai jamais suivi les fameuses “recommandations pour vous” dont je n’avais… strictement rien à concasser !
La plupart du temps, mes enquêtes (Inspecteur Maigret style) partaient d’une simple recherche par mots-clés, comme par exemple “féminisme” ou “féministe”, mon but dans cet exemple était de me renseigner sur les dernières tendances, courants de pensées et luttes féministes, mais aussi (le plus souvent, malheureusement) sur les dernières tendances de l’anti-féminisme, dont la violence verbale extrême ne laisse absolument aucun doute sur les derniers développements en date de cette “mode”…
Bref, je n’ai jamais eu besoin que l’on me “recommande” quoi que ce soit, et j’ai haït de toutes mes forces ces sollicitations permanentes et notifications que twitter veut absolument te fourguer toutes les cinq secondes… A un moment, j’ai trouvé une solution, qui vaut ce qu’elle vaut mais c’est mieux que rien, consistant à désactiver, dans les paramètres du compte, tout ce qui inclus le mot “personnalisé”, je vous le recommande, cela atténue quelque peu l’effet “bulle” de tous les réseaux sociaux.
D’une manière générale, les grands sites commerciaux sont persuadés - parce que leur prof de marketing leur à enfoncé ça dans la cervelle à grands coups de marteau-piqueur idéologique - qu’il faut absolument, absolument, analyser ce que fait le consommateur afin de le matraquer en permanence avec des “recommandations” afin évidemment de le pousser à consommer toujours, toujours plus, et encore, ad bibendum, jusqu’à ce que mort s’ensuive…
Des exemples ? Amazon, qui n’arrête pas de vous bombarder avec des trucs et des machins dont vous “devriez” avoir besoin dans la minute… Les sites de streaming musicaux, qui veulent absolument, absolument savoir ce que vous “aimez” afin de vous refourguer toujours plus de sons dont vous n’avez rien à faire, ou que vous pourriez très bien… trouver vous-mêmes, tous seuls, avec vos p’tits doigts ? Après tout, les (hash)tags, les catégories, les styles, les genres, c’est pas fait pour les dauphins, non ?
Ce que je voudrais, c’est pouvoir chercher par moi-même, faire confiance au hasard (je suis curieux par nature, donc je ne refuse jamais de perdre du temps à écouter des trucs que je ne connais pas et dont je n’ai jamais entendu parler, après tout pourquoi pas ?), me balader à travers les pages sans aucune pression ni “recommandation-personnalisée-exprès-pour-vous” alakon, en bref je voudrais des sites sans aucun algorithme ni robot, un site qui me fait confiance, et qui - enfin !!! - augmente ma liberté au lieu de la restreindre !
En fait, nous avons pris l’habitude d’être tout le temps guidés, assisté par des algos, que ce soit pour nos réseaux sociaux, nos achats, nos démarches, dans notre travail… et même dans notre vie intime !
Les “fourgeurs” d’algos nous promettent d’“optimiser” absolument tout, de notre emploi du temps jusqu’à nos rendez-vous en passant par nos rencontres… ils nous suivraient jusqu’aux chiottes, s’ils le pouvaient !
Et donc nous avons accepté cela sans aucune question, sans jamais lever un oeil au-dessus de nos têtes, parce que nous aimons, non nous adorons tout ce qui est régressif et facile, nous aimons - passionnément - les guides, les coachs, les gourous, les assistants, les “maîtres à penser” (en rond), les cabinets-conseils, les sondages….
Le “développement personnel” (qu’est-ce que je hais ce slogan publicitaire !) nous tends les bras ! “Apprenez à vivre - et à crever - en 10 leçons” !
Bref, et pour revenir au sujet, je pense que les RS - et leurs meilleurs copains, les faiseurs d’algorithmes - n’ont absolument rien compris à rien, ils nous surplombent avec mépris du haut de leur cathédrale de code, nous encourageant à être de plus en plus moutons… Et après tout, que sommes-nous d’autre ?
#5
Et twitter se flingue devant les CNIL européennes.
Les lignes ci dessous sont la preuve d’un fichage selon les opinions politiques, sans critère sur le pays de résidence.
C’est illégal en France. Et dans d’autres pays européens. Les opinions politiques sont des données protégées.
https://github.com/twitter/the-algorithm/blob/7f90d0ca342b928b479b512ec51ac2c3821f5922/home-mixer/server/src/main/scala/com/twitter/home_mixer/functional_component/decorator/HomeTweetTypePredicates.scala#L140
https://github.com/twitter/the-algorithm/blob/7f90d0ca342b928b479b512ec51ac2c3821f5922/home-mixer/server/src/main/scala/com/twitter/home_mixer/functional_component/decorator/HomeTweetTypePredicates.scala#L225-L246
#6
Ça me semble loin d’être une preuve (en tous cas les liens que tu fournis, j’ai pas lu tout le repo, loin de là). Le code de Twitter contient des règles pour afficher les tweets aux gens en fonction de tas de critères (dont politiques), c’est pas vraiment une surprise.
Ça ne démontre pas pour autant qu’ils ont de telles données pour tout le monde. Ils pourraient n’avoir ces données en base que pour les pays où c’est légal de les avoir (la syntaxe fait d’ailleurs penser à des options).
#7
Les promesses n’engagent que ceux qui y croient … rendre public une partie du code ne veut absolument rien dire, surtout d’un olibrius comme E.Musk …
#8
Le premier lien semble catégoriser un tweet et non un utilisateur. Donc le “fichage” est sur le contenu. Je ne pense pas que ce soit interdit.
Pour le 2 eme c’est signalé dans l’article. Républicain / Démocrate ne semble plus être utilisé (et c’est un courant politique US, donc on peut assumer que ce n’est pas pour les européens).
Il y a même un commentaire qui semble demander d’éviter le stockage d’informations “sensibles”
/* IMPORTANT: Please avoid logging tweet types that are tied to sensitive* internal author information / labels (e.g. blink labels, abuse labels, or geo-location).*/#9
J’attends maintenant de voir la même chose de la part de meta, tiktok et consorts.
Parce que c’est bien beau de dire que Twitter c’est devenu le réseau du mal mais en attendant personne n’a cette transparence.
#10
Ca existe déjà avec le Fediverse et les outils qui gravitent autour. Perso je ne suis pas spammé de “recommandations” ni de gens à suivre (en dehors de profils auxquels on peut s’abonner comme FediFollow qui permet de faire de la découverte de contenus selon des thématiques) et l’ordre des messages est celui de publication.
On peut également s’abonner à des hashtags sur Mastodon, je ne sais pas si c’est faisable sur Twitter.
Bref, ça existe :)
#10.1
Hey ! Merci pour le Fediverse, a l’air intéressant, mais d’un je ne vois pas vraiment la différence d’avec Mastodon, et surtout je ne vois toujours pas comment ces deux alternatives “protègent la vie privée”, dans le sens où je n’ai rien lu d’un quelconque - simple, double ou triple - chiffrement des échanges ni mesure d’anonymat…?
Qu’il y ait absence de suivi particulier des utilisateurs, c’est très certainement un progrès par rapport à ce qu’on connais - j’aime bien Mastodon sur lequel je navigue déjà - mais j’attends plus d’une vraie alternative, pour moi le chiffrement façon Telegram, ou mieux, façon ChatCrypt, est une base sans laquelle ce qu’on appelle “la vie privée” ne peut pas exister.
J’espérais mieux de la techno, qui telle qu’elle est utilisée actuellement, n’est plus qu’un instrument d’influence (néfaste), de domination (dangereuse) et de régression (pathologique).
#11
Félicitations à Musk pour avoir tenu parole. Et la licence AGPL est sympa.
#12
Je ne sais pas comment dire ça, mais les recommandations personnalisées ce n’est pas pour rendre service à l’utilisateur, c’est pour le capter.
Même si ça peut être utile pour découvrir de nouvelles choses (dans le cas de youtube par exemple).
#13
Quel bel homme cet Elon.
#14
Cela m’a l’air spécifique aux USA et pour eux c’est public.
#15
Il reste toujours la solution de ne pas utiliser la technologie qu’on aime pas (surtout quand les alternatives existent).
Je n’ai pas de compte twitter, et quand j’y vais ce n’est pas pour voir “twitter” mais pour voir certains utilisateurs.
Un peu comme on irait voir un blog (ce qu’est à la base twitter je pense).
Avant on avait même pas le choix. On “consommait” ce qu’on nous donnait.
#16
#16.1
Ce :
C’est exactement ce dont je parle, tu ne t’en rends peut-être pas compte, mais il est impossible aujourd’hui de trouver un site commercial sans ce “choix d’articles très pertinents” ou “articles recommandés pour vous”, ou encore : “les gens qui ont visualisé cette page / ce produit ont aussi vu / choisi ça”….
Ces “recommandations” algorithmiques impliquent une chose, et une seule : un tracking persistant de tout ce que tu fais, de tout ce sur quoi tu cliques, et même de tous les comptes avec lesquels tu es en relation…
Je ne parle pas de “harcèlement”, je n’ai même jamais prononcé ce mot, je parle de cette facilité qui consiste à cliquer sur ces liens de “recommandations” plutôt que d’en chercher d’autres - ou pas - par soi-même.
Perso je ne suis plus sur aucun réseau, et mes messages précédents essaient simplement d’expliquer pourquoi.
#17
Penser qu’autrui ne puisse comprendre les enjeux de la publicité, des médias, c’est prendre tous les gens pour des cons pas capables de faire la part des choses.
Penser que tu est le seul à comprendre les enjeux de tous médias, c’est à la rigueur irrespectueux .
Ton choix de ne plus être sur aucun sociaux, voir même plus sur “aucun réseau” est le tien. N’en dégoutes pas les autres.
Mes amitiés, quoiqu’il en soit !
#18
Pour moi ce sont des finalités différentes.
D’un côté, un réseau social basé sur le Fediverse, ça fait que l’utilisateur a le contrôle de ce qu’il donne, à qui, et quand. Là où les autres suivent et traquent l’activité et exploitent le moindre octet à son sujet de manière automatique. C’est dans ce sens là que l’argument “respect de la vie privée” est utilisé par les développeurs de ces solutions.
L’un des autres avantages est que les outils sur lesquels le Fediverse reposent sont ouverts et libres : ActivityPub est un standard spécifié par le W3C, Mastodon, PeerTube ou PixelfFed sont tous des logiciels libres. Dès lors, la promesse de respect de la vie privée de l’utilisateur est vérifiable : tu peux démarrer ta propre instance et lui ouvrir le capot, ça sera bel et bien le code affiché publiquement. Là où à l’opposé, si ici Twitter a publié une partie de son code source, l’authenticité de celui-ci ne se base que sur une promesse. Quelle certitude que le code publié est celui en production ? Perso je ne sais pas.
En résumé : d’un côté une promesse vérifiable, de l’autre une promesse.
Par contre tu donnes un mot que je n’aime pas voir dans ce genre de domaine : anonymat. Ca n’existe pas, il y aura toujours une trace qui va te trahir.
Concernant le chiffrement, à dire vrai perso je considère que c’est une bonne chose car ça force à avoir une bonne discipline de ce qu’on publie sur ces outils. Et ça évite de trop reposer sur eux, un système infaillible ça n’existe pas (d’où mon point sur l’anonymat). Je trouve plus intéressant d’être conscient que les données ne sont pas chiffrées de bout en bout car ça signifie qu’il faut mesurer ce qu’on publie dessus. Perso je scrute toujours une photo avant de l’envoyer en ligne, je m’assure que les données EXIF sont purgées, et qu’il n’y a pas de chose trop personnelle dessus (et ça ne concerne pas que moi, sur mon blog photo toute personne qui serait située dans le champ malgré mes précautions sera floutée).
Bref, je pense qu’il est plus sage d’utiliser ces outils en connaissant leurs limitations qu’en se croyant “protégé” par diverses promesses techniques.
#19
Ceci dit, je ne suis pas développeur, donc j’ignore la difficulté de l’entreprise. J’ai simplement repensé à un système p2p qui était relativement populaire à l’époque de son lancement (il y a… longtemps !), et qui s’appelait Freenet, mais bien sûr même un système tel que celui-ci avait ses limites, parce qu’il impliquait que l’on échange (et accepte) nos vraies ip afin que chaque “node” serve de relais (un peu à la Tor), ce qui diminuait fortement à mon avis l’intérêt du truc…
#20
Concernant l’aspect publicité, si les outils en sont dépourvu, rien n’interdit l’admin de l’instance d’en mettre. Bon, j’imagine que ça serait quelque peu impopulaire, mais ça doit exister sous diverses formes
Sur le plan technique, ActivityPub c’est assez similaire à l’approche du P2P : un ensemble de nodes qui discutent entre eux et s’échangent des données (d’ailleurs PeerTube repose aussi sur le P2P pour partager la bande passante entre les lecteurs). Le fonctionnement d’ActivityPub peut être simplement résumé : c’est des boîtes aux lettres. Les utilisateurs ont une inbox et outbox dans lesquelles transitent leurs activités et celles de leurs abonnements. Comme les instances fonctionnent en @[email protected], c’est proche de l’e-mail vu qu’un événement sera transmis à l’instance de destination en utilisant le nom de serveur. Evidemment, pour que les instances communiquent entre elles (et donc leurs utilisateurs se voient), il est nécessaire qu’elles ne se bloquent pas mutuellement.
Techniquement, faire du chiffrement de bout en bout pour la partie “direct message” serait faisable de mon point de vue, du genre clés publiques/privées PGP. Par contre le reste est, par définition, public. Cela dit, tu peux modifier tes préférences de publication et être en profil “fermé” (validation des followers) et par défaut ne poster qu’à tes abonnés.
#21
C’est impossible, les messages d’un réseau social sont forcément en clair qqpart, sinon tu ne pourrais pas lire l’historique lorsque tu commences à suivre un compte. Si tous les messages étaient cryptés, bah impossible pour toi (ou un algo) de savoir si untel ou untel dit des trucs intéressants.
On ne pourrait chiffrer de bout en bout qu’avec les abonnés connus. C’est ce qui se passe (je crois) dans whatsapp : quand tu rejoins une conv’ chiffrée, tu ne vois pas l’historique, seulement les nouveaux messages.
#22
Quel rapport ? Donner les algorithmes de recommandations ne changent strictement rien aux CGU, ni à la modération.
Ce n’est pas parcequ’un mafieux donne de l’argent à l’église qu’il devient un saint.
PS: je ne dis pas que Musk est un mafieux, c’était pour l’image.
#22.1
Heuuu ok mais je vois pas trop le rapport. Ça s’appelle juste de la transparence.
#23
Pour ceux que des initiatives nouvelles intéresse, il y a Qwice qui est en développement, que j’ai découvert par Thomas Cyrix sur Youtube. L’idée principale est de baser les comptes sur la réputation. Une sorte de compteur de points d’honorabilité, qui varie en fonction des publications, et des appréciations des autres utilisateurs. Derrière ce concept, l’idée est d’assainir tout échange ou débat en empêchant les trolls et les personnes à mauvaise réputation de pourrir les fils de discutions (coucou Jacques Grimault et consort).
Ce n’est pas une pub, je trouve juste l’idée générale très intéressante et j’aimerai bien voir ce projet grandir pour voir si ça marche, donc si la Sword de Damocles était au dessus de me tête je plaide non coupable.
#23.1
Intéressant, à condition d’enlever toute espèce de flou autour du mot “réputation” et “honorabilité”. Parce qu’un facho anti-féministe trouvera toujours Trump hem… “honorable” et “réputé” genre “ouais, lui il dit la bonne vérité (parmi plusieurs, bien évidemment), c’est pas un… (insérez votre terme raciste et/ou homophobe préféré)”.
En d’autres termes, tu dois demander à des gens partiaux de juger d’autres gens partiaux… Si tu n’es pas très, très, excessivement clair sur ce que tu attends… bon courage !
En fait, en faisant ça, on pourrait dire que tu mets tout effort de modération entre les mains des utilisateurs… Utilisateurs qui eux, ne verront la plupart du temps que leur petit intérêt perso : les gens qui pensent “bleu” voudront toujours plus de “bleus-penseurs”, idem pour chaque nuance de couleur du spectre chromatique…
Pourquoi ? Parce que les les RS, c’est un pouvoir potentiel. Pouvoir d’influence, de manipulation, beaucoup trop de gens voulant que leur “réalité alternative” triomphe sur les autres…
Et même si ton intérêt n’est que commercial (cas desdits “influenceurs” ou même “anti-influenceurs” - qui ne sont que d’autres influenceurs, mais déguisés
), tu voudras toujours tirer encore plus la couverture à toi, comme tant d’autres… Je dirais que c’est devenu le propre de l’humanité connectée… 
#24
La confession permet l’absolution qui est le premier pas vers la canonisation. De nombreux saints ont été des pécheurs.