Vous n'avez pas encore de notification

Page d'accueil

Options d'affichage

Abonné

Actualités

Abonné

Des thèmes sont disponibles :

Thème de baseThème de baseThème sombreThème sombreThème yinyang clairThème yinyang clairThème yinyang sombreThème yinyang sombreThème orange mécanique clairThème orange mécanique clairThème orange mécanique sombreThème orange mécanique sombreThème rose clairThème rose clairThème rose sombreThème rose sombre

Vous n'êtes pas encore INpactien ?

Inscrivez-vous !

Rencontre avec les équipes sous le capot du moteur Qwant

Une brise de Nice
Internet 5 min
Rencontre avec les équipes sous le capot du moteur Qwant
Crédits : Marc Rees (Licence CC BY SA 3.0)

Après la longue interview d'Eric Léandri, nous poursuivons notre découverte des coulisses du moteur de recherche Qwant par une rencontre avec les équipes en place.

Après l'échange avec le PDG de Qwant, nous avons pu virevolter entre les différentes constellations de l’open-space niçois de Qwant. Un premier groupe s’occupe de la partie « infra IT », soit la gestion des serveurs, la production, les machines, etc. On dénombre dans le détail 40 serveurs sur la production et cette cinquantaine dédiés au crawl, tous sont installés à Aubervilliers, sur le site de Condorcet.

L’équipe en poste a pour mission « d’assurer la continuité du service pour tous les utilisateurs, faire face aux nouvelles fonctionnalités, tout en garantissant le meilleur temps de réponse ». Elle travaille en collaboration étroite avec six personnes spécialement chargées de la sécurité basées à Rouen. Pour l’avenir proche, l’enjeu sera surtout d’accompagner la montée en charge espérée du site afin d’isoler les goulots d’étranglement (Qwant réalise quelque 2000 connexions concurrentes), par exemple en ajoutant des serveurs de cache.

Non loin de là, Stéphane et Florent s’occupent spécialement de l’intégration continue (CI). « Sur Qwant, on est parti du bas pour remonter en haut. Le bas, ce sont les projets sur lesquels on travaille pour assurer leur intégration sur chaque environnement, le but étant qu’on ait les mêmes lignes de commandes, notamment en développement. »

Une application a ainsi été développée en interne « pour soutenir l’uniformisation de tous nos projets en termes d’intégration et de nos usages. Elle a été écrite en Node.JS, jugée plus accessible. On a aussi plusieurs outils de lignes de commande puisque tous nos projets sont dockérisés, afin d’uniformiser les usages ». « Nous utilisons des logiciels open source essentiellement » poursuit-on. Cette organisation permet ainsi de monter un projet très rapidement, à l’aide de briques logicielles empilées les unes aux autres.

Pierre est responsable des projets Search et Boards, et spécialement de l’interface utilisateur. « Je m’occupe de l’expérience utilisateur, toute la partie design en concordant le travail des graphistes, l’intégration des chartes pour les rendre dynamiques, c’est vraiment le bout de la chaîne ».

L’organisation n’est cependant pas aussi linéaire que cela : « nous fonctionnons aussi sous forme de squad afin de mélanger les compétences. Dans le squad dédié uniquement à Qwant, un gars va récupérer des données, un autre va les envoyer pour l’équipe Front, s’y ajoutent un graphiste, un testeur et un responsable des serveurs. L’idée est d’impliquer toutes les personnes à tous les niveaux. Pour ma part, j’ai commencé développeur, je suis aujourd’hui davantage dans la gestion des équipes, pour assigner les fonctionnalités à tel ou tel développeur. »

L’avènement de Qwant Junior

Parmi les projets, Qwant Junior, qui sera dévoilé cette semaine. « Nous avons travaillé avec des gens très exigeants, nous conduisant à améliorer notre filtre adulte, poursuit Pierre. Le problème se concentrait surtout sur les images lorsqu’on cherchait des termes en anglais. On a renforcé notre liste blanche également ». Cette liste est nourrie par les travaux de l’Université de Toulouse. « On l'a retravaillée, car il y avait des maillons faibles, des pages un peu limites. »

Pour la petite histoire, Qwant s’est inspiré des mots clefs disponibles sur les sites X (notamment étrangers) pour aiguiser ce filtrage. La liste noire est évolutive : elle peut être nourrie par les signalements des internautes, sachant que ces signalements font toujours l’objet d’une validation manuelle.

Les algorithmes de Qwant

Frédéric et Thomas font partie de l’équipe algorithme et du crawling des pages et des contenus. « Il y plusieurs algorithmes qui s’empilent les uns au-dessus des autres. Les uns qualifient et rafraichissent la donnée, d’autres gèrent la pertinence. Pour schématiser, lorsqu’on crawle le web, il y a une première phase visant à mettre en corrélation les différents documents. Avant tout, on identifie, par rapport au cheminement entre les pages, aux différents liens qui s’y trouvent et à l’importance des sites, le poids d’une page donnée dans un contexte donné. Ces poids-là peuvent être ensuite déclinés, en fonction des thématiques par rapport à l’intégralité des documents crawlés (PDF, pages web, etc.). »

D’autres critères sont également pris en compte selon la popularité du site, son autorité, ceux qui ont une visibilité mobile, ceux en HTTPS, etc. Cette méthodologie globale est appliquée par l’ensemble des moteurs, mais elle diffère selon les paramètres entrant en ligne de compte. Pour la mise au point de ces algorithmes, « on travaille avec une équipe de chercheurs, dirigés par Sylvain Peyronnet » (informaticien français, professeur à l’université de Caen).

Et pour Qwant Actu ? « La liste des sites référencés est ouverte et est mise à jour régulièrement soit parce qu’on tombe sur de nouvelles sources soit parce qu’on nous le demande, via le formulaire de contact. On a plus de 2 000 domaines différents en France, plus de 3 500 pour les sources allemandes ».

La gestion de la pertinence des sites d’actualité tient spécialement compte du nombre de mises à jour des contenus, outre le paramètre de la popularité, du ranking, de la présence ou non de « duplicates », etc. Et là encore, il y a des sources d’autorités qui peuvent être traitées automatiquement, mais d’autres exigent un traitement plus manuel.

qwant
Crédits : Marc Rees (licence: CC by SA 3.0)

Une juriste en liaison avec plusieurs cabinets d’avocats

Après avoir opté pour l’externalisation du traitement des dossiers juridiques, Qwant dispose depuis avril dernier d’une juriste dans ses locaux. Elle travaille en relation étroite avec des cabinets d’avocats niçois et parisiens, ainsi que des cabinets de conseil en propriété industrielle. « Je fais d’une certaine manière la jonction entre les différents sujets », sachant que les problématiques liées aux conditions générales d’utilisation sont plutôt gérées sur Nice, alors que celles liées aux noms de domaine sont traitées à Paris.

Questionnée sur le terrain du droit à l’oubli, cette responsable nous indique qu’« on a essayé d’être au plus proche des différentes questions et réponses apportées par la CNIL et le G29, sachant que Qwant se positionne comme un acteur très respectueux de la vie privée ». En tout, depuis l’arrêt de la CJUE du 13 mai 2014, le moteur ne croule pas sous les demandes de déréférencement (moins d’une quarantaine reçues).  

De même, pour la question du déréférencement des sites terroristes, une nouveauté issue de la loi contre le terrorisme, « on n’a pas eu de demandes des autorités, nous indique-t-on, mais dès lors qu’on a un signalement contre ce genre de site, nous les traitons très rapidement ». Le quotidien du service juridique reste cependant ancré sur la question de la protection de la donnée personnelle, un sujet décidément phare pour cet acteur.

34 commentaires
Avatar de DuncanV Abonné
Avatar de DuncanVDuncanV- 03/12/15 à 14:53:13

Signaler ce commentaire aux modérateurs :

Je l'utilise en remplacement du ponte number one. Les réponses sont très pertinantes.
Il manque cependant des filtres de tri dans les recherches comme par date, dimension des images etc, et ce serait parfait.

En plus, ils sont basés en partie sur ma terre natale, un peu de chauvinisme m'envahit pour le coup ![:D](https://cdn2.nextinpact.com/smileys/icon_mrgreen.gif)
Édité par DuncanV le 03/12/2015 à 14:53
Avatar de anonyme_751eb151a3e6ce065481d43bf0d18298 INpactien

Signaler ce commentaire aux modérateurs :

DuncanV a écrit :

Je l'utilise en remplacement du ponte number one. Les réponses sont très pertinantes.
Il manque cependant des filtres de tri dans les recherches comme par date, dimension des images etc, et ce serait parfait.

Pareil

C'est devenu mon moteur par défaut, et il ne manque plus que les options de filtres pour qu'il soit complet.

Avatar de ColinMaudry Abonné
Avatar de ColinMaudryColinMaudry- 03/12/15 à 15:00:52

Signaler ce commentaire aux modérateurs :

J'aime bien la skin sombre de DuckDuckGo, mais Qwant est vraiment rapide. J'attends donc la skin sombre chez Qwant :)

Avatar de GvLustig INpactien
Avatar de GvLustigGvLustig- 03/12/15 à 15:18:06

Signaler ce commentaire aux modérateurs :

Ca doit pouvoir se bricoler... me souvient qu'a un moment il était à la mode de changer son style d'affichage de fb ^^
Perso j'aimerais bien passer la majorité des sites en sombres (pour les yeux c'est mieux) [[au passage, j'adore le skin sombre NXI]]

Je vais essayer qwant, la lecture des deux articles m'a convaincu d'essayer. (j'aimerais bien être moins googlisé) [HS] QQun sait s'il y a projet similaire (européen si pas français, pro-libriste dans l'âme, respectueux de la vie privée...) pour les boîtes mails? [/HS]

Avatar de Gilbert_Gosseyn Abonné
Avatar de Gilbert_GosseynGilbert_Gosseyn- 03/12/15 à 15:18:58

Signaler ce commentaire aux modérateurs :

Bonne question pour les boites mails. Je pense que le mieux est de se monter son propre serveur malheureusement :/.

Avatar de NonMais INpactien
Avatar de NonMaisNonMais- 03/12/15 à 15:20:47

Signaler ce commentaire aux modérateurs :

pourtant en ergonomie on t'apprend qu'une texte sombre sur un fond clair est plus reposant pour les yeux que l'inverse

Avatar de GvLustig INpactien
Avatar de GvLustigGvLustig- 03/12/15 à 15:35:31

Signaler ce commentaire aux modérateurs :

Tout dépends de tes conditions d'environnement

Si tu es dans une pièce sombre, un fond en gris 60% est bien moins agressif qu'un blanc

Avatar de eb303 Abonné
Avatar de eb303eb303- 03/12/15 à 15:40:39

Signaler ce commentaire aux modérateurs :

Mmm, si je me rappelle bien, il y avait un autre argument: pour ceux qui font la navette avec leurs yeux entre des docs papier et un écran, le doc papier étant en sombre sur clair, si l'écran fait l'inverse, les yeux doivent s'adapter tout le temps et fatiguent vite. Dans l'absolu, je ne sais pas trop ce qui est le mieux…

Avatar de astropc INpactien
Avatar de astropcastropc- 03/12/15 à 15:42:50

Signaler ce commentaire aux modérateurs :

Il existe un excellent lecteur de mail indépendant des américains. Il s'agit de Foxmail qui est développé par une entreprise chinoise "tencent". Par contre elle est en chinois ou anglais par défaut.
http://www.foxmail.com/win/

Mais une version francisée par des passionnés existe ici:
http://foxmail.free.fr/

Le forum Francophone de discussion est en cour de réaménagement mais le zip d'une version récente en Français reste accessible pour utilisation.

Avatar de Commentaire_supprime Abonné
Avatar de Commentaire_supprimeCommentaire_supprime- 03/12/15 à 15:46:53

Signaler ce commentaire aux modérateurs :

J'ai testé, je retiens pour mon usage perso.

Gilbert_Gosseyn a écrit :

Bonne question pour les boites mails. Je pense que le mieux est de se monter son propre serveur malheureusement :/.

Seule solution si on ne veut pas se taper un serveur mail chez soi, et encore boiteuse : passer par un presta comme1and1 et payer sa boîte mail soi-même (15€/an pour moi). Je fais ça pour ma boîte privée.

Il n'est plus possible de commenter cette actualité.
Page 1 / 4