Hadopi : les chiffres de la riposte graduée en Open Data suite à une demande CADA

Hadopi : les chiffres de la riposte graduée en Open Data suite à une demande CADA

Rue du Excel

Avatar de l'auteur
Xavier Berne

Publié dans

Droit

03/01/2018 3 minutes
43

Hadopi : les chiffres de la riposte graduée en Open Data suite à une demande CADA

Suite à une demande CADA de Next INpact, la Hadopi diffuse désormais les données brutes de la riposte graduée sur son site Internet. Une évolution qui facilitera les réutilisations : graphiques, comparaisons, édition de nouvelles statistiques, etc.

Un véritable cas d’école. Voilà plusieurs années que la Haute Autorité pour la diffusion des œuvres et la protection des droits sur Internet (Hadopi) détaille, plus ou moins régulièrement, le nombre d’abonnés avertis par ses soins suite à des téléchargements illicites.

Le problème est qu’à chaque fois, l’institution publie ces informations sous forme de tableau et/ou de graphique totalement inexploitable... Et pour cause, il s’agit d’images, visiblement générées à partir d’un tableur.

riposte graduée hadopi octobre 2017
Exemple de chiffres récemment mis en avant par l'institution - Crédits : Hadopi

Résultat : il est impossible d’effectuer ses propres comparaisons. La seule solution pourrait consister à retaper un à un, dans un nouveau tableur, chacun de ces chiffres... Un travail de fourmi qui nécessiterait d’autant plus de patience que la riposte graduée ayant fêté ses sept ans il y a quelques mois, les derniers chiffres publiés ne reprenaient plus ceux du début.

Nouveaux outils de transparence offerts par la loi Numérique

Afin de permettre à la société civile de disposer d'informations réutilisables, nous avons donc demandé à la Rue du Texel de mettre en ligne les données brutes de la riposte graduée, sur le fondement des nouvelles dispositions introduites par la loi Numérique. Le texte porté par Axelle Lemaire permet en effet :

  • De demander la publication d’un document administratif (rapport, code source, statistiques...) – Via le 4° de l’article L311-9 du Code des relations entre le public et l'administration.
  • D’obtenir la mise à disposition de données « dans un standard ouvert, aisément réutilisable et exploitable par un système de traitement automatisé », conformément aux principes de l’Open Data – Via l’article L300-4 du CRPA.

Trois semaines après cette « demande CADA », la Hadopi nous a envoyé par mail un fichier CSV reprenant l’ensemble des chiffres de la riposte graduée, depuis octobre 2010. Y sont détaillés, mois par mois : le nombre de premières et secondes recommandations, ainsi que le nombre de dossiers transmis au Parquet.

« N’étant pas une production interne, nous n’avons malheureusement pas la possibilité de vous présenter mensuellement les suites judiciaires », nous a néanmoins indiqué la Haute autorité. Ces chiffres ont donc été intégrés en cumulé au 30 novembre 2017.

« Ce fichier est consultable sur notre site hadopi.fr, sur la page Open Data. Il sera très prochainement publié sur le site data.gouv.fr » promet-on, Rue du Texel. Espérons que ce pas en avant sera suivi de mises à jour régulières de ce tableur, à même de permettre la mise en lumière d’autres évolutions que celles exposées dans les rapports d’activité de la Hadopi.

Écrit par Xavier Berne

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Nouveaux outils de transparence offerts par la loi Numérique

Commentaires (43)


Pas très lisible le graphique sur fond noire.


Je viens de voir le CSV… j’ai vomi quand j’ai vu du multi structure. Des “titres” de section, aléatoirement en colonne 1 ou 2.

Une envie de rager simple.



Je verrai en fin de journée si j’ai suffisamment la rage pour préparer un powerquery qui exploite tout ça automatiquement


Bonne résolution n°1 : checker les demandes CADA, les traiter avant fin janvier, ne rien faire ensuite jusque janvier prochain ^^


Même mes collègues nul en tableau excel, ferait un truc plus propre.<img data-src=" /><img data-src=" />


Avec les compétences que vous avez développé en interne sur les demandes CADA, vous allez pouvoir créer une entreprise et vendre ce service !

&nbsp;

il reste l’étude de marché à faire…


il y a (toujours) des progrès à faire, mais c’est tout de même un beau pas en avant. Pour une fois qu’une administration joue le jeu…


+1


Rah les gars, même quand ils publient les données, vous ralez. Tout le monde n’est pas à l’aise avec les formats de données info, dans la vie : c’est pas parce qu’on pond une loi que du jour au lendemain vous aurez des données structurées propres en csv ou en base SQL….

Maintenant les données sont la, donc si vous voulez les exploiter vous vous sortez les doigts…


Ce n’est pas non plus parce que la loi m’impose d’isoler ma maison que je vais aller chier sur les murs pour le faire ! (désolé pour l’analogie un poil extrême, je suis d’accord que c’est une première étape. Mais bon, c’est notre plaisir de râler quand on voit ça).


Et les années sur 2 chiffres, ça va bugger en 2100.


Hadopi n’a pas prévu de survivre si longtemps :)

Il y aura le bug des timestamp POSIX de 2038 avant !








Drepanocytose a écrit :



Rah les gars, même quand ils publient les données, vous ralez. Tout le monde n’est pas à l’aise avec les formats de données info, dans la vie : c’est pas parce qu’on pond une loi que du jour au lendemain vous aurez des données structurées propres en csv ou en base SQL….



Maintenant les données sont la, donc si vous voulez les exploiter vous vous sortez les doigts...







Certes !

Mais vu que le cœur de métier de la HADOPI est quand même le numérique, qu’elle passe des marchés techniques avec des prestataires informatiques (et il s’agit de marchés un peu plus complexes que de la bureautique), on peut légitimement s’attendre à ce qu’elle dispose de compétences en interne, surtout pour formater proprement un fichier CSV…









Sheepux a écrit :



Ce n’est pas non plus parce que la loi m’impose d’isoler ma maison que je vais aller chier sur les murs pour le faire !





Pourtant le torchis c’est une bonne isolation <img data-src=" />



On est d’accord. On râlerait de toute façon, même s’ils nous avaient donnés un truc propre et structuré. <img data-src=" />


Meuhhhh nooooonn. C’est mal nous connaître <img data-src=" />

@NXi, offrir un Tshirt Hadopi aux prochains abonnés premium ?







Drepanocytose a écrit :



Pourtant le torchis c’est une bonne isolation <img data-src=" />





Ne pas confondre torchis et torché. Le torchis de base n’a pas d’excréments. <img data-src=" />

Mais bon, le torché c’est une culture d’informaticien aussi <img data-src=" />



Il y a pas mal de chiffres bien ronds, à la centaine : 18000, 15200, 8000,…



Si j’étais un brin moqueur, je dirai que ce sont des chiffres bidonnés, et que le document a été fait à la main, le vendredi à 17h28pour répondre à la demande CADA…

&nbsp;

Mais je ne serai pas&nbsp; un brin moqueur, je sais quelles sont les difficiles conditions d’existence de cette autorité, un si petit budget ne permet pas d’avoir la main d’oeuvre qualifiée pour établir un vrai document avec de vraies valeurs&nbsp; <img data-src=" />


Il n’y a qu’un csv ? Parce que si c’est un fichier Excel, ça serait rigolo de fouiller les méta-données, si seulement on pouvait voir la légalité de leur licence Office <img data-src=" />


Il y a eu des appels d’offre de la HADOPI pour acheter du MS Office (même pas de mise en concurrence avec Libreoffice :-( ). Je pense que là dessus, il y a rien à craindre.


Je ne porte pas l’Hadopi dans mon coeur (pour rester poli) mais j’avoue que ce petit effort de transparence est appréciable. Reste a savoir si ces chiffres ne seraient pas bidonnés (mode complot ON)



Cela étant dit, j’ai ris aux larmes en lisant le sous titre <img data-src=" />


Montée en puissance de 2011 à 2015.

Puis vitesse de croisière d’environ 150 000 premiers emails par mois depuis 2015.

Et environ 15 000 deuxièmes emails par mois avec néanmoins une grosse chute à ~8000 par mois depuis juin 2017 (coup de mou?).

Entre 50 et 100 délibérations de transmission / mois depuis 2015.

&nbsp;

Le plus important

&nbsp;



 Classements sans  suite : 168   



&nbsp;Jugements de relaxe : 9

&nbsp;Réponses pénales : 653

&nbsp;

Ils ont pas renseigné le nombre de courrier recommandés ?








Drepanocytose a écrit :



Rah

les gars, même quand ils publient les données, vous ralez. Tout le

monde n’est pas à l’aise avec les formats de données info, dans la vie :

c’est pas parce qu’on pond une loi que du jour au lendemain vous aurez

des données structurées propres en csv ou en base SQL….

Maintenant les données sont la, donc si vous voulez les exploiter vous vous sortez les doigts…





+1000

Vous n’êtes jamais contents, alors que c’était tellement prévisible…

Je trouve d’ailleurs dommage le dernier paragraphe de l’article en mode “on vous a à l’oeil” alors que, considérant la somme des données et le “passif relationnel” entre NXI et HADOPI, je trouve le délai de traitement de 3 semaines plus que raisonnable.

Un p’tit “Cette première étape de la mise en oeuvre de l’open data doit être saluée, et constitue sans doute le point de départ d’une industrialisation de fond” (ou autre truc du genre) aurait été bien plus approprié.

Ça ne fait pas table rase du passé, mais ça montre qu’on est prêt à reconnaître l’effort nouveau et essayer d’avancer ensemble dans une direction positive.



&nbsp;Mais bon, il semble difficile à l’équipe de prendre du recul sur leurs problèmes relationnels personnels. ^^



&nbsp;





Sheepux a écrit :



Je viens de voir le CSV… j’ai vomi quand j’ai vu du multi structure. Des “titres” de section, aléatoirement en colonne 1 ou 2.

Une envie de rager simple.



Je verrai en fin de journée si j’ai suffisamment la rage pour préparer un powerquery qui exploite tout ça automatiquement





Voilà le résultat, à critiquer sans recul les réticences des administrations à fournir les données, on se prend une déconvenue pourtant ultra-prévisible…

Il n’y a pas seulement des gens qui craignent que les données mettent en relief leurs éventuels échecs ou défaillances…

Il y a aussi des gens responsables qui sont pleinement conscients du fait que leurs données sont dans des formats dégueulasses, et qu’il faudra(it) un bon gros chantier des familles pour mettre tout ça d’équerre afin de les rendre exploitable par le citoyen sans nécessiter un bagage d’ingénieur informaticien (ou analyste confirmé)…

Il est donc illusoire et relativement vain (en plus de relever d’un comportement un poil infantile) d’espérer que les administrations publient au plus vite toutes leurs données : ça ne ferait que laisser un goût amer pour tout le monde : côté citoyen qui récupère un truc inexploitable, et l’administration qui aurait consacré un certain poids d’investissement pour au final se faire rembarrer par le citoyen.



(Ce n’est pas toi que je vise ici hein, mais tous ceux qui gueulent en général sur le fait que “ouh c’est trop lent”: à tous ceux là, je renvoie la politique Debian: when it’s -well- done).



Cela dit, je te remercie de ton initiative à titre personnel. ;)

&nbsp;



Désolé mais quand je vois ça:



1eres recommandations;;;;;;

;Délibérations de transmission;;;;;

Suites judiciaires;;;;;;



La 2eme ligne me rend malade.

C’est pas un problème d’avoir un format dégueulasse (le csv j’en ai brassé une quantité, j’ai vu pire comme format: bonjour l’EDI !), Mon problème ici c’est surtout quelqu’un qui n’a même pas jeté un coup d’oeil à son propre fichier.



Bon sinon, je vais manger je devrais avoir fini mon PowerQuery d’ici 14h.


J’aimerais bien que des choses comme ça me rendent encore malade perso&nbsp;<img data-src=" />


Pareil, c’est du pipi de chat à côté de ce qu’on peut voir dans les lourds passifs des entreprises… (genre dans un pivot tu fais transiter une taxe et son montant ou pourcentage, au lieu d’avoir un champ “type taxe” + la valeur, ils créent un objet par taxe…. <img data-src=" /> )



La structure de données, c’est un métier à part entière… Et comme souvent, très négligé et réalisé au fil des demandes. Résultant de formats de documents complètement imbitables à force.


Si en plus on peut même plus faire de figures de style<img data-src=" />


Bon,j’enchaine les réunions

Désolé c’est fait à la rache. mais voici l’excel en powerquery.

https://framadrop.org/r/vE2tWhq04h#2f3jnSZ4Qt7H2VRf+VoPlhCmZtcDQfoyqEr0pO5JepQ=

Rappel: powerquery pour Excel c’est gratuit (mais pas Excel)

https://www.microsoft.com/fr-FR/download/details.aspx?id=39379



Les query:

-La principale: “chiffres-bruts-statistiques”

(si le CSV est corrigé il faudra changer la recherche column2 en column1)



let



 Source = Csv.Document(Web.Contents(&quothttps://hadopi.fr/sites/default/download/chiffres-bruts-statistiques.csv"),[Delimiter=";", Columns=7, Encoding=65001, QuoteStyle=QuoteStyle.None]),   

#"Modifier le type" = Table.TransformColumnTypes(Source,{{"Column1", type text}, {"Column2", type text}, {"Column3", type text}, {"Column4", type text}, {"Column5", type text}, {"Column6", type text}, {"Column7", type text}}),

#"Lignes vides supprimées" = Table.SelectRows(#"Modifier le type", each not List.IsEmpty(List.RemoveMatchingItems(Record.FieldValues(\_), {"", null}))),

#"Index ajouté" = Table.AddIndexColumn(#"Lignes vides supprimées", "Index", 1, 1),

#"PersoR1" = Table.AddColumn(#"Index ajouté", "R1", each Text.Contains([Column1],"1eres recommandations")),

#"PersoR2" = Table.AddColumn(#"PersoR1","R2", each Text.Contains([Column1],"2èmes recommandations")),

#"PersoDT" = Table.AddColumn(#"PersoR2", "DT", each Text.Contains([Column2],"Délibérations de transmission")),

#"PersoSJ" = Table.AddColumn(#"PersoDT", "SJ", each Text.Contains([Column1],"Suites judiciaires")),

#"PersoRP" = Table.AddColumn(#"PersoSJ", "RP", each Text.Contains([Column1],"Réponses pénales"))



in



 #"PersoRP"





Et les requêtes dépendant de cette requête:

1eres recommandations



let



 Source = #"chiffres-bruts-statistiques",   

SelectMin= Table.SelectRows(Source , each [R1] = true), //1ereRecommandation

MinIndex = List.Min(SelectMin[Index]), //Index 1ereRecommandation

SelectMax= Table.SelectRows(Source , each [R2] = true), //1ereRecommandation

MaxIndex = List.Min(SelectMax[Index]), //Index 2emeRecommandation

FilterTable = Table.SelectRows(Source , each [Index] MinIndex),

#"Colonnes supprimées" = Table.RemoveColumns(FilterTable2,{"Column4", "Column5", "Column6", "Column7", "Index", "R1", "R2", "DT", "SJ","RP"}),

#"En-têtes promus" = Table.PromoteHeaders(#"Colonnes supprimées", [PromoteAllScalars=true]),

#"Type modifié" = Table.TransformColumnTypes(#"En-têtes promus",{{"Fin de mois", type date}})



in



 #"Type modifié"





2èmes recommandations



let



 Source = #"chiffres-bruts-statistiques",   

SelectMin= Table.SelectRows(Source , each [R2] = true), //1ereRecommandation

MinIndex = List.Min(SelectMin[Index]), //Index 1ereRecommandation

SelectMax= Table.SelectRows(Source , each [DT] = true), //1ereRecommandation

MaxIndex = List.Min(SelectMax[Index]), //Index 2emeRecommandation

FilterTable = Table.SelectRows(Source , each [Index] MinIndex),

#"Colonnes supprimées" = Table.RemoveColumns(FilterTable2,{"Column4", "Column5", "Column6", "Column7", "Index", "R1", "R2", "DT", "SJ","RP"}),

#"En-têtes promus" = Table.PromoteHeaders(#"Colonnes supprimées", [PromoteAllScalars=true]),

#"Type modifié" = Table.TransformColumnTypes(#"En-têtes promus",{{"Fin de mois", type date}})



in



 #"Type modifié"





Délibérations de transmission



let



 Source = #"chiffres-bruts-statistiques",   

SelectMin= Table.SelectRows(Source , each [DT] = true), //1ereRecommandation

MinIndex = List.Min(SelectMin[Index]), //Index 1ereRecommandation

SelectMax= Table.SelectRows(Source , each [SJ] = true), //1ereRecommandation

MaxIndex = List.Min(SelectMax[Index]), //Index 2emeRecommandation

FilterTable = Table.SelectRows(Source , each [Index] MinIndex),

#"Colonnes supprimées" = Table.RemoveColumns(FilterTable2,{"Column4", "Column5", "Column6", "Column7", "Index", "R1", "R2", "DT", "SJ","RP"}),

#"En-têtes promus" = Table.PromoteHeaders(#"Colonnes supprimées", [PromoteAllScalars=true]),

#"Type modifié" = Table.TransformColumnTypes(#"En-têtes promus",{{"Fin de mois", type date}})



in



 #"Type modifié"





Suites judiciaires



let



 Source = #"chiffres-bruts-statistiques",   

SelectMin= Table.SelectRows(Source , each [SJ] = true), //1ereRecommandation

MinIndex = List.Min(SelectMin[Index]), //Index 1ereRecommandation

SelectMax= Table.SelectRows(Source , each [RP] = true), //1ereRecommandation

MaxIndex = List.Min(SelectMax[Index]), //Index 2emeRecommandation

FilterTable = Table.SelectRows(Source , each [Index] MinIndex),

#"Colonnes supprimées" = Table.RemoveColumns(FilterTable2,{"Column5", "Column6", "Column7", "Index", "R1", "R2", "DT", "SJ","RP"}),

#"En-têtes promus" = Table.PromoteHeaders(#"Colonnes supprimées", [PromoteAllScalars=true]),

#"Type modifié" = Table.TransformColumnTypes(#"En-têtes promus",{{"Date", type date}})



in



 #"Type modifié"





Réponses pénales



let



 Source = #"chiffres-bruts-statistiques",   

SelectMin= Table.SelectRows(Source , each [RP] = true),

MinIndex = List.Min(SelectMin[Index]),

MaxIndex = List.Max(Source[Index])+1,

FilterTable = Table.SelectRows(Source , each [Index] MinIndex),

#"Colonnes supprimées" = Table.RemoveColumns(FilterTable2,{"Index", "R1", "R2", "DT", "SJ","RP"}),

#"En-têtes promus" = Table.PromoteHeaders(#"Colonnes supprimées", [PromoteAllScalars=true]),

#"Type modifié" = Table.TransformColumnTypes(#"En-têtes promus",{{"Date", type date}})



in



 #"Type modifié"







Edit: aprés démerdez vous pour fusionner puis faire un tableau croisé dynamique ou un graph. C’est pas compliqué








Sheepux a écrit :



Désolé c’est fait à la rache. mais voici l’excel en powerquery.







impeccable. <img data-src=" /> <img data-src=" />





aprés démerdez vous pour fusionner puis faire un tableau croisé dynamique ou un graph





graphe R1 et R2 (mensuel).



merci pour le fichier (lien) ! <img data-src=" />


On peut pas, on est des hommes, des vrais, avec des pouals. <img data-src=" />

(enfin, de la laine dans ton cas <img data-src=" />)



Après avoir vu des applis sous Windows travailler en mode Unix (avec une surcouche incluse) qui devait pondre des fichiers au format Windows pour être envoyés à des AS400 russes qui travaillent en cyrillique, plus rien ne m’effraie. <img data-src=" />


Finalement, ça raconte quoi ces chiffres ?

si c’est pour confirmer ce que l’on troll déjà…

qui?

&nbsp;

&nbsp;

&nbsp;








Sheepux a écrit :



Hadopi n’a pas prévu de survivre si longtemps :)

Il y aura le bug des timestamp POSIX de 2038 avant !







Il passera en 64 bits avant. Je ne l’exploite que comme ça depuis pas mal de temps déja.



En 7 ans plus de 9 millions de 1er mail, pour 28 millions de ménage, ca ferait +/- 1 famille sur 3 qui a reçu un 1er avertissement (si on écarte ceux qui en ont un régulièrement et se font discret 6 mois). Si on ajoute tout ceux qui passent entre les mailles du filet (pas de P2P, vpn, etc), on peut en conclure que le téléchargement est très largement répandu en France.



On a aussi un nombre de mails relativement stable depuis 3 ans : on peut raisonnablement s’interroger sur l’efficacité de l’effet dissuasif (on devrait voir le nombre baisser en principe).



La Hadopi pourrait rétorquer que les avertis rentrent dans le rang, et que ce sont des nouveaux chaque mois qui eux aussi vont rentrer dans le rang. Pour confirmer cette hypothèse, rendez-vous dans 5 ans quand on aura fait le tour de toutes les familles de France, voir si ça s’arrête net&nbsp;<img data-src=" />&nbsp;<img data-src=" />



&nbsp;








lolotwingo a écrit :



La Hadopi pourrait rétorquer que les avertis rentrent dans le rang, et que ce sont des nouveaux chaque mois qui eux aussi vont rentrer dans le rang. Pour confirmer cette hypothèse, rendez-vous dans 5 ans quand on aura fait le tour de toutes les familles de France, voir si ça s’arrête net <img data-src=" /> <img data-src=" />



Moi, je suis rentré dans le rang début novembre, suite à réception d’un mail d’avertissement. Ca a été très efficace sur moi : j’ai temporairement stoppé le P2P pour passer au ddl <img data-src=" /> <img data-src=" />



+1

&nbsp;


Il restait quand même encore du travail, je viens de rentrer et de voir que je n’ai même pas passé les colonnes en numériques <img data-src=" />



Et rien que pour vos yeux voila le tableau complet avec graphes en tableaux croisés.

J’ai fais une jointure entre R1 R2 et DT. Et une analyse rapide des suites judiciaire en joignant SJ et RP

https://framadrop.org/r/rK6G7tYumF#RhthcDNd8ke6q6wpljuSyqmtVlF1QDZK9CzzNTDx9eE=

J’ai fait une capture rapide des graphs pour ceux qui utilisent pas excel:

https://framapic.org/p46nsV6LQ88F/h2ZdXmouoeWf.png



Prochaine fois, dés que le fichier sera à jours, il suffira de rafraichir l’excel (Donnée, tout actualiser) pour avoir les graphs à jours (sauf si bien sur il y a eu une modification de format, suffira juste de bidouiller rapidement la premiere requête, tout sera à jours en cascade).



Ce qu’on voit c’est une grosse stagnation des R2 (2eme recommandé) alors que R1 a bien monté (surement lié à des volumes souhaités par la Hadopi et donc une limite volontaire, il me semble que NXi en avait parlé). Le niveau judiciaire lui est très bas. L’effet “peur” fonctionne bien.

En tout cas, j’aimerai voir en parallèle le graph de transition R1 vers DDL.

L’effet éducatif … avons nous une étude qui indique que le piratage a baissé ?



Le niveau judiciaire est constitué à 20% de relaxe/sans suite et 50% de peines alternatives (#mesures éducatives?). Les grosses condamnation c’est environ 15%








lolotwingo a écrit :



…La Hadopi pourrait rétorquer que les avertis rentrent dans le rang, et que ce sont des nouveaux chaque mois qui eux aussi vont rentrer dans le rang…



&nbsp;





C’est déjà fait.



je me disais, AUSSI–&gt;ça fait (déjà) bcp. de-monde !

dans 10 ans tt.-le-monde aura été averti au moins 1 fois !

(ils pourront la fermer “leur Hadopi”…. c’est bon, le travail a été fait) ! <img data-src=" />


Pour progresser, il faut demander toujours plus ….&nbsp; Merci.


Faut pas que j’oublie de me prendre mon VPN, vous me faites penser à ça…



<img data-src=" /><img data-src=" /><img data-src=" /><img data-src=" /><img data-src=" />








127.0.0.1 a écrit :



impeccable. <img data-src=" /> <img data-src=" />







graphe R1 et R2 (mensuel).





Je pense que l’ombre de Batman entre janvier 2015 et janvier 2016 a eu un effet important contre ces criminels de contrefacteurs <img data-src=" />



Je suis pas trop a jour sur les dates de “fermeture”de certains sites, ça correspond aux baisses ou pas du tout ? <img data-src=" /> (genre fermeture de T411)


Pour la mise à jour des données, c’est normalement une obligation avec la loi pour une République Numérique. Espérons que ce sera suivi.


Même pas dans le cas présent, puisque cette obligation de mise à jour ne concerne que les administrations d’au moins 50 agents ou salariés. Et la Hadopi en compte 49 selon son dernier rapport d’activité…