Décoder Décodex, fausse bonne idée ?

On a voulu décoder Décodex... et c'est plus compliqué que ce que l'on pensait.

En février, Les Décodeurs du Monde présentaient leur nouvelle trouvaille. Décodex. « Un premier pas vers la vérification de masse de l’information », lit-on sur leur site. Le pari est audacieux, et le principe, plutôt simple. Aider les internautes à s’y retrouver dans la jungle des sites producteurs ou relayeurs de fausses informations. En trois clics, vous téléchargez une extension pour votre navigateur et le tour est joué : un petit logo apparait à côté de votre barre de recherche pour indiquer la fiabilité du site. Neutre, c’est ok, orange, c’est douteux, rouge, les informations sont fausses, et bleu, c’est une parodie. Mais en pratique… qui décode Décodex ? Qui vérifie si Décodex est fiable ? C’est ce qu’on a cherché à démontrer. Et ce n’est pas si simple.

« You’re right, Decodex »

Premier constat : Décodex semble avoir raison. En analysant des médias ‘fiables’ et ‘douteux’ selon la classification du site, les résultats obtenus permettent d’affirmer que 65% des médias dits « neutres » sont journalistique, contre 32% des médias dits « oranges ». La méthode semble fonctionner.



Plus précisément, on remarque que des rédactions comme Le Monde (69%), L’Opinion (86%), Le JDD (70%) ou La Croix (83%) sont nettement plus journalistiques que des sites classé d’extrême-droite, tels que Fdesouche, un blog d’inspiration identitaire (17,09%), Boulevard Voltaire, le site du Maire FN de Béziers, Robert Ménard (27,16 %), ou encore l’hebdomadaire Minute (33,33%). Plutôt rassurant, en somme. Mais ces résultats ne sont que ceux d’une méthodologie particulière : la nôtre. Celle utilisée par Décodex pour définir « l’indice journalistique » n’est pas publique (on a cherché, en vain…).

 « Une information pertinente.… ça veut dire quoi au juste ? »

La première chose à faire ? Créer des critères en mettant des mots sur ce que l’on appelle « journalisme ». La chose n’est pas aisé, surtout quand il s’agit de définir « très précisément » la profession. Qu’est-ce qu’une information pertinente ? Est-ce que le fait qu’une personne se sente attaquée, qu’elle n’ait pas intérêt à ce que ces informations soient publiées font de l’article un « bon article journalistique » ? Dix critères ont été retenus, facilement mesurable, ressemblant d’assez près aux revendications qu’avancent les journalistes de Décodex sur un article présentant leur démarche. Le site produit-il ses propres informations ou les reprend-ils ailleurs ? Donne-t-il une voix à ceux qui ne l’ont pas d’habitude ? Source-t-il ses informations ? Ces dernières sont-elles vraies ? Le site les analyse-t-il ? Aide-t-il à la compréhension ? Le traitement de l’information est-il impartial, honnête ? Est-il accessible ?

Seconde étape, choisir les sites d’information et les articles à analyser : 6 médias fiables, 6 médias douteux. L’idée étant de déceler d’éventuelles failles dans le classement opéré par Décodex, il a été convenu de ne se concentrer que sur les médias dits “neutres” et ceux dits “orange” — la différence entre ces deux catégories étant moins évidente qu’entre les médias “neutres” et les “rouges”. Enfin, la troisième étape : définir un échantillon d’articles au hasard, c’est-à-dire en choisissant aléatoirement des articles publié à quatre dates différentes, choisies aléatoirement elles aussi.

Il ne restait plus qu’à collecter les données et tester la méthodologie. Et là… c’est le drame.

Hésitation et subjectivité

Rien qu’en commençant à remplir le tableau de nos premières analyses, on se rend compte à quel point le résultat est une appréciation subjective. Inscrire un 0 ou un 1 dans une case.… la frontière est poreuse. L’entre-deux n’existe pas, alors inutile d’hésiter trop longtemps. Pire, le résultat est — indirectement — lié à des facteurs personnels. « L’article est impartial ? Oui, je pense, allez, hop, 1 ». « L’information est-elle vraie ? Hmm.. j’ai pas entendu le contraire ailleurs, je pense que c’est bon. »

Prenons le JDD.fr. Selon nos résultats, le site est journalistique à 70% — c’est-à-dire que sur 12 articles analysés, 76 critères sur 108 ont été remplis. Les 30% restants ne sont pas pour autant synonymes de ‘mauvais journalisme’. Un compte-rendu d’un meeting d’Emmanuel Macron, par exemple, remplira nettement moins de critères qu’un article sur le salaire du coiffeur de François Hollande. Pourquoi ? Car les journalistes ont pu interroger eux-mêmes des coiffeurs - l’information a été collectée, 1 — plutôt que de reprendre une information disponible sur le fil AFP - l’information n’est pas collectée, 0. Ici, cela dépend de l’accessibilité des ressources ou des informations : le compte-rendu du meeting n’a pas d’erreur journalistique apparente. C’est certainement un choix de la rédaction. Même argumentaire pour un article d’analyse. Les sources politiques étant plus compliquées d’accès, un article concernant la candidature de Patrick Balkany aux élections législatives ne sera pas ‘entièrement journalistique’ dans notre classification car le journaliste s’appuie sur un article publié sur L’Obs et y ajoute des déclarations venant du compte Twitter et Facebook des principaux intéressés. Et des fois, il vaut mieux avoir la réaction de la personne concernée — même sur son Twitter — qu’un témoignage récolté soi-même, sans garantie de véracité.

On voit également à quel point le nombre d’articles analysé a son importance dans notre méthode. Sputnik, par exemple, un site d’information russe, est d’abord apparu dans notre classement comme étant 77% ‘journalistique’. Il y a que quoi douter. En regardant les résultats de plus près, on s’est rendu compte que notre équipe n’avait lu que 2 articles du site. Forcément, le pourcentage est biaisé.*

Pour que notre méthode soit certaine, il aurait donc fallu analyser plus de 1000 articles afin d’être certain que la marge d’erreur soit infime. Il aurait aussi fallu se mettre d’accord dès la moindre hésitation. Etre certain que personne ne fasse d’erreur en recopiant des données, certain que tout le monde le fasse bien, et en toute impartialité. En bref, décoder Décodex est bien plus compliqué qu’il n’y parait. Libre à chacun, désormais, de vérifier ou continuer ce que nous avons fait. Et c’est possible : notre méthodologie et nos données sont transparentes.

Alice FROUSSARD

*Nous avons retiré Sputnik de nos résultats finaux.