Procédure d’évaluation par les pairs / Peer review process

Le Grenier des savoirs souscrit au principe de l’évaluation par les pairs en double aveugle des articles publiés dans ses revues. Cela signifie que tous les articles publiés dans le Grenier des savoirs seront passés par ce processus qui consiste à soumettre la version reçue d’un article, jugée acceptable par le comité de rédaction, à un examen par deux ou trois personnes crédibles qui connaissent bien le thème ou l’approche proposée par l’article en question et qui pourront (ou non) demander aux auteurs et autrices de faire des modifications avant la publication. La notion de « double aveugle » signifie que les évaluateurs et évaluatrices procéderont à la lecture de l’article sans en connaître l’auteur ou l’autrice et que ces derniers ne connaîtront pas l’identité des personnes qui auront lu leur texte, du moins pas avant la publication finale.

Des études montrent de plus en plus les faiblesses de ce dispositif conventionnel d’évaluation. Par exemple, des études récentes ont montré que l’industrie pouvait influencer ce processus ou que le manque de temps des évaluateurs et évaluatrices conduisaient parfois à des évaluations bâclées laissant passer des textes frauduleux ou erronés devant ensuite être rétractés. Les articles devenant de plus en plus pointus, le nombre d’experts ou d’expertes pouvant les évaluer se restreint, ce qui ouvre la porte à de la complaisance ou à des règlements de comptes entre collègues. Certains notent aussi que ce processus, lorsqu’il privilégie la conformité méthodologique, tend à encourager le conservatisme des auteurs et autrices et non l’innovation ou l’exploration de nouvelles manières de faire de la recherche. Des expériences ont montré qu’une revue à qui on re-soumettait quelques années plus tard un article pouvait cette fois le refuser. Finalement, ce qui ressort de ces critiques est que le processus qui est en général entre les mains des rédacteurs et rédactrices en chef des revues est rarement transparent, si bien que le lectorat n’est pas toujours en mesure de bien savoir comment il est géré.

Pour toutes ces raisons, plusieurs revues scientifiques anglo-saxonnes ont voulu innover au cours de la dernière décennie  en rendant plus transparent leur processus d’évaluation par les pairs grâce à une procédure ouverte (open peer review), comme le EMBO Journal ou le BMJ open. D’autres revues font attention à ce que la procédure ne conduise pas à rejeter des articles innovants.

Le Grenier des savoirs, dont un des objectifs est justement l’innovation épistémologique et méthodologique en contexte africain, porte une attention particulière à ce processus qui reste, malgré tous ses défauts, un gage de qualité, pouvant attirer la confiance de ses lecteurs et lectrices. Ce qui suit est le résultat de ses réflexions. Les revues du Grenier des savoirs endossent l’essentiel ou la totalité de cette approche, comme le montre la procédure qu’elles affichent sur leur site.

Visée de l’évaluation par les pairs

Dans le Grenier des savoirs, le but de l’évaluation par les pairs d’un article n’est pas de recommander ou non la publication de l’article soumis. En effet, tous les articles envoyés en évaluation auront déjà été identifiés comme pertinents et intéressants par le comité de rédaction de la revue concernée. C’est ce même comité qui prendra la décision finale de le publier ou non et qui est donc responsable.

Le but de l’évaluation est d’aider les personnes responsables de l’article à améliorer leur texte en leur suggérant, selon les cas, de clarifier leurs arguments, d’affiner leurs interprétations, d’éviter le dogmatisme épistémologique ou méthodologique, de préciser leur méthode de collecte de données et de les rendre ouvertes s’il y a lieu, de vérifier leurs références bibliographiques et d’indiquer les éventuels liens d’intérêts avec des organismes. En harmonie avec l’engagement du Grenier des savoirs pour la justice cognitive, l’évaluation pourra aussi demander aux auteurs et autrices de maximiser l’accessibilité de leur texte aux plus jeunes en évitant au maximum le jargon ou des concepts pointus non expliqués et d’avoir au moins autant de références d’auteurs et d’autrices des Suds que du Nord. L’évaluation vérifiera aussi si le texte utilise une écriture inclusive tel que demandé dans les consignes aux auteurs et autrices et si toutes les métadonnées sont présentes.

Toute évaluation se fera donc dans cette attitude constructive, ce qui n’empêche pas que le Grenier des savoirs s’attend aussi à ce qu’elle identifie des problèmes majeurs tels qu’un constat de fraude, de malhonnêteté intellectuelle ou de désir de tromper. Il est de la responsabilité des rédacteurs et rédactrices en chef que les articles de faible qualité et sans potentiel ne passent pas à l’étape de l’évaluation. Le Secrétariat général du Grenier des savoirs sera en appui à toute la démarche, notamment pour les échanges de courriel et l’interprétation des évaluations.

L’évaluation est donc une étape très importante de la publication scientifique. Dans les pays du Nord, elle est faite bénévolement, ce qui rend parfois difficile le recrutement, mais qui évite les soupçons de conflits d’intérêts. Dans les pays des Suds, c’est un travail qui est en général un peu rémunéré, ce qui exige des fonds de la part des revues – ce qui serait très difficile à exiger dans le cas des revues du Grenier des savoirs. Pourtant, il est clair que ce travail évaluatif doit être « reconnu » à sa juste valeur. Mais on peut aussi considérer qu’il fait partie d’un ensemble plus vaste puisque les évaluateurs et évaluatrices sont aussi des auteurs et des autrices qui ont besoin que ce travail se fasse sur leurs textes. Notre proposition est la suivante :

  • chaque auteur ou autrice publiée dans une revue du Grenier des savoirs s’engage à évaluer trois articles dans l’année suivante.
  • chaque évaluateur ou évaluatrice reçoit des « services gratuits » en échange de son travail : une révision linguistique d’un texte préalable à la soumission à une revue, la traduction de résumés ou de courts textes en anglais, une formation en recherche documentaire dans le web scientifique libre, une relecture d’une demande de subvention, une amélioration d’un blog, etc. Ces services seront fournis par l’ensemble de l’équipe de la plateforme scienceafrique.org.
  • si la revue a des fonds pour l’évaluation et si l’évaluateur ou l’évaluatrice préfère une rémunération à un service gratuit, ce sera possible.

Sections de l’évaluation

L’évaluation se fait sur un fichier Word comportant différentes sections qui sera envoyé aux personnes sélectionnées pour évaluer un article. Ces personnes recevront un lien privé vers le texte en ligne, la fiche d’évaluation et les instructions aux auteurs et autrices du la revue.

La première section consiste en une appréciation globale portant sur le contenu et l’écriture de l’article évalué : qualité des éléments empiriques, des arguments et des interprétations, pertinence du cadre théorique, absence de dogmatisme épistémologique ou méthodologique (ouverture aux épistémologies locales), présentation de la méthode de collecte de données et de leur accessibilité s’il y a lieu et conformité générale aux instructions aux auteurs et autrices. Cette appréciation doit aussi vérifier si les références citées, notamment théoriques, proviennent bien de différentes parties du monde, notamment des pays des Suds, dans une perspective décoloniale. Elle doit proposer aux auteurs et autrices des suggestions constructives pour renforcer la portée, la solidité et la contribution de leur texte à la réflexion collective et à l’avancement des connaissances et de la société. C’est le texte de cette appréciation globale, rédigée dans un esprit constructif et sans limite de mots, qui sera remis à l’auteur ou l’autrice, après validation par le comité de rédaction qui pourra y ajouter des suggestions et commentaires.

Cette section est suivie de l’examen rapide de quatre critères plus précis, dont plusieurs sont reliés à l’idéal de justice cognitive :

1. Accessibilité, clarté de l’écriture

L’article ne doit pas préjuger que les concepts, théories et modèles utilisés sont tous bien connus des internautes
et doit les définir lorsque nécessaire, dans une note ou un encadré. Il doit s’efforcer d’utiliser le moins possible de jargon spécialisé, car il se peut que les évaluateurs et évaluatrices ne soient pas exactement des experts du domaine pointu de l’article. L’évaluation donne une note sur 20 et fait des suggestions précises d’amélioration s’il y a lieu.
2. Écriture inclusive
La justice cognitive exige l’emploi d’une écriture inclusive qui évite de rendre invisibles les femmes ou les minorités. Un Guide d’écriture inclusive est disponible sur le site du Grenier des savoirs et de chaque revue pour que les auteurs et autrices puissent l’appliquer. Ils et elles l’auront automatiquement reçue si leur texte répond à un appel. L’évaluation doit indiquer s’il reste du travail à faire à ce propos.

3. Les références bibliographiques

Les références bibliographiques permettent de situer le texte dans le paysage intellectuel et scientifique où il s’inscrit. Les références bibliographiques devront être :

  • exactes et aisément retraçables par les lecteurs et lectrices.
  • à jour (récentes)
  • utilisées judicieusement (ne pas citer pour citer, explication des citations, pas d’effet d’autorité)
  • bien présentées.

L’évaluation n’a pas à corriger les références, ce sera fait par la suite. Des suggestions de références complémentaires peuvent être faites, mais dans le respect de la liberté académique des auteurs et autrices.

4. Liens d’intérêts et engagements

Les engagements social, politique, institutionnel ou économique des auteurs et autrices doivent être présentés explicitement, surtout s’ils ont un impact sur l’article. La mention d’un tel engagement ne sera jamais un motif de refus de publication; c’est le manque de transparence et de réflexivité qui pourrait l’être.

Procédure d’évaluation

  • Chaque article soumis à la revue est d’abord rapidement évalué par au moins deux membres du comité de rédaction qui donnent un premier avis sur la pertinence et l’intérêt de l’article en question pour la revue. Si l’article est retenu à cette phase, le comité suggère au Secrétariat général du Grenier des savoirs (SG) des noms d’évaluateurs ou d’évaluatrices, au sein ou en dehors du comité scientifique de la revue, en fonction du thème de l’article. Idéalement, ces personnes sont d’un autre pays que l’auteur ou l’autrice de l’article.
  • L’article, après une révision linguistique minimale, est mis en ligne sur le site de la revue par le comité de rédaction ou le Secrétariat général. Mais seuls le titre et le résumé court de l’article sont visibles par tous les internautes. Il est possible à des lecteurs ou lectrices de se proposer pour faire l’évaluation. C’est le comité de rédaction qui prend la décision finale du choix des évaluateurs et évaluatrices, au nombre minimal de deux.
  • Les évaluatrices et évaluateurs reçoivent la version PDF de l’article à évaluer et ont un mois pour rédiger leur évaluation selon les critères décrits ci-dessus.
  • À noter : en vue de sa publication éventuelle dans la version ouverte de l’évaluation(voir ci-dessous), l’évaluation doit suivre la politique linguistique de la revue, adopter une langue soignée et, au besoin, utiliser des références bibliographiques complètes. La liste des personnes qui ont rédigé une évaluation sera publiée une fois par an sur le site de la revue.
  • Les évaluations sont envoyées par courriel au Secrétariat général du Grenier des savoirs qui les transfère ensuite au comité de rédaction de la revue.
  • Si ce comité n’est pas satisfait du travail accompli par les évaluateurs ou évaluatrices ou si les évaluations sont contradictoires, il peut prolonger le processus et envoyer le texte à une autre personne.
  • Quand le processus est terminé, les évaluations sont envoyées, sous une forme anonymisée, aux auteurs et autrices de l’article qui pourront y répondre si tel est leur souhait, puis préparer la deuxième version de leur article. S’il y a lieu, les évaluatrices et évaluateurs seront invités à répondre à la réponse des auteurs et autrices à leur évaluation.
  • Le comité de rédaction est responsable de la décision finale sur la deuxième version de l’article. Il peut encore demander des modifications, à condition de les justifier. Cette justification fait partie de l’historique de l’article.
  • La version finale en envoyée au Secrétariat général qui en fera la révision linguistique finale : fautes, coquilles, typographie, vérification des références, vérifications des métadonnées (résumé en plusieurs langues, biographie, mots-clés).
  • La version révisée est envoyée pour validation finale aux auteurs et autrices avant la mise en ligne publique sur le site de la revue.

Version ouverte du processus d’évaluation par les pairs

Cette procédure ouverte permet aux lecteurs et lectrices de prendre connaissance de l’historique de l’article, à savoir sa version initiale, le contenu des évaluations et les réponses des auteurs ou autrices, ainsi que les commentaires du comité de rédaction. L’anonymat des évaluatrices et évaluateurs peut ou non être maintenu lors de la publication de l’historique. Toutes les revues du Grenier des savoirs publieront la liste de ces personnes à la fin de chaque année.

Ce processus d’évaluation ouverte a l’avantage pédagogique de rendre publiques et accessibles des discussions potentiellement intéressantes et importantes pour l’amélioration de la qualité d’un article. De plus, il oblige les évaluatrices et évaluateurs à faire un travail de qualité, puisqu’il sera lu publiquement et apprécié. À noter qu’il pourrait être possible de considérer une évaluation longue et détaillée d’un article comme une note de recherche.

  • Quand la version finale de l’article est validée par le comité de rédaction et les auteurs et autrices, elle est mise en ligne au tout début de la page web de l’article. Elle est suivie de la version initiale, des évaluations, des réponses éventuelles des auteurs et autrices et des commentaires du comité de rédaction.
  • Le comité de rédaction demande à toutes les personnes impliquées leur accord pour mettre cet historique en accès libre. Selon les politiques éditoriales des revues, les personnes responsables de l’évaluation peuvent décider de garder ou non l’anonymat. L’important est qu’elles en soient informées avant de rédiger leur évaluation.
  • L’article et son historique sont ouverts aux commentaires de tous les internautes. Des révisions subséquentes de l’article restent possibles.
  • La version finale de l’article est déposée dans un dépôt institutionnel pérenne, notamment le DICAMES pour les auteurs et autrices de l’espace CAMES.

Version non ouverte du processus

L’historique de l’article (la version initiale de l’article, les évaluations et les réponses) n’est pas publié. Seule la version finale est publiée et déposée dans un dépôt institutionnel pérenne.