Un principe de base
Comme la plupart des revues scientifiques qui aspirent à une haute qualité, le Grenier des savoirs souscrit au principe de l’évaluation par les pair-e-s en double aveugle des articles publiés dans ses revues. Pour éviter tout risque de complaisance et pour soulager la tâche des comités de rédaction, c’est le Secrétariat général du Grenier des savoirs qui est responsable de piloter l’évaluation de tous les articles.
Selon ce principe, tous les articles soumis à l’une ou l’autre des revues du Grenier des savoirs doivent passer par ce processus. Il consiste à soumettre la version reçue d’un article, jugée acceptable par le comité de rédaction, à un examen par au moins deux personnes crédibles qui connaissent bien le thème ou l’approche proposée par l’article en question, qui peuvent ou non faire partie du comité scientifique de la revue concernée, et qui pourront (ou non) demander aux auteurs et autrices de faire des modifications avant la publication. Ces personnes doivent utiliser le formulaire d’évaluation du Grenier des savoirs, présenté ci-dessous.
La notion d’évaluation par les pair-e-s en « double aveugle » signifie que les évaluateurs et évaluatrices procéderont à la lecture de l’article sans en connaître l’auteur ou l’autrice et que ces derniers ne connaîtront pas l’identité des personnes qui auront évalué leur texte au moment d’en faire la version finale, du moins pas avant la publication finale.
Consolider le processus d’évaluation
Des études ont montré les faiblesses de ce dispositif conventionnel d’évaluation, notamment dans les pays du Nord où règnent l’économie du savoir et le capitalisme cognitif. Elles ont noté que l’industrie pouvait influencer ce processus ou que le manque de temps des évaluateurs et évaluatrices conduisaient parfois à des évaluations bâclées laissant passer des textes frauduleux ou erronés devant ensuite être rétractés. Les articles devenant de plus en plus pointus, le nombre d’experts ou d’expertes pouvant les évaluer se restreint, ce qui ouvre la porte à de la complaisance ou à des règlements de comptes entre collègues, quand ce n’est pas à de la discrimination envers des collègues des pays des Suds. Certains notent aussi que ce processus, lorsqu’il privilégie la conformité méthodologique, tend à encourager le conservatisme des auteurs et autrices et non l’innovation ou l’exploration de nouvelles manières de faire de la recherche. Des expériences ont montré qu’une revue à qui on re-soumettait quelques années plus tard un article pouvait cette fois le refuser. Finalement, ce qui ressort de ces critiques est que le processus qui est en général entre les mains des rédacteurs et rédactrices en chef des revues est rarement transparent, si bien que le lectorat n’est pas toujours en mesure de bien savoir comment il est géré.
Dans les pays des Suds, ce processus d’évaluation est de plus victime de longs délais faute de ressources humaines et informatiques pour le gérer, fait face à des demandes d’honoraires de la part des évaluateurs et des évaluatrices que les revues ne peuvent que rarement assumer et s’empêtre parfois dans des considérations de type hiérarchique au sein des universités.
Pour toutes ces raisons, plusieurs revues scientifiques anglo-saxonnes ont voulu innover au cours de la dernière décennie en rendant plus transparent leur processus d’évaluation par les pair-e-s grâce à une procédure ouverte (open peer review), comme le EMBO Journal ou le BMJ open. D’autres revues font attention à ce que la procédure ne conduise pas à rejeter des articles innovants en utilisant des critères qui ne portent pas sur le contenu précis des articles, mais sur le processus de publication.
Le Grenier des savoirs, dont un des objectifs est justement l’innovation épistémologique et méthodologique en contexte africain, porte une attention particulière à ce processus qui reste, malgré tous ses défauts, un gage de qualité pouvant attirer la confiance de ses lecteurs et lectrices. Il propose à ses revues le choix entre une évaluation classique ou une évaluation ouverte (qui publie les évaluations). Ce qui suit est le résultat de ses réflexions.
Visée de l’évaluation par les pair-e-s
Dans le Grenier des savoirs, le but de l’évaluation par les pair-e-s d’un article est moins de recommander ou non la publication d’un article soumis que de faire des suggestions visant leur amélioration. En effet, tous les articles envoyés en évaluation auront déjà été identifiés comme pertinents et intéressants par le comité de rédaction de la revue concernée. C’est ce même comité qui prendra la décision finale de le publier ou non et qui en est donc responsable.
Le but de l’évaluation est d’aider les personnes responsables de l’article à améliorer leur texte en leur suggérant, selon les cas, de clarifier leurs arguments, d’affiner leurs interprétations, d’éviter le dogmatisme épistémologique ou méthodologique, de préciser leur méthode de collecte de données et de les rendre ouvertes s’il y a lieu, de vérifier leurs références bibliographiques et d’indiquer les éventuels liens d’intérêts avec des organismes.
En harmonie avec la politique linguistique du Grenier des savoirs pour la justice cognitive, l’évaluation pourra aussi demander aux auteurs et autrices de maximiser l’accessibilité de leur texte en évitant au maximum le jargon ou des concepts pointus non expliqués et d’avoir au moins autant de références d’auteurs et d’autrices des Suds que du Nord. L’évaluation vérifiera également si le texte utilise une écriture inclusive tel que demandé dans les consignes aux auteurs et autrices et si toutes les métadonnées sont présentes.
Toute évaluation se fera donc dans cette attitude constructive, ce qui n’empêche pas que le Grenier des savoirs s’attend aussi à ce que ce processus permette d’identifier des problèmes majeurs tels qu’un constat de fraude, de malhonnêteté intellectuelle ou de désir de tromper. Il est de la responsabilité des rédacteurs et rédactrices en chef que les articles de faible qualité et sans potentiel ne passent pas à l’étape de l’évaluation. Le Secrétariat général du Grenier des savoirs sera en appui à toute la démarche, notamment pour les échanges de courriel et l’interprétation des évaluations.
En conformité avec la politique d’intégrité, un logiciel anti-plagiat sera utilisé pour tous les textes. Un texte accepté qui comporte des passages plagiés sera rejeté.
Reconnaissance des évaluateurs et des évaluatrices
L’évaluation est une étape très importante de la publication scientifique. Dans les pays du Nord, elle est faite bénévolement, ce qui limite les soupçons de conflits d’intérêts ou de complaisance – même si, dans les faits, ces conflits existent quand même. Dans les pays des Suds, c’est un travail qui peut ou non être rémunéré. Le Grenier des savoirs a choisi de ne pas rémunérer les évaluateurs et les évaluatrices, faute de budget pour assurer une équité entre les revues. Pourtant, il est clair que ce travail doit être « reconnu ». Notre proposition est la suivante :
- Chaque auteur ou autrice dont un article est publié dans une revue du Grenier des savoirs s’engage à évaluer deux articles dans l’année suivante.
- Chaque évaluateur ou évaluatrice est exempté-e de la cotisation à l’Association Science Afrique pendant une année au cours de laquelle il ou elle peut quand même soumettre des textes.
- Si tel est son souhait, chaque évaluateur ou évaluatrice peut demander, une fois son évaluation rendue, de recevoir aux frais de l’Association Science Afrique un « service » dans l’année qui suit : la révision linguistique d’un texte préalablement à la soumission à une revue, la révision de ses références bibliographiques, la traduction d’un résumé en anglais, une formation en recherche documentaire dans le web scientifique libre ou la relecture d’un projet de recherche. Ces services seront fournis par le Secrétariat général.
- Un trophée sera remis annuellement par le comité scientifique du Grenier des savoirs à l’évaluateur et à l’évaluatrice qui se seront démarqués par leur fiabilité, leur rigueur et leur sérieux.
Le formulaire d’évaluation
Ce formulaire est disponible en ligne à cette adresse. Mais il peut être envoyé aux évaluateurs et évaluatrices en format word sur demande. C’est le Secrétariat général qui gère le processus d’évaluation.
Voici son contenu :
Évaluation (anonyme ou ouverte) d’un article scientifique du Grenier des savoirs
Le but de cette évaluation est de formuler une recommandation quant à la publication d’un texte soumis au Grenier des savoirs et, le cas échéant, d’aider les auteurs et autrices à améliorer leurs arguments, leurs références et leurs interprétations. Le comité de rédaction reste responsable de la décision de publier le texte et des demandes faites aux auteurs et autrices.
Dans le cas de certaines revues, cette évaluation est ouverte, ce qui signifie qu’un résumé de l’évaluation, rédigé et signé par l’évaluateur ou l’évaluatrice, sera publié avec l’article, dans son historique. Cette pratique a pour but de fournir au public un éclairage sur les enjeux soulevés par l’article. Toutefois, au cours du processus d’évaluation, aucun nom ne sera donné par les responsables du processus d’évaluation.
Ce formulaire comporte 2 ou 3 sections, selon le type d’évaluation pratiqué par la revue. La première section est informative. La deuxième section comporte un tableau avec 14 critères et la possibilité de leur donner une note de 1 à 4, un espace libre pour faire des commentaires et votre recommandation globale sous la forme d’une lettre. La troisième section, réservée aux revues ouvertes, recueille le résumé de votre évaluation qui pourrait être publié à la suite de l’article.
Pour tout questionnement ou problème, écrivez au membre de l’équipe du Grenier des savoirs qui a sollicité votre participation.
*Obligatoire
1. Vos prénom et nom
Pendant le processus d’évaluation, vos coordonnées ne seront pas communiquées aux auteurs et autrices. Toutefois, si la revue a fait le choix de l’évaluation ouverte, votre évaluation publiée ne sera peut-être pas anonyme et devra être signée. Merci de vérifier la politique éditoriale de la revue à ce sujet. À noter que tous les évaluateurs et évaluatrices seront publiquement remerciés sur une page du site principal du Grenier des savoirs.
2. Votre affiliation
Elle sera publiée avec votre nom sur la page de remerciement du site du Grenier des savoirs et, si la revue pratique l’évaluation ouverte, à la suite de votre commentaire du texte.
3. Votre adresse courriel/mail
A priori, cette adresse sera publiée dans la page des remerciements du site Le Grenier des savoirs, pour permettre à des lecteurs ou lectrices de vous contacter. Si vous ne souhaitez pas qu’elle soit publiée, merci de nous l’indiquer ici.
4. Titre du texte évalué *
5. Titre de la revue concernée par cette évaluation *
6. Cette revue pratique-t-elle l’évaluation anonyme ou ouverte? *
L’évaluation anonyme ne publie pas l’historique de l’article, c’est-à-dire ses évaluations, alors que l’évaluation ouverte le fait. Pour en savoir plus, lire les explications sur le site principal du Grenier des savoirs ou lire la politique éditoriale de la revue.
Une seule réponse possible. Si l’évaluation est ouverte, une question est ajoutée.
Évaluation de l’article que vous avez lu.
Vous devez répondre à trois questions en lien avec l’article que vous avez lu.
La première propose une liste de critères pour lesquels vous devez donner une note de 1 à 4. Si vous estimez qu’un critère est très bien rempli, mettez 4 sans hésitation.
Dans votre réponse à la deuxième question, vous pourrez expliquer vos notes et faire des suggestions pour améliorer le contenu du texte. Ne vous préoccupez pas de la révision linguistique et du formatage, notamment des références, car cet aspect sera traité directement par le Grenier des savoirs.
La dernière question porte sur votre recommandation globale quant à l’article soumis.
Merci de noter qu’il s’agit d’une recommandation et que la décision finale sera prise par le comité de rédaction. En cas de dissensus entre les recommandations des différentes personnes chargées de l’évaluation, le comité pourra soumettre le texte à une autre lecture.
7. Votre appréciation du texte, critère par critère*1 représente la note la plus faible, 4 la note la meilleure. Le total représente la note globale du texte.
Une seule réponse possible par ligne/critère
-
- Intérêt sur le plan scientifique et pédagogique
- Intérêt sur le plan social, pertinence pour l’Afrique
- Qualité des analyses et des savoirs proposés
- Originalité et présentation de la démarche de recherche
- Utilisation d’une écriture inclusive (qui rend visible les femmes)
- Clarté et accessibilité de l’écriture
- Cohésion générale du texte, équilibre des parties
- Qualité, exactitude et utilisation judicieuse des références bibliographiques
- Utilisation de références bibliographiques des pays des Suds
- Qualité de la présentation des références bibliographiques
- Description du contexte
- Mention de la posture ou des liens d’intérêts des auteurs ou autrices
- Accès ouvert aux données ou sources utilisées dans le texte
- Présentation des tableaux, figures et illustrations
Le cas échéant, précisez ce qu’il faudrait corriger, modifier, supprimer ou ajouter au texte.*Dans ce texte (qui ne sera pas directement communiqué aux auteurs et autrices), vous pouvez expliquer les notes du tableau précédent. Le comité de rédaction en fera une synthèse avec les autres évaluations reçues. Ne vous occupez pas de corriger la bibliographie et les références, concentrez-vous sur le contenu et le potentiel du texte.9. Votre recommandation globale *Une seule réponse possible.
- A+ : Acceptation de l’article en l’état.
- A : Acceptation, mais l’équipe du Grenier des savoirs devra faire une révision linguistique et une vérification des références.
- B+ : Acceptation, avec modifications mineures du contenu. B : Acceptation, avec modifications majeures du contenu.
- C : Acceptation après des modifications majeures qui devront être validées par une nouvelle lecture.
- D : Refus – cette recommandation ne sera prise en compte que si elle est justifiée ci- dessous.
Autre :
10. Justification de votre refus
Merci de synthétiser les raisons qui vous conduisent à cette recommandation.
Résumé de votre évaluation, en vue de sa publication éventuelle *
Inscrivez ci-dessous un paragraphe qui pourrait être ajouté à la suite de l’article que vous aurez évalué, s’il est publié. Ce paragraphe doit se centrer sur le contenu, sur ce que le texte apporte à la réflexion et sur les pistes et les questions qu’il ouvre, qui ne sont pas nécessairement traitées dans le texte. Si vous refusez la publication du texte, vous pouvez recopier le paragraphe ci-dessus ou en rédiger un autre.
Merci de participer à cette manière de réinventer l’examen par les pair-e-s!
L’évaluation n’a pas à corriger les références, ce sera fait par la suite. Des suggestions de références complémentaires peuvent être faites, mais dans le respect de la liberté académique des auteurs et autrices.
Processus d’évaluation
- Chaque article soumis à la revue est d’abord rapidement évalué par le comité de rédaction qui choisit de le retenir ou non. Si l’article est retenu à cette phase, le comité suggère au Secrétariat général du Grenier des savoirs (SG) trois noms d’évaluateurs ou d’évaluatrices, au sein ou en dehors du comité scientifique de la revue, en fonction du thème de l’article. Idéalement, ces personnes sont d’un autre pays que l’auteur ou l’autrice de l’article, mais connaissent le contexte dont il s’agit.
- Les évaluatrices et évaluateurs reçoivent la version PDF de l’article à évaluer, ainsi que le lien vers le formulaire d’évaluation ci-dessus. Ils et elles ont un mois pour rédiger leur évaluation.
- Le Secrétariat général du Grenier des savoirs veille au respect des échéances et à la qualité de l’évaluation. Il transfère ces évaluations au comité de rédaction de la revue qui en fera une synthèse.
- Si ce comité n’est pas satisfait du travail accompli par les évaluateurs ou évaluatrices ou si les évaluations sont contradictoires, il peut prolonger le processus et envoyer le texte à une autre personne.
- Quand le processus est terminé, la synthèse des évaluations et des recommandations du comité de rédaction est envoyée par le Secrétariat général aux auteurs et autrices de l’article. Ce rapport d’évaluation présente les forces et les faiblesses relevées par les évaluateurs et évaluatrices dans le but d’aider les auteurs et autrices à mettre leur texte à niveau du point de vue de la forme et/ou de l’avancée des connaissances sur le sujet qui y est traité, mais il leur rappelle également quelques dispositions (écriture inclusive, traduction du résumé en une langue africaine, application des normes de présentation) à respecter pour publier dans le Grenier.
- Les auteurs et autrices dont le texte est recommandé avec modifications ont deux semaines pour produire une deuxième version de leur travail.
- Le comité de rédaction est responsable de la décision finale sur la deuxième version de l’article. Il peut encore demander des modifications, à condition de les justifier. Cette justification fait partie de l’historique de l’article.
- Le Secrétariat général fait la révision linguistique complète de la version finale de l’article accepté : fautes, coquilles, typographie, vérification des références, vérifications des métadonnées (résumé en plusieurs langues, biographie, mots-clés), logiciel anti-plagiat. Si le texte corrigé comporte encore des aspects à améliorer (tournures compliquées, passages incompris, références absentes, confusions, etc.), le Secrétariat général rédige un rapport de révision qu’il adressera à l’auteur ou à l’autrice pour un complément d’information. Cette personne devra rapidement apporter des réponses dans le même fichier et le retourner au Secrétariat général.
- La version révisée est envoyée pour validation finale aux auteurs et autrices avant la mise en ligne publique sur le site de la revue.
- La version finale de l’article est déposée dans un dépôt institutionnel pérenne, notamment le DICAMES pour les auteurs et autrices de l’espace CAMES.
Version ouverte du processus d’évaluation par les pair-e-s
Cette procédure ouverte permet aux lecteurs et lectrices de prendre connaissance de l’historique de l’article, à savoir sa version initiale, le contenu des évaluations et les réponses des auteurs ou autrices, ainsi que les commentaires du comité de rédaction. L’anonymat des évaluatrices et évaluateurs peut ou non être maintenu lors de la publication de l’historique. Toutes les revues du Grenier des savoirs publieront la liste de ces personnes à la fin de chaque année.
Ce processus d’évaluation ouverte a l’avantage pédagogique de rendre publiques et accessibles des discussions potentiellement intéressantes et importantes pour l’amélioration de la qualité d’un article. De plus, il oblige les évaluatrices et évaluateurs à faire un travail de qualité, puisqu’il sera lu publiquement et apprécié. À noter qu’il pourrait être possible de considérer une évaluation longue et détaillée d’un article comme une note de recherche.
- Quand la version finale de l’article est validée par le comité de rédaction et les auteurs et autrices, elle est mise en ligne au tout début de la page web de l’article. Elle est suivie de la version initiale, des évaluations, des réponses éventuelles des auteurs et autrices et des commentaires du comité de rédaction.
- Le comité de rédaction demande à toutes les personnes impliquées leur accord pour mettre cet historique en accès libre. Selon les politiques éditoriales des revues, les personnes responsables de l’évaluation peuvent décider de garder ou non l’anonymat. L’important est qu’elles en soient informées avant de rédiger leur évaluation.
- L’article et son historique sont ouverts aux commentaires de tous les internautes. Des révisions subséquentes de l’article restent possibles.
- La version finale de l’article est déposée dans un dépôt institutionnel pérenne, notamment le DICAMES pour les auteurs et autrices de l’espace CAMES.
Version non ouverte (conventionnelle) du processus
L’historique de l’article (la version initiale de l’article, les évaluations et les réponses) n’est pas publié. Seule la version finale est publiée et déposée dans un dépôt institutionnel pérenne.