Navigation – Plan du site
Ongoing Research/Recherche en cours

La fièvre de l’évaluation de la recherche – Du mauvais usage de faux indicateurs

Yves Gingras
p. 42-44

Notes de la rédaction

Ce texte est l’« Introduction » de la note de recherche La fièvre de l’évaluation de la recherche – Du mauvais usage de faux indicateurs, par Yves Gingras, CIRST (www.cirst.uqam.ca) – 2008-05, isbn 978-2-923333-39-7,
http://www.cirst.uqam.ca/Portals/0/docs/note_rech/2008_05.pdf Elle est reproduite ici avec la permission de l’auteur.

Texte intégral

1Depuis quelques années, le monde académique européen semble atteint d'une véritable fièvre d'évaluation de la recherche et des universités. En France en particulier, la Loi sur l'autonomie des universités et la réforme de l'organisation de la recherche ont créé un climat particulier que a exacerbé la sensibilité aux questions d'évaluation, peu discutées jusque-là dans le monde académique. Or, l'absence de balises et de réflexion méthodologiques sérieuses donne lieu à ce qu'il faut bien appeler des utilisations anarchiques, pour ne pas dire sauvages, de la bibliométrie, méthode de recherche qui consiste à utiliser les publications scientifiques comme indicateur de la production scientifique. Ajoutées aux habituels (et donc mieux connus) investissements en recherche et développement (R&D) qui sont des mesures d'input (intrants) de la recherche, les publications servent de mesure d'output (extrants) – et les citations qu’elles reçoivent constituent un indice de leur visibilité internationale et, indirectement, de leur « qualité » et de leur « impact » scientifique. On ne compte plus les lettres publiées dans les revues Nature et Science ou sur les blogues par des scientifiques qui s’improvisent « évaluateurs ») – de leur compétiteurs surtout… Ainsi, les scientifiques se lancent leur « h index » au visage pendant que les universités font de même avec leur « position » au classement dit de Shanghai. En France, même le Sénat a cru devoir se mêler de la question pour y voir plus clair et la ministre de l’Enseignement supérieur et de la Recherche, Mme Pécresse a confirmé que « la réalisation d’un classement européen des universités est une priorité pour la Présidence française de l’Union européenne en matière d’enseignement supérieur »1.

  • 2  Rapport Bourdin, p. 53.
  • 3  Voir www.ensmp.fr/PR/defclassementEMP.pdf

2Comme le montre très bien le rapport du sénateur Joël Bourdin, les différents classements ont d’importantes limites et manifestent la fâcheuse tendance à valoriser systématiquement les universités de certains pays : « le classement de Shanghai est très favorable aux université américaines… le classement anglais, quant à lui, favorise mieux les performances des établissement du Royaume-Uni… et le classement de Leiden donne de belles places aux universités néerlandaises… »2. Et l’auteur aurait pu ajouter que le classement de l’Ecole des Mines favorise les grandes écoles françaises3

  • 4  Rapport Bourdin, p. 98.
  • 5  Les Cahiers de la compétitivité. Spécial Enseignement supérieur, p. II ; encart dans Le Monde du 2 (...)

3Cependant, la plupart des critiques se résument à faire les « limites » des classements sans jamais poser clairement la question préalable de leurs fondements épistémologiques : les indicateurs choisis ont-ils bien la signification qu’on leur attribue ? Si ce n’est pas le cas, alors nul besoin de simplement tenter de parer à leurs « limites » ; il faut plutôt les remplacer par d’autres, plus adéquats. Car utiliser des classements fondés sur de mauvaises mesures, pourrait avoir des effets pervers en stimulant des politiques fondées sur des problèmes mal identifiés. Ainsi, il est pour le moins curieux d’apprendre que 61% des dirigeants d’établissements d’enseignement supérieur français disent vouloir améliorer leur rang dans le classement de Shanghai alors qu’ils ne savent probablement pas exactement ce qu’il mesure vraiment !4 Et on peut s’inquiéter d’entendre Valérie Pécresse déclarer que « Les résultats [pour la France] du classement de Shanghai […] plaident pour une politique de regroupement de nos forces »5, sans s’assurer que ce classement soit bien valide. Or, comme on le verra plus loin, il ne possède en fait aucune des propriétés que doit posséder un bon indicateur et il serait hasardeux de s’en servir comme guide.

  • 6  Voir http://www.esf.org/research-areas/ humanities/research- infrastructures- including-erih/erih- (...)
  • 7  Voir www.sauvonsluniversite.com/spip.php?article591.

4La manie des classements a récemment aussi atteint les revues savantes et l’European Science Foundation (ESF) a publié un classement des revues par discipline, attribuant des cotes A, B, et C selon que les revues sont internationales, nationales ou locales6 Or, certains critiquent avec raison un tel classement, mais ils confondent parfois ce type de classement avec de la « bibliométrie », alors qu’il est en fait fondé sur un panel d’experts choisis on ne sait trop comment et qui jugent eux-mêmes de la qualité relative des revues, ce qui est donc subjectif et difficile à contrôler. Les rédacteurs des revues en histoire et sociologie des sciences se sont d’ailleurs concertés pour dénoncer ces classements superficiels et unidimensionnels et plus ou moins occultes quant à leur méthode7. Cela indique toutefois la confusion qui existe entre évaluation et bibliométrie, confusion qu’il faut lever.

5L’intérêt de bien comprendre les propriétés des indicateurs bibliométriques tient au fait qu’il est impossible d’échapper aux évaluations et qu’il est donc plus efficace de critiquer d’abord rigoureusement les indicateurs mal construits, et dont l’utilisation peut engendrer des effets pervers, pour ensuite montrer qu’il est possible de construire des indicateur utiles et dont la construction est contrôlée.

6Il vaut donc la peine de rappeler brièvement les origines de la bibliométrie avant de présenter les propriétés élémentaires que doivent posséder de bons indicateurs (de quoi que ce soit). On pourra alors montrer que les deux indicateurs de la « qualité de la recherche » les plus utilisés actuellement par les décideurs (le classement de Shanghai) et par les chercheurs eux-mêmes (l’index h) n’ont en fait aucune des propriétés nécessaires pour assurer qu’ils indiquent bien ce qu’ils sont censés indiquer.

Haut de page

Notes

1  Communiqué de Valérie Pécresse, 2 juillet 2008, www.enseignementsup-recherche.gouv.fr. Voir aussi le Rapport d’information fait au nom de la délégation du Sénat pour la Planification sur le défi des classements dans l’enseignement supérieur. Annexe au procès-verbal de la séance du 2 juillet 2008. Connu sous le nom de rapport Bourdin car signé par le sénateur Joël Bourdin. Copie accessible sur le site : http://www.senat.fr/rap/r07-442/r07-4421.pdf

2  Rapport Bourdin, p. 53.

3  Voir www.ensmp.fr/PR/defclassementEMP.pdf

4  Rapport Bourdin, p. 98.

5  Les Cahiers de la compétitivité. Spécial Enseignement supérieur, p. II ; encart dans Le Monde du 21 mai 2008.

6  Voir http://www.esf.org/research-areas/ humanities/research- infrastructures- including-erih/erih-governance-and-panels/erih-expert-panels.html.

7  Voir www.sauvonsluniversite.com/spip.php?article591.

Haut de page

Pour citer cet article

Référence papier

Yves Gingras, « La fièvre de l’évaluation de la recherche – Du mauvais usage de faux indicateurs », Bulletin de méthodologie sociologique, 100 | 2008, 42-44.

Référence électronique

Yves Gingras, « La fièvre de l’évaluation de la recherche – Du mauvais usage de faux indicateurs », Bulletin de méthodologie sociologique [En ligne], 100 | 2008, mis en ligne le 01 octobre 2008, consulté le 17 août 2017. URL : http://bms.revues.org/3313

Haut de page

Auteur

Yves Gingras

UQAM, gingras.yves@uqam.ca

Haut de page

Droits d’auteur

© BMS

Haut de page
  • Revues.org