Citations et Facteurs d’impact : quel avenir pour l’évaluation ? / Manuel Durand-Barthez

(Report d’Urfist-Info – 19 avril 2006)

On connaît l’importance de la Citation comme filtre d’évaluation des publications universitaires. Elle est censée contribuer à l’avancement de la carrière d’un chercheur et/ou de l’équipe à laquelle il appartient. Elle constitue aussi un élément de l’argumentaire d’un dossier de financement pour le laboratoire concerné. Elle « devrait être » un indicateur de pertinence et de qualité du contenu du document cité.

L’ISI occupe une position quasi monopolistique dans le domaine avec le couple Science Citation Index (S.C.I) dès 1961 pour l’évaluation des auteurs, suivi en 1975 par le Journal Citation Reports (J.C.R.) pour celle des revues (http://scientific.thomson.com/products/wos/) .

En 2004, le SCI Sciences exactes et appliquées version On line comprend environ 5900 titres (qui se reportent sur le corpus du JCR), tandis que le SSCI relatif aux Sciences humaines en compte 1700.

Le logiciel « Essential Science Indicators », conçu spécifiquement par l’ISI pour extraire et analyser les données du Web of Science propres à une entité, est largement utilisé. En Allemagne fédérale, il l’est pratiquement partout.

Depuis environ 2002, dans Nature, des voix se sont élevées parmi des chercheurs renommés, contre ce monopole. Notamment Peter Lawrence, du Laboratoire de Biologie moléculaire de Cambridge, qui n’hésite pas à s’exprimer sur le népotisme croissant qui ronge les comités de lecture (doi: 10.1038/422259a) et : David Colquhoun, Dpt. Pharmacology, University College London (Nature (423) 479- 29 May 2003)

Erreurs statistiques de comptage (cf. Nature : doi: 10.1038/415101a) , défaut d’acronymes désignant des fédérations d’équipes (cf. JAMA 2002 ; 287, 2772-2774), prise en compte du seul premier auteur jusqu’en 1996 (pour le SCI).

Manque de nuances dans le modèle de calcul de l’Impact Factor du JCR bloqué sur deux ans quelle que soit la discipline, remise à zéro d’un compteur sur un titre de périodique modifié, exigence en pratique d’au moins 5 ans d’existence pour être reconnu, blocage sur la langue, régime identique pour un hebdomadaire et un semestriel, auto-citations, article « phare » dissimulant la horde des médiocres etc… La liste est longue même si l’ISI met en garde sur les nuances d’interprétation.

Quelles parades ?

D’abord la méthode utilisée par le Département SHS du CNRS dans son évaluation des périodiques [1] . La méthode, pas le but ; il s’agissait en effet de « restructurer » le panel des revues subventionnées dans un sens parfois trop restrictif.
Cet organisme a étalé le délai d’analyse en fonction des disciplines, allant jusqu’à dix ans. La francophonie est représentée à 50 % minimum, et l’aura « locale » est assumée comme telle. Des comités d’évaluation nationale, au sein de chaque discipline, on déterminé les titres des « revues cœur » jugées indispensables au travail des chercheurs concernés, servant de base de comptage des citations pour l’ensemble. Expérience non pérenne puisqu’effectuée une seule fois à ce jour, mais intéressante dans sa méthode.

On connaît mieux Citebase (www.citebase.org) promu par le couple Brody/Harnad, sur le miroir britannique d’ArXiv (www.arxiv.org). Le modèle s’applique au document pris individuellement. Une analyse graphique met en évidence le nombre de déchargements, le temps de latence entre la publication et les premiers déchargements, les avatars d’un document à travers les citations de ses citations, retrouvant par là sa durée de vie. L’OAI est pleinement et positivement exploité.

Dans le domaine biomédical : Faculty of 1000 (http://www.facultyof1000.com/) Un panel de chercheurs « réputés » attribue l’un des trois indices : 3 « Recommended » / 6 « Must read » / 9 « Exceptional ». On fait ensuite la moyenne des deux indices les plus élevés à laquelle on ajoute un trentième de la somme des indices. Un commentaire est mis en ligne par le panel, qui qualifie l’article (découverte, avancée, hypothèse, confirmation, controverse) et le catégorise.

On mentionnera bien sûr Scholar Google (http://scholar.google.com/) : comptage brut des citations à partir d’un réservoir de sources non défini. Un algorithme non déterminé via une interface qui manque de rigueur, mais facile d’accès, naturellement gratuite, confortable pour des étudiants avancés, inutilisable dans une perspective d’évaluation « officielle » ou prétendument sérieuse, avec une mise à jour parfois lente.

Pour conclure, deux innovations dans le domaine des facteurs d’impact :

– le facteur h de Jorge E. Hirsch (www.pnas.org/cgi/doi/10.1073/pnas.0507655102). Dans la relation entre un nombre total de publications et leurs citations, il fait glisser un curseur jusqu’à l’obtention d’une coïncidence approximative entre un nombre équivalent de publications et de citations. A titre d’exemple, l’indice h de P.-G. de Gennes est de 79 (= environ 79 publications citées au moins 79 fois).

A partir de cette moyenne, Hirsch propose une formule permettant d’établir un nouveau facteur a. Pour ce faire, il calcule le carré de h dont le résultat est, de fait et systématiquement, inférieur au nombre effectif total de citations.

Hirsch utilise h² dans une équation qui s’énonce : Nc,tot = ah² dont le premier membre représente le nombre total de citations. Le facteur a varie généralement entre 3 et 5. Il y associe un indice m portant sur la durée n (représentant un nombre d’années). M résulte de la pente (slope) h versus n. Il établit ensuite une hiérarchie parmi les chercheurs. Exemple : m » 2 (h = 40 après 20 ans d’activité) : « chercheur responsable d’une équipe de haut niveau dans une université très cotée ». Ces qualificatifs varient sur une échelle en fonction des valeurs de m. Les nombreuses nuances induites par ces calculs rendent l’évaluation moins spécieuse que celle de l’ISI.

– le facteur y de Bollen, Rodriguez et Van de Sompel (http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030.pdf): tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». Elles sont inversement corrélées.

Les revues « populaires » sont fréquemment citées par celles qui sont peu prestigieuses ; elles sont dotées d’un Impact Factor ISI très élevé. Les revues « prestigieuses » sont définies de façon strictement inverse par rapport aux « populaires » par leur Weighted PageRank . Ce facteur, désigné par la lettre y dépend donc de l’intensité et de la pertinence avec lesquelles s’appliquent à ces revues les principes de l’algorithme mis en place par Google.

Ainsi le facteur y se définit-il comme le produit de l’I.F.-ISI par le Weighted PageRank. Des états comparatifs « I.F.-ISI » versus « Facteur y » mettent en évidence certains « mouvements d’ascenseur » entre les revues.

Un nouveau modèle pourrait combiner des éléments d’investigation envisagés dans les expériences relatées ci-dessus (CNRS/SHS, Citebase, facteurs h et y) : il constituerait un outil alternatif d’évaluation libre d’accès, mais dont les règles seraient clairement définies, tant au niveau de la couverture qu’à celui des critères d’analyse statistique. Il associerait avec une impartialité optimale les objectifs d’évaluation des sources et des auteurs. Vaste projet sans doute, mais d’une brûlante actualité…

Manuel Durand-Barthez – S.C.D. de l’Univ. Paul Sabatier (Toulouse 3) barthez@cict.fr

[1] Sciences de l’Homme et de la Société N°69, mai 2004 ; Sur les détails techniques, voir entre autres : l’ Introduction à cette enquête par Christian Henriot, ibid. p. 7, La Méthodologie de l’enquête. Ibid. pp.53 sqq et les Commentaires sur les résultats de l’enquête. Ibid. p. 55