Sur l'utilisation des indicateurs bibliométriques
A travers les salaires des chercheurs, les financements divers (organismes, ANR, etc.) l'état 'investit' dans la recherche. Il est donc tenté de quantifier la rentabilité de son investissement comme il le fait pour la majorité de ses actions. Ainsi, l'homme politique est à la recherche d'indicateurs objectifs pour évaluer la bonne ou mauvaise utilisation de l'argent public dont il dispose: l'évaluation qualitative par les pairs lui semble suspecte d'autant que cette méthode est, de l'avis des scientifiques, de plus en plus floue quand la taille des communautés évaluées augmente. Il est donc tenté d'utiliser des critères de nature bibliométrique. Cette dérive peut aussi pousser certains scientifiques à s'adapter à ces critères dans le but de mieux mettre en avant leurs travaux (segmentation des résultats, multiplication des publications, etc); nous le regrettons. Nous pensons que le rôle des scientifiques est d'expliquer à la société que l'évaluation objective et quantitative de la production scientifique est non seulement une chimère mais en plus a un impact néfaste sur le monde de la recherche.
Il nous semble important de répéter et faire savoir que ni la section 7, ni les instituts auxquels elle est rattachée (et a été rattachée par le passé) n'utilise (ou n'a utilisé) les indicateurs bibliométriques de façon systématique. La section ne s'interdit pas de regarder ces indicateurs, mais s'intéresse plutôt au contenu des avancées scientifiques des chercheurs et des équipes. Elle ne les utilise jamais pour comparer des chercheurs de communautés différentes. La multiplication des publications entraîne aussi:
- une baisse de la qualité scientifique de leur contrôle (il est de plus en plus de difficile de trouver des rapporteurs compétents et disponibles pour les sélectionner et les corriger);
- une baisse globale de leur impact (les articles sont de moins en moins lus);
- une dilution de l'information importante (retrouver les contributions principales d'un domaine est de plus en plus complexe).
Notre section couvre un spectre scientifique très large. Les habitudes de publication y sont variées: dans certains domaines ce sont les revues qui sont sélectives, dans d'autres ce sont les conférences, dans certains domaines le même résultat peut faire l'objet de publications de nature différente mais ce n'est pas toujours le cas. Nous essayons de nous adapter au domaine du chercheur ou du candidat, et à ses critères.
Les réalisations logicielles, matérielles et prototypes, ainsi que le transfert technologique sont des productions scientifiques au même titre que les publications, et leur qualité et impact doivent aussi être évalués. Les indices comme le nombre de brevets, de dépôt de logiciels, de startups créées sont aussi peu pertinents que les indices portant sur les publications: par exemple, une entreprise pérenne réellement créée a un impact de transfert qui va bien au delà de celui d'une startup servant à employer quelques ingénieurs sous-traitants d'une société informatique en captant quelques subventions. Pour une évaluation sérieuse de leurs réalisations, nous attendons des chercheurs (et des candidats au concours) des informations précises: originalité, positionnement vis-à-vis de l'existant, niveau d'utilisation (prototype de recherche ou pré-industrialisation par exemple), impact en termes de diffusion ou en termes économiques...
Voici quelques liens pour les lecteurs intéressés par ce sujet:
- un rapport de 2008 plutôt orienté sur les mathématiques pures et appliquées
- les 3 documents produits en 2007 par la Commission d'Evaluation de l'INRIA :
- le document du GDR Robotique sur la stratégie de publication
- des travaux de scientifiques sur le sujet, en particulier liés à
notre discipline des Sciences et Technologies de l'Information. Dans ces travaux, le
problème implicitement ou explicitement mis en évidence est qu'il
n'existe pas de modèle pour la bonne recherche:
- les travaux d'Anthony Van Raan, Leiden University (NL)
- deux articels de Thierry Marchant, Ghent University (BE)(h-index et score based rankings)
- un article sur le classement de Shanghai