◄ Carnets Geol. 18 (15) ►
Outline:
[A Research Index]
[Case studies]
[Summary / Conclusion] and ... [Bibliographic references]
Sommaire :
[Un Coefficient de Recherche]
[Étude de cas] [Conclusion] et ... [Références bibliographiques]
Dépt. STU, Fac. Sci. Tech., UBO, 6 avenue Le Gorgeu, CS
93837, F-29238 Brest (France)
Published online in final form (pdf) on December 31, 2018
DOI 10.2110/carnets.2018.1815
[Editor: Bruno Granier; language editor:
Phil Salvador]
Granier B. (2018).- Quick look evaluation of scientific research using a Research Index.- Carnets Geol., Madrid, vol. 18, no. 15, p. 353-355.
Although people may be reluctant to use bibliometrics to evaluate researchers (ICSTI, 2007), these metrics provide invaluable parameters for peers to faithfully evaluate colleagues or subordinates.
Scientific authors always look for journals with the highest metrics (e.g., the Impact Factor) to submit their new manuscripts:
because it is assumed that these journals have the largest readership;
because, considering the number of manuscripts originally submitted, few are likely be published in the end;
because peers who are evaluating them at a national level give some goals.
In France, for instance, the Conseil National des Universités (CNU) considers that Lecturers and Professors should publish as first author at least one paper every two years in a high Impact Factor journal, i.e., a journal with an Impact Factor higher than 1. Similarly, the Centre national de la Recherche Scientifique (CNRS) considers that, for its Research Officers and Directors, the number of publications should be twice that of Lecturers and Professors, because it is assumed they have other "time-consuming" duties, mainly teaching that supposedly requires 50% of their time.
Thus, when evaluating a researcher, the parameters that matter should be the affiliation (CNU versus CNRS), the number of papers published, the bibliometrics of the journals, and the ranking in the authorship. The researcher index presented below relies on these 4 parameters only.
First, for each publication of an author, a variable combining the 3 last parameters is computed.
Rather than using the Journal Impact Factor of Thompson Reuters™, which is ascribed to the short list of journals selected for the Web of Science, the Citation per Document "CD" of a journal for the last 2 years of Scimago, freely accessible at https://www.scimagojr.com/, is preferentially used. Second, for each publication, the variable is either the value of the CD in the case of a single authored paper or the CD weighted by the ranking of the author in the case of a multi-authored paper:
paper with co-authors: CD / 2n with n equals to the ranking,
paper as a single author: CD / 20 (i.e., as above with n equals to 0).
For each author, the Research Index RI corresponds to the sum of variables divided by the number of years Y under screening.
RI = (∑ CD / 2n) / Y
In France, on the basis of the CNU's and CNRS's guidelines, expected yearly RI should not be less than 0.5 and 1.0 respectively.
Below we computed the RI of two researchers:
X, a Research Director at CNRS/UPMC – University Pierre and Marie Curie, Paris, and
Z, a Professor at UBO – University of Western Brittany, Brest.
On the basis of ResearchGate at https://www.researchgate.net/, for the period 2014-2017 (4 years) X, never as the first author, co-authored 6 publications in 5 journals with indexes ranging from 0.771 to 4.655. In addition, he co-authored a book chapter, which counts for 0, a paper in a journal not evaluated, and a corrigendum that is not considered as an original contribution because it is merely duplicating an already published manuscript. There is no record for 2017.
The computation returned 2.45/4 years, that is an average of 0.62 per year. Being a CNRS employee, X is below (-38%) the minimum (1) expected over a 4 year period.
In contrast, for the period 2014-2017 (4 years) Z (UBO) authored or co-authored 13 publications, including 6 as the first author, in 10 journals with indexes ranging from 0.112 to 2.837, as well as 14 publications, including 9 as the first author, in Carnets Geol. (Granier, 2010), the journal he publishes, with an index of 0.851. During the same period, he authored or co-authored 4 papers in a journal not evaluated, as well as 4 book chapters. He also edited one book.
The computation returned 11.28/4 years, that is an average of 2.82 per year. Being a full professor (UBO), Z would be far above (+464%) the minimum (0.5) expected over a 4 year period. If one excludes the journal he publishes and promotes, the result would fall to 5.96/4 years, which is an average of 1.49 per year. Z is still above (+198%) the minimum (0.5) expected over a 4 year period.
Although there are always biases in any evaluation system, the Research Index used in the striking case documented above provides a quick and efficient tool to identify people who fail to meet their performance goals (e.g., X) or, on the opposite, those who overpass them (e.g., Z).
Bien que la communauté scientifique puisse être réticente à utiliser la bibliométrie pour évaluer les chercheurs (ICSTI, 2007), ce type d'indicateurs fournit des paramètres précieux pour que les pairs évaluent fidèlement leurs collègues ou leurs subordonnés.
Les auteurs scientifiques recherchent toujours des revues avec les métriques (e.g., le Facteur d'Impact) les plus élevées pour soumettre leurs nouveaux manuscrits:
parce qu'on suppose que ces revues ont le plus grand nombre de lecteurs ;
parce que, compte tenu du nombre de manuscrits initialement soumis, peu vont déboucher sur une publication ;
parce que les pairs qui les évaluent au niveau national fixent des objectifs à atteindre.
En France, par exemple, le Conseil National des Universités (CNU) estime que les Maîtres de Conférence et les Professeurs des Universités devraient publier au moins un article tous les deux ans en tant que premier auteur dans une revue à fort facteur d'impact, c'est-à-dire une revue dont le facteur d'impact est supérieur à 1. De même, le Centre National de la Recherche Scientifique (CNRS) considère que, pour ses Chargés de Recherche et ses Directeurs de Recherche, le nombre de publications devrait être le double de celui des Enseignants-Chercheurs, car on suppose que ces derniers ont d'autres tâches "chronophages", principalement de l'enseignement qui est sensé requérir 50% de leur temps.
Ainsi , lors de l'évaluation d'un chercheur, les paramètres qui comptent devraient être l'affiliation (CNU versus CNRS), le nombre d'articles publiés, la bibliométrie des revues et le rang dans la liste des auteurs. Le Coefficient de Recherche présenté ci-dessous repose uniquement sur ces 4 paramètres.
Tout d'abord, une variable combinant les 3 derniers paramètres doit être calculée pour chaque publication d'un auteur.
Plutôt que d'utiliser le facteur d'impact des journaux publié par Thompson Reuters™, un coefficient qui est attribué à la liste restreinte de revues sélectionnées pour le Web of Science, on utilisera préférentiellement le nombre de "Citations par Document" (CD) publié par Scimago pour les deux dernières années d'un journal ; ce coefficient est accessible gratuitement à l'adresse https://www.scimagojr.com/. Ensuite, pour chaque publication, la variable sera soit la valeur de CD dans le cas d'un article rédigé par un seul auteur, soit la valeur de CD pondérée par le rang de l'auteur dans la liste dans le cas d'un document à plusieurs auteurs :
article avec les coauteurs : CD / 2n avec n égal au classement,
article en tant qu'auteur unique : CD / 20 (c'est-à-dire comme ci-dessus, avec n étant égal à 0).
Pour chaque auteur, le coefficient de recheche RI correspond à la somme des variables divisée par le nombre d'années Y évaluées.
RI = (∑ CD / 2n) / Y
En France, sur la base des directives du CNU et du CNRS, le RI annuel attendu ne devrait pas être inférieur à 0,5 et 1,0 respectivement.
Ci-dessous, nous avons calculé le RI de deux chercheurs :
X, directeur de recherche au CNRS / UPMC - Université Pierre et Marie Curie, Paris, et
Z, professeur à l'UBO - Université de Bretagne occidentale, Brest.
Sur la base de ResearchGate à l'adresse https://www.researchgate.net/, pour la période 2014-2017 (4 ans) X, jamais en tant que premier auteur, a co-écrit 6 publications dans 5 revues avec des coefficients allant de 0,771 à 4,655. En outre, il a co-écrit un chapitre de livre qui compte pour 0, un article de revue non évalué et un corrigendum qui n'est pas considéré comme une contribution originale, car il s'agit simplement de corriger un manuscrit déjà publié. Il n'y a aucun enregistrement pour 2017.
Le calcul a rapporté 2,45/4 ans, soit une moyenne de 0,62 par an. En tant qu'employé du CNRS, X est inférieur (-38%) au minimum (1) attendu sur une période de 4 ans.
En revanche, pour même période (2014-2017, 4 ans), Z (UBO) est l'auteur ou le co-auteur de 13 publications, dont 6 en tant que premier auteur, dans 10 revues avec des coefficients allant de 0,112 à 2,837, ainsi que 14 publications, dont 9 en tant que premier auteur, dans Carnets Geol. (Granier, 2010), la revue qu'il publie, avec un indice de 0,851. Au cours de la même période, il a écrit ou co-écrit 4 articles dans une revue non évaluée, ainsi que 4 chapitres d'ouvrages. Il a également édité un livre.
Le calcul a donné 11,28/4 ans, soit une moyenne de 2,82 par an. En tant que professeur titulaire (UBO), Z serait bien supérieur (+ 464%) au minimum (0,5) attendu sur une période de 4 ans. Si on devait exclure le journal qu'il publie et promeut, le résultat tomberait à 5.96/4 ans, ce qui correspond à une moyenne de 1,49 par an. Z est toujours supérieur (+ 198%) au minimum (0,5) requis sur une période de 4 ans.
Bien que tout système d'évaluation comporte toujours des biais, le coefficient de recherche utilisé dans le cas présent constitue un outil rapide et efficace pour identifier les personnels qui n'atteignent pas leurs objectifs de performance (par exemple, X) ou, au contraire, ceux qui les dépassent (par exemple, Z).
ICSTI - International Council for Scientific and Technical Information (2007).- Assessing the quality and impact of research: Practices and initiatives in scholarly information.- Public Conference 2007, URL: https://webcast.in2p3.fr/container/icsti_public_conference_2007
Granier B. (2010).- Les Carnets de Géologie. In: Farchy J., Froissart P. & Méadel C. (éds.), SCIENCES.COM - libre accès et science ouverte.- HERMÊS, Paris, vol. 57, p. 119-120.