Au-delà de l'indice H : la dimension humaine dans l'évaluation de la recherche

L'indice h est devenu le baromètre par excellence de la qualité de la recherche dans le monde universitaire. Chez Perrett Laver, où nous avons mené à bien des milliers de recrutements axés sur la recherche pour des universités et des instituts de recherche du monde entier, nous avons constaté la multiplication des indicateurs : le nombre de citations, les facteurs d'impact des revues et les indicateurs bibliométriques sont désormais la norme pour évaluer les responsables de la recherche.

Mais cette simplicité a un prix. Alors que les outils d'IA permettent désormais d'effectuer sans effort des évaluations fondées sur des indicateurs, les aspects humains de l'évaluation du leadership en recherche risquent d'être progressivement automatisés. Forts de plus d'une décennie d'expérience dans l'utilisation responsable des indicateurs, nous estimons que le jugement d'experts n'a jamais été aussi essentiel pour identifier des leaders de recherche excellents et issus de la diversité.

Ce que les chiffres ne révèlent pas

Les problèmes liés à l'évaluation fondée sur des indicateurs sont bien documentés. Il y a une dizaine d'années, une étude indépendante intitulée « The Metric Tide » a examiné le rôle des indicateurs dans l'évaluation et la gestion de la recherche au Royaume-Uni, proposant un cadre pour une utilisation responsable de ces indicateurs. À peu près à la même époque, la Déclaration de San Francisco sur l’évaluation de la recherche (DORA) a été publiée, remettant en cause l’utilisation d’indicateurs basés sur les revues pour évaluer les chercheurs à titre individuel. Aujourd’hui signées par plus de 2 200 organisations à travers le monde, ces initiatives ont clairement démontré que les indicateurs méconnaissent les différences disciplinaires dans les cultures de citation, pénalisent les interruptions de carrière, négligent les contributions au-delà des publications et favorisent les écosystèmes de recherche établis au détriment des écosystèmes émergents.

Et pourtant, dix ans plus tard, nous en sommes toujours là, à avancer les mêmes arguments. Bien que ces problèmes soient largement reconnus, les raccourcis fondés sur des indicateurs chiffrés restent monnaie courante dans l'évaluation de la recherche. Et aujourd'hui, alors que les outils d'IA facilitent plus que jamais ces raccourcis, nous risquons non seulement de perpétuer ces pratiques, mais aussi de les amplifier considérablement.

Nous constatons ces lacunes au quotidien : des chercheurs qui accomplissent un travail exceptionnel dans des domaines où les taux de citation sont modestes, des universitaires ayant interrompu leur carrière, ceux dont la plus grande contribution a été de mettre en place des groupes de recherche plutôt que de publier eux-mêmes, ou encore des scientifiques travaillant dans des domaines émergents. Mais le plus inquiétant est peut-être que le recours excessif aux indicateurs de performance encourage des comportements pervers, allant de la publication à des fins de volume plutôt que d’impact à la négligence de l’enseignement, du mentorat et des missions institutionnelles plus larges.

Notre approche : les indicateurs comme outils, et non comme des obstacles

Nous avons été parmi les premiers à adopter les bases de données de citations. Il y a plus de dix ans, nous avons conclu un partenariat avec une société internationale spécialisée dans l'analyse de données afin de les utiliser comme outils de recherche, bien avant l'apparition des fonctions de « recherche de chercheurs », et avons ainsi été les premiers à les exploiter pour identifier des universitaires plutôt que pour simplement évaluer les résultats de recherche. Mais nous avons toujours utilisé ces indicateurs pour repérer les talents, jamais pour les exclure.

Cette distinction est importante. Nous recourons à l'analyse des citations pour repérer, aux quatre coins du monde, l'excellence dans des lieux et des régions inattendus, ce qui nous aide à identifier des chercheurs en milieu de carrière, issus d'universités axées sur l'enseignement, qui accomplissent un travail exceptionnel, ou encore des scientifiques évoluant dans des écosystèmes de recherche plus modestes qui surpassent leurs capacités. Une évaluation responsable de la recherche met l'accent sur l'importance de reconnaître la qualité de la recherche dans des contextes variés, et pas seulement au sein des institutions d'élite. Les indicateurs nous aident à mettre en lumière les performances exceptionnelles, et pas seulement le prestige établi.

Mais ce ne sont que des points de départ, pas des fins en soi. Nous allons toujours plus loin.

Notre rôle consiste notamment à informer nos clients, à les aider à comprendre ce que les indicateurs peuvent et ne peuvent pas leur révéler, et à leur expliquer pourquoi les critères d'exclusion basés sur des seuils risquent de les priver précisément du type de direction innovante et diversifiée qu'ils recherchent.

Nous sommes pourtant pleinement conscients de la contradiction inhérente à notre approche. Nous utilisons précisément les outils dont nous reconnaissons les limites. C’est pourquoi nous avons mis en place des processus rigoureux pour lutter activement contre les biais que ces indicateurs peuvent introduire. Nous veillons tout particulièrement à ce que nos recherches mettent en avant des candidats issus de milieux, de parcours professionnels et de contextes institutionnels variés. Nous examinons minutieusement nos propres listes de présélection pour vérifier leur diversité démographique et géographique. Nous nous remettons en question lorsque des tendances apparaissent qui pourraient refléter un biais systémique plutôt que de véritables différences de qualité. Utiliser ces indicateurs de manière responsable signifie se demander constamment s’ils élargissent ou restreignent notre vision de l’excellence.

Une recherche responsable à l'ère de l'abondance

Les arguments en faveur d'une évaluation spécialisée n'ont jamais été aussi convaincants. Il faut du temps pour cerner en profondeur les besoins des institutions, de l'expertise pour évaluer la qualité de la recherche dans son contexte disciplinaire, et du discernement pour mettre en balance différentes formes d'excellence. Cela implique de résister à la tentation de réduire des parcours universitaires complexes à de simples chiffres, d'autant plus que la technologie rend cette opération d'une facilité déconcertante.

L'objectif n'est pas de rejeter les indicateurs de performance ou l'intelligence artificielle. Ces outils ont une réelle valeur pour élargir notre champ d'action et repérer des talents qui, sans eux, pourraient nous échapper. Mais ils doivent être au service du jugement humain, et non le remplacer.

À mesure que l'évaluation de la recherche évolue, ceux d'entre nous qui identifient les leaders de la recherche ont la responsabilité de montrer l'exemple. Cela implique d'utiliser les outils disponibles tout en maintenant un contrôle humain rigoureux. Cela implique de consacrer le temps nécessaire à une évaluation approfondie plutôt que de recourir à des raccourcis algorithmiques. Et cela implique de défendre le principe selon lequel un leadership de recherche diversifié et d'excellence ne peut se réduire à un simple chiffre.