Más allá del índice H: el factor humano en la evaluación de la investigación

El índice h se ha convertido en el indicador por excelencia de la calidad de la investigación en el ámbito académico. En Perrett Laver, tras haber llevado a cabo miles de procesos de selección basados en la investigación para universidades e instituciones de investigación de todo el mundo, hemos sido testigos del aumento de los indicadores, hasta el punto de que el número de citas, los factores de impacto de las revistas y los indicadores bibliométricos se han convertido en el lenguaje habitual para evaluar a los líderes en investigación.

Pero esta simplicidad tiene un precio. Ahora que las herramientas de IA facilitan la evaluación basada en métricas, se corre el riesgo de que los aspectos humanos de la evaluación del liderazgo en investigación queden relegados a un segundo plano por la automatización. Basándonos en más de una década de experiencia en el uso responsable de las métricas, sostenemos que el criterio de los expertos nunca ha sido tan fundamental para identificar un liderazgo en investigación diverso y de excelencia.

Lo que las cifras no reflejan

Los problemas que plantea la evaluación basada en métricas están bien documentados. Hace una década, el informe independiente titulado «The Metric Tide» analizó el papel de las métricas en la evaluación y la gestión de la investigación en el Reino Unido, y propuso un marco para el uso responsable de las métricas. Por esas mismas fechas se publicó la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA), que cuestionaba el uso de métricas basadas en revistas para evaluar a investigadores individuales. Estas iniciativas, que ya han sido firmadas por más de 2.200 organizaciones de todo el mundo, han dejado claro que las métricas ignoran las diferencias disciplinarias en las culturas de citación, penalizan las interrupciones en la carrera profesional, pasan por alto las contribuciones más allá de las publicaciones y favorecen los ecosistemas de investigación consolidados frente a los emergentes.

Sin embargo, aquí estamos, una década después, repitiendo los mismos argumentos. A pesar del reconocimiento generalizado de estos problemas, los atajos basados en métricas siguen siendo habituales en la evaluación de la investigación. Y ahora, con las herramientas de IA que facilitan más que nunca estos atajos, corremos el riesgo no solo de continuar con estas prácticas, sino de potenciarlas aún más.

Estos puntos ciegos los vemos a diario: investigadores que realizan un trabajo excepcional en campos con índices de citación modestos, académicos que han interrumpido su carrera, aquellos cuya mayor contribución ha sido la creación de grupos de investigación en lugar de sus propias publicaciones, o científicos que trabajan en campos emergentes. Y lo que quizá resulte más preocupante es que la dependencia excesiva de los indicadores fomenta comportamientos perversos, desde publicar por el mero número de publicaciones en lugar de por su impacto, hasta descuidar la docencia, la tutoría y el servicio institucional en general.

Nuestro enfoque: las métricas como herramientas, no como barreras

Fuimos de los primeros en adoptar las bases de datos de citas. Hace más de una década, nos asociamos con una empresa internacional de análisis de datos para utilizarlas como herramientas de investigación, mucho antes de que existieran las funciones de «búsqueda de investigadores», y fuimos pioneros en su uso para descubrir a académicos, en lugar de limitarnos a evaluar los resultados de la investigación. Sin embargo, siempre hemos utilizado los indicadores para descubrir talento, nunca para excluirlo.

Esta distinción es importante. Utilizamos el análisis de citas para buscar en todo el mundo ejemplos de excelencia en lugares y zonas geográficas inesperados, lo que nos ayuda a identificar a investigadores en la mitad de su carrera en universidades centradas en la docencia que realizan un trabajo excepcional, o a científicos de ecosistemas de investigación más pequeños que rinden por encima de sus posibilidades. Una evaluación responsable de la investigación hace hincapié en la importancia de reconocer la calidad de la investigación en contextos diversos, y no solo en las instituciones de élite. Las métricas nos ayudan a poner de relieve el rendimiento sobresaliente, y no solo el prestigio consolidado.

Pero son puntos de partida, no puntos finales. Siempre vamos más allá.

Nuestra labor consiste en informar a los clientes, ayudándoles a comprender qué datos pueden y cuáles no pueden revelarles, y por qué las exclusiones basadas en umbrales pueden hacer que se pierdan precisamente el tipo de liderazgo innovador y diverso que buscan.

Sin embargo, somos plenamente conscientes de la contradicción inherente a nuestro enfoque. Utilizamos precisamente aquellas herramientas cuyas limitaciones reconocemos. Por eso hemos establecido procesos rigurosos para combatir activamente los sesgos que estas métricas pueden introducir. Trabajamos de forma deliberada para garantizar que nuestras búsquedas den como resultado candidatos con antecedentes, trayectorias profesionales y contextos institucionales diversos. Analizamos minuciosamente nuestras propias listas de preseleccionados para garantizar la diversidad demográfica y geográfica. Nos cuestionamos a nosotros mismos cuando surgen patrones que podrían reflejar un sesgo sistémico en lugar de diferencias de calidad reales. Utilizar las métricas de forma responsable significa cuestionar constantemente si están ampliando o reduciendo nuestra visión de la excelencia.

Búsqueda responsable en la era de la abundancia

Nunca ha habido argumentos más sólidos a favor de una evaluación realizada por expertos especializados. Se necesita tiempo para comprender en profundidad las necesidades institucionales, conocimientos especializados para interpretar la calidad de la investigación dentro del contexto disciplinario y criterio para valorar las diversas formas de excelencia. Esto implica resistirse a la tentación de reducir las complejas trayectorias académicas a meras cifras, sobre todo cuando la tecnología lo hace tremendamente fácil.

El objetivo no es rechazar las métricas ni la inteligencia artificial. Estas herramientas tienen un valor real a la hora de ampliar nuestro alcance e identificar talentos que, de otro modo, podríamos pasar por alto. Pero deben estar al servicio del criterio humano, no sustituirlo.

A medida que evoluciona la evaluación de la investigación, quienes nos dedicamos a identificar a los líderes en este ámbito tenemos la responsabilidad de predicar con el ejemplo. Esto implica utilizar las herramientas disponibles sin dejar de lado una supervisión humana rigurosa. Implica dedicar tiempo a una evaluación en profundidad, en lugar de recurrir a atajos algorítmicos. Y implica defender el principio de que un liderazgo en investigación diverso y de excelencia no puede reducirse a una simple cifra.