Jenseits des H-Index: Der menschliche Faktor bei der Forschungsbewertung

Der h-Index hat sich in der Wissenschaft als Maßstab für die Forschungsqualität etabliert. Im Rahmen unserer Tätigkeit bei Perrett Laver, wo wir weltweit Tausende von forschungsorientierten Stellenbesetzungen für Universitäten und Forschungseinrichtungen durchgeführt haben, konnten wir beobachten, wie die Zahl der Kennzahlen stetig zunahm, wobei Zitierzahlen, Impact-Faktoren von Fachzeitschriften und bibliometrische Indikatoren zur Standardmethode für die Bewertung von Führungskräften in der Forschung wurden.

Diese Einfachheit hat jedoch ihren Preis. Da KI-Tools die metrikbasierte Bewertung mittlerweile mühelos ermöglichen, besteht die Gefahr, dass die menschlichen Aspekte der Bewertung von Forschungsleitungsqualitäten durch Automatisierung verdrängt werden. Auf der Grundlage von über einem Jahrzehnt Erfahrung im verantwortungsvollen Umgang mit Metriken vertreten wir die Ansicht, dass das Expertenurteil noch nie so entscheidend für die Identifizierung vielfältiger und exzellenter Forschungsleitungsqualitäten war wie heute.

Was die Zahlen nicht widerspiegeln

Die Probleme der metrikbasierten Bewertung sind hinlänglich bekannt. Vor einem Jahrzehnt untersuchte die unabhängige Studie mit dem Titel „The Metric Tide“ die Rolle von Metriken bei der Forschungsbewertung und im Forschungsmanagement im Vereinigten Königreich und schlug einen Rahmen für verantwortungsvolle Metriken vor. Etwa zur gleichen Zeit wurde die San Francisco Declaration on Research Assessment (DORA) veröffentlicht, die die Verwendung von zeitschriftenbasierten Metriken bei der Bewertung einzelner Forscher in Frage stellte. Diese Initiativen, die mittlerweile von über 2.200 Organisationen weltweit unterzeichnet wurden, haben deutlich gemacht: Metriken ignorieren disziplinäre Unterschiede in der Zitierkultur, benachteiligen Karriereunterbrechungen, übersehen Beiträge jenseits von Publikationen und begünstigen etablierte Forschungsökosysteme gegenüber aufstrebenden.

Und doch befinden wir uns hier, ein Jahrzehnt später, und führen immer noch dieselben Argumente an. Obwohl diese Probleme weithin anerkannt sind, sind auf Kennzahlen basierende Abkürzungen bei der Forschungsbewertung nach wie vor gang und gäbe. Und nun, da KI-Tools diese Abkürzungen einfacher denn je machen, laufen wir Gefahr, diese Praktiken nicht nur fortzusetzen, sondern sie sogar noch zu verstärken.

Wir beobachten diese blinden Flecken tagtäglich: Forscher, die in Fachgebieten mit geringen Zitierraten herausragende Arbeit leisten, Wissenschaftler, die ihre Karriere unterbrochen haben, solche, deren größter Beitrag eher im Aufbau von Forschungsgruppen als in ihren eigenen Publikationen lag, oder Wissenschaftler, die in aufstrebenden Fachgebieten tätig sind. Am beunruhigendsten ist vielleicht, dass eine übermäßige Abhängigkeit von Kennzahlen zu unerwünschten Verhaltensweisen führt – von Veröffentlichungen, die eher auf Quantität als auf Wirkung ausgerichtet sind, bis hin zur Vernachlässigung von Lehre, Betreuung und weiteren institutionellen Aufgaben.

Unser Ansatz: Kennzahlen als Hilfsmittel, nicht als Hindernisse

Wir gehörten zu den ersten Anwendern von Zitationsdatenbanken. Vor über einem Jahrzehnt gingen wir eine Partnerschaft mit einem weltweit tätigen Datenanalyseunternehmen ein, um diese Datenbanken als Forschungsinstrumente zu nutzen – lange bevor es Funktionen zur „Forschersuche“ gab. Damit leisteten wir Pionierarbeit bei der Nutzung dieser Datenbanken zur Identifizierung von Wissenschaftlern, anstatt sie lediglich zur Bewertung von Forschungsergebnissen heranzuziehen. Wir haben Kennzahlen jedoch stets dazu genutzt, Talente zu entdecken, niemals, um sie auszuschließen.

Diese Unterscheidung ist von Bedeutung. Wir nutzen Zitationsanalysen, um weltweit nach herausragenden Leistungen an unerwarteten Orten und in unerwarteten Regionen zu suchen. So können wir Nachwuchswissenschaftler an lehrorientierten Hochschulen ausfindig machen, die außergewöhnliche Arbeit leisten, oder Wissenschaftler in kleineren Forschungsökosystemen, die über ihre Verhältnisse hinaus Leistung erbringen. Eine verantwortungsvolle Forschungsbewertung unterstreicht, wie wichtig es ist, Forschungsqualität in vielfältigen Kontexten anzuerkennen – nicht nur an Eliteeinrichtungen. Metriken helfen uns dabei, überdurchschnittliche Leistungen ins Rampenlicht zu rücken, nicht nur etabliertes Prestige.

Aber das sind Ausgangspunkte, keine Endpunkte. Wir gehen immer noch einen Schritt weiter.

Zu unseren Aufgaben gehört es, unsere Kunden aufzuklären und ihnen zu verdeutlichen, welche Erkenntnisse Kennzahlen liefern können und welche nicht, und warum sie bei einer auf Schwellenwerten basierenden Auslesung Gefahr laufen, genau jene Art von innovativer, vielfältiger Führung zu verpassen, die sie sich wünschen.

Dennoch sind wir uns des Widerspruchs, der unserem Ansatz innewohnt, sehr wohl bewusst. Wir nutzen genau jene Instrumente, deren Grenzen wir anerkennen. Aus diesem Grund haben wir strenge Verfahren entwickelt, um den Verzerrungen, die diese Kennzahlen mit sich bringen können, aktiv entgegenzuwirken. Wir arbeiten bewusst darauf hin, dass unsere Suchprozesse Kandidaten mit unterschiedlichen Hintergründen, Karrierewegen und institutionellen Kontexten hervorbringen. Wir prüfen unsere eigenen Auswahllisten sorgfältig auf demografische und geografische Vielfalt. Wir hinterfragen uns selbst, wenn Muster auftreten, die eher auf systemische Verzerrungen als auf echte Qualitätsunterschiede hindeuten könnten. Der verantwortungsvolle Umgang mit Kennzahlen bedeutet, ständig zu hinterfragen, ob sie unseren Blick auf Exzellenz erweitern oder einschränken.

Verantwortungsbewusste Suche im Zeitalter der Informationsflut

Die Argumente für eine gezielte fachliche Begutachtung waren noch nie so überzeugend wie heute. Es erfordert Zeit, um die Bedürfnisse der Institutionen gründlich zu verstehen, Fachwissen, um die Qualität der Forschung im jeweiligen disziplinären Kontext zu beurteilen, und Urteilsvermögen, um unterschiedliche Formen der Exzellenz gegeneinander abzuwägen. Das bedeutet, der Versuchung zu widerstehen, komplexe akademische Laufbahnen auf Zahlen zu reduzieren – insbesondere dann, wenn die Technologie dies auf trivial einfache Weise ermöglicht.

Das Ziel besteht nicht darin, Kennzahlen oder KI abzulehnen. Diese Instrumente sind von echtem Wert, wenn es darum geht, unsere Reichweite zu vergrößern und Talente zu entdecken, die uns sonst vielleicht entgangen wären. Sie müssen jedoch dem menschlichen Urteilsvermögen dienen und dürfen es nicht ersetzen.

Angesichts der sich wandelnden Forschungsbewertung haben wir, die wir Führungskräfte in der Forschung auswählen, die Verantwortung, mit gutem Beispiel voranzugehen. Das bedeutet, die verfügbaren Instrumente zu nutzen und gleichzeitig eine strenge menschliche Kontrolle aufrechtzuerhalten. Es bedeutet, Zeit in eine gründliche Bewertung zu investieren, anstatt algorithmische Abkürzungen zu nehmen. Und es bedeutet, für den Grundsatz einzutreten, dass vielfältige, exzellente Forschungsführung nicht auf eine Zahl reduziert werden kann.