Peer Review

Wie funktioniert denn das?

Wieder einmal wurde die Begutachtung durch "Gleiche" vorgeschlagen als Methode der Wahl; diesmal geht es um die Frage, welche außeruniversitären Institute weiterhin in den Genuß einer Basisfinanzierung durch den Bund kommen sollen, und welche nicht. Bevor man jedoch eine solche Evaluierung als Allheilmittel bejubelt oder gar die lästige Frage aufwirft, warum seit vielen Jahren Steuergelder ohne dieselbe fließen, sollte man ein paar Überlegungen zu den Randbedingungen anstellen.

Kaum hatte ich im Rahmen meiner Dissertations- und Post-Doc-Tätigkeit meine ersten wissenschaftlichen Arbeiten veröffentlicht, erhielt ich auch schon von denselben Journalen Manuskripte mit der Bitte um Begutachtung. Seitdem reißt der Strom an zu bewertenden Arbeiten nicht ab. Zum Glück bin ich nicht berühmt und spiele in der Wissenschaftswelt nur eine kleine Nebenrolle. Deshalb bekomme ich es pro Jahr nur mit einer überschaubaren Anzahl von Publikationen zu tun.

Arbeit ist das allemal, vor allem wenn man den zu begutachtenden Text sorgfältig von A bis Z liest. Das kostet mich jedesmal mindestens einen halben Arbeitstag. Prominentere als ich werden pro Jahr um Hunderte von Begutachtungen gebeten, Begutachtungen aller Art: von wissenschaftlichen Publikationen über Projektanträge, Habilitationen, bis zur Einschätzung von Arbeitsgruppen und Institutionen. Nachdem diese Prominenten zumeist selbst umfangreiche Arbeitsgruppen oder gar große Institutionen leiten, ist ihre Zeit karg bemessen.

Nicht selten lehnen sie daher Ersuchen um Begutachtung wegen Arbeitsüberlastung ab. Herausgeber von Journalen müssen manchmal mit einem eingereichten Manuskript lange "hausieren" gehen, bis sie endlich jemanden finden, der sich für eine Begutachtung breitschlagen läßt. Besonders klug ist eine solche Ablehnung allerdings nicht; den Herausgeber eines wichtigen Journals sollte ich mir warm halten, denn irgendwann könnte er auch einmal über mein Manuskript entscheiden...

Aus diesem Grund begutachten viele prominente Wissenschafter wesentlich mehr Arbeiten bzw. Anträge als sie eigentlich physisch in der Lage sind, was im Klartext bedeutet: für eine Begutachtung, die mich kleines Würstchen einen halben Tag Zeit kostet, wenden sie gerade einmal eine halbe Stunde auf. Grundlage einer solchen Begutachtung ist dann weniger der genaue Inhalt der Einreichung, sondern eher das subjektive Vorurteil des Prüfers. Eine sachlich zuverläßliche objektive Beurteilung ist auf diesem Wege eher unwahrscheinlich.

Was also tun? Zwei Strategien könnten die Problematik ein wenig entschärfen.

(1) Die erste Strategie verlangt von den Auftraggebern von Begutachtungen einen gewissen Mehraufwand, der sich aber auszahlen könnte. Sie sollten mit ihren Wünschen nicht immer nur an die Koryphäen der Zunft herantreten, sondern vermehrt auch an jene Forscher, die in der 2. oder 3. Reihe stehen. Meistens hat jemand aus diesem Personenkreis nicht nur mehr Zeit für eine gründliche Begutachtung, sondern ist sogar nicht selten eher auf dem aktuellen Stand des Wissens, weil auch mehr Zeit zum Lesen der Literatur zur Verfügung steht. Nachdem es sich dabei aber um weniger illustre Leute handelt, muß man sie erst mühsam identifizieren (z.B. durch das Lesen einiger Arbeiten aus dem in Frage stehenden Themenkreis).

(2) Vor allem wenn es um eine (sowieso bescheidene) Basisfinanzierung geht wie im jetzt aktuellen Fall der außeruniversitären Einrichtungen könnte man auf die Befragung von Experten überhaupt verzichten und sich ansehen, was von den zu beurteilenden Gruppen in den letzten Jahren publiziert wurde. Unter Beachtung fachspezifischer Usancen (siehe meinen Text How to weigh and count the mind?) sollte es auf diese Weise möglich sein, sich relativ rasch und ohne großen Aufwand ein objektives Bild zu verschaffen. Jede Disziplin erfordert ihre speziellen Begutachtungskriterien. Während es in den Naturwissenschaften um "harte Fakten" geht (also um Veröffentlichungen in begutachteten Zeitschriften), sind die Hervorbringungen der Humanwissenschaften vielfältiger, aber genau so leicht zu erheben. Im Zeitalter des Internet sollte es kein Problem sein, sich über die Produktivität jeder Einrichtung ein quantitatives Bild zu verschaffen, auch wenn man in den Humanwissenschaften eher bei Vorträgen, Symposien, Zeitungsartikeln, Rundfunkbeiträgen oder Buchkapiteln fündig wird.

Es ließe sich für jede Disziplin ein geeigneter Schlüssel zur Bewertung der Produktivität maßschneidern. Der Vorteil eines solchen Instruments läge (A) in der raschen Durchführbarkeit einer Evaluation; (B) darin, daß man den zu Evaluierenden nicht auf die Nerven gehen muß; und (C) in der Objektivität, die es erlaubt, jedes abgegebene Urteil präzise zu begründen, ohne dabei persönliche Beweggründe ins Treffen zu führen.

Peer reviews allein sind kein Allheilmittel für Evaluationen aller Art. Manchmal kann weniger mehr sein.

9/10 < MB (11/10) > 5/11
Hardships of scientific research