Performancemessung im Hochschulbereich: Theoretische Grundlagen und empirische Befunde

Sylvia Rassenhövel Performancemessung im Hochschulbereich

GABLER RESEARCH

Sylvia Rassenhövel

Performancemessung im Hochschulbereich Theoretische Grundlagen und empirische Befunde

RESEARCH

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.

D 82 (Diss. RWTH Aachen University, 2009)

1. Auflage 2010 Alle Rechte vorbehalten © Gabler Verlag | Springer Fachmedien Wiesbaden GmbH 2010 Lektorat: Ute Wrasmann | Hildegard Tischer Gabler Verlag ist eine Marke von Springer Fachmedien. Springer Fachmedien ist Teil der Fachverlagsgruppe Springer Science+Business Media. www.gabler.de Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Umschlaggestaltung: KünkelLopka Medienentwicklung, Heidelberg Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Printed in Germany ISBN 978-3-8349-2300-4

Vorwort Die Performancemessung der im Hochschulbereich erbrachten Leistungen steht hoch im Kurs. Nicht nur werden in der Praxis zahlreiche Rankings und andere vergleichende Bewertungen erstellt, auch die Wissenschaft beschäftigt sich zurzeit intensiv mit dem dazugehörigen Forschungsfeld. Diesem ist die vorliegende Dissertation zuzuordnen. Sie liefert sowohl theoretische Grundlagen einer indikatorenbasierten Performancemessung im Hochschulbereich als auch einen empirischen Beitrag zur Messung der Forschungsperformance betriebswirtschaftlicher Fachbereiche. Die wissenschaftliche Auseinandersetzung mit der hochschulischen Performancemessung prägt letztlich auch den Blick auf die eigenen Tätigkeiten im Hochschulbereich – bei mir insbesondere in produktionstheoretischer Hinsicht. So ist der Input, den ich im Zusammenhang mit meiner Promotion eingesetzt habe, gewiss nicht unerheblich, und dieses Buch stellt sicher den wichtigsten Output meines Schaffens als Doktorandin dar. Hier zu erwähnen sind aber vor allem die vielen Personen, die auf unterschiedliche Art und Weise zum Prozess der Erstellung dieser Dissertation beigetragen haben. Für ihre Unterstützung möchte ich mich herzlich bedanken. Ein erster Dank geht an meinen Doktorvater Prof. Dr. Harald Dyckhoff, der nicht nur mein Interesse an der Thematik der Performancemessung im Hochschulbereich geweckt, sondern mir auch später wichtige inhaltliche Impulse und wertvolle Anregungen für die vorliegende Arbeit gegeben hat. Besonders geschätzt habe ich, dass er stets zur Beratung und Diskussion bereit war. Dank gilt auch Prof. Dr. Hartwig Steffenhagen, der das zweite Gutachten erstellt hat, sowie den beiden weiteren Mitgliedern der Promotionskommission, Prof. Dr. Wolfgang Breuer und Prof. Dr. Rüdiger von Nitzsch. Ferner danke ich dem gesamten Team des Lehrstuhls für Unternehmenstheorie für die freundschaftliche Arbeitsatmosphäre, in der meine Dissertation entstanden ist. Diejenigen (ehemaligen) Kolleg(inn)en, mit denen ich im Rahmen verschiedener Forschungsprojekte enger zusammengearbeitet habe, seien an dieser Stelle auch namentlich erwähnt: Prof. Dr. Heinz Ahn, Marcel Clermont, Dr. Roland Gilles, Eleazar Mbock, Kirsten Sandfort und Dr. Christian Schmitz. Neben ihnen möchte ich Kerstin Zechendorf – dem „Heart of the Department“, das im Sekretariat schlägt – ein großes Dankeschön sagen, weil sie während der Zeit, die ich am Lehrstuhl verbracht habe, für mich eine wunderbare Anlaufstelle für kleine inspirierende Pausen war.

VI

Vorwort

Ganz besonderer Dank gilt schließlich meinen Eltern und meiner Schwester. Sie haben mich (nicht nur) auf dem Weg zur Promotion immerzu von ganzem Herzen unterstützt. Ihnen widme ich dieses Buch.

Aachen, im Dezember 2009

Sylvia Rassenhövel

Inhaltsverzeichnis Abbildungsverzeichnis .........................................................................................................XI Tabellenverzeichnis ............................................................................................................ XV Anhangsverzeichnis ......................................................................................................... XVII Abkürzungsverzeichnis ..................................................................................................... XIX Symbolverzeichnis........................................................................................................... XXIII 1

Einleitung .......................................................................................................................... 1

2

Grundzüge einer entscheidungs- und produktionstheoretisch fundierten Performancemessung ...................................................................................................... 7 2.1 Performance und entscheidungsorientierte Produktionstheorie ................................ 7 2.1.1 Effektivitäts- und Effizienzdimension der Performance .................................. 7 2.1.2 Entscheidungsorientierte Produktionstheorie als Bezugsrahmen einer Performancemessung................................................................................... 11 2.2 Ziele und Indikatoren................................................................................................ 14 2.2.1 Ziele .............................................................................................................. 14 2.2.1.1 Zielformulierung und -anforderungen ............................................. 14 2.2.1.2 Abbildung von Zielen durch Ergebnisgrößen ................................. 17 2.2.2 Indikatoren .................................................................................................... 18 2.2.2.1 Kennzeichen und Arten .................................................................. 18 2.2.2.2 Anforderungen................................................................................ 22 2.3 Vorgehensmodell zur Performancemessung mit den drei Phasen Konzeption, Analyse und Anwendung ......................................................................................... 26 2.4 Zwischenfazit ........................................................................................................... 27

3

Grundzüge einer Performancemessung im Hochschulbereich ................................. 29 3.1 Konzeption ............................................................................................................... 29 3.1.1 Bestimmung der Adressaten und ihrer Informationsinteressen.................... 29 3.1.1.1 Die Stakeholder von Hochschulen als Adressaten......................... 29 3.1.1.2 Informationsinteressen der Stakeholder......................................... 31 3.1.2 Festlegung des Untersuchungsbereichs ...................................................... 33 3.1.2.1 Leistungsarten ................................................................................ 34 3.1.2.2 Objekte und Objektmengen............................................................ 35

VIII

Inhaltsverzeichnis

3.2 Basisanalyse für Forschung und Lehre.................................................................... 38 3.2.1 Zielanalyse.................................................................................................... 39 3.2.1.1 Allgemeine Zielstruktur für Forschung und Lehre........................... 39 3.2.1.2 Konkretisierung des Zielsystems anhand der Interessen ausgewählter Stakeholder .............................................................. 40 3.2.1.2.1 Interessen von Staat und Ländern, Gesellschaft, Wirtschaft und Politik..................................................... 40 3.2.1.2.2 Interessen von Forschern und Forschungsförderern .... 45 3.2.1.2.3 Interessen von Hochschullehrern, Studierenden und Arbeitgebern........................................................... 46 3.2.2 Produktionstheoretische Analyse ................................................................. 50 3.2.2.1 Grundlegendes Modell und Technologie der Forschungsund Lehrproduktion......................................................................... 50 3.2.2.2 Merkmale der Forschungs- und Lehrproduktion und ihre Bedeutung für eine Performancemessung ..................................... 52 3.2.2.2.1 Allgemeine Merkmale.................................................... 53 3.2.2.2.2 Integration der Studierenden in den Leistungsprozess als spezielles Merkmal der Lehrproduktion ................... 59 3.2.3 Bildung von Performanceindikatoren............................................................ 68 3.3 Anwendung .............................................................................................................. 73 3.3.1 Datenerhebung ............................................................................................. 73 3.3.2 Ermittlung der Indikatorenausprägungen und Auswertung........................... 76 3.3.3 Weitergabe und Nutzung der Ergebnisse..................................................... 78 3.4 Zwischenfazit ........................................................................................................... 80 4

Indikatoren zur Messung der Forschungsperformance ............................................. 83 4.1 Überblick .................................................................................................................. 83 4.2 Überlegungen zur Relevanz von Drittmittelindikatoren ............................................ 85 4.2.1 Drittmittelindikatoren aus produktionstheoretischer Perspektive .................. 86 4.2.2 Bedeutung des Zusammenhangs zwischen Drittmitteln und erbrachten Forschungsleistungen................................................................................... 88 4.2.3 Bedeutung der Periodenabgrenzung............................................................ 94 4.2.3.1 Individuelle Beurteilung der Leistungen einzelner Forscher........... 95 4.2.3.2 Aggregierte Beurteilung der Leistungen mehrerer Forscher ........ 103 4.2.4 Zwischenfazit .............................................................................................. 106

Inhaltsverzeichnis

IX

4.3 Betrachtung einzelner Forschungsindikatoren....................................................... 107 4.3.1 Bibliometrische Indikatoren......................................................................... 107 4.3.1.1 Publikationen ................................................................................ 108 4.3.1.2 Zitationen...................................................................................... 115 4.3.2 Indikatoren auf Basis technischer Erfindungen .......................................... 120 4.3.2.1 Erfindungsmeldungen................................................................... 120 4.3.2.2 Patente und Gebrauchsmuster..................................................... 124 4.3.3 Drittmittel..................................................................................................... 132 4.3.4 Sonstige Faktenindikatoren ........................................................................ 138 4.3.4.1 Promotionen ................................................................................. 138 4.3.4.2 Preise, Auszeichnungen und Ehrungen ....................................... 142 4.3.4.3 Forschungsstipendien und Gastwissenschaftler .......................... 144 4.3.5 Forschungsreputation ................................................................................. 145 4.4 Zwischenfazit ......................................................................................................... 149 5

Präsentation und Würdigung des CHE-Forschungsrankings BWL 2005................ 153 5.1 Einführung und Überblick....................................................................................... 153 5.2 Konzeption ............................................................................................................. 158 5.2.1 Adressaten und deren Informationsinteressen ........................................... 158 5.2.2 Untersuchungsbereich................................................................................ 159 5.3 Analyse .................................................................................................................. 161 5.3.1 Zielanalyse.................................................................................................. 161 5.3.2 Produktionstheoretische Analyse ............................................................... 163 5.3.3 Indikatoren .................................................................................................. 164 5.3.3.1 Publikationen ................................................................................ 164 5.3.3.2 Promotionen ................................................................................. 170 5.3.3.3 Drittmittel ...................................................................................... 171 5.3.3.4 Reputation .................................................................................... 173 5.3.3.5 Zwischenfazit................................................................................ 175 5.4 Anwendung ............................................................................................................ 176 5.4.1 Datenerhebung ........................................................................................... 176 5.4.2 Ermittlung der Indikatorenausprägungen und Auswertung......................... 180 5.4.3 Weitergabe und Nutzung der Ergebnisse................................................... 184 5.5 Das CHE-Forschungsranking BWL 2008............................................................... 187 5.6 Zwischenfazit ......................................................................................................... 194

X

Inhaltsverzeichnis

6

Empirische Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche auf Basis der Daten des CHE-Forschungsrankings BWL 2005 ....... 197 6.1 Basisanalyse .......................................................................................................... 198 6.1.1 Überblick..................................................................................................... 198 6.1.2 Wissenschaftliches Personal ...................................................................... 200 6.1.3 Partielle Effektivitäten und Effizienzen........................................................ 205 6.1.4 Totale Effektivität und Effizienz................................................................... 210 6.2 Analyse der Zusammenhänge zwischen den Leistungskriterien und Identifizierung typischer Fachbereichsprofile ......................................................... 214 6.2.1 Analyse der Zusammenhänge zwischen den Leistungskriterien................ 214 6.2.1.1 Einfache Korrelationsanalysen ..................................................... 214 6.2.1.2 Hauptkomponentenanalysen........................................................ 216 6.2.2 Identifizierung typischer Fachbereichsprofile.............................................. 220 6.2.2.1 Konzeption der Untersuchung ...................................................... 220 6.2.2.2 Effektivitäts- und Effizienzcluster.................................................. 223 6.2.2.3 Sensitivitätsanalysen .................................................................... 228 6.2.2.4 Diskussion der Ergebnisse ........................................................... 234 6.3 Reputation im Zusammenhang mit den Faktenindikatoren.................................... 235 6.4 Analyse der Produktionsfunktion betriebswirtschaftlicher Fachbereiche ............... 241 6.4.1 Konzeption der Untersuchung .................................................................... 241 6.4.2 Partialanalysen ........................................................................................... 244 6.4.2.1 Partielle Effizienzen ...................................................................... 244 6.4.2.2 Partielle (lokale) Skalenelastizitäten............................................. 246 6.4.2.3 Partielle Skaleneffizienzen ........................................................... 248 6.4.3 Totalanalyse ............................................................................................... 251 6.4.4 Methodenbedingte Limitationen und Sensitivitätsanalysen ........................ 257 6.4.4.1 Methodenbedingte Limitationen ................................................... 257 6.4.4.2 Sensitivitätsanalysen .................................................................... 258 6.4.5 Diskussion der Ergebnisse ......................................................................... 262 6.5 Zwischenfazit ......................................................................................................... 264

7

Resümee und Ausblick ................................................................................................ 267

Anhang ................................................................................................................................ 275 Literaturverzeichnis ........................................................................................................... 285

Abbildungsverzeichnis Abbildung 2-1:

Produktionsprozess als Entscheidungsprozess .......................................12

Abbildung 2-2:

Anforderungen an Ziele und Zielsysteme .................................................15

Abbildung 2-3:

Ziel- und Ergebnisklassen einer Leistungserbringung..............................17

Abbildung 2-4:

Anforderungen an Indikatoren und Indikatorensysteme ...........................23

Abbildung 2-5:

Vorgehensmodell zur indikatorengestützten Performancemessung ........26

Abbildung 3-1:

Stakeholder einer Hochschule..................................................................30

Abbildung 3-2:

Informationsinteressen und Adressaten einer Performancemessung im Hochschulbereich ................................................................................32

Abbildung 3-3:

Hochschulleistungen.................................................................................34

Abbildung 3-4:

Zielstruktur zur Hochschulforschung und -lehre .......................................39

Abbildung 3-5:

Ein grundlegendes Modell der Forschungs- und Lehrproduktion in Hochschulen .............................................................................................51

Abbildung 3-6:

Teilprozesse der Hochschullehre .............................................................63

Abbildung 3-7:

Determinanten und Output der Lehrproduktion ........................................66

Abbildung 3-8:

Methoden der Datenerhebung..................................................................74

Abbildung 4-1:

Ergebnisse der Forschungsproduktion .....................................................85

Abbildung 4-2:

Vor- und Hauptleistung drittmittelfinanzierter Forschung..........................87

Abbildung 4-3:

Drittmittel der Forscher A und B (Fall 1) ...................................................90

Abbildung 4-4:

Drittmittel sowie neu produziertes Wissen der Forscher A und B (Fall 1).......................................................................................................90

Abbildung 4-5:

Drittmittel der Forscher A und B (Fall 2) ...................................................91

Abbildung 4-6:

Drittmittel sowie neu produziertes Wissen der Forscher A und B (Fall 2).......................................................................................................91

Abbildung 4-7:

Drittmittel der Forscher A und B (Fall 3) ...................................................92

Abbildung 4-8:

Drittmittel sowie neu produziertes Wissen der Forscher A und B (Fall 3).......................................................................................................93

XII

Abbildungsverzeichnis

Abbildung 4-9:

Drittmittelfinanziertes Forschungsprojekt und Forschungsindikatoren .....95

Abbildung 4-10:

Forschungsbeurteilung mittels Publikationsindikator (periodengenau) ....96

Abbildung 4-11:

Forschungsbeurteilung mittels Publikationsindikator (gleitender Durchschnitt)...........................................................................97

Abbildung 4-12:

Vergleich der Forschungsleistungen der Forscher A und B mittels Publikationsindikator (gleitender Durchschnitt) .............................97

Abbildung 4-13:

Forschungsbeurteilung mittels Drittmittelindikator (periodengenau und gleitender Durchschnitt)...........................................99

Abbildung 4-14:

Forschungsbeurteilung durch Kombination von Drittmittel- und Publikationsindikator (periodengenau) .....................................................99

Abbildung 4-15:

Beurteilung der Leistungen der Forscher A und B mittels Drittmittel- und Publikationsindikator (periodengenau) ...........................101

Abbildung 4-16:

Beurteilung der Leistungen der Forscher A und B mittels Drittmittel- und Publikationsindikator bei großem Zeitfenster (gleitender Durchschnitt).........................................................................102

Abbildung 4-17:

Forschungsleistung eines Fachbereichs (periodengenau), individuell und aggregiert (Fall 1)............................................................104

Abbildung 4-18:

Forschungsleistung eines Fachbereichs (periodengenau), individuell und aggregiert (Fall 2)............................................................105

Abbildung 5-1:

Zielkriterienstruktur zum CHE-Forschungsranking BWL 2005 ...............162

Abbildung 5-2:

Produktionsmodell zum CHE-Forschungsranking BWL 2005 ................164

Abbildung 6-1:

Daten des CHE-Forschungsrankings BWL 2005 ...................................199

Abbildung 6-2:

Histogramme zum wissenschaftlichen Personal ....................................202

Abbildung 6-3:

Histogramm zum Verhältnis Wissenschaftliche Mitarbeiter pro Professor ..........................................................................................204

Abbildung 6-4:

Histogramme zu den partiellen Effektivitäten und Effizienzen................207

Abbildung 6-5:

Histogramme zur totalen Effektivität und Effizienz .................................212

Abbildung 6-6:

Lage der Effektivitäts- und Effizienzindikatoren im jeweiligen Komponentenraum .................................................................................219

Abbildungsverzeichnis

Abbildung 6-7:

XIII

Durchschnittsprofile der Effektivitäts- und Effizienzcluster (Zwei- bzw. Drei-Clusterlösung) .............................................................225

Abbildung 6-8:

Durchschnittsprofile der Effektivitäts- und Effizienzcluster (Sechs-Clusterlösungen) ........................................................................230

Abbildung 6-9:

Histogramm zur Reputation ....................................................................236

Abbildung 6-10:

Daten der fünf Fachbereiche des CHE-Forschungsrankings BWL 2005 mit den höchsten Reputationswerten....................................237

Abbildung 6-11:

Reputation im Zusammenhang mit totalen Effektivitäten und Effizienzen ..............................................................................................240

Abbildung 6-12:

Zweidimensionale Teilproduktivitäten.....................................................246

Abbildung 6-13:

Zweidimensionale Illustration der Skaleneffizienz ..................................248

Abbildung 6-14:

Ertragsorientierte Skaleneffizienzen in Abhängigkeit von der Anzahl besetzter Professorenstellen ......................................................256

Abbildung 6-15:

Vierdimensionale partielle Skaleneffizienzen (ertragsorientiert).............261

Tabellenverzeichnis Tabelle 4-1:

Effektivitäts- und Effizienzmessung mittels Drittmittelindikatoren, Vergleich der Forscher A und B................................................................94

Tabelle 5-1:

Ergebnisse des CHE-Forschungsrankings BWL 2005 ...........................157

Tabelle 5-2:

Punkteverteilung für Publikationen im CHE-Forschungsranking BWL 2005 ...............................................................................................165

Tabelle 5-3:

Drittmittelkategorien im CHE-Forschungsranking BWL 2005.................172

Tabelle 5-4:

Indikatoren der CHE-Forschungsrankings BWL 2005 und 2008............190

Tabelle 5-5:

Gruppenbildung in den CHE-Forschungsrankings BWL 2005 und 2008.................................................................................................193

Tabelle 6-1:

Statistische Parameter zum wissenschaftlichen Personal......................201

Tabelle 6-2:

Statistische Parameter der partiellen Effektivitäten und Effizienzen.......206

Tabelle 6-3:

Statistische Parameter zur totalen Effektivität und Effizienz...................212

Tabelle 6-4:

Korrelationen zwischen den partiellen Effektivitäten bzw. Effizienzen ...214

Tabelle 6-5:

Komponentenladungen der Effektivitäts- und Effizienzindikatoren sowie erklärte kumulierte Varianzen.......................................................218

Tabelle 6-6:

Statistische Parameter der Effektivitäts- und Effizienzcluster (Zwei- bzw. Drei-Clusterlösung) .............................................................225

Tabelle 6-7:

Datensatz für die Analyse der Produktionsfunktion betriebswirtschaftlicher Fachbereiche ....................................................243

Tabelle 6-8:

Statistische Parameter der partiellen Effizienzen ...................................245

Tabelle 6-9:

Entwicklung der partiellen Grenzproduktivitäten und Skalenelastizitäten auf den teileffizienten Rändern ................................247

Tabelle 6-10:

Entwicklung der partiellen Skalenelastizitäten und -effizienzen .............250

Tabelle 6-11:

Effizienzgrade und Skaleneffizienzen.....................................................254

Anhangsverzeichnis Anhang A ............................................................................................................................ 276 Tabelle A-1:

Daten des CHE-Forschungsrankings BWL 2005 ...................................277

Tabelle A-2:

Normierte Effektivitäts- und Effizienzwerte .............................................278

Anhang B ............................................................................................................................ 279 Abbildung B-1:

Effektivitätsdendrogramm (mit Zwei-Clusterlösung) ...............................280

Abbildung B-2:

Effizienzdendrogramm (mit Drei-Clusterlösung).....................................281

Abbildung B-3:

Effektivitätsdendrogramm (mit Sechs-Clusterlösung).............................282

Abbildung B-4:

Effizienzdendrogramm (mit Sechs-Clusterlösung) .................................283

Tabelle B-1:

Statistische Werte der Effektivitäts- und Effizienzcluster ........................284

Abkürzungsverzeichnis A&HCI

Arts & Humanities Citation Index

ArbnErfG

Arbeitnehmererfindungsgesetz

arithm.

arithmetisch(er)

BCC

Banker, Charnes, Cooper

BLISS

Betriebswirtschaftliches Literatursuchsystem

BMBF

Bundesministerium für Bildung und Forschung

BWL

Betriebswirtschaftslehre

CCR

Charnes, Cooper, Rhodes

CEPES

European Centre for Higher Education/ Centre Européen pour l’Enseignement Supérieur

CHE

Centrum für Hochschulentwicklung

CHERPA

Consortium for Higher Education and Research Performance Assessment

DAAD

Deutscher Akademischer Austauschdienst

DBU

Deutsche Bundesstiftung Umwelt

DE

Duisburg-Essen

DEA

Data Envelopment Analysis

DEPATIS

Deutsches Patentinformationssystem

DEPATISnet

Onlinedienst des Deutschen Patent- und Markenamts mit den Daten des Deutschen Patentinformationssystems

DFG

Deutsche Forschungsgemeinschaft

DM

Drittmittel

DMA, DMB

Drittmittel des Forschers A bzw. B

DPMA

Deutsches Patent- und Markenamt

ECONIS

Economic Information System

EPA

Europäisches Patentamt

EPC

European Patent Convention

XX

Abkürzungsverzeichnis

EPI

Educational Policy Institute

ESCP-EAP

Europäische Wirtschaftshochschule

EU

Europäische Union

EUA

European University Association

FB

Fachbereich

FU

Freie Universität

GBI

German Business Information

GebrMG

Gebrauchsmustergesetz

GG

Grundgesetz

HFG

Hochschulfreiheitsgesetz

HH

Handelshochschule

HIS

Hochschul-Informations-System

HRK

Hochschulrektorenkonferenz

HU

Humboldt-Universität

HWWA

Hamburgisches Welt-Wirtschafts-Archiv

iFQ

Institut für Forschungsinformation und Qualitätssicherung

IHEP

Institute for Higher Education Policy

IREG

International Ranking Expert Group

ISI

Institute for Scientific Information

IZ

Informationszentrum Sozialwissenschaften

KMK

Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland/Kultusministerkonferenz

LMU

Ludwig-Maximilians-Universität

LP

Lineare Programmierung

med.

medizinisch(e)

MINT

Mathematik, Informatik, Natur- und Technikwissenschaften

NACHE

normiert-additive(r) CHE [-Methodik/-Wert(e)]

OECD

Organisation for Economic Co-operation and Development

Abkürzungsverzeichnis

PATDPA

Patentdatenbank des Deutschen Patent- und Markenamts

PatG

Patentgesetz

PCT

Patent Cooperation Treaty

PM

Planmittel

PP

Publikationspunkte

PROFN

Professoren (Namen)

PROFS

Professoren (Stellen)

PROM

Promotionen

PUBL

Publikationen

PUBLm

Publikationen (modifiziert)

PVA

Patentverwertungsagentur(en)

PVÜ

Pariser Verbandsübereinkunft zum Schutz des gewerblichen Eigentums

REPUT

Reputation

SCI

Science Citation Index

SCI-X

Science Citation Index Expanded

SFA

Stochastic Frontier Analysis

SS

Sommersemester

SSCI

Social Sciences Citation Index

Solis

Sozialwissenschaftliches Literatursuchsystem

STN

The Scientific & Technical Information Network

T€

Tausend Euro

TU

Technische Universität

UBW

Universität der Bundeswehr

UNESCO

United Nations Educational, Scientific and Cultural Organization

Uni

Universität

VHB

Verband der Hochschullehrer für Betriebswirtschaft e.V.

VW

Volkswagen

XXI

XXII

Abkürzungsverzeichnis

VWL

Volkswirtschaftslehre

WIPO

World Intellectual Property Organization

WisoNet

Literatursystem für die Wirtschafts- und Sozialwissenschaften

WISSS

Wissenschaftler (Stellen)

WMAS

Wissenschaftliche Mitarbeiter (Stellen)

WS

Wintersemester

ZEW

Zentrum für Europäische Wirtschaftsforschung

Symbolverzeichnis ρ

ei

normierter Wert des Indikators i für den Fachbereich ρ

F1, …, F63

Bezeichnungen der Fachbereiche

i = 1, …, m

Index der Indikatoren

m

Anzahl der Indikatoren

n

Anzahl der Fachbereiche

r

Pearson-Korrelation

ρ = 1, …, n

Index der Fachbereiche

ω

Parameter zur Mittelwertbestimmung

#

Anzahl

**

korrelationssignifikant auf dem Niveau von 0,01 (2-seitig)

1

Einleitung

Seit den jüngeren Reformen im Bildungswesen wird eine hohe Transparenz über die Performance der Leistungserbringung im Hochschulbereich gefordert. Die Frage etwa, welche Hochschulen oder Fachbereiche besonders leistungsfähig sind, stellt sich zum Beispiel dem Hochschulmanagement bei der Verteilung finanzieller Mittel, Studienanfängern bei ihrer Studienortwahl, Arbeitgebern bei der Auswahl ihrer zukünftigen Mitarbeiter wie auch Forschungsförderern bei der Vergabe von Drittmittelprojekten. Dass hochschulische Leistungen quantifiziert werden müssen, daran gibt es heute kaum noch Zweifel. Die Messung der Performance in diesem Bereich stellt jedoch eine große Herausforderung dar. Die Probleme liegen zunächst darin, dass die Leistungen der Hochschulen, wie diejenigen anderer Non-Profit-Organisationen, nicht über Märkte bewertet werden. Dadurch fehlen Preise, die die Wertschätzung der Leistungserbringung bei den Marktteilnehmern auf einen gemeinsamen Nenner bringen und vergleichbar machen. Vor allem fehlen Indikatoren, wie der Gewinn oder die Rentabilität, die allgemein anerkannte Maße für unternehmerische Performance darstellen. Um die Performance im Hochschulbereich dennoch messen und bewerten zu können, ist daher auf andere, nicht-monetäre Größen zurückzugreifen. Insbesondere die Immaterialität hochschulischer Leistungen erschwert allerdings bereits die Identifizierung und vielmehr noch die adäquate Quantifizierung solcher Größen. Weitere Probleme der Performancemessung betreffen die Komplexität und Heterogenität des Hochschulbereichs. Nicht nur werden zum Beispiel mehrere Leistungen, wie Forschung und Lehre, in verschiedenen Wissenschaftsdisziplinen erbracht, sie sind auch in unterschiedlicher Weise inhaltlich und organisatorisch miteinander verbunden. Eine einheitliche Messung der Performance, die zudem allen an den hochschulischen Leistungen Interessierten genügt, kann es nicht geben. Entsprechend vielfältig sind die bisherigen Ansätze, Transparenz im Hochschulbereich durch eine auf Indikatoren basierende Performancemessung zu schaffen. Sie werden allerdings oft sehr kritisch betrachtet. Im Mittelpunkt der Diskussionen stehen das Vorgehen im Allgemeinen sowie die Indikatorenbildung im Speziellen. Dabei richtet sich die Kritik vornehmlich darauf, dass zum einen die Messungen vielfach unsystematisch durchgeführt werden und intransparent bleiben, zum anderen die Auswahl und Konstruktion der Indikatoren mehr oder weniger willkürlich erfolgen.1

1

Vgl. z.B. die Kritik an Hochschulrankings von Bayer (2004), S. 179ff., und Lebherz et al. (2005), S. 204ff.

S. Rassenhövel, Performancemessung im Hochschulbereich, DOI 10.1007/978-3-8349-8733-4_1, © Gabler Verlag | Springer Fachmedien Wiesbaden GmbH 2010

2

Kapitel 1: Einleitung

Ein wesentlicher Grund für die zahlreichen Mängel der Performancemessung im Hochschulbereich ist ihre fehlende theoretische Fundierung. In der Literatur gibt es bisher kaum Beiträge, die sich umfassend mit einer solchen und den zahlreichen Möglichkeiten einer Performancemessung im Hochschulbereich auseinandersetzen. Die wenigen Beiträge fokussieren zudem auf vergleichende Bewertungen, insbesondere in Form von Rankings und Ratings.2 Hieraus folgt die Notwendigkeit eines Ansatzes, der zur Orientierung des grundsätzlichen Vorgehens einer Performancemessung im Hochschulbereich und als Basis zur Handhabung dabei auftretender Probleme dienen kann. Als theoretischer Bezugsrahmen für einen solchen bietet sich die entscheidungsorientierte Produktionstheorie an. Mit ihrer Verbindung von entscheidungs- und produktionstheoretischen Überlegungen ermöglicht sie es, die Leistungserbringung von Hochschulen bzw. Hochschuleinheiten, die aus produktionstheoretischer Perspektive produktive Systeme darstellen, systematisch unter Einbeziehung des Entscheiders bzw. Bewerters hinsichtlich aller relevanten Ziele, Prozesse und Objekte zu analysieren und mithilfe von Indikatoren zu bewerten. Liegt erst einmal eine geeignete theoretisch fundierte Basis zur Performancemessung im Hochschulbereich vor, können nicht nur neue Analysen gezielter konzipiert, sondern auch bereits bestehende systematischer bewertet und gegebenenfalls verbessert werden. Sinnvoll erscheint es in diesem Zusammenhang auch, Indikatoren – vor allem solche, die des Öfteren zur Performancemessung im Hochschulbereich verwendet werden – genauer unter die Lupe zu nehmen und hinsichtlich ihrer theoretischen Aussagekraft, aber auch ihrer praktischen Probleme zu diskutieren. Solch eine weitgehend fachunabhängige Auseinandersetzung mit einzelnen Indikatoren ist selbst für die Forschung, die im Gegensatz zur Lehre schon seit Längerem bewertet wird, noch eine hilfreiche Grundlage für Messungen einzelner Wissenschaftsdisziplinen. Schließlich gibt es durchaus unterschiedliche Auffassungen zur generellen Eignung bestimmter Indikatoren, und nicht alle in der Wissenschaft diskutierten Indikatoren lassen sich einfach in der Praxis umsetzen. Die Schaffung von Transparenz über die Leistungserbringung im Hochschulbereich ist auch eines der zentralen Ziele des Centrums für Hochschulentwicklung (CHE), das dazu im Jahr 1994 von der Hochschulrektorenkonferenz (HRK) und der Bertelsmann Stiftung gegründet wurde und mittlerweile die bedeutendste „Reformwerkstatt“ des deutschen Hochschulbereichs ist. Das CHE erhebt regelmäßig eine Fülle von Daten vor allem zur Forschung und Lehre der in Deutschland ansässigen Hochschulen. Diese Daten fließen in verschiedene CHE-Rankings ein, die als Informationsquellen bei den am Hochschulbereich Interessierten

2

So schlägt etwa Bayer (2004) ein ganzheitliches Rankingverfahren vor und der Wissenschaftsrat (2004) gibt Empfehlungen zu Rankings im Wissenschaftssystem.

Kapitel 1: Einleitung

3

sehr beliebt sind. Zu den besonders bekannten Veröffentlichungen zählen das CHE-Hochschulranking und das CHE-Forschungsranking. Ersteres liefert seit 1998 einen vielfältigen und detaillierten fachspezifischen Überblick über deutsche und mittlerweile auch einige europäische Hochschulen, wobei es sich an einem mehrdimensionalen Entscheidungsmodell für die Studienwahl orientiert, das Forschung und Lehre sowie zum Beispiel Ausstattung und internationale Ausrichtung der Hochschulen beinhaltet. Das CHE-Forschungsranking gibt hingegen seit 2002 einen differenzierten Blick auf die fachspezifische Forschungsperformance von Universitäten.3 Da beide Rankings mittlerweile einen substanziellen Einfluss auf den deutschen Hochschulbereich haben, bisher aber nicht ausführlich aus wissenschaftlicher Sicht bewertet wurden, ist es Zeit für eine umfassende, zum Beispiel auf einem entscheidungs- und produktionstheoretischen Ansatz basierende, wissenschaftliche Auseinandersetzung mit ihnen. Dafür bietet sich in einem ersten Schritt das auf eine Leistungsart fokussierende Forschungsranking an. Mithilfe der Daten des CHE können nicht nur Rankings erstellt, sondern auch fundamentale Analysen zur Leistungserbringung im Hochschulbereich durchgeführt werden. So lässt sich beispielsweise untersuchen, wie sich die insgesamt erbrachten Leistungen auf die Hochschulen verteilen, welche empirischen Zusammenhänge es zwischen verschiedenen Leistungskriterien gibt, welche fachspezifischen Leistungsprofile für die Hochschulen typisch sind oder welchen Einfluss die Größe der Hochschuleinheiten auf ihre Leistungserbringung hat. Damit kann nicht nur eine über die CHE-Rankings hinausgehende Transparenz über den Hochschulbereich geboten werden, vielmehr lassen sich auch Erkenntnisse gewinnen, die für eine Performancemessung selbst bedeutsam sind, etwa wenn es darum geht, geeignete Benchmarkingpartner und Ansatzpunkte zur Leistungssteigerung zu identifizieren. Die bis hierher skizzierten Überlegungen zur Performancemessung im Hochschulbereich führen zu den Zielen dieser Arbeit. Ein erstes liegt in der Konkretisierung einer entscheidungs- und produktionstheoretisch fundierten Performancemessung. Davon ausgehend sollen entsprechende Grundzüge für eine Performancemessung im (deutschen) Hochschulbereich geschaffen werden. Diese stellen nicht nur eine Basis für konkrete Anwendungen in der Praxis, sondern auch für die weiteren Bestandteile der vorliegenden Arbeit dar. Wie bei der Erarbeitung dieser Grundzüge deutlich wird, ist die Bewertung von Lehrleistungen mit spezifischen Problemen verbunden. Deren Handhabung sei zukünftigen Arbeiten vorbehalten, sodass hier im Weiteren die Forschung in den Mittelpunkt rückt. Es sollen verschiedene Forschungsindikatoren untersucht, außerdem das CHE-Forschungsranking – und zwar exem-

3

Informationen zum CHE und zu den genannten Rankings befinden sich im Internet unter www.che.de.

4

Kapitel 1: Einleitung

plarisch das Teilranking für das Fach Betriebswirtschaftslehre (BWL) aus dem Jahr 2005 – auf den Prüfstand gestellt werden. Ein weiteres Anliegen ist es, aus den Daten dieses Rankings empirische Aussagen zur betriebswirtschaftlichen Forschung deutscher Universitäten abzuleiten. Die konkreten Zielsetzungen dieser Arbeit sind in folgenden fünf Fragen zusammengestellt: •

Wie lässt sich eine entscheidungs- und produktionstheoretisch fundierte Performance-

•

Wie kann eine entscheidungs- und produktionstheoretisch fundierte Performancemes-

messung konzipieren?

sung im Hochschulbereich prinzipiell ausgestaltet werden und welche Schwierigkeiten bestehen für eine solche? •

Wie können Forschungsleistungen quantifiziert werden, was messen einzelne For-

•

Wie lässt sich das CHE-Forschungsranking BWL 2005 in die wissenschaftlichen Überle-

schungsindikatoren und mit welchen Problemen sind sie verbunden?

gungen einer entscheidungs- und produktionstheoretisch fundierten Performancemessung einordnen? •

Welche empirischen Erkenntnisse zur Forschungsleistung betriebswirtschaftlicher Fachbereiche können aus einer Analyse der Daten des CHE-Forschungsrankings BWL 2005 abgeleitet werden?

An diesen Fragen orientiert sich der Aufbau der Arbeit. Zur Beantwortung der ersten Frage befasst sich Kapitel 2 mit der Darstellung von Grundzügen einer entscheidungs- und produktionstheoretisch fundierten Performancemessung. Hier werden zu Beginn der Performancebegriff konkretisiert und die entscheidungsorientierte Produktionstheorie vorgestellt (Abschnitt 2.1). Anschließend wird auf Ziele und Indikatoren eingegangen, die eine zentrale Rolle bei einer Performancemessung spielen (Abschnitt 2.2). Die Ausführungen münden in ein allgemeines Vorgehensmodell für eine entscheidungs- und produktionstheoretisch fundierte Performancemessung mit den drei Phasen Konzeption, Analyse und Anwendung (Abschnitt 2.3). Das Kapitel endet – wie auch die darauf folgenden – mit einem Zwischenfazit (hier Abschnitt 2.4). Strukturiert nach dem entworfenen Vorgehensmodell widmet sich Kapitel 3 der zweiten Frage und damit Grundzügen einer Performancemessung im Hochschulbereich. Im Hinblick auf die Konzeption einer solchen werden potenzielle Adressaten und deren mögliche Informationsinteressen sowie verschiedene Untersuchungsbereiche vorgestellt (Abschnitt 3.1). Dem folgen, der Analysephase einer Performancemessung zugeordnet, eine detaillierte Auseinandersetzung mit den Zielen von Forschung und Lehre sowie eine produktionstheoretische Betrachtung, bei der verschiedene Merkmale der Forschungs- und Lehrproduktion hervorge-

Kapitel 1: Einleitung

5

hoben und erörtert werden, außerdem eine Beschreibung allgemeiner Aspekte der Indikatorenbildung (Abschnitt 3.2). Schließlich werden für die Phase der Anwendung einer Performancemessung im Hochschulbereich Aspekte der Datenerhebung, Auswertung sowie Ergebnisweitergabe thematisiert (Abschnitt 3.3). Im Anschluss an die vermittelten Grundzüge werden in Kapitel 4 gemäß der dritten Frage einzelne Indikatoren zur Messung der Forschungsperformance untersucht. Nach einem kurzen Überblick über dafür im Allgemeinen relevante Größen (Abschnitt 4.1) werden zunächst einfache Modellüberlegungen zur Relevanz von Drittmittelindikatoren präsentiert, um zu verdeutlichen, unter welchen Bedingungen Fördergelder als Indikator für Forschungsleistungen dienen können, obwohl sie als Forschungsmittel Input der Leistungserbringung darstellen (Abschnitt 4.2).4 Danach sind Drittmittel- und weitere Forschungsindikatoren, zum Beispiel bibliometrische Indikatoren und Indikatoren auf Basis von Erfindungen, Gegenstand einer umfassenden Betrachtung, die unter anderem jeweils ihr Abbildungspotenzial, ihre Konstruktion und ihre Probleme beinhaltet (Abschnitt 4.3). Kapitel 5 setzt sich mit der vierten Frage und damit dem CHE-Forschungsranking BWL 2005 auseinander. Es beginnt mit einer Kurzvorstellung des Rankings (Abschnitt 5.1) und knüpft dann an dem zuvor aufgestellten und allgemein auf den Hochschulbereich angewandten Vorgehensmodell an, um das Ranking systematisch zu präsentieren und kritisch zu würdigen (Abschnitte 5.2 bis 5.4). Zusätzlich wird ein Einblick in die Methodik des CHE-Forschungsrankings BWL 2008 gegeben (Abschnitt 5.5). Zur Beantwortung der letzten Frage erfolgen in Kapitel 6 empirische Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche auf Basis der Daten des CHEForschungsrankings BWL 2005. Dazu gehören eine Basisanalyse, die über die Ausstattung betriebswirtschaftlicher Fachbereiche mit wissenschaftlichem Personal und über deren Leistungserbringung in der Forschung informiert (Abschnitt 6.1), sowie eine Analyse der Zusammenhänge zwischen den vom CHE verwendeten Leistungskriterien und die Identifizierung typischer Forschungsprofile (Abschnitt 6.2). Es schließt sich eine Betrachtung der Forschungsreputation der Fachbereiche im Zusammenhang mit ihren faktenbezogenen Leistungen an (Abschnitt 6.3). Eine weitere Analyse beschäftigt sich mit der Produktionsfunktion

4

Die vorgestellten Modellüberlegungen wurden in dem von Rassenhövel und Dyckhoff (2006) verfassten Beitrag „Die Relevanz von Drittmittelindikatoren bei der Beurteilung der Forschungsleistung im Hochschulbereich“ in dem Buch „Fortschritt in den Wirtschaftswissenschaften“ veröffentlicht.

6

Kapitel 1: Einleitung

betriebswirtschaftlicher Forschung, insbesondere deren Skalenertragseigenschaften (Abschnitt 6.4).5 Die Arbeit schließt mit Kapitel 7, in dem die wichtigsten Ergebnisse resümiert und Ansatzpunkte für weitere Forschung zur Performancemessung im Hochschulbereich aufgezeigt werden.

5

Die Untersuchung zur Produktionsfunktion betriebswirtschaftlicher Forschung erfolgte im Rahmen des DFGProjekts „Advanced Data Envelopment Analysis: Methodik des Performance Measurement mit einem verallgemeinerten anwendungsorientierten DEA-Konzept“. Sie wurde unter dem Titel „Empirische Produktionsfunktion betriebswirtschaftlicher Forschung: Eine Analyse der Daten des Centrums für Hochschulentwicklung“ in der Zeitschrift für betriebswirtschaftliche Forschung veröffentlicht (vgl. Dyckhoff/Rassenhövel/Sandfort (2009)). Die wesentliche Erkenntnis der Untersuchung findet sich außerdem in dem auf die betriebs- und volkswirtschaftliche Forschung bezogenen Aufsatz „Skalenerträge der Forschung wirtschaftswissenschaftlicher Fachbereiche – Empirische Ergebnisse und ihre Interpretation“ in der Zeitschrift Hochschulmanagement (vgl. Dyckhoff et al. (2008)).

2

Grundzüge einer entscheidungs- und produktionstheoretisch fundierten Performancemessung

In diesem Kapitel werden allgemeine Grundzüge einer entscheidungs- und produktionstheoretisch fundierten Performancemessung dargestellt. Nach der Erörterung der beiden Performancedimensionen Effektivität und Effizienz sowie der Einbettung der Performancemessung in die entscheidungsorientierte Produktionstheorie (Abschnitt 2.1) wird auf Ziele und Indikatoren sowie daraus jeweils erstellte Systeme eingegangen (Abschnitt 2.2). Dem schließen sich die Vorstellung eines allgemeinen Vorgehensmodells zur indikatorengestützten Performancemessung (Abschnitt 2.3) und ein Zwischenfazit an (Abschnitt 2.4).

2.1

Performance und entscheidungsorientierte Produktionstheorie

2.1.1

Effektivitäts- und Effizienzdimension der Performance

Die seit mehreren Jahren unter dem Terminus Performance behandelten Bewertungsmaßstäbe der Effektivität und Effizienz6 zählen zu den wichtigsten Parametern betrieblichen Handelns und spielen daher in der Betriebswirtschaftslehre eine große Rolle. Beide werden allerdings innerhalb dieser Wissenschaftsdisziplin unterschiedlich definiert und heterogen verwendet.7 Nicht einmal in einzelnen betriebswirtschaftlichen Teilgebieten besteht Konsens über ihre Bedeutung.8 Wohl wurde in der Literatur mehrfach versucht, die verschiedenen Auffassungen zusammenzustellen und durch deren kritische Reflexion zu einer Klärung der Begriffe beizutragen; doch scheinen diese Ansätze bis heute wenig bewirkt zu haben.9 Umso wichtiger ist daher im Zuge ihrer Benutzung eine inhaltliche Präzisierung. Im Folgenden werden dafür die entscheidungsorientierten Definitionen von DYCKHOFF und AHN herangezogen.10 Sie weisen nicht nur eine hohe Kompatibilität zum gängigen Sprachgebrauch von Effektivität und Effizienz in Wissenschaft und Praxis auf, sondern sind auch in besonderem Maße für eine entscheidungs- und produktionstheoretisch fundierte Messung der Leistungserbringung geeignet.

6

7

8

9

10

Zu dieser Interpretation des Performancebegriffs vgl. z.B. Gilles (2005), S. 20, Gleich/Haindl (1996), S. 263, Lohman/Fortuin/Wouters (2004), S. 268, sowie Neely/Gregory/Platts (1995), S. 80. Eine ausführliche Darstellung verschiedener Begriffsauffassungen in der betriebswirtschaftlichen Literatur findet sich in Lasshof (2006), S. 11ff. Vgl. z.B. den nach Teilgebieten der BWL strukturierten Überblick über Verwendungsformen des Terminus Effizienz in der Wissenschaft in Ahn (2003), S. 90ff., sowie die Gegenüberstellung verschiedener Werbeeffizienzleitbilder in der (Marketing-)Praxis in Steffenhagen (1999). Vgl. Becker/Benz (1997), S. 657f., und Dyckhoff/Ahn (2001), S. 112, sowie die dort jeweils angegebene Literatur. Vgl. Dyckhoff/Ahn (2001), S. 115.

S. Rassenhövel, Performancemessung im Hochschulbereich, DOI 10.1007/978-3-8349-8733-4_2, © Gabler Verlag | Springer Fachmedien Wiesbaden GmbH 2010

8

Kapitel 2: Grundzüge einer Performancemessung

Gegenstand dieser Präzisierung sind die Handlungsalternativen einer spezifischen Entscheidungssituation. Sie werden im Hinblick auf die Erreichung der durch die mit ihnen angestrebten Zustandsveränderungen (Ziele) betrachtet. Dabei fokussiert Effektivität ausschließlich auf die als Zwecke bezeichneten und durch primäre Ziele konkretisierten ursprünglichen Beweggründe des Handelns. Effektiv ist eine Handlung dann, wenn die aus ihr resultierenden Zustandsveränderungen den beabsichtigten Zwecken entsprechen. Effizienz bezieht sich dagegen auf alle mit einer Handlung verbundenen Ziele, also auf jegliche, eventuell unbeabsichtigte Eigenschaften zukünftiger Zustände. Neben den Zwecken sind daher ebenfalls der mit einer Handlung einhergehende Mitteleinsatz sowie die erwünschten und unerwünschten Nebenfolgen als sekundäre Ziele zu betrachten. Dadurch wird das Effizienzkriterium der Tatsache gerecht, dass die originären Handlungsziele nicht ohne weitere Vor- und Nachteile realisiert werden können. Gemäß dem von MAX WEBER postulierten Konstrukt der Zweckrationalität11 berücksichtigt es die Ziele in dreierlei Hinsicht: durch Abwägung der Zwecke untereinander sowie der Zwecke gegen die Mittel und gegen die Nebenfolgen. Abgesehen von der Betrachtung sämtlicher Ziele bezieht sich die Effizienz im Gegensatz zur Effektivität zudem grundsätzlich auf den Vergleich mehrerer Handlungsalternativen. Eine solche gilt schließlich als effizient, wenn sie eine Zustandsveränderung bewirkt, die bei Wahl einer anderen Alternative im Hinblick auf kein Ziel eine Verbesserung erlaubt, ohne gleichzeitig bei einem anderen Ziel zu einer Verschlechterung zu führen.12 Die enge Verbindung von Effektivität und Effizienz lässt sich leicht nachvollziehen, da beiden Bewertungsmaßstäben die Zwecke einer Handlung als primäre Ziele zugrunde liegen. Es ist aber offensichtlich, dass effektive Handlungen nicht zwangsläufig effizient sein müssen, sondern stattdessen bei ihrer Ausführung Verschwendungen bei den Zwecken, Mitteln und Nebenfolgen auftreten können. Ebenso ergibt sich umgekehrt aus der Effizienz einer Handlung nicht unbedingt, dass sie auch effektiv ist, etwa wenn die Mittel so restriktiv eingesetzt und unerwünschte Nebenfolgen derart vermieden werden, dass die Zwecke nicht mehr erreichbar sind.13 Mit Blick auf vielfach intensiven Wettbewerb und knappe Ressourcen sind daher im Rahmen einer umfassenden betriebswirtschaftlichen Bewertung beide Aspekte relevant,14 sodass sie häufig zusammen behandelt und unter den Begriff Performance gefasst werden.

11 12 13 14

Vgl. Weber (1976), S. 13. Vgl. Dyckhoff/Ahn (2001), S. 112ff. Vgl. Dyckhoff/Ahn (2001), S. 115. So führt beispielsweise Plinke den Wettbewerbsvorteil eines Unternehmens auf Effektivitäts- und Effizienzvorteile zurück (vgl. Plinke (2000), S. 86f.).

Abschnitt 2.1: Performance und entscheidungsorientierte Produktionstheorie

9

Durch die Einschränkung auf bestimmte Zielkategorien lassen sich spezielle Effektivitätsund Effizienzkonzepte definieren. So führt der Bezug auf ausschließlich umweltbezogene Ziele zur Öko-Effektivität und Öko-Effizienz und die Beleuchtung allein monetärer Aspekte lässt auf die ökonomische Zweckmäßigkeit sowie die – traditionell im Rechnungswesen behandelte – (wertmäßige) Wirtschaftlichkeit einer Handlung schließen. Das Spektrum solch unterschiedlicher Partialbetrachtungen ist sehr vielfältig, denn der Fokus kann auf einem Zweck oder auf mehreren Zwecken liegen, Nebenfolgen können beachtet oder vernachlässigt werden, wie auch Mittel als Ziele interpretiert werden können oder nicht. Neben der Auswahl von Zielen führt auch die Betrachtung einer bestimmten Teilmenge der in einer spezifischen Entscheidungssituation grundsätzlich relevanten Handlungsalternativen zu partiellen Effektivitäten und Effizienzen. Die Fokussierung auf nur eine einzige Handlungsmöglichkeit ist allerdings prinzipiell nur dann möglich, wenn ausschließlich ihre Zweckerfüllung von Interesse ist, da die Ermittlung von Effizienz definitionsgemäß der Betrachtung mindestens zweier Alternativen bedarf. Welche Ziele und Handlungsalternativen in einer bestimmten Entscheidungssituation von Bedeutung sind, ist letztlich abhängig vom Realitätsausschnitt des jeweiligen Betrachters. Dabei liegt es auch in seinem Ermessen, wie einzelne Aspekte interpretiert werden, ob sie zum Beispiel Zwecke oder erwünschte Nebenfolgen, Mitteleinsatz oder unerwünschte Nebenfolgen darstellen.15 Da vollkommen effektive und effiziente Handlungen oftmals unrealistisch sind, erscheint die Bestimmung von (In-)Effektivitäts- und (In-)Effizienzgraden sinnvoll. Während das Ausmaß der Effektivität einer Handlung über die angestrebten zweckbezogenen Zustandseigenschaften determiniert wird, hängt das Ausmaß ihrer Effizienz von den Zielausprägungen der jeweils „besten“ betrachteten Alternative ab. Streng genommen können Effektivitätsgrade nur für solche Ziele ermittelt werden, bei denen ein bestimmtes Ergebnis angestrebt wird (Punktziele) oder denen ein festes Anspruchsniveau zugrunde liegt (Satisfizierungsziele). Bei Extremierungszielen, die eine Maximierung oder Minimierung von Ergebnissen bedeuten, ist dagegen eine absolute Zweckerfüllung und daher im Prinzip auch die Bestimmung von Effektivitätsgraden unmöglich. Um in solchen Fällen dennoch Aussagen über das Ausmaß der Effektivität einer Handlungsmöglichkeit treffen zu können, müssen Zustandseigenschaften fixiert werden, anhand derer sich die durch die betrachtete Alternative bewirkten Zielerreichungen messen lassen. Eine solche Festlegung kann einer Umformulierung der Ziele zu Satisfizierungszielen entsprechen, wobei die Überschreitungen der Anspruchsniveaus er-

15

Vgl. Dyckhoff/Ahn (2001), S. 114. Die Abhängigkeit der Begriffe Effektivität und Effizienz von den betrachteten Zwecken und Zielen sowie den in Frage kommenden Handlungsalternativen heben Dyckhoff und Ahn als „doppelte Relativität der Begriffsinhalte“ hervor (vgl. Dyckhoff/Ahn (2001), S. 114).

10

Kapitel 2: Grundzüge einer Performancemessung

wünschte Nebenfolgen darstellen und insofern für die Effizienz, nicht aber für die Effektivität relevant sind.16 Darüber hinaus ist es natürlich auch möglich, Punktziele zu bilden. Werden mehrere Handlungsalternativen betrachtet, können entsprechende Referenzwerte zum Beispiel an den jeweils besten realisierten Zielausprägungen festgemacht werden. Eine weitere spezielle Möglichkeit der Messung von Effektivität beruht auf ihrer Interpretation als Zweckeffizienz. Dann stellt eine von mehreren Handlungen eine Referenzalternative zur Festlegung von Effektivitätsgraden dar, und zwar diejenige, die eine Zustandsveränderung bewirkt, welche bei Wahl einer anderen Alternative im Hinblick auf keinen Zweck eine Verbesserung erlaubt, ohne die jeweils anderen Zwecke zu beeinträchtigen.17 Auf Basis solch differenzierter Bewertungen sind fundierte Ex-ante- und Ex-post-Performanceanalysen durchführbar. So vermögen einerseits Entscheidungen über bezüglich ihrer Zielsetzungen optimale Handlungsoptionen unterstützt, andererseits aussagekräftige Urteile über bereits durchgeführte Handlungen gefällt werden. Mehrere für eine Entscheidung bzw. nachträgliche Bewertung relevante Alternativen können in verschiedenen Beziehungen zueinander stehen: •

Bei Zeitvergleichen werden gleichartige Handlungsalternativen unterschiedlicher Perioden gegenübergestellt. Sie ermöglichen, aktuell erreichte Effektivitäts- und Effizienzwerte mit vergangenen Werten zu vergleichen wie auch Entwicklungen über mehrere Zeitperioden sichtbar zu machen.

•

Organisationsvergleiche können sowohl organisationsintern als auch -extern durchgeführt werden. Erstgenannte liefern Informationen über die Performance einzelner Organisationsmitglieder oder -einheiten, wie Filialen und Abteilungen. Externe Vergleiche geben dagegen Aufschluss über die Effektivität und Effizienz konkurrierender (Teil-)Organisationen oder gleichartiger Handlungen branchenübergreifender Organisationen. Derartige Vergleiche und die weitere Auseinandersetzung mit dem jeweils Best-Praktizierenden werden auch als Benchmarking bezeichnet.18

•

Bei Soll-Ist-Vergleichen werden Handlungen mit Vorbildfunktion in die Analysen einbezogen. Diese können beispielsweise auf eigens gestellten Ansprüchen oder existierenden Normen beruhen. Derart angestrebten (Soll-)Werten sind die tatsächlich eingetretenen Zielausprägungen gegenüberzustellen.

16

17 18

Zu diesem Verständnis von Effektivität als Erfüllung von Anspruchsniveaus hinsichtlich zweckbezogener Ziele vgl. Dyckhoff/Ahn (1998), S. 56ff. Vgl. außerdem Dyckhoff (2006a), S. 185f. Zu diesem Verständnis von Effektivität als Zweckeffizienz vgl. Dyckhoff/Gilles (2004), S. 779. Zum Benchmarking vgl. z.B. Camp (1994) und Töpfer (1997).

Abschnitt 2.1: Performance und entscheidungsorientierte Produktionstheorie

2.1.2

11

Entscheidungsorientierte Produktionstheorie als Bezugsrahmen einer Performancemessung

Eine Messung der wie im vorigen Abschnitt aufgefassten Performance bedarf einer systematischen Untersuchung aller in einer spezifischen Situation aus Sicht des Bewerters relevanten Ziele, Handlungsalternativen und damit verbundenen Zustandsveränderungen. Im Kontext von Produktionssystemen bietet dafür die entscheidungsorientierte Produktionstheorie einen entscheidungs- und zugleich produktionstheoretisch fundierten Bezugsrahmen, vor allem weil sie den Bewerter als subjektiven Entscheider explizit mit in die Analysen einbezieht und die Leistungserbringung hinsichtlich der drei genannten Aspekte (Ziele, Handlungsalternativen und Zustandsveränderungen) betrachtet. Die entscheidungsorientierte Produktionstheorie basiert auf einer Verallgemeinerung der traditionellen Produktionstheorie durch Integration in die Entscheidungstheorie als Basistheorie der modernen Wirtschaftswissenschaften. Grundstein dieser Erweiterung ist der von DYCKHOFF

(1994) entwickelte aktivitätsanalytische Ansatz für die „Theorie betrieblicher Leistungs-

erbringung“.19 Die darin implizit enthaltene Entscheidungsorientierung wurde von ESSER (2001) expliziert und erweitert, schließlich von DYCKHOFF für die entscheidungsorientierte Produktionstheorie ausgearbeitet.20 In dieser verallgemeinerten – aber dennoch speziellen – Produktionstheorie21 bleibt der Fokus des traditionellen Ansatzes auf den Prozess der Objekttransformation zwecks Leistungserbringung grundsätzlich erhalten. Eine Produktion wird dabei aufgefasst als eine qualitative, quantitative, räumliche oder zeitliche Veränderung von Objekten, die von Menschen veranlasst und im Hinblick auf die angestrebte, der Nutzenerhöhung (Wertschöpfung) dienende Leistung zielgerichtet gelenkt und systematisch vollzogen wird. Diese Transformationen dienen im Gegensatz zu der im Rahmen der Konsumtheorie betrachteten Haushaltsproduktion ausschließlich der Befriedigung fremder oder der (nur) mittelbaren – etwa zeitlich verschobenen – Befriedigung eigener Bedürfnisse, aber nicht der direkten Konsumtion.22 Während konventionelle produktionstheoretische Überlegungen meist rein mengen- und kostenbezogen sind – weshalb herkömmlich auch von der Produktions- und Kostentheorie ge-

19

20

21

22

Ursprünglich als „Theorie betrieblicher Wertschöpfung“ bezeichnet (vgl. Dyckhoff (1994)). Dyckhoff spricht heute von der Produktion als „Leistungserbringung“, die zusammen mit dem Handel (Leistungsaustausch) die betriebliche Wertschöpfung ausmacht (vgl. Dyckhoff/Spengler (2007), S. 3.). Zur Konzeption der entscheidungsorientierten Produktionstheorie vgl. insbesondere Dyckhoff (2003a), außerdem Dyckhoff (2003b), S. 718ff., sowie Dyckhoff (2006a), S. 169ff. Die Unterscheidung zwischen einer allgemeinen Produktionstheorie und verschiedenen speziellen Produktionstheorien für spezifische Problemstellungen wird von Dyckhoff (2003b) vorgenommen. Vgl. Dyckhoff (2003a), S. 16, bzw. Esser (2001), S. 61, sowie ergänzend Dyckhoff (2003b), S. 709ff.

12

Kapitel 2: Grundzüge einer Performancemessung

sprochen wird – ermöglicht die entscheidungsorientierte Produktionstheorie die Berücksichtigung auch anderer – insbesondere nicht wirtschaftlicher – Ziele eines Transformationsprozesses, wie zum Beispiel solche ökologischer oder sozialer Art. Dies gelingt durch die direkte Einbeziehung des dispositiven Faktors Produzent oder Produktionsmanager bzw. anderer Personen oder Personengruppen, aus deren Perspektive eine produktionstheoretische Betrachtung erfolgt und die somit die Rolle eines Entscheiders einnehmen. Der Transformationsprozess selber wird im Sinne von BAMBERG und COENENBERG als Interaktionsprozess zwischen dem Objektsystem der Produktion und dem Subjektsystem des Entscheiders – wie er in Abbildung 2-1 skizziert ist – aufgefasst.23

Subjektsystem „Entscheider“ Zielsystem Wertprämissen

Wertprämissen

Informationssystem

Faktenprämissen

Entscheidungslogik

Informationen

Aktivitäten

Entscheidungsfeld Objektsystem „Produktionsprozess“

24

Abbildung 2-1: Produktionsprozess als Entscheidungsprozess

Das Objektsystem beinhaltet die unter dem Begriff Entscheidungsfeld zusammengefassten realen Bewertungsfaktoren des Produktionsprozesses. Dazu gehören die Handlungsalternativen, die Umfeldzustände sowie die Ergebnisfunktion.25

23 24 25

Vgl. hierzu Dyckhoff (2003a), S. 16ff., und Bamberg/Coenenberg (2004), S. 1f. Modifiziert nach Bamberg/Coenenberg (2004), S. 1, und Dyckhoff (2003a), S. 17. Vgl. für Entscheidungsprobleme allgemein Bamberg/Coenenberg (2004), S. 15ff.

Abschnitt 2.1: Performance und entscheidungsorientierte Produktionstheorie

•

13

Die Handlungsalternativen stellen die tatsächlich realisierbaren Aktivitäten dar, das heißt diejenigen Produktionen, die technisch prinzipiell möglich sind und zugleich den in externen Rahmenbedingungen liegenden Restriktionen genügen.26

•

Der Zustandsraum umfasst die möglichen Umfeldkonstellationen einer Entscheidungssituation. Sie ergeben sich aus den Faktoren, die nicht im Einflussbereich des Produzenten bzw. Produktionsmanagers liegen, aber den Erfolg einer Transformation mit determinieren.27

•

Die Ergebnisfunktion beruht auf den Gesetzmäßigkeiten, nach denen sich das Entscheidungsfeld unter dem Einfluss einer Aktivität und aus sich selbst heraus verändert. Sie ordnet jeder Kombination aus Produktionsmöglichkeit und Umfeldzustand die jeweiligen Handlungskonsequenzen zu, erfasst also alle aus einer Aktivität resultierenden Veränderungen. Diese Ergebnisse können aus Sicht der Produktionstheorie ganz allgemein klassifiziert werden in –

die für die Realisierung des Transformationsprozesses eingesetzten Mittel und dabei

–

die Bedingungskonstellationen der Transformation (Prozess),

–

die den Transformationsprozess unmittelbar abschließenden Ergebnisse (Output)

–

die Wirkungen des Transformationsprozesses außerhalb des Produktionssystems

verbrauchten Ressourcen (Input),

und

(Outcome). Neben diesen Ergebnisarten, die sich aus der Struktur eines um den Outcome erweiterten Produktionsmodells ergeben,28 können bei einer dynamischen und stochastischen Betrachtung weitere Ziele, zum Beispiel zeit- und sicherheitsbezogene, zusätzliche Ergebnisklassen bilden.29 Dieses objektive Entscheidungsfeld wird im Hinblick auf die Zwecke und sonstigen Ziele des Entscheiders gemäß seinen damit verbundenen Wertprämissen sowie seiner Realitätswahrnehmung in seinem individuellen Informationssystem abgebildet. Es entsteht eine subjektive Bewertungsgrundlage, die zwar aus den objektiven Bestandteilen des Entscheidungsfelds hervorgeht, diese aber nur mehr oder weniger vollständig und wirklichkeitsgetreu wiedergibt. Durch logische Verknüpfungen der sich ergebenden faktischen Prämissen mit weiteren vom

26 27

28 29

Vgl. Dyckhoff (2003a), S. 18. Sofern es sich – wie in der traditionellen Produktionstheorie üblich – um Entscheidungen bei Sicherheit handelt, ist nur ein einziger Umfeldzustand relevant, der letztlich ignoriert werden kann (vgl. Dyckhoff (2006a), S. 170). Ein solches Produktionsmodell findet sich bei Rassenhövel/Dyckhoff (2006), S. 93. Vgl. Dyckhoff (2003a), S. 28.

14

Kapitel 2: Grundzüge einer Performancemessung

Zielsystem gelieferten Wertprämissen erfolgt schließlich die Bewertung der Produktionsaktivitäten. Dabei wird die individuelle Ergebnisfunktion des Entscheiders seinen Präferenzen hinsichtlich der Ergebnisausprägungen entsprechend in eine subjektive, in der Regel mehrdimensionale Nutzenfunktion überführt. Anhand der Bewertungsergebnisse können so im Rahmen einer deskriptiven Perspektive Prognosen erstellt sowie tatsächliche Produktionsentscheidungen beschrieben und auf dieser Basis erklärt werden. Außerdem ist es dem Entscheider in einer präskriptiven Sicht möglich, subjektiv zielkonforme Aktivitäten, die sich im Objektsystem niederschlagen, weitgehend rational zu ergreifen.30

2.2

Ziele und Indikatoren

In Abschnitt 2.1.1 wurde deutlich, dass jede Performancemessung auf Basis der mit einer Handlungsalternative angestrebten Zustandsveränderungen erfolgt. Für eine solche müssen also ausgehend vom Zweck alle für die spezifische Entscheidungssituation relevanten Ziele identifiziert werden, worauf in Abschnitt 2.2.1 eingegangen wird. Um die Zielerreichungsgrade bestimmen zu können, ist die Konkretisierung und Operationalisierung der Ziele erforderlich. Dabei stellen Indikatoren wichtige Hilfsgrößen dar, die in Abschnitt 2.2.2 behandelt werden.

2.2.1

Ziele

2.2.1.1 Zielformulierung und -anforderungen Eine besondere Bedeutung bei der Zielanalyse im Rahmen einer Performancemessung hat die Bestimmung der Produktionszwecke, sind sie doch Kern einer Effektivitäts- und Bestandteil jeder Effizienzermittlung. Gemäß der Produktionsdefinition in Abschnitt 2.1.2 liegen die Zwecke einer Produktion ganz allgemein in einer intendierten Nutzenstiftung durch Befriedigung fremder Bedürfnisse. Für eine konkret betrachtete Produktion ergeben sie sich also aus den Bedürfnissen und Motiven der Leistungsempfänger. Ausgehend von diesen primären Zielen sind die mit der Erbringung einer Leistung verbundenen sekundären Ziele zu ermitteln. Sie lassen sich von den Interessen und Ansprüchen sämtlicher Stakeholder ableiten, zu denen all diejenigen Personen und Personengruppen gehören, die in Beziehung zu dem jeweiligen Produktionssystem stehen, und zwar weil sie von diesem beeinflusst werden bzw. selber Einfluss auf dieses ausüben.31

30 31

Vgl. Dyckhoff (2003a), S. 17f. und 28, sowie Bamberg/Coenenberg (2004), S. 2ff. Vgl. die allgemeine Definition von Stakeholdern bei Freeman (1984), S. 25.

Abschnitt 2.2: Ziele und Indikatoren

15

Aus der Gesamtheit aller für eine Performancemessung relevanten Effektivitäts- und Effizienzziele ist ein Zielsystem zu bilden. Neben den Zielgrößen sind dafür die zugehörigen Präferenzrelationen zu erfassen, mit denen die relative Vorziehenswürdigkeit von Handlungskonsequenzen zum Ausdruck gebracht wird. Dazu gehören stets Vorschriften über das angestrebte Ausmaß der Zielgrößen (Höhenpräferenzen) sowie je nach Entscheidungskontext Aussagen über die Beziehungen von Ergebnissen, die konfliktäre Ziele betreffen (Artenpräferenzen), auf verschiedene Zeitpunkte fallen (Zeitpräferenzen) oder aufgrund unvollständiger Informationen risiko- bzw. unsicherheitsbehaftet sind (Risiko- bzw. Unsicherheitspräferenzen).32 Um ein Zielsystem als Fundament einer rationalen Effektivitäts- und Effizienzmessung verwenden zu können, sollte es den im Allgemeinen an Ziele bzw. Zielsysteme gestellten Anforderungen genügen, von denen die besonders wichtig erscheinenden in Abbildung 2-2 aufgelistet sind.33

Anforderungen an Ziele

Anforderungen an Zielsysteme

Fundamentalität

Vollständigkeit

Messbarkeit

Redundanzfreiheit Präferenzunabhängigkeit Einfachheit

Abbildung 2-2: Anforderungen an Ziele und Zielsysteme

Einzelne Ziele haben insbesondere die Kriterien der Fundamentalität und der Messbarkeit zu erfüllen. Fundamentalziele finden um ihrer selbst willen Beachtung – im Unterschied zu Instrumentalzielen, die keinen eigenen Wert besitzen, aber förderlich für die Erreichung anderer, fundamentaler Ziele sind. Instrumentalziele sollten insbesondere dann keine Verwendung in einer Zielstruktur finden, wenn die Erreichung des jeweils korrespondierenden Fundamentalziels über die Verfolgung der Instrumentalziele nicht mit Gewissheit vorhersehbar ist und sich daher unterstellte Wirkungszusammenhänge im Nachhinein als falsch erweisen

32 33

Vgl. generell Bamberg/Coenenberg (2004), S. 28ff. Zu diesen Anforderungen vgl. z.B. Eisenführ/Weber (2003), S. 56ff., und Keeney/Raiffa (1976), S. 50ff.

16

Kapitel 2: Grundzüge einer Performancemessung

können. Besonders problematisch ist der Einsatz von Instrumentalzielen zudem, wenn ein solches auf ein bestimmtes Fundamentalziel positiv und gleichzeitig auf ein anderes negativ wirkt, sodass die Präferenzen im Hinblick auf die Fundamentalziele nicht klar abgebildet werden können.34 Die Forderung der Messbarkeit bezieht sich auf die Erfassung der zielentsprechenden Handlungskonsequenzen. Ziele müssen so präzise formuliert sein, dass sich ihre Erreichungsgrade möglichst treffend und eindeutig abbilden lassen. Dazu gehört jeweils die Festlegung von Inhalt, anzustrebendem Ausmaß und Zeitbezug.35 Zu den systembezogenen Ansprüchen gehören Vollständigkeit, Redundanzfreiheit, Präferenzunabhängigkeit und Einfachheit. Die Forderung nach Vollständigkeit eines Zielsystems betrifft die Erfassung aller bewertungsrelevanten Aspekte einer Entscheidungssituation. Nur wenn alle verfolgten Zielgrößen und die dazugehörigen Präferenzrelationen vorliegen, ist es möglich, Handlungsalternativen im Hinblick auf die bedeutsamen Zustandsveränderungen zu beschreiben und anhand dieser zu bewerten. Dass nicht nur fehlende, sondern auch mehrfach angesprochene Aspekte die Qualität eines Zielsystems beeinträchtigen, wird mit dem Anspruch auf Redundanzfreiheit berücksichtigt. Demnach darf ein inhaltlicher Aspekt nicht gleichzeitig in mehreren Zielen berücksichtigt werden, um Verzerrungen durch deren (unbewusst) zu hohe Gewichtungen bei der Bewertung von Handlungsalternativen zu vermeiden. Die Forderung nach Präferenzunabhängigkeit ist erfüllt, wenn ein Ziel ohne Berücksichtigung der anderen Ziele bewertet werden kann. Sie stellt eine wichtige Voraussetzung für die Anwendung einfacher Modelle zur Bewertung von Handlungsalternativen dar und bezieht sich sowohl auf die zielspezifischen Ausprägungen als auch auf die Gewichtung der Ziele untereinander. So sollten zum einen die Präferenzen bezüglich der Ausprägungen eines Ziels unabhängig von den Ausprägungen anderer Ziele sein. Zum anderen sind komplementäre Interaktionen, bei denen Ziele sich einseitig oder gegenseitig begünstigen, sowie substitutionale Beziehungen, bei denen die Erfüllung eines Ziels die Verfolgung anderer Ziele unbedeutender macht, zu vermeiden.36 Der Anspruch der Einfachheit besagt, dass ein Zielsystem möglichst wenige Ziele umfassen sollte, um den Aufwand für die Präferenzstrukturierung und die Bewertung der Handlungsalternativen gering zu halten. Dazu können gegebenenfalls mehrere Ziele zu einem übergeordneten, messbaren Ziel aggregiert werden, sodass eine hierarchische Zielstruktur entsteht.37 Eine solche kann ferner dazu dienen, die anderen an Zielsysteme gestellten Anforderungen besser überprüfen zu können.

34 35 36 37

Zu Fundamental- und Instrumentalzielen vgl. auch von Nitzsch (2002), S. 89ff. Vgl. zu diesen drei Zielmerkmalen z.B. Adam (1996), S. 542f., und Steffenhagen (2008), S. 60f. Vgl. hierzu insbesondere von Nitzsch (2002), S. 165f. Zur Erstellung hierarchischer Zielsysteme vgl. Eisenführ/Weber (2003), S. 62ff.

Abschnitt 2.2: Ziele und Indikatoren

17

2.2.1.2 Abbildung von Zielen durch Ergebnisgrößen Um die als relevant erachteten Ziele einer Leistungserbringung messbar zu machen, müssen sie möglichst gut mittels geeigneter Ergebnisgrößen abgebildet werden. Da die generell möglichen Beziehungen zwischen Zielen auf der einen und Input-, Prozess-, Output- bzw. Outcomeergebnissen auf der anderen Seite vielschichtiger sind als gemeinhin angenommen, werden sie in Abbildung 2-3 illustriert und im Weiteren kurz erläutert.

ertragsorientiert

Zweck(e) und erwünschte Nebenfolgen

Ziele aufwandsorientiert

Ergebnisse

Mitteleinsatz

Input

unerwünschte Nebenfolgen

Prozess

Output

Outcome

Abbildung 2-3: Ziel- und Ergebnisklassen einer Leistungserbringung

Zwar wird der Mitteleinsatz einer Produktion stets durch Inputgrößen repräsentiert, ertragsorientierte Ziele, also Zwecke und erwünschte Nebenfolgen, wie auch aufwandsorientierte Ziele in Form unerwünschter Nebenfolgen können sich dagegen in allen Ergebnisteilen der Produktion manifestieren.38 Für Zwecke lässt sich dies gut anhand solcher Leistungen veranschaulichen, deren primäre Nutzenstiftung in einem bestimmten Teil des jeweiligen Produktionssystems gesehen werden kann. Als typische inputorientierte Produktionen sind etwa ein Rettungsdienst und eine Müllentsorgung interpretierbar. Während eine Nutzenstiftung bei Ersterem bereits durch die Bereitstellung von Rettungsfahrzeugen und -personal erfolgt, deren weiterer Einsatz nur im Notfall erforderlich ist, wird ein Nutzen der Müllentsorgung erst mit der Übernahme von Abfällen durch die Müllentsorger generiert. In beiden Fällen beziehen sich die den genannten Zwecken entsprechenden Ziele auf die Inputs der Transformation. Bei prozessorientierten

38

In der traditionellen Produktionstheorie wird diese Vielfalt der Zusammenhänge zwischen den Zielen und den Ergebnissen erbrachter Leistungen regelmäßig ignoriert, indem lediglich Inputs als Aufwände und Outputs als Erträge aufgefasst werden.

18

Kapitel 2: Grundzüge einer Performancemessung

Produktionen, wie üblicherweise eine Theateraufführung und ein Konzert, stehen dagegen die Prozesserlebnisse der Leistungsempfänger, hier der Theater- oder der Konzertbesucher, und damit prozessbezogene Ergebnisgrößen im Vordergrund. Outputorientierte Produktionen richten sich wiederum auf die unmittelbar aus den Prozessen resultierenden Ergebnisse. Dies können etwa die bei einer Fahrzeugproduktion hergestellten Autos oder die bei einer Werbeproduktion erzeugten Werbeplakate sein.39 Die zweckbezogenen Ziele von Produktionen müssen sich nicht direkt auf ihre Inputs, Prozesse oder Outputs beziehen, sie können auch in den damit implizierten Wirkungen liegen, die als Outcome außerhalb der Produktionssysteme entstehen. Dann äußern sie sich zum Beispiel in der mit einer Müllentsorgung verbundenen Umweltentlastung oder in der mit einer Werbekampagne erzeugten Aufmerksamkeit. Analog den Zwecken einer Produktion mögen sich erwünschte Nebenfolgen in bereitgestellten oder zu vernichtenden Objekten, positivem Prozesserleben, als vorteilhaft erachteten Outputobjekten sowie erstrebenswerten Wirkungen widerspiegeln. Demgegenüber liegen unerwünschte Nebenfolgen einer Leistungserbringung im Input, sofern diese den Einsatz von als wertvoll eingeschätzten Objekten erfordert, oder sie kommen in negativem Prozesserleben, nachteilig bewerteten Outputobjekten oder ungünstig eingeschätzten Folgen außerhalb des Produktionssystems zum Ausdruck.

2.2.2

Indikatoren

Bei den zur Performancemessung eingesetzten Variablen handelt es sich um Indikatoren. Im Folgenden werden ihre wesentlichen Merkmale, verschiedene Indikatortypen (Abschnitt 2.2.2.1) sowie die an Indikatoren und Indikatorensysteme im Rahmen einer Performancemessung zu stellenden Anforderungen (Abschnitt 2.2.2.2) ausführlich behandelt.

2.2.2.1 Kennzeichen und Arten Indikatoren sind direkt beobachtbare Variablen, die der Abbildung nicht unmittelbar erfassbarer Sachverhalte dienen.40 Sie werden insbesondere theoretischen Konstrukten,41 wie dem

39

40 41

Der eigentliche Nutzen outputorientierter Produktionen entsteht für die Leistungsempfänger oft erst durch zeitlich nachgelagerte Folgeprozesse, z.B. dem Fahren mit einem Auto, und ist dann abhängig von weiteren Ereignissen und Entscheidungen, die außerhalb des Einflussbereichs des Produzenten liegen. Der Produzent kann insofern nicht den letztlich angestrebten Nutzen hervorrufen, sondern nur einen gewissen Beitrag dazu leisten. Vgl. z.B. Corsten/Gössinger (2008), S. 302, Kromrey (2006), S. 94, und Schnell/Hill/Esser (2008), S. 131. Ein theoretisches Konstrukt definieren Bagozzi/Fornell als „… an abstract entity which represents the ‚true‘, nonobservable state or nature of a phenomenon“ (Bagozzi/Fornell (1982), S. 24).

Abschnitt 2.2: Ziele und Indikatoren

19

der in dieser Arbeit thematisierten Performance, zugeordnet. Häufig wird der Terminus Indikator synonym zum Terminus Kennzahl verwendet, eine Identität der mit ihnen im Allgemeinen angesprochenen Begriffe ist jedoch in zweierlei Hinsicht nicht gegeben. Einerseits sind nicht alle Indikatoren Kennzahlen. Wohl lassen sich im Rahmen einer Messung, im Sinne einer strukturgetreuen Abbildung eines empirischen in ein numerisches Relativ,42 den beobachtbaren Sachverhalten Zahlen zuordnen, diese sind allerdings nicht generell als Kennzahlen zu begreifen. Schließlich informieren Kennzahlen stets in einfacher, verdichteter Form über quantitativ messbare Sachverhalte,43 wodurch sich solche in einer sinnvollen Reihenfolge anordnen lassen, wohingegen Indikatorvariablen Sachverhalte auch rein qualitativ kennzeichnen können, indem sie das (Nicht-)Vorhandensein bestimmter Eigenschaften zum Ausdruck bringen. Folglich sind Indikatoren nur dann Kennzahlen, wenn sie als quantitative Variablen vorliegen, das heißt ihre Ausprägungen nicht als nominalskalierte Daten, sondern in ordinal-, intervall- oder verhältnisskalierter Form erfasst werden.44 Andererseits stellt eine Kennzahl allein noch keinen Indikator dar. Sie gibt nämlich lediglich eine wertfreie Auskunft, unterscheidet zum Beispiel zwischen größeren und kleineren Phänomenen, und überlässt dem Nutzer die Auslegung einzelner Kennzahlenausprägungen. Indikatoren erlauben dagegen keine neutralen Beschreibungen der Realität, sondern beinhalten bereits eine Interpretation und machen dadurch Zahlen im Rahmen eines theoretischen Konzepts lesbar. Kennzahlen sind daher erst dann Indikatoren, wenn sie derart inhaltlich aufgeladen wurden, dass ihre Ausprägungen auf eine andere Größe schließen lassen,45 wobei dieser Zusammenhang unsicher und somit nur hypothetisch ist.46 Zur Festlegung von Indikatoren muss zunächst der nicht direkt wahrnehmbare und nur auf theoretischer Ebene bestehende Sachverhalt detailliert erklärt werden – wie es im Abschnitt 2.1.1 soweit abstrakt möglich für das theoretische Konstrukt der Performance erfolgt ist. Im Rahmen dieser Konzeptbildung (auch Konzeptspezifikation oder Konzeptualisierung genannt) gilt es, durch eine semantische Analyse alle verwendeten Termini in ihrer Bedeutung zu erschließen und exakt zu definieren. Darüber hinaus ist zu präzisieren, auf welche Dimensionen sich die Begriffe beziehen.47 Es sind insbesondere diejenigen Facetten herauszufiltern, die im gegebenen Kontext bedeutsam erscheinen und nach denen die betrachteten

42 43 44 45 46 47

Vgl. Schnell/Hill/Esser (2008), S. 138ff. Vgl. z.B. Küpper (2005), S. 359, und Reichmann/Lachnit (1976), S. 706. Zur Variablenskalierung vgl. beispielsweise Sachs/Hedderich (2009), S. 16ff. Vgl. Pasternack (2004), S. 108 und 111. Vgl. Küpper (2005), S. 364. Vgl. Schnell/Hill/Esser (2008), S. 128.

20

Kapitel 2: Grundzüge einer Performancemessung

Sachverhalte unterschieden werden können.48 Bei der anschließenden Operationalisierung müssen direkt beobachtbare und messbare Größen mit den einzelnen Aspekten des theoretischen Konstrukts über Korrespondenzregeln verknüpft werden. Eine solche Regel gibt an, wie von einem beobachtbaren auf einen nicht wahrnehmbaren Aspekt geschlossen werden kann und verbindet auf diese Weise die Beobachtungsebene mit der theoretischen Ebene. Festzulegen sind schließlich konkrete Messanweisungen für die manifesten Variablen, also Vorschriften zur homomorphen Abbildung ihrer Ausprägungen auf einer Skala.49 Die Operationalisierung eines theoretischen Sachverhalts durch Indikatoren kann auf drei Arten erfolgen.50 Eine erste Alternative ist die Abbildung durch einen Einzelindikator. Sie ist sinnvoll, wenn eine einzelne Variable den interessierenden Sachverhalt mit ausreichender Genauigkeit repräsentiert. Sofern ein solcher Indikator sich dagegen lediglich auf einen bestimmten Aspekt der interessierenden Größe bezieht, stellt er keine neutrale Repräsentation der Realität dar. Die Wirklichkeit lässt sich in solchen Fällen nur dann hinreichend erfassen, wenn die verschiedenen Dimensionen des untersuchten Sachverhalts durch jeweils mindestens einen Indikator Beachtung finden.51 Für eine derartig umfassende Abbildung können multiple Indikatoren ausgewählt oder ein Gesamtindikator (Index) definiert werden. Bei Verwendung multipler Indikatoren deuten mehrere, normalerweise nicht (quantitativ) kombinierbare Variablen auf das zu indizierende Konstrukt hin. Sie stehen zwar nebeneinander, lassen sich aber qualitativ zueinander in Beziehung setzen.52 Ein Gesamtindikator entsteht wiederum aus der Aggregation verschiedener, in quantitativer Form vorliegender Variablen. Ihre meist quantitative Zusammenfassung kann zum Beispiel additiv oder multiplikativ, mit eventuell unterschiedlicher Gewichtung der Subkriterien erfolgen.53 Sowohl die Verwendung multipler Indikatoren als auch die Indexbildung ermöglichen nicht nur die Erfassung mehrerer bewertungsrelevanter Dimensionen, sie lassen beim Vorliegen zufälliger (unsystematischer) Messfehler grundsätzlich auch eine höhere Genauigkeit der Konstruktmessung erwarten.54 Zusätzlich sind multiple Indikatoren durch eine besonders hohe Transparenz gekennzeichnet. Jedoch kann sich das qualitative Aufeinanderbeziehen

48 49 50 51 52 53 54

Zur Konzeptbildung vgl. auch Hildebrandt (2000), S. 38ff. Vgl. Kromrey (2006), S. 198, und Schnell/Hill/Esser (2008), S. 129ff. Siehe hierzu insbesondere Becker (2003), S. 189ff. Vgl. Schnell/Hill/Esser (2008), S. 166, und Becker (2003), S. 190. Vgl. Becker (2003), S. 196f. Vgl. Schnell/Hill/Esser (2008), S. 166ff. Dies gilt nicht für systematische Messfehler, die sich z.B. addieren können.

Abschnitt 2.2: Ziele und Indikatoren

21

einer großen Anzahl an Indikatoren als große Herausforderung erweisen.55 Ein Index zeichnet sich demgegenüber durch eine einfache mathematische Aggregation selbst sehr großer Indikatorensets und vor allem durch seine Übersichtlichkeit aus. Aufgrund der Informationsverdichtung geht er allerdings mit einer geringeren Transparenz sowie der relativ hohen Gefahr einer Überinterpretation einher.56 Für eine sinnvolle Auswahl beobachtbarer Variablen, die als Indikatoren verwendet werden sollen, ist eine genaue Kenntnis ihrer Beziehungen zu dem durch sie zu indizierenden Sachverhalt sowie ihrer Beziehungen untereinander erforderlich. Eine in dieser Hinsicht im Hinblick auf eine Performancemessung nützliche Unterscheidung von Indikatortypen basiert auf der kausalen Interpretation der Korrespondenzregeln. Demnach lassen sich in Abhängigkeit von der Richtung des Zusammenhangs zwischen einer manifesten Variablen und dem latenten Phänomen formative und reflektive Indikatoren zur Operationalisierung verwenden.57 Formative Indikatoren sind Variablen, die ein theoretisches Konstrukt auf der Beobachtungsebene konstituieren. Dabei kann es sich einerseits um eine definitorische Gleichsetzung einer einzigen Beobachtung mit dem zu indizierenden Phänomen handeln, wie es bei der Ermittlung der Intelligenz über den Intelligenzquotienten üblich ist.58 Andernfalls stellen mehrere Indikatoren einzelne Bausteine des interessierenden Sachverhalts dar, dessen Bedeutungsgehalt sie unabhängig voneinander bestimmen und (in der Regel) nur zusammen vollständig abdecken. Ein Beispiel hierfür ist die Formierung der Nachhaltigkeit durch Indikatoren zur ökonomischen Beständigkeit, ökologischen Zukunftsfähigkeit und sozialen Gerechtigkeit. Da die Beziehung bei formativer Spezifikation auf das Konstrukt gerichtet ist, ändert sich dieses mit jeder Veränderung eines einzelnen Indikators. Über den Zusammenhang mehrerer formativer Indikatoren kann keine generelle Aussage getroffen werden. Sie müssen nicht, können aber untereinander korreliert sein.59 Reflektive Indikatoren sind dagegen Variablen, die durch ein Konstrukt verursacht werden und dieses in Form beobachtbarer Folgen reflektieren. Eine reflektive Spezifikation der Nachhaltigkeit könnte etwa durch Indikatoren erfolgen, die sich aus einer Beobachtung oder

55 56 57

58

59

Vgl. Becker (2003), S. 197. Vgl. z.B. für additive Gesamtkriterien Becker (2003), S. 195f. Diese Unterscheidung von Indikatoren ist häufig in der Marketingforschung anzutreffen. Eine andere ebenfalls auf der Art der Korrespondenzregeln basierende Differenzierung von Indikatoren wird vor allem in den Sozialwissenschaften vorgenommen. Dort werden definitorische, (intern und extern) korrelative sowie schlussfolgernde Indikatoren unterschieden (vgl. Kromrey (2006), S. 178f., und Nowak (1963)). Dieser operationalistische Ansatz war Ausgangspunkt der formativen Indikatoren (vgl. Diamantopoulos/ Winklhofer (2001), S. 270). Er stellt allerdings nur eine Scheinlösung dar, weil durch ihn die Unterscheidung von Konstrukt und Indikator aufgehoben wird. Vgl. Eberl (2004), S. 5ff.

22

Kapitel 2: Grundzüge einer Performancemessung

einer Befragung ergeben. Jeder einzelne reflektive Indikator erfasst gänzlich die Bedeutung des nicht unmittelbar wahrnehmbaren Sachverhalts, sodass dessen Veränderung gleichermaßen zur Veränderung aller beobachteten Variablen führt. Reflektive Indikatoren müssen daher interkorrelieren und sind prinzipiell gegenseitig austauschbar.60 Im Kontext einer Messung von Performance lassen sich weitere Indikatorenklassen bilden. Insbesondere können im Hinblick auf die beiden Performancedimensionen Effektivitäts- und Effizienzindikatoren unterschieden werden, wobei Letztere wiederum nach den von ihnen angesprochenen Zielarten differenzierbar sind, also danach, ob sie mehrere Zwecke untereinander oder Zwecke gegen eingesetzte Mittel, erwünschte oder unerwünschte Nebenfolgen ausloten. Mit Bezug auf die Ergebnisarten einer Produktion lassen sich weiterhin Input-, Prozess-, Output- und Outcomeindikatoren voneinander abgrenzen. Diese allein können einen auf Effektivität bzw. Effizienz deutenden Einzelindikator darstellen oder zu einem solchen kombiniert werden, etwa indem ein Value Added durch die Differenz zwischen einem Output- und einem Inputindikator oder eine Produktivität durch deren Quotient gebildet wird. Eine letzte hier zu nennende Differenzierung von Indikatoren kann auf der Erhebungsform der Indikatorenausprägungen beruhen. Diesbezüglich sind insbesondere reine Faktenindikatoren von Urteilsindikatoren abzugrenzen. Fakten können sich sowohl auf quantitative als auch auf qualitative Aspekte von Leistungen beziehen. Im Gegensatz dazu lassen sich über Urteile nur qualitative Aspekte von Leistungen ermitteln. Sofern diese Einschätzungen standardisiert sind, das heißt die Urteile in quantifizierbarer Form vorliegen, können die Befragungsergebnisse besonders gut zur indikatorenbasierten Performancemessung im Hochschulbereich eingesetzt werden, weil sie sich dann leicht zu Kennzahlen verdichten lassen. Schließlich gibt es Indikatoren, die Fakten und Urteile miteinander kombinieren, was häufig nützlich erscheint, um der qualitativen Leistungsdimension überhaupt Rechnung tragen zu können.

2.2.2.2 Anforderungen Um die Qualität einer indikatorenbasierten Abbildung eines nicht direkt beobachtbaren Sachverhalts zu sichern, sollten die in Abbildung 2-4 aufgeführten Anforderungen an Indikatoren und Indikatorensysteme beachtet werden.

60

Vgl. Eberl (2004), S. 2ff. Zu den Eigenschaften formativer und reflektiver Indikatoren sowie deren Abgrenzung vgl. auch Albers/Hildebrandt (2006), S. 10ff., und Eberl (2006), S. 652ff.

Abschnitt 2.2: Ziele und Indikatoren

23

Anforderungen an Indikatoren konstruktionsbezogen

Validität

Reliabilität

Anforderungen an Indikatorensysteme

anwendungsbezogen allgemein

speziell

Vollständigkeit

Realisierbarkeit

Standardisierbarkeit

Redundanzfreiheit

Datenverfügbarkeit

Präferenzunabhängigkeit

Wirtschaftlichkeit

Einfachheit

Akzeptanz

Abbildung 2-4: Anforderungen an Indikatoren und Indikatorensysteme

Bei der Ausgestaltung der einzelnen Variablen sind sowohl konstruktionsbezogene als auch anwendungsbezogene Bedingungen zu erfüllen. Die beiden konstruktionsbezogenen Bedingungen (Validität und Reliabilität) stellen die zentralen Gütekriterien von Indikatoren dar. Validität bezeichnet die Gültigkeit eines Indikators. Sie ist ein Maß für dessen Beschreibungsgüte, das heißt für die Übereinstimmung von Abbildung und Wirklichkeit. Valide ist ein Indikator also dann, wenn er tatsächlich den mit einem definierten Begriff bezeichneten Sachverhalt reflektiert.61 Unter Reliabilität wird die Zuverlässigkeit einer Messung bzw. Reproduzierbarkeit einer Darstellung verstanden. Sie beinhaltet die intersubjektive, intertemporale und interinstrumentelle Stabilität der erhaltenen Ergebnisse.62 Intersubjektive Stabilität bezieht sich auf die Objektivität eines Indikators, das heißt, Messwerte sollten bei ihrer Erhebung, Auswertung und Interpretation nicht beeinflussbar und somit unabhängig von der sie messenden Person nachprüfbar sein.63 Sind die Ergebnisse von Messungen mit einem einzigen Indikator zu verschiedenen Zeitpunkten konstant, liegt

61

62 63

Vgl. Kromrey (2006), S. 179f. In der Literatur werden zahlreiche Validitätsarten behandelt, deren Bedeutung vom jeweiligen Kontext abhängt (vgl. z.B. Balderjahn (2003), S. 131f., Homburg/Giering (1996), S. 7f., und Kromrey (2006), S. 200ff.). Vgl. hierzu Esser/Klenovits/Zehnpfennig (1977), S. 93, und Kromrey (2006), S. 259ff. Einige Autoren behandeln Objektivität neben Validität und Reliabilität als drittes Gütekriterium (vgl. z.B. Diekmann (2008), S. 247ff.).

24

Kapitel 2: Grundzüge einer Performancemessung

intertemporale Beständigkeit vor, und wenn sie mit den Messwerten alternativer Indikatoren übereinstimmen, weisen sie interinstrumentelle Stabilität auf. Da Reliabilität eine notwendige, aber keine hinreichende Bedingung für die Validität eines Indikators ist, stehen die beiden Gütekriterien in hierarchischer Beziehung zueinander. Die Untrennbarkeit der Reliabilität von der Validität ergibt sich daraus, dass eine Abbildung der Realität nur in dem Maße gültig sein kann, wie sie auch zuverlässig ist. Schließlich wird ein Indikator nur das messen, was er messen soll, wenn er bei wiederholter Anwendung dasselbe Resultat erbringt. Da eine zuverlässige Messung aber zu ungültigen Ergebnissen führt, wenn sie nicht das abbildet, was beabsichtigt ist, genügt Reliabilität als Bedingung für Validität nicht.64 Neben diesen zentralen Gütekriterien stehen anwendungsbezogene Ansprüche, die sich auf die Praxistauglichkeit eines Indikators beziehen.65 Eine allgemeine Anforderung, die jeder Indikator erfüllen sollte, ist die Realisierbarkeit. Dieses Kriterium setzt sich aus zwei Komponenten zusammen. Zum einen beinhaltet es die Datenverfügbarkeit, die besagt, dass ein Indikator erst in der Praxis einsetzbar ist, wenn die zur Abbildung eines Sachverhalts erforderlichen Informationen bereits vorliegen oder grundsätzlich zeitnah erhoben werden können. Zum anderen wird mit der Realisierbarkeit die Wirtschaftlichkeit der Indikatoranwendung angesprochen. Hiernach sollen finanzieller und personeller bzw. zeitlicher Aufwand der Datenerhebung, der Ermittlung von Indikatorenausprägungen und deren Interpretation in einem angemessenen Verhältnis zum Nutzen der Ergebnisse stehen. Eng verbunden mit der Wirtschaftlichkeit ist die Standardisierbarkeit von Indikatoren. Schließlich ist eine routinemäßige Erfassung benötigter Daten eher mit vertretbarem Aufwand zu bewältigen als eine regelmäßige, aber stets individuelle Informationserhebung. Dieses Kriterium ist allerdings nur bei bestimmten Indikatoreinsätzen, vor allem bei Zeit- und Organisationsvergleichen relevant, da solche erfordern, dass die Ausprägungen eines Indikators nach einer einheitlichen Methode ermittelt und um systematische Verzerrungen bereinigt werden. Die Auswahl von Indikatoren sollte stets mit großer Sorgfalt erfolgen. Sofern ein Sachverhalt nur durch mehrere Variablen adäquat erfasst werden kann – also in der Regel bei formativer Spezifikation, aber auch bei reflektiver Spezifikation durch Indikatoren, die sich auf verschiedene Dimensionen eines Sachverhalts beziehen – sind diese nach denselben Kriterien zu

64

65

Vgl. Kromrey (2006), S. 262. Auf eine andere Art bringen Homburg und Giering die hierarchische Beziehung zwischen Reliabilität und Validität zum Ausdruck: Eine Messung gilt als reliabel, wenn sie nicht von zufälligen Fehlern beeinflusst wird, und sie ist valide, wenn auch systematische Fehler ausgeschlossen sind (vgl. Homburg/Giering (1996), S. 7). Vgl. hierzu z.B. die Ausführungen über Anforderungen an Indikatoren bei Buschor (2002), S. 64, SchenkerWicki (1996), S. 69f., und Sizer (1979), S. 57ff.

Abschnitt 2.2: Ziele und Indikatoren

25

überprüfen und zu filtern wie die Ziele eines Zielsystems.66 Zu den vier Anforderungen, die ein Indikatorensystem dann erfüllen sollte, gehören somit dessen Vollständigkeit und Redundanzfreiheit. Beide Eigenschaften sind von großer Bedeutung, weil ein Indikatorenset, das nicht alle inhaltlichen Aspekte eines theoretischen Konstrukts abdeckt oder Überschneidungen enthält, zu einer verzerrten Abbildung der Realität führen kann. Mit Blick auf eine Performancemessung erscheinen beide Kriterien zudem wichtig, weil Indikatoren eine eigene Dynamik und problematische Anreizwirkungen entwickeln können. Allein ihr Vorhandensein und besonders ihre Institutionalisierung mögen das Verhalten betroffener Personen verändern.67 Nur wenn es in solchen Fällen gelingt, alle mit einer Leistungserbringung verfolgten primären und sekundären Ziele adäquat durch ein Indikatorensystem zu repräsentieren, können dysfunktionale Anreize und unerwünschte Anpassungseffekte vermieden werden. Damit sich die Ausprägungen verschiedener Indikatoren, die Bestandteile eines Indikatorensystems sind, isoliert voneinander interpretieren lassen, ist außerdem deren Präferenzunabhängigkeit notwendig. Ferner ist der Anspruch auf Einfachheit zu erfüllen, denn nur ein System mit einer überschaubaren Indikatorenanzahl erweist sich als handhabbar und mit einem zu rechtfertigenden Aufwand erhebbar. Eine weitere wichtige, alle genannten Aspekte übergreifende Anforderung ist die Akzeptanz von Indikatoren bei den Nutzern bzw. Informationsempfängern.68 Sie wird wesentlich von den bisher genannten einzel- und systembezogenen Kriterien bestimmt. Eine realitätsnahe und zuverlässige Abbildung stellt somit die theoretische Akzeptanz der Ergebnisse sicher. Für einen erfolgreichen Einsatz von Indikatoren „im Alltag“ müssen Indikatoren zusätzlich realisierbar sowie gegebenenfalls standardisierbar sein. Schließlich wird ein Indikatorensystem auch nur dann auf Zustimmung stoßen, wenn es den interessierenden Sachverhalt vollständig und redundanzfrei mittels voneinander unabhängig bewertbarer Indikatoren auf einfache Weise wiedergibt. Bereits die Vernachlässigung einzelner Anforderungen kann die Aussagekraft der Abbildung eines Sachverhalts durch Indikatoren stark einschränken, eine solche gar unmöglich machen. Allerdings gestaltet sich eine vollständige Erfüllung aller Kriterien in der Praxis oftmals schwierig. Es sollte trotzdem zumindest versucht werden, alle Ansprüche möglichst gut zu realisieren.

66 67 68

Vgl. Abschnitt 2.2.1.1. Vgl. Jansen et al. (2007), S. 131, und Meyer (1994), S. 567ff. Vgl. zur institutionellen Akzeptanz von Performanceindikatoren Sizer (1979), S. 60.

26

2.3

Kapitel 2: Grundzüge einer Performancemessung

Vorgehensmodell zur Performancemessung mit den drei Phasen Konzeption, Analyse und Anwendung

Jede Durchführung einer Performancemessung bedarf einiger grundsätzlicher Überlegungen. Damit sie selber transparent bleibt, und vor allem auch zur Vermeidung einer willkürlichen Indikatorenauswahl, ist ein systematisches Vorgehen sinnvoll. Die wesentlichen Schritte solch eines gezielten Prozesses sind in Abbildung 2-5 dargestellt.69 Sie beinhalten die bereits dargelegten Gedanken zu einer produktions- und entscheidungstheoretisch fundierten Performancemessung und lassen sich in die drei Phasen Konzeption, Analyse und Anwendung gliedern. Die in der Abbildung aufgezeigte und im Weiteren verfolgte Aufteilung des Vorgehens in mehrere nacheinander zu durchlaufende Schritte ist allerdings oft nur gedanklich, nicht aber in der Praxis umzusetzen. Insbesondere die konzeptionellen und analytischen Schritte lassen sich nicht immer klar voneinander trennen und müssen gegebenenfalls parallel erfolgen oder mehrfach durchgeführt werden.

Konzeption

Bestimmung der Adressaten und ihrer Informationsinteressen

Analyse

Zielanalyse

Produktionstheoretische Analyse Festlegung des Untersuchungsbereichs Bildung von Performanceindikatoren

Anwendung

Datenerhebung

Ermittlung der Indikatorenausprägungen und Auswertung

Weitergabe und Nutzung der Ergebnisse

Abbildung 2-5: Vorgehensmodell zur indikatorengestützten Performancemessung

Im ersten Schritt der Konzeptionsphase sind die Adressaten der Performancemessung und ihre Informationsbedürfnisse zu bestimmen.70 Dadurch wird zum einen festgelegt, welchen Zweck die Untersuchung erfüllen soll, ob sie etwa rationale Entscheidungen über die Erbringung bzw. die Inanspruchnahme einer Leistung unterstützen oder der Verhaltenslenkung dienen soll. Zum anderen ergibt sich aus der Festlegung der Adressaten die Perspektive der

69

70

Auf ähnliche Weise systematisiert Becker das Vorgehen bei Beurteilungen (vgl. Becker (2003), S. 152ff.) und Bayer die Erstellung von Rankings (vgl. Bayer (2000), S. 556ff., und Bayer (2004), S. 71ff.). Auch die Struktur der Methode zur Evaluierung akademischer Programme von Keeney, See und Winterfeldt weist Parallelen zum dargestellten Vorgehen auf (vgl. Keeney/See/Winterfeldt (2006), S. 814ff.). Natürlich kann es sich auch um einen einzigen Adressaten und allein seine Informationsinteressen handeln.

Abschnitt 2.4: Zwischenfazit

27

Bewertung. Das heißt, es werden diejenigen Determinanten fixiert, die in den (vergleichbaren) Subjektsystemen der Adressaten liegen, einer Performancemessung zugrunde zu legen sind und somit deren Ablauf und Ergebnis maßgeblich bestimmen. Zu diesen individuellen Faktoren, die explizit zu berücksichtigten sind, um adäquate Informationen generieren und bereitstellen zu können, gehören insbesondere die Realitätswahrnehmung sowie die faktischen und wertenden Entscheidungsprämissen der Adressaten. Unter Berücksichtigung der aus dem ersten Schritt resultierenden konzeptionellen Spezifikation ist als nächstes der Untersuchungsbereich zu konkretisieren, wobei präzise definiert werden muss, welche Objekte bzw. welche Leistungen aus Sicht der Adressaten bewertungsrelevant sind. Nach dieser richtungsweisenden Konzeption der Performancemessung beginnt die Analysephase mit der Zielbetrachtung. Aufzustellen ist ein Zielsystem, aus dem die aus Sicht der Adressaten der Performancemessung bedeutsamen Zwecke, Mittel und Nebenfolgen der betrachteten Leistungen sowie ihre dazugehörigen Präferenzen hervorgehen. Anschließend sollte eine produktionstheoretische Analyse des Untersuchungsbereichs erfolgen, bei der die zielentsprechenden Ergebnisse der Leistungserbringung zu identifizieren sind, um darauf aufbauend im fünften Schritt der Performancemessung Effektivitäts- und Effizienzindikatoren ableiten zu können. Am Anfang der Anwendungsphase steht die Erhebung von Daten. Die sich aus ihnen ergebenden Indikatorenausprägungen müssen im folgenden Schritt ermittelt und ausgewertet werden. Schließlich sind die resultierenden Informationen den Adressaten der Performancemessung zu vermitteln – zumindest sofern es sich bei diesen nicht um Bewerter selber handelt –, sodass sie für die mit der Messung intendierten Zwecke genutzt werden können. Da alle dargestellten Schritte Einfluss auf die Beurteilungsergebnisse haben, sind sie mit größter Sorgfalt und Genauigkeit durchzuführen. Zudem sollte stets die Objektivität des gesamten Prozesses und damit seine Unabhängigkeit von den bewertenden Personen gewährleistet werden.

2.4

Zwischenfazit

Eine Performancemessung lässt sich im Sinne der von DYCKHOFF und AHN im Kontext der Entscheidungstheorie präzisierten Begriffe Effektivität und Effizienz konzipieren. Sie stellt dann hinsichtlich der Effektivität auf die Zwecke einer Handlung ab und ist bezüglich der Effizienz gegebenenfalls auch auf deren Mitteleinsatz und Nebenfolgen, zumindest aber auf mehrere Handlungsalternativen gerichtet. Welche Zwecke, Ziele und Handlungen relevant sind, hängt von der Sicht des Bewerters (bzw. Entscheiders) auf die konkrete Situation ab.

28

Kapitel 2: Grundzüge einer Performancemessung

Demnach liegt einer totalen Effektivitäts- oder Effizienzmessung die vollständige Betrachtung einer realen Situation zugrunde, wohingegen eine entsprechende partielle Messung auf bestimmte Aspekte dieser Situation fokussiert. Stehen Produktionssysteme und die von ihnen zwecks Objekttransformation erbrachten Leistungen im Blickpunkt, kann eine solche Performancemessung in die von DYCKHOFF formulierte entscheidungstheoretisch begründete Produktionstheorie eingebettet und somit zugleich entscheidungs- und produktionstheoretisch fundiert werden. Das besondere Potenzial dieser sogenannten entscheidungsorientierten Produktionstheorie (nicht nur) für eine Performancemessung liegt darin, dass sie (in Erweiterung der traditionellen Produktionstheorie) den Bewerter als Entscheider, insbesondere seine individuellen Ziele, seine subjektive Wahrnehmung sowie seine persönlichen Wertungen explizit berücksichtigt. So sind spezifische Bewertungen des objektiven Entscheidungsfelds möglich, die weit über die mengenund kostenbezogenen Überlegungen traditioneller produktionstheoretischer Überlegungen hinausgehen. Für die konkrete Umsetzung einer (entscheidungs- und produktionstheoretisch fundierten) Performancemessung empfiehlt sich die Orientierung an einem Vorgehensmodell, bestehend aus den drei Phasen Konzeption, Analyse und Anwendung. Demnach sollten zu Beginn einer Performancemessung deren Adressaten und ihre Informationsinteressen bestimmt sowie der zu untersuchende Bereich festgelegt werden. In der sich anschließenden Analysephase sind die von den Zwecken der betrachteten Handlung(en) abzuleitenden Ziele durch geeignete Ergebnisgrößen der Produktion, die meist Input, Prozess, Output oder Outcome darstellen, abzubilden und durch Indikatoren zu operationalisieren. Dabei sollten sowohl die einzelnen Ziele und Indikatoren als auch die aus ihnen gebildeten Systeme bestimmte Anforderungen erfüllen. Die Erhebung der benötigten Daten und deren Auswertungen erfolgen schließlich in der Anwendungsphase, die mit der (eventuellen) Weitergabe der Ergebnisse und ihrer Nutzung endet.

3

Grundzüge einer Performancemessung im Hochschulbereich

Das in Abschnitt 2.3 skizzierte allgemeine Vorgehensmodell zur Performancemessung dient nun als Basis für die Darstellung von Grundzügen einer entscheidungs- und produktionstheoretisch fundierten Performancemessung im Hochschulbereich. Die Ausführungen gliedern sich gemäß den drei Modellphasen Konzeption, Analyse und Anwendung bzw. den einzelnen Vorgehensschritten (Abschnitte 3.1 bis 3.3) und schließen mit einem Zwischenfazit (Abschnitt 3.4).

3.1

Konzeption

Performancemessungen im Hochschulbereich können sehr unterschiedlich konzipiert werden. So gibt es zahlreiche Personen, Personengruppen und Institutionen, die verschiedene Informationen über die Leistungen von Hochschulen benötigen bzw. wünschen. Für die Beurteilung von Hochschulleistungen ist es daher notwendig, je nach Adressaten bestimmte Aspekte in den Vordergrund zu stellen. So kann beispielsweise der Value Added der Lehre für Studienanfänger durchaus von Bedeutung, für Arbeitgeber dagegen von geringerem Interesse sein. Letztere legen wohl mehr Wert auf Informationen über das Qualifikationsniveau der Absolventen, unabhängig davon, welchen Wertschöpfungsbeitrag die Hochschulen dazu geleistet haben. Im Folgenden werden Stakeholder von Hochschulen als mögliche Adressaten einer Performancemessung im Hochschulbereich und ihre Informationsinteressen aufgezeigt (Abschnitt 3.1.1), außerdem verschiedene Untersuchungsgegenstände vorgestellt (Abschnitt 3.1.2).

3.1.1

Bestimmung der Adressaten und ihrer Informationsinteressen

3.1.1.1 Die Stakeholder von Hochschulen als Adressaten Zur Identifizierung aller Stakeholder von Hochschulen und damit sämtlicher potenzieller Adressaten einer Performancemessung im Hochschulbereich müssen Hochschulen in ihrem gesamten sozioökonomischen Kontext erfasst werden. Die wichtigsten Individuen und Gruppen bzw. Institutionen des engeren sowie des weiteren Umfelds einer Hochschule sind in Abbildung 3-1 aufgeführt.

S. Rassenhövel, Performancemessung im Hochschulbereich, DOI 10.1007/978-3-8349-8733-4_3, © Gabler Verlag | Springer Fachmedien Wiesbaden GmbH 2010

30

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

Stakeholder des engeren Hochschulumfelds Potenzielle Beteiligte

Potenzielle Mitwirkende und Geldgeber

Ehemalige Beteiligte

Beteiligte Mitwirkende

Geldgeber

•

Wissenschaftler

•

Hochschulträger

•

Studierende

•

Forschungsförderer

•

Forschungspartner

•

...

•

...

Ehemalige Mitwirkende und Geldgeber

Nutzer erbrachter Leistungen

Hochschuleinrichtungen

•• Absolventen Absolventen

•

Hochschulleitung

•• Arbeitgeber Arbeitgeber

•

Dekanate

•• Verwender Verwender von von Forschungserkenntnissen Forschungserkenntnissen

•

...

•• ... ...

Stakeholder des weiteren Hochschulumfelds Meinungsbildner

Wettbewerber

Multiplikatoren

•

Andere Hochschulen

•

•

Außeruniversitäre Forschungsinstitute

Medien

•

Studien- und Berufsberater

•

...

•

Andere Bildungseinrichtungen

Sonstige •

Staat und Land bzw. öffentliche Einrichtungen

•

Gesellschaft, Wirtschaft und Politik

•

Interessierte Öffentlichkeit

•

Steuerzahler

Sonstige

•

Stadt

•

Eltern von (auch potenziellen und ehemaligen) Studierenden

•

Lieferanten

•

Schulen

•

Lehrer

•

...

•

...

Abbildung 3-1: Stakeholder einer Hochschule

71

Die Stakeholder des engeren Umfelds können in zeitlicher Abhängigkeit zur Leistungserbringung in potenzielle Beteiligte, Beteiligte und ehemals Beteiligte bzw. Nutzer erbrachter Leistungen unterschieden werden. Die Gruppe der potenziell Beteiligten setzt sich aus denjenigen Stakeholdern zusammen, die an einer Hochschule als Arbeitgeber, Aus- und Weiterbildungs- bzw. Forschungsstätte interessiert bzw. gegebenenfalls bereit sind, für die Erbringung der Leistungen Mittel zur Verfügung zu stellen. Kommt eine entsprechende Beziehung zustande, wirken sie etwa als Wissenschaftler, Studierende oder Forschungspartner direkt, andernfalls zum Beispiel als Hochschulträger oder Auftraggeber von Forschungsprojekten indirekt an der Leistungserstellung der Hochschule mit. Zu solch beteiligten Stakeholdern zählen auch hochschulinterne Einrichtungen, wie die Hochschulleitung oder Dekanate von Fachbereichen. Nach Beendigung einer Mitwirkung bzw. einer finanziellen Teilhabe gehören

71

Vgl. teilweise die Nennungen von Stakeholdern bei z.B. Kaapke/Heinz (1996), S. 431, Scharitzer (1994), S. 161, Simon (1985), S. 829, und Voss (2004), S. 22f. sowie 29.

Abschnitt 3.1: Konzeption

31

die jeweiligen Personen, Personengruppen und Institutionen zur Stakeholdergruppe der ehemals Beteiligten. Neben (bzw. in Abbildung 3-1 unter) dieser stehen die Nutzer erbrachter Hochschulleistungen. Zu nennen sind hier insbesondere die – auch zu den ehemaligen Beteiligten zu fassenden – Absolventen sowie Arbeitgeber, die diese rekrutieren, und Verwender der in einer Hochschule erzeugten Forschungserkenntnisse. Das weitere Stakeholderumfeld besteht aus Meinungsbildnern, Wettbewerbern und allen sonstigen von Hochschulleistungen Betroffenen. Erstgenannte Gruppe umfasst vor allem Medien sowie Studien- und Berufsberater, die in ihrer Rolle als Multiplikatoren hochschulbezogene Informationen verbreiten, darüber hinaus beispielsweise Eltern und Lehrer. Als Wettbewerber einer Hochschule gelten etwa andere nationale und internationale Hochschulen sowie außeruniversitäre Forschungsinstitute und andere Bildungseinrichtungen. Schließlich sind wichtige sonstige Stakeholder Staat und Land bzw. deren öffentliche Einrichtungen, Gesellschaft, Wirtschaft und Politik sowie die interessierte Öffentlichkeit und Steuerzahler. Im Hinblick auf die Bestimmung der Adressaten einer Performancemessung ist zu beachten, dass – wie an den Beispielen bereits deutlich wurde – eine einzelne Person, Personengruppe oder Institution nicht nur im Zeitablauf ihre Stakeholderrolle wechseln, sondern auch zu einem bestimmten Zeitpunkt mehrere Stakeholderrollen einnehmen und insofern verschiedene Informationsbedürfnisse haben kann.

3.1.1.2 Informationsinteressen der Stakeholder Der Zweck einer Performancemessung liegt in der Schaffung von Transparenz. Für den Hochschulbereich lässt er sich im Hinblick auf verschiedene Anwendungsmöglichkeiten konkretisieren. Die nachstehende Abbildung 3-2 zeigt diesbezüglich aus dem primären Ziel der Transparenz ableitbare, generell mit Performancemessungen im Hochschulbereich verfolgte Ziele. Dies sind Kontrolle und Rechenschaftslegung sowie die ihnen meist übergeordneten Ziele der Entscheidungsunterstützung und Verhaltenslenkung. Den einzelnen Zielen sind wichtige Interessengruppen zugeordnet.

32

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

Kontrolle bzw. Rechenschaftslegung

Wettbewerber • Andere Hochschulen • Außeruniversitäre Forschungseinrichtungen • Andere Bildungseinrichtungen Sonstige Stakeholder

Entscheidungsunterstützung

Verhaltenslenkung

Geldgeber

• Hochschulträger

• Forschungsförderer • ...

Hochschuleinrichtungen

• Hochschulleitung • Dekanate

• ...

(Potenzielle) Mitwirkende • Wissenschaftler

• Öffentliche Einrichtungen

• Studienanfänger und Studierende

• Steuerzahler

• Forschungspartner

• ...

• ... Nutzer erbrachter Leistungen

zur Entscheidungsunterstützung und Verhaltenslenkung

• Arbeitgeber • Verwender von Forschungsergebnissen • ...

Abbildung 3-2: Informationsinteressen und Adressaten einer Performancemessung im Hochschulbereich

Die Funktion der Kontrolle bzw. Rechenschaftslegung zielt auf den Nachweis der Aufgabenerfüllung. Zum einen verlangen verschiedene Stakeholder eine Legitimation für die Verwendung öffentlicher Gelder. Unter ihnen sind insbesondere um diese Mittel konkurrierende andere Hochschulen, außeruniversitäre Forschungsinstitute und weitere Bildungseinrichtungen sowie sonstige öffentliche Einrichtungen, ferner Personen und Institutionen, die Steuergelder zahlen. Zum anderen benötigen verschiedene Stakeholder Informationen, auf deren Grundlage sie ihre im Zusammenhang mit dem Hochschulbereich stehenden Entscheidungen treffen oder das Verhalten der Hochschulen bzw. der an der Hochschulproduktion Beteiligten (um)steuern können. Die Entscheidungen, die auf den Ergebnissen einer Performancemessung beruhen, betreffen zum Beispiel die Mittelzuweisung durch Hochschulträger und andere Förderer sowie die Verteilung dieser Gelder innerhalb einer Hochschule durch die Hochschulleitung oder etwa die Dekanate. Dabei handelt es sich meist um kontinuierliche Prozesse, bei denen die Kontrolle die Entscheidungen fortlaufend unterstützt. Des Weiteren hängt die Hochschulwahl von Wissenschaftlern, Studienanfängern, Hochschulwechslern und Forschungspartnern von der Performance bereits erbrachter Hochschulleistungen ab – zumindest soweit diese transpa-

Abschnitt 3.1: Konzeption

33

rent sind – und ebenso orientieren sich Arbeitgeber bei der Rekrutierung von Absolventen sowie Verwender von Forschungserkenntnissen an ihnen. Das Ziel der Verhaltenslenkung verfolgen Geldgeber der Hochschulen und – seit der Verstärkung der Autonomie im Hochschulbereich zunehmend auch – hochschulinterne Entscheidungsträger. Durch zum Beispiel leistungsorientierte Mittelverteilung und Professorenbesoldung sollen die Handlungen der jeweils an der Leistungserbringung Beteiligten gesteuert, vor allem performancesteigernde Effekte ausgelöst werden. Dabei basiert die Verhaltenslenkung vielfach auf einem Wettbewerb in und zwischen Hochschulen um finanzielle Mittel, (Nachwuchs-)Wissenschaftler und Studierende sowie um die Nachfrage von Absolventen durch Arbeitgeber und nicht zuletzt um Reputation in der Scientific Community.72 Transparenz auf den jeweiligen Wettbewerbsmärkten und entsprechende Reaktionen der anderen Marktteilnehmer sind dann wesentliche Voraussetzungen zur Verhaltenslenkung, die im Allgemeinen eine Performancekontrolle bzw. -rechenschaftslegung sowie darauf basierende Entscheidungen erfordert. Wie bereits deutlich wurde, führt die Heterogenität der Adressaten und ihrer Informationsinteressen dazu, dass es im Hochschulbereich keine allgemein gültigen Performancemessungen gibt und Indikatoren daher immer genau die Aspekte der Leistungen erfassen müssen, die für den jeweiligen Anwendungskontext relevant sind. Trotz dieser Forderung nach einer zielspezifischen Performancemessung wird im Folgenden auf eine Beschränkung der Ausführungen für bestimmte Adressaten und Ziele verzichtet. Stattdessen sollen diejenigen Möglichkeiten zur Performancebeurteilung im Hochschulbereich dargelegt werden, die die Interessen möglichst vieler Stakeholder abdecken.

3.1.2

Festlegung des Untersuchungsbereichs

Um in der zweiten Konzeptionsphase einer Performancemessung den Untersuchungsbereich auszuwählen, ist festzulegen, wessen bzw. welche Leistungen betrachtet werden sollen. Dafür müssen die aus Sicht der Adressaten bewertungsrelevanten Objekte formal abgegrenzt und ihre Leistungen inhaltlich präzisiert werden. Da Hochschulen ein großes Leistungsspektrum anbieten und zudem in verschiedene Einheiten gegliedert werden können, gibt es eine Vielzahl möglicher Untersuchungsgegenstände. Die Leistungsarten sowie verschiedene Objekte und Objektmengen werden in den Abschnitten 3.1.2.1 und 3.1.2.2 aufgezeigt.

72

Vgl. Bunzmann (2005), S. 46ff., Fischer (2007), S. 171, außerdem Rüegg (1985), S. 18ff., der auch die motivationsfördernde und dadurch leistungssteigernde Wirkung des Wettbewerbs in Universitäten hervorhebt.

34

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

3.1.2.1 Leistungsarten Einen Überblick über die im Hochschulbereich erbrachten Leistungen gibt Abbildung 3-3. Sie lassen sich ableiten aus den gesetzlichen Grundlagen für staatliche und staatlich anerkannte Hochschulen, die deren allgemeine Aufgaben benennen.73 Um ihre unterschiedliche Bedeutung hervorzuheben, sind sie hier – nicht aber in den Gesetzen – in Haupt- und Nebenleistungen unterteilt.

Hauptleistungen

Forschung

Lehre

Nebenleistungen

Wissenschaftsbasierte Nebenleistungen

Akademische Selbstverwaltung

Sonstige Nebenleistungen

Förderung des wissenschaftlichen Nachwuchses

Soziale Förderung der Studierenden

Förderung des Wissens- und Technologietransfers

Erfüllung des Gleichstellungsauftrags

Förderung der internationalen Zusammenarbeit

Förderung des Hochschulsports

...

Abbildung 3-3: Hochschulleistungen

Zu den Kernleistungen der Hochschulen zählen Forschung und Lehre, wobei Letztere sowohl Aus- und Weiterbildungs- als auch Prüfungsleistungen74 umfasst.75 Eng verbunden mit

73

74

75

Nach dem Wegfall der Rahmengesetzgebungskompetenz des Bundes für die allgemeinen Grundsätze des deutschen Hochschulwesens im Zuge der Föderalismusreform im Jahr 2006 sind die Hochschulgesetze der einzelnen Länder richtungsweisend für die dort jeweils ansässigen Hochschulen. Vgl. hier beispielhaft § 3 HFG (Hochschulfreiheitsgesetz des Landes Nordrhein-Westfalen). Nur in wenigen Ausnahmen, z.B. Jura und Medizin, werden Prüfungen in Form von Staatsexamen von staatlichen Behörden abgenommen. Gelegentlich werden Weiterbildungsleistungen (und die dazugehörigen Prüfungen) als eigenständige Hochschulleistungen betrachtet. Auf ihre gesonderte Behandlung wird in dieser Arbeit verzichtet, weil Weiterbildung erstens bisher allenfalls eine rechtliche, aber keine tatsächliche Hauptleistung der Hochschulen darstellt und sie zweitens seit der Einführung gestufter Studiengänge nicht mehr eindeutig von der grundständigen Lehre zu trennen ist. So gibt es nicht nur Weiterbildungsmaster, die nach abgeschlossenem Bachelor und mehrjähriger Berufspraxis erworben werden können, sondern auch konsekutive Master, die jeweils unmittelbar auf einem Bachelor aufbauen. Neben die Lehre wird außerdem häufig das Studium gestellt. Beide bezeichnen aber im Prinzip dieselben Leistungen – einmal aus der Perspektive der Hochschulen (Lehre)

Abschnitt 3.1: Konzeption

35

ihnen sind die wissenschaftsbasierten Nebenleistungen der Förderung des wissenschaftlichen Nachwuchses, des Wissens- und Technologietransfers sowie der internationalen Zusammenarbeit. Hinzu kommen die akademische Selbstverwaltung und weitere Nebenleistungen, wie etwa die soziale Förderung der Studierenden, die Erfüllung des Gleichstellungsauftrags und die Förderung des Hochschulsports.

3.1.2.2 Objekte und Objektmengen Objekte Grundsätzlich können sämtliche organisatorisch abgrenzbare Objekte des Hochschulbereichs Gegenstand einer Performancemessung sein. Dazu gehören zunächst die leistungserbringenden Einheiten verschiedener Aggregationsebenen. Dies sind auf der untersten Stufe einzelne Personen, insbesondere Professoren und Wissenschaftliche Mitarbeiter, auf den beiden darüber liegenden Ebenen Lehrstühle sowie Lehr- und Forschungsgebiete bzw. Abteilungen, Institute, Fachbereiche oder Fakultäten. Sie alle werden unter dem Dach der Hochschule auf einer übergeordneten Ebene vereint. Darüber hinaus können auch Hochschulstandorte, Bundesländer oder ganze Staaten Objekte unterschiedlicher Ebenen mit einem hohen Aggregationsgrad einer Performancemessung darstellen. Weitere Organisationseinheiten des Hochschulbereichs weisen oftmals einen direkten Bezug zu bestimmten Leistungsarten auf. Im Hinblick auf die beiden Hauptleistungen sind es zum Beispiel Forschungsgruppen und -projekte bzw. Studiengänge und Lehrveranstaltungen, für die Nebenleistungen etwa Graduiertenkollegs, Programme zur Förderung des Wissens- und Technologietransfers oder der internationalen Zusammenarbeit sowie Gleichstellungsinitiativen.76 Zusätzlich zur organisationsbezogenen Abgrenzung bedarf eine präzise Definition des Untersuchungsgegenstands der Festlegung zu bewertender Leistungsarten. Nicht immer sind nämlich alle im Zusammenhang mit einem Objekt stehenden Leistungen von Interesse für die Adressaten einer Performancemessung.77 Im Blickpunkt liegen überwiegend Forschung und Lehre, häufiger auch die Nachwuchsförderung und manchmal die beiden weiteren wissenschaftsbasierten Nebenleistungen. Der Aufgabe der akademischen Selbstverwaltung kommt dagegen generell weniger Beachtung zu, da ihre Erfüllung die Voraussetzung für die Durchführung der anderen Leistungen darstellt und außerdem keine besondere Performance

76 77

und einmal aus der Perspektive der Studierenden (Studium) (vgl. Bolsenkötter (1976), S. 29) –, sodass eine grundsätzliche Differenzierung zwischen ihnen bei einer Performancemessung nicht notwendig erscheint. Vgl. teilweise Alewell (1988), S. 46f., Hennig-Thurau (1999), S. 506f., und Bolsenkötter (1986), S. 42. Inwieweit eine isolierte Betrachtung einzelner Leistungsarten sinnvoll ist, hängt von der Art ihrer Verbundenheit ab (siehe hierzu Abschnitt 3.2.2.2.1).

36

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

in diesem Bereich erwartet wird. Ebenso sind auch die meisten sonstigen Nebenleistungen seltener bewertungsrelevant. Eine Ausnahme bildet allerdings der Gleichstellungsauftrag, dem in vielerlei Hinsicht eine besondere Aufmerksamkeit zukommt. Er wird sämtlichen Organisationseinheiten der Hochschulen übertragen und kann zum Beispiel bei einer Betrachtung von Forschungsgruppen oder Studiengängen relevant sein. Ein weiteres Kriterium zur Objektdefinition ist der Wissenschaftsbereich bzw. der Fachbezug. Werden von einer organisatorischen Einheit Leistungen in mehreren, eindeutig abgrenzbaren wissenschaftlichen Gebieten erbracht, sollte eine Performancemessung differenziert erfolgen, sodass entsprechende Spezifika, die etwa in unterschiedlichen Zielsetzungen der Leistungserbringung liegen mögen und sich dann auch in den Ergebnissen der Produktion niederschlagen, berücksichtigt werden können.78 Dies gilt nicht nur für die Bewertung wissenschaftlicher und wissenschaftsbasierter Leistungen, sondern zum Beispiel auch für die Bewertung der Erfüllung des Gleichstellungsauftrags in Forschung und Lehre, dessen realisiertes Ausmaß unter anderem von den fachspezifischen Interessen der Wissenschaftler und Wissenschaftlerinnen bzw. der Studenten und Studentinnen abhängt. In der Praxis sind nach Wissenschaftsbereichen bzw. Fächern differenzierte Performancemessungen allerdings oftmals mit Problemen verbunden. Nicht nur gibt es zahlreiche interdisziplinäre Forschungsgruppen, Studiengänge und Graduiertenkollegs, die kaum in die jeweiligen Wissenschaftsfelder aufgeteilt werden können, auch die Objekte verschiedener Aggregationsebenen weisen regelmäßig interdisziplinäre Strukturen auf, die eine differenzierte Betrachtung erschweren. Zum Beispiel umfassen Fachbereiche zwar vorwiegend Lehrstühle einer bestimmten Disziplin, ihnen gehören oft aber auch Lehrstühle angrenzender Wissenschaftsbereiche an. Eine disziplinenspezifische Bewertung kann daher in solchen Fällen nicht einfach anhand der Organisationszugehörigkeit der Lehrstühle, sondern nur auf Basis einer lehrstuhlspezifischen Zuordnung erfolgen, wobei sich selbst diese als problematisch erweist, wenn einzelne Lehrstühle bzw. Personen interdisziplinär tätig sind. Da die organisatorische Gliederung in den Hochschulen stärker an der Lehre als an der Forschung ausgerichtet ist und Letztere weitaus mehr vom Austausch der Disziplinen in davon unabhängigen Kommunikationsgemeinschaften lebt, stellt im Hinblick auf die beiden Kernleistungen die fachlich zentrierte Bewertung der Forschung ein besonders schwieriges Unterfangen dar.79 Schließlich werden die dafür benötigten Daten weder systematisch außerhalb der Hochschulen erfasst, noch liegen sie derzeit regelmäßig hochschulintern vor. Insofern ist

78 79

Vgl. Tavenas (2004), S. 19. Vgl. Wissenschaftsrat (2004), S. 37f., und DFG (2006), S. 129.

Abschnitt 3.1: Konzeption

37

die Objektdefinition bzw. -auswahl nicht nur von den Adressaten der Performancemessung und ihren Informationsinteressen, sondern auch von der Verfügbarkeit adäquater Daten respektive ihrem Erhebungsaufwand abhängig.80 Objektmengen Für einen Performancevergleich mehrerer Objekte ist in der zweiten Konzeptionsphase außer der Definition eines Untersuchungsobjekts die Menge von Objekten zu bestimmen, über deren Leistungen Aussagen getroffen werden sollen.81 Sinnvolle Ergebnisse können solche Untersuchungen allerdings nur dann liefern, wenn es sich um gleichartige Leistungen handelt, die unter gleichen Zielsetzungen und gleichen Bedingungen erbracht werden.82 Aufgrund der Heterogenität des deutschen Hochschulbereichs bestehen in dieser Hinsicht jedoch zahlreiche Einschränkungen. Die Unterschiede sind zum Teil institutionell bedingt. So setzen zum Beispiel private Hochschulen in der Regel fachliche Schwerpunkte, fokussieren sich in der Lehre auf monetär orientierte Studierende und finanzieren sich vorwiegend über Studiengebühren sowie Stiftungsmittel, wohingegen öffentlich finanzierte Hochschulen meist über ein sehr breites Fächerspektrum verfügen, mit der Lehre sämtliche Studierendentypen ansprechen und vorwiegend von Steuergeldern getragen werden.83 Unabhängig von ihrer Trägerschaft haben des Weiteren Universitäten und Fachhochschulen verschiedene Aufgabenstellungen und Zielsetzungen. Während im Allgemeinen Universitäten sowohl im Bereich der Grundlagen- als auch der Anwendungsforschung tätig sind und in der Lehre einen großen Bezug zur Forschung herstellen, richten sich Fachhochschulen vielmehr auf anwendungsnahe Forschung und Lehre. Letztere haben zudem im Gegensatz zu Universitäten kein Promotions- und Habilitationsrecht, woraus sich schließlich auch unterschiedliche Voraussetzungen der Leistungserbringung ergeben.84 Weitere Besonderheiten, die die Vergleichbarkeit von Objekten beeinträchtigen können – selbst wenn diese demselben Hochschultyp zuzuordnen sind – liegen in einzigartigen Profilen und Organisationsstrukturen. Im Hinblick auf die Objekte verschiedener Aggregationsebenen erweisen sich beispielsweise Vergleiche auf Hochschul- und jeder darüber liegenden

80 81 82

83 84

Vgl. Wissenschaftsrat (2004), S. 36ff. Vgl. hierzu die Abgrenzung einer Objektmenge für ein Hochschulranking bei Bayer (2004), S. 166ff. Vgl. Gutierrez (2005), S. 35. Analog ist bei Zeitvergleichen die Stabilität der Objekte im betrachteten Zeitraum sicherzustellen. In dieser Hinsicht können die Möglichkeiten zur Performancemessung im Hochschulbereich insbesondere durch die dort vollzogenen jüngeren Reformen sehr begrenzt sein. Vgl. Spraul (2006), S. 292ff. Vgl. zu den Arten und Aufgaben der Einrichtungen im deutschen Hochschulbereich KMK (2008), S. 153ff.

38

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

Aggregationsebene schon allein aufgrund individueller Fächerspektren der einzelnen Einrichtungen als kaum überzeugend.85 Einfache disziplinen- oder fachspezifische Objektvergleiche auf mittlerer Stufe werden wiederum durch individuelle inhaltliche Schwerpunktsetzungen sowie fachlich variierende Organisationsgefüge behindert. Darüber hinaus entscheiden viele Faktoren, die bei der Leistungserbringung nicht direkt zu kontrollieren sind, aber Einfluss auf die jeweiligen Ergebnisse haben, über die Aussagekraft von Vergleichen. Zu diesen Faktoren gehören etwa das Alter, die Größe und gegebenenfalls die Ausstattung der im Fokus stehenden Objekte.86 Berücksichtigt werden sollten daher die Vorteile traditioneller Organisationseinheiten, die diese im Hinblick auf die betrachteten Leistungen gegenüber Neugründungen haben,87 aber auch eventuelle Größeneffekte und Ressourcenvariationen. Andere Faktoren betreffen das Umfeld der Objekte. Die Unterschiede ergeben sich diesbezüglich zum Beispiel aus den hochschulabhängigen interdisziplinären Forschungs- und Lehrverflechtungen, der wirtschaftlichen Lage eines Hochschulstandorts, welche etwa die Möglichkeiten zu Forschungskooperationen mit Unternehmen beeinflussen kann, sowie der Attraktivität einer Stadt als Studienort.

3.2

Basisanalyse für Forschung und Lehre

Nach der Darstellung der konzeptionellen Grundlagen einer Performancemessung im Hochschulbereich wird nun auf deren Analysephase eingegangen. Die Ausführungen fokussieren auf Forschung und Lehre als die beiden Hauptaufgaben von Hochschulen, da sie im besonderen Interesse zahlreicher Stakeholder und damit auch generell im Mittelpunkt vieler Performancemessungen im Hochschulbereich stehen. Zu Beginn werden allgemeine Ziele der Hochschulforschung und -lehre aufgezeigt (Abschnitt 3.2.1). Es folgen eine produktionstheoretische Analyse (Abschnitt 3.2.2) sowie die Darstellung verschiedener Aspekte der Indikatorenbildung (Abschnitt 3.2.3).

85

86 87

Vgl. für die Hochschulebene z.B. Alewell (1988), S. 47, und Wissenschaftsrat (2004), S. 36. Vergleiche auf internationaler Ebene sind insbesondere auch aufgrund der spezifischen Forschungs- und Bildungssysteme problematisch (vgl. Tavenas (2004), S. 36). Vgl. Witte (1999), S. 34. Backes-Gellner und Zanders haben Effizienzvorteile bei wirtschaftswissenschaftlichen Fachbereichen traditioneller Hochschulen und älteren Neugründungen festgestellt (vgl. Backes-Gellner/Zanders (1989), S. 277ff.).

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

3.2.1

39

Zielanalyse

3.2.1.1 Allgemeine Zielstruktur für Forschung und Lehre Um das für eine Performancemessung erforderliche Zielsystem aufstellen zu können, müssen alle aus Sicht der Adressaten als relevant erachteten Zwecke, Mittel und Nebenfolgen sowie die mit den dazugehörigen Zielvorstellungen verbundenen Präferenzen erfasst und konkretisiert werden. Einen Überblick über diese mit Forschung und Lehre im Hochschulbereich verfolgten Ziele gibt Abbildung 3-4.

Zwecke erreichen

Forschung Produktion neuen (öffentlichen) Wissens Lehre Aus- und Weiterbildung sowie Prüfung von Studierenden

Mittel sparsam einsetzen Personal und Sachmittel bzw. Finanzmittel Studierende

Erwünschte Nebenfolgen erzeugen

Unerwünschte Nebenfolgen mindern

Nachwuchsförderung

Risiken und Gefahren neuer Technologien

Wissens- und Technologietransfer

...

Internationale Zusammenarbeit Gleichstellung ...

88

Abbildung 3-4: Zielstruktur zur Hochschulforschung und -lehre

Demnach ist Forschung innerhalb – wie auch außerhalb – von Hochschulen auf die Produktion neuen, in der Regel öffentlichen Wissens gerichtet89 und deren Lehre dient der Aus- und Weiterbildung sowie Prüfung von Studierenden. Das zur Durchführung dieser Leistungen eingesetzte Personal und die verwendeten Sachmittel bzw. die diese finanzierenden Gelder sind möglichst sparsam einzusetzen. Ebenso ist eine effiziente Einbringung der Studierenden in den Lehrprozess anzustreben, das heißt, möglichst alle Studienanfänger sollten in angemessener Zeit zu einem Hochschulabschluss geführt werden. Als positiv eingeschätzte Nebenfolgen von Forschung und Lehre gelten insbesondere die damit eng verbundenen wissenschaftsbasierten Nebenleistungen sowie auch die Erfüllung des Gleichstellungsauf-

88

89

Vgl. den ähnlichen Aufbau einer Ziel- und Indikatorenstruktur für die hochschulische Forschung in Dyckhoff et al. (2005), S. 63. Vgl. die allgemeine Definition zur Forschung von Chalmers (1999), S. 23, und ergänzend – mit einer Differenzierung von Grundlagen- und Anwendungsforschung – die Ausführungen von Rassenhövel/Dyckhoff (2006), S. 86f.

40

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

trags.90 Negativ erachtet werden dagegen zum Beispiel die mit neu erforschten Technologien einhergehenden Risiken und Gefahren.

3.2.1.2 Konkretisierung des Zielsystems anhand der Interessen ausgewählter Stakeholder Zur Präzisierung der im vorherigen Abschnitt aufgeführten Ziele von Forschung und Lehre eignet sich eine Betrachtung der hinter ihnen stehenden Interessen verschiedener Stakeholder. Die folgende Darstellung umfasst zunächst erwartete Nutzen und Ansprüche von Staat und Ländern, Gesellschaft, Wirtschaft und Politik (Abschnitt 3.2.1.2.1). Während sich diese sowohl auf die Forschung als auch auf die Lehre beziehen, richten sich die Interessen der weiteren betrachteten Stakeholder entweder primär auf die Forschung oder auf die Lehre. So werden zum einen die Nutzen und Ansprüche von Forschern und Forschungsförderern (Abschnitt 3.2.1.2.2), zum anderen diejenigen von Hochschullehrern, (potenziellen) Studierenden und Arbeitgebern (Abschnitt 3.2.1.2.3) aufgezeigt.91

3.2.1.2.1 Interessen von Staat und Ländern, Gesellschaft, Wirtschaft und Politik Die meisten Hochschulen in Deutschland sind Teil des öffentlichen Bildungswesens und unterliegen daher dem Einfluss von Staat und Ländern sowie Gesellschaft, Wirtschaft und Politik. Deren Interessen spielen somit für die Zielausrichtung von Forschung und Lehre im deutschen Hochschulsystem eine gewichtige Rolle. Trotz der Verflechtungen zwischen diesen kollektiven Stakeholdern, die zum Beispiel darauf beruhen, dass sich die Politik auf die Bedürfnisse der Gesellschaft und der Wirtschaft sowie auf die Grundsätze des Staates bzw. der Länder beruft, lassen sich jeweils spezifische Nutzen und Ansprüche herausstellen. Im Hinblick auf die Zweckorientierung hochschulischer Forschung und Lehre sind besonders diejenigen Vorteile bedeutsam, die Gesellschaft, Wirtschaft und Politik von ihnen erwarten. Im gesellschaftlichen Interesse stehen beide, weil sie zur Verbesserung der Lebensverhältnisse beitragen können. Zu den Bereichen, in denen diesbezüglich die Forschung von Nutzen ist, zählen vor allem Gesundheit, Umweltschutz und Sicherheit. Gesellschaftlicher Nutzen entsteht aber auch aus neu entwickelten oder verbesserten Konsumgütern, die das Le-

90

91

Diese Nebenleistungen der Hochschulen werden hier – im Rahmen der auf Forschung und Lehre fokussierenden Basisanalyse einer Performancemessung im Hochschulbereich – als Nebenfolgen von Forschung und Lehre aufgefasst. Vor allem die wissenschaftsbasierten Nebenleistungen der Nachwuchsförderung sowie des Wissens- und Technologietransfers können prinzipiell natürlich auch gut als Nebenzwecke der Hochschulproduktion interpretiert werden. Mit Bezug auf Abschnitt 3.1.1.1 sei noch einmal darauf hingewiesen, dass eine Person, Personengruppe oder Institution verschiedene Stakeholderrollen einnehmen kann, hier z.B. zugleich diejenige eines Forschers und eines Hochschullehrers.

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

41

ben einfacher und bequemer machen. Er wird zudem bewirkt, wenn wissenschaftliche Erkenntnisse helfen, das Zusammenleben der Menschen zu erleichtern. Die Potenziale der akademischen Lehre zur Verbesserung der Lebensverhältnisse beruhen auf der Eröffnung individueller Lebenschancen. Aus- und Weiterbildung erweitern insbesondere die Möglichkeiten der Studierenden zur Ausführung einer den persönlichen Neigungen und Fähigkeiten entsprechenden Erwerbstätigkeit, deren positive Wirkungen sich etwa über beruflichen Erfolg und Zufriedenheit in der allgemeinen Lebensqualität jedes Einzelnen und als deren Summe in den Lebensverhältnissen einer Gesellschaft niederschlagen. Mit der Heranbildung hochqualifizierter und verantwortungsvoll handelnder Fach- und Führungskräfte trägt die Hochschullehre außerdem entscheidend zum Zusammenhalt sowie zur nachhaltigen Entwicklung einer Gesellschaft bei.92 Im Blickpunkt der Wirtschaft stehen die positiven Wirkungen von Hochschulforschung und -lehre auf das Wirtschaftswachstum und die Wettbewerbsfähigkeit eines Wirtschaftsstandorts. Neue wissenschaftliche Erkenntnisse stellen generell eine wesentliche Triebfeder der wirtschaftlichen Entwicklung dar. Im Hochschulbereich handelt es sich zum einen um neu gewonnenes Grundlagenwissen, das zwar nicht direkt kommerziell verwertbar ist, aber Impulse für Forschungstätigkeiten in der Wirtschaft liefert, zum anderen um neue, unmittelbar umsetzbare Ergebnisse angewandter Forschung. Vorteile ergeben sich insbesondere dann, wenn einzelnen Unternehmen selber die für eine gezielte Forschung benötigten Kenntnisse und Ressourcen fehlen oder sie nicht bereit sind, die damit verbundenen wirtschaftlichen Risiken zu tragen. Allerdings werden sie in manche der in Hochschulen gewonnenen Erkenntnisse, zum Beispiel technische Erfindungen, nur dann investieren, um sie zur Marktreife zu bringen, wenn kein anderer von ihnen profitieren kann. Damit derartiges Wissen trotzdem zur Anwendung in der Wirtschaft kommt, ist es erforderlich, dessen Veröffentlichung bzw. wirtschaftliche Verwertung einzuschränken. Solch eine Privilegierung einzelner Unternehmen kann gegebenenfalls schutzrechtlich über Patente oder Lizenzen gesichert werden. Eine weitere wichtige Voraussetzung für die Anhebung der Wirtschaftsleistung und der Wettbewerbskraft der Wirtschaft – nicht zuletzt auch für die Weiterentwicklung und Umsetzung wissenschaftlicher Erkenntnisse in der Praxis – ist der Einsatz qualifizierter und verantwortungsbewusster Arbeitskräfte, zu deren Bereitstellung Hochschulen mit der Aus- und Weiterbildung von Studierenden in besonderem Maße beitragen können.93

92

93

Vgl. die gesellschaftlichen Nutzeffekte von Forschung und Lehre im Allgemeinen, aufgezeigt z.B. in OECD (2004) bzw. Wößmann (2006 und 2007) und Autorengruppe Bildungsberichterstattung (2008), S. 199ff. Vgl. auch hierzu die allgemeinen Erträge von Forschung und Lehre für die Wirtschaft, die ebenfalls in den oben genannten Quellen (siehe Fußnote 92) konkretisiert werden.

42

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

Die Politik wiederum kann Forschungserkenntnisse als Grundlage ihrer Entscheidungen heranziehen und damit gleichzeitig ihr Handeln legitimieren. Nicht selten haben Hochschulforscher sogar eine explizite Beratungsfunktion, um zum Beispiel Politiker mit ihren Expertisen zu unterstützen, wenn Reformen auf den Weg gebracht oder Gesetze erlassen werden sollen.94 Ferner profitiert die Politik von der Hochschullehre, sofern diese die Bereitschaft der Studierenden zu demokratischer Partizipation fördert.95 Im Hinblick auf die Interessen aller kollektiven Stakeholder sollte also die Forschung an Hochschulen primär auf die Produktion neuen (Grundlagen- als auch Anwendungs-)Wissens für sämtliche Bereiche gesellschaftlichen, wirtschaftlichen und politischen Bedarfs abzielen. Damit die wissenschaftlichen Erkenntnisse der Allgemeinheit zugute kommen, sollten sie zwar prinzipiell frei zugänglich sein, eine Geheimhaltung ist aber durchaus für einzelne Resultate der Anwendungsforschung sinnvoll, damit andere in sie investieren und sich ihre möglichen Nutzeffekte überhaupt entfalten können. Bei der Lehre steht aus Sicht der kollektiven Stakeholder generell die Heranbildung fachlich respektive beruflich hochqualifizierter und in Gesellschaft, Wirtschaft und Politik sowie in der Wissenschaft verantwortungsvoll handelnder Absolventen im Vordergrund. Neben diesen wesentlichen Vorteilen hochschulischer Forschung und Lehre für die kollektiven Stakeholder stehen finanzielle Nutzen und zwar unmittelbar für Staat und Länder sowie mittelbar vor allem für Gesellschaft und Wirtschaft. Diese finanziellen Erträge basieren auf höheren Steuereinnahmen und geringeren Sozialtransfers, die sich zum Beispiel aus einer gesteigerten Wirtschaftskraft, ihren Beschäftigungswirkungen und Einkommenseffekten ergeben. Werden sie zur Finanzierung staatlicher Aufgaben verwendet, profitieren wiederum Gesellschaft und Wirtschaft sowie das Hochschulsystem selber von ihnen. Die finanziellen Interessen der kollektiven Stakeholder beziehen sich allerdings nicht nur auf die Erträge von Forschung und Lehre, sondern auch auf die damit verbundenen Kosten. Schließlich wird das deutsche Hochschulsystem überwiegend mit öffentlichen Geldern finanziert.96 Da diese Mittel knapp sind und in Konkurrenz zu anderen aus Steuergeldern getragenen Bereichen verteilt werden, wird der effektive und effiziente Einsatz der dem Hochschulbereich von der öffentlichen Hand für Personal und Sachmittel zur Verfügung gestellten Gelder gefordert. Um eine hohe kollektive Bildungsrendite zu erzielen, sollte zudem die effektive und effiziente Einbringung der Studierenden in den Lehrprozess angestrebt werden.

94 95

96

Vgl. zur Wissenschaft als Politikberatung Renn (2006), S. 93ff. Vgl. zu positiven Auswirkungen von Ausbildung auf staatsbürgerliches Verhalten Dee (2004) und Milligan/ Moretti/Oreopoulos (2004). Vgl. Kirchhoff-Kestel (2006), S. 83.

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

43

In dieser Hinsicht ist vor allem eine angemessene Studiendauer relevant, nicht nur weil die Länge eines Studiums die Aufwendungen für die Heranbildung hochqualifizierten Humankapitals beeinflusst,97 sondern auch weil sie mit der Lebensarbeitszeit der Studierenden korrespondiert und sich insofern auch auf die finanziellen Erträge bzw. Opportunitätskosten eines Studiums auswirkt. Neben den Vorteilen, die sich aus neuem Wissen und qualifizierten, verantwortungsbewussten Absolventen ergeben, stehen auch die Nutzen weiterer Hochschulleistungen, die im Zusammenhang mit Forschung und Lehre erbracht werden können, im Interesse der kollektiven Stakeholder. Sie prägen die Zielvorstellungen der erwünschten Nebenfolgen von Forschung und Lehre im Hochschulbereich. Eine dieser Nebenfolgen, die allerdings nur an Hochschulen mit Promotionsrecht, also Universitäten und ihnen insoweit gleichgestellten Hochschulen, eine Bedeutung hat, ist die Förderung des wissenschaftlichen Nachwuchses. Sie liegt in der Vorbereitung von Doktoranden auf die Übernahme wissenschaftlicher Tätigkeiten in Gesellschaft, Wirtschaft und Politik sowie Forschung und Lehre. Die Verbindung zwischen den Leistungen beruht zum einen darauf, dass Studierende bereits während ihrer Aus- oder Weiterbildung für solche Qualifikationen motiviert und dahingehend gefördert werden können. So mögen sich eine Stärkung der wissenschaftlichen Neugier von Studierenden und deren gezielte Heranführung an Forschungsfragen positiv auf ihre Promotionsabsichten und ihr Bestreben zur Aufnahme einer wissenschaftlichen Laufbahn auswirken. Masterprogramme bereiten sogar explizit auf weitere wissenschaftliche Qualifikationen vor. Außerdem können besonders leistungsfähige Studierende (mit Wissenschaftsinteresse) in Forschungsprojekte einbezogen sowie als studentische Hilfskräfte oder Tutoren in der Lehre eingesetzt werden, wodurch sie auch in engerem Kontakt zu den Wissenschaftlern stehen.98 Zum anderen sind Forschung und Lehre mit der Nachwuchsförderung verknüpft, weil Promovierende sich durch wissenschaftliche Arbeiten qualifizieren, die regelmäßig in Forschungsprojekte der Universitäten eingebunden sind, und sie zudem oftmals als Wissenschaftliche Mitarbeiter Aufgaben in der Aus- und Weiterbildung der Studierenden wahrnehmen. Eine zweite erwünschte Nebenfolge von Forschung und Lehre ist der Wissens- und Technologietransfer. Er ist Voraussetzung dafür, dass neue Forschungserkenntnisse Staat und Ländern, Gesellschaft, Wirtschaft und Politik zugute kommen, und erfolgt beispielsweise, wenn durch eine forschungs- oder lehrbezogene Zusammenarbeit von Hochschulen und Unter-

97 98

Vgl. HIS/ZEW (2003), S. 24f. Vgl. hierzu die Studie „Wissenschaftlicher Nachwuchs unter den Studierenden“ von Bargel und Röhl (2006).

44

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

nehmen wissenschaftliche Erkenntnisse zur Anwendung geführt werden bzw. Absolventen als Berufseinsteiger neues Fachwissen in die Praxis einbringen. Vorteilhaft ist aus Sicht der kollektiven Stakeholder auch, wenn Forschungs- und Lehrleistungen in internationaler Zusammenarbeit erbracht werden. Dadurch lassen sich Kompetenzen zur Wissensproduktion gewinnen, die zum Beispiel der Wirtschaft Innovationsvorsprünge verschaffen können. Außerdem ist eine bessere Vorbereitung der Studierenden auf die Tätigkeiten in internationalen Arbeitsmärkten möglich. Im Mittelpunkt der grenzüberschreitenden Zusammenarbeit von Hochschulen sollten Kooperationen und Austauschbeziehungen im europäischen Raum stehen, die das gesellschaftliche, wirtschaftliche und politische Zusammenwachsen der zugehörigen Staaten unterstützen.99 Eine vierte erwünschte Nebenfolge von Forschung und Lehre aus Sicht der kollektiven Stakeholder ist die Gleichstellung von Frauen und Männern. Sie bezieht sich sowohl auf das in Forschung und Lehre eingesetzte Personal als auch auf die Studierenden und bedarf einer besonderen Aufmerksamkeit vor allem in den Fächern Mathematik, Informatik, Natur- und Technikwissenschaften (MINT-Fächer), in denen weibliche Studierende derzeit deutlich unterrepräsentiert sind. Mit der hochschulischen Gleichstellung sollen die Grundlagen dafür geschaffen werden, dass Frauen und Männer in sämtlichen Wissenschaftsbereichen und auf allen Ebenen, insbesondere in Führungspositionen, adäquat vertreten sind, sodass Gesellschaft, Wirtschaft und Politik von ihren unterschiedlichen Sichtweisen und Denkansätzen profitieren können.100 Außer den verschiedenen Nutzen und Kosten von Forschung und Lehre nehmen Gesellschaft, Wirtschaft und Politik auch deren Risiken und Gefahren, insbesondere diejenigen neuer Forschungstechnologien wahr. Diese rufen Skepsis oder gar Ablehnung der Wissensproduktion hervor.101 In der Kritik stehen beispielsweise einige Anwendungsfelder der Gentechnik und der Atomenergie. Solche gegebenenfalls unerwünschten Nebenfolgen der Leistungserbringung im Hochschulbereich gilt es zu vermeiden.

99

100 101

Im Hochschulbereich selber wurde dafür 1999 in Bologna der Prozess zur Schaffung eines gemeinsamen europäischen Hochschulraums bis zum Jahr 2010 angestoßen. Eine detaillierte Zusammenstellung von Informationen über den Bologna-Prozess inklusive der wichtigsten Vereinbarungen auf internationaler und nationaler Ebene geben die von der HRK herausgegebenen „Bologna-Reader“ (HRK (2004 und 2007)). Vgl. BMBF (2008), S. 2. Vgl. Zwick (2007).

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

45

3.2.1.2.2 Interessen von Forschern und Forschungsförderern Forscher Hochschulforscher und andere Wissenschaftler profitieren insbesondere dann von den Erkenntnissen der Hochschulforschung, wenn sie ihre eigene Forschung darauf aufbauen können. So müssen sie Dinge nicht mehrfach erarbeiten und können die Wissenschaft schneller voranbringen. Dies erfordert allerdings die Veröffentlichung und weite Verbreitung von Forschungserkenntnissen, zum Beispiel mittels Publikationen und Vorträgen. Im Hinblick auf ihre eigenen Tätigkeiten haben Forscher außerdem einen Nutzen von einer öffentlichen Diskussion ihres selbst geschaffenen neuen Wissens, die maßgeblich von den Hochschulwissenschaftlern getragen wird. Letztlich können sie dadurch auch eine hohe Reputation in der Scientific Community erlangen.102 Positiv für Forschungstätigkeiten an Hochschulen wird zudem speziell von den dort beschäftigten Wissenschaftlern eine gute Finanz- und Sachmittelausstattung angesehen. Darüber hinaus sind sämtliche Forscher auch an der Lehre und an den Nebenleistungen der Hochschulen interessiert. Nur durch die wissenschaftliche Aus- und Weiterbildung von Studierenden sowie die Förderung des wissenschaftlichen Nachwuchses kann ihre Arbeit in Zukunft fortgesetzt werden. Außerdem erweist sich der Transfer neuen Wissens und neuer Technologien in die Praxis als eine wesentliche Voraussetzung für deren Anwendung, und eine internationale Zusammenarbeit in der Forschung ist oftmals hilfreich oder sogar notwendig, um bestimmte Forschungsthemen vorantreiben zu können. Forschungsförderer Da Forschung im Hochschulbereich nicht ausschließlich aus regulär zur Verfügung stehenden Haushaltsmitteln, sondern auch zum Teil aus Mitteln Dritter finanziert wird,103 haben die Interessen der Geldgeber einen besonders hohen Stellenwert für die Ziele der von ihnen finanzierten Forschung. Zu diesen Förderern gehören sowohl öffentliche als auch private Stellen. Sie vergeben ihre Gelder wettbewerblich auf Basis bestimmter Kriterien meistens zweckgebunden an einzelne Forscher und Forschungsgruppen. Im Gegensatz zu den Grundmitteln, die den Wissenschaftlern zur freien Forschung zur Verfügung stehen, sind Drittmittel also in der Regel ausschließlich für die von ihrem Geldgeber vorgesehenen Forschungstätigkeiten zu verwenden.

102 103

Zur Reputation siehe Abschnitt 4.3.5. An den Hochschulen in Deutschland lag die Relation von Drittmitteln zu laufenden Grundmitteln im Jahr 2006 bei 27 % (berechnet aus Daten des Statistischen Bundesamts, vgl. Statistisches Bundesamt (2008), S. 76f.).

46

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

Im Hinblick auf die Zielausrichtung der Hochschulforschung sind Drittmittelgeber mit gemeinnützigen Interessen von solchen mit privaten Belangen zu unterscheiden. Gemeinnützig orientierte Förderer sind insbesondere die Europäische Union (EU), Bund und Länder, die Deutsche Forschungsgemeinschaft (DFG) sowie die Mehrzahl derjenigen Stiftungen, die die Wissenschaft finanziell unterstützen.104 Die mit den von ihnen bereitgestellten Geldern finanzierten Forschungsprojekte sollen dem Gemeinwohl zugute kommen – im Prinzip also die bereits aufgezeigten Nutzen neuer wissenschaftlicher Erkenntnisse für die kollektiven Stakeholder stiften. Entsprechend breit ist das Spektrum geförderter Forschungsvorhaben. Es reicht von Grundlagen- bis zur Anwendungsforschung in sämtlichen wissenschaftlichen Disziplinen, wobei die Wissenschaftler nicht selten erst durch die finanzielle Unterstützung zum Aufgreifen bestimmter Themen motiviert werden. Zu den Forschungsförderern, die selber von drittmittelfinanzierten Projekten profitieren möchten, gehören insbesondere Unternehmen aus der Industrie. Sie streben regelmäßig mit der Vergabe konkreter Aufträge zur Anwendungsforschung eine kommerzielle Verwertung der erzielten wissenschaftlichen Erkenntnisse an, die einer Geheimhaltung und gegebenenfalls eines exklusiven Verwertungsrechts bedarf, um die eigene Wettbewerbskraft und Leistungsfähigkeit zu sichern bzw. zu steigern. Unabhängig von der Art der primär angestrebten Nutzen der Drittmittelgeber fordern diese generell einen effektiven und effizienten Einsatz der von ihnen für die Forschung zur Verfügung gestellten Gelder. Zudem können auch für sie die bereits aufgezeigten oder weitere Nebenfolgen von Bedeutung sein.

3.2.1.2.3 Interessen von Hochschullehrern, Studierenden und Arbeitgebern Hochschullehrer Die an den Hochschulen Lehrenden sind im Allgemeinen an guten Lehrbedingungen sowie studierfähigen und -willigen Studierenden interessiert. Sie können Vorteile von den veröffentlichten Forschungserkenntnissen anderer und insbesondere von selbst geschaffenem neuen Wissen haben, da sie damit ihre Lehre erneuern können. Aus ihrer Perspektive ist zudem die Förderung des wissenschaftlichen Nachwuchses besonders bedeutsam, schließlich wird dieser in Zukunft Studierende wissenschaftlich ausbilden.

104

Dazu gehören z.B. die Bertelsmann Stiftung, die Deutsche Bundesstiftung Umwelt (DBU), die Robert Bosch Stiftung, die Thyssen Stiftung und die Volkswagen (VW) Stiftung.

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

47

(Potenzielle) Studierende Da Lehre in Hochschulen nicht ohne Studierende stattfinden kann, sind besonders die Beweggründe, die zur Aufnahme bzw. Vollendung eines Studiums führen, für die Zielausrichtung der hochschulischen Lehre relevant. Sie bestehen aus den Erwartungen der (potenziellen) Studierenden105 an die Nutzen einer abgeschlossenen akademischen Aus- und Weiterbildung und lassen sich in professionelle, bildungshumanistische, materielle und sozial-altruistische Erwartungen differenzieren. Die unterschiedliche Bedeutung dieser erwarteten Nutzen eines Studiums zeigt die von der Arbeitsgruppe Hochschulforschung an der Universität Konstanz im Auftrag des Bundesministeriums für Bildung und Forschung (BMBF) durchgeführte Untersuchung „Studiensituation und studentische Orientierungen“. Demnach steht für die Studierenden die Vorbereitung auf eine interessante spätere Berufstätigkeit im Vordergrund (75 %), wobei die fachliche sowie die wissenschaftliche Qualifikation als sehr wichtig angesehen werden (72 % bzw. 66 %). Ein hoher Nutzen wird dem Studium auch aufgrund der damit verbundenen persönlichen Entwicklung (54 %) und allgemeinen Bildung (48 %) zugesprochen. Ebenso wird es von knapp der Hälfte der Studierenden als Chance gesehen, ein gutes Einkommen zu sichern (47 %), und für gut ein Viertel von ihnen scheint es den Weg zur Erreichung einer hohen sozialen Position zu öffnen (28 %). Nicht zuletzt spielt auch die sozial-altruistische Haltung der Studierenden eine Rolle, wobei der Wunsch, Hilfe für andere Menschen anbieten und die Gesellschaft verbessern zu können (jeweils 34 %) durchaus mit einer materiellen Orientierung vereinbar zu sein scheint.106 Wenngleich die als Vorteile eingeschätzten Aspekte eines Studiums in den Fächergruppen – und nicht zuletzt von den einzelnen Studierenden – unterschiedlich akzentuiert werden, ist zumindest die stark ausgeprägte professionelle Orientierung der Studierenden als gemeinsamer Konsens festzuhalten.107 Diesbezüglich ist zu ergänzen, dass die Studierenden (primär am Ende ihres Studiums) von den Hochschulen (bzw. bei Staatsexamen vom Staat) einen Nachweis wünschen, der ihre studienbezogenen Qualifikationen für sie selber und für Arbeitgeber transparent macht. Wenn Studierende zwar auf den ersten Blick wenig von hochschulischen Prüfungen begeistert zu sein scheinen, so sind diese aus ihrer Perspektive doch eine wesentliche Voraussetzung für den Erhalt differenzierender Noten und Zeugnisse, die letztlich ihre Fähigkeiten signalisieren können.

105 106 107

Im Folgenden werden mit Studierenden teilweise auch potenzielle Studierende gemeint. Vgl. Bargel/Ramm/Multrus (2008), S. 8. Vgl. Bargel/Ramm/Multrus (2008), S. 9. Die Arbeitsmarktorientierung der Studierenden spiegelt sich auch in zwei vom Hochschul-Informations-System (HIS) durchgeführten Studien wider (vgl. Heine et al. (2005), S. 9ff.).

48

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

Aufgrund der Beteiligung der Studierenden an der Lehrproduktion und ihrem damit verbundenen Prozesserleben sollte bei der hochschulischen Zielausrichtung auch die Zufriedenheit der Studierenden während des Lehrprozesses berücksichtigt werden. Schließlich stellt diese eine wesentliche Voraussetzung für den erfolgreichen Abschluss eines Studiums dar. Die Zufriedenheit ergibt sich aus sehr verschiedenen Komponenten. Eine erste betrifft die äußeren Studienbedingungen in Form der sachlichen Ausstattung der Hochschulen108 mit zum Beispiel klimatisierten Räumen, einer guten EDV-Infrastruktur und einem breiten Literaturangebot. Weitaus wichtiger für die Studierendenzufriedenheit sind jedoch – analog zu anderen stark durch Interaktion geprägten Leistungen – Art, Umfang und Ausgestaltung der Kontakte zwischen den Prozessbeteiligten. Eine in dieser Hinsicht besonders große Bedeutung haben die Lehrveranstaltungen sowie die persönliche Beratung und Betreuung der Studierenden.109 Sie werden maßgeblich vom fachlichen Know-how und den didaktischen Fähigkeiten der Lehrenden bestimmt und hängen insofern eng mit dem Input der Lehre zusammen. Entscheidend für die Zufriedenheit der Studierenden mit der Lehre ist außerdem, welche studiengestaltenden Maßnahmen in ihren Augen förderlich für die Erfüllung ihrer Erwartungen an ein abgeschlossenes Studium sind. Dazu gehören zum Beispiel die Integration von Praxisphasen sowie studienbezogenen Auslandssemestern in den Aus- oder Weiterbildungsprozess, die Teilnahme an Forschungsprojekten und ein zügiger Studienabschluss.110 Hinter letztgenanntem Wunsch der Studierenden, das Studium in kurzer Zeit abzuschließen, steht nicht nur die Aussicht auf bessere Berufschancen, sondern auch ein privates finanzielles Interesse. Direkte Kosten in Form von Semester- und eventuell Studienbeiträgen111 sowie Opportunitätskosten aufgrund entgangener Einkommen während des Studiums können durch eine angemessene Studienzeit begrenzt werden.112 Hinzu kommt der Anspruch der Studierenden an die Hochschulen, die von ihnen für die Aus- oder Weiterbildung gezahlten Beträge effektiv und effizient in die Lehrprozesse einzusetzen. Arbeitgeber Es wurde bereits deutlich, dass die Vorbereitung von Studierenden auf berufliche Tätigkeitsfelder als wichtiges Ziel der akademischen Aus- und Weiterbildung betrachtet werden kann.

108 109 110 111

112

Vgl. Heine et al. (2005), S. 14f. Vgl. Bargel/Ramm/Multrus (2008), S. 28. Vgl. Bargel/Ramm/Multrus (2008), S. 9f. und 38. Die Erhebung von Studienbeiträgen ist in Deutschland sehr unterschiedlich geregelt. Maßgeblich für die verschiedenen Modelle öffentlicher Hochschulen sind in erster Linie die Länder, denen seit der Aufhebung des Verbots von Studiengebühren durch das Bundesverfassungsgericht im Januar 2005 die entsprechende Gesetzgebungskompetenz obliegt. Die Verantwortung für die Studienzeit wird allerdings nicht nur bei den Hochschulen, sondern auch bei den Studierenden gesehen (vgl. z.B. Bargel/Ramm/Multrus (2008), S. 11).

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

49

Da zahlreiche Arbeitgeber Hochschulabsolventen als Arbeitskräfte beschäftigen, stellen auch sie eine für die Konkretisierung der Lehrziele zentrale Stakeholdergruppe dar. Ihre Interessen richten sich vorwiegend auf die Kompetenzen der Absolventen. Sie kommen wiederholt in Stellenangeboten zum Ausdruck und werden gelegentlich in allgemeineren Arbeitgebererklärungen geäußert. Die von Mitarbeitern unabhängig von ihrer Ausbildung geforderten Kompetenzen sind sehr vielfältig und unterscheiden sich zum Beispiel mit der zu besetzenden Position, den damit verbundenen Aufgaben sowie der jeweiligen Größe und Branche des Arbeitgebers. Häufig werden sie generell in fachliche und überfachliche Kompetenzen differenziert. Fachkompetenz umfasst berufs- bzw. bereichsspezifische Kenntnisse, Fertigkeiten und Fähigkeiten, insbesondere das fachliche Faktenwissen und ein Verständnis grundlegender Fachprinzipien. Sie ist von mehreren überfachlichen Kompetenzen abzugrenzen, deren weitergehende Systematisierung und Spezifizierung auf unterschiedlichen Ansätzen beruhen. Weit verbreitet sind die vier Dimensionen der Sach-, Methoden-, Sozial- und Selbstkompetenz. Während Sachkompetenz die Befähigung und Bereitschaft bezeichnet, disziplinenunabhängig Aufgaben und Probleme mithilfe fachlichen Wissens lösen sowie das Ergebnis beurteilen zu können, beinhaltet Methodenkompetenz das dabei geplante und zielgerichtete Vorgehen. Unter Sozialkompetenz werden die Befähigung und Bereitschaft verstanden, soziale Beziehungen aufbauen, gestalten und aufrechterhalten zu können sowie sich mit anderen rational und verantwortungsbewusst auseinanderzusetzen und zu verständigen. Schließlich beinhaltet Selbstkompetenz die Fähigkeiten, in denen sich individuelle Einstellungen zur Arbeit und zur eigenen Person ausdrücken.113 Den überfachlichen Kompetenzen wird immer häufiger die Rolle beruflicher Schlüsselqualifikationen zugeschrieben. Ihre Vermittlung auch im Rahmen der akademischen Aus- und Weiterbildung ist daher ein zunehmender Wunsch der Arbeitgeber. Um die Berufsbefähigung der Studierenden insgesamt zu fördern, sollte die Lehre aus Sicht der Arbeitgeber einen starken Praxisbezug aufweisen und vor allem Praktikumsphasen in das Studium integrieren. Aufgrund der räumlichen Entgrenzung der Arbeitsmärkte steht außerdem ihre Internationalisierung, die durch Kooperationen mit ausländischen Hochschulen erfolgen kann, im Interesse der Arbeitgeber. Neben den Erwartungen bzw. Wünschen der Arbeitgeber an die Aus- und Weiterbildung von Studierenden ist es für sie auch wichtig, dass die Qualifikationen der Absolventen erkennbar sind. Arbeitgeber profitieren also bei ihrer Personalauswahl von Hochschulprüfungen und

113

Vgl. z.B. Schaeper/Briedis (2004), S. 5f.

50

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

den darauf basierenden Zertifikaten, welche die Humankapitalausstattung der Absolventen signalisieren sollen.

3.2.2

Produktionstheoretische Analyse

Nach der Identifizierung und Konkretisierung aller bewertungsrelevanten Ziele im Rahmen einer Performancemessung ist der Untersuchungsgegenstand systematisch aus produktionstheoretischer Perspektive zu analysieren. Im Folgenden wird ein Überblick über solch eine Analyse für Forschung und Lehre im Hochschulbereich gegeben. Er umfasst zum einen die Darstellung eines grundlegenden Produktionsmodells sowie generelle Überlegungen zur Produktionstechnologie (Abschnitt 3.2.2.1), zum anderen eine detaillierte Auseinandersetzung mit einzelnen Merkmalen der Forschungs- und Lehrproduktion in Hochschulen (Abschnitt 3.2.2.2).

3.2.2.1 Grundlegendes Modell und Technologie der Forschungs- und Lehrproduktion Im Zentrum der produktionstheoretischen Analyse für eine Performancemessung steht die Beschreibung des realen Produktionsgeschehens. Dazu gehören die Bestimmung derjenigen Ergebnisse114, die in Verbindung mit den Leistungszielen der Produktion stehen, sowie die Abbildung der Zusammenhänge zwischen ihnen. Durch solch eine umfassende Betrachtung lässt sich sicherstellen, dass alle bewertungsrelevanten Aspekte berücksichtigt bzw. zumindest reflektiert werden, um letztlich sinnvolle Indikatoren bilden zu können. Zur Unterstützung der Analyse dient ein Produktionsmodell, das alle relevanten Ergebnisse der Produktion in vereinfachter, strukturierter Form abbildet. Ein für den Hochschulbereich grundlegendes Produktionsmodell, das für konkrete Untersuchungsobjekte unter Berücksichtigung vor allem fachlicher Spezifika zu konkretisieren ist, präsentiert Abbildung 3-5. Es beinhaltet differenziert nach Input, Prozess, Output und Outcome die wesentlichen Ergebnisarten der Forschungs- und Lehrproduktion, skizziert außerdem die Verbindungen zwischen diesen beiden und deutet auf Zusammenhänge zwischen dem Outcome und der Erbringung nachfolgender Forschungs- und Lehrleistungen hin.115

114 115

Im entscheidungstheoretischen Sinne gemäß Ergebnisfunktion (siehe Abschnitt 2.1.2). Ein anderes Modell, in dem abweichend zu dem hier dargestellten z.B. auch Prüfungsprozesse, nicht aber die Vielfalt der Wirkungen im Hochschulumfeld explizit dargestellt sind, präsentieren Syrbe/Bayer (1997), S. 272.

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

Input

Personal und Sachmittel bzw. Finanzmittel

51

Prozess

Output

Outcome

Forschung

Neues Wissen

Wirkungen • in der Gesellschaft • in der Wirtschaft • auf dem Arbeitsmarkt

Studierende

Lehre

Absolventen

• in der Umwelt • in der Wissenschaft • ...

Drittmittel, Wissenschaftler, Studierende, ...

Abbildung 3-5: Ein grundlegendes Modell der Forschungs- und Lehrproduktion in Hochschulen

Die Produktion von Forschung und Lehre im Hochschulbereich lässt sich entsprechend ganz allgemein wie folgt beschreiben: Den Input der Forschungs- und Lehrproduktion bilden Personal und Sachmittel, die vorwiegend über Gelder der jeweiligen Bildungsträger und über Drittmittel finanziert werden,116 außerdem Studierende, die insbesondere an der Lehrproduktion beteiligt sind. Diese Produktionsfaktoren werden im Forschungs- bzw. Lehrprozess miteinander kombiniert, um neues Wissen zu schaffen bzw. die Studierenden auf berufliche Beschäftigungsfelder und verantwortliches Handeln vorzubereiten, wobei eine enge Verbindung zu den weiteren Hochschulleistungen vorliegt. Die unmittelbar aus diesen Prozessen resultierenden Ergebnisse sind zum einen gewonnene Forschungserkenntnisse, zum anderen aus- und weitergebildete Studierende, die erfolgreich die an das Studium gebundenen Prüfungen absolviert haben. Der Outcome der Forschungs- und Lehrproduktion liegt in verschiedenen Veränderungen des Hochschulumfelds, wie etwa denjenigen der Lebensbedingungen einer Gesellschaft und der Wirtschaftsleistung eines Staates oder des wirtschaftlichen Erfolgs von Forschungsförderern, den Beschäftigungsmöglichkeiten der Absolventen und der Leistungsfähigkeit von Arbeitgebern. Diese Wirkungen außerhalb des hochschulischen Produktionssystems können dessen zukünftige Forschungs- und Lehrleistungen be-

116

Weitere Finanzierungsquellen der Forschungs- und Lehrproduktion sind eigene Einnahmen der Hochschulen sowie sonstige Zuweisungen und Zuschüsse (vgl. Kirchhoff-Kestel (2006), S. 82ff.), darüber hinaus Studiengebühren.

52

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

einflussen, so etwa wenn Unternehmen aufgrund erfolgreicher Nutzung neuer Forschungserkenntnisse aus dem Hochschulbereich zur finanziellen Unterstützung dort angesiedelter Forschungsprojekte motiviert werden oder Studienanfänger eine bestimmte Hochschule aufgrund ihres guten Rufs auf dem Arbeitsmarkt für ihre eigene Aus- und Weiterbildung wählen. Neben dieser allgemeinen Analyse der Produktionsbestandteile und ihrer Verflechtungen sind auch Kenntnisse über die Produktionstechnologie bzw. ihrer Eigenschaften von besonderer Bedeutung für eine Performancemessung.117 Schließlich lassen sich Effektivitäts- und Effizienzgrade nur unter Berücksichtigung der bestehenden Produktionsmöglichkeiten sinnvoll bestimmen. Wichtig ist beispielsweise das Wissen über die Art der Verbundenheit von Forschung und Lehre, um bestehenden Interdependenzen zwischen diesen beiden Leistungen gerecht werden zu können. Außerdem lassen sich etwa Fragen nach Faktorsubstitutionsraten, Produktionselastizitäten, Grenz- oder Skalenerträgen eigentlich nur für den effizienten Rand einer Technologie (Produktionsfunktion) sinnvoll behandeln, für ineffiziente Produktionseinheiten dagegen erst, wenn sie im Sinne eines Benchmarkings auf einen Teil des effizienten Randes projiziert werden.118

3.2.2.2 Merkmale der Forschungs- und Lehrproduktion und ihre Bedeutung für eine Performancemessung Die Identifizierung und Messbarmachung konkreter Ergebnisse der Forschungs- und Lehrproduktion sowie die Bestimmung der jeweiligen Technologie bzw. markanter Eigenschaften ihres effizienten Randes sind mit Problemen behaftet, die vor allem auf drei Merkmale der Forschungs- und Lehrproduktion zurückzuführen sind. Dazu gehören erstens die enge Verbundenheit der Produktion neuen Wissens mit der Aus- bzw. Weiterbildung von Studierenden und zweitens deren Immaterialität. Beide werden in Abschnitt 3.2.2.2.1 thematisiert. In Vorbereitung der empirischen Analysen in Kapitel 6 dieser Arbeit werden dort auch theoretische Überlegungen und empirische Erkenntnisse zu den Skalenertragseigenschaften der hochschulischen Produktionsfunktion von Forschung bzw. Lehre aufgezeigt. Das dritte Kennzeichen, das eine Performancemessung im Hochschulbereich erschwert, ist die Integration der Studierenden als externe Faktoren in den Lehrprozess. Es gilt speziell für die Lehrproduktion und wird in Abschnitt 3.2.2.2.2 eingehender betrachtet.

117 118

Vgl. zu Technologien (bzw. Techniken) und deren Eigenschaften Dyckhoff (2006b), S. 54ff. Vgl. Dyckhoff/Rassenhövel/Sandfort (2009), S. 24f. Eine erste Produktionsfunktion für Universitäten wurde von Southwick (1969) aufgestellt. Weitere Ansätze für hochschulische Produktionsfunktionen stammen z.B. von Brinkmann (1991), Rothschild/White (1995) und Horstkötter (2008).

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

53

3.2.2.2.1 Allgemeine Merkmale Kuppel-, Alternativ- und Parallelproduktion von Forschung und Lehre Nach dem Grad und der Art der Verbundenheit der Erbringung von Forschungs- und Lehrleistungen lassen sich drei Produktionstypen im Hochschulbereich identifizieren, die von unterschiedlicher Bedeutung für die Möglichkeiten ihrer isolierten Bewertung sind: Kuppel-, Alternativ- und Parallelproduktion.119 Wie diese konkret aussehen (können) und wie stark sie in der Hochschulpraxis ausgeprägt sind, wird im Folgenden erörtert.120 Kuppelproduktion liegt grundsätzlich dann vor, wenn mit einem einzigen Prozess zwangsläufig mindestens zwei Leistungszwecke gleichzeitig erfüllt werden.121 Im deutschen Hochschulbereich geht die Kuppelproduktion auf das von Humboldt geprägte Ideal der Einheit von Forschung und Lehre zurück, nach dem diese sich gegenseitig befruchten. In dieser Form werden Forschungs- und Lehrleistungen mit denselben Produktionsfaktoren und insbesondere im selben Handeln der am Prozess beteiligten Personen erbracht (uno actu). Die Gewinnung neuer wissenschaftlicher Erkenntnisse findet also in unmittelbarer Verbindung mit der Aus- und Weiterbildung von Studierenden statt. Dies muss durch forschende Lehre erfolgen, also etwa dadurch, dass die Lehrenden im wissenschaftlichen Dialog mit den Studierenden durch deren kritische Fragen und Einwürfe zu neuen Einsichten gelangen, beide gemeinsam an Problemlösungen arbeiten oder die Studierenden in wissenschaftlichen Arbeiten eigenständige Forschungsleistungen dokumentieren. Da die in solchen Kuppelproduktionsprozessen eingesetzten Faktoren – insbesondere im Personalbereich – dem Output nicht direkt zugeordnet werden können, müssen die jeweiligen Forschungs- und Lehrleistungen im Rahmen einer Performancemessung stets zusammen untersucht werden. Alternativproduktion ist eine weitere Ausprägung verbundener Produktion, bei der ebenfalls mehrere Hauptleistungen durch den Einsatz gleicher Produktionsfaktoren, allerdings getrennt voneinander erbracht werden. Sich derart abwechselnde und um die Ressourcen konkurrierende Forschungs- und Lehrprozesse ließen sich folglich im Prinzip auch organisatorisch und institutionell voneinander isolieren. Die aus ihnen hervorgehenden neuen wissenschaftlichen Erkenntnisse und Absolventen stellen zwei separate Outputs dar, von denen Erstere allenfalls als Vorprodukt in die Lehre einfließen, um sie dadurch zu erneuern. Im Gegensatz zur gekoppelten Produktion lassen sich bei alternativer Herstellung Inputs und Out-

119 120

121

Vgl. generell für Mehrprodukt-Produktionen Dyckhoff (2006b), S. 357. Vgl. hierzu Albach (1985), S. 862, Backes-Gellner (1989b), S. 53ff., Backes-Gellner/Zanders (1989), S. 273, Brinkmann (1991), S. 60ff., und Neuweiler (1997), S. 197f. In einem weiteren Sinne ist jede Produktion eine Kuppelproduktion, weil immer „Nebenwirkungen“ (z.B. Abwärme) mit einem Produktionsprozess verbunden sind (vgl. Dyckhoff/Spengler (2007), S. 14f.).

54

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

puts prinzipiell einander eindeutig zuordnen, sodass Forschung und Lehre einzeln bewertbar sind. Neben diesen durch Ressourcenverbünde gekennzeichneten Produktionen steht die parallele, unverbundene Produktion, bei der die Erfüllung mehrerer Leistungszwecke in voneinander völlig unabhängigen Subsystemen erfolgt. Liegt sie bei der Erbringung von Forschungsund Lehrleistungen vor, existieren weder Synergieeffekte wie bei der Kuppelproduktion, noch Konkurrenzen um knappe Ressourcen wie bei alternativer Produktion. Forschungs- und Lehrleistungen lassen sich dann bei einer Performancemessung ohne Einschränkungen voneinander trennen. Insgesamt ist festzustellen, dass die drei Produktionsformen des Hochschulbereichs unterschiedlich stark ausgeprägt sind. Zwar gibt es durchaus forschungsnahe Lehrveranstaltungen, vor allem am Studienende bzw. in Masterprogrammen, in denen Forschung und Lehre unter den Bedingungen der Kuppelproduktion erfolgen, mit den jüngsten Reformen wird jedoch der Eindruck verstärkt, dass sich die beiden Hauptleistungen von Hochschulen zunehmend voneinander entfernen. Die Spezialisierung und Fragmentierung des Wissens, aufgrund derer ein Lehrender nicht mehr in allen Bereichen forschen kann, in denen er auch zu lehren hat, die starke Verschulung der Studiengänge durch die Einführung von Bachelorund Masterprogrammen, aber auch die hohen Studierendenzahlen, die forschungsorientierte Lehrgespräche mit den Studierenden verhindern, tragen maßgeblich zur Trennung von Forschung und Lehre in den Hochschulen bei.122 Während so auch früher meist von Kuppelproduktion im Hochschulbereich ausgegangen wurde, sind die aktuelleren Diskussionen über die Verbundbeziehungen von Forschung und Lehre eher von der Vorstellung einer lediglich organisatorischen Verknüpfung und somit alternativer Produktionsprozesse geprägt,123 was unter anderem in den zahlreichen Debatten über die Verdrängung der Forschung durch die Lehre zum Ausdruck kommt.124 Die Entkopplung von Forschung und Lehre zeigt sich darüber hinaus in dem gestiegenen Anteil an Parallelproduktion durch drittmittelfinanzierte Forschung und Lehre. So gibt es einerseits zum Beispiel aus Fördergeldern finanzierte Wissenschaftliche Mitarbeiter und Sach-

122 123

124

Vgl. Backes-Gellner/Zanders (1989), S. 273 und 282, Kieser (2005), S. 170, und Weber (1996), S. 26. In diesem Sinne wird auch die Humboldtsche Leitidee der Einheit von Forschung und Lehre oftmals neu interpretiert (vgl. z.B. Schimank/Winnes (2001), S. 299f.). Vgl. z.B. Schimank (1995). Nicht bestätigt wurde die Hypothese der lehrbedingten Verdrängung der Hochschulforschung durch Untersuchungen von Lerbinger und Backes-Gellner/Zanders. Weder stellte Lerbinger einen negativen Zusammenhang zwischen der Betreuungsrelation und der Publikationsmenge betriebswirtschaftlicher Fachbereiche fest (vgl. Lerbinger (1985), S. 858), noch konnten Backes-Gellner und Zanders einen solchen für die Zahl der Studierenden wirtschaftswissenschaftlicher Fachbereiche und deren Forschungs- und Lehreffizienz ausmachen (vgl. Backes-Gellner/Zanders (1989), S. 276).

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

55

mittel, die nicht unmittelbar in die Lehre eingebunden sind, sondern ausschließlich der Forschung dienen.125 Andererseits werden Studiengebühren allein für die Verbesserung der Lehre sowie der Studienbedingungen, etwa durch den verstärkten Einsatz von Studienräten und studentischen Tutoren, eingesetzt. Wohl verbietet prinzipiell selbst der kleinste Anteil an Kuppelproduktion eine isolierte Performancemessung von Forschung und Lehre. Die Beurteilung der Gesamtleistung von zum Beispiel Fachbereichen oder einzelnen Professoren, die üblicherweise in beiden Bereichen tätig sind, kann daher letztlich nur durch eine ganzheitliche, den Leistungsverbund berücksichtigende Betrachtung erfolgen.126 Mit Blick auf die unterschiedlichen Ausmaße der drei Produktionsarten, die großen Unterschiede zwischen der Forschungs- und Lehrproduktion127 sowie deren Komplexität erscheint es jedoch unter bestimmten Umständen und bei geeigneter Interpretation der Resultate zulässig, die beiden Aufgaben gesondert zu erfassen und zu bewerten, um so auch den oft spezifischen Interessen der Adressaten einer Performancemessung gerecht zu werden.128 Die begrenzte Aussagefähigkeit derartiger Partialanalysen sollte dabei allerdings immer bewusst sein. Immaterialität Sowohl die Leistungserbringung der Forschung als auch die der Lehre ist in allen Produktionsteilen durch einen hohen Immaterialitätsgrad gekennzeichnet. Dadurch ergeben sich erhebliche Schwierigkeiten bei der Identifikation und Quantifizierung zielentsprechender Transformationsergebnisse. Bei den Inputs zeigt sich die Immaterialität insbesondere darin, dass vorwiegend Potenzialund kaum (materielle) Verbrauchsfaktoren in der Forschungs- und Lehrproduktion eingesetzt werden. Dabei liegt die Immaterialität vor allem in der menschlichen Arbeitsleistung, da Forschung und Lehre auf kognitiven Leistungen des Personals basieren und Lehre darüber hinaus die kognitive Beteiligung der Studierenden erfordert. Der Einsatz immaterieller Potenzialfaktoren erfolgt zudem zum Beispiel durch Bücher, Zeitschriften, Lernmaterialien und Computer, die an sich zwar materiell sind – wie auch das Personal und die Studierenden –, aber Informationen speichern und im Falle Letzterer eventuell verarbeiten. Zwar werden ebenfalls

125 126 127

128

Vgl. Brinkmann (1991), S. 61. Vgl. Alewell (1988), S. 45. Ein besonders bedeutsamer Unterschied liegt in der Integration der Studierenden in den Lehrprozess (vgl. Abschnitt 3.2.2.2.2). Der Wissenschaftsrat empfiehlt sogar, die verschiedenen, teils aneinander gekoppelten Hochschulleistungen unabhängig voneinander zu bewerten und ihre Zusammenhänge allenfalls durch eine mehrdimensionale Darstellung zu veranschaulichen (vgl. Wissenschaftsrat (2004), S. 38).

56

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

stets rein stoffliche Potenzialfaktoren benötigt, etwa Büros, Forschungslabore und Hörsäle, sie stellen jedoch „lediglich“ die technischen Voraussetzungen der Leistungserbringung dar, sodass auch die Prozesse primär immaterieller Natur sind. Aus ihnen entstehen immaterielle Outputs, die sich in stofflichen Trägermedien manifestieren. So werden einerseits neu gewonnene Forschungserkenntnisse über Bücher und Zeitschriften veröffentlicht oder Patente zur Nutzung spezieller technischer Erfindungen dokumentiert, andererseits gehen Absolventen mit bestimmten Kompetenzen und Qualifikationen aus dem Lehrprozess hervor. Schließlich erweisen sich auch einzelne Wirkungen der Forschungs- und Lehrproduktion als immateriell, sei es zum Beispiel die Reputation von Wissenschaftlern in der Scientific Community oder das Hochschulrenommee bei Studienanfängern und Arbeitgebern. Andere Wirkungen kommen allerdings durchaus in materieller Form zum Ausdruck, wenn etwa Erfindungen in Produkte umgesetzt werden. Sie sind teilweise sogar monetärer Art, wenn sich beispielsweise die Wertschätzung angewandter Forschungserkenntnisse im finanziellen Erfolg von Unternehmen oder diejenige von Absolventen in ihrem Einkommen widerspiegelt. Sämtliche immateriellen Ergebnisse der Forschungs- und Lehrproduktion sind weder greifnoch sichtbar und nur bedingt quantifizierbar. Die Möglichkeiten der Erfassung durch die bei materiellen Ergebnissen angewandten Prozeduren, wie einfaches Zählen, sind hier nur sehr begrenzt einsetzbar.129 Da immaterielle Leistungsergebnisse stets an stoffliche Trägermedien gebunden sind,130 können zumindest ihre Quantitäten gelegentlich annähernd anhand der Anzahl der Trägermedien relativ einfach bestimmt werden, die Erfassung ihrer Qualitäten erweist sich dagegen als wesentlich schwieriger. Dabei stellt sich auch die Frage, was überhaupt eine gute oder schlechte Qualität von Forschungs- und Lehrergebnissen ausmacht. Generell sind Qualitätsaussagen Werturteile, das heißt, Qualität ist letztlich das, was dafür gehalten wird.131 Die Auswahl betrachteter Eigenschaften und die Forderung dazugehöriger Ausmaße können somit aus verschiedenen Perspektiven erfolgen. Dennoch lassen sich häufig – so auch im Forschungs- und Lehrkontext – im Allgemeinen als wichtig erachtete Qualitätskriterien identifizieren. Während so die Qualität materieller Ergebnisse oftmals an deren sicht- und greifbaren Eigenschaften festgemacht werden kann, zum Beispiel die Qualität von Büroräumen anhand ihrer Größe und Ausstattung, muss die Qualität immaterieller Ergebnisse vielmehr anhand expliziter Urteile oder impliziter, vorwiegend in Wirkungen zum Ausdruck kommender Bewertungen erfolgen. Bei-

129 130 131

Vgl. die Ausführungen zur Outputerfassung bei „Dienstleistungsproduktionen“ von Maleri (1997), S. 117ff. Vgl. Dyckhoff (2006b), S. 23. Vgl. Kromrey (2001), S. 29f. Auf eine ausführliche Diskussion verschiedener Qualitätskonzepte wird in dieser Arbeit verzichtet; stattdessen wird auf die Auseinandersetzung mit ihnen in der Literatur verwiesen (vgl. z.B. Haller (1995), S. 5ff.).

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

57

spielsweise lassen sich wissenschaftliche Güte, Neuheitsgrad und Relevanz neuer Forschungserkenntnisse von Wissenschaftlern oder anderen Personen mit wissenschaftlichen Kenntnissen direkt einschätzen, Hinweise darauf geben aber auch das Aufgreifen neuer Erkenntnisse in der Scientific Community oder ihre Umsetzung in der Wirtschaft. Das Qualifikationsniveau der Absolventen wird sogar innerhalb der Hochschulen explizit über Prüfungen zu erfassen und über Noten transparent zu machen versucht, weiterhin deuten ebenso die Karrierewege der Absolventen auf dem Arbeitsmarkt auf dieses hin. Es ist offensichtlich, dass solche Bewertungen mit Problemen verbunden sind. Für die Forschung wird auf diese ausführlich in Kapitel 4 eingegangen. Skalenerträge132 Skalenertragseigenschaften geben traditionell an, wie stark sich der Output bei proportionaler Erhöhung aller Inputs vergrößert, was sich darüber hinausgehend auch auf Verhältnisse zwischen dem Outcome und dem Input übertragen lässt. Die Frage nach den Skalenertragseigenschaften der Forschungs- und Lehrtechnologie bzw. ihres effizienten Randes stellt sich nicht nur grundsätzlich im Hinblick auf die optimale Größe einer Hochschule oder deren Einheiten, welche beispielsweise dann existiert, wenn die wissenschaftlichen Skalenerträge mit wachsender Größe anfangs zunehmen und später abnehmen, sodass im Optimum die durchschnittlichen Kosten pro Einheit wissenschaftlichen Ertrags minimal sind.133 Auch für die Bildung aussagekräftiger Effizienzmaße sollten die Skalenertragseigenschaften der betrachteten Technologie bekannt sein. So sind etwa die häufig verwendeten Produktivitätszahlen nur dann geeignet für ein Benchmarking verschieden großer Forschungs- und Lehreinheiten, deren jeweilige Größe von außen vorgegeben bzw. unveränderbar ist, wenn konstante Skalenerträge vorliegen, also ein proportionaler Zusammenhang zwischen den genannten Größen besteht. Für hochschulische, aber auch andere wissenschaftliche Einrichtungen werden in der Literatur verschiedene Argumente vorgetragen, die zu unterschiedlichen Skalenertragsformen führen können. Gründe für zunehmende Skalenerträge insbesondere für kleinere Einheiten sind zum Beispiel Synergieeffekte, die auf Kooperationen und gemeinsamen Forschungsprojekten sowie auf der Verteilung von Lehraufgaben und administrativen Tätigkeiten, wie der akademischen Selbstverwaltung, basieren. Außerdem mag es ein Mindestniveau für erfolgreiche

132 133

Dieser Abschnitt ist angelehnt an Dyckhoff/Rassenhövel/Sandfort (2009), insbesondere Abschnitt 2. Zum Betriebsoptimum vgl. Gutenberg (1983), S. 341 und 360. Nicht immer existiert ein eindeutiges Optimum. Bei konstanten Skalenerträgen sind alle Betriebsgrößen optimal: Die durchschnittlichen Kosten wissenschaftlichen Ertrags sind dann nämlich bei konstanten Faktoreinsatzverhältnissen und -preisen unabhängig von der Größe der Einrichtung. Anders als bei einem eindeutigen Betriebsoptimum wäre in diesem Fall die Wahl der jeweiligen Fachbereichsgröße für die Forschungseffizienz irrelevant.

58

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

Forschung und Lehre geben, das in einer ausreichenden Zahl an beispielsweise Lehrstühlen oder Fachbereichen mit einer gewissen personellen und sachlichen Ausstattung sowie einer bestimmten Zahl Studierender liegt. Dagegen sind abnehmende Skalenerträge eher bei größeren Einheiten zu vermuten, die etwa auf innovationsbehindernden Regeln und Routinen sowie auf Probleme beim Management, im Informationsfluss und hinsichtlich der Standortkapazitäten zurückgeführt werden können.134 Empirische Untersuchungen zu den Zusammenhängen zwischen der Größe und der Performance wissenschaftlicher Einrichtungen beziehen sich meist ausschließlich auf die Forschung und beschränken sich häufig auf partielle Aspekte, insbesondere Publikationsproduktivitäten der Wissenschaftler. Einen Überblick über Ergebnisse internationaler Studien zu Skalenerträgen in der Forschung vermitteln die Reviews von COHEN (1991), JOHNSTON (1994) und VON TUNZELMANN et al. (2003). Während COHEN durchweg einen proportionalen Zusammenhang zwischen der Größe von Forschungsgruppen und ihren jeweiligen Outputs erkennt – wenngleich die Autoren mancher Studien selber andere Schlüsse ziehen135 –, sind die empirischen Erkenntnisse zu den Skalenerträgen in der Forschung gemäß den beiden anderen Reviews vielfältig und widersprüchlich. Zwar stellt auch Johnston fest, dass die Beziehung zwischen der Größe wissenschaftlicher Einrichtungen und ihrem Forschungsoutput häufig linear beschrieben wird, bemerkt andererseits aber ausdrücklich, dass es zahlreiche Hinweise auf eine optimale Gruppengröße gebe.136 VON TUNZELMANN et al. wiederum halten die Existenz solch kritischer Größen für die Forschung auf Basis der von ihnen betrachteten Studien allenfalls bei Gruppen und Teams, nicht aber bei Departments oder Universitäten für überzeugend und heben für Letztere die Heterogenität der empirischen Ergebnisse hervor.137 Mit Bezug nicht nur auf die Forschung, sondern auch auf die Lehre bringen jüngst BONACCORSI,

DARAIO und SIMAR im Rahmen einer eigenen Untersuchung die Vielfältigkeit der auf

die internationale Literatur bezogenen empirischen Aussagen zu Beziehungen zwischen der Größe wissenschaftlicher Einrichtungen und ihrer Performance zum Ausdruck: „There is lack of consensus on the existence of economies of scale in scientific production and higher education.”138

134

135 136

137 138

Zu diesen und weiteren (theoretischen) Argumenten vgl. z.B. Backes-Gellner/Zanders (1989), S. 273, Cohen (1980), S. 46, Fandel (2007), S. 525, und Kyvik (1995), S. 295f. Vgl. Cohen (1991), S. 398. Vgl. Johnston (1994), S. 32. Johnston spricht dabei allerdings mehrfach irreführend von „Produktivität“ statt „Output“. Vgl. von Tunzelmann et al. (2003), S. 8ff. und 15. Bonaccorsi/Daraio/Simar (2006), S. 393.

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

59

In der deutschen Literatur gibt es bisher nur wenige Untersuchungen zu den Skalenerträgen im Wissenschaftsbereich, wobei die betrachteten Zusammenhänge vielfältig sind. So misst zum Beispiel VON ALEMANN zwischen den Größen und Produktivitäten wirtschafts- und sozialwissenschaftlicher Forschungsinstitute leicht steigende Skalenerträge,139 und BACKESGELLNER und ZANDERS stellen für ausgewählte wirtschaftswissenschaftliche Fachbereiche deutscher Hochschulen einen positiven Zusammenhang zwischen der Zahl der Studierenden in einem Fachbereich und dessen Forschungs- und Lehreffizienz fest.140 GUTIERREZ erkennt dagegen bei seiner Betrachtung von Professuren der betriebswirtschaftlichen Fakultät einer staatlichen Universität in Deutschland keine Größeneffekte im Bereich von Forschung und Lehre.141 Aufgrund der unterschiedlichen theoretischen Ansichten und empirischen Ergebnisse zu den Skalenertragseigenschaften im Hochschulbereich muss zur Bildung und Aggregation von Indikatoren die Art der für den jeweiligen Untersuchungsgegenstand geltenden Skalenertragseigenschaften individuell bestimmt werden.

3.2.2.2.2 Integration der Studierenden in den Leistungsprozess als spezielles Merkmal der Lehrproduktion Die Integration der Studierenden als externe Faktoren in den Lehrprozess bedarf besonderer Aufmerksamkeit bei der produktionstheoretischen Analyse einer Performancemessung der Lehre, stellt sie diese doch vor spezifische Herausforderungen. Zur Erläuterung dieses Merkmals der Integration und der damit verbundenen Probleme bei einer Performancemessung ist es hilfreich, auf die speziellen produktionstheoretischen Überlegungen für Dienstleistungen Bezug zu nehmen. Dafür wird nun zunächst die Lehre als Dienstleistung charakterisiert, anschließend die Integration detailliert dargestellt, um sodann unter Beachtung der präsentierten Überlegungen die Messproblematik zu betrachten. Interpretation der Lehre als Dienstleistung Um die hochschulische Lehre als Dienstleistung kennzeichnen zu können, muss zunächst geklärt werden, was unter dieser speziellen Produktionsart verstanden wird. Zum Begriff der Dienstleistung existiert in der wissenschaftlichen Literatur eine Fülle von Definitionen, teil-

139 140 141

Vgl. von Alemann (1981), S. 205ff. Vgl. Backes-Gellner/Zanders (1989), S. 276. Vgl. Gutierrez (2005), S. 77ff. Es ist allerdings zu bemerken, dass der verwendete Originaldatensatz um einige fiktive Professuren erweitert wurde (vgl. Gutierrez (2005), S. 36f.).

60

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

weise sehr unterschiedlicher und sogar sich widersprechender Natur.142 Die zahlreichen Klärungsansätze lassen sich im Wesentlichen in vier verschiedene Klassen gliedern: Definition durch Enumeration, institutionelle Abgrenzung, Negativdefinition sowie Definition anhand konstitutiver Merkmale. Die dazugehörigen Diskussionen über die Eignung der jeweiligen Definitionen haben dazu geführt, dass sich letztgenannte Form der Begriffsbestimmung in der Betriebswirtschaftslehre durchgesetzt hat. Wohl sind dabei je nach Definition verschiedene Eigenschaften, wie Intangibilität, Heterogenität, Uno actu und Vergänglichkeit, essenziell für Dienstleistungen, sie lassen sich aber gänzlich auf die Merkmale der Immaterialität und der Integration eines externen Faktors zurückführen.143 Die Definition von Dienstleistungen anhand dieser beiden Kennzeichen ist allerdings problembehaftet. Zum einen können beispielsweise Input und Output von Produktionen niemals vollkommen immaterieller Natur sein, weil sie – wie bereits angesprochen wurde – stets an physische Trägermedien gebunden sind. Außerdem beinhalten sämtliche auf materielle Ergebnisse fokussierte Leistungen auch immaterielle Komponenten.144 Als Kriterium für eine schärfere Abgrenzung von Dienstleistungen kann daher allenfalls der Grad an Materialität bzw. Immaterialität herangezogen werden, wobei davon auszugehen ist, dass Dienstleistungen im Vergleich zu anderen Leistungskategorien durch ein relativ hohes Ausmaß an Immaterialität geprägt sind. Zum anderen lässt das Merkmal der Integration eines Faktors, der dem Leistungsanbieter vom Nachfrager für eine konkrete Produktion vorübergehend zur Verfügung gestellt wird, keine exklusive Kennzeichnung von Dienstleistungen zu. Die Integration eines solchen erfolgt nämlich bei sämtlichen Leistungsarten, die einen hohen Individualisierungsgrad aufweisen bzw. deren Produktion durch die konkrete Nachfrage eines Kunden ausgelöst wird, so zum Beispiel auch bei der kundenindividuellen Anfertigung einer Maschine, die nach herrschender Auffassung nicht als Dienst- sondern als Sachleistung angesehen wird.145 Das traditionell verwendete Kriterium der Integration eines externen Faktors erscheint also für eine präzise Kennzeichnung von Dienstleistungen im Hinblick auf diejenigen Informationen, die der Bedürfnisspezifizierung des Leistungsempfängers in seiner Rolle als Kunde bzw. Käufer und damit der Steuerung der Produktionsprozesse dienen, zu weit gefasst. Sie werden daher zunehmend definitorisch ausgegrenzt. Der Fokus liegt dann ausschließlich auf

142 143 144

145

Eine ausführliche Diskussion betriebswirtschaftlicher Definitionsansätze liefert Rück (2000). Vgl. Lasshof (2006), S. 47, und die dort angegebene Literatur. Dieser Tatsache trägt Hilke mit seinem „Verbundkasten“ Rechnung, bei dem er auf eine eindeutige Abgrenzung von Dienst- und Sachleistungen verzichtet und eine graduelle Differenzierung vornimmt (vgl. Hilke (1989), S. 8). Vgl. Engelhardt/Kleinaltenkamp/Reckenfelderbäumer (1993), S. 402f.

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

61

solchen Faktoren, die von einem Leistungsempfänger in seiner Rolle als Co-Producer in die Produktion eingebracht werden und durch Kombination mit den internen Faktoren des Produzenten eine nutzenstiftende Veränderung erfahren können.146 Eine entsprechende Differenzierung gelingt, indem Dienstleistungen anstelle der Integration die Transformation externer Faktoren als konstitutives Merkmal zugesprochen wird, wie es MENGEN bereits 1993 bei seiner Unterscheidung zwischen Dienst-, Auftrags- und Sachleistungen herausgestellt hat.147 Unter Berücksichtigung der sukzessiven Weiterentwicklungen dieses Ansatzes, insbesondere der Definitionen von RÜCK148 sowie RICHTER und SOUREN149, lässt sich in Verbindung mit der bereits im Abschnitt 2.1.2 vorgestellten Produktionsdefinition von DYCKHOFF eine neuartige Begriffsbestimmung wie folgt formulieren: Eine Dienstleistung(sproduktion) ist eine der Nutzenerhöhung (Wertschöpfung) dienende, aber nicht auf die unmittelbare Befriedigung eigener Bedürfnisse ausgerichtete Leistung, die Eigenschaften an einem vom Kunden eingebrachten externen Faktor ändert oder die Eintrittswahrscheinlichkeit solcher Ereignisse ändert, die den externen Faktor potenziell transformieren könnten.150 In dieser Definition stellt die (potenzielle) Transformation eines externen Faktors den zentralen Bestandteil einer speziellen, als Dienstleistung bezeichneten Produktion dar. Während damit – wie bereits erläutert – im Prinzip das vielfach verwendete Merkmal der Integration angesprochen ist, wird das ebenfalls häufig als konstitutiv erachtete Kriterium der Immaterialität in der Definition überhaupt nicht aufgegriffen. Es soll zwar nicht grundsätzlich in Frage gestellt werden, doch scheint es für eine Definition weder erforderlich noch aufgrund der beschriebenen Abgrenzungsprobleme nützlich zu sein. Die Konkretisierung der Transformation im zweiten Teil der Definition dient dazu, sämtliche im wirtschaftswissenschaftlichen Kontext üblicherweise als Dienstleistungen bezeichnete Leistungen zu erfassen. Dies sind erstens diejenigen, bei denen sich die Transformation direkt an einem externen Faktor vollzieht, wie bei der Müllverbrennung, der Theateraufführung und der Autoreparatur – wobei sie jeweils an verschiedenen Teilen der Produktion ansetzt. Zweitens gehören auch mittelbare Veränderungen des externen Faktors dazu, bei denen eine Transformation zielgerichtet an dessem Umfeld ansetzt. Auf diese Weise werden Bereitstellungsleistungen, wie die Feuerwehrwa-

146 147 148 149 150

Vgl. zum rollenorientierten Integrativitätskonzept Lasshof (2006), S. 52ff. Vgl. Mengen (1993), S. 24ff. Vgl. Rück (2000), S. 277. Vgl. Richter/Souren (2008), S. 31. Diese Definition ist aus einer Diskussion der Autorin mit Prof. Dr. Harald Dyckhoff (RWTH Aachen University) entstanden. Sie weicht aufgrund der direkten Verbindung zum genannten Produktionsbegriff ab von dem Verständnis der Dienstleistung als Transformationsprozess, das Rück bzw. Richter und Souren zum Ausdruck bringen, ist aber hinsichtlich der Beschreibungen der „Veränderungen“ eng an die Definition Letztgenannter angelehnt.

62

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

che, in den Begriff eingeschlossen. Sie bedürfen nicht zwingend einer tatsächlichen Einwirkung auf den externen Faktor und zielen regelmäßig darauf ab, unerwünschte Veränderungen von ihm abzuwenden.151 Bei der hochschulischen Lehrproduktion stellen die Studienanfänger bzw. Studierenden denjenigen externen Faktor dar, dessen Veränderungen primär angestrebt sind.152 Indem sie in den Dispositionsbereich der Hochschulen gelangen, aktivieren sie das durch diese bereitgestellte interne Leistungspotenzial und lösen somit den Transformationsprozess der Lehre aus. Da sich die Studierenden selber in das Produktionssystem der Hochschulen einbringen, sind sie nicht nur externer Faktor, sondern zugleich Co-Producer der Lehrproduktion. Mit dieser Rolle obliegen den Studierenden weitere Aufgaben, denn um die für einen Studienabschluss erforderlichen Qualifikationen zu erlangen und entsprechende Nachweise zu erbringen, müssen sie sich aktiv am Lehrprozess beteiligen und (sogar) einzelne Tätigkeiten eigenständig durchführen. Im Hinblick auf die engen Interaktionen zwischen dem Lehrpersonal und den Studierenden kann die hochschulische Lehre somit als personenbezogene, interaktionsintensive Dienstleistung153 bezeichnet werden.154 Integration der Studierenden in den Lehrprozess Die Transformation der Studierenden zu Absolventen ist sehr komplex. Sie vollzieht sich in verschiedenen Teilprozessen, welche die Studierenden im Rahmen ihres Studiums durchlaufen, um jeweils bestimmte Qualifikationen und entsprechende Nachweise bzw. letztlich insgesamt einen Hochschulabschluss zu erwerben. Diese Teilprozesse finden meist hochschulintern statt, es gibt aus Sicht einer Hochschule aber auch externe Studienbestandteile, die dazu beitragen, die Studierenden auf berufliche Tätigkeitsfelder und verantwortliches Handeln in Gesellschaft, Wirtschaft und Politik vorzubereiten und deren diesbezügliche Fähigkeiten zu bewerten. Die wesentlichen Teilprozesse, die zu einem Studienabschluss führen, sind in Abbildung 3-6 aufgeführt.

151 152 153

154

Vgl. Richter/Souren (2008), S. 31f. Weitere externe Faktoren der Lehrproduktion sind z.B. Studienbeiträge und andere Drittmittel für die Lehre. Vgl. zu personenbezogenen Dienstleistungen im Allgemeinen Corsten (1993), Sp. 771ff., und speziell im Aus- und Weiterbildungsbereich Reckenfelderbäumer (2008), S. 416. Auch Forschung wird oft als Dienstleistung bezeichnet (vgl. z.B. Koschatzky et al. (2002)). Im Gegensatz zur Aus- und Weiterbildung bedarf die Wissensproduktion in Hochschulen allerdings nicht unbedingt externer Faktoren, an denen sich die Transformationen vollziehen. Hochschulforschung ist somit nach dem hier vertretenen Verständnis nicht grundsätzlich als Dienstleistung aufzufassen. Deshalb und aufgrund der nur geringen Bedeutung externer Faktoren in der Forschung wird auf eine explizite Thematisierung der mit ihrer Integration verbundenen Probleme verzichtet.

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

63

Hochschulinterne Lehrprozesse

Aus- und Weiterbildung Veranstaltungen

Hochschulexterne Lehrprozesse

Prüfung Mündliche Prüfungen

Praktika

• Übungen

Leistungsnachweise und Klausuren

Studienaufenthalte an ausländischen Hochschulen

• Seminare

Wissenschaftliche Arbeiten

• Vorlesungen

• Exkursionen Selbststudium

Abbildung 3-6: Teilprozesse der Hochschullehre

Die hochschulinterne Aus- und Weiterbildung umfasst die auf die Vermittlung fachlicher und überfachlicher Qualifikationen gerichteten Veranstaltungen sowie das Selbststudium der Studierenden. Zu den Veranstaltungen gehören Vorlesungen, Übungen, Seminare und Exkursionen inklusive der dazugehörigen, in Sprechstunden erfolgenden individuellen Beratung und Betreuung der Studierenden durch die Lehrpersonen.155 Vorlesungen dienen insbesondere der theoretischen Wissensvermittlung. Sie werden von Professoren und Dozenten gehalten, die Fachwissen vortragen und gegebenenfalls wissenschaftliche Versuche zeigen. Die in diesem Frontalunterricht vorgestellten Inhalte werden von Wissenschaftlichen Mitarbeitern und im Studium weiter fortgeschrittenen Studierenden in Übungen anhand von praktischen Aufgaben vertieft behandelt. Insbesondere in den naturwissenschaftlichen Fächern steht dabei für die Studierenden auch die eigenständige Durchführung von Experimenten auf dem Lehrprogramm. Weiterhin ermöglichen Seminare die intensive Beschäftigung mit einem begrenzten Thema. Hier können die Studierenden selbstständiges wissenschaftliches Arbeiten erlernen und sich in Fachvorträgen und -diskussionen erproben. Darüber hinaus zielen die unter wissenschaftlicher Leitung stattfindenden Exkursionen auf die Veranschaulichung, Erweiterung und Intensivierung der Inhalte eines bestimmten Faches ab. Alle genannten Präsenzeinheiten werden durch Phasen des Selbststudiums der Studierenden ergänzt, die der Vor- und Nachbereitung des Lehrstoffes dienen. Im Gegensatz zu den Veranstaltungen und dem Selbststudium sind Prüfungen nicht auf die Vermittlung bzw. den Erwerb fachlicher und überfachlicher Qualifikationen gerichtet – obwohl nicht ausgeschlossen ist, dass Studierende auch durch Prüfungen neue Kompetenzen er-

155

Die Bezeichnungen der verschiedenen Veranstaltungstypen gelten exemplarisch, da auch andere üblich sind.

64

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

langen. Stattdessen sind Prüfungen der Vermittlung von Fähigkeiten zeitlich nachgelagert. Sie können mündlich oder in schriftlicher Form (dann als Leistungsnachweise und Klausuren sowie wissenschaftliche Arbeiten) sowohl studienbegleitend bzw. im Anschluss an einzelne Lehrveranstaltungen als auch am Ende des Studiums stattfinden. Sie haben die für Studierende und Arbeitgeber wichtige Funktion, die von den Studierenden im Rahmen ihres Studiums erworbenen Qualifikationen festzustellen, zu bewerten und hochschulintern wie -extern transparent zu machen. Prüfungen bilden insbesondere die Grundlage für die Verleihung eines akademischen Grades an die Studierenden. Mit einer solchen Zertifizierung erhalten Absolventen ein hochschulspezifisches Qualitätssiegel, das über ihre studienbezogenen Fähigkeiten informiert. Die hochschulinternen Teilprozesse sind stark durch das Zusammenwirken von Lehrenden und Studierenden gekennzeichnet. Die Interaktion kann unmittelbar, das heißt durch direkten Kontakt, oder mittelbar durch Zwischenschaltung eines Mediums erfolgen.156 Insbesondere das Selbststudium wird traditionell durch veranstaltungsbegleitende Lehrbücher und Skripte unterstützt. Im Zeitalter der Informations- und Kommunikationstechnologie gewinnen aber zunehmend auch E-Vorlesungen, -Übungen und -Klausuren an Bedeutung.157 Inwieweit die Studierenden in den einzelnen Teilprozessen jeweils aktiv sind, hängt vorwiegend von deren Form ab. Während das Selbststudium grundsätzlich eine hohe Aktivität erfordert, ist auch in den Veranstaltungen und Prüfungen generell eine allein passive Beteiligung durch ausschließlich physische Anwesenheit nicht ausreichend. Allerdings genügt zum Beispiel für den Qualifikationserwerb in größeren Veranstaltungen, wie Vorlesungen und Großgruppenübungen, meist schon allein das Zuhören und Mitdenken der Studierenden, während sie sich in kleineren Veranstaltungen zum Teil sehr stark selbst einbringen müssen. Die aus der Perspektive einer Hochschule externalisierten Lehrprozesse, die in Kooperation der Studierenden mit anderen Personen und Institutionen erfolgen, können ebenfalls der Qualifikationsvermittlung und gegebenenfalls deren Nachweis dienen. Dazu zählen vor allem studienbegleitende Praktika sowie an ausländischen Hochschulen absolvierte Studiensemester, die im Zuge der Umsetzung des Bologna-Prozesses als Pflichtmodule in zahlreiche Studienpläne aufgenommen wurden.158

156

157 158

An Fernuniversitäten wird grundsätzlich auf Präsenzveranstaltungen und damit auf die direkte Wissensvermittlung verzichtet. Vgl. Dyckhoff/Clermont/Rassenhövel (2007), S. 16ff. Vgl. zum Bologna-Prozess die Hinweise in Fußnote 99.

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

65

Bedeutung der Integration für eine Performancemessung der Lehre Die auf die Integration externer Faktoren zurückzuführenden Probleme bei der Beurteilung von Dienstleistungen beruhen darauf, dass die Produktion nicht allein in der Hand des Produzenten liegt, sondern stattdessen auch vom individuellen Einfluss des Nachfragers in seiner Rolle als Co-Producer abhängt, was bei einer Beurteilung der Performance des Produzenten zu berücksichtigen ist. Der Einfluss des Nachfragers ergibt sich aus der Einbringung des aus seinem Dispositionsbereich stammenden externen Faktors und der damit eventuell verbundenen Übernahme weiterer Aktivitäten. Er äußert sich entsprechend im Input – durch die Beschaffenheit des externen Faktors – sowie im Prozess – durch die von ihm erbrachte Arbeitsleistung. Je größer die Beteiligung als Co-Producer, desto mehr hängt das Transformationsergebnis vom Nachfrager ab und desto wichtiger, aber auch komplexer ist die Berücksichtigung der Integration bei der Beurteilung.159 Da die Studierenden sich selber als Nachfrager in das Produktionssystem der Hochschulen einbringen und insofern die Rolle des Co-Producers einnehmen, geht die Beschaffenheit des externen Faktors bei der Lehrdienstleistung mit den Voraussetzungen zur Mitwirkung auf Seiten des Nachfragers einher. Das sich daraus formierende Potenzial ist von großer Bedeutung für den Lehrprozess sowie das Transformationsergebnis, denn erstens bilden die Studierenden denjenigen Input, an dem sich die Dienstleistung vollzieht, und zweitens wird von ihnen eine hohe Prozessbeteiligung gefordert. Eine Beurteilung der Performance der Lehrenden sollte daher in Abhängigkeit des studentischen Potenzials bzw. unter Abgrenzung des daraus resultierenden Eigenbeitrags im Prozess erfolgen. In der Praxis sind diese zwar nur sehr eingeschränkt zu erfassen, sie sollen hier aber zumindest theoretisch genauer beleuchtet werden.160 Zum Überblick sind die im Potenzial und Prozess der Lehrproduktion liegenden Determinanten auf Seiten der Studierenden und in Ergänzung diejenigen auf Seiten der Lehrenden sowie der aus dem Lehrprozess resultierende Output in Abbildung 3-7 zusammenhängend dargestellt.

159 160

Vgl. zur Rolle des Nachfragers als Co-Producer einer Dienstleistung Lasshof (2006), S. 60ff. Vgl. auch die Überlegungen zum Value Added der Hochschullehre von Elschen (2006), S. 414ff.

66

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

Input

Prozess

Lehrende

Lehrende

Output

Evidenz Aktivität in der Lehre

Bereitschaft Fähigkeit

Interaktion

Studienanfänger

Studierende

Absolventen

Aktivität im Studium

Erworbene Qualifikationen

Evidenz Bereitschaft Fähigkeit

Abbildung 3-7: Determinanten und Output der Lehrproduktion

Das Potenzial untergliedert sich in Evidenz, Bereitschaft und Fähigkeit.161 Während sich alle drei Dimensionen bei den Studierenden auf die Beteiligung in ihrer Rolle als Co-Producer beziehen, ist allein die Fähigkeitsdimension auch auf die Qualität der Studierenden als externer Faktor gerichtet. Die Integrationsevidenz162 beinhaltet zwei Elemente. Zum einen zielt sie auf das Bewusstsein über die Bedeutung der Integration und den daraus resultierenden Einfluss auf das Transformationsergebnis. Es bedarf also einer gewissen Einsicht auf Seiten der Studierenden, dass der Erfolg der Lehrproduktion von ihrer eigenen Aktivität sowie der Kooperation mit den Lehrenden abhängt. Zum anderen umfasst die Evidenzdimension das Wissen über die Ausgestaltung der Integration. Entscheidend hierfür ist, inwieweit die Studierenden sich im Klaren darüber sind, wann, wo und wie ihr Einsatz in den einzelnen Teilprozessen notwendig wird. Auf beide Elemente der Integrationsevidenz wirken Bereitschaft und Fähigkeit der Studierenden. In der Integrationsbereitschaft ist die Motivation zur aktiven Teilnahme an der Produktion verankert. Das Interesse der Studierenden bestimmt also, ob bzw. inwieweit die von

161 162

Vgl. hierzu allgemein Lasshof (2006), S. 91f. Während Lasshof unter Evidenz sowohl die Integrations- als auch die Faktorevidenz fasst (vgl. Lasshof (2006), S. 91), und Fließ darüber hinaus die Problemevidenz in den Begriff einbezieht (vgl. Fließ (2001), S. 68ff.), wird hier ausschließlich die Integrationsevidenz aufgegriffen. Problemevidenz – der Nachfrager erkennt, dass er eine Dienstleistung benötigt – und Faktorevidenz – der Nachfrager weiß um die Bedeutung der Beschaffenheit des externen Faktors – sind im vorliegenden Kontext eher nachrangig.

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

67

ihnen zu erfüllenden Aufgaben im Prozess übernommen werden. Es ist eng mit ihrem Integrationsbewusstsein, also der Erkenntnis um die Bedeutung der Mitwirkung, verbunden. Die Fähigkeitsdimension beinhaltet hingegen die für die Produktion benötigten Kompetenzen des Co-Producers. Hierzu gehören die für die kooperative Zusammenarbeit mit den Lehrenden erforderlichen Interaktionsfähigkeiten der Studierenden, das heißt insbesondere soziale, wie zum Beispiel kommunikative Fähigkeiten, als auch weitere Kompetenzen, die für die Ausführung von Tätigkeiten durch die Studierenden notwendig sind. Letztere beziehen sich etwa auf grundlegende Fachkenntnisse sowie Lern- und Arbeitstechniken. Da bei der Kompetenzvermittlung in der Lehre – zumindest teilweise – auf diesen Fähigkeiten aufgebaut wird, bestimmen sie nicht nur, inwieweit die Studierenden zur Mitwirkung bei der Produktion in der Lage sind, sondern sie kennzeichnen auch ihre Beschaffenheit als externem Faktor der Lehre, die insbesondere als Inputreferenz bei der Value-Added-Bestimmung heranzuziehen ist. In allen drei Dimensionen des Potenzials können Barrieren vorliegen.163 Fehlt es den Studierenden an Integrationsevidenz, dann ist ihnen die Bedeutung ihrer Mitwirkung nicht bewusst oder sie wissen dieser nicht angemessen zu entsprechen. Möglicherweise haben sie auch andere Erwartungen und Vorstellungen über die auszuführenden Aufgaben als die Lehrenden, wodurch eine erfolgreiche Zusammenarbeit behindert werden kann. Eine mangelnde Bereitschaft zur Übernahme von Aufgaben schlägt sich dagegen in Willensbarrieren nieder, und zur Erfüllung dieser Aufgaben fehlende Kompetenzen kommen in Fähigkeitsgrenzen zum Ausdruck. Letztere kennzeichnen gleichzeitig eine geringe Qualität der Studienanfänger als externem Faktor der Lehrproduktion. Ein gewisses Mindestmaß in allen drei Dimensionen des studentischen Potenzials kann zumindest unterstellt werden. So ist schon allein angesichts der mit der Aufnahme eines Studiums einhergehenden Einkommensverzögerung und der eventuellen Zahlung von Studiengebühren von hinreichender Transparenz bei den Studierenden über ihre Rolle als Co-Producer und entsprechender Bereitschaft zur aktiven Beteiligung auszugehen. Auch eine bestimmte Studierfähigkeit kann vorausgesetzt werden, wird sie doch durch die Hochschulzugangsberechtigung bestätigt und gelegentlich vor Studienbeginn durch Aufnahmetests und -gespräche überprüft. Eine exakte Messung des Potenzials bleibt allerdings aufgrund seiner Immaterialität problematisch.

163

Vgl. hierzu Fließ (2001), S. 69f., und Lasshof (2006), S. 91.

68

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

In Abhängigkeit von dem beschriebenen Potenzial ergibt sich der studentische Eigenbeitrag zur Lehrproduktion. Er erfolgt zum einen mit unterschiedlichen Ausmaßen in den verschiedenen hochschulinternen Lehrveranstaltungen und Prüfungen, wobei er sich dann in direkter oder indirekter Interaktion mit den Lehrenden vollzieht. Zum anderen liegt ein großer Eigenanteil der Studierenden an der Lehrproduktion im Selbststudium, das von den Studierenden individuell je nach Motivation und Fähigkeiten gestaltet werden kann. Die Lehrenden haben hierauf nur begrenzten Einfluss, indem sie den Lernstoff vorgeben bzw. empfehlen und entsprechende Materialien, wie Literatur und Übungsaufgaben, zur Verfügung stellen, außerdem indem sie Interesse für den Lernstoff wecken und zum Lernen motivieren. Weiterhin können auch hochschulexterne Teilprozesse, wie studienbegleitende Praktika oder Studienaufenthalte im Ausland zum Eigenbeitrag der Studierenden gehören. Diese gestalten sich allerdings in Interaktion mit dem Praktikumsgeber bzw. einer ausländischen Hochschule. Die „Heimat-Hochschule“ kann lediglich die Organisation unterstützen bzw. dazu anregen, sofern es sich nicht um Pflichtbestandteile des Studiums handelt. Eine Abgrenzung des Ergebnisbeitrags der Studierenden von demjenigen der Lehrenden fällt nicht nur wegen der Immaterialität von Arbeitsleistungen, sondern auch aufgrund der Komplexität und der zahlreichen, zum Teil individuellen Interaktionen der Studierenden mit den Lehrenden sowie eventuell hochschulexternen Personen schwer. Eine isolierte Performancebeurteilung der Lehrenden eines Fachbereichs, die solch einer verursachungsgerechten Zuordnung, das heißt einer eindeutigen Formulierung von Wirkungsbeziehungen zwischen Input und Output bzw. Outcome, bedarf, wird daher nur in Ansätzen möglich sein.

3.2.3

Bildung von Performanceindikatoren

Zum Abschluss der Analysephase einer Performancemessung sind auf Basis der zuvor ermittelten Ergebnisgrößen Indikatoren zu bilden, deren Ausprägungen auf das Ausmaß der Zielerreichungen hindeuten. Im Folgenden werden generelle Aspekte der Auswahl und Konstruktion solcher Variablen zur Quantifizierung der Forschungs- und Lehrperformance im Hochschulbereich aufgezeigt. Eine ausführliche Betrachtung wichtiger Forschungsindikatoren erfolgt in Kapitel 4 dieser Arbeit. Die Ausführungen hier wie dort beziehen sich stets auf Kennzahlen, also auf quantitative Größen mit mindestens ordinaler Skala, um die implizierten Messungen nicht auf die Klassifikation der Untersuchungsobjekte im Hinblick auf das Vorliegen bestimmter Merkmale zu beschränken, sondern vielmehr weiter reichende Diffe-

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

69

renzierungen anhand der Indikatorenausprägungen zu erlauben. Die Termini Indikatoren und Kennzahlen werden daher im Folgenden synonym verwendet.164 Forschungs- und Lehrindikatoren können – wie bereits in Abschnitt 2.2.2.1 allgemein angedeutet wurde – sehr verschieden gestaltet werden. Zum Beispiel lassen sich aus Fakten und Urteilen mehrere einzelne Indikatoren bilden, welche entweder in Form multipler Indikatoren qualitativ kombiniert oder zu Indizes aggregiert werden können. Entscheidend für die Aussagekraft und Praxistauglichkeit ausgewählter Indikatoren ist die Erfüllung der in Abschnitt 2.2.2.2 genannten Anforderungen. Demnach sollten einzelne Indikatoren valide und reliabel konstruiert sein, außerdem auf wirtschaftlich erhebbaren Daten beruhen und gegebenenfalls in standardisierter Weise ermittelt werden können. Ein ganzes Indikatorenbündel hat das zugrunde liegende Zielsystem vollständig und redundanzfrei wiederzugeben, wobei die Indikatoren präferenzunabhängig bewertbar sein sollten. Es sollte zudem einfach gestaltet sein. Eine Erfüllung all dieser Anforderungen, die maßgeblich für die Akzeptanz der Indikatoren in der Praxis sind, erweist sich vor allem aufgrund der Komplexität, Heterogenität und Immaterialität hochschulischer Forschung und Lehre als schwierig. Was bleibt, ist der Versuch, allen Ansprüchen möglichst gut gerecht zu werden. Besonderer Aufmerksamkeit bei der Bildung von Performanceindikatoren bedürfen die mit deren Anwendung möglicherweise ausgelösten Fehlanreize. Eine große Gefahr im Hinblick auf unerwünschte Anpassungseffekte geht insbesondere von einseitigen Akzentuierungen aus. So kann die Beschränkung auf bestimmte Aspekte der Leistungserbringung diese in ungewollte Richtungen lenken, zum Beispiel wenn Hochschulwissenschaftler aufgrund einer Bewertung von ausschließlich in Fachzeitschriften publizierten wissenschaftlichen Erkenntnissen das Schreiben von Lehrbüchern vernachlässigen. Dabei besteht aufgrund der relativ einfachen Erhebbarkeit quantitativer Aspekte insbesondere die Problematik, dass die Qualität von Forschungs- und Lehrleistungen nicht hinreichend erfasst und aufgrund entsprechender Verhaltensausrichtung der von einer Bewertung betroffenen Personen beeinträchtigt wird.165 Derart dysfunktionalen Anreizen kann nur durch eine angemessene Berücksichtigung sowohl quantitativer als auch qualitativer Aspekte der Leistungserbringung entgegnet werden. Dies kann zum einen durch die Bildung eigenständiger Quantitäts- und Qualitätsindikatoren erfolgen, zum anderen lassen sich aber auch kombinierte Kennzahlen mit gleichzeitig quantitativem und qualitativem Inhalt konstruieren. So könnte beispielsweise der Output der Lehre in quantitativer Hinsicht durch die Anzahl der Absolventen und in seiner quali-

164 165

Siehe hierzu Abschnitt 2.2.2.1. Vgl. Schenker-Wicki (2005), S. 45f.

70

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

tativen Dimension durch deren Abschlussnoten ausgedrückt werden. Eine Gewichtung der Hochschulabgänger mit ihrer jeweiligen Note führt dann zu einer Kennzahl, die beide Dimensionen erfasst.166 Eine meist implizite Qualitätsgewichtung erfolgt generell bereits durch die Auswahl bestimmter Ergebnisse. Abgesehen von der speziellen Frage, wie quantitative und qualitative Aspekte miteinander kombiniert werden können, müssen zur Bildung von Indikatoren grundsätzlich verschiedene methodisch-technische Fragen geklärt werden. Eine erste betrifft den Untersuchungszeitraum. Bei seiner Festlegung müssen die Aktualität und die Aussagekraft des verwendeten Datenmaterials gegeneinander abgewogen werden. Einerseits sollte die betrachtete Periode nicht zu lang sein, um möglichst zeitnahe Ergebnisse für eine Performancebeurteilung zu erhalten, andererseits darf sie nicht zu kurz gewählt werden, damit kleinere unvermeidbare Schwankungen in der Leistungserbringung nicht zu instabilen Messergebnissen führen.167 Dabei ist generell der Timelag zwischen dem Inputeinsatz in Prozessen sowie dem daraus resultierenden Output und den Wirkungen, die sich teilweise nur sehr langsam entfalten, zu beachten. Für eine Beurteilung der Forschung sollten insbesondere auch die Dauer und die Unsicherheit unterschiedlicher Forschungsarten berücksichtigt werden. So ist Grundlagenforschung im Vergleich zur Anwendungsforschung in der Regel langfristiger angelegt, führt häufiger in Sackgassen und bedarf öfter Umwege. Bei stichtagsbezogenen Daten, zum Beispiel solchen, die den personellen Input größerer Untersuchungsobjekte erfassen, erscheint es für die Analyse längerer Perioden aufgrund möglicher Veränderungen innerhalb dieses Zeitraums gegebenenfalls sinnvoll, mehrere Zeitpunkte in Betracht zu ziehen und miteinander zu verknüpfen. Letzteres kann durch Kumulation oder wie üblich durch die Bildung eines einfachen Durchschnitts erfolgen, möglich ist aber auch die Berechnung anderer Mittelwerte, wie zum Beispiel eines exponentiell geglätteten, bei dem aktuellere Werte höher gewichtet werden als weiter zurückliegende. Ebenso kann natürlich auch bei kumulierten periodenbezogenen Daten, wie die innerhalb eines Zeitraums veröffentlichten Publikationen, auf eine Zeitreihenanalyse übergegangen werden, so-

166

167

Aufgrund der höheren Aussagekraft dualer Indikatoren definiert Schenker-Wicki „Leistungsindikatoren“ generell als Indikatoren, die sowohl eine quantitative als auch eine qualitative Dimension enthalten. In diesem Zusammenhang weist Schenker-Wicki auch darauf hin, dass Outcomeindikatoren in der Regel per se eine Qualitätsdimension enthalten. Dies gilt aber nur, sofern sie Wirkungen in einem Wettbewerbsumfeld anzeigen, weil sich darin längerfristig allein Leistungen von hoher Qualität durchsetzen können (vgl. SchenkerWicki (1996), S. 106f.). Es gilt aber nicht grundsätzlich für z.B. alle Wirkungen, die sich im ökologischen Umfeld manifestieren. Vgl. Daniel (1998), S. 13. Aufgrund der Erfahrungen, die mit Evaluationen im Hochschulbereich gemacht wurden, empfiehlt Daniel für die Leistungsberichterstattung von Forschung und Lehre einen Untersuchungszeitraum von drei bis fünf Jahren (vgl. Daniel (1998), S. 12f.).

Abschnitt 3.2: Basisanalyse für Forschung und Lehre

71

dass die Daten der Teilperioden mit unterschiedlichen Gewichten in einen Durchschnittswert einfließen.168 Falls Daten für die Performancemessung größerer Untersuchungseinheiten personenbezogen erhoben werden sollen oder sich nicht in aggregierter Form erheben lassen, muss auch festgelegt werden, wer zum relevanten Personal zählt. Dabei ist für den Fall von Fluktuationen zu klären, ob Personen denjenigen Untersuchungsobjekten zugeordnet werden, denen sie zum Zeitpunkt der Leistungserbringung angehört haben (Work-done-at-Methode) oder an denen sie am Stichtag der Erhebung verweilen (Current-potential-Methode).169 Eine grundsätzliche Frage betrifft auch die Zurechnung kooperativer Leistungen, für die es verschiedene Möglichkeiten gibt. So können zum Beispiel neue Forschungserkenntnisse allen Wissenschaftlern, die an ihrer Entstehung mitgewirkt haben, oder die Absolventen fachlich kombinierter Studiengänge (wie Wirtschaftsingenieurwesen, -mathematik oder -pädagogik) denjenigen Fachbereichen, die an der Ausbildung der Studierenden beteiligt waren, in vollem Umfang oder nach Bruchteilen zugerechnet werden. Hilfreich für eine Interpretation und teilweise notwendig für eine multivariate Auswertung, in die verschieden skalierte Zahlenwerte einfließen, ist eine Normierung der Daten bzw. Indikatorenausprägungen. Beliebte Standardisierungen bei Objektvergleichen sind lineare Transformationen. So wird häufig einem ermittelten Maximum der Wert eins und dem jeweiligen Minimum der Wert null zugeordnet. Bei Werten, die auf einer Verhältnisskala gemessen werden, ist ihre Normierung auch durch Division mit dem höchsten Wert gängig. Dann geben die transformierten Indikatorenwerte den jeweiligen Anteil am Maximum in Prozent an und lassen sich leicht als (partielle) Effektivitäts- bzw. Effizienzwerte interpretieren. Auf diese Weise ist sogar das jeweilige Verbesserungspotenzial der einzelnen Objekte im Hinblick auf das Objekt mit dem höchsten Wert als Benchmarkingpartner einfach ermittelbar. Eine andere, bei Normalverteilungen häufiger eingesetzte Normierungsart ist die „z-Transformation“, die zu einem Mittelwert von null und einer Standardabweichung von eins führt. Durch Reduktion der Abstände an der Spitze des Wertebereichs ist es möglich, obere Ausreißer und Fehler in der Bewertung der Top-Objekte besser kontrollieren zu können.170 Für eine quantitative Aggregation mehrerer Einzelindikatoren zu einem Gesamtindex gibt es verschiedene Methoden.171 Bekannt ist vor allem die Verwendung multi-attributiver Wertfunk-

168 169 170 171

Vgl. hierzu Gutierrez (2005), S. 47f. Vgl. Ursprung (2003), S. 179. Vgl. teilweise Bayer (2004), S. 112, und Bortz (1999), S. 46. Eine vergleichende Darstellung von Aggregationsverfahren gibt von Nitzsch (1992), S. 16ff.

72

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

tionen, welche die Beziehungen zwischen den Indikatoren zum Ausdruck bringen und jeder möglichen Kombination von Indikatorenausprägungen einen einzigen Wert zuweisen. Solch eine Indexvorschrift kann unterschiedliche Formen annehmen. Beim einfachsten und wichtigsten Funktionstyp entsteht der Gesamtwert aus einer additiven Verknüpfung der Indikatorenausprägungen, wobei unterschiedliche Präferenzen hinsichtlich der Bedeutung der Einzelindikatoren durch indikatorspezifische Gewichtungsfaktoren berücksichtigt werden können. Eine weitere Möglichkeit der Zusammenfassung ist die multiplikative, bei der – im Gegensatz zur additiven – der Indexwert nur dann einen vom Minimum abweichenden Wert annimmt, wenn kein einziger der in den Index einfließenden Indikatoren den Wert null hat, also alle eine bestimmte Mindestausprägung aufweisen. Auch bei diesem Indextyp können die einzelnen Indikatoren mit unterschiedlichen Gewichten in den Gesamtwert einfließen. Solche lassen sich generell zum Beispiel aus theoretischen Überlegungen herleiten oder von Experten schätzen.172 Eine bei umfangreicheren Objektvergleichen zur Bestimmung eines aggregierten Effektivitäts- oder Effizienzmaßes geeignete Methode der linearen Programmierung (LP), die ohne explizite Gewichtung der Indikatoren im Vorfeld auskommt – die Integration subjektiver Präferenzen aber auch nicht ausschließt – ist die Data Envelopment Analysis (DEA).173 Ursprünglich entwickelt für den öffentlichen Sektor, der ohne einfache monetäre Bewertungen durch Preise auskommen muss, ist sie prädestiniert für den Einsatz zur Performancemessung im Hochschulbereich. In diesem Kontext erfährt sie derzeit zunehmende Aufmerksamkeit und kommt immer häufiger zur Anwendung.174 Neben den zahlreichen konstruktionsbezogenen Aspekten ist im Rahmen der Indikatorenbildung auch genauestens zu klären, wie und wann die relevanten Daten erhoben werden sollen. Auf die prinzipiellen Möglichkeiten der Erhebung von Fakten und Urteilen wird unter anderem im folgenden Abschnitt eingegangen.

172 173

174

Vgl. zu diesen gängigen Indizes z.B. Schnell/Hill/Esser (2008), S. 171ff. Zu den Grundlagen der DEA sei auf den Ursprungsbeitrag von Charnes/Cooper/Rhodes (1978), die Lehrbücher von Charnes et al. (1994), Cooper/Seiford/Tone (2006), Norman/Stoker (1991) und Thanassoulis (2001), die Habilitationsschrift von Kleine (2002) sowie die Dissertationen von Allen (2002) und Scheel (2000) verwiesen. Zu beispielhaften Anwendungen im Hochschulbereich vgl. die Überblicke in Gilles (2005), S. 164ff., Gutierrez (2005), S. 28ff., und Johnes (2004), S. 671ff. sowie 717ff. Siehe außerdem hier die DEA-Anwendung zur Bestimmung der Skalenerträge betriebswirtschaftlicher Forschung in Abschnitt 6.4.

Abschnitt 3.3: Anwendung

3.3

73

Anwendung

Die Phase der Anwendung einer Performancemessung beinhaltet neben der Datenerhebung die Ermittlung der Indikatorenausprägungen und deren Auswertung sowie die (eventuelle) Verbreitung und schließlich die Nutzung der Ergebnisse. Die Inhalte dieser einzelnen Schritte bei einer Performancemessung im Hochschulbereich werden in den folgenden drei Abschnitten aufgegriffen.

3.3.1

Datenerhebung

In dem ersten Schritt der Anwendungsphase sind die Ausprägungen der interessierenden Merkmale der Untersuchungsobjekte zu erheben. Damit verbunden sind zum einen eine systematische Kontrolle, bei der Unstimmigkeiten und mangelnde Konkordanzen in den Daten geklärt sowie fehlende Daten möglichst nacherhoben werden sollten, zum anderen eine sorgfältige Dokumentation und Sicherung aller Erhebungswerte. An die Qualität der Daten sind höchste Ansprüche zu stellen, schließlich können fehlerhafte oder unvollständige Werte die Beurteilungsergebnisse stark verzerren. Sie ist vor allem über verlässliche Informationsquellen sicherzustellen, deren Auswahl unter anderem von der Art der gewünschten Daten abhängt. Mit Blick auf fachlich differenzierte Bewertungen ist dabei insbesondere zu beachten, dass die Verwendung verschiedener Quellen und die Zusammenführung der daraus gewonnenen Daten mangels einer einvernehmlichen Aufteilung der Wissenschaftsbereiche mitunter sehr problematisch, wenn nicht sogar unmöglich sind.175 Abbildung 3-8 führt die generellen Alternativen zur Gewinnung von Fakten und Urteilen bei einer Performancemessung im Hochschulbereich auf.

175

So differieren z.B. die Fächersystematiken der Deutschen Forschungsgemeinschaft (DFG) und des Statistischen Bundesamts (vgl. DFG (2006), S. 16). Während etwa die Informatik von der DFG traditionell den Ingenieurwissenschaften zugeordnet wird, zählt sie in der amtlichen Statistik zu den Naturwissenschaften.

74

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

Erhebung von Fakten

Selbstauskünfte

Datenbanken

Erhebung von Urteilen

Andere Untersuchungen

Befragungen

Andere Untersuchungen

Befragungen

Berichte

Abbildung 3-8: Methoden der Datenerhebung

Fakten können direkt aus dem Hochschulbereich stammen, wenn sie bei den Personen bzw. Organisationseinheiten, deren Leistungen zu bewerten sind, oder den jeweiligen hochschulinternen Einrichtungen, die mit der Erhebung statistischer Daten betraut sind, erfragt oder aus von diesen erstellten Leistungsberichten entnommen werden. Sie lassen sich gegebenenfalls auch mithilfe hochschulexterner Datenbanken oder aus anderen Performanceuntersuchungen ermitteln. Urteile werden direkt über Befragungen von zum Beispiel Wissenschaftlern, Studierenden, Absolventen, Arbeitgebern und Unternehmen, die Forschungserkenntnisse nutzen, eingefangen. Eventuell ist zu ihrer Gewinnung ebenfalls die Verwendung bereits existierender Analysen möglich. Befragungen zur Faktenermittlung ermöglichen, Informationen aus erster Hand zu erhalten, vor allem auch solche, die nicht aus anderen Quellen generiert oder diesen nur mit einem hohen Aufwand entnommen werden können. Um die Voraussetzungen für eine hohe Qualität der Daten zu schaffen, müssen die Bewertungsobjekte, ihre interessierenden Merkmale sowie die dazugehörigen Messskalen eindeutig definiert und intersubjektiv erkennbar sein. Dazu sind die Fragen klar zu formulieren und die Antwortmöglichkeiten vollständig abzugrenzen. Zwar erfordert dies eine gründliche Vorbereitung durch denjenigen, der die Befragung durchführt, bei Einsatz eines schriftlichen oder onlinebasierten Fragebogens ist jedoch sein Aufwand für die Erhebung der Daten als relativ gering einzustufen, da die eigentliche Zahlenzusammenstellung von den Befragten vorgenommen wird.176 Die Datengewinnung durch Befragung ist allerdings problematisch, wenn auf Seiten der Befragten eine geringe

176

Um hohe Belastungen der Hochschulen durch mehrfache, unkoordinierte Datenerhebungen zu vermeiden, empfiehlt der Wissenschaftsrat, alle mit dem Zweck eines Performancevergleichs erhobenen Daten für weitere Analysen zur Verfügung zu stellen (vgl. Wissenschaftsrat (2004), S. 34).

Abschnitt 3.3: Anwendung

75

Kooperationsbereitschaft oder sogar eine negative Einstellung zur Performancemessung besteht.177 Abgesehen von einer kompletten Antwortverweigerung mag eine mangelnde Zusammenarbeit zu unvollständigen Angaben führen, die eine umfassende Bewertung der Leistungserbringung unmöglich machen. Außerdem besteht die Gefahr, dass die Daten von den Befragten manipuliert werden, um bessere Bewertungen zu erhalten. Zu den Quellen von Informationen, die hochschulintern zusammengetragen und der Öffentlichkeit transparent gemacht werden, gehören beispielsweise Publikationslisten von Professoren, Lehrstuhlberichte und Zahlenspiegel von Hochschulen. Im Gegensatz zur Datenerhebung durch Befragung hat der Beurteiler bei Verwendung solcher Selbstreports keinen Einfluss auf die Ausgestaltung und den Detaillierungsgrad der Informationen. Daher mögen verschiedene Praktiken der Datengewinnung den Leistungsvergleich mehrerer Objekte unmöglich machen, individuelle Darstellungsformen ihn zumindest enorm erschweren sowie mit einem hohen Aufwand zur Selektion und Aufbereitung der zu verwendenden Informationen verbunden sein. Hochschulexterne Informationspools stammen von Institutionen, die spezielle Daten für verschiedene Zwecke erheben und diese entweder der Allgemeinheit kostenlos oder einzelnen Interessenten gegen Gebühr zur Nutzung verfügbar machen. Hier zu nennen sind insbesondere Literatur- und Patentdatenbanken sowie die amtlichen Statistiken der Länder und des Bundes. Während Erstere in der Regel ohne hochschulintern erstellte Informationen auskommen, basieren Letztere auf gesetzlich geregelten, nach bundeseinheitlicher Systematik aufgebauten Meldungen der Hochschulverwaltungen und -prüfungsämter an das jeweils zuständige Statistische Landesamt, welches wiederum die Daten in aggregierter Form an das Statistische Bundesamt liefert. Die Informationen hochschulexterner Quellen können im Allgemeinen als qualitativ hochwertig eingeschätzt werden, da ihre Ersteller üblicherweise unabhängig und unparteiisch sind sowie das zur Informationsselektion und -aufbereitung oftmals notwendige Spezialwissen besitzen. Zudem wird der besonderen Gefahr der amtlichen Statistik, auf manipulierten Hochschulangaben zu beruhen, durch systematische Plausibilitätsprüfungen entgegnet. Aus diesen Gründen und aufgrund der flächendeckend einheitlichen Erhebungsmethoden sind hochschulextern generierte Daten prinzipiell gut für hochschulübergreifende Vergleiche geeignet, sie lassen sich allerdings vielfach nur für ganz spezifische Fragestellungen der Performancemessung heranziehen. Die Statistiken der Landesund Bundesämter erweisen sich beispielsweise für zahlreiche Untersuchungsbereiche als zu ungenau, weil sie nur für höhere Aggregationsebenen erstellt werden. Die Verwendung an-

177

Vgl. hierzu Kuhlmann/Heinze (2004), S. 67.

76

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

derer Datenbanken zur Informationsgewinnung kann dagegen insbesondere dann zu einem hohen Aufwand führen, wenn die Daten für Objekte höherer Aggregationsebenen nur personenbezogen ermittelbar sind, wie es etwa bei Publikationsdatenbanken derzeit die Regel ist. Die Erhebung von Urteilen durch direkte Befragung erfordert wie die Faktenerfragung eine genaue Vorbereitung, um die Qualität der Antworten nicht bereits im Vorfeld zu gefährden. Dabei ist nicht nur auf eindeutige Definitionen und Bewertungsstandards zu achten, sondern auch auf eine ausgewogene Repräsentativität der befragten Personen. Insgesamt ist die Durchführung solcher Umfragen, vor allem wenn sie schriftlich oder elektronisch erfolgt, für den Beurteiler mit einem relativ geringen Aufwand verbunden. Die Gewinnung von Fakten und Urteilen durch Heranziehung bereits abgeschlossener Performanceuntersuchungen eignet sich vor allem für Analysen mit gleichen oder zumindest ähnlichen Fragestellungen. Die Qualität solcher Daten wird maßgeblich von der Qualität der jeweiligen Primärerhebung bestimmt. Auch wenn die Fakten bzw. Urteile gegebenenfalls für die angestrebte Verwendung modifiziert, zum Beispiel auf bestimmte Untersuchungsobjekte eingegrenzt werden müssen, ist diese Erhebungsform mit einem besonders geringen Aufwand verbunden. Sofern sie nicht öffentlich zugänglich sind, ist ihr Sekundäreinsatz von der Kooperationsbereitschaft ihrer Erheber abhängig.

3.3.2

Ermittlung der Indikatorenausprägungen und Auswertung

Im nächsten Schritt einer Performancemessung sind die Ausprägungen der Indikatoren zu ermitteln, auszuwerten und die Ergebnisse zu dokumentieren. Die Analyse einzelner oder multipler Indikatoren sowie die Bestimmung und Auswertung von Indexwerten können grundsätzlich qualitativ auf Basis von Gutachterurteilen oder mittels quantitativer Methoden vorgenommen werden. Beide Alternativen lassen sich auch miteinander kombinieren, indem Ergebnisse eines Peer Reviews, die in ordinaler oder kardinaler Form vorliegen, in eine quantitative Analyse einfließen oder umgekehrt rein quantitativ ermittelte Resultate bei einer qualitativen Bewertung durch Gutachter Berücksichtigung finden. Bei der indikatorengestützten Gutachterbewertung, dem sogenannten Informed oder Evidence-based Peer Review, ist es einerseits möglich, Untersuchungsobjekte individuell anhand prädefinierter Qualitätsstufen zu bewerten, andererseits können sie – sofern überhaupt mehrere Untersuchungsobjekte Gegenstand der Betrachtung sind – in eine Rangfolge gebracht und darauf basierend in Gruppen eingeteilt werden. Die Urteile mögen sich dabei auf einzelne oder mehrere Indikatoren stützen. Sie werden somit nicht wie einfache Reputati-

Abschnitt 3.3: Anwendung

77

onsurteile intuitiv, sondern unter Berücksichtigung einer soliden Datenbasis und eventuell ergänzender Informationen, die zum Beispiel aus Selbstreports stammen können, gefällt.178 Der wesentliche Vorteil dieses qualitativen und zugleich indikatorengestützten Verfahrens – wie auch des klassischen Peer Reviews – im Vergleich zu einer rein quantitativen Indikatorenerhebung und -analyse liegt in der Möglichkeit, den individuellen Kontext der Leistungserbringung in die Performanceergebnisse einfließen zu lassen. So können zum Beispiel auch innovative und hoch spezialisierte Forschungsleistungen, die sich nicht in den gängigen Indikatoren widerspiegeln, angemessen gewürdigt179 sowie Besonderheiten bei der Erbringung von Lehrleistungen, wie stark ausgeprägte Lehrverflechtungen zwischen verschiedenen Hochschuleinrichtungen, bei einer Bewertung berücksichtigt werden. Die Durchführung eines Informed Peer Reviews birgt allerdings auch Probleme. Eine große Schwierigkeit kann bereits in der Gewinnung bzw. Auswahl geeigneter Gutachter liegen. Diese sollten nicht der zu bewertenden Einheit angehören und ihr gegenüber unbefangen, also ohne persönliche oder institutionelle Parteilichkeiten sein. Für die Beurteilung wissenschaftlicher Leistungen, vor allem solcher, die zu neuen Forschungserkenntnissen führen, sind außerdem spezifische Fachkenntnisse der Peers unabdingbar, damit fachliche Besonderheiten Beachtung finden können.180 Es eignet sich daher insbesondere der Einsatz eines Gutachterteams bestehend aus (Fach-)Wissenschaftlern anderer Hochschulen oder außeruniversitärer Forschungseinrichtungen sowie gegebenenfalls wissenschaftlich tätigen Praktikern, die jeweils als ausgewiesene Experten in der Scientific Community anerkannt sind und denen das für ein Peer Review erforderliche Vertrauen entgegengebracht wird. Ein weiteres Problem des Verfahrens ist sein hoher Durchführungsaufwand, und zwar insbesondere bei Bewertungen, die von mehreren Peers getragen werden. Schließlich erfordern diese, dass jedes einzelne Urteil diskutiert und abgestimmt wird. Mit geringerem Personaleinsatz und Koordinationsaufwand ist dagegen im Allgemeinen die quantitative Datenverarbeitung und -analyse verbunden. Eine solche gilt zudem im Vergleich zu Gutachterurteilen als objektiver, weil sich die Ergebnisse allein anhand der Daten nachvollziehen lassen.181 Jedoch können Spezifika der Leistungserbringung dabei nur insofern berücksichtigt werden, als sie sich auch in den Daten bzw. Indikatorenausprägungen äußern. Um mit etwaigen Auffälligkeiten, wie zum Beispiel Ausreißerwerten, bei der Analyse ange-

178

179 180 181

Eine solche Verschränkung von Expertenurteilen und quantitativen Indikatoren im Sinne eines Ratings empfiehlt der Wissenschaftsrat für vergleichende Bewertungen der Forschung im Wissenschaftssystem (vgl. Wissenschaftsrat (2004), S. 42f.). Vgl. Steuerungsgruppe der Pilotstudie Forschungsrating (2007), S. 5. Vgl. Kuhlmann/Heinze (2004), S. 69. Vgl. Wissenschaftsrat (2004), S. 32.

78

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

messen umgehen zu können, ist auch bei diesem quantitativen Verfahren eine gewisse Expertise vonnöten. Neben entsprechend wissenschaftlichem Know-how und Vertrautheit mit dem Hochschulbereich bedarf es zusätzlich eingehender Kenntnisse der möglichen Auswertungsmethoden, damit diese korrekt eingesetzt und letztlich unzutreffende Ergebnisse vermieden werden. Mit der Analyse von Einzelindikatoren im Vorfeld einer aggregierten Betrachtung ist es dem Bewerter möglich, sich mit den ermittelten Werten vertraut zu machen und eventuelle Unstimmigkeiten in den Daten, die bei deren Erhebung noch nicht erkannt wurden, aufzudecken. So können zum Beispiel Hinweise auf Ausreißer in den Daten gewonnen werden, die unter Umständen bei einer ausschließlich aggregierten Betrachtung verborgen bleiben. Bei quantitativen Objektvergleichen können Partial- und Totalanalysen im Ergebnis in Ranglisten oder -gruppen münden. Während Erstere auf einer einfachen Ordnung der Indikatorenoder Indexwerte basieren, lassen sich Letztere mithilfe verschiedener Verfahren erstellen. Die Gruppengrenzen mögen dann entweder unabhängig von den konkreten Indikatorenausprägungen festgelegt werden, möglich ist ihre Fixierung aber auch unter deren expliziter Berücksichtigung, etwa durch Heranziehung von Quartilswerten oder den Werten an bestimmten Positionen in der Rangfolge.182 Um die Ergebnisse quantitativer Analysen zu prüfen bzw. zu festigen, sollten schon allein aufgrund möglicher Zufälligkeiten in den Daten sowie bei eventuell subjektiver Indikatorengewichtung Sensitivitätsanalysen durchgeführt werden, die Aussagen über die Stabilität der Resultate erlauben. Je stärker ein Indikator die Ergebnisse beeinflusst, desto genauer ist er grundsätzlich auf mögliche Fehler zu untersuchen. Sinnvoll können zudem Zusatzanalysen sein, die zum Beispiel Aufschluss über die Zusammenhänge von Indikatoren oder über Performanceprofile innerhalb einer Objektmenge geben.

3.3.3

Weitergabe und Nutzung der Ergebnisse

Damit die Ergebnisse für die intendierten Zwecke genutzt werden können, müssen sie zunächst in angemessener Form an die Informationsadressaten weitergegeben werden – zumindest sofern Bewerter und Adressaten nicht identisch sind. Dafür stehen verschiedene Wege offen, die in Abhängigkeit von den Adressaten auszuwählen sind. Eine für hochschulinterne Zwecke durchgeführte Bewertung kann beispielsweise über hochschuleigene Informationskanäle kommuniziert werden. Sollen die Ergebnisse einer Performancemessung da-

182

Es sei darauf hingewiesen, dass eine Rangfolgenbildung bei der in Abschnitt 3.2.3 angesprochenen DEAMethodik wenig sinnvoll ist, weil die Indikatoren für jedes Untersuchungsobjekt individuell gewichtet werden.

Abschnitt 3.3: Anwendung

79

gegen an die Öffentlichkeit getragen werden, bieten sich Massenmedien als Übermittlungsinstrumente an. Neben Printmedien, wie Zeitschriften und Zeitungen großer Verlage, steht insbesondere das Internet zur Verbreitung zur Verfügung, über das auch internationale Adressaten schnell und einfach erreichbar sind. Es eröffnet zudem die Möglichkeit einer dynamischen Präsentation, mit der spezifische Informationsbedürfnisse erfüllt sowie individuelle Präferenzen berücksichtigt werden können, etwa indem jedem Nutzer selbst die Auswahl von Bewertungskriterien aus einem entsprechenden Pool sowie deren Gewichtung überlassen bleiben und auf dieser Basis die Ermittlung aggregierter Werte online erfolgt.183 Die Darstellung einer Leistungsbewertung sollte sich grundsätzlich nie auf die Bekanntgabe von Ergebnissen beschränken. Vielmehr ist über die gesamte Konzeption einer Performancemessung, die sich daraus ergebende Analyse und die konkrete Durchführung zu berichten, um eine Basis zur Bildung von Vertrauen in die ermittelten Resultate bereitzustellen und deren sinnvolle Nutzung zu ermöglichen. So muss eindringlich formuliert werden, an wen sich die Informationen richten und welchen Zwecken die Ergebnisse dienen sollen. Zur Vorbeugung unsachgemäßer Interpretationen kann darüber hinaus unterstützend auf Probleme ihrer nicht intendierten Verwendung hingewiesen werden. Weiterhin sollten der Untersuchungsbereich bzw. die einzelnen Objekte präzise benannt und das der Messung zugrunde gelegte Zielsystem aufgezeigt werden. Bei der Darlegung des daraus abgeleiteten Indikatorensystems ist nicht nur darauf einzugehen, was die Maßgrößen allein bzw. gemeinsam abbilden sollen, sondern auch wo die jeweiligen Grenzen liegen. Ebenso sind die genutzten Informationsquellen mitsamt den Vor- und Nachteilen der daraus gewonnenen Daten aufzuführen. Außerdem sollten die Auswertungsmethoden verständlich erläutert und gegebenenfalls Hinweise auf weitere Veröffentlichungen der jeweiligen Untersuchung gegeben werden. Schließlich gilt es, die Ergebnisse übersichtlich zu präsentieren und eventuell gezogene Schlussfolgerungen zu begründen. Dabei ist im Falle einer aggregierten Leistungsbewertung zu fordern, dass neben einem Gesamtergebnis die herangezogenen Indikatoren einzeln ausgewiesen werden, um die Transparenz der Resultate zu gewährleisten. Die zugrunde liegenden Mikrodaten sollten stets zumindest für Nachvollzug, Kontrollen und eventuell Zweitverwertungen verfügbar gemacht werden.184 Im Hinblick vor allem auf Objektvergleiche, die an die Öffentlichkeit gerichtet sind, ist außerdem anzumerken, dass die Bekanntgabe von Ranglisten vielfach als unangemessen ange-

183

184

Eine derartige webbasierte Veröffentlichungsform wird neben einer einfacheren Printvariante vom CHE für das CHE-Hochschulranking angeboten (vgl. Berghoff et al. (2008b), S. 73ff., bzw. www.che.de). Vgl. Wissenschaftsrat (2004), S. 35 und 40f., sowie Küpper/Ott (2002), S. 625f., für vergleichende Bewertungen im Wissenschaftssystem.

80

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

sehen wird, weil sie bei nur geringen Unterschieden zwischen den Indikatorenausprägungen eine Genauigkeit vorgaukeln, die angesichts unsicherer Daten und gegebenenfalls subjektiver Indikatorenaggregation nicht gerechtfertigt erscheint. Es empfiehlt sich daher für solche Performancemessungen vielmehr die Bekanntgabe von Ranggruppen, die in sich alphabetisch geordnet sind.185 Abgeraten wird oftmals auch von personenbezogenen Veröffentlichungen, da nicht davon ausgegangen wird, dass die durch sie möglicherweise induzierten Anreize zur Performancesteigerung eine gleichzeitig ausgelöste Demotivation weniger guter Personen überwiegen können.186

3.4

Zwischenfazit

Performancemessungen im Hochschulbereich können sehr unterschiedlich gestaltet werden. Entsprechend wichtig ist die präzise Bearbeitung der einzelnen Vorgehensschritte, in denen teilweise erhebliche Probleme zu bewältigen sind. Dies gilt bereits für die Konzeptionsphase. Schließlich gibt es eine Vielzahl von Hochschulstakeholdern, die als potenzielle Adressaten einer Performancemessung im Hochschulbereich in Frage kommen. Gemäß ihren Informationsinteressen existiert ein breites Spektrum sich inhaltlich und formal unterscheidender Hochschulobjekte, die prinzipiell bewertet werden können. Probleme treten insbesondere beim Vergleich mehrerer Objekte auf, da diese in ein spezielles Umfeld eingebettet sein können, individuelle Strukturen aufweisen mögen und eventuell spezifische Ziele verfolgen. Derartige Besonderheiten sollten idealerweise bei einer Performancemessung berücksichtigt werden. Zu erkennen sind sie möglicherweise aber erst bei der genaueren Betrachtung der Objekte in der zweiten Phase einer Performancemessung. Basis dieser Analysephase ist eine intensive Auseinandersetzung mit den Zielen des Untersuchungsbereichs. Selbst bei einer Fokussierung auf die beiden Hauptleistungen von Hochschulen, Forschung und Lehre, sind grundsätzlich verschiedene Zielstrukturen als Ergebnis dieses Teilschritts von Performancemessungen im Hochschulbereich denkbar. Wohl können noch relativ allgemeingültig der (Haupt-)Zweck der Forschung in der Produktion neuen Wissens und derjenige der Lehre in der Aus- und Weiterbildung sowie Prüfung von Studierenden gesehen werden, ihre Präzisierung und ihre (eventuelle) Ergänzung durch Ziele hinsichtlich des Mitteleinsatzes sowie erwünschter und unerwünschter Nebenfolgen, müssen jedoch von dem untersuchten Objekt bzw. der betrachteten Objektmenge ausgehen. In der Regel werden diese konkreten Ziele in der Praxis nicht oder nur sehr grob formuliert, sodass sie für

185 186

Vgl. z.B. Keeney/See/Winterfeldt (2006), S. 817, und Wissenschaftsrat (2004), S. 41. Vgl. Wissenschaftsrat (2004), S. 36f.

Abschnitt 3.4: Zwischenfazit

81

eine Performancemessung erst ermittelt bzw. verfeinert werden müssen. Da hinter diesen Zielen meist die Interessen mehrerer Stakeholder stehen, kann sich solch eine Analyse als sehr aufwändig und umfangreich erweisen. Die sich an die Erstellung einer Zielstruktur anschließende produktionstheoretische Analyse erfordert bei einer Performancemessung im Hochschulbereich regelmäßig den Umgang mit Problemen, die auf bestimmte Merkmale der Forschungs- und Lehrproduktion zurückzuführen sind. Neben deren (teilweiser) Verbundenheit, die eine isolierte Bewertung von Forschungs- oder Lehrleistungen eigentlich verbietet, sowie ihrer Immaterialität, aufgrund derer sich die Produktionsergebnisse von Forschung und Lehre kaum in quantitativer und noch weniger in qualitativer Hinsicht erfassen lassen, ist auch die Integration der Studierenden in die Lehrproduktion bei einer darauf gerichteten Performancemessung schwierig zu handhaben. Letzteres hängt damit zusammen, dass die Studierenden als externe Faktoren und CoProducer einen großen Einfluss auf die Lehre haben. Bei einer Bewertung der eigentlichen Lehrleistung müssen daher nämlich sowohl die Eingangsqualifikationen der Studierenden berücksichtigt als auch ihr Beitrag zur Leistungserbringung von demjenigen der Lehrenden abgekoppelt werden. Schwierig ist dies nicht nur aufgrund der Immaterialität der zu erfassenden Kompetenzen und Arbeitsleistungen, sondern auch wegen der Interaktionen der Studierenden mit den Lehrenden und hochschulexternen Co-Produzenten. So lassen sich eindeutige Wirkungsbeziehungen zwischen Input und Output bzw. Outcome der Lehrproduktion kaum formulieren. Die in der Praxis (bisher) übliche Vernachlässigung dieser Aspekte kann nur unter starken Annahmen, wie die Homogenität der Studienanfänger, gerechtfertigt werden. Abgesehen von den Merkmalen der Leistungserbringung, die eine Performancemessung im Hochschulbereich erschweren können, stellt sich in der produktionstheoretischen Analyse insbesondere auch die Frage nach den Eigenschaften der konkreten Produktionstechnologie, um etwa der Art und der Stärke der Skalenerträge bei der Indikatorenbildung im nächsten Vorgehensschritt einer Performancemessung gerecht zu werden. Da in der Praxis eine Konstruktion von Messgrößen, die sich nicht nur als valide und reliabel erweisen, sondern auch alle anwendungsbezogenen Anforderungen erfüllen, unmöglich ist, kommt es in diesem nächsten Schritt der Performancemessung darauf an, möglichst gute Indikatoren zur Abbildung der zielrelevanten Ergebnisse zu bilden. Dafür sind grundsätzlich verschiedene Indikatorarten einsetzbar. Ein gewisser Ermessensspielraum besteht oftmals bei den jeweils zu treffenden methodisch-technischen Entscheidungen, wie zum Beispiel solchen hinsichtlich des Untersuchungszeitraums und des Umgangs mit kooperativ erbrachten Leistungen.

82

Kapitel 3: Grundzüge einer Performancemessung im Hochschulbereich

Zur Sicherstellung der Qualität der im ersten Schritt der Anwendungsphase zu erhebenden Daten sind vor allem zuverlässige Informationsquellen auszuwählen. Für die Gewinnung von Fakten erscheint besonders die Möglichkeit, auf Datenbanken zuzugreifen attraktiv, da diese systematisch erstellt und regelmäßig aktualisiert werden. Allerdings sind sie nur für spezifische Untersuchungsbereiche und Indikatoren verwendbar, außerdem kommt ihre konkrete Nutzung gegebenenfalls nicht ohne zusätzliche, von den zu bewertenden Hochschuleinheiten bereitzustellende Informationen aus. Die direkte Erfragung von Fakten bei den Hochschuleinheiten ist dagegen viel flexibler – vor allem auch im Vergleich zu einer Datenerhebung über bereits erstellte Hochschulberichte oder andere Untersuchungen –, allerdings natürlich von deren Kooperationsbereitschaft abhängig. Urteile wiederum können nur über Befragungen erhoben bzw. eventuell vorhandenen Untersuchungen entnommen werden. Die auf die Ermittlung der Indikatorenausprägungen folgende Auswertung erfordert stets gewisse Kompetenzen der Bewerter. So sind fachliche Kenntnisse und Kenntnisse des Hochschulbereichs sowohl für ein Informed Peer Review als auch für eine quantitative Analyse unerlässlich. Letztere bedarf außerdem methodisches Know-how, vor allem wenn komplexere Verfahren wie die DEA angewendet werden sollen. Um letztlich eine angemessene Nutzung der Ergebnisse einer Performancemessung im Hochschulbereich zu ermöglichen und Fehlinterpretationen zu vermeiden, sind sie entsprechend aufzubereiten und – idealerweise zusammen mit Informationen zu den einzelnen Schritten des Bewertungsverfahrens – über geeignete Informationskanäle an die Adressaten der Performancemessung zu übermitteln.

4

Indikatoren zur Messung der Forschungsperformance

In diesem Kapitel werden Indikatoren zur Messung der Performance von im Hochschulbereich erbrachten Forschungsleistungen dargestellt und diskutiert. Grundlage der Ausführungen sind die in Abschnitt 3.2 ausführlich aufgezeigten Ziele und zielentsprechenden Ergebnisgrößen der Forschungsproduktion. Letztere werden zunächst in einem Überblick weiter konkretisiert (Abschnitt 4.1), um sodann auf wichtige Indikatoren, die sich aus ihnen ableiten lassen, detailliert eingehen zu können. Dabei wird der Fokus auf die Produktionsergebnisse zur Abbildung der Zweckerreichung gelegt. Abschnitt 4.2 ist ausschließlich der Relevanz von Drittmittelindikatoren gewidmet. Anhand einfacher Modellüberlegungen wird untersucht, unter welchen Bedingungen sie als Maß für die Beurteilung der Zweckerreichung der Forschung dienen können, obwohl Drittmittel zweifellos (auch) Input der Forschung darstellen. Im Anschluss daran werden in Abschnitt 4.3 für Drittmittel- und weitere Forschungsindikatoren unter anderem Voraussetzungen für ihre sinnvolle Verwendung in der Praxis, methodisch-technische Aspekte ihrer Konstruktion sowie ihre vielfältigen Probleme erörtert. Das Kapitel endet mit einem Zwischenfazit in Abschnitt 4.4.

4.1

Überblick

Um die Forschungsperformance im Hochschulbereich messen zu können, müssen alle zielrelevanten Ergebnisgrößen der Produktion bestimmt werden. Dazu gehören insbesondere Input-, Output- und Outcomegrößen,187 wohingegen Prozessgrößen wie die Forschungsdauer in der Regel vernachlässigt werden bzw. implizit in den anderen Größen enthalten sind, weil diese sich immer auf einen bestimmten Zeitraum beziehen. Den Input der Forschung bilden Personal und Sachmittel, die im Wesentlichen über Haushalts- und Drittmittel finanziert werden.188 Das Personal kann – so ist es üblich – in unterschiedliche Kategorien gegliedert werden, wobei die Wissenschaftler, also die Professoren und Wissenschaftlichen Mitarbeiter, im Gegensatz zum nichtwissenschaftlichen Personal und den Sachmitteln die Forschungsproduktion maßgeblich bestimmen.189 Daher sind zum Beispiel die Anzahl der Forscher, die Anzahl besetzter Stellen, die Anzahl der Arbeitsstun-

187

188 189

Die Ermittlung konkreter Inputs ist einerseits in der Regel für die Erhebung der zweckbezogenen Outputund Outcomegrößen relevant, andererseits ist sie notwendig für jede Messung der Effizienz des Mitteleinsatzes. Siehe Abschnitt 3.2.2.1. Die große Bedeutung des (wissenschaftlichen) Personals für die Forschung (und teilweise auch für weitere Hochschulleistungen) betonen z.B. Brinkmann (1991), S. 58, Kirchhoff-Kestel (2006), S. 72, und Weber (1996), S. 28.

S. Rassenhövel, Performancemessung im Hochschulbereich, DOI 10.1007/978-3-8349-8733-4_4, © Gabler Verlag | Springer Fachmedien Wiesbaden GmbH 2010

84

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

den sowie die Höhe der Wissenschaftlereinkommen die wichtigsten Inputgrößen bei einer Performancemessung. Allerdings sollten auch Sachmittel berücksichtigt werden, wenn sie einen bedeutenden Einfluss auf die Forschungsprozesse und damit auf deren Outputs und Wirkungen haben. So lassen sich wohl Büroräume und Forschungslabore sowie die darin vorhandene Einrichtung oftmals vernachlässigen,190 nicht aber generell zum Beispiel technische Anlagen und Maschinen, die vielfach in der naturwissenschaftlichen Grundlagenforschung und der technischen Anwendungsforschung eingesetzt werden und dort häufig mit sehr hohen Investitionen verbunden sind. Eine Nichtbeachtung Letzterer bei einer Performancemessung erscheint allenfalls zulässig bei fachspezifischer Betrachtung und dem Vorliegen von Faktorlimitationalität und Faktoreffizienz.191 Der Output der Forschung bezieht sich direkt auf das neue Wissen. Da dieses in unterschiedlicher Weise für die weitere Verwendung nutzbar gemacht wird, lassen sich verschiedene Outputgrößen identifizieren. So zielt Grundlagenforschung auf die Produktion neuen öffentlichen, aber nicht unmittelbar auf eine Verwertung gerichteten Wissens. Ihre Ergebnisse werden im Allgemeinen in wissenschaftlichen Fachzeitschriften und ähnlichen Printmedien publiziert sowie auf Fachtagungen verbreitet. Angewandte Forschung strebt dagegen die Produktion neuen, in der Praxis umsetzbaren Wissens an. Dieses kann ebenfalls veröffentlicht werden, ist gegebenenfalls aber auch geheim zu halten und dient dann nicht selten dem Erwerb von Wettbewerbsvorteilen.192 Solche lassen sich im Falle technischer Erfindungen, die den Hochschulen gemäß dem Arbeitnehmererfindungsgesetz (ArbnErfG) schriftlich anzuzeigen sind, durch Patente und Gebrauchsmuster sichern. Als outputbezogene Ergebnisgrößen können somit sowohl Publikationen und Vorträge als auch Erfindungsmeldungen, Patente und Gebrauchsmuster herangezogen werden. Weitere Hinweise auf Forschungsleistungen geben Promotionen, die Output erfolgreich abgeschlossener Doktorandenförderung sind. Die auf die Nutzenstiftung der Forschung bezogenen Wirkungen schlagen sich generell in zahlreichen Outcomegrößen nieder. Allerdings lassen sich viele Nutzen, vor allem die kollektiven Vorteile der Forschung für Gesellschaft, Wirtschaft und Politik, die etwa in den Lebensverhältnissen einer Gesellschaft, der Wirtschaftsleistung und dem Erfolg der Politik zum Ausdruck kommen, nicht nur schwierig erfassen, sondern auch kaum einzelnen Forschungs-

190 191

192

Vgl. hierzu Førsund/Kalhagen (1999), S. 285, und Gutierrez (2005), S. 41. Vgl. zur Faktorlimitationalität des Outputs einer Produktionstechnologie (bzw. -technik) Dyckhoff (2006b), S. 147f. Vgl. beispielsweise die Definitionen von Grundlagen- und Anwendungsforschung sowie die dazugehörigen Erläuterungen in OECD (2002), S. 77f., außerdem die Ausführungen der Europäischen Kommission (2005), S. 15.

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

85

einheiten direkt zuordnen. Deshalb stehen bei einer Performancemessung vorwiegend diejenigen Wirkungen im Mittelpunkt, die sich im Umgang mit den wissenschaftlichen Erkenntnissen in der Scientific Community zeigen. So wird gute Forschung belohnt mit Zitaten, Preisen, Auszeichnungen und Ehrungen, Forschungsstipendien sowie dem Besuch von Gastwissenschaftlern. Auch Drittmittel sind als Wirkungsgröße interpretierbar und können wie die anderen Outcomegrößen auf die Wertschätzung der Forschung hinweisen. Eine weitere Outcomegröße, die auf die Qualität neuer Forschungserkenntnisse deutet, aber nicht aus dem wissenschaftsinternen, der Qualitätskontrolle und -sicherung dienendem Peer Review hervorgeht, stellen Reputationsurteile dar. Als reflektive Indikatoren spiegeln sie die verschiedenen Facetten von Forschungsleistungen als deren beobachtbare Folge insgesamt wider. Es liegt nahe, solch einer expliziten Beurteilung die Sicht von Wissenschaftlern der Scientific Community oder anderen Personen mit wissenschaftlichen Kenntnissen zugrunde zu legen. Zur Übersicht sind die für eine Performancemessung der Forschung im Allgemeinen als relevant erachteten Inputs, Outputs und Wirkungen, aus denen wichtige, im Folgenden betrachtete Einzelindikatoren gebildet werden können, in Abbildung 4-1 aufgeführt.193

Zitationen Publikationen Personal und Sachmittel bzw. Finanzmittel

Forschungsprozess

Erfindungsmeldungen sowie Patente und Gebrauchsmuster Promotionen

Drittmittel Preise, Auszeichnungen und Ehrungen Forschungsstipendien und Gastwissenschaftler Reputation

Abbildung 4-1: Ergebnisse der Forschungsproduktion

4.2

Überlegungen zur Relevanz von Drittmittelindikatoren194

Im vorangehenden Abschnitt wurden Drittmittel nicht nur als Input, sondern auch als Outcome der Forschung dargestellt. Diese Doppeldeutigkeit führt immer wieder zu Diskussionen über ihre grundsätzliche Aussagekraft als Indikatoren für die Zweckerreichung der Forschung. Die diesbezüglich konträren Auffassungen spiegeln sich auch in der unterschiedlichen Nutzung von Drittmittelkennzahlen bei Performancemessungen im Hochschulbereich

193

194

Vorträge werden im Folgenden nicht näher betrachtet, da sie bei Performancemessungen üblicherweise nicht direkt – eventuell aber indirekt über ihre Wirkungen – abgebildet werden. Dieser Abschnitt orientiert sich an Rassenhövel/Dyckhoff (2006).

86

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

wider. Während Drittmittel in der Praxis und in der wissenschaftlichen Literatur häufig als Outcomeindikatoren zur Performancemessung eingesetzt werden,195 behandelt die Wissenschaft sie des Öfteren zusätzlich oder sogar ausschließlich als Inputmaß für den Ressourcenverbrauch.196 Aufgrund der bisher nicht hinreichend geklärten prinzipiellen Bedeutung von Drittmittelindikatoren für die Bewertung von Forschungsleistungen wird diese im Folgenden genauer analysiert.197 Nach einer ausführlicheren produktionstheoretischen Betrachtung in Abschnitt 4.2.1 wird der Relevanz von Drittmittelindikatoren mittels leicht nachvollziehbarer, konstruierter Beispiele auf den Grund gegangen. Diese Beispiele beziehen sich in Abschnitt 4.2.2 auf die prinzipielle Bedeutung des Zusammenhangs zwischen Drittmitteln einerseits und erbrachten Forschungsleistungen andererseits. In Abschnitt 4.2.3 folgen verschiedene Modelle zur Illustration der Bedeutung der Periodenabgrenzung für die Relevanz von Drittmittelindikatoren, wobei zwischen einer individuellen und einer aggregierten Beurteilung der von einzelnen Forschern erbrachten Leistungen unterschieden wird.

4.2.1

Drittmittelindikatoren aus produktionstheoretischer Perspektive

Je nach produktionstheoretischer Interpretation von Drittmitteln lassen darauf bezogene Indikatoren verschiedene Aussagen über drittmittelfinanzierte Forschungsleistungen zu. So informieren Kennzahlen zu Drittmitteln, die aus rein technischer Perspektive als Input der Forschung aufgefasst werden, über neben der Grundausstattung zur Verfügung stehende bzw. in der Forschung eingesetzte finanzielle Ressourcen für Personal und Sachmittel. Sie weisen damit auf die sich durch das zusätzliche Potenzial ergebenden besonderen Voraussetzungen der Leistungserbringung bzw. den tatsächlichen Mitteleinsatz hin, sagen aber nichts über den (eventuellen) Erfolg der drittmittelfinanzierten Wissensproduktion aus. Als Input in-

195

196

197

So sind Drittmittel ein wichtiges Outcomekriterium bei der Mittelverteilung auf Landes- und Hochschulebene sowie in Rankings von Hochschulen und Fachbereichen (vgl. für Letztere z.B. Berghoff et al. (2008c) und FOCUS (2007)). Sie werden als solche auch in den empirischen DEA-Studien von z.B. Ahn/Dyckhoff/Gilles (2007), S. 617, Lehmann/Warning (2002), S. 9f., Post/Spronk (1999), S. 480, und Tomkins/Green (1988), S. 155, verwendet. Für DEA-Analysen werden Drittmittel beispielsweise von Athanassopoulos/Shale (1997), S. 121ff., ausschließlich als Input eingesetzt. Während auch Fandel (2003), S. 39, sie in diesem Sinne verwendet, nutzt er sie in einer weiteren DEA-Anwendung alternativ als Input, Output und Zwischenprodukt (vgl. Fandel (2007), S. 524f.). Ebenso stellen Johnes/Johnes (1993), S. 338, die Ergebnisse ihrer DEA-Analysen mit Drittmitteln als Input und Outcome gegenüber, um der Kontroverse hinsichtlich der Bedeutung von Drittmitteln Rechnung zu tragen. Von Beasley (1990), S. 173ff., und Beasley (1995), S. 442, werden Drittmittel sogar gleichzeitig als Input und Outcome verwendet, so auch von Lehmann/Warning (2002), S. 10, – und zwar neben ihrer in Fußnote 195 genannten DEA-Rechnung –, wobei Letztere auf der Inputseite die Drittmittel der Vorperiode einbeziehen. Die fachspezifische Relevanz von Drittmittelindikatoren wird in Abschnitt 4.3.3 thematisiert.

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

87

terpretierte Drittmittelindikatoren können somit ausschließlich bei Effizienzmessungen der Forschung von Bedeutung sein. Indikatoren, die sich auf Drittmittel als Outcome der Forschung beziehen, liegt der Gedanke zugrunde, dass die Drittmittelvergabe an bereits erfolgte Leistungen anknüpft, worunter in der Regel nicht allgemeine vergangene Forschungserfolge und die damit verbundene Reputation zu verstehen sind, sondern konkrete projektbezogene Vorarbeiten, die in Form fundierter (Fortsetzungs-)Anträge zum Ausdruck kommen. Diese werden häufig mit zur Publikation eingereichten Manuskripten verglichen und als Forschungsoutput aufgefasst, dessen Wirkungen sich schließlich in der Zuweisung bzw. Nichtzuweisung von Drittmitteln zeigen.198 Die Ausarbeitung eines Förderantrags stellt folglich – wie Abbildung 4-2 veranschaulicht – eine Vorleistung dar, die bei positiver Resonanz auf Seiten der Drittmittelgeber in die Hauptleistung zur Produktion neuen Wissens mündet.

Vorleistung zwecks Antragserstellung zur Drittmitteleinwerbung

Personal und Sachmittel bzw. Finanzmittel

Antragserstellung

Drittmittelantrag

Drittmitteleinnahmen

Hauptleistung zwecks Wissensproduktion

Personal und Sachmittel bzw. Finanzmittel

Wissensproduktion

Neues Wissen

Wirkungen

Abbildung 4-2: Vor- und Hauptleistung drittmittelfinanzierter Forschung

In diesem outcomeorientierten Sinne bilden Drittmittelindikatoren die bewertete Kreativität des jeweiligen Antragstellers, also den von den Geldgebern honorierten Ideenreichtum, ab und sie weisen außerdem auf die Fähigkeit des Forschers hin, selber Potenzial zu schaffen

198

Vgl. Hornbostel (1997), S. 234. Dort werden allerdings Drittmittel – wie häufig in der wissenschaftlichen Literatur und der Praxis der Performancemessung – als Output der Forschung bzw. Drittmittelindikatoren als Outputindikatoren bezeichnet.

88

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

und Projekte zu finanzieren. Sie reflektieren aber nicht per se das (eigentliche) Forschungsergebnis, da mit der Antragstellung von Fördergeldern kein neu geschaffenes Wissen dokumentiert, sondern nur einem begrenzten Personenkreis eine Idee zur Wissensproduktion vorgestellt wird. Selbst wenn bereits im Rahmen der Vorarbeiten für die Erstellung eines Erstantrags neue Erkenntnisse entstanden sein sollten oder in einem Fortsetzungsantrag auf bereits gewonnene Ergebnisse verwiesen wird, sind diese Annoncen in der Regel nicht zur Veröffentlichung und auch nicht zur weiteren Verwertung bestimmt. Insofern lassen sich Drittmittelanträge nicht als unmittelbar zweckbezogener Output der Forschungsproduktion auffassen, der mit der Bewilligung oder Vorenthaltung von Fördergeldern gewürdigt werden könnte, und es stellt sich die Frage, ob und unter welchen Prämissen auf Drittmitteln basierende Outcomeindikatoren zur Beurteilung vergangener Forschungsleistungen oder zur Prognose zukünftiger Arbeiten eingesetzt werden können. Darauf wird in den nächsten Abschnitten eingegangen.

4.2.2

Bedeutung des Zusammenhangs zwischen Drittmitteln und erbrachten Forschungsleistungen

Eine grundlegende Bedingung für die (sinnvolle) Verwendung outcomebezogener Drittmittelindikatoren als Maße für Forschungsleistungen ist, dass drittmittelgeförderte Projekte immer oder zumindest mit hoher Wahrscheinlichkeit erfolgreich sind. Das heißt, nur wenn die im Wettbewerb auf Basis dokumentierter Forschungskonzepte vergebenen Fördergelder in der Forschung eingesetzt werden und aus der jeweils drittmittelfinanzierten Forschungstätigkeit neues Wissen hervorgeht, lassen Drittmittelindikatoren auf die Zweckerreichung der Forschungsproduktion schließen. Die Bedeutung dieses Zusammenhangs zwischen Fördergeldern und neu gewonnenem Wissen für die Aussagekraft von Drittmittelindikatoren wird im Weiteren anhand elementarer Modellüberlegungen veranschaulicht. Dabei werden verschiedene potenzielle Fehlbeurteilungen ihrer Verwendung aufgezeigt. Die Untersuchung erfolgt durch Gegenüberstellung der in einer bestimmten Periode von zwei Forschern (A und B) erbrachten Leistungen. Im Fokus der Betrachtung stehen sowohl die Effektivität bezüglich des neu produzierten Wissens als auch die Effizienz des Mitteleinsatzes bei der Wissensproduktion. Im Weiteren nicht angesprochene Aspekte, wie zum Beispiel erwünschte und unerwünschte Nebenfolgen oder institutionelle Rahmenbedingungen der Forschung, sind als nicht existent bzw. nicht wesentlich angenommen. Es gilt, dass bei der Produktion neuen Wissens sowohl Plan- als auch Drittmittel eingesetzt werden und Erstere immer gleich hoch sind.

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

89

Die Leistungen der beiden Forscher werden aus folgenden zwei Perspektiven beleuchtet: •

Aus Perspektive I sind nur die für die Forschung eingesetzten Gelder sichtbar. Alle sonstigen forschungsbezogenen Aspekte, wie der Prozess und das neu produzierte Wissen, bleiben verborgen. Die Drittmittel stellen somit den einzigen Anhaltspunkt zur individuellen Forschungsbeurteilung dar. Auf dieser Basis kann unter der Annahme eines deterministischen Zusammenhangs zwischen den Drittmitteln eines Projekts und dessen Erfolg zum einen die Drittmitteleffektivität ermittelt werden. Zum anderen lässt sich die Drittmitteleffizienz der insgesamt eingesetzten Gelder bestimmen, wobei die Drittmittel zweifach zu berücksichtigen sind, nämlich als Hinweis auf den (sicheren) Forschungserfolg sowie neben den Planmitteln als Maß für den Ressourcenverbrauch.

•

Perspektive II ermöglicht einen weiter reichenden Blick auf die Forschung, sodass insbesondere auch das neu produzierte Wissen transparent ist. Sowohl die darauf bezogene Forschungseffektivität als auch die entsprechende Forschungseffizienz der insgesamt eingesetzten Plan- und Drittmittel können direkt gemessen und beurteilt werden. Im Gegensatz zu Perspektive I wird hier kein grundsätzlicher Erfolg drittmittelfinanzierter Forschung unterstellt.199

Während folglich Perspektive I lediglich zeigt, was Drittmittelindikatoren erfassen, wird in Perspektive II zusätzlich deutlich, welche Forschungsleistungen wirklich erbracht werden. Die Vergleichbarkeit von auf diesen unterschiedlichen Grundlagen beruhenden Forschungsbeurteilungen wird nun mittels fünf unterschiedlicher Fälle dargelegt. Fall 1 Im Fall 1 arbeiten die Forscher A und B unter vollständig gleichen Bedingungen. In dem betrachteten Zeitraum steht ihnen insbesondere dieselbe Drittmittelmenge zur Verfügung, welche komplett in die jeweilige Forschung einfließt. Perspektive I Wie soeben beschrieben und in Abbildung 4-3 dargestellt, ist aus der Perspektive I die Höhe an Fördergeldern, nicht aber das neu produzierte Wissen sichtbar.200 Die Urteile über die Leistungen der Forscher A und B können daher nur auf Basis von Drittmittelindikatoren getroffen werden. Unter der Annahme, dass Drittmittel sowohl Input der Forschung darstellen als auch auf deren Zweck hin-

199

200

Diese Perspektive ist natürlich eine Illusion. Sie wird herangezogen, um wesentliche Aspekte aufzuzeigen. Wie dabei der Wert des neu produzierten Wissens ermittelt wird, soll an dieser Stelle offen bleiben. Da die von A und B eingesetzten Planmittel gleich hoch sind, wurden sie weder in Abbildung 4-3 noch in die darauf folgenden Darstellungen aufgenommen.

90

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

weisen, lassen sich A und B aufgrund der übereinstimmenden Drittmittelhöhe als gleich effektiv und effizient beurteilen. Ihre Performance ist völlig identisch.

Drittmittel Wert der Drittmittel

Forscher A

Forscher B

Abbildung 4-3: Drittmittel der Forscher A und B (Fall 1)

Perspektive II In Perspektive II sind neben der Drittmittelhöhe weitere Informationen über die Wissensproduktion bekannt, sodass die Zweckerreichung unmittelbar – und nicht indirekt auf der Basis von Ersatzgrößen – beurteilt werden kann. Im vorliegenden Fall wird unterstellt, dass die von A und B neu gewonnenen Erkenntnisse keine (wertmäßigen) Unterschiede aufweisen (siehe Abbildung 4-4). Da somit alle betrachteten Aspekte identisch sind, können auch keine Differenzen in der Effektivität und Effizienz der Forscher festgestellt werden. A und B leisten folglich das Gleiche.

Neues Wissen

Drittmittel Wert der Drittmittel

Wert des Wissens

Forscher A

Forscher B

Forscher A

Forscher B

Abbildung 4-4: Drittmittel sowie neu produziertes Wissen der Forscher A und B (Fall 1)

Eine Gegenüberstellung der Ergebnisse zeigt, dass die Beurteilungen aus den Perspektiven I und II übereinstimmen. Die Verwendung von Drittmittelindikatoren ist in diesem Fall – der als Beispiel für einen realen deterministischen Zusammenhang zwischen dem Einsatz von Fördergeldern und dem Projekterfolg gelten kann – unproblematisch.

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

91

Fall 2 Dem zweiten hier dargestellten Fall liegt dieselbe Ausgangssituation wie Fall 1 zugrunde. Die Forscher A und B arbeiten unter vollständig gleichen Bedingungen und setzen die ihnen in gleicher Höhe zur Verfügung stehenden Drittmittel für Forschungsprojekte ein. Perspektive I Abbildung 4-5 zeigt die aus Perspektive I sichtbare Drittmittelhöhe. Auf dieser Grundlage ergibt sich – analog zu Fall 1 – eine identische Beurteilung der Leistungen von A und B.

Drittmittel Wert der Drittmittel

Forscher A

Forscher B

Abbildung 4-5: Drittmittel der Forscher A und B (Fall 2)

Perspektive II Im Unterschied zu Perspektive I offenbart Perspektive II das unterschiedliche Ausmaß der Wissensproduktion der beiden Forscher. A produziert mit den gleichen Geldern höherwertigeres Wissen als B (siehe Abbildung 4-6). Eine auf dem Wert des neu produzierten Wissens basierende Leistungsbeurteilung verdeutlicht die entsprechend höhere Effektivität der Forschung von A. Da dieser für die Wissensproduktion den gleichen Input einsetzt wie B, kann weiterhin auf die effizientere Tätigkeit von A geschlossen werden.

Neues Wissen

Drittmittel Wert der Drittmittel

Wert des Wissens

Forscher A

Forscher B

Forscher A

Forscher B

Abbildung 4-6: Drittmittel sowie neu produziertes Wissen der Forscher A und B (Fall 2)

92

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Dieser zweite Fall verdeutlicht, dass die alleinige Verwendung von Drittmittelindikatoren zu Fehleinschätzungen hinsichtlich der Forschungsperformance führen kann. Die Maßgrößen weisen nur scheinbar auf die gleiche Effektivität und Effizienz der Forschung von A und B hin. Lediglich wenn in Perspektive I, zum Beispiel aufgrund unterschiedlicher Herkunft der Drittmittel, für beide Forschungsvorhaben verschiedene deterministische Zusammenhänge zwischen den Fördergeldern und dem neu gewonnenen Wissen bekannt wären, könnte auf die unterschiedlichen Leistungen von A und B geschlossen werden. Fall 3 Im dritten Fall erhält Forscher A mehr Drittmittel als B. Ansonsten gelten auch hier die gleichen Forschungsbedingungen. Perspektive I Nach der ausschließlichen Betrachtung der Drittmittelhöhe aus Perspektive I wird A im Vergleich zu B als effektiver beurteilt. Zudem ergibt sich – sofern die Fördergelder neben den Grundmitteln als Input berücksichtigt werden – auch eine höhere Effizienz der Forschung von A (siehe Abbildung 4-7).201

Drittmittel Wert der Drittmittel

Forscher A

Forscher B

Abbildung 4-7: Drittmittel der Forscher A und B (Fall 3)

Perspektive II Aus Perspektive II wird allerdings deutlich, dass beide Forscher den Zweck der Forschung gleichermaßen erfüllen, sie also als gleich effektiv einzustufen sind. Da außerdem B einen geringeren Drittmitteleinsatz hat, ist er im Vergleich zu A als effizienter einzuschätzen (siehe Abbildung 4-8).

201

Mit DMA und DMB für die Drittmittelhöhe von A bzw. B und PM für ihre gleich hohen Planmittel gilt:

DMA PM + DMA

>

DMB PM + DMB

(da DMA, DMB und PM > 0 und DMA > DMB).

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

Neues Wissen

Drittmittel Wert der Drittmittel

93

Wert des Wissens

Forscher A

Forscher B

Forscher A

Forscher B

Abbildung 4-8: Drittmittel sowie neu produziertes Wissen der Forscher A und B (Fall 3)

Im dritten Fall führen die Beurteilungen auf Basis der verschiedenen Perspektiven also zu völlig unterschiedlichen Ergebnissen. Während aus der Perspektive I A effektiver und effizienter forscht, besteht aus der Perspektive II hinsichtlich der Effektivität kein Unterschied zwischen der Forschung von A und B, außerdem ist hier B der effizientere Forscher. Obwohl die drei vorgestellten Fälle die Problematik der Verwendung von Drittmittelindikatoren zur Performancemessung bereits hinreichend verdeutlichen, soll der Vollständigkeit halber noch kurz auf die zwei weiteren denkbaren Konstellationen – unter der Annahme, dass A und B austauschbar sind – eingegangen werden. Fall 4 Wie im dritten Beispiel stehen dem Forscher A auch im vierten Fall mehr Drittmittel zur Verfügung als B. Er erzeugt nun aber einen insgesamt höheren Wert von neuem Wissen als B und ist daher in beiden Perspektiven als effektiver zu beurteilen. Hinsichtlich der Effizienz kann allerdings – im Unterschied zum dritten Fall – keine genaue Bewertung erfolgen. Je nach den Verhältnissen von Drittmitteln bzw. dem Wert des neu produzierten Wissens zu den insgesamt eingesetzten Geldern ist entweder A oder B effizienter oder beide forschen gleich effizient. Fall 5 Eine bezogen auf die zwei Perspektiven entgegengesetzte Beurteilung der Forschungsleistungen von A und B ergibt sich im fünften Fall, bei dem A mehr Fördergelder als B erhält, entsprechend in Perspektive I besser „abschneidet“, B aber höherwertigeres Wissen schafft und sich damit in der Realität (Perspektive II) als leistungsstärker erweist. Die Beurteilungsergebnisse der fünf vorgestellten Fälle sind noch einmal dem Überblick der Tabelle 4-1 zu entnehmen.

94

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Tabelle 4-1: Effektivitäts- und Effizienzmessung mittels Drittmittelindikatoren, Vergleich der Forscher A und B Effektivität

Effizienz

Fall Perspektive I

Perspektive II

Perspektive I

Perspektive II

1

A=B

A=B

A=B

A=B

2

A=B

A>B

A=B

A>B

3

A>B

A=B

A>B

A
4

A>B

A>B

A>B

A?B

5

A>B

A
A>B

A
= gleich effektiv/effizient

> effektiver/effizienter

< weniger effektiv/effizient

? keine Aussage möglich

Es ist festzuhalten, dass Drittmittel bei Effizienzbetrachtungen von Forschungsleistungen im Hochschulbereich als Maß für den Mitteleinsatz im Prinzip stets relevant sind. Da sie aber nicht unmittelbar den Zweck der Forschung abbilden, sind sie eigentlich nicht als Indikatoren für eine auf die Produktion neuen Wissens gerichtete Forschungsbeurteilung geeignet. Nur weil das in der Realität geschaffene Wissen teilweise geheim zu halten ist, zum Beispiel bei bestimmter Auftragsforschung für die Industrie, oder weil es erst durch zum Beispiel Veröffentlichungen oder Patentanmeldungen nach Abschluss der häufig sehr langen Forschungszeit sichtbar wird und außerdem selbst dann nur schwierig erfasst werden kann,202 erscheint es plausibel, Drittmittelindikatoren als Outcomeindikatoren zu verwenden. Dies gilt allerdings wiederum nur, wenn von einem starken positiven Zusammenhang zwischen erfolgreicher Drittmitteleinwerbung und der Produktion neuen Wissens ausgegangen werden kann. Andernfalls besteht die Gefahr, dass die Verwendung von Drittmittelindikatoren zu falschen Leistungsbeurteilungen, Maßnahmen und somit zu unerwünschten Konsequenzen führt.

4.2.3

Bedeutung der Periodenabgrenzung

Nach den soeben erläuterten grundsätzlichen Überlegungen zur Relevanz von Drittmitteln bei der Beurteilung von Forschungsleistungen im Hochschulbereich wird nun anhand idealtypischer, drittmittelfinanzierter Forschungsprojekte demonstriert, wann auf den Forschungszweck gerichtete Drittmittelkennzahlen unter zeitlichen Gesichtspunkten sinnvoll eingesetzt werden können, vor allem welche Rolle die Periodenabgrenzung dabei spielt. Die Untersuchung bezieht sich zunächst auf einzelne Forscher (Abschnitt 4.2.3.1) und wird anschließend auf Personenkollektive erweitert (Abschnitt 4.2.3.2).

202

Siehe hierzu Abschnitt 4.3.

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

95

4.2.3.1 Individuelle Beurteilung der Leistungen einzelner Forscher Die Überlegungen zu individuellen Beurteilungen werden an mehrperiodigen Beispielen verdeutlicht, welche die Leistungen eines einzigen Forschers beleuchten oder diejenigen von zwei Forschern gegenüberstellen. Es gelten folgende Annahmen: Die Forschung vollzieht sich in mehreren nahtlos aneinandergereihten Standardprojekten. Ein einzelnes Projekt dauert insgesamt vier Perioden, wovon in der jeweils ersten Vorleistungen zur Erlangung von Drittmitteln erbracht werden und in den drei darauf folgenden Perioden unter Einsatz der erhaltenen Gelder geforscht wird. Pro geförderter Periode steht ein Standardbetrag an Drittmitteln im Wert von drei Drittmitteleinheiten zur Verfügung. Es wird davon ausgegangen, dass auch die Vorleistungen direkt zur Zweckerreichung beitragen, entsprechend konstant in allen Perioden Wissen generiert wird. Dieses Wissen wird jeweils in dem ersten Zeitabschnitt nach Beendigung eines Forschungsprojekts über eine Publikation verbreitet. Pro Forschungsperiode entsteht eine hinsichtlich Qualität, Umfang und Relevanz standardisierte Publikationseinheit, das heißt, insgesamt ergibt sich durch jedes Projekt eine Veröffentlichung mit einem Wert von vier Einheiten. Abbildung 4-9 gibt die im vorliegenden Kontext betrachteten Aspekte eines einzelnen Forschungsprojekts vereinfacht wieder, wobei in der unteren Hälfte der Prozess der Forschung sowie das neu produzierte öffentliche Wissen und im oberen Teil die im Folgenden zur Effektivitätsmessung herangezogenen Indikatoren dargestellt sind.

Drittmittel- und Publikationseinheiten 5 4 3 Publikation

2 Drittmittel 1 -1

1

2

Forschungsprojekt

3

4

5

Periode

neues Wissen

Abbildung 4-9: Drittmittelfinanziertes Forschungsprojekt und Forschungsindikatoren

Da die Publikationen – so wird es hier zumindest unterstellt – die Zweckerreichung valide und reliabel erfassen, ist es nahe liegend, die Leistungen eines einzelnen Forschers periodengenau über die Anzahl der entsprechenden Einheiten zu ermitteln. Abbildung 4-10 zeigt

96

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

die sich für drei Forschungsprojekte ergebenden Werte. Die Ergebnisse des ersten Forschungsprojekts werden im vierten Zeitabschnitt veröffentlicht, weitere Publikationen folgen in der achten und zwölften Periode.

Publikationseinheiten 5 4 3 2 1 4

8

12

Periode

Abbildung 4-10: Forschungsbeurteilung mittels Publikationsindikator (periodengenau)

Es ergibt sich, dass der Zweck der Forschung nur in jeder vierten Periode erfüllt und in den jeweils dazwischen liegenden drei Perioden (angeblich) nichts geleistet wird. Intuitiv scheinen diese Messergebnisse dem beurteilten Forscher nicht gerecht zu werden und die Realität nicht angemessen wiederzugeben. Vor allem die ermittelten Leistungsschwankungen sind dabei kritisch zu betrachten. Sie beruhen darauf, dass der Forschungszweck streng genommen erst mit der Veröffentlichung neuer Erkenntnisse erfüllt wird und die zugrunde liegende – oftmals sehr lange – Forschungstätigkeit hier in jeweils andere Messperioden fällt. Die „eigentliche“ Leistung wird scheinbar genau dann erbracht, wenn keine Zweckerreichung sichtbar ist. Zur Vermeidung solcher bei kürzeren Zeitfenstern existierenden messbedingten Leistungsschwankungen werden in der Praxis Durchschnittswerte über einen mittleren Zeitraum von in der Regel drei Jahren203 erhoben. Die sich beim obigen Beispiel für jede Periode ergebenden gleitenden Drei-Perioden-Durchschnitte der Publikationseinheiten sind in Abbildung 4-11 dargestellt.

203

So z.B. für das in Kapitel 5 vorgestellte CHE-Forschungsranking BWL 2005.

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

97

gleitender Drei-PeriodenDurchschnitt der Publikationseinheiten 5 4 3 2 1 4

8

12

Periode

Abbildung 4-11: Forschungsbeurteilung mittels Publikationsindikator (gleitender Durchschnitt)

Es wird deutlich, dass auch der gewählte Durchschnitt in der hier betrachteten Situation nicht zufriedenstellend ist, denn wie zuvor werden trotz der angenommenen konstanten Forschungstätigkeit Zeitabschnitte ausgemacht, in denen scheinbar nichts geleistet wird, so zum Beispiel in der siebten und elften Periode. Der Mittelwert greift also zu kurz. Bei auf diesem Vorgehen beruhenden Leistungsvergleichen kann es daher zu unstimmigen Bewertungen kommen, wie das Beispiel zweier Forscher (A und B), die beide nach dem oben beschriebenen Muster, aber zeitversetzt das gleiche Wissen produzieren, in Abbildung 4-12 verdeutlicht.

gleitender Drei-PeriodenDurchschnitt der Publikationseinheiten

Forscher A

3 2 1 4

8

gleitender Drei-PeriodenDurchschnitt der Publikationseinheiten

12

Periode

12

Periode

Forscher B

3 2 1 4

8

Abbildung 4-12: Vergleich der Forschungsleistungen der Forscher A und B mittels Publikationsindikator (gleitender Durchschnitt)

98

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Auf Basis der Summe bzw. des Durchschnitts der hier betrachteten Perioden werden A und B – unter Vernachlässigung der Zeitverzögerung und des damit verbundenen „Neuheitsproblems“ – als gleich leistungsstark beurteilt. Die Erhebung eines Drei-Perioden-Durchschnitts ergibt jedoch nicht nur Perioden, wie etwa die sechste, in denen A und B als gleich gut gelten, sondern auch solche, in denen A besser (z.B. Periode fünf) oder schlechter (z.B. Periode sieben) als B beurteilt wird. Das Problem der „ungerechten“ Beurteilung verschärft sich bei Reduzierung der Messfrequenz.204 Würden im vorgestellten Fall die Publikationen etwa nur in jeder vierten Periode erhoben, wäre unter Umständen (hier z.B. bei ausschließlicher Betrachtung des dritten, siebten und elften Erhebungszeitraums) für den einen Forscher (A) nie, für den anderen (B) dagegen immer eine Leistung sichtbar. Insgesamt verdeutlicht das Beispiel das bereits in Abschnitt 3.2.3 angesprochene grundsätzliche Periodenabgrenzungsproblem bei der Performancemessung. Ein zu kleines Zeitfenster kann zu Fehlbeurteilungen und falschen Entscheidungen führen, damit auch zu nicht gewollten Anreizen. Wird dagegen ein zu großes Zeitfenster gewählt, ist eine aktuelle Beurteilung nicht mehr sicherzustellen. Der hier (vereinfachend) unterstellte deterministische Zusammenhang zwischen der Drittmittelförderung von Forschung und dem in Publikationen zum Ausdruck kommenden neu produzierten Wissen ermöglicht bei kürzeren Erhebungszeiträumen eine exaktere bzw. gerechtere Leistungsbeurteilung. So führen Drittmittelindikatoren aufgrund der stärkeren Streuung der Fördergelder zu stabileren Beurteilungsergebnissen, wie die periodengenaue Betrachtung und die Durchschnittsuntersuchung in Abbildung 4-13 darlegen.

204

In der Praxis werden die Daten für Performancemessungen im Hochschulbereich häufig in einem dreijährigen Turnus erhoben, so z.B. auch diejenigen des bereits in der vorangehenden Fußnote genannten und in Kapitel 5 präsentierten CHE-Forschungsrankings BWL 2005.

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

99

Drittmitteleinheiten 5 4 3 2 1 4

8

12

Periode

8

12

Periode

gleitender Drei-PeriodenDurchschnitt der Drittmitteleinheiten 5 4 3 2 1 4

Abbildung 4-13: Forschungsbeurteilung mittels Drittmittelindikator (periodengenau und gleitender Durchschnitt)

Drittmittelkennzahlen können daher Publikationsindikatoren in idealer Weise ergänzen, wie das in Abbildung 4-14 fortgeführte Beispiel zeigt. Hier ist zu erkennen, dass pro geförderter Periode drei Drittmitteleinheiten zur Verfügung stehen, die – wie bereits bei der Vergabe der Fördergelder bekannt – zu insgesamt vier Publikationseinheiten je Forschungsprojekt führen.

Drittmittel- und Publikationseinheiten 5 4 3 2 1 4

8

12

Periode

Abbildung 4-14: Forschungsbeurteilung durch Kombination von Drittmittelund Publikationsindikator (periodengenau)

100

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Es wird deutlich, dass eine kombinierte Betrachtung von Drittmitteln und Publikationen zu einer durchweg konstanten Leistungsbeurteilung führt und keine Höchst- bzw. Nullleistungen existieren.205 Somit kann auch bei einem Vergleich der Leistungen der oben genannten Forscher A und B in jeder Periode auf deren insgesamt übereinstimmendes Leistungsniveau geschlossen werden. Eine Durchschnittsbildung über mehrere Perioden ist in diesem idealisierten Fall mit konstanter Forschungstätigkeit nicht erforderlich, kann aber zum Beispiel bei auf externen Faktoren beruhenden Leistungsschwankungen, wie einer zeitweise sehr hohen bzw. geringen Lehrbelastung, durchaus sinnvoll sein, um sprunghafte Veränderungen der Messwerte und eventuell darauf basierende unstetige Verteilungen von Grundmitteln des Staates zu vermeiden. Problematisch bei der Betrachtung kleiner Zeitfenster bleibt allerdings auch bei der kombinierten Drittmittel- und Publikationsanalyse, dass immer nur Teilleistungen verglichen werden können. So wird nämlich nicht unbedingt erkannt, dass Leistungen kumuliert bzw. im Durchschnitt über längere Zeiträume den gleichen Wert haben. Als Beispiel kann auf zwei Forscher (A und B) hingewiesen werden, die dasselbe Wissen produzieren und von denen der eine konstant, der andere dagegen nur innerhalb weniger, dafür aber sehr intensiver und kreativer Phasen forscht (siehe Abbildung 4-15).

205

In Abbildung 4-14 wäre dies direkt erkennbar, wenn Drittmittel und Publikationen in einer einzigen Maßeinheit angegeben würden.

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

Drittmittel- und Publikationseinheiten

101

Forscher A

4 2

4

8

Drittmittel- und Publikationseinheiten

12

16

Periode

16

Periode

Forscher B

8 6 4 2

4

8

12

Abbildung 4-15: Beurteilung der Leistungen der Forscher A und B mittels Drittmittel- und Publikationsindikator (periodengenau)

Das sich jeweils bei längerfristiger Betrachtung im (hier gleitenden Zwölf-Perioden-)Durchschnitt für beide Forscher ergebende (identische) Leistungsbild ist in Abbildung 4-16 wiedergegeben.

102

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

gleitender ZwölfPerioden-Durchschnitt der Drittmitteleinheiten

Forscher A und B

3 2 1

4

8

gleitender ZwölfPerioden-Durchschnitt der Publikationseinheiten

12

16

Periode

16

Periode

Forscher A und B

1

4

8

12

Abbildung 4-16: Beurteilung der Leistungen der Forscher A und B mittels Drittmittel- und Publikationsindikator bei großem Zeitfenster (gleitender Durchschnitt)

Es ist offensichtlich, dass bei großen Zeitfenstern für beide Forscher stets dasselbe Leistungsniveau reflektiert wird. Darüber hinaus wird deutlich, dass Drittmittelindikatoren – unter den getroffenen Annahmen – bei der Betrachtung längerer Zeiträume hinsichtlich der Bewertung der Zweckerreichung redundant sind, weil sich die Forschungsleistung allein über das Publikationsmaß, also über den unmittelbaren Zweckindikator, feststellen lässt. Diese Irrelevanz von Drittmittelindikatoren bei großen Zeitfenstern erscheint sofort bei Überlegungen zur Beurteilung der gesamten Forschungsleistung eines Wissenschaftlers plausibel. Was am Ende eines Forscherdaseins als Leistung zählt, sind in erster Linie neue Erkenntnisse, die beispielsweise in Publikationen und Patenten zum Ausdruck kommen; die Einwerbung von Drittmitteln ist dagegen eher nachrangig. Fördergelder stellen dann vielmehr „nur“ finanzielle Ressourcen (Input) der zugrunde liegenden Forschung dar bzw. können sie dann – wie bereits in Abschnitt 4.2.1 erläutert – allenfalls hinweisen auf die Kreativität eines Forschers sowie dessen Fähigkeit, seine Forschungsvorhaben selber und nicht durch staatliche Mittel finanziert zu haben. Zusammenfassend lässt sich hervorheben, dass Drittmittelindikatoren – unter der Voraussetzung einer deterministischen oder zumindest hoch korrelierten Beziehung zwischen drittmittelfinanzierten Forschungstätigkeiten und deren Ergebnissen – grundsätzlich zur (mittelbaren) Messung der Zweckerreichung eingesetzt werden können. Wenn die neuen Forschungserkenntnisse allerdings direkt über andere Performanceindikatoren, wie Publikati-

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

103

ons- oder Patentkennzahlen erfasst werden, hängt ihr (zusätzlicher) Informationsgehalt von der Länge des betrachteten Zeitraums ab. Je größer dieser nämlich ist, umso mehr sind Forschungsleistungen beispielsweise in Publikationen dokumentiert oder durch Patente und Gebrauchsmuster geschützt.206 In Kombination mit entsprechenden Kennzahlen liefern Drittmittelindikatoren bei längeren Untersuchungszeitspannen folglich kaum zusätzliche, sondern vielmehr redundante Informationen. Bei kurzen Messzeiträumen mögen Drittmittelkennzahlen dagegen andere Indikatoren ergänzen. Eine ausschließlich auf Letztere fokussierte Performancemessung würde nämlich im Falle sehr lange laufender Forschungsprojekte gegebenenfalls in keiner oder nur in wenigen Perioden eine Forschungsleistung indizieren, sodass sich mit Drittmittelindikatoren aufgrund der in der Regel stärkeren Streuung eingesetzter Fördergelder ein stabileres Leistungsbild gewinnen ließe.

4.2.3.2 Aggregierte Beurteilung der Leistungen mehrerer Forscher Ausgehend von dem Ergebnis des vorigen Abschnitts, dass die Verwendung von Drittmittelindikatoren eher bei kurzen Untersuchungszeiträumen in Ergänzung zu anderen, direkt auf die Zweckerreichung bezogenen Indikatoren sinnvoll ist, wird nun ihre Relevanz für kurze Zeiträume bei der aggregierten Beurteilung der Leistungen mehrerer Forscher analysiert. Verdeutlicht werden die Überlegungen an zwei idealisierten Beispielen zu den Leistungen eines Fachbereichs mit vier Forschern. Diese Forscher produzieren jeweils neues Wissen im Rahmen mehrerer gleich langer, direkt aufeinander folgender, drittmittelgeförderter Projekte. Die zu Beginn des Abschnitts 4.2.3.1 getroffenen Annahmen sind auch hier zugrunde zu legen. Fall 1 Im ersten betrachteten Fall forschen alle vier Forscher des Fachbereichs parallel. Das heißt, zunächst erbringt jeder Forscher erfolgreiche Vorleistungen zur Erlangung von Drittmitteln, daraufhin forschen sie drei Perioden lang unter Einsatz der erhaltenen Fördergelder und anschließend veröffentlicht jeder das in diesen vier Perioden insgesamt neu produzierte Wissen in einer Publikation. Die Ergebnisse einer individuellen sowie einer fachbereichsumfassenden Leistungsbeurteilung sind in Abbildung 4-17 oben bzw. unten dargestellt.

206

So stellen auch Johnes und Johnes fest: „to include both grants and publications as output is to doublecount“ (Johnes/Johnes (1993), S. 338) und Beasley erklärt, dass er Drittmittel nur als Proxy für einen Forschungsoutput verwendet, für den keine Daten verfügbar sind (vgl. Beasley (1990), S. 175, und Beasley (1995), S. 442).

104

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Drittmitteleinheiten und Publikationseinheiten pro Forscher und Periode 4 4

8

12

Periode

4

8

12

Periode

4

8

12

Periode

4

8

12

Periode

4

4

4

Drittmitteleinheiten des Fachbereichs pro Periode

Publikationseinheiten des Fachbereichs pro Periode

16

16

12

12

8

8

4

4 4

8

12

Periode

4

8

12

Periode

Abbildung 4-17: Forschungsleistung eines Fachbereichs (periodengenau), individuell und aggregiert (Fall 1)

Wie zuvor bei der Betrachtung eines einzelnen Forschers ergibt sich, dass Drittmittelkennzahlen bei der Beurteilung der Forschungsleistung innerhalb kurzer Zeiträume neben den Publikationsmaßen als unterstützende Indikatoren sinnvoll einsetzbar sind. Fall 2 Auch im zweiten Fall sind die vier Forscher unter den beschriebenen Gegebenheiten tätig, allerdings mit zeitversetzten Forschungsprojekten. In jeder Periode setzen genau drei Forscher Drittmittel ein, während der vierte Forscher die Erkenntnisse seines letzten geförderten Projekts publiziert und gleichzeitig (ohne Verwendung von Drittmitteln) an den Vorarbeiten eines neuen Projekts arbeitet. Analog zu Abbildung 4-17 verdeutlicht Abbildung 4-18 die Ergebnisse einer entsprechenden Leistungsbeurteilung.

Abschnitt 4.2: Überlegungen zur Relevanz von Drittmittelindikatoren

105

Drittmitteleinheiten und Publikationseinheiten pro Forscher und Periode 4 4

8

12

Periode

4

8

12

Periode

4

8

12

Periode

4

8

12

Periode

4

4

4

Drittmitteleinheiten des Fachbereichs pro Periode

Publikationseinheiten des Fachbereichs pro Periode

16

16

12

12

8

8

4

4 4

8

12

Periode

4

8

12

Periode

Abbildung 4-18: Forschungsleistung eines Fachbereichs (periodengenau), individuell und aggregiert (Fall 2)

Die Gesamtbetrachtung zeigt, dass dem Fachbereich – anders als im ersten Fall – insgesamt stets eine gleiche Höhe an Drittmitteln zur Verfügung steht und auch neu produziertes Wissen in jeder Periode durch Publikationen sichtbar ist. Dies führt dazu, dass die insgesamt erbrachte Forschungsleistung sowohl bei alleiniger Betrachtung der Drittmittel als auch der Publikationen konstant erscheint. Daher erweisen sich in dieser speziellen Situation Drittmittelindikatoren bei der aggregierten Beurteilung mehrerer Forscher als irrelevant. Verallgemeinernd kann festgehalten werden, dass Drittmittelindikatoren bei kurzen Beurteilungszeiträumen für aggregierte Performancemessungen umso weniger aussagekräftig sind, je größer die Anzahl der einem Personenkollektiv angehörenden, voneinander unabhängig forschenden Wissenschaftler ist und je mehr sich deren drittmittelfinanzierte Tätigkeiten bzw. das von ihnen produzierte Wissen zeitlich verteilen. Dann ist es nämlich umso wahrscheinlicher, losgelöst vom Messzeitpunkt allein anhand des tatsächlich produzierten Wissens ein angemessenes Performanceniveau zu ermitteln.

106

4.2.4

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Zwischenfazit

Die vorgestellten elementaren Beispiele haben verdeutlicht, inwieweit auf Drittmitteln basierende Indikatoren theoretisch zur Beurteilung von Forschungsleistungen eingesetzt werden können. Die wesentliche Prämisse ihrer Anwendung im outcomeorientierten Sinne ist, dass geförderte Projekte mit hoher Wahrscheinlichkeit erfolgreich sind, aus ihnen also neues Wissen hervorgeht. Wenn solch ein enger Zusammenhang zwischen Drittmitteln und neuem Wissen unterstellt werden kann, sind Drittmittelindikatoren allerdings auch nur dann relevant, wenn die Zweckerreichung der drittmittelfinanzierten Forschung nicht gleichzeitig durch andere Indikatoren, die sich unmittelbar auf das neu produzierte Wissen beziehen, abbildbar ist und auch entsprechend erfasst wird. Andernfalls würden Drittmittelindikatoren nämlich keine zusätzlichen, sondern nur redundante Informationen liefern. Sie können demnach insbesondere der Beurteilung geheim zu haltender Forschung dienen. Bei nicht geheimer Forschung, die typischerweise publiziert oder durch zum Beispiel Patente geschützt wird, hängt die Aussagekraft von Drittmitteln als Outcomeindikatoren nicht nur von der Verwendung anderer Indikatoren, sondern auch vom Untersuchungszeitraum und der Größe der betrachteten Forschungseinheiten ab. Falls es bei kleineren Zeitfenstern sehr wahrscheinlich ist, dass die Einwerbung bzw. der Einsatz von Drittmitteln und das im Rahmen der geförderten Projekte erzielte Wissen in verschiedene Perioden fallen, können Drittmittel ein geeigneter Indikator für Forschungsleistungen vergangener sowie für das Forschungspotenzial zukünftiger Perioden sein und idealerweise solche Indikatoren ergänzen, die nur sporadisch anfallenden Output erfassen – weshalb diese nämlich für sich allein betrachtet größere Leistungsschwankungen suggerieren würden. Der Informationsgehalt derart (unterstützender) Drittmittelindikatoren sinkt allerdings bei aggregierten Performancemessungen prinzipiell allein aus stochastischen Gründen mit der Anzahl der berücksichtigten Forscher. Bei längeren Untersuchungszeiträumen, in die weitaus eher sowohl die Vor- und Hauptleistungen drittmittelgeförderter Projekte als auch die daraus letztlich resultierenden Forschungserkenntnisse fallen, verlieren Drittmittel dagegen grundsätzlich als Indikator (auch bei der Bewertung von Einzelforschern oder kleinen Forschergruppen) an Bedeutung, wenn sich das neu gewonnene Wissen direkt, etwa mittels Publikations- und Patentindikatoren, angemessen würdigen lässt. Im Idealfall sind sie dann sogar vollkommen überflüssig. Die (Modell-)Überlegungen zur Relevanz von Drittmittelindikatoren abschließend soll noch einmal betont werden, dass es die hier konstruierten Fälle in der Forschungspraxis natürlich kaum geben wird. Sie verdeutlichen aber eingehend die grundsätzliche Problematik der Verwendung von Drittmittelindikatoren, der bisher in Wissenschaft und Praxis zu wenig Aufmerksamkeit zugekommen ist. Dass außerdem sowohl Drittmittel- als auch andere Forschungsin-

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

107

dikatoren Schwächen aufweisen, die eine wir hier angenommene realitätsgetreue Leistungsbeurteilung unmöglich machen, wird bei der Betrachtung einzelner Indikatoren im nächsten Abschnitt offensichtlich.

4.3

Betrachtung einzelner Forschungsindikatoren

Bei den nun im Fokus stehenden Kennzahlen zur Messung der Forschungsperformance im Hochschulbereich handelt es sich um Einzelindikatoren, die auf den in Abbildung 4-1 dargestellten Ergebnisgrößen beruhen. Zwar setzen diese an verschiedenen Teilen der Produktion an, dennoch können sie im Rahmen einer umfassenden Performancemessung gegebenenfalls gemäß dem Konzept der multiplen Indikatoren nebeneinander betrachtet oder zu einem Index aggregiert werden. Soweit es aufgrund des aktuellen Forschungsstands der einzelnen Performancemaße möglich ist und notwendig erscheint, wird bei der Darstellung der Indikatoren auf die allgemeinen Anforderungen an Indikatoren, die in Abschnitt 2.2.2.2 erörtert wurden, Bezug genommen. Für weitere generelle Aspekte der Indikatorenkonstruktion sei hier zusätzlich auf Abschnitt 3.2.3 verwiesen. Beginnend in Abschnitt 4.3.1 mit der Betrachtung der für Performancemessungen im Hochschulbereich besonders bedeutsamen Publikationskennzahlen sowie Zitationsmaßgrößen als weitere bibliometrische Indikatoren werden anschließend Indikatoren auf Basis technischer Erfindungen (Abschnitt 4.3.2) und Drittmittelindikatoren (in Abschnitt 4.3.3) behandelt. In Abschnitt 4.3.4 werden weitere Faktenindikatoren aufgegriffen, die sich erstens auf Promotionen, zweitens auf Preise, Auszeichnungen und Ehrungen sowie drittens auf Forschungsstipendien und Gastwissenschaftler beziehen. Im letzten Abschnitt (4.3.5) wird schließlich auf die Reputation als einziges explizites Urteilskriterium zur Performancemessung der Forschung eingegangen.

4.3.1

Bibliometrische Indikatoren

Bibliometrische Indikatoren sind die wohl wichtigsten Kennzahlen zur Abbildung der akademischen Forschungsperformance.207 Ihre wissenschaftliche Fundierung und empirische Untersuchung ist im Vergleich zu anderen Indikatoren relativ weit vorangeschritten und ihre Anwendung wird im Wesentlichen akzeptiert. Die bibliometrischen Maße ergeben sich durch Analysen von Daten der wissenschaftlichen Literatur. Sie bilden den Erkenntnisfortschritt der Forschung direkt ab, das heißt ohne Einschaltung einer zusätzlichen Entscheidungsinstanz, wie etwa bei der Vergabe von Wissenschaftspreisen.208 Die Indikatoren basieren auf der

207 208

Vgl. Stifter (2002), S. 228. Vgl. Weingart (1995), S. 79.

108

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Annahme, dass sich Forschungsleistungen in Zeitschriftenaufsätzen, Monografien und weiteren Printmedien oder digitalen Dokumenten niederschlagen. Diese stellen materiellen bzw. materialisierbaren Output des wissenschaftlichen Produktionsprozesses dar, der in Publikationsanalysen gemessen wird. Eine andere, über diese „einfache“ Erfassung der Veröffentlichungsaktivität hinausgehende, bibliometrische Betrachtung berücksichtigt, dass Forschungsleistungen über Publikationen zur Diskussion gebracht werden. Die Wirkung, die ein entsprechender Beitrag in der Scientific Community hat, kommt in den Referenzen anderer Wissenschaftler zum Ausdruck und wird in Zitationsanalysen gemessen. Beide bibliometrischen Verfahren werden nun beschrieben und im Hinblick auf ihre Möglichkeiten und Grenzen bei der Performancemessung untersucht.

4.3.1.1 Publikationen Publikationen sind das Hauptmedium wissenschaftlicher Kommunikation.209 Sie dienen, wie auch wissenschaftliche Vorträge, Rundfunkbeiträge und Fernsehdokumentationen der Verbreitung von Forschungserkenntnissen.210 Solche Veröffentlichungen sind meist notwendig, damit neues Wissen von anderen aufgegriffen wird und letztlich zur Nutzenerhöhung beitragen kann.211 Die Bekanntgabe der Forschungserkenntnisse liegt folglich im Interesse zahlreicher Stakeholder der Hochschulen. Dabei wird sie auch von den Wissenschaftlern selber angestrebt, weil diese sich über Publikationen das geistige Eigentum an neuem Wissen sichern212 und durch dessen Anerkennung eine hohe Reputation erlangen können.213 Die Reputation verschafft wiederum zum Beispiel starke Positionen in Berufungs- und Bleibeverhandlungen von Professoren und kann sich somit gegebenenfalls auch monetär auszahlen.214 Wenn im Hochschulbereich grundsätzlich auch eine Freiheit zur Veröffentlichung der Forschungserkenntnisse besteht,215 können diese doch zumindest in solchen Bereichen, in denen Publikationen ein gängiges Kommunikationsmedium darstellen, als wesentlicher Bestandteil der Forschungsproduktion angesehen werden, was einen sinnvollen Einsatz von

209

210

211 212 213 214 215

Vgl. Backes-Gellner (1989a), S. 36. Zur Bedeutung wissenschaftlicher Literatur als Medium wissenschaftlichen Fortschritts vgl. auch Borchardt (1978). Zur Nutzung der Massenmedien für den Dialog der Forschung mit der allgemeinen Öffentlichkeit vgl. beispielhaft Enders/Mugabushaka (2004), S. 37f. Vgl. Schlinghoff/Backes-Gellner (2002), S. 344f. Diesen Aspekt hebt de Solla Price (1974), S. 80, hervor. Vgl. hierzu und auch zu weiteren Publikationsmotiven Stock (2000), S. 243ff. Vgl. Franck/Opitz (2004), S. 79. Vgl. Art. 5 Abs. 3 Satz 1 GG (Grundgesetz) und stellvertretend für die Hochschulgesetze der Länder z.B. § 4 Abs. 2 Satz 1 HFG.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

109

Publikationsindikatoren überhaupt erst möglich macht. Dies gilt insbesondere für Grundlagenforschung, weniger jedoch für angewandte, vor allem technische Forschung,216 deren Erkenntnisse oftmals nur einzelnen Forschungsnutzern übermittelt werden bzw. vor einer Verbreitung durch Patente oder Gebrauchsmuster zu schützen sind. Ein erster Ansatz zur Erfassung von Forschungsleistungen auf bibliometrischer Basis bildet die Publikationsmenge, die sich durch Addition der Veröffentlichungen von Einzelpersonen oder den Mitgliedern einer Institution bzw. Forschergruppe innerhalb einer bestimmten Periode ergibt.217 Sie stellt die Grundlage zur Generierung verschiedener weiterer Publikationsindikatoren dar. Bevor auf Modifikationen dieser Größe eingegangen wird, sollen einzelne methodisch-technische Aspekte ihrer Ermittlung und damit zusammenhängende Probleme aufgezeigt werden.218 Im Hinblick auf den Untersuchungszeitraum einer Publikationsanalyse ist zu beachten, dass nicht nur Forschungsprozesse oft mehrere Jahre dauern, sondern mitunter auch die Dokumentation und Verbreitung der daraus entstehenden Erkenntnisse. Schließlich bedürfen vor allem Monografien einer gewissen Reifungszeit, und auch sind die Publikationsfrequenzen in vielen Fachzeitschriften relativ gering, vor allem wenn die eingereichten Manuskripte einer fachkundigen Begutachtung unterzogen werden.219 Daher sind teilweise nur weiter zurückliegende Forschungsleistungen durch Publikationsmessungen zu bewerten. Außerdem können kurze Untersuchungszeiträume – wie die in der Praxis üblichen drei bis fünf Jahre – die Aussagekraft von Publikationsbewertungen erheblich einschränken.220 Für eine personenbezogene Erhebung der Publikationen eines aggregierten Untersuchungsobjekts oder einer Forschungsgruppe muss darüber hinaus bestimmt werden, welche Personen zu berücksichtigen sind. Dabei stellt sich gegebenenfalls auch die Frage, ob eine Differenzierung der Forscher nach ihrer wissenschaftlichen Qualifizierung vorzunehmen ist. Während in der Praxis zahlreiche Analysen nur die Veröffentlichungen der jeweils zu den Untersuchungsobjekten gehörigen Professoren erfassen, schließen andere zusätzlich die Publikationstätigkeit der Habilitierten bzw. Promovierten oder sogar aller Wissenschaftlichen Mitarbeiter der Untersuchungsobjekte ein. Die Identifizierung der Autoren ist nicht nur für die

216 217 218

219

220

Vgl. Giese (1988), S. 61, und Weingart/Winterhager (1984), S. 89. Vgl. Witte (1999), S. 65. Zur Konstruktion von Publikationsindikatoren vgl. neben den im Folgenden angegebenen Quellen insbesondere Cave et al. (1997), S. 166ff. Zum Manuskriptstau und zur Publikationsverzögerung bei Zeitschriften vgl. die Studien von Ellison (2002), Meyer (1999) und Yohe (1980). Vgl. Bommer/Ursprung (1998), S. 12, und Johnes (1988), S. 62f., sowie als Beispiel aus der Praxis den Publikationsindikator im CHE-Forschungsranking (Berghoff et al. (2008c)).

110

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Erfassung des individuellen Produktionsoutputs, sondern stets für die Bildung von Indikatoren zur Messung der Personaleffizienz entscheidend. Denn um Größeneffekte bei Publikationsvergleichen auszuschalten, können zum Beispiel beim Vorliegen konstanter Skalenerträge statt der absoluten Publikationsmengen Produktivitätskennzahlen betrachtet werden, bei denen die ermittelte Publikationszahl ins Verhältnis zum eingesetzten bzw. verfügbaren Forschungspersonal gebracht wird.221 Im Umgang mit dem Problem der Zurechnung der von mehreren Autoren erstellten Schriften zu einzelnen Forschern bzw. Institutionen oder Forschungsgruppen werden drei Varianten unterschieden. Publikationen können allen Autoren erstens in vollem Umfang (normal counts) oder zweitens anteilig (adjusted counts) zugerechnet werden. Eine dritte Methode berücksichtigt lediglich den Erstautor (straight counts), wobei angenommen wird, dass dieser den überwiegenden Teil der Arbeit erbracht hat. Während letztere Variante schon aufgrund der häufig alphabetischen Anordnung der Autorennamen unplausibel erscheint und Wissenschaftler, deren Nachnamen mit einem Buchstaben im hinteren Teil des Alphabets beginnen, systematisch benachteiligt, führt eine volle Zurechnung der Publikationen auf alle Autoren bei Objektvergleichen zu Verzerrungen zugunsten im Team arbeitender Forscher bzw. zugunsten von Institutionen, die ausgeprägte Forschungskooperationen zu anderen Einrichtungen haben.222 Daher sollten – um zumindest einigermaßen plausible Messergebnisse zu erhalten – Gewichtungen in Abhängigkeit von der Anzahl der beteiligten Autoren erfolgen.223 Selbst wenn im Rahmen einer Performancemessung versucht wird, die erstellten Publikationen nicht über den Umweg der üblichen Zählung von Individualdaten zu erfassen, sondern sie den Forschungseinheiten direkt zuzuordnen, bleibt dieses Problem aufgrund inter- und intradisziplinärer Zusammenarbeit bestehen und wird tendenziell sogar weiter an Bedeutung zunehmen. Neben solch grundsätzlich zu treffender Entscheidungen einer Publikationsanalyse bezüglich des Untersuchungszeitraums, der zu berücksichtigenden Forschungspersonen und der Zurechnung von Mehrfachautorenschaften, ist die konkrete Ausgestaltung eines Publikationsindikators festzulegen. Da eine reine Publikationszählung weder die quantitative noch die qualitative Leistungsdimension hinreichend erfasst, werden in der Literatur verschiedene

221 222 223

Vgl. Hornbostel (1997), S. 275f. Vgl. Hornbostel (1997), S. 246ff. Ein naheliegender Gewichtungsfaktor ist der Kehrwert der Autorenanzahl. Eine andere Zurechnung nehmen z.B. Bommer und Ursprung vor, indem sie in Anlehnung an de Vries durch Verwendung des Gewichtungsfaktors 2/(Anzahl der Autoren + 1) einen Bonus für in Kooperation erstellte Publikationen vergeben (vgl. Bommer/Ursprung (1998), S. 10).

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

111

Modifikationen vorgeschlagen und auch in der Praxis angewandt. Grundprinzip dieser Anpassungen ist eine Gewichtung der Veröffentlichungen nach bestimmten Kriterien. In quantitativer Hinsicht können die unterschiedlichen Umfänge einzelner Arbeiten berücksichtigt werden. In Abhängigkeit vom gewünschten bzw. möglichen Genauigkeitsgrad sind verschiedene Differenzierungen nach zum Beispiel Publikationsarten, wie Monografien und Zeitschriftenartikeln, oder der Anzahl verfasster Seiten möglich.224 Eine weitere Option ist die Erhebung geschriebener Zeichen, welche die Berücksichtigung der unterschiedlichen Textumfänge variierender Druckformate erlaubt. Für elektronische Dokumente wird auch die Erfassung anhand ihrer Dateigröße vorgeschlagen, was allerdings bei Tabellen und Abbildungen zu starken Verzerrungen führen kann.225 Weitaus wichtiger aber gleichzeitig auch schwieriger als diese mengenmäßige Anpassung der Publikationsaktivität ist die Einbeziehung qualitativer Aspekte. So bemerkt beispielsweise Posner in seiner Würdigung der Leistungen des Nobelpreisträgers Ronald Coase, dass dieser zwar nur wenig, dafür aber sehr Bedeutendes geschrieben habe.226 Auch Einsteins bahnbrechende Publikation aus dem Jahr 1905 „Zur Elektrodynamik bewegter Körper“ umfasst nur 31 Seiten, hat aber den gesamten Wissenschaftsbereich der Physik revolutioniert.227 Entsprechend ist ein Forscher, der die dreifache Menge eines anderen publiziert, nicht zwangsläufig dreimal besser als dieser. Die – eventuell quantitativ gewichtete – Anzahl der Publikationen kann folglich keine hinreichend valide Kennzahl für die Forschungsperformance sein.228 Eine erste – meist implizite – Berücksichtigung der Qualität erfolgt bereits durch die Auswahl der in die Analyse einzubeziehenden Publikationen. Zwar wird manchmal versucht, ein möglichst umfassendes Spektrum verschiedener Publikationsarten zu erfassen,229 doch häufig erfolgt stattdessen eine Beschränkung auf bestimmte Veröffentlichungsformen. Mit dieser Auswahl erhalten alle nicht berücksichtigten Schriften, worunter meist Rezensionen und

224

225 226 227 228

229

Vgl. z.B. Bommer/Ursprung (1998), S. 9, und Heiber (1983), S. 82, außerdem Münch (2006), S. 455ff., der die Bewertung verschiedener Publikationsarten bzw. -längen unter Berücksichtigung des Zeitbedarfs für die Ausarbeitung einer Veröffentlichung demonstriert. Vgl. Ewert/Umstätter (1997), S. 164, und zur Kritik daran Stock (2000), S. 275. Vgl. Posner (1993), S. 195, und Haslinger (1994), S. 167f. Vgl. Einstein (1905) und Macharzina/Wolf/Rohn (2006), S. 4. Zur Notwendigkeit einer qualitativen Differenzierung von Publikationen vgl. z.B. auch Backes-Gellner (1989a), S. 39f., und die dort angegebene Literatur. Einen Überblick über verschiedene Publikationsarten geben z.B. Cave et al. (1997), S. 166ff., und Schmitz (2008), S. 53. Neben den dort genannten Veröffentlichungsformen stellen auch Erfindungsdokumente (Offenlegungs-, Patent- und Gebrauchsmusterschriften) eine Form der wissenschaftlichen Printpublikation dar. Sie werden jedoch bei Publikationsanalysen üblicherweise ausgeblendet und gegebenenfalls – so auch hier – gesondert betrachtet (siehe Abschnitt 4.3.2.2).

112

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

graue Literatur fallen,230 den Qualitätsgewichtungsfaktor null.231 Erhoben werden vielfach die Aufsätze führender Fachzeitschriften, einerseits aus dem praktischen Grund, dass diese häufiger und systematischer in Datenbanken dokumentiert werden als andere Publikationen, andererseits weil sie vor der Veröffentlichung in der Regel einen strengen Begutachtungsprozess durchlaufen, der ihnen eine gewisse Qualität bescheinigt.232 Bei der Entscheidung über die in eine Performancemessung einzubeziehenden Publikationen sollten immer die fachspezifischen Publikationskulturen berücksichtigt werden. Während beispielsweise die Naturwissenschaften stark internationalisiert sind und in ihnen Zeitschriftenaufsätze den wesentlichen Veröffentlichungstyp darstellen, sind in den teilweise eher national geprägten Geistes- und Sozialwissenschaften auch Monografien und Beiträge in Sammelbänden von großer Bedeutung.233 Zur qualitativen Differenzierung und Gewichtung der ausgewählten Veröffentlichungen bieten sich je nach Publikationsart verschiedene Kriterien an. Der Wert eines Aufsatzes kann beispielsweise direkt anhand der Anzahl der auf ihn fallenden Zitate bestimmt werden. Möglich ist auch, ihn indirekt über die Qualität der entsprechenden Zeitschrift abzuschätzen, wobei versucht werden muss, Letztere über Merkmale wie die Auflagenhöhe, die räumliche Verbreitung oder die Annahmequote der Zeitschrift zu ermitteln, sie eventuell auch mittels eines auf Zitationsanalysen basierenden Impact Factors234 oder über Befragungen von Fachvertretern zu erheben.235 Analog kann die Qualität von Monografien und Beiträgen in Sammelbänden über die Qualität des jeweiligen Verlags definiert werden. Darüber hinaus können auch die Zugangschancen zum Publikationsmarkt als Qualitätskriterium zugrunde gelegt werden. Entsprechend ist eine Unterscheidung zwischen Eigen- und Fremdverlagen oder speziell für Zeitschriften zum Beispiel zwischen Haus- und Fremdzeitschriften sowie Zeitschriften ohne, mit einfachem oder mit doppeltblindem Begutachtungsprozess möglich.236

230 231 232 233

234

235

236

Vgl. beispielsweise Backes-Gellner (1993), S. 99 und 108. Vgl. Cave et al. (1997), S. 170. Zur Konzentration auf begutachtete Zeitschriftenpublikationen vgl. z.B. Macharzina/Wolf/Rohn (2006), S. 6ff. Vgl. Hornbostel (2004), S. 178f., sowie die Ergebnisse zweier Untersuchungen zur Nutzung einzelner Publikationsformen in den verschiedenen Wissenschaftsdisziplinen: DFG (2005), S. 22ff., und Enders/Mugabushaka (2004), S. 35ff. Verschiedene Berechnungsmöglichkeiten des Journal Impact Factors werden von Schmitz (2008), S. 144ff., aufgezeigt und diskutiert. Zur Kritik am Impact Factor vgl. auch den kurzen Überblick von Schenk/Lüngen/Lauterbach (2004), S. 300f. Vgl. Schenker-Wicki (1996), S. 123, und Schlinghoff/Backes-Gellner (2002), S. 343ff. Besonders beliebt ist die Klassifizierung von Zeitschriften auf der Grundlage von Urteilen – siehe beispielhaft das Ranking betriebswirtschaftlich relevanter Zeitschriften VHB-Jourqual 1 (vgl. VHB (2003) sowie Hennig-Thurau/Walsh/ Schrader (2004)) und seine Verwendung im CHE-Forschungsranking BWL 2008 (vgl. Berghoff et al. (2008c), S. D-7ff.). Vgl. aber auch die Kritik an der pauschalen Bewertung der Qualität von Aufsätzen anhand der Qualität der jeweiligen Zeitschrift in z.B. Starbuck (2005), S. 180. Vgl. Schenker-Wicki (1996), S. 123, und Schlinghoff/Backes-Gellner (2002), S. 347.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

113

Die Einschätzung des relativen Werts der Schriften erfolgt meist mehr oder weniger willkürlich. Bei einem Vergleich der Publikationen verschiedener Untersuchungsobjekte sollten Sensitivitätsanalysen durchgeführt werden, um die Validität einzelner Beurteilungen abschätzen zu können.237 Alternativ zu solch einer subjektiv gewichteten Output- bzw. Produktivitätsbestimmung ist eine Effizienzermittlung mithilfe der DEA möglich, die ohne eine feste Gewichtung der Publikationsarten auskommt und außerdem die Berücksichtigung mehrerer Inputs erlaubt.238 Die Anwendung von Publikationsindikatoren ist außer den angesprochenen methodischtechnischen Problemen, die zu Kritik an Publikationsindikatoren führen, mit Schwierigkeiten in der Praxis verbunden, die die Aussagekraft der Indikatoren einschränken. Zunächst ist festzuhalten, dass Publikationsdaten zwar prinzipiell einfach zu erheben sind, aber häufig nur auf unzureichendes Datenmaterial für eine bibliometrische Analyse zurückgegriffen werden kann. Neben der Möglichkeit, die Daten direkt bei den Wissenschaftlern zu erfragen oder sie aus hochschulintern erstellten Übersichten, wie Publikationslisten der Wissenschaftler, Forschungsberichten von Lehrstühlen, Fachbereichen und Forschungsgruppen oder Jahresbibliografien der Hochschulen, zu entnehmen, bietet sich prinzipiell ihre Ermittlung auf Basis von Literaturdatenbanken an.239 Während die beiden erstgenannten Auswahlstrategien aufgrund individueller Dokumentationsgewohnheiten zu verzerrten Publikationsmessungen führen können, listen internationale Datenbanken meist nur einen Teil der als relevant erachteten Literatur, insbesondere ausgewählte englischsprachige Zeitschriften, und viele nationale Fachdatenbanken führen nur Publikationen mit erheblichen Qualitätsunterschieden, was aufwändige Bereinigungen erforderlich macht.240 Neben der teilweise sehr eingeschränkten Abdeckung der Datenbanken gibt es des Öfteren Probleme mit der Datenqualität, denn fehlende, unvollständige oder fehlerhafte Einträge beeinträchtigen die Aussagekraft von Publikationsindikatoren. Darüber hinaus ist eine eindeutige Identifizierung der Dokumente häufiger erschwert durch zum Beispiel identische Namen mehrerer Autoren, heiratsbedingte Namensänderungen, verschiedene Schreibweisen von Namen (etwa bei darin vorkommenden Umlauten) oder variierende Hochschulbezeichnungen. Eine korrekte Erfassung aller Publikationen eines Untersuchungsobjekts sowie die Eliminierung von Doppelzählungen mehrfach erfasster Schriften bei Verwendung verschiedener Datenbanken gehen bisweilen mit einem hohen Kontroll- und Korrekturaufwand einher.

237 238 239 240

Vgl. Johnes (1988), S. 57. Vgl. Johnes/Johnes (1992 und 1993). Vgl. Hornbostel (1997), S. 240f. Vgl. z.B. für die BWL Clermont/Schmitz (2008), S. 994f.

114

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Weiterhin können unterschiedliche Veröffentlichungschancen der Forscher nur unzureichend, wie etwa durch die Berücksichtigung der Publikationsorgane und eventueller Begutachtungskriterien, erfasst werden. Viele etablierte Autoren haben aufgrund früherer Leistungen einen leichteren Zugang zu den Medien (Matthäus-Effekt)241 und auch der gute Ruf der Institution, an der ein Autor angesiedelt ist, kann einen solchen vereinfachen. Ebenso mögen Bekanntschaftsbeziehungen zwischen Herausgebern und Autoren dazu führen, dass Manuskripte Letzterer bevorzugt veröffentlicht werden.242 Selbst bei anonymen Begutachtungen können derart sachfremde Erwägungen vorkommen, wenn die Autoren eines Aufsatzes etwa anhand des bearbeiteten Themas, ihres Schreibstils oder der Zitierung eigener Vorarbeiten indirekt erkennbar sind. Darüber hinaus hängt die Annahme eines Beitrags auch von seiner inhaltlichen Ausrichtung ab. Seine Veröffentlichungschancen steigen, wenn er die Interessen und die subjektiven Meinungen der Gutachter bzw. Herausgeber widerspiegelt. Dies bedeutet oft auch, dass Arbeiten im Bereich der Mainstreamforschung im Vergleich zu Publikationen aus Spezialgebieten höhere Aussichten auf eine Veröffentlichung haben.243 Im Zusammenhang mit der Begutachtung von Forschungsmanuskripten sind weitere Verzerrungen eines Publikationsindikators möglich. Sowohl eine mangelnde Sorgfalt als auch fehlende Weitsicht und schließlich kognitive Begrenzungen von Gutachtern können Fehleinschätzungen der Qualität von Forschungsbeiträgen hervorrufen.244 Vor allem in sehr großen, interdisziplinären Forschungsfeldern werden Gutachter kaum sämtliche Veröffentlichungen kennen, die für die Beurteilung der Substanz eines eingereichten Manuskripts im Prinzip von Bedeutung sind. Da Forschung außerdem eine „Winner takes all“-Tätigkeit ist und Publikationen der ideellen Sicherung geistigen Eigentums dienen, können die „Verlierer“ ihre wissenschaftlichen Erkenntnisse eigentlich nicht bzw. nur kaum in begutachteten Publikationsmedien veröffentlichen. Dass sie eventuell effizienter geforscht haben, bleibt letztlich ungeprüft.245 Ein anderes Problem des Einsatzes von Publikationsindikatoren zur Performancemessung sind die damit verbundenen Anreize für die Forscher zum strategischen Publizieren, und zwar vor allem das Publikationsverhalten auf die mengenmäßige Produktion auszurichten.

241

242

243 244

245

Der Matthäus-Begriff „Wer hat, dem wird gegeben“ wurde von Merton (1968) allgemein in den Kontext des wissenschaftlichen Kommunikations- und Belohnungssystems eingeführt. Vgl. hier z.B. Backes-Gellner (1989a), S. 40. Vgl. z.B. für die gleiche institutionelle Zugehörigkeit von Herausgebern und Autoren Backes-Gellner (1989a), S. 50ff. Vgl. Backes-Gellner (1989a), S. 40, Johnes (1992), S. 27, und Röbbecke/Simon (2001), S. 116. Eine Reihe von Beispielen für derartige Fehlurteile, die u.a. abgelehnte, später mit dem Nobelpreis ausgezeichnete Forschungsarbeiten betreffen, führen Campanario (1993 und 1995) und Fischer (2002), S. 121ff., auf. Vgl. Johnes (1988), S. 66f.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

115

Um die Anzahl der Publikationen zu erhöhen, ist es beispielsweise möglich, Forschungsergebnisse künstlich zu fragmentieren und in mehreren Schriften zu veröffentlichen, nur geringfügig modifizierte oder in andere Sprachen übersetzte Beiträge an unterschiedlichen Stellen zu platzieren sowie Zeitschriften mit höherer Akzeptanzrate, aber geringeren Qualitätsansprüchen auszuwählen.246 Ebenso können Publikationen durch ausführliche, aber für das Verstehen eines Textes nicht unbedingt notwendige Beschreibungen und Erklärungen sowie durch die wiederholte Verwendung von Abschnitten aus bereits veröffentlichten Beiträgen verlängert werden. Um zudem die Annahmechancen von Manuskripten zu verbessern, mögen Forscher wissenschaftliche Modethemen wählen und – insbesondere wenn sie noch jünger sind – versuchen, renommierte Koautoren zu gewinnen. Insgesamt betrachtet sind Publikationsindikatoren trotz der hier beschriebenen Probleme in Literatur und Praxis anerkannte Performancemaße. Sie gelten als reliabel und – sofern sie fachspezifisch konstruiert und in qualitativer Hinsicht gewichtet werden – als weitgehend valide. Da Publikationsindikatoren jedoch vorwiegend quantitative Aspekte der Forschung abbilden247 und sie nur einen Teil der wissenschaftlich relevanten Forschungsleistungen des Hochschulbereichs wiedergeben, wird vielfach eine Ergänzung durch andere Indikatoren, insbesondere Zitationsanalysen und Expertenbeurteilungen gefordert.248 Ersterwähnte werden im Folgenden vorgestellt und diskutiert.

4.3.1.2 Zitationen Während Publikationskennzahlen in erster Linie der quantitativen Dimension des Forschungsoutputs Rechnung tragen, soll mithilfe von Zitationsindikatoren die Wirkung bzw. die Qualität der Publikationen erfasst werden. Zitationsmaße nutzen die Regel, dass alle in eine wissenschaftliche Arbeit aus anderen Quellen stammenden, wörtlich übernommenen oder inhaltlich eingearbeiteten Ausführungen zu kennzeichnen sind und außerdem Zitate sonstige Verweise auf andere Beiträge, zum Beispiel weiterführende Literatur, enthalten.249 Ihr Grundgedanke ist, dass der wissenschaftliche Wert einer Publikation durch die Zitate anderer Autoren widergespiegelt wird. Die Beurteilung erfolgt dabei implizit durch die formellen Diskussionen der Scientific Community, das heißt, sie kommt in den Publikationen fachkundiger Wis-

246

247 248

249

Vgl. Kieser (1998), S. 214f., und die Untersuchung zu den Auswirkungen der Einführung von Leistungsindikatoren an australischen Universitäten von Taylor (2001), hier S. 52. Vgl. Backes-Gellner (1989a), S. 39ff. Vgl. z.B. Jansen et al. (2007), S. 142f., außerdem Martin und Irvine (1983), S. 75ff., die stets konsistente Ergebnisse von Publikations- und Zitationsanalysen sowie Peer Reviews fordern, um Aussagen über die Leistungen einer Forschungsgruppe machen zu können. Eine Reihe von Zitiergründen präsentiert Schmitz (2008), S. 64ff.

116

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

senschaftler zum Ausdruck, die auf demselben Gebiet wie die zitierten Autoren oder in sachverwandten Bereichen forschen. Es wird weiterhin angenommen, dass andere Schriften auf qualitativ hochwertige Forschungspublikationen zurückgreifen, und sich die Qualität der Veröffentlichungen demnach in der Anzahl der auf sie entfallenden Verweise niederschlage. Dies bedeutet gleichzeitig, dass nicht zitierte Arbeiten keinen Einfluss auf den Erkenntnisfortschritt der Wissenschaft haben und daher auch keine Aufmerksamkeit von anderen Forschern erhalten.250 Zitationsindikatoren können für die verschiedenen Untersuchungsobjekte von Performancemessungen im Hochschulbereich gebildet werden. Dabei werden Zitationshäufigkeiten erfasst, die sich als Summe der auf die Publikationen eines Wissenschaftlers bzw. einer Hochschuleinheit entfallenden Zitate oder durch die Anzahl der diese Publikationen aufgreifenden Quellen bzw. Autoren ergeben, wobei sie gegebenenfalls für Effizienzbetrachtungen pro Kopf ausgewiesen werden.251 Wie Publikationsindikatoren sollten auch Zitationsmaße generell nur in solchen Wissenschaftsbereichen eingesetzt werden, in denen Veröffentlichungen ein zentrales Medium der wissenschaftlichen Kommunikation darstellen. Dann können sie zum einen neben Publikationskennzahlen betrachtet werden, zum anderen – so wurde bereits bei der Behandlung der Publikationsstudien aufgezeigt – mögen sie die rein quantitativen Publikationsmengen um eine qualitative Komponente ergänzen. Zu Beginn einer Zitationsstudie im Rahmen einer Performancemessung müssen ähnliche fachspezifische Entscheidungen getroffen werden wie bei Publikationsanalysen. Bei der Festlegung des Untersuchungszeitraums ist einerseits zu berücksichtigen, dass nur eine kurze Auswertungspanne die „Belohnung“ früherer Forschungsartikel ausschließt, andererseits aber nur mit einem gewissen Abstand zum Veröffentlichungszeitpunkt auf Publikationen verwiesen werden kann. Schließlich bedarf es einer gewissen Zeit, bis Forschungsergebnisse sichtbare Wirkungen in der Scientific Community erzielen.252 Außer dem Zitierungsfenster ist zu bestimmen, welche Forscher Gegenstand der Untersuchung sein sollen. Dies gilt auch für kollektive Forschungseinheiten, da Zitationen derzeit nur anhand von Autorennamen erhoben werden können. Zudem lassen sich mithilfe der Anzahl der einem Untersuchungsobjekt angehörenden Forscher auch Pro-Kopf-Werte ausweisen. Des Weiteren muss entschieden werden, welche Veröffentlichungen untersucht werden sollen, wie mit Zitaten umgegangen wird, die auf Mehrautorenpublikationen entfallen, und wie die Daten zu erheben sind. Die Auswahl der zu untersuchenden Publikationen ist durch die üblicherweise zur Datener-

250 251 252

Vgl. Schlinghoff/Backes-Gellner (2002), S. 346, und Spiegel-Rösing (1975), S. 9. Die Zählung verschiedener (Fremd-)Autoren wird von Lehrl/Kinzel/Fischer (1988), S. 293, vorgeschlagen. Vgl. Spiegel-Rösing (1975), S. 12.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

117

hebung eingesetzten Zitationsdatenbanken begrenzt.253 Diese führen lediglich die Zitationen von Aufsätzen in Fachzeitschriften, welche zudem bestimmte Qualitätsanforderungen erfüllen, nicht aber zum Beispiel die in Monografien stehenden Referenzen. Die mit der Auswahl der zitatgebenden Publikationen vorgenommene qualitative Bewertung254 kann durch Gewichtungen verfeinert werden, wenn etwa Zitate in hoch reputierten Journals im Vergleich zu solchen in weniger einflussreichen Quellen als wichtiger angesehen werden.255 Die Verwendung von Zitationsindikatoren als Maß der Forschungsperformance ist mit verschiedenen Problemen verbunden. Zunächst ist anzumerken, dass sie allen Unzulänglichkeiten des wissenschaftlichen Publikationssystems ausgesetzt sind. Hinzu kommen spezifische Verzerrungseffekte, insbesondere aufgrund unterschiedlicher Zitationschancen und strategischen Zitierverhaltens sowie der nicht näher spezifizierten inhaltlichen Aussage von Zitaten. Des Weiteren fehlen in der Praxis oft die Daten für aussagekräftige Zitationsanalysen. Die unterschiedlichen Zitationschancen beruhen unter anderem auf den bereits bei den Publikationsindikatoren erwähnten Reputationseffekten. So bedeutet etwa der Matthäus-Effekt im Zusammenhang mit Zitationen, dass Veröffentlichungen von bereits anerkannten Forschern und renommierten Forschungseinheiten tendenziell öfter gewürdigt werden als die Publikationen anderer Autoren.256 Außerdem kann der Halo-Effekt beispielsweise dazu führen, dass auch die Veröffentlichungen von Wissenschaftlern, die zusammen mit einem angesehen Kollegen in einem Hochschulinstitut beschäftigt sind, bevorzugt zitiert werden. Hinzu kommen die variierenden Zitationschancen, die sich durch den Inhalt einer Publikation sowie die Bedeutung von Länge und Platzierung eines Aufsatzes in einer Zeitschrift ergeben. Ein Überblicksartikel verfügt beispielsweise über ein höheres Zitationspotenzial als eine Publikation zu einem Spezialthema. Und ebenso erfahren im Allgemeinen längere und weiter vorne in einer Zeitschrift stehende Aufsätze eine höhere Resonanz als die anderen. Dabei mögen Länge wie auch Positionierung der Artikel wiederum von der Nähe der Autoren zum Herausgeber abhängen.257 Da eine Identifizierung und Korrektur dieser ungleichen Chancen, zitiert zu werden, im Rahmen von Zitationsanalysen grundsätzlich nicht möglich erscheint, werden die Forschungsleistungen nur verzerrt durch Zitationskennzahlen wiedergegeben.

253

254 255 256 257

Eine andere, aber sehr aufwändige Methode ist die direkte Zählung von Zitationen anhand der Originalpublikationen. Vgl. Schlinghoff/Backes-Gellner (2002), S. 346. Vgl. Stock (2000), S. 272. Vgl. Weingart/Winterhager (1984), S. 139f. Vgl. Campanario (1996), S. 189f., und Fröhlich (2006), S. 200.

118

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Zu ähnlichen Problemen führen Verweise auf Veröffentlichungen, die nicht aufgrund deren wissenschaftlicher Wertschätzung, sondern aus Eigennutz erfolgen. Sie werden als strategische Zitate bezeichnet und können in vielfältigen Ausprägungen vorliegen. Zitieren sich wenige Forscher häufig gegenseitig, um Aufmerksamkeit zu erlangen, zum Beispiel zur Durchsetzung eigener Auffassungen, wird von Zitierkartellen oder -zirkeln gesprochen. Ebenso können Selbstzitate, bei denen Forscher in ihren Veröffentlichungen auf eigene zurückliegende Arbeiten verweisen, aus strategischen Motiven erfolgen. Des Weiteren dienen Zitate auf Publikationen, die überhaupt nicht gelesen wurden258 oder für die eigene Arbeit keine Bedeutung haben, sowie Verweise auf Werke prestigeträchtiger Autoren, mit denen bevorteilte Behandlungen in Begutachtungsprozessen erwartet werden, lediglich dem „Impression Management“, sie weisen aber nicht explizit auf die Qualität anderer Arbeiten hin. Letztlich können Autoren auch Zitate unterlassen, um selber in den Ruhm der dargestellten Erkenntnisse zu gelangen. Zwar gibt es Ansätze zur Eliminierung solcher unredlichen Zitate, wie die Beschränkung einer Zitationsanalyse auf Fremdzitate, aber auch diese sind mit Problemen behaftet und ermöglichen nicht die Ermittlung völlig gerechtfertigter Zitationszahlen.259 Im Hinblick auf die genannten Probleme birgt die Einführung von Zitationsindikatoren unerwünschte Anreize, zum einen zur Bearbeitung von Forschungsgebieten, die gerade „modern“ sind, weil dort mehr Zitationen erwartet werden können als in unpopulären Forschungsbereichen,260 zum anderen zum strategischen Zitieren. Sowohl die ungleichen Chancen auf Zitate als auch strategisches Zitierverhalten der Forscher sind häufig Gegenstand der Kritik an Zitationsanalysen. Der am intensivsten diskutierte Einwand gegen die Nutzung von Zitationsindizes zur Performancemessung betrifft jedoch die Nichtberücksichtigung des Inhalts von Zitaten, verbunden mit der Annahme, dass diese Qualität messen. Positive Zitate, die die zitierten Publikationen anerkennen, werden nicht von negativen Zitaten, die andere Schriften kritisieren und zurückweisen, unterschieden. Ebenso bleiben unterschiedliche Arten von Zitierungen, wie beispielsweise triviale und notwendige Referenzen, beiläufige Erwähnungen und intensive Auseinandersetzungen sowie zusammenfassende und weiterführende Bezüge, unbeachtet und werden daher gleich gewichtet.261 Aus diesen Gründen bezeichnen manche Autoren Zitationsindikatoren auch nicht als Quali-

258

259 260 261

Nach einer Untersuchung von Simkin/Roychowdhury (2003) befanden sich lediglich 20 % der zitierten Publikationen in den Händen der Autoren, wohingegen 80 % der Zitationen wohl eher fremden Literaturlisten entnommen wurden. Vgl. Dilger (2000), S. 476f., und Kieser (1998), S. 216f. Vgl. Frey (2007), S. 210. Vgl. Spiegel-Rösing (1975), S. 9. Zur empirischen Relevanz verschiedener Zitiergründe vgl. den Überblick von Schmitz (2008), S. 70ff.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

119

täts-, sondern zum Beispiel als Impact-, Bedeutungs- oder Nützlichkeitsmaße. Einigkeit besteht lediglich darin, dass mittels Zitationsanalysen erfasst wird, ob bzw. inwieweit Publikationen auf Aufmerksamkeit gestoßen sind. Neben diesen Verzerrungen, die die Validität von Zitationsindikatoren stark einschränken können, treten in der Praxis Probleme der Datenverfügbarkeit und -qualität auf. Zwar bieten die heutigen Möglichkeiten der elektronischen Datenverarbeitung prinzipiell eine gute Basis für die Erfassung und Auswertung von Zitationen, doch sind diese in vielen Bereichen nicht hinreichend ausgeschöpft. Während die Mehrzahl der nationalen Fachdatenbanken überhaupt keine Zitationsanalysen erlauben, weisen diejenigen (internationalen) Datenbanken, die sie ermöglichen, mehrere Schwachstellen auf – so auch die Indizes vom weltweit bekanntesten Institut für Literaturrecherche, dem Institute for Scientific Information (ISI) der Firma Thomson Reuters in Philadelphia.262 Beispielsweise wertet der für die Wirtschafts- und Sozialwissenschaften geltende Social Sciences Citation Index (SSCI) nicht alle einschlägigen wirtschafts- und sozialwissenschaftlichen Zeitschriften aus, sondern nur solche, die englischsprachige Titelangaben und Zusammenfassungen enthalten, außerdem vom ISI als bedeutend eingestuft werden. Wie die anderen Indizes des ISI, erfasst der SSCI bei Zitationen nicht erfasster Quellen nur Erstautoren und ermöglicht keine Unterscheidung von Autoren, die den gleichen Namen tragen.263 Entsprechende Recherchen zur Identifizierung von Koautoren bzw. richtigen Zuordnung von Publikationen gestalten sich mitunter sehr aufwändig. Letztlich können bei einer Performancemessung auf Basis von Zitationsindizes auch fehlende Informationen sowie unkorrekte Eintragungen in den Datenbanken zu Verzerrungen führen.264 Zusätzliche Nachteile der Zitationsdatenbanken bestehen darin, dass sie keine jungen, innovativen Zeitschriften erfassen, weil diese (noch) nicht den für eine Indexierung erforderlichen Bekanntheitsgrad haben. Wenn sich die Aufnahme in einen Index zudem an den Zitationen bereits erfasster Zeitschriften orientiert, ist es außerdem möglich, dass lediglich der Status quo fortgeschrieben wird. Abschließend sei festgehalten, dass sich Zitationsindikatoren – unabhängig von der Diskussion, was sie wirklich messen – zumindest international als Maß für Forschungsleistungen durchgesetzt haben. Wie Publikationskennzahlen gelten sie als reliabel, erfordern aber einen höheren Erhebungsaufwand. Ihre Validität wird im Wesentlichen vom Ausmaß der beschrie-

262

263

264

Das ISI entstand 1960 aus einem fünf Jahre zuvor von Eugene Garfield gegründeten Unternehmen. Es wurde 1992 von der Firma Thomson übernommen, die 2008 mit der Nachrichtenagentur Reuters fusionierte (vgl. Cawkell/Garfield (2001) sowie Thomson Reuters (2009a und 2009b)). Zur Zeitschriftenauswahl und Indexierung der Aufsätze in den ISI-Zitationsindizes vgl. Schmitz (2008), S. 94ff. Vgl. Kieser (1998), S. 216f., und Clermont/Schmitz (2008), S. 988.

120

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

benen Verzerrungseffekte bzw. der Existenz und den Möglichkeiten eventueller Korrekturmechanismen, aber auch vom Publikations- und Zitierverhalten in den betrachteten Wissenschaftsdisziplinen bestimmt. Schließlich sollte durch Validierungsuntersuchungen mithilfe von zum Beispiel Publikationsanalysen und Peer Reviews überprüft werden, inwieweit sich die fehlende Differenzierung verschiedener Zitate tatsächlich auf die Ergebnisse der Performancemessung auswirkt.265

4.3.2

Indikatoren auf Basis technischer Erfindungen

Neben bibliometrischen Indikatoren spielen auch Indikatoren auf Basis technischer Erfindungen eine große Rolle zur Beurteilung der Forschungsperformance im Hochschulbereich, da solche Erkenntnisse vielfach nicht bzw. nicht unmittelbar nach ihrer Entstehung über wissenschaftliche Publikationsmedien verbreitet werden. Vielmehr sind sie zunächst als sogenannte Diensterfindungen den Hochschulen zu melden, worauf sich ein erster Indikatoransatz bezieht. Ein weiterer Ansatz fokussiert auf diejenigen technischen Erfindungen, die unter dem Schutz eines Patents oder Gebrauchsmusters zur Anwendung geführt werden sollen. Oftmals erfordern technische Forschungsergebnisse nämlich noch eine sehr langwierige und risikoreiche Entwicklung, die von den Hochschulen selber kaum geleistet werden kann und daher von der Wirtschaft zu erbringen ist. Ein wirtschaftlich agierendes Unternehmen wird allerdings nur dann in solche Erkenntnisse investieren, wenn sie durch ein Schutzrecht vor einer wirtschaftlichen Zweitverwertung gesichert sind. Ansonsten könnten andere Unternehmen innerhalb kurzer Zeit, nachdem eine Erfindung die Umsetzungsreife erlangt hat, mit nachgeahmten Produkten bzw. kopierten Verfahren in den Markt eintreten, sodass ein intensiver Wettbewerb entstehen würde, der die Preise senken und die Amortisation der Entwicklungsaufwendungen des Pioniers gefährden könnte. Sowohl die schriftlichen Erfindungsmeldungen als auch die zu Patenten und Gebrauchsmustern gehörigen Veröffentlichungen können – analog den zum Beispiel über Fachzeitschriften und Monografien verbreiteten wissenschaftlichen Publikationen – als Output der Forschung interpretiert werden. Ihr Einsatz als Indikatoren zur Performancemessung wird im Folgenden aufgezeigt und diskutiert.

4.3.2.1 Erfindungsmeldungen Während Unternehmen generell ein eigenes Interesse am rechtlichen Schutz ihrer Erfindungen haben, besteht im Hochschulbereich vielmehr eine „Verpflichtung“ insbesondere gegenüber den kollektiven Stakeholdern zur Schaffung wirtschaftlicher Nutzungsprioritäten für die

265

Vgl. Spiegel-Rösing (1975), S. 9.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

121

unter Einsatz öffentlicher Gelder entstandenen „technischen“ Erfindungen. Um die Voraussetzungen dafür zu verbessern und den Hochschulen eine generelle Beteiligung an den Früchten aus der dienstlichen Tätigkeit ihrer Beschäftigten zu ermöglichen, wurde im Jahr 2002 das Hochschullehrerprivileg durch Novellierung des § 42 des Arbeitnehmererfindungsgesetzes abgeschafft. Bis dahin konnten Hochschullehrer – im Gegensatz zu anderen Arbeitnehmern – stets frei über ihre Erfindungen verfügen. Sie mussten aber auch den finanziellen und administrativen Aufwand sowie das Risiko einer Patentierung oder Gebrauchsmusteranmeldung privat tragen. Dies führte dazu, dass zahlreiche technische Erfindungen wissenschaftlich publiziert wurden, anstelle sie mithilfe eines Schutzrechts – vor dessen Anmeldung eine Veröffentlichung der Idee weitgehend untersagt ist266 – einer wirtschaftlichen Verwertung zugänglich zu machen. Ihr Anwendungspotenzial blieb dadurch letztlich unausgeschöpft.267 Mit der Gesetzesänderung wurde daher den Hochschulen das Recht zugesprochen, die Diensterfindungen all ihrer Angehörigen in Anspruch zu nehmen,268 im eigenen Namen schutzrechtlich zu sichern und auf eigene Rechnung zu verwerten. Seitdem sind sowohl die Hochschullehrer als auch – wie schon zuvor – alle übrigen Hochschulbeschäftigten verpflichtet, den Hochschulen ihre aus der dienstlichen Tätigkeit entstandenen bzw. maßgeblich auf den Erfahrungen oder Arbeiten der dienstlichen Tätigkeit beruhenden Erfindungen – was auch Erfindungen aus Nebentätigkeiten und Drittmittelprojekten einschließt – schriftlich zu melden.269 Anhand dieser Mitteilungen können somit im Hochschulbereich entstandene technische Erfindungen für eine Performancemessung erfasst werden. Gemäß deren Vorkommen sind entsprechende Indikatoren allerdings nicht in allen Wissenschaftsdisziplinen, sondern vorwiegend in der angewandten Forschung und Entwicklung der Ingenieur- und Natur- sowie teilweise in den Lebenswissenschaften von Bedeutung. Da eine Erfindungsmeldung unverzüglich erfolgen muss, nachdem ein Wissenschaftler erkannt hat, dass es sich bei einer neuen Erkenntnis um eine Erfindung handelt,270 ermöglichen entsprechende Indikatoren grundsätzlich Bewertungen jüngst abgeschlossener Forschungsleistungen. Unter Berücksichtigung der für den jeweiligen Untersuchungsbereich

266 267

268

269 270

Vgl. hierzu Abschnitt 4.3.2.2. Zu den Gründen für (und gegen) die Abschaffung des Hochschullehrerprivilegs vgl. BMBF (2000) und Schmoch (2000), S. 99ff. Die Veränderung des Patentanmeldeverhaltens seit der Änderung des Arbeitnehmererfindungsgesetzes untersucht Schmoch (2007). Vgl. § 6 Abs. 1 ArbnErfG. Nimmt die Hochschule eine Erfindung nicht in Anspruch, handelt es sich um eine freie Erfindung, die vom Erfinder selber genutzt werden kann (vgl. § 8 ArbnErfG). Vgl. § 4 Abs. 2 und § 5 Abs. 1 Satz 1 ArbnErfG. Vgl. § 5 Abs. 1 Satz 1 ArbnErfG.

122

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

typischen Erfindungsfrequenz kann daher bei einer Performancemessung durch Erfindungsmeldungen ein relativ aktueller Untersuchungszeitraum abgebildet werden. Die zur Ermittlung der Indikatorenausprägungen benötigten Daten für die Erfindungen, die von einem oder mehreren Wissenschaftlern innerhalb eines bestimmten Zeitraums den Hochschulen gemeldet wurden, können bei den Wissenschaftlern direkt oder bei den für die mögliche Verwertung der Erfindungen zuständigen zentralen Hochschuleinrichtungen erfragt werden, wobei weder für den Erheber noch für die Befragten ein großer zeitlicher oder finanzieller Aufwand entsteht. Eine Besonderheit besteht bei der Verwendung von Erfindungsmeldungen als Performanceindikatoren hinsichtlich der Aufteilung solcher Erfindungen, die in Zusammenarbeit mehrerer Personen entstanden sind, denn für eine Zurechnung nach der Adjusted-Methode kann auf die von den Erfindern selbst festgelegten und in den Erfindungsmeldungen dokumentierten prozentualen Anteile am Zustandekommen ihrer Erfindung271 zurückgegriffen werden. Da es sich bei Erfindungen zum Beispiel sowohl lediglich um Verbesserungen bereits bekannter Produkte oder Verfahren als auch um bahnbrechende Neuheiten handeln kann, erscheint eine qualitative Differenzierung der Meldungen an die Hochschulen im Hinblick auf die jeweilige Erfindungshöhe sinnvoll. Eine entsprechende Umsetzung ist jedoch nur bei detaillierter Kenntnis der Erfindungen sowie des technischen Entwicklungsstands möglich und erweist sich daher als wenig praktikabel. Einfacher gestaltet sich dagegen eine qualitative Gewichtung der Erfindungsmeldungen bzw. der ihnen zugrunde liegenden Erfindungen in Abhängigkeit von den Aussichten ihrer wirtschaftlichen Verwertung – zumindest sofern es die untersuchten Zeiträume erlauben. Dafür kann beispielsweise zusätzlich erhoben werden, inwieweit die Erfindungen zu Patenten und Gebrauchsmustern angemeldet wurden oder tatsächlich zur Anwendung gekommen sind. Alternativ lässt sich auch berücksichtigen, ob eine Erfindung überhaupt für andere zugänglich wird, schließlich ist eine der Hochschule gemeldete Erfindung nicht zwingend mit einer für eine Nutzenstiftung im Hinblick auf fremde Bedürfnisse notwendigen Offenbarung verbunden. Eine solche kann nur erfolgen, wenn die gemeldete Erfindung von der Hochschule als Diensterfindung oder – sofern sie von der Hochschule nicht bzw. nicht in allen Teilen in Anspruch genommen wurde – von ihrem Erfinder bzw. einem anderen Befugten als sogenannte freie Erfindung zum Patent oder Gebrauchsmuster geführt wird, wenn sie direkt, aber nicht nur für private Zwecke vom Erfinder verwendet oder Einzelnen zur Verwendung überlassen wird oder wenn sie über Publikationen, Lehrveranstaltungen und andere Kommunikationskanäle verbreitet wird. Von einer

271

Vgl. hierzu § 5 Abs. 2 Satz 3 ArbnErfG.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

123

Diensterfindung, die nur ihrem Erfinder sowie seiner Hochschule bekannt ist und die nicht zur Anwendung kommt, kann dagegen kein Dritter profitieren. Wie die Verwendung bibliometrischer Indikatoren ist auch der Einsatz von Erfindungsmeldungen als Indikator zur Performancemessung in mehrfacher Hinsicht kritisch zu beurteilen. Ein erster Punkt betrifft Verzerrungen durch nicht gemeldete Diensterfindungen. Eine Mitteilung an die Hochschule wird es zum Beispiel dann nicht geben, wenn einem Wissenschaftler nicht klar ist, dass ein Forschungsergebnis eine Erfindung darstellt. Außerdem ist es möglich, dass er eine Erfindung vorbei an den gesetzlichen Meldebestimmungen selber zum Patent bzw. Gebrauchsmuster anmeldet oder an ein Unternehmen gibt, um in den Genuss von Erträgen zu kommen, die eine hochschulische Verwertung nicht zulassen würde.272 Unter Vernachlässigung der Tatsache, dass eine geheim gehaltene Erfindung weder einen wirtschaftlichen noch irgendeinen anderen Nutzen für Dritte stiften kann, lassen sich des Weiteren die im Hochschulbereich entstandenen Erfindungen auch aufgrund der für die dort Beschäftigten geltenden Ausnahmeregelung zur Meldepflicht nur unvollständig über Erfindungsmitteilungen erfassen. Lehnt nämlich ein Hochschulangehöriger aufgrund seiner Forschungsfreiheit die Offenlegung einer Erfindung grundsätzlich ab, kann er auf deren Meldung verzichten,273 sodass die Hochschule sein Geheimhaltungsrecht nicht durch die mit einer Patent- oder Gebrauchsmusteranmeldung verbundene Veröffentlichung unterlaufen kann.274 Im Gegensatz zur unvollständigen Erfassung von Diensterfindungen aufgrund fehlender Mitteilungen an die Hochschulen kann ein auf Erfindungsmeldungen bezogener Indikator auch in umgekehrter Richtung verzerrt sein. So weist eine Mitteilung über eine zunächst geheim gehaltene, dann aber doch zu offenbarende Diensterfindung gegebenenfalls auf eine sehr weit zurückliegende, eigentlich nicht zu betrachtende Forschungsleistung hin.275 Bei einer Performancemessung würden dann diejenigen profitieren, die bereits früher Erfindungen gemacht, diese aber lange der Öffentlichkeit bzw. einer Anwendung vorenthalten haben. Eine Überschätzung der Anzahl der Erfindungen liegt auch dann vor, wenn Meldungen überhaupt keine echten Erfindungen zugrunde liegen. Zwar ist nach dem Arbeitnehmererfindungsgesetz der Arbeitgeber ausschließlich über patent- und gebrauchsmusterfähige Erfindungen zu informieren,276 das Vorliegen der sachlichen Schutzvoraussetzungen – techni-

272

273 274 275 276

Nach dem Arbeitnehmererfindungsgesetz beträgt die Höhe der Vergütung einer von der Hochschule verwerteten Erfindung 30 % der durch die Verwertung erzielten Einnahmen (vgl. § 42 Nr. 4 ArbnErfG). Vgl. § 42 Nr. 2 Satz 1 ArbnErfG. Zu diesen Veröffentlichungen siehe Abschnitt 4.3.2.2. Zum Wiederaufleben der Meldepflicht vgl. § 42 Nr. 2 Satz 2 ArbnErfG. Vgl. § 2 ArbnErfG.

124

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

sche Neuheit, erfinderische Leistung und gewerbliche Anwendbarkeit277 – wird bei Annahme einer Erfindungsmeldung von Seiten der Hochschulen aber nicht (systematisch) geprüft. Selbst wenn anzunehmen ist, dass Wissenschaftler die Wissensgrenzen ihres Forschungsgebiets kennen und deutlich erweitern möchten, ist insbesondere nicht auszuschließen, dass sie unbeabsichtigt Gegenstände melden, die bereits erforscht wurden oder sich kaum vom Stand der Technik abheben. Schließlich besteht diesbezüglich die Gefahr, dass im Falle einer Institutionalisierung eines auf Erfindungsmeldungen bezogenen Indikators Wissenschaftler sogar bewusst derartige Schein-Erfindungen melden, um ihre Forschungsleistungen in ein besseres Licht zu stellen. Fazit ist, dass sich Erfindungsmeldungen als Performanceindikatoren vor allem eignen, um einen Überblick über die Aktivität von Wissenschaftlern im technischen Forschungsbereich zu geben. Die Identifizierung qualitativer Exzellenz in der angewandten Forschung bedarf darüber hinaus einer Betrachtung des weiteren Umgangs mit Erfindungen. Eine Möglichkeit hierzu liefern Patente und Gebrauchsmuster, auf die im folgenden Abschnitt eingegangen wird.

4.3.2.2 Patente und Gebrauchsmuster Patente und Gebrauchsmuster278 sind Schutzrechte für technische Erfindungen, die neu sind, auf einer erfinderischen Leistung beruhen und sich gewerblich anwenden lassen. Sie verleihen ihrem Inhaber für einen bestimmten Zeitraum – in Deutschland bei einem Patent in der Regel bis zu zwanzig Jahren und bei einem Gebrauchsmuster bis zu zehn Jahren – das alleinige Recht, innerhalb eines Landes über die geschützte Erfindung zu verfügen. Der Inhaber eines Patents oder Gebrauchsmusters kann die zugrunde liegende Erfindung somit ausschließlich selber benutzen und als einziger wirtschaftlich von ihr profitieren, aber auch Lizenzen vergeben, um Dritten eine gewerbliche Verwertung zu erlauben. Zudem hat er die Möglichkeit, das Schutzrecht zu verkaufen oder zu vererben.279 Während die Erteilung eines Patents an eine vom Patentamt durchzuführende Prüfung gebunden ist, die innerhalb von sieben Jahren nach dem Anmelde- bzw. Prioritätstag280 bean-

277 278

279

280

Siehe hierzu noch einmal Abschnitt 4.3.2.2. Die Ausführungen beziehen sich – sofern nicht anders angegeben – auf das deutsche Patent- und Gebrauchsmusterwesen. Vgl. die Informationsbroschüren „Patente“ (DPMA (2008b)) und „Gebrauchsmuster“ (DPMA (2008a)) des Deutschen Patent- und Markenamts (DPMA). Sie vermitteln generell einen schnellen Einblick in das Patentund Gebrauchsmusterrecht. Weitere Informationen sind auf den Internetseiten des DPMA (www.dpma.de) verfügbar und dem Patentgesetz (PatG) bzw. dem Gebrauchsmustergesetz (GebrMG) zu entnehmen. Der Prioritätstag ist der Tag der ersten Anmeldung einer Erfindung bei einem Patentamt. Er kann innerhalb von zwölf Monaten nach der Erstanmeldung für weitere Anmeldungen der Erfindung bei demselben oder ei-

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

125

tragt werden kann und bestätigt, dass der zu schützende Gegenstand nicht zum Stand der Technik gehört, sich in ausreichendem Maße von diesem abhebt und gewerblich anwendbar ist, wird ein Gebrauchsmuster ohne Beachtung dieser Kriterien in das Gebrauchsmusterregister eingetragen, führt dadurch aber zu demselben Verbietungsrecht wie eine Patenterteilung.281 Eine Prüfung der Rechtsbeständigkeit eines Gebrauchsmusters findet lediglich dann statt, wenn ein Dritter dessen Löschung beantragt hat. Ein Gebrauchsmuster ist daher zwar einfacher, schneller und kostengünstiger als ein Patent zu erlangen, es birgt aber auch eine größere Gefahr, dass es von anderen angegriffen und sogar gelöscht wird. Im Gegensatz zu Patenten gibt es Gebrauchsmuster zudem nicht in allen Ländern und sie ermöglichen außerdem nicht wie jene den Schutz von Verfahren.282 Im Gegenzug zum Erhalt eines Patent- oder Gebrauchsmusterschutzes muss der Anmelder eines Schutzrechts in eine Veröffentlichung der zugrunde liegenden Erfindung einwilligen. Die Bekanntgabe wird vom Patentamt vorgenommen und erfolgt in Deutschland bei Patenten – sofern kein vorzeitiger Antrag gestellt wird – achtzehn Monate nach ihrem Anmeldebzw. Prioritätstag durch die Offenlegung der ungeprüften Patentanmeldung (Offenlegungsschrift) sowie durch die nach einer Patenterteilung erstellte Patentschrift, bei Gebrauchsmustern mit ihrer Eintragung in das Gebrauchsmusterregister.283 Patente und Gebrauchsmuster bieten folglich nicht nur Schutz, indem sie ihrem Inhaber eine temporäre Monopolstellung und damit Wettbewerbsvorteile ermöglichen, sondern sie schaffen auch Transparenz, sodass der aktuelle technische Entwicklungsstand von jedermann für private Zwecke genutzt und von Wissenschaftlern als Ausgangspunkt für weitere Forschungstätigkeiten herangezogen werden kann. Zugleich sind die Schutzrechte ein Spiegel für Forschungsleistungen,284 der auch einer Performancemessung im Hochschulbereich dienen kann. Wie Erfindungsmeldungen sind sie dort vorwiegend für die Beurteilung der angewandten Forschung und Entwicklung der Ingenieur-, Lebens- und Naturwissenschaften einsetzbar.285

281

282 283 284 285

nem anderen Patentamt in Anspruch genommen werden (vgl. DPMA (2008b), S. 21, und Art. 4 PVÜ (Pariser Verbandsübereinkunft zum Schutz des gewerblichen Eigentums)). Vgl. DPMA (2008b), S. 9f. Vor der Erteilung eines Patents hat sein Anmelder nur einen Anspruch auf angemessene Entschädigung, wenn ein Unbefugter die Erfindung benutzt (vgl. § 33 Abs. 1 PatG). Vgl. DPMA (2008b), S. 9f. Vgl. DPMA (2008b), S. 9f. Vgl. hierzu und zu verschiedenen Gründen für eine Patentveröffentlichung DPMA (2008b), S. 7 und 9. Zur fächerspezifischen Relevanz von Patentindikatoren vgl. Schmoch (2001), S. 146f., und Tavenas (2004), S. 25. Entgegen der üblichen Auffassung, dass Patente Aussagen über Anwendungsforschung erlauben, informieren sie nach Präve (1988), S. 109, und Schenker-Wicki (1996), S. 124, sogar über frühere Arbeiten in der Grundlagenforschung.

126

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Ein solcher Schutzrechtsindikator für den Hochschulbereich bezieht sich dann auf diejenigen Erfindungen eines Wissenschaftlers oder einer Forschungseinheit, die zum Beispiel als deutsche Patent- und Gebrauchsmusteranmeldungen sowie als europäische oder internationale Patentanmeldungen am Deutschen Patent- und Markenamt (DPMA), am Europäischen Patentamt (EPA) bzw. bei der World Intellectual Property Organization (WIPO) hinterlegt wurden.286 Die veröffentlichten Patent- und Gebrauchsmusteranmeldungen sowie Patenterteilungen lassen sich nicht nur bei den Hochschulen oder Patentämtern erfragen, sondern auch über verschiedene Datenbanken recherchieren. Dazu gehören sowohl Literaturdatenbanken, die Patentdokumente enthalten, als auch spezielle Patentdatenbanken, wie die vom DPMA hergestellte Datenbank PATDPA des Hosts STN (The Scientific & Technical Information Network), die die mit Wirkung für Deutschland veröffentlichten Patentdokumente und Gebrauchsmusterschriften enthält. Diese Veröffentlichungen, die sich im Dokumentenarchiv des Deutschen Patentinformationssystems (DEPATIS) befinden, können ebenso über den vom DPMA angebotenen Onlinedienst DEPATISnet ermittelt werden.287 Aufgrund der verschiedenen Anmeldemöglichkeiten für Patente und Gebrauchsmuster muss die Erhebung bei einer Datenbankrecherche selbst nach Abschaffung des Hochschullehrerprivilegs in der Regel über die Namen der Anmelder bzw. Erfinder erfolgen. Dadurch ist die Erfassung aller zum Patent oder Gebrauchsmuster angemeldeten Erfindungen möglich, die von den Hochschulen in Anspruch genommen, den Erfindern überlassen oder auf Dritte übertragen wurden. Eine institutionelle Abfrage ist nur in Ausnahmen möglich, so etwa für die spezielle Analyse der auf die Professoren von Hochschulen fallenden Patent- und Gebrauchsmusterdokumente, die in einigen Datenbanken allein anhand der Hochschulnamen und des Professorentitels recherchiert werden können. Letzterer ist nach deutschem Recht Teil des Namens und wird daher in juristischen Dokumenten sowie zum Beispiel in der Datenbank PATDPA geführt.288 Bei der Festlegung des Untersuchungszeitraums sollten die teilweise sehr geringen Erfindungsfrequenzen beachtet werden. Es erscheint – wie auch bei den bibliometrischen Indikatoren – angemessen, den Indikatoren eine mehrjährige Beobachtungsperiode zugrunde zu

286

287

288

Mit einer europäischen oder internationalen Patentanmeldung kann in einem zentralisierten Verfahren ein Patentschutz für eine Vielzahl von Staaten beantragt werden, wodurch entsprechende Einzelanmeldungen entfallen. Die Grundlagen hierfür bilden das Europäische Patentübereinkommen – the European Patent Convention (EPC) – bzw. der Vertrag über die internationale Zusammenarbeit auf dem Gebiet des Patentwesens – the Patent Cooperation Treaty (PCT). Informationen über DEPATISnet geben die vom DPMA herausgegebene Broschüre „DEPATISnet“ (vgl. DPMA (2007)) sowie die Internetseiten zu diesem Onlinedienst (www.depatisnet.de). Vgl. Schmoch (2007), S. 3.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

127

legen.289 Dabei ist für die Erfassung von Patenten grundsätzlich zu bedenken, dass aufgrund der gesetzlichen 18-Monatsfrist zwischen Erstanmeldung und Offenlegung sowie des siebenjährigen Zeitraums, in dem die Stellung eines Prüfungsantrags möglich ist, vorwiegend Erfindungen berücksichtigt werden können, die bereits vor längerer Zeit entstanden sind. Da technische Erfindungen oftmals durch mehrere Forscher im Team entstehen, spielt auch bei Patent- und Gebrauchsmusterindikatoren die Aufteilung der Schutzrechte auf die beteiligten Wissenschaftler eine Rolle – zumindest sofern nicht eine Teamleistung als Ganze erfasst wird. Bei der Ausgestaltung eines Schutzrechtsindikators sollten zunächst die qualitativen Unterschiede zwischen Patenten und Gebrauchsmustern reflektiert werden. Dafür kann an die bereits genannten, gesetzlich definierten Schutzkriterien der Neuheit und der Erfindungshöhe angeknüpft werden. Beide Voraussetzungen werden im Patent- und Gebrauchsmustergesetz (PatG bzw. GebrMG) eigenständig formuliert und implizieren jeweils eine gewisse Mindestqualität der zugrunde liegenden Forschung. Das Kriterium der Neuheit bezieht sich auf die Erweiterung der technischen Wissensgrenzen, das heißt, eine Erfindung gilt als neu, wenn sie nicht dem Stand der Technik entspricht. Nach dem Patentrecht umfasst dieser alle Kenntnisse, die der Öffentlichkeit vor dem Anmeldetag schriftlich oder mündlich, durch Benutzung oder auf irgendeine andere Weise zugänglich gemacht worden sind.290 Jede Vorveröffentlichung, also auch eine des Erfinders bzw. Anmelders, ist somit neuheitsschädlich und steht einer Patentvergabe entgegen. Für Gebrauchsmuster wird der Stand der Technik dagegen nicht ganz so eng formuliert – er schließt (lediglich) die Kenntnisse ein, die der Öffentlichkeit vor dem Anmeldetag schriftlich oder durch eine im Inland erfolgte Benutzung zugänglich gemacht worden sind. Zudem existiert eine sechsmonatige „Neuheitsschonfrist“ vor einer Gebrauchsmusteranmeldung, innerhalb der Veröffentlichungen durch den Erfinder oder den Anmelder unschädlich sind.291 Erfindungen, die zum Patent angemeldet werden, müssen auch eine strengere Anforderung hinsichtlich der Höhe des Wissensfortschritts erfüllen. So ist eine Erfindung nach dem Gesetz nur dann patentierbar, wenn sie auf einer „erfinderischen Tätigkeit“292 beruht und sich daher „für den Fachmann nicht in naheliegender Weise aus dem Stand der Technik er-

289 290

291 292

Vgl. Schmoch (2001), S. 150f., und Tavenas (2004), S. 25. Vgl. § 3 Abs. 1 und ergänzend Abs. 2 PatG. Anders ist dies in den USA und in Japan, wo Erfindungen bis zu zwölf Monate nach einer Publikation zum Patent angemeldet werden können (vgl. BMBF (2000)). Vgl. § 3 Abs. 1 GebrMG. § 1 Abs. 1 PatG.

128

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

gibt“293, wohingegen ihre Anmeldung zum Gebrauchsmuster nur einen „erfinderischen Schritt“294 erfordert. Neben diesen inhaltlichen Voraussetzungen signalisieren deren Überprüfung im Rahmen einer Patentierung, die lange Patentschutzdauer von in der Regel bis zu zwanzig Jahren sowie die hohen Patentierungskosten, dass nur Erfindungen mit großem wirtschaftlichen Potenzial zum Patent geführt werden. Auch insofern ist die ihnen zu unterstellende Qualität höher anzusetzen als diejenige von Erfindungen, die zu einem ohne Prüfung und daher günstiger zu erhaltenden Gebrauchsmuster mit einer maximalen Laufzeit von zehn Jahren angemeldet werden. Bei der Gestaltung eines Schutzrechtsindikators können diese Unterschiede durch eine Gewichtung der beiden Schutzrechtsarten oder eine Beschränkung auf Patente berücksichtigt werden. Besonders für Patente bietet sich aufgrund ihrer internationalen Bedeutung für eine qualitative Differenzierung auch eine Orientierung an der Größe ihrer Patentfamilie an.295 Sie ist anhand der Anzahl der Länder, in denen eine Erfindung zum Patent angemeldet wurde, zu bestimmen.296 In Ergänzung dazu ist es außerdem möglich, Gewichtungsfaktoren bezüglich der wirtschaftlichen Bedeutung dieser Länder, wie beispielsweise das Sozialprodukt, einzuführen.297 Sofern keine solche Gewichtung der Patente bzw. Gebrauchsmuster erfolgen soll, sind mehrere Schutzrechte zu einer Priorität nur einmal zu zählen. Das bedeutet für eine gemeinsame Analyse von Patenten und Gebrauchsmustern auch, dass die sich aus der Beantragung eines zweifachen Schutzes ergebenden Doppelzählungen eliminiert werden müssen. In einigen Ländern kann eine Erfindung nämlich sowohl für ein Patent als auch für ein Gebrauchsmuster angemeldet werden. Dies bietet den Vorteil, den schutzlosen Zeitraum zwischen der Anmeldung eines Patents und seiner Erteilung durch den schnelleren Gebrauchsmusterschutz zu überbrücken.298 Wie ein auf Erfindungsmeldungen bezogener Indikator kann ein Schutzrechtsindikator durch solche Erfindungen verzerrt werden, die nicht neu sind oder sich nicht in ausreichendem

293 294 295 296

297 298

§ 4 Satz 1 PatG. § 1 Abs. 1 GebrMG. Vgl. Faust (1993), S. 160, und Stock (2000), S. 262. Patentdatenbanken weisen ganze Patentfamilien nach oder führen einzelne Patente, die aber anhand der Prioritätsdaten zusammengeführt werden können (vgl. Stock (2000), S. 262). Vgl. Stock (2000), S. 262. Vgl. DPMA (2008a), S. 6.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

129

Maße vom technischen Entwicklungsstand abheben.299 Dieses Problem stellt sich insbesondere bei Analysen auf Basis veröffentlichter Patentanmeldungen sowie Gebrauchsmustereintragungen, da die jeweiligen Erfindungen nicht vom Patentamt im Hinblick auf den Stand der Technik überprüft werden. Bei einer Anmeldung wird lediglich begutachtet, ob die Erfindung dem Patent- bzw. Gebrauchsmusterschutz prinzipiell zugänglich ist, also zum Beispiel eine technische Erfindung vorliegt, und ob die formalen Anmeldebestimmungen eingehalten werden. Zwar bietet eine Analyse von Patentschriften in dieser Hinsicht aufgrund der vom Patentamt durchgeführten Prüfung der sachlichen Schutzvoraussetzungen eine größere Zuverlässigkeit, allerdings sind unsachgemäße Erteilungen von Patenten, deren jeweiliger Rechtsbestand sogar angegriffen und durch ein Nichtigkeitsverfahren zu Fall gebracht werden kann, nicht auszuschließen. Die Gründe hierfür liegen vermutlich weniger in mangelnden fachlichen, methodischen und sprachlichen Kompetenzen der Mitarbeiter in den Patentämtern oder nachlässigen, nicht gewissenhaft durchgeführten Prüfungen. Vielmehr stellt die Ermittlung des Stands der Technik aufgrund des riesigen Wissensbestands, der steigenden Wissensproduktion und der daraus resultierenden Informationsflut generell eine große Herausforderung dar. Ein weiterer Kritikpunkt ist, dass in einen Schutzrechtsindikator nur Erfindungen eingehen, denen ein wirtschaftliches Potenzial zugesprochen wird. Einerseits bleiben somit technische Erfindungen unberücksichtigt, die nicht zum Patent oder Gebrauchsmuster kommen, weil sie kein bzw. kein hinreichendes Vermarktungspotenzial aufweisen oder ihre wirtschaftliche Ertragskraft bisher nicht erkannt wurde. Andererseits kann aber auch nicht davon ausgegangen werden, dass ausschließlich Erfindungen mit Ertragspotenzial zum Patent oder Gebrauchsmuster kommen. Eventuell wird eine Erfindung sogar ohne bzw. vor Einschätzung der Marktchancen angemeldet, allein um die Prioritätsfrist zu sichern. Dafür spricht unter anderem, dass rund 20 % der Patentanmeldungen am DPMA vor ihrer Offenlegung zurückgezogen werden300 und nicht für jede offen gelegte Erfindung ein Prüfungsantrag gestellt wird. Darüber hinaus kann nicht von einer tatsächlichen ökonomischen Verwertung der Erfindungen ausgegangen werden. Schließlich gibt der Schutz einer Erfindung keine Garantie auf einen finanziellen Gewinn. Ob es überhaupt zur Anwendung einer Erfindung kommt, hängt von vielen weiteren Faktoren ab, wie etwa der Existenz eines geeigneten Verwertungspartners. Und wie erfolgreich eine solche Anwendung ist, entscheidet sich letztlich erst

299

300

Die gewerbliche Anwendbarkeit wird im Prinzip von allen technischen Erfindungen erfüllt, die auf irgendeinem gewerblichen Gebiet hergestellt oder benutzt werden können (vgl. – auch zu Beispielen für nicht gewerblich anwendbare Erfindungen – DPMA (2008b), S. 6). Vgl. Schmoch (2007), S. 4.

130

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

auf dem Markt.301 Wohl lassen sich prinzipiell für eine entsprechend qualitative Differenzierung zwischen den zum Patent bzw. Gebrauchsmuster angemeldeten Erfindungen deren ökonomische Wirkungen, wie Verwertungserlöse, Lizenzgebühren oder Verkaufswerte, als Gewichtungsfaktoren in einen Schutzrechtsindikator einbeziehen, allerdings sind solche – abgesehen davon, dass sie schwierig zu erheben sind – auch kritisch zu sehen, weil einzelne, wirtschaftlich sehr erfolgreiche Erfindungen über eine mengenmäßig insgesamt schwache Erfindungsleistung hinwegtäuschen können.302 Im Zusammenhang mit den genannten Verzerrungen ist auch auf die gemeinhin als unerwünscht betrachteten Anreizeffekte hinzuweisen, die beim Einsatz von Patenten und Gebrauchsmustern als Indikatoren zur Messung der Forschungsperformance entstehen können. So lassen sich möglicherweise die Zahl und die wahrgenommene Bedeutung der Schutzrechte durch Aufteilung größerer Erfindungen sowie ihre Anmeldung in mehreren Ländern erhöhen.303 Außerdem sind die Messergebnisse manipulierbar, indem solche Gegenstände zum Patent oder Gebrauchsmuster angemeldet werden, die die Schutzkriterien nicht erfüllen. Vor allem lassen sich Erfindungen patentieren oder in das Gebrauchsmusterregister eintragen, die keine positiven Erfolgsaussichten haben. Weiterhin vermögen Patentund Gebrauchsmusterindikatoren den Anreiz liefern, mehr in der Anwendungs- statt in der Grundlagenforschung aktiv zu sein. Dies könnte bei einem umfassenden Einsatz der Indikatoren aufgrund der Abhängigkeit der Anwendungs- von der Grundlagenforschung auf lange Sicht sogar die Innovationskraft eines Wirtschaftsstandorts schwächen. Schließlich ist es möglich, dass die Verwendung von Schutzrechtsindikatoren zur Bevorzugung risikoloser Mainstreamforschung führt, weil diese eher Forschungsergebnisse erwarten lässt als innovative und mit großem Risiko verbundene Projekte. Dies gilt aber nur, solange sich nicht allzu viele Forscher am Wettlauf um den Erhalt eines Patents beteiligen, da mit ihrer Anzahl die Wahrscheinlichkeit sinkt, das Patentrennen zu gewinnen und das Patent zu erhalten.304 Wie alle Datenbanken bergen auch diejenigen, die Schutzrechtsdokumente listen, Verzerrungspotenzial durch unvollständige und fehlerhafte Daten, wobei solche Unzulänglichkeiten bei den speziell von den Patentämtern erstellten Datenbanken im Vergleich zu den großen Literaturdatenbanken – nicht zuletzt wegen der rechtlichen Bedeutung der Schutzrechte – als geringer eingeschätzt werden können. Ebenso sind Zuordnungsprobleme möglich, die

301 302 303

304

Vgl. DPMA (2008b), S. 7, und Hornbostel (2004), S. 183. Vgl. Tavenas (2004), S. 25. Insbesondere das japanische Patentsystem erlaubt eine sehr feinmaschige Patentierung (vgl. Stock (2000), S. 263). Vgl. zum Innovationswettbewerb als „Patentrennen“ Feess (2004), S. 446f.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

131

etwa aufgrund identischer Namen unterschiedlicher Personen auftreten können. Sie müssen zum Beispiel anhand der Angaben in den Anmeldungen oder Patentschriften zu Titel, Wohnort, Miterfinder und Hochschule mit mehr oder weniger großem Aufwand geklärt werden. Zuletzt wird ein Problem angesprochen, das die unterschiedlichen Voraussetzungen im Hochschulbereich zur Beurteilung, schutzrechtlichen Absicherung und Verwertung technischer Erfindungen betrifft. Ob nämlich eine Erfindung zum Patent oder Gebrauchsmuster angemeldet wird und zur Anwendung kommt, hängt nicht nur von ihrem tatsächlichen ideellen und kommerziellen Wert, sondern auch von ihrem Entstehungsumfeld ab. Während zu Zeiten des Hochschullehrerprivilegs in erster Linie die individuellen Möglichkeiten und Interessen der Hochschullehrer maßgeblich für den Weg einer technischen Erfindung waren, sind heute vielmehr die Politik und Kultur der Hochschulen im Umgang mit Diensterfindungen sowie die dafür vorhandene Infrastruktur bedeutsam. Eine wesentliche Rolle bei der Bewertung der Schutzfähigkeit und -würdigkeit einer Erfindung, ihrer eventuellen Begleitung zum Patent oder Gebrauchsmuster und dessen Verwertung spielen mittlerweile auch die privatwirtschaftlich organisierten Patentverwertungsagenturen (PVA), die im Zuge der Förderung des Transfers von technischen Erfindungen in die Praxis gegründet wurden.305 Die bestehenden Unterschiede in den Strategien zur Schutzrechtserlangung und -verwertung sowie in der Qualifikation der jeweils zuständigen Personen, insbesondere deren variierende Branchen- und Marktkenntnisse, stellen spezifische Voraussetzungen dar, die vor allem bei hochschulübergreifenden Performancevergleichen zu Vor- oder Nachteilen für einzelne Untersuchungsobjekte führen können. In Anbetracht der Tatsache, dass sich der Stellenwert des Patentwesens in Gesellschaft, Wirtschaft und Politik seit jüngerer Zeit deutlich erhöht, gewinnen auch die technischen Schutzrechte als Indikatoren für wissenschaftliche Leistungen an Bedeutung und Aussagekraft. Während sie sich in einigen Disziplinen bereits durchgesetzt haben, sollten sie in anderen Wissenschaftsbereichen, in denen es (bisher) nur eine geringe Anzahl an Erfindungen und damit einhergehend nur wenige Patent- und Gebrauchsmusteranmeldungen gibt, vorsichtig eingesetzt werden. Da erfindungsbezogene Indikatoren generell nur sehr spezifischen Forschungsoutput erfassen, erscheint für eine umfassende Messung wissenschaftlicher Leistungen eine Kombination mit anderen Maßgrößen unerlässlich. Hierzu eignen sich insbesondere Publikationsindikatoren, die nicht patent- bzw. gebrauchsmusterfähige und -würdige Erfindungen sowie sonstige wissenschaftliche Erkenntnisse abbilden. Bei einer gemeinsamen Verwendung dieser Maßgrößen müssen allerdings eventuelle Doppelzählun-

305

Vgl. hierzu z.B. die Informationen des Verbands der deutschen Technologie- und Patentvermarktungsgesellschaften „TechnologieAllianz“ im Internet unter www.technologieallianz.de.

132

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

gen, die sich bei der Informationsgewinnung über Literaturdatenbanken, die auch Schutzrechtsdokumente enthalten, eliminiert werden. Inwieweit eine Ergänzung der Patent- und Gebrauchsmusterindikatoren auch durch Drittmittelindikatoren möglich und sinnvoll ist, wird unter anderem im nächsten Abschnitt diskutiert.

4.3.3

Drittmittel

Drittmittelforschung in Hochschulen liegt vor, wenn Forschungsvorhaben nicht aus den der Hochschule zur Verfügung stehenden Haushaltsgeldern, sondern aus Mitteln Dritter finanziert werden.306 Diese zusätzlichen, in der Regel zweckgebundenen Gelder werden von öffentlichen und privaten Stellen wettbewerblich auf Basis bestimmter Kriterien an Hochschulen, Hochschuleinrichtungen, Forschergruppen und einzelne Forscher vergeben. Der Gewährung geht meist ein Antrag mit einer zeitlichen und finanziellen Planung voraus, der von fachlich versierten Gutachtern geprüft wird. Die Mittelvergabe kann daraufhin entweder einmalig oder mehrmalig, dann aber zeitlich befristet, erfolgen.307 Die verschiedenen produktionsbezogenen Bedeutungen von Drittmitteln bei einer Performancemessung wurden bereits in Abschnitt 4.2.1 aufgezeigt. Im Mittelpunkt der Ausführungen hier steht die Betrachtung von Drittmitteln als Outcomeindikatoren für die Messung der Forschungsperformance. Der Erhalt von Fördergeldern wird also als Wirkung interpretiert, die sich aus dem Wettbewerb um zusätzliches Einkommen ergibt und vergangene oder zukünftige Forschungsleistungen anzeigt. In den Abschnitten 4.2.2 und 4.2.3 wurde ferner diskutiert, unter welchen Bedingungen solche outcomeorientierten Drittmittelindikatoren Forschungsleistungen theoretisch abbilden können. Demnach sind sie dafür überhaupt nur dann sinnvoll einsetzbar, wenn eine hohe Korrelation zwischen dem Erhalt bzw. dem Einsatz von Fördergeldern und der Wissensproduktion besteht. Wie ebenfalls dargelegt, hängt ihre Relevanz außerdem von dem Vorhandensein und der Verwendung geeigneter anderer Performancekennzahlen sowie vom Untersuchungszeitraum und von der Größe der betrachteten Forschungseinheiten ab. Hinzuzufügen ist noch, dass der Einsatz outcomeorientierter Drittmittelindikatoren bei einer Performancemessung im Hochschulbereich natürlich nur dann aussagekräftig ist, wenn für die Wissenschaftler, deren Leistungen bewertet werden, ein gewisser Zwang besteht, zusätzliche Ressourcen zur Durchführung von Forschung zu mobilisieren,308 oder wenn dritt-

306 307 308

Vgl. die Hochschulgesetze der Länder, z.B. § 71 Abs. 1 Satz 1 HFG. Vgl. Hornbostel/Heise (2006), S. 3, und DFG (2006), S. 21. Vgl. Hornbostel (1997), S. 212.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

133

mittelgeförderte Projekte eine höhere Qualität aufweisen als nur aus Haushaltsgeldern finanzierte Forschung. Bevor also Leistungen auf der Basis einer Drittmittelkennzahl gemessen werden, ist der Stellenwert der Fördergelder für die Forschung der betrachteten Untersuchungsobjekte zu prüfen. Dieser unterscheidet sich vor allem zwischen den Wissenschaftsdisziplinen. Während etwa in vielen Teilgebieten der Ingenieurwissenschaften Forschung ohne Drittmittel kaum noch möglich ist, kommt die geistes- und sozialwissenschaftliche Forschung mit weitaus weniger zusätzlichen Geldern aus. In einigen Teilgebieten Letzterer, wie beispielsweise in den Rechtswissenschaften, ist Drittmittelforschung sogar so unüblich, dass ein entsprechender Indikator die jeweilige Forschung kaum erfassen würde.309 Bei der Konstruktion eines Drittmittelindikators sind unter anderem die in eine Analyse einzubeziehenden Drittmittel auszuwählen. Die Interpretation von Fördermitteln als Outcome eines Wettbewerbs um Forschungsgelder legt es nahe, nur solche zu berücksichtigen, die antragsgebunden sind und wettbewerblich nach wissenschaftlichen Kriterien vergeben wurden. Den mit ihnen finanzierten Projekten ist aufgrund des erfolgreichen Durchlaufens der zugehörigen Forschungsannoncen durch einen von Fachexperten vorgenommenen Begutachtungsprozess eine gewisse Qualität zu unterstellen. Dies gilt nicht gleichermaßen für beispielsweise diejenigen Projekte, die ohne kritische Würdigung konkreter Forschungspläne von der Wirtschaft in Auftrag gegeben werden.310 Sofern mehrere Geldgeber unterschieden werden, lassen sich die Drittmittel in Abhängigkeit von den jeweiligen Selektionsverfahren qualitativ nach ihrer Herkunft gewichten.311 Beispielsweise werden häufig DFG-Mittel wegen ihrer restriktiven Vergabe, die an ein strenges fachwissenschaftliches Peer Review gebundenen ist, und dem großen Wettbewerb um diese Gelder im Vergleich zu Fördermitteln aus der Wirtschaft, mit denen teilweise eher Beratungs- statt Forschungsprojekte durchgeführt werden, als besonderer Leistungsausweis angesehen.312 Solch eine herkunftsbezogene Differenzierung von Drittmitteln muss allerdings insbesondere dann mit Vorsicht erfolgen, wenn grundlagen- und anwendungsorientierte Forschungsvorhaben einer Disziplin oder eines Faches tendenziell auf spezifische Förderer rekurrieren, die per se unterschiedliche Anforderungen an sie stellen.313 Weiterhin ist zu entscheiden, in welcher Form die Gelder berücksichtigt werden. Ein Drittmittelindikator kann sich zum Beispiel auf die Anzahl bewilligter Projekte sowie drittmittelfinan-

309

310 311 312 313

Vgl. im Hinblick auf die Drittmittelintensität in verschiedenen Wissenschaftsdisziplinen Hornbostel/Heise (2006), S. 3, und DFG (2006), S. 19ff. Vgl. Block/Hornbostel/Neidhardt (1992), S. 7, und Hornbostel/Heise (2006), S. 14. Vgl. Hornbostel (1997), S. 235, und Kieser (1998), S. 216. Vgl. Berghoff (2005), S. 75f. Vgl. zu diesem Problem Hornbostel/Heise (2006), S. 24.

134

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

zierter Personalstellen oder – so ist es üblicher – auf die Höhe der zugewiesenen bzw. verausgabten Drittmittel beziehen. Bei der Festlegung sind unter anderem disziplinenspezifische Besonderheiten zu beachten. So kann die Drittmittelsumme irreführend sein, wenn ein hoher Anteil der Gelder für teure Maschinen und Anlagen oder empirische Erhebungen eingesetzt wird, was an sich keine besondere Qualität des damit neu produzierten Wissens indiziert.314 Um für Objektvergleiche aussagekräftige Maße zu erhalten, muss die gewählte Drittmittelzahl an die jeweilige Größe der Objekte angepasst werden. Hierbei ist zu bedenken, dass sie nur in Relation zum nicht drittmittelgeförderten Input gesetzt werden sollte, denn je mehr Grundmittel einem Objekt zur Verfügung stehen, umso größer ist prinzipiell das Potenzial zur Akquise von Fördergeldern. Die Drittmitteleffizienz des Personals auf Planstellen gibt dann etwa an, wie erfolgreich ein einzelner Forscher bei der Einwerbung zusätzlicher Mittel war.315 Schließlich ist auch festzulegen, auf welchen Zeitraum sich eine Untersuchung beziehen soll und gegebenenfalls welche Personen dem (mit Planmitteln finanzierten) Forschungspersonal angehören. In Analogie zum Problem der Zurechnung von Mehrfachautorenschaften bei Publikationen und im Team entstandener Erfindungen muss darüber hinaus entschieden werden, wie Drittmittel im Falle von Forschungskooperationen den beteiligten Wissenschaftlern bzw. Instituten anzurechnen sind und wie die Daten erhoben werden können. Für die Datenerhebung von Drittmitteln fehlt grundsätzlich eine Quelle, die einheitliche und vollständige Informationen in disaggregierter Form zusammenstellt, sodass sie für Performancemessungen sämtlicher Forschungseinheiten des Hochschulbereichs verwendet werden könnte. Zwar geben die amtlichen Statistiken der Länder bzw. des Bundes Auskunft über Drittmitteleinnahmen, sie sind aber nur zur Bewertung von Untersuchungsobjekten auf höheren Hochschulebenen nutzbar. Zudem können nicht nur Erfassungslücken und -fehler zu Verzerrungen der Daten führen, sondern beispielsweise auch länderspezifische Regelungen zu Sonderkonten oder zur Auslagerung von Forschung auf nicht berücksichtigte Aninstitute.316 Aus diesen Gründen haben derzeit Befragungen von Wissenschaftlern bzw. Hochschulverwaltungen sowie von Forschungsförderern für die Erhebung von Drittmitteldaten eine hohe Bedeutung. Allerdings sind auch diese nicht unproblematisch. So erschweren etwa unterschiedliche Drittmitteldefinitionen sowie variierende Fachabgrenzungen die Generierung einer in sich stimmigen Datenbasis. Während außerdem im Rahmen von Hochschulbefragungen Daten leicht zur Vortäuschung einer guten Forschungsperformance manipuliert

314 315 316

Vgl. Hornbostel/Heise (2006), S. 24. Vgl. Cave et al. (1997), S. 188f. Vgl. Hornbostel/Heise (2006), S. 8.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

135

werden können, lassen die Angaben von Drittmittelgebern in der Regel nur Tendenzaussagen zur Drittmittelperformance zu. Schließlich erscheint es kaum möglich, sämtliche nationalen und internationalen Förderer, insbesondere diejenigen aus der Wirtschaft, zu kontaktieren und zur Auskunft über ihre eventuell sogar geheim zu haltende finanzielle Unterstützung der Hochschulforschung zu bewegen. Die Einholung von Informationen bei den Drittmittelgebern wird sich folglich eher auf die im jeweiligen Fach größten und bedeutendsten unter ihnen fokussieren. Gegen die Verwendung von Drittmitteln als Outcomeindikatoren wird vielfach Kritik geäußert. Die Einwände beziehen sich im Wesentlichen auf die einseitige Förderung bestimmter Forschungstypen und auf die Auffassung, dass Drittmittelindikatoren die Wirkungen der Forschung valide und reliabel messen können. Die einseitige Begünstigung gewisser Forschungstypen beruht vor allem darauf, dass die Bewilligung zusätzlicher Forschungsmittel an die Erfüllung bestimmter Kriterien gebunden ist. So erfordert die Antragstellung von Drittmitteln gewisse Vorarbeiten und eine detaillierte Planung eines Projekts. Neben einer inhaltlichen Steuerung der Forschung ermöglicht dies den Förderern, die Erfolgswahrscheinlichkeiten beantragter Projekte besser einzuschätzen, die eigenen Risikokapazitäten durch eine entsprechend gezielte Auswahl der zu unterstützenden Vorhaben zu begrenzen und letztlich ihre Legitimation als Begutachtungs- und Entscheidungsinstanz, die durch eine Vielzahl erfolgloser Projekte unterminiert würde, zu bewahren. Dadurch werden allerdings vorrangig solche Bereiche, die bei den Drittmittelgebern einer besonderen Förderungsbereitschaft unterliegen, unterstützt und innovative Forschungsgebiete behindert.317 Außerdem benötigt Grundlagenforschung oft weniger Drittmittel als angewandte Forschung, und mit industrienahen Geldern werden nicht selten Beratungsprojekte für die Wirtschaft anstelle von Forschungsprojekten durchgeführt.318 Die vorangehenden Überlegungen deuten darauf hin, dass bestimmte Forschungstypen nicht nur häufig in der Finanzierung zurückstehen, sondern auch über Drittmittelindikatoren lediglich in begrenztem Maße erfasst werden können. Entsprechend lassen sich die Leistungen von Wissenschaftlern, die weniger marktfähige Forschung durchführen, im Vergleich zu den Leistungen drittmittelbegünstigter Forscher kaum angemessen abbilden. Hinzu kommt, dass besonders effizient forschende Wissenschaftler, also diejenigen, die für einen bestimmten Forschungsoutput relativ wenig Fördergelder benötigen bzw. mit einem bestimmten Ein-

317 318

Vgl. Hornbostel (1997), S. 215 und 226, außerdem Münch (2006), S. 448ff. Vgl. Kieser (1998), S. 216.

136

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

satz an Fördergeldern einen relativ großen Output erzeugen, bei der Performancemessung durch Drittmittelindikatoren systematisch benachteiligt werden.319 Ein weiteres Problem outcomebezogener Drittmittelindikatoren, das im Zusammenhang mit der selektiven Forschungsförderung und der mangelnden Differenzierung zwischen effizienter und ineffizienter Drittmittelverwendung steht, sind die durch sie gesetzten Anreize. Diese weisen vor allem in Richtung wenig risikoreicher Mainstreamforschung und in kurzer Zeit erreichbarer Forschungsziele sowie der Verschwendung von Fördergeldern. Mit dem Einsatz von Drittmittelindikatoren zur Performancemessung ist vor allem die Gefahr verbunden, dass bestimmte Sachverhalte in zahlreichen Varianten erforscht werden, dadurch aber keine wesentlich neuen, sondern nur im Prinzip bereits bekannte Erkenntnisse gewonnen werden. Dies kann letztlich sogar die Innovationskraft der Wissenschaft insgesamt beeinträchtigen.320 Offen bleibt, inwieweit Drittmittel als Outcomeindikatoren auch tatsächlich die Qualität der Forschung erfassen können. Einerseits werden die Anträge zwar im Zuge der Drittmittelvergabe von Experten aus der Scientific Community oder der Wirtschaft beurteilt, sodass angenommen werden kann, eine erfolgreiche Zuteilung reflektiere eine hohe Qualität der bisherigen Forschungsleistungen und prognostiziere eine hohe Qualität der zukünftig mit den Geldern finanzierten Forschung, andererseits ist aber fraglich, ob die Gutachter die Forschungsvorhaben ausschließlich auf Basis sachlicher Kriterien beurteilen. Möglich ist nämlich zum Beispiel, dass solche Wissenschaftler und Forschungsgruppen bei der Drittmittelvergabe bevorzugt werden, die bereits früher erfolgreich Fördergelder akquiriert haben (MatthäusEffekt), renommierten Hochschulen angehören, die Denkschule der Gutachter vertreten oder eine freundschaftliche Beziehung zu diesen pflegen. Eine Überprüfung dieser auf die Annahmechancen eines Drittmittelantrags bezogenen Aspekte ist problematisch, da in der Regel die Vergabeprozesse selber, insbesondere die einzelnen Urteilskriterien und das Ausmaß der Gutachterübereinstimmungen, verborgen bleiben und kaum rekonstruierbar sind.321 Hauptkritikpunkt der Diskussion über den Einsatz von Drittmittelgrößen als Zweckindikatoren in der Performancemessung ist, dass sie den (eigentlichen) Output der Forschungsproduktion nicht reflektieren, sondern nur prognostizieren, womit grundsätzlich ein größeres Fehlerpotenzial einhergeht. Schließlich ist der Erhalt von Drittmitteln nicht zwangsläufig mit der Schaffung neuen Wissens verbunden. Es kann allenfalls von einer höheren Erfolgswahrscheinlichkeit drittmittelfinanzierter Forschung im Vergleich zu ausschließlich durch das

319 320 321

Siehe Abschnitt 4.2.2. Vgl. auch Gillett (1989), S. 30f., und Kieser (1998), S. 216. Vgl. Münch (2006), S. 448ff. Auf die Intransparenz der Drittmittelvergabe weist Hornbostel (1997), S. 214, hin.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

137

Grundetat getragenen Tätigkeiten ausgegangen werden. Dafür sprechen vor allem die bereits im Vorfeld einer Antragstellung durch die Forscher ausgeübte qualitative Selbstselektion wie auch die Einschätzung seitens der Fachexperten. Darüber hinaus verfügen drittmittelfinanzierte Forschungseinheiten im Vergleich zu anderen aufgrund der größeren finanziellen und somit auch umfassenderen und eventuell höherwertigeren personellen bzw. materiellen Ausstattung über bessere Produktionsbedingungen, die für den Erfolg der Wissensproduktion förderlich sein können. Außerdem werden nur detailliert planbare, projektförmige und damit zeitlich überschaubare Forschungsvorhaben finanziert, für die eher Ergebnisse zu erwarten sind als für weniger konkret durchdachte Tätigkeiten.322 Doch auch wenn vieles auf den erfolgreichen Abschluss eines Drittmittelprojekts deutet, kann ein solcher letztlich nie mit Sicherheit vorhergesagt werden, da jede Prognose dem Risiko der Fehleinschätzung unterliegt. Dies betont noch einmal, dass die Aussagekraft von Drittmitteln als Outcomeindikatoren maßgeblich vom realen Zusammenhang zwischen dem Erhalt von Fördergeldern bzw. ihrem Einsatz und den aus dem jeweiligen Forschungsprozess resultierenden Erkenntnissen abhängt.323 Entgegen mancher Auffassung, dass Drittmittel nur als Maß für den Ressourcenverbrauch der Forschung eingesetzt werden sollten und trotz der in diesem Abschnitt aufgeführten Probleme sind Drittmittel als Outcomeindikatoren zur Performancemessung weit verbreitet.324 Es wird empfohlen, sie bei einer outcomeorientierten Sicht nicht alleine zu verwenden, sondern sie durch andere Indikatoren zu ergänzen bzw. sie zumindest mit ihnen zu konfrontieren.325 Insbesondere sollten – je nach fachlicher Ausrichtung der betrachteten Objekte – Publikations- oder Erfindungsindikatoren neben Drittmittelkennzahlen betrachtet werden. Während die beiden Erstgenannten vergangene Leistungen abbilden, prognostizieren Letztere zukünftige Forschungsergebnisse und beinhalten außerdem Infrastrukturinvestitionen sowie das Scheitern eines Projekts.326

322 323

324 325 326

Vgl. die Überlegungen von Hornbostel (1997), S. 215. Bisher existieren nur wenige empirische Studien über den Zusammenhang von Drittmitteleinnahmen und Forschungserkenntnissen. Diese kommen zu unterschiedlichen Ergebnissen: Bentham (1987) findet beispielsweise für British university geography departments keine Beziehung zwischen erhaltenen Forschungsgeldern und Publikations- oder Zitationsraten. Hornbostel (2001b) kommt dagegen auf Basis einer Analyse der Drittmittelforschung deutscher Universitäten zu dem Schluss, dass in Fächern, in denen Drittmittel üblich sind, ein Drittmittelindikator in dieselbe Richtung zeigt wie bibliometrische Indikatoren. Moed et al. (1998) ermitteln wiederum speziell für flämische Universitäten bei hohem Drittmittelwachstum eine abnehmende Publikationsproduktivität und ähnlich konstatieren Jansen et al. (2007), dass sich Drittmittel zunächst positiv, ab einem disziplinenspezifischen Niveau aber negativ auf den absoluten Publikationsoutput und die Publikationsproduktivität auswirken. Siehe die Einführung in Abschnitt 4.2 und die dort genannte Literatur. Vgl. z.B. Hornbostel (1997), S. 236f. Vgl. Hornbostel (2001a), S. 113.

138

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

4.3.4

Sonstige Faktenindikatoren

4.3.4.1 Promotionen An Universitäten und ihnen gleichgestellten Hochschulen ist die Doktorandenausbildung das Bindeglied zwischen Forschung und Lehre. Sie dient der Vorbereitung des wissenschaftlichen Nachwuchses auf eine wissenschaftliche Laufbahn oder die Übernahme verantwortlicher Tätigkeiten in anderen Bereichen der Gesellschaft, in der Wirtschaft sowie in der Politik und sichert somit auch den Fortbestand und die Weiterentwicklung der Wissenschaft insgesamt. Das primäre Ziel dieser forschungsorientierten Ausbildung ist die Befähigung der Doktoranden zum selbstständigen wissenschaftlichen Arbeiten. Weitere Ziele liegen etwa in der Vermittlung sonstiger beruflicher sowie persönlicher Kompetenzen.327 Die Qualifikation wird nach bestandener Promotionsprüfung, deren Hauptbestandteil eine Dissertation ist, mit der Verleihung des Doktorgrades von den Hochschulen bzw. den prüfenden Professoren bestätigt und somit nach außen transparent gemacht. Aus produktionstheoretischer Perspektive sind Promotionen Output der Doktorandenausbildung. Auf sie gerichtete Indikatoren beleuchten zum einen den Erfolg der Professoren in der Nachwuchsförderung, zum anderen geben sie Hinweise auf Forschungsleistungen, und zwar einerseits direkt auf diejenigen der Doktoranden, deren Dissertationen einen Beitrag zum wissenschaftlichen Erkenntnisfortschritt enthalten, sowie andererseits indirekt auf diejenigen der ausbildenden Professoren. Die Indikatoren werden bei einer Performancemessung selten allein betrachtet. Vielmehr sind sie in der Regel – und daher auch hier – in den Kontext der Forschung eingeordnet. Aufgrund der Parallelen zwischen der Nachwuchsförderung und der Aus- bzw. Weiterbildung der sonstigen Hochschulabsolventen erscheint aber ebenso eine Betrachtung im Zuge der Lehrbewertung möglich. Wie die bisher behandelten Forschungsindikatoren sollten auch Promotionsindikatoren immer fachspezifisch eingesetzt werden, um entsprechende Besonderheiten in der Nachwuchsförderung berücksichtigen zu können. So gehört etwa die Promotion in einigen Fächern, insbesondere der Medizin, zum Standardabschluss einer hochschulischen Ausbildung, wohingegen sie in anderen, vorwiegend geistes- und sozialwissenschaftlichen Fächern eher die Ausnahme darstellt.328 Außerdem sind größere Unterschiede zwischen den Anforderungen an eine Promotion zu verzeichnen, die sich vorwiegend in den Dissertationen

327

328

Siehe hierzu im Detail das vom Wissenschaftsrat formulierte „Qualifikationsprofil von Promovierten“ (vgl. Wissenschaftsrat (2002), S. 48f.). Beispielsweise betrug die Promotionsintensität an deutschen Hochschulen im Jahr 2000 in der Humanmedizin 80,0 %, in den Wirtschaftswissenschaften lag sie dagegen bei 5,7 % und in den Erziehungswissenschaften bei 8,4 % (vgl. Wissenschaftsrat (2002), S. 7f. und 108ff.).

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

139

widerspiegeln. Während diese in den meisten Fächern grundsätzlich einen substanziellen Beitrag zum wissenschaftlichen Fortschritt liefern, sind sie nach Einschätzung des Wissenschaftsrats in der Medizin oftmals weniger innovativ und haben dort überwiegend das Niveau von Abschlussarbeiten eines ersten Studiums.329 Für die Ausgestaltung eines Promotionsindikators ist festzulegen, welche erfolgreich abgeschlossenen Doktorprüfungen mit welchem Anteil einem Untersuchungsobjekt zugerechnet werden. Ein einfacher Weg führt über eine Zählung der Dissertationen, für die ein Erstgutachten übernommen wurde, was impliziert, dass die Nachwuchsbetreuung in der Verantwortung der jeweiligen Doktormutter oder des jeweiligen Doktorvaters liegt. Möglich sind aber auch zum Beispiel eine anteilige Zurechnung der Dissertationen auf ihren Erst- und Zweitgutachter oder eine Aufteilung der im Rahmen eines Graduiertenkollegs entstandenen Promotionen auf sämtliche darin involvierte Professoren. Um bei Vergleichen Größeneffekte auszuschalten, kann die so ermittelte Promotionstätigkeit bei Vorliegen konstanter Skalenerträge über Produktivitätsindikatoren abgebildet werden. Dabei sind etwa die Summen der in einem bestimmten Zeitraum erfolgreich abgeschlossenen Promotionen bzw. die Anteile daran auf die Anzahl der dem jeweiligen Untersuchungsobjekt angehörigen Professoren zu beziehen. Speziell zur Erfassung des Erfolgs der Nachwuchsförderung lässt sich auch eine Promotionsintensität als Anzahl der Promotionen pro Hochschulabsolvent der nicht promotionsbezogenen Studiengänge berechnen. Außerdem kann – zumindest theoretisch – eine Erfolgsquote aus den Zahlen der abgeschlossenen und begonnenen Promotionen bestimmt werden. Aufgrund der unzureichenden Daten über Letztere ist eine solche derzeit allerdings kaum umzusetzen. Im Hinblick auf den für Promotionsindikatoren angemessenen Untersuchungszeitraum ist davon auszugehen, dass sich kurzfristige Schwankungen der Promotionszahlen bei der Betrachtung größerer Objekte ausgleichen und eine Erhebung über wenige Semester aussagekräftige Ergebnisse liefern kann. Demgegenüber sollten bei der Analyse der Promotionsleistungen einzelner Professoren aufgrund der teilweise bzw. zeitweise extrem geringen Absolutzahlen zur Vermeidung von Verzerrungen längere Zeitspannen betrachtet werden. Ein Manko betrachteter Promotionsmengen ist, dass sie nichts über die Güte der Nachwuchsförderung und der Forschungsleistungen aussagen. Implizit wird damit den Promovierten bzw. den mit der Doktorandenausbildung im Zusammenhang stehenden Forschungserkenntnissen die gleiche Qualität unterstellt. Solch eine Annahme ist bei Objektvergleichen

329

Vgl. Wissenschaftsrat (2002), S. 59f.

140

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

allerdings aufgrund fehlender hochschulübergreifender Leistungsstandards oder beispielsweise unterschiedlicher Anforderungen der Professoren eines Fachbereichs nicht gerechtfertigt.330 Die Promotionen sollten daher einer qualitätsgewichteten Bewertung unterzogen werden. Als Kriterien hierfür bieten sich grundsätzlich der berufliche Erfolg der Promovierten sowie die Resonanz auf ihre Dissertationen in der Scientific Community an. Beide lassen sich jedoch meist erst mit zeitlicher Verzögerung erfassen – außer etwa die Akzeptanz kumulativer Dissertationen, die etwa anhand bereits veröffentlichter Aufsätze in Fachzeitschriften abgeschätzt werden kann. Zudem sind bisher kaum Informationen zum Berufsweg der Promovierten bekannt.331 Die relativ einfach zu erhebenden Noten der Dissertationen können wiederum allenfalls Hinweise auf die Qualität der von den Nachwuchswissenschaftlern erbrachten Forschungsleistungen geben. Zur Bewertung der Qualität der Doktorandenausbildung sowie der Güte der professoralen Forschungsleistungen sind sie dagegen schon allein deshalb weniger geeignet, weil sie von denjenigen, deren Leistungen zu bewerten sind, selber vergeben werden. Ohne eine Hinzuziehung qualitativer Aspekte kann eine Messung der Promotionstätigkeit jedoch mit unerwünschten Anreizen verbunden sein. Sie birgt insbesondere die Gefahr einer Absenkung der Leistungsstandards für die Ausbildung von Nachwuchswissenschaftlern und damit auch der Inflation von Forschungsarbeiten mit nur geringem wissenschaftlichen Fortschritt, denn auf diese Weise ist es den Professoren möglich, die Promotionsquoten ohne zusätzliche Anstrengungen zu erhöhen.332 Möglicherweise sind sie sogar geneigt, verstärkt Forschungsvorhaben zu betreuen, die sich auf das disziplinär Übliche richten, um riskante Fehlschläge sowie dadurch bedingte Verlängerungen der Ausbildungszeiten zu vermeiden und den Durchsatz an Doktoranden zu erhöhen.333 Weitere wesentliche Einschränkungen der Aussagekraft von Promotionsindikatoren zur Bewertung der Nachwuchsförderung und der professoralen Forschungsleistung sind auf die Rolle der Doktoranden als Studierende bzw. Wissenschaftler zurückzuführen. Als Studierende stellen sie externe Faktoren der Nachwuchsförderung dar. Diese ist – wie jede andere Ausbildungsleistung – eine Dienstleistung, die der Integration und Mitwirkung der Lernenden bedarf.334 Ihr Erfolg ist somit nicht allein von dem Lehrpotenzial und der Lehraktivität der Pro-

330

331

332 333 334

Vgl. im Hinblick auf die Qualität von Dissertationen Schenker-Wicki (1996), S. 117, und Stifter (2002), S. 251. Vgl. Wissenschaftsrat (2004), S. 46. Es sei an dieser Stelle auch auf die Probleme der bibliometrischen Bewertung (siehe Abschnitt 4.3.1) hingewiesen. Vgl. Stifter (2002), S. 251f. Vgl. im Kontext der Verkürzung von Promotionszeiten Wissenschaftsrat (2002), S. 68. Siehe daher die Ausführungen zur Lehre in Abschnitt 3.2.2.2.2.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

141

fessoren abhängig, sondern wird auch maßgeblich von der Integrationsevidenz, den wissenschaftlichen Ambitionen und den individuellen Fähigkeiten der Nachwuchswissenschaftler sowie der Interaktion zwischen ihnen und den Professoren bestimmt. Letztere steht teilweise im Zusammenhang mit der Stellung der Doktoranden zur Hochschule. Während Promovierende, die als Wissenschaftliche Mitarbeiter auf einer Planstelle an einem Lehrstuhl oder drittmittelfinanziert in einem Forschungsprojekt arbeiten, wie auch die Teilnehmer eines Graduiertenkollegs eher einen engen Kontakt zu den Professoren haben, ist die Beziehung zwischen manch extern Promovierendem und den Hochschulen weitaus weniger intensiv. Möglich ist sogar, dass ein Doktorand seine Dissertation ohne die Betreuung von Professoren erstellt und lediglich von diesen geprüft wird. In solchen Fällen sind Promotionen weniger ein Indiz für die Aktivitäten der Professoren in der Nachwuchsförderung, als vielmehr ein Hinweis auf deren Prüfungsbereitschaft. Zudem weisen sie dann kaum auf die Forschungsleistungen der Professoren hin. Dies ist nämlich prinzipiell nur möglich, wenn die Qualifizierung der Doktoranden im wissenschaftlichen Umfeld der Professoren erfolgt335 und sich deren Forschungsleistungen auch in denen ihrer Schüler niederschlagen.336 Ansonsten kommt in Promotionskennzahlen im Hinblick auf die Produktion neuen Wissens eher allein die Rolle der Doktoranden als eigenständig forschende Wissenschaftler zum Tragen. Festzuhalten ist, dass sich die Erhebung von Promotionsindikatoren zur Abbildung der quantitativen Dimension der Ausbildung von Nachwuchswissenschaftlern und deren bzw. der professoralen Forschungsleistungen durchaus als sinnvoll erweist. Im Rahmen einer Performancemessung sollten sie aber aufgrund der möglichen Verzerrungseffekte möglichst mit anderen Maßgrößen kombiniert werden – vor allem im Hinblick auf die Bewertung der Forschungstätigkeit von Professoren, weil sich diese nicht in der Produktion von Promotionen erschöpft, sondern auch zum Beispiel in Publikationen oder Patenten und Gebrauchsmustern zum Ausdruck kommt. Bei der Gestaltung bzw. Interpretation solch parallel verwendeter Forschungsindikatoren zur Bewertung von zum Beispiel Fachbereichen ist eine mögliche Überschneidung der Promotionszahlen mit den weiteren Werten, insbesondere den Publikationsmengen zu beachten.337 Diese tritt zum Beispiel auf, wenn in den Veröffentlichungen auch die als Dissertationen eingereichten Schriften der Nachwuchswissenschaftler eines Fachbereichs enthalten sind.

335

336 337

Nach Hornbostel sind Promotionszahlen sogar generell nur dann als Forschungsindikatoren geeignet, wenn Promotionen eng an Forschungsprojekte gebunden sind (vgl. Hornbostel (2004), S. 183f.). Vgl. Stifter (2002), S. 251. Vgl. Weber (1996), S. 85.

142

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

4.3.4.2 Preise, Auszeichnungen und Ehrungen Preise, Auszeichnungen und Ehrungen werden mit der expliziten Absicht der Beurteilung und Anerkennung vergeben. Sie stellen Ergebnisse wissenschaftsinterner Peer Reviews dar,338 die die Wirkungen bestimmter Forschungsleistungen kennzeichnen. Ihre Verarbeitung zu einem Indikator erfolgt durch Zählung aller Preise, Auszeichnungen bzw. Ehrungen, die innerhalb des Untersuchungszeitraums auf den oder die betrachteten Wissenschaftler fallen. Je nach Verwendungszweck der Performancemessung sind die einzelnen Anerkennungen nach der Qualität der vergebenden Stellen zu gewichten und die Indikatoren gegebenenfalls als Pro-Kopf-Zahlen auszuweisen. Die Auswahl der zu berücksichtigenden Größen ist immer fachspezifisch zu treffen, da die Vergaben weitgehend themen-, gebiets- und disziplinenbezogen erfolgen.339 Beispielsweise haben Wirtschaftswissenschaftler, nicht aber Historiker Chancen auf den Nobelpreis. Generell sollte sich eine Performanceanalyse auf solche Anerkennungen beschränken, die auf Basis einer strengen Beurteilung durch Experten vergeben werden. Andere Anerkennungen, unter ihnen insbesondere Auszeichnungen und Ehrungen, sind eher ein Zeichen für das allgemeine Ansehen und den Einfluss bestimmter Wissenschaftler, nicht aber für deren Forschungserkenntnisse. Ihre Einbeziehung in die Indikatoren kann daher zu verzerrten Ergebnissen führen.340 Außerdem kann berücksichtigt werden, dass die Qualität einer Anerkennung von ihrer Seltenheit abhängt und zuweilen besonders groß ist, wenn diese an Geldzahlungen oder konkrete Privilegien geknüpft wird.341 Selbst bei einer Eingrenzung der Untersuchung auf durch wissenschaftliche Gremien verliehene Preise, denen eine hohe Bedeutung zukommt, ist die Performancemessung mit Kritik verbunden. Folgende Aspekte sollten grundsätzlich beachtet werden: Die Vergabe von Wissenschaftspreisen ist in großem Maße von der jeweiligen Stifterorganisation abhängig. Diese verfolgt in der Regel eigene Interessen mit der Preisverleihung, wie zum Beispiel die Förderung eines speziellen Wissenschaftsgebiets oder auch einen Prestigegewinn, der sich über den Preis auf den Stifter übertragen kann.342 Ähnlich den Drittmittelgebern setzen auch preisverleihende Institutionen mehrere leistungsunabhängige Kriterien, die von Forschern erfüllt werden müssen, damit sie überhaupt Chancen auf einen Preis ha-

338 339 340 341 342

Vgl. Hornbostel (1997), S. 208, oder Weingart/Winterhager (1984), S. 157. Vgl. Weingart (1995), S. 79. Vgl. Stifter (2002), S. 249f. Vgl. Frey/Neckermann (2006), S. 274f. Vgl. Frey/Neckermann (2006), S. 275, und Hornbostel (1997), S. 209.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

143

ben. Zu diesen Auflagen zählen etwa eine Eingrenzung der Preisvergabe auf bestimmte Wissenschaftsdisziplinen, eine zeitliche Beschränkung auf aktuelle Forschungsergebnisse oder alternativ eine Ausweitung auf Lebenswerke, eine Einschränkung auf bestimmte Personengruppen, wie etwa Nachwuchswissenschaftler, und eine regionale Begrenzung der Preisvergabe. Aufgrund der mit dieser Selektivität der Auswahlprozesse verbundenen Heterogenität der Preise erweist sich ihre Verrechnung zu einem einzigen Indikator als problematisch.343 Wie auch die Auswahlverfahren der Drittmittelförderung sind die Vergabeprozesse von Wissenschaftspreisen lediglich in geringem Maße transparent und die Indikatoren daher nur in Grenzen reliabel. Es stellt sich auch hier die Frage, inwieweit herausragende Forschung überhaupt identifiziert und gegebenenfalls sogar disziplinenübergreifend beurteilt werden kann, das heißt, wie valide die Urteile der Entscheider sind. Außerdem ist es beispielsweise möglich, dass Preise nicht nur die wissenschaftlichen Leistungen der Forscher prämieren, sondern auch ihre Fähigkeiten zur Lobbyarbeit bei den preisverleihenden Organisationen344 oder sonstige politische Gründe einen Einfluss auf die Vergabeentscheidungen haben.345 Darüber hinaus können zum Beispiel der Matthäus- und der Halo-Effekt die Aussagekraft der Indikatoren beeinträchtigen. Ein letzter hier zu nennender kritischer Aspekt der Verwendung von Preisen als Indikatoren ist die häufig große zeitliche Distanz zwischen den Forschungsergebnissen bzw. deren Verbreitung und den Preisverleihungen.346 Zwar gelingt es dadurch, vorwiegend Leistungen zu honorieren, die einen dauerhaften Beitrag zum wissenschaftlichen Fortschritt darstellen,347 dies steht aber der üblicherweise geforderten zeitnahen Beurteilung von Leistungen entgegen und benachteiligt außerdem junge Forscher, die erst am Anfang ihrer wissenschaftlichen Laufbahn stehen. Aufgrund der beschriebenen hohen Spezialisierung sowie der relativ geringen Anzahl von Wissenschaftspreisen, die auch für Auszeichnungen und Ehrungen gelten, lässt deren Erhalt zwar auf exzellente Forschungsleistungen, deren Fehlen aber nicht auf die Produktion wissenschaftlich geringwertiger Arbeit schließen. Das heißt, Indikatoren, die auf solchen Aner-

343 344 345 346

347

Vgl. Hornbostel (1997), S. 209. Vgl. Tavenas (2004), S. 25. Vgl. Marginson/van der Wende (2007b), S. 312. Beispielsweise wird der Nobelpreis, mit dem laut seinem Stifter Alfred Nobel die besten wissenschaftlichen Leistungen des vergangenen Jahres gewürdigt werden sollen, meist für weiter zurückliegende Forschungsleistungen verliehen (vgl. Frey/Neckermann (2006), S. 277, und die dort angegebene Literatur sowie Weingart/Winterhager (1984), S. 165). Vgl. Hornbostel (1997), S. 210f.

144

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

kennungen basieren, bilden nur einen geringen Teil herausragender Forschungsleistungen ab, lassen aber zahlreiche hochwertige Arbeit unberücksichtigt. Aus diesen Gründen sind die Kennzahlen für eine umfassende Performancemessung nicht ausreichend und sollten lediglich zur Ergänzung und Validierung anderer Forschungsindikatoren verwendet werden.348

4.3.4.3 Forschungsstipendien und Gastwissenschaftler Ähnlich den Preisen, Auszeichnungen und Ehrungen werden Forschungsstipendien auf Basis besonderer Beurteilungsverfahren vergeben. Sie stellen nicht nur eine Belohnung und Förderung für die individuellen Leistungen von Nachwuchswissenschaftlern dar, sondern zeichnen darüber hinaus auch die Forschungsinstitute aus, denen die Stipendiaten angehören bzw. aus denen sie kommen. Ein sehr hoher Anteil an Forschungsstipendiaten in einer Hochschuleinrichtung kann daher – ähnlich den Promotionen – auf hervorragende Ausbildung, Betreuung und besonderes Engagement in der Forschung hinweisen.349 Wie die anderen Forschungsindikatoren sind Stipendienkennzahlen immer fachspezifisch zu erheben, um der unterschiedlichen Bedeutung von Stipendien in den einzelnen Wissenschaftsdisziplinen Rechnung zu tragen. Sofern die Förderungen mehrerer vergebender Stellen in eine Untersuchung einbezogen werden, können die Stipendien qualitativ nach ihrer Herkunft gewichtet werden.350 Grundsätzlich ist die Aussagekraft eines Stipendiatenindikators zum Beispiel im Hinblick auf die Fairness der Verfahren zur Auswahl der Forschungsstipendiaten in Frage zu stellen.351 Eine andere Möglichkeit für die Beurteilung der Forschungsleistungen von Hochschuleinrichtungen auf Basis von Stipendiatenzahlen bietet die Analyse von Gastwissenschaftlern, wie beispielsweise der Alexander von Humboldt-Stipendiaten (und -Preisträger) sowie der durch den DAAD (Deutscher Akademischer Austauschdienst) geförderten ausländischen Wissenschaftler, die zu einem Forschungsaufenthalt nach Deutschland eingeladen werden. Da die Wissenschaftler ihr Gastinstitut in der Regel frei wählen, gelten die Indikatoren als Indiz für qualitativ hochwertige Forschung dieser Institute. Inwieweit diese Wirkungs- bzw. Reputationsmaße geeignet sind, Forschungsleistungen abzubilden, ist fachspezifisch zu prüfen – vor allem im Hinblick auf die Repräsentativität der zum Teil in den Wissenschaftsdisziplinen nur geringen Anzahl ausländischer Gastwissenschaftler. Ein wesentlicher Kritik-

348 349 350 351

Vgl. Hornbostel (1997), S. 209ff. Vgl. Rau (1986), S. 74, und Stifter (2002), S. 249. Vgl. Stifter (2002), S. 249. Vgl. Teichler/Enders/Daniel (1998), S. 240f.

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

145

punkt bei der Heranziehung von Gastwissenschaftlern zur Performancemessung ist, dass die Indikatoren eher die (internationale) Attraktivität alter, bekannter Universitätsstädte als die Forschungsleistungen einzelner Hochschuleinrichtungen wiedergeben könnten.352

4.3.5

Forschungsreputation

Wissenschaftliche Reputation ist das Ansehen eines Forschers oder einer wissenschaftlichen Einrichtung, das auf der vielfältigen Wahrnehmung von Forschungsleistungen basiert.353 Sie bildet sich insbesondere aus den wissenschaftlichen Erkenntnissen, die über Publikationen und Vorträge verbreitet oder durch Schutzrechte gesichert werden, wie auch aus deren Wirkungen in Form von Zitaten, Drittmitteleinnahmen, Wissenschaftspreisen, Auszeichnungen und Ehrungen. Im Bereich von Hochschulen mit Promotionsrecht ist die Förderung der Doktoranden ein weiterer bedeutender Einflussfaktor für den wissenschaftlichen Ruf, denn die Nachwuchswissenschaftler repräsentieren ihre Ausbildungsstätte sowohl während der Promotionsphase durch die Teilnahme an der schriftlichen Fachkommunikation und dem mündlichen Wissensaustausch auf Tagungen als auch nach der Promotion als Postdoktoranden in Hochschulen und Forschungsinstituten oder als Führungspersönlichkeiten in Gesellschaft, Wirtschaft und Politik.354 Reputation stellt einen zentralen extrinsischen Motivationsfaktor im wissenschaftlichen Wettbewerb dar. Dieser richtet sich einerseits auf die immaterielle Anerkennung von Forschungsleistungen, andererseits auf deren materielle Wertschätzung durch zum Beispiel Gehälter und Sachmittelausstattungen. Schließlich ist das Ansehen ein im wissenschaftlichen Bereich häufig herangezogenes Entscheidungskriterium, so etwa bei der Standortwahl eines Nachwuchswissenschaftlers oder bei Berufungs- und Bleibeverhandlungen.355 Im Rahmen einer Performancemessung lässt sich die wissenschaftliche Reputation als Outcome der Forschungsproduktion auffassen. Im Gegensatz zu den bisher vorgestellten Einzelindikatoren, die sich jeweils auf bestimmte Ergebnisse wissenschaftlicher Leistungen beziehen, basieren aus ihr gebildete Messgrößen – wie bereits angedeutet wurde – auf verdichteten Gesamteindrücken, wodurch die Auswahl und die Aggregation einzelner Performancekriterien implizit auf die Beurteiler übertragen werden.

352 353

354

355

Vgl. Giese (1988), S. 74ff. Für Hochschulwissenschaftler stellt die Forschungsreputation eine von mehreren Reputationsarten dar (vgl. Brenzikofer (2002), S. 178ff.). Zur Bedeutung der Nachwuchsförderung für die Reputation vgl. Brandenburg/Federkeil (2007), S. 16, Kree (2007), S. 78, und Wissenschaftsrat (2002), S. 58. Vgl. Brenzikofer (2002), S.165f., Franck/Opitz (2004), S. 79, und Merton (1988), S. 621.

146

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Da Prestige vornehmlich innerhalb der Scientific Community zugeteilt wird, sollte es stets fachspezifisch erhoben werden. Dies ist aber selbst nur dann sinnvoll, wenn innerhalb der Fachgemeinschaft ein gewisser Konsens in der wissenschaftlichen Bewertung von Kollegen besteht. Zu befragen sind insbesondere ausgewiesene Fachexperten oder eine repräsentative Menge der in dem jeweiligen Fach tätigen Hochschulwissenschaftler.356 Die Urteile können gegebenenfalls nach deren wissenschaftlichen Erfahrungen bzw. Berufsstatus, also etwa nach Professoren und Wissenschaftlichen Mitarbeitern, gewichtet werden. Für die Bildung eines quantitativen Reputationsindikators gibt es verschiedene Messformen. Einer ersten liegt die Nennung forschungsstarker Wissenschaftler bzw. Einrichtungen mit einem hohen wissenschaftlichen Renommee zugrunde. Eine zweite Form beruht auf der Einstufung der Untersuchungsobjekte auf einer vorgegebenen Skala und eine dritte – allerdings nur für kleinere Objektmengen geeignete – Variante ist die Bildung einer Objektrangfolge. Vor der jeweiligen Zusammenführung mehrerer erhobener Meinungen sollten von den Befragten eventuell abgegebene Selbstempfehlungen eliminiert werden. Dass Beurteilungen der wissenschaftlichen Performance generell, und zwar auch solche von Fachexperten, Mängel aufweisen, wurde bereits bei der Analyse mehrerer Forschungsindikatoren aufgezeigt. Diese und weitere Schwachstellen von Reputationsindikatoren werden im Folgenden beleuchtet. Ein erster Kritikpunkt ist, dass Reputationsindikatoren auf Globalurteile zurückzuführen sind. Die von den Befragten jeweils subjektiv gewählten Kriterien zur Bewertung der Forschungsperformance und deren Gewichtungen bleiben stets verborgen, sodass sich das Zustandekommen der Reputation nicht nachvollziehen lässt. Ein weiterer diskutierter Aspekt ist die Kompetenz der Beurteiler. Schon allein mit Blick auf die inhaltliche Breite vieler Wissensgebiete und ihre interdisziplinären Verknüpfungen ist fraglich, inwieweit ein Beurteiler überhaupt einen aktuellen und umfassenden Überblick über die Forschungsgegenstände anderer Wissenschaftler haben kann.357 Vor allem bei Beurteilungen größerer Hochschuleinrichtungen, wie zum Beispiel Fachbereichen, ist kaum davon auszugehen, dass ein Individuum all deren wissenschaftliche Arbeiten kennt, um sie angemessen in ein Urteil einfließen lassen zu können.358

356

357 358

Vgl. Gillett (1989), S. 32. Die Beurteilungskompetenz von Unternehmensvertretern ist dagegen insofern zu bezweifeln, als dass ihnen der Überblick sowie das fundierte Wissen über sämtliche Personen und Institutionen der Wissenschaft fehlen (vgl. Usher/Savino (2006), S. 10). Vgl. Usher/Savino (2006), S. 26. Vgl. Gillett (1989), S. 23f. und 33. Gillett veranschaulicht die individuellen Wissensgrenzen auch am Beispiel der Publikationsmenge für das Fach Psychologie im Jahr 1986: Bei rund 36 000 publizierten Artikeln und

Abschnitt 4.3: Betrachtung einzelner Forschungsindikatoren

147

Zum Problem unzureichender Kompetenz stellt sich das Problem der Befangenheit der Beurteiler, denn die mit hoher wissenschaftlicher Expertise verbundene Nähe zu bestimmten Forschungsbereichen bzw. den jeweiligen Wissenschaftlern bringt sachfremde Interessen und Emotionen der Beurteiler ins Spiel, die zu strategischen Antworten und damit Verzerrungen eines Reputationsindikators führen können. Deren Richtung hängt davon ab, ob eine Kooperations- oder Konkurrenzbeziehung zwischen den Beurteilern und den Beurteilten vorliegt.359 Darüber hinaus kann die Aussagekraft eines Reputationsindikators durch weitere Effekte beeinträchtigt werden. Dazu gehört, dass Prestige unabhängig von aktuellen Forschungsleistungen vor allem denjenigen zugesprochen wird, die bereits ein hohes Ansehen genießen, was unter anderem durch die Beeinflussung der Reputationsbildung von früheren Performancebewertungen hervorgerufen wird.360 Dies führt dazu, dass sich einerseits Reputation meist nur sehr langsam aufbaut361 – zumindest bis der Matthäus-Effekt greift, gemäß dem zusätzliches Ansehen bereits vorhandenem zugeteilt wird – und andererseits ein guter Ruf trotz später geringerer Leistungen selten verloren geht (Einrast-Effekt).362 Älteren Forschern und traditionellen Hochschuleinrichtungen kommt daher eher eine hohe Aufmerksamkeit zu als jüngeren Wissenschaftlern und neu gegründeten Hochschuleinrichtungen. Zu nennen sind auch die mit den verschiedenen Hochschulebenen und -aufgaben zusammenhängenden Verzerrungseffekte. Demnach können exzellente Leistungen einzelner Wissenschaftler das Renommee einer ganzen Institution verbessern (Star-Effekt),363 wie auch umgekehrt der gute Ruf einer Institution sich mitunter auf jedes ihrer Mitglieder überträgt. Weiterhin ist es möglich, dass in anderen Aufgabenbereichen erzielte Erfolge auf die Forschungsperformance ausstrahlen (Halo-Effekte).364 Eine nächste Schwäche von Reputationsindikatoren ist die Abhängigkeit der Urteilsbildung von der Größe wissenschaftlicher Einrichtungen. Forschungseinheiten mit einer höheren Anzahl an Wissenschaftlern sind in der Regel zum Beispiel häufiger auf Konferenzen und in der wissenschaftlichen Literatur anzutreffen als kleinere und werden entsprechend in der

359 360 361

362 363 364

ungefähr 400 Büchern müsste ein Wissenschaftler pro Tag ca. 100 Aufsätze und ein Buch lesen, um stets den Stand der Wissenschaft zu kennen (vgl. Gillett (1989), S. 33). Vgl. Neidhardt (2006), S. 8. Vgl. Gillett (1989), S. 36, und Marginson/van der Wende (2007a), S. 59. Wissenschaftliches Renommee kann sich allerdings in Ausnahmefällen durchaus schlagartig ändern, z.B. durch die jährliche Bekanntgabe der Nobelpreisträger oder die Aufdeckung wissenschaftlicher Unredlichkeit. Vgl. Brenzikofer (2002), S. 167. Vgl. Nederhof/van Raan (1993), S. 356. Vgl. Cave et al. (1997), S. 203, und Pasternack (2004), S. 30. Die Übertragung der Reputation zwischen Forschung und Lehre wird aber wohl eher von der Forschung zur Lehre stattfinden, weil Forschungsergebnisse meist weit verbreitet werden, wohingegen Lehre vielmehr lokal stattfindet.

148

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

Scientific Community stärker als diese wahrgenommen. Da der Forschungsinput kaum zur Reputationseinschätzung herangezogen wird, kommt es tendenziell zu einer Überschätzung ihrer Forschungseffizienz. Im Gegensatz zu den anderen Performancekriterien lässt sich dieser Größeneffekt nicht durch eine systematische Verlinkung der Reputation mit einem Inputmaß kompensieren.365 Neben größeren Forschungseinrichtungen mögen auch solche Wissenschaftler bei Reputationsbewertungen bevorzugt werden, die sich mit wissenschaftlichen Themen beschäftigen, welche allgemein von großem Interesse sind. Schließlich sei noch auf die mit Reputationsindikatoren verbundenen Anreize hingewiesen. Zur Erhöhung des Bekanntheitsgrades und zur Förderung der gewünschten Wahrnehmung können Wissenschaftler vor allem national und international sichtbare Forschung betreiben. Sichtbar sind vor allem diejenigen Leistungen, die seit einigen Jahren verstärkt zur Beurteilung der Forschung herangezogen werden, sodass zur Schaffung eines positiven Bilds in der Öffentlichkeit eine Fokussierung auf messbare bzw. gemessene Aktivitäten denkbar ist. Dies geht allerdings mit den im Kontext der Betrachtung von Faktenindikatoren bereits mehrfach erwähnten Gefahren einher, wie zum Beispiel eine Beeinträchtigung der Forschungsqualität und eine Beschränkung auf planbare, wenig innovative Tätigkeiten. Speziell für ältere, hoch angesehene Wissenschaftler besteht außerdem im Grunde überhaupt kein Anreiz zur Erbringung von (besonderen) Forschungsleistungen, da sie von ihren früheren Erfolgen profitieren können. In der Praxis der Performancemessung sind Reputationsindikatoren sehr beliebte Größen, die vor allem in Hochschulrankings einfließen.366 Sie lassen sich mit einem relativ geringen Aufwand erheben und erfahren vor allem dann eine große Aufmerksamkeit, wenn sie direkt Meinungen aus der Scientific Community abbilden. Allerdings sind sie in erster Linie zur Identifizierung der Forschungsspitze geeignet, weil sich zwischen dieser und den anderen Teilnehmern der Forschungsproduktion meist ein deutlicher Abstand herausbildet.367 Zur weiteren Differenzierung lassen sich die Indikatoren dagegen kaum sinnvoll einsetzen. Insgesamt ist zu empfehlen, die Ergebnisse von Reputationsmessungen aufgrund der möglichen Verzerrungseffekte den Aussagen von Faktenindikatoren gegenüberzustellen.

365 366

367

Vgl. Cave et al. (1997), S. 202f., und Gillett (1989), S. 34. So z.B. in das CHE-Forschungsranking (vgl. Berghoff et al. (2008c)) und das FOCUS-Uniranking (vgl. FOCUS (2007)). Vgl. Hornbostel (2004), S. 177.

Abschnitt 4.4: Zwischenfazit

4.4

149

Zwischenfazit

Die hier vorgestellten Indikatoren messen verschiedene Ergebnisse der Forschungsproduktion. Während Publikationen, Erfindungsmeldungen, Patente und Gebrauchsmuster sowie in gewisser Hinsicht auch die aus der Nachwuchsförderung resultierenden Promotionen als Indikatoren auf den Output von Forschungsleistungen zielen, stellen etwa Zitations-, Drittmittel- und Reputationsindikatoren auf deren Outcome ab. Die (sinnvolle) Verwendung all dieser Größen ist jeweils an bestimmte Voraussetzungen gebunden. Beispielsweise kommen neue Forschungserkenntnisse nur dann in Publikationen zum Ausdruck, wenn sie für die Öffentlichkeit bestimmt und nicht geheim zu halten sind; handelt es sich bei neuen Erkenntnissen dagegen um technische Erfindungen, die patentiert oder zum Gebrauchsmuster angemeldet werden können, spiegeln sie sich vor allem in erfindungsbezogenen Indikatoren wider. Die Nutzung der einzelnen Indikatoren geht zudem mit bestimmten Annahmen einher. Zum Beispiel unterstellen Zitationsindikatoren, dass bibliometrische Verweise auf Publikationen stets Zeichen positiver Würdigung sind, obwohl sie auch negative Reaktionen auf veröffentlichte Forschungserkenntnisse darstellen können. Drittmittelindikatoren gehen wiederum vom grundsätzlichen Erfolg geförderter Projekte aus, wenngleich jeder Forschungsprozess von Ungewissheit gekennzeichnet ist. Trotz solch grundsätzlicher Einschränkungen und weiterer Probleme der Indikatoren, wie themenbedingte Verzerrungen und unerwünschte Anreizeffekte, werden sie sehr vielfältig zur Performancemessung der Forschung im Hochschulbereich eingesetzt. So spielen beispielsweise Promotionen und Drittmittel seit Langem eine wichtige Rolle bei der Mittelverteilung auf Landes- und Hochschulebene und in jüngster Zeit gewinnen Publikationen etwa für die Leistungsbewertung auf Fachbereichsebene an Bedeutung. Auch Rankings greifen auf diese sowie auf weitere Faktenindikatoren zurück. Sie verwenden manchmal zusätzlich und nicht selten sogar ausschließlich Reputationsurteile, um Transparenz über Forschungsleistungen zu schaffen. Die Auswahl und Konstruktion der Indikatoren in der Praxis erfolgt weitgehend fachspezifisch und wird wesentlich von der Datenverfügbarkeit respektive dem Aufwand ihrer Erhebung bestimmt. Forschung wird dann zum Beispiel (implizit) definiert als Leistung, die sich aus Publikationen, Drittmitteln und Promotionen formiert.368 Da die Indikatoren unterschiedliche Facetten der Forschung erfassen sollen, sind grundsätzlich keine völligen Übereinstimmungen zwischen ihren Ausprägungen zu erwarten. Differenzen können sogar auf verschiede-

368

Zu diesem Beispiel vgl. das in Kapitel 5 betrachtete CHE-Forschungsranking BWL 2005.

150

Kapitel 4: Indikatoren zur Messung der Forschungsperformance

nen Forschungsprofilen oder Schwerpunktsetzungen bei anderen Hochschulaufgaben beruhen.369 Für hohe Korrelationen zwischen den Indikatoren gibt es allerdings durchaus plausible Gründe. Zunächst bestehen logische Zusammenhänge zwischen den Ergebnisgrößen verschiedener sowie zwischen den Ergebnisgrößen derselben Produktionsstufen. Beispielsweise ermöglichen eingeworbene Drittmittel die Finanzierung von Forschungsprojekten, wobei zusätzliche Doktoranden beschäftigt werden können. In diesen Projekten entstehen Publikationen oder Patente und Gebrauchsmuster, außerdem gehen Promotionen aus der mit ihnen verbundenen Doktorandenausbildung hervor. Die Publikationen werden schließlich über Zitate gewürdigt und verschaffen wie die anderen Outputs den Wissenschaftlern bzw. Forschungseinheiten gegebenenfalls durch Preise und andere Wirkungen eine besondere Anerkennung. Über diese offensichtlichen Produktionsbeziehungen hinaus können weitere Zusammenhänge zwischen den Ergebnisgrößen auf die zentrale Rolle der Reputation bei der wissenschaftsinternen Forschungsbewertung und die dadurch ausgelösten zirkulären Effekte zurückgeführt werden. Schließlich prägen sowohl Drittmitteleinnahmen als auch Publikationen, Patente und Gebrauchsmuster, Promotionen sowie all deren Wirkungen das Prestige einzelner Wissenschaftler und ganzer Forschungseinheiten. Große Erfolge in einem Ergebnisbereich führen zu einem Reputationsgewinn, der bei folgenden wissenschaftsinternen Bewertungen den Matthäus-Effekt in Gang setzt. Das heißt, mit der Erhöhung des Ansehens steigen auch die Chancen, erfolgreich neue Forschungsprojekte zu beantragen, in renommierten Journalen zu publizieren oder zum Beispiel mit einer Arbeit zitiert zu werden und einen Preis dafür zu erhalten. Es entsteht folglich ein Kreislauf, bei dem nicht geklärt werden kann, ob etwa eine hohe Reputation eine Folge vieler Zitate ist oder viele Zitate das Ergebnis einer hohen Reputation sind.370 Die beschriebenen Zusammenhänge können für eine mehrere Indikatoren umfassende Performancemessung bedeuten, dass die Indikatoren teilweise oder sogar gänzlich redundante Informationen liefern. So mögen zum Beispiel – wie in Abschnitt 4.2.3 erläutert wurde – Drittmittel bei langen Untersuchungszeiträumen dieselben Forschungsleistungen anzeigen wie die daraus resultierenden Publikationen – wobei auch nicht auszuschließen ist, dass vorwiegend Reputation anstatt Quantität und Qualität der wissenschaftlichen Tätigkeit abgebildet wird. Außerdem erfassen vor allem Reputationsurteile als reflektive Indikatoren gesam-

369 370

Vgl. Hornbostel (2004), S. 185. Vgl. zu diesem Beispiel Hornbostel (1997), S. 300.

Abschnitt 4.4: Zwischenfazit

151

te Forschungsleistungen. Sie sollten daher grundsätzlich nicht mit Faktenindikatoren kombiniert, sondern allenfalls mit ihnen konfrontiert werden. Zudem gilt für eine Zusammenführung Letzterer zu einem Indikatorenbündel, dass ein solches stets einer kritischen Beleuchtung seiner Aussagekraft sowie seiner Konsequenzen bedarf. Insbesondere ist zu prüfen, inwieweit sich einzelne Schwächen der Indikatoren neutralisieren oder verstärken können. Vor allem bei der Institutionalisierung einer Performancemessung sollten die von einem Indikatorenbündel ausgehenden Anreize reflektiert werden. In dieser Hinsicht droht tendenziell die Gefahr, dass Wissenschaftler die Qualität ihrer Forschungsleistungen vernachlässigen und sich auf Mainstreamforschung fokussieren, was zu Lasten der gesamten Innovationskraft eines Wirtschaftsstandorts gehen kann.

5

Präsentation und Würdigung des CHE-Forschungsrankings BWL 2005

Die folgenden Ausführungen sind dem vom Centrum für Hochschulentwicklung (CHE) für das Fach Betriebswirtschaftslehre (BWL) erstellten Forschungsranking gewidmet. Nach einer kurzen Einordnung des Rankings aus dem Jahr 2005 hinsichtlich seiner Bedeutung und einem ersten Überblick über seine Ausgestaltung (Abschnitt 5.1) wird dieses systematisch anhand des in Abschnitt 2.3 präsentierten und in Kapitel 3 für den Hochschulbereich konkretisierten Vorgehenskonzepts zur Performancemessung dargestellt sowie hinsichtlich seiner Stärken und Schwächen gewürdigt (Abschnitte 5.2 bis 5.4). Bevor in Abschnitt 5.6 ein entsprechendes Fazit gezogen wird, gibt Abschnitt 5.5 zusätzlich einen Einblick in die Änderungen, die das CHE-Forschungsranking BWL 2008 mit sich bringt.

5.1

Einführung und Überblick

Rankings zum Vergleich der Leistungen im Hochschulbereich erzielen immer wieder eine große Aufmerksamkeit. In Deutschland wurden seit der Veröffentlichung des deutschen Universitätsrankings der Zeitschrift SPIEGEL im Jahr 1989371 zahlreiche Untersuchungen von hochschulnahen Institutionen und publikumsstarken Zeitschriften durchgeführt. Diese verfolgen verschiedene Zielsetzungen und basieren auf unterschiedlichen Ansätzen und Methoden, sodass sie für sämtliche Stakeholdergruppen des deutschen Hochschulbereichs auf sehr vielfältige Weise Transparenz über die erbrachten Leistungen schaffen.372 Am bekanntesten in Deutschland sind heutzutage die vom CHE erstellten Rankings.373 Sie liefern vor allem Studienanfängern, Studierenden und Nachwuchswissenschaftlern eine umfassende und gleichzeitig detaillierte Grundlage für ihre Hochschulwahl, erlauben außerdem den Hochschulen selber die Durchführung eines Benchmarkings zur Identifizierung ihrer Stärken und Schwächen sowie einer darauf basierenden Profilbildung. Den CHE-Rankings wird eine hohe Seriosität zugesprochen, und zwar nicht nur, weil das CHE (im Jahr 1994) von der Bertelsmann Stiftung und der Hochschulrektorenkonferenz gegründet wurde und diese seitdem als Träger des CHE in gewisser Hinsicht für die Qualität der Rankings bürgen, sondern vor allem aufgrund der methodischen Standards und der

371 372

373

Vgl. SPIEGEL (1989), S. 70ff. Ein (zum Teil kritischer) Überblick über verschiedene nationale bzw. internationale Hochschulrankings wird vermittelt durch Küpper/Ott (2002), Ott (1999), Usher/Savino (2006), van Dyke (2005) und Wissenschaftsrat (2004), S. 4ff. Die verschiedenen CHE-Rankings sind im Internet unter www.che.de abrufbar.

S. Rassenhövel, Performancemessung im Hochschulbereich, DOI 10.1007/978-3-8349-8733-4_5, © Gabler Verlag | Springer Fachmedien Wiesbaden GmbH 2010

154

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Transparenz der Rankings, deren Erhebungs- und Auswertungsverfahren in enger Zusammenarbeit mit einem aus Wissenschaftlern bestehenden Fachbeirat ständig weiterentwickelt werden. Bereits seit mehreren Jahren nehmen die Rankings sogar über die Grenzen Deutschlands hinweg eine internationale Vorbildfunktion für Leistungsvergleiche im Hochschulbereich ein. So stellte die European University Association (EUA) in einer im Jahr 2004 veröffentlichten Studie beispielsweise für das CHE-Hochschulranking fest: „The system used by the CHE to evaluate universities is probably the best model available today in the world of higher education.“374 Auch weitere angesehene Institutionen, wie die Organisation for Economic Co-operation and Development (OECD) und das Educational Policy Institute (EPI), eine Denkfabrik für Bildungsfragen mit Sitz in Toronto, haben dem Ranking bereits Brillanz attestiert,375 und noch jüngst wurde es von Merisotis, einem international anerkannten Hochschulexperten, als eines der weltweit methodisch besten gelobt.376 Das Forschungsranking des CHE wird seit dem Jahr 2002 erstellt. Es umfasst derzeit sechzehn Fächer aus den verschiedenen Wissenschaftsdisziplinen, die jeweils in einem dreijährigen Turnus aktualisiert werden.377 Dem Ranking liegen folgende methodische Grundsätze des CHE zugrunde: •

„keine Aggregation einzelner Indikatoren bzw. eines Gesamtwertes über eine Universität insgesamt, sondern fachbezogene Darstellung der Ergebnisse

•

kein gewichteter Gesamtwert für die Forschungsleistung einer Fakultät, sondern Betrachtung einzelner Indikatoren

•

keine einzelnen Rangplätze, sondern Profile forschungsstarker Universitäten.“378

Zur Beurteilung der Forschungsleistungen werden je nach Fach Publikationen, Erfindungen, Promotionen und Drittmittelausgaben jeweils in absoluter Höhe sowie als Pro-Kopf-Werte, gegebenenfalls auch die Anzahl der Zitationen pro Publikation ermittelt. Neben einer Auswahl dieser Faktenindikatoren enthält jedes Teilranking auch ein fachspezifisches Reputationsmaß zur Forschung. Die Universitäten werden bei allen für ein Fach herangezogenen Indikatoren jeweils in eine Spitzen-, eine Mittel- oder eine Schlussgruppe eingeteilt. Diejenigen, die bei mindestens der Hälfte der betrachteten Faktenindikatoren zur Spitzengruppe

374 375 376 377

378

Tavenas (2004), S. 31. Vgl. Marginson/van der Wende (2007a), S. 61, bzw. Usher/Savino (2006), S. 34ff. Vgl. CHE (2008). Zu den untersuchten Fächern und ihrem aktuellen Bewertungsstand vgl. die Übersicht im CHE-Forschungsranking 2008 (Berghoff et al. (2008c), S. B-6). Berghoff et al. (2008c), S. B-2.

Abschnitt 5.1: Einführung und Überblick

155

gehören, erhalten für das entsprechende Fach das Prädikat forschungsstark.379 Zusätzlich wird eine Übersicht zu den Forschungsprofilen der einzelnen Universitäten erstellt. Sie zeigt, welche Fächer jeweils im Ranking enthalten sind und welche Forschungsstärke für diese ermittelt wurde.380 Das im Folgenden untersuchte Forschungsranking der BWL wurde erstmals im November 2005 publiziert.381 Es ist das zweite Ranking für dieses Fach, das die betriebswirtschaftlichen Forschungsleistungen der Universitäten mittels Publikationen, Promotionen, verausgabter Drittmittel sowie der Reputation vergleicht.382 Einen Überblick über die in das Ranking 2005 einbezogenen Universitäten und die ihnen jeweils zugrunde gelegten Werte gibt Tabelle 5-1.383 Darin sind die Universitäten in alphabetischer Reihenfolge aufgelistet und von F1 bis F63 durchnummeriert. Ausgewiesen werden die Indikatoren •

gewichtete Publikationen (in Punkten) pro Jahr sowie gewichtete Publikationen (in Punkten) pro Professor in drei Jahren,

•

Promotionen pro Jahr sowie Promotionen pro Jahr und Professor,

•

Drittmittelausgaben (in Tausend Euro (T€)) pro Jahr sowie Drittmittelausgaben (in T€) pro Jahr und Wissenschaftler,

•

379 380

381

382

383

die Reputation bei Professoren (in % der Nennungen)

Vgl. Berghoff et al. (2008c), Teil B. Vgl. Berghoff et al. (2008c), Teil A. Bis zum CHE-Forschungsranking 2007 wurden auch alle Universitäten, die mit mindestens fünf Fächern im Ranking vertreten waren, auf Basis ihrer Forschungsprofile in eine Spitzen-, eine Mittel- oder eine Schlussgruppe eingeteilt. Zu den forschungsstarken Universitäten gehörten diejenigen, deren erfasste Fächer mindestens zur Hälfte forschungsstark waren, die Mittelgruppe bildeten die Universitäten mit mindestens einem forschungsstarken Fach und alle anderen wurden der Schlussgruppe zugewiesen (vgl. z.B. Berghoff et al. (2008a), Teil A). Grundlage der Analyse ist insbesondere die Veröffentlichung im CHE-Forschungsranking 2007 (vgl. Berghoff et al. (2008a), Teil E). Darin – wie auch im CHE-Forschungsranking 2006 (vgl. Berghoff et al. (2006a), Teil E) – wurde nicht wie zuvor bei jedem Indikator lediglich die Spitzengruppe hervorgehoben (vgl. Berghoff et al. (2005a), Teil E), sondern die im Jahr 2006 eingeführte Bildung indikatorspezifischer Mittel- und Schlussgruppen umgesetzt. Auf die Erstveröffentlichung wird hier allerdings dann verwiesen, wenn bestimmte, für das Forschungsranking BWL 2005 geltende Informationen in den Folgepublikationen nicht mehr (adäquat) abgedruckt wurden. Das im Dezember 2008 veröffentlichte dritte Forschungsranking der BWL (vgl. Berghoff et al. (2008c), Teil D) ist erst nach Beginn der in Kapitel 6 dieser Arbeit präsentierten Untersuchungen erschienen. Es weist mehrere methodische Neuerungen gegenüber dem hier betrachteten Ranking auf, außerdem sind darin einzelne Universitäten, die im Ranking 2005 noch bewertet wurden, nicht mehr enthalten, andere dagegen wurden (zum Teil wieder) neu aufgenommen. Ob sich dadurch oder auch aufgrund möglicher Veränderungen bei der Leistungserbringung deutscher Universitäten in der betriebswirtschaftlichen Forschung ein anderes Gesamtbild zeichnet, bleibt zu untersuchen. Eine Grundlage für solche und weitere Analysen wird hier geschaffen. Eine tabellarische Kurzdarstellung der Rankingmethodik befindet sich in den Tabellen 5-4 und 5-5 (Abschnitt 5.5), die auch die Modifikationen im CHE-Forschungsranking BWL 2008 dokumentieren.

156

Kapitel 5: Das CHE-Forschungsranking BWL 2005

sowie die Anzahl der Spitzenplätze bei den Faktenindikatoren. Diese Spitzenplätze wie auch diejenigen beim Reputationsindikator sind besonders gekennzeichnet. Hervorgehoben werden außerdem alle Fachbereiche, die mindestens drei Spitzenplätze bei den Faktenindikatoren einnehmen und daher als forschungsstark gelten.384

384

Wegen zum Teil unvollständiger oder fehlerhafter Angaben seitens der Fachbereiche (siehe Abschnitt 5.4.1) bzw. der Beschränkung des CHE auf den Ausweis der Reputationswerte von mindestens 1 % (siehe Abschnitt 5.4.3) ist die Tabelle stellenweise lückenhaft. Außerdem weichen einzelne Promotions- und Drittmittelwerte aufgrund nachträglicher Korrekturen geringfügig von den ursprünglich im Forschungsranking 2005 abgedruckten Werten ab. Die Zugehörigkeiten zu den einzelnen Spitzengruppen und der Gruppe der im Fach BWL forschungsstarken Universitäten bleiben davon unberührt.

Abschnitt 5.1: Einführung und Überblick

157

Tabelle 5-1: Ergebnisse des CHE-Forschungsrankings BWL 2005 Drittmittel

Drittmittel pro Wissenschaftler

F1

Aachen

63

13,4

9,7

1,2

634

20,0

–

F2

Augsburg

89

24,2

16,3

1,2

275

3,9

–

4

F3

Bamberg

28

9,3

8,0

0,9

345

11,1

–

0

F4

Bayreuth

37

13,9

12,7

1,3

512

13,1

–

1

F5

Berlin ESCP-EAP

Universität

Publikationen

Publikationen pro Professor

Promotionen

Promotionen pro Professor

Reputation

Spitzenplätze ohne Reputation 1

18

9,2

–

–

50

5,2

–

0

F6

Berlin FU

105

24,3

11,0

0,8

436

10,4

2,0

2

F7

Berlin HU

32

5,3

6,0

0,5

837

19,5

5,0

0

F8

Berlin TU

71

19,5

15,3

1,6

160

4,4

–

2

F9

Bielefeld

35

10,6

3,3

0,6

19

0,9

–

0

F10 Bochum

–

–

–

1,7

–

F11 Bremen

85

19,7

–

–

–

–

–

0

F12 Bruchsal

11

5,3

0,3

0,1

532

61,4

–

F13 Chemnitz

61

20,4

8,3

1,0

884

28,5

–

2

F14 Dortmund

29

8,6

9,0

1,1

229

6,7

–

0

F15 Dresden

90

22,4

6,3

0,7

1496

40,4

–

F16 Duisburg Uni DE

–

–

–

1

4

106

19,9

15,3

0,8

523

7,7

–

3

F17 Düsseldorf

51

15,3

3,3

0,3

59

1,8

–

0

F18 Eichstätt-Ingolstadt

97

16,1

14,7

0,9

409

8,4

–

2

F19 Erlangen-Nürnberg

13,3

113

22,5

604

8,0

1,8

3

F20 Essen Uni DE

60

11,3

6,3

0,7

951

20,2

–

0

F21 Flensburg

11

4,5

3,0

0,5

0,9

467

42,4

–

1

10,2

17,3

27,1

8,9

F22 Frankfurt Main

92

0,6

2533

F23 Frankfurt Oder

27

6,8

8,0

0,9

1184

37,8

–

2

F24 Freiberg

57

11,4

9,0

1,0

339

14,4

–

0

0,8

0

F25 Gießen

51

4

19,3

6,0

37

1,2

–

F26 Göttingen

47

10,1

18,0

1,8

721

16,6

–

F27 Greifswald

36

13,4

4,7

0,5

689

29,2

–

1

F28 Halle-Wittenberg

46

13,8

3,7

0,4

354

11,9

–

0

F29 Hamburg UBW

26

2

7,2

–

–

–

–

–

0

F30 Hamburg Uni

87

15,4

13,7

1,0

455

6,3

–

2

F31 Hannover

83

22,7

–

–

–

–

–

1

F32 Hohenheim

68

14,5

13,0

1,1

1435

39,9

–

2

F33 Ilmenau

9,2

5,7

0,4

765

13,9

–

0

F34 Jena

38

11,5

4,0

0,5

541

16,5

–

0

F35 Kaiserslautern

62

37

20,5

–

–

–

–

–

1

F36 Kiel

51

15,2

4,7

0,6

113

5,3

3,3

0

F37 Köln

104

18,3

23,7

1,4

1077

12,8

10,8

4

6

9,5

–

–

–

–

–

0

31

11,4

5,0

0,6

972

33,5

–

1

F38 Köln Med. Fakultät F39 Leipzig HH F40 Leipzig Uni

19

5,1

9,7

0,9

437

15,1

–

0

F41 Lüneburg

53

8,8

–

–

–

–

–

0

F42 Magdeburg

31

7,7

4,7

0,5

433

10,4

–

0

F43 Mainz

13,1

12,0

1,5

288

9,3

–

159

23,8

25,0

1,6

2193

21,7

21,2

5

48

44

13,1

9,7

0,9

377

12,3

–

0

F46 München LMU

144

28,8

25,7

1,5

1363

12,6

14,6

5

F47 München TU

128

15,4

12,7

1,1

3562

75,3

1,4

3

F48 Münster

139

19,9

25,0

1,9

643

10,5

9,1

4

F49 Oestrich-Winkel

117

18,5

19,7

1,2

996

15,5

–

F44 Mannheim F45 Marburg

1

3

F50 Oldenburg

21

5,7

12,3

0,9

2343

65,7

–

2

F51 Osnabrück

26

7,9

2,7

0,3

479

20,6

–

0

F52 Paderborn

58

11,7

6,0

0,7

474

21,1

F53 Passau

33

12,5

7,3

0,7

721

15,7

–

0

F54 Potsdam

46

17,1

5,3

0,9

97

5,1

–

0

F55 Regensburg F56 Rostock F57 Saarbrücken F58 Siegen F59 Stuttgart

9,3

0

50

21,3

13,3

1,5

–

3

61

14,0

7,7

0,9

105

3,1

–

0

124

24,9

16,7

1,0

2232

28,5

1,6

5

64

6,8

3,0

0,2

305

9,7

–

0

30,0

11,0

1,5

727

29,9

F60 Trier

50

12,6

8,0

0,9

1408

40,8

–

2

F61 Tübingen

39

14,5

6,0

0,8

268

9,4

1,1

0

F62 Vallendar

218

40,9

20,0

1,4

292

4,7

2,1

4

F63 Würzburg

32

13,8

8,0

1,3

518

21,1

–

1

forschungsstark

90

334

–

Spitzenplatz

–

4

DE: Duisburg-Essen, ESCP-EAP: Europäische Wirtschaftshochschule, FU: Freie Universität, HH: Handelshochschule, HU: Humboldt-Universität, LMU: Ludwig-Maximilians-Universität, Med.: Medizinische (Fakultät), TU: Technische Universität, UBW: Universität der Bundeswehr, Uni: Universität

158

Kapitel 5: Das CHE-Forschungsranking BWL 2005

5.2

Konzeption

5.2.1

Adressaten und deren Informationsinteressen

Zweck des CHE-Forschungsrankings ist es, die Forschungsaktivitäten der Universitäten in Deutschland transparent zu machen und fachspezifisch besonders leistungsstarke Bereiche hervorzuheben.385 Das Ranking richtet sich im Grunde an alle an der Universitätsforschung Interessierten, wobei die Universitäten selber und die Hochschulpolitik als seine primären Adressaten angesehen werden können. Das betriebswirtschaftliche wie auch jedes andere Teilranking bietet somit eine Informationsgrundlage für die verschiedensten Entscheidungen und eine Basis zur Verhaltenssteuerung. Es kann zum Beispiel für in- und ausländische Wissenschaftler sowie forschungsorientierte Studierende der BWL ein Wegweiser auf ihrer Suche nach einem inspirierenden Forschungsumfeld sein. Auch lässt sich das Ranking hochschulintern zur Identifizierung von Stärken und Schwächen in der betriebswirtschaftlichen Forschung heranziehen, um daraus eventuell Schlussfolgerungen im Hinblick auf mögliche Reaktionen zu ziehen, also etwa das eigene Profil neu aufzustellen oder in bestimmten Bereichen zu schärfen. Schließlich fördert es den Wettbewerb zwischen den deutschen Universitäten und regt die ihnen angehörenden betriebswirtschaftlich forschenden Wissenschaftler zur Performancesteigerung an. Das Ranking sollte aber nicht von der Hochschulleitung oder der Politik zur leistungsbezogenen Mittelverteilung eingesetzt werden – so warnt MÜLLER-BÖLING, der das CHE von seiner Gründung im Jahr 1994 bis zum Jahr 2008 geleitet hat, grundsätzlich mit Blick auf Rankings und andere Evaluationen im Hochschulbereich. Eine solche Verwendung motiviere schließlich vor allem dazu, möglichst viel Geld zu erhalten, wodurch die Bewertungen unzuverlässig und die Gelder in Folge weiter ungerecht verteilt würden.386 Selbst wenn das Ranking all seinen Nutzern ein einheitliches Ziel- und Präferenzsystem zur betriebswirtschaftlichen Universitätsforschung vorgibt, so erlaubt seine detaillierte Darstellung387 durchaus einen gezielten Blick auf bestimmte Aspekte, wie zum Beispiel die Teilnahme einzelner Universitäten an der bibliometrisch messbaren fachwissenschaftlichen Forschungskommunikation.

385 386 387

Vgl. Berghoff et al. (2008a), S. B-1. Vgl. Müller-Böling (2003). Siehe hierzu Abschnitt 5.4.3.

Abschnitt 5.2: Konzeption

5.2.2

159

Untersuchungsbereich

Dem Zweck des CHE-Forschungsrankings entsprechend, die universitären Forschungsleistungen bundesweit transparent zu machen, werden in die fachbezogenen Teiluntersuchungen alle staatlich anerkannten Universitäten Deutschlands einbezogen, zumindest sofern sie das jeweilige Fach als Studienfach anbieten.388 Ausgenommen im Ranking für BWL sind somit vor allem nicht nur alle Fachhochschulen, sondern – abgesehen von einzelnen Ausnahmen – auch solche Universitäten, die zwar betriebswirtschaftliche Forschungsleistungen erbringen, aber ausschließlich Kombinationsstudiengänge, wie Wirtschaftswissenschaften oder Wirtschaftsingenieurwesen, anbieten. Im Blickpunkt der Teilrankings stehen allein die für das jeweilige Fach zuständigen Organisationseinheiten,389 sodass im Ranking für BWL auch die gegebenenfalls in anderen Einheiten einer Universität erbrachten betriebswirtschaftlichen Forschungsleistungen von der Untersuchung ausgeschlossen sind. Bei den ins Visier genommenen Hochschulobjekten handelt es sich in der Regel um Fakultäten und Fachbereiche. Manchmal sind es auch ganze Hochschulen, da die Verantwortung für das Studienfach BWL in privaten Wirtschaftsuniversitäten auf der Hochschulebene angesiedelt ist. Wenn also im Forschungsranking – wie auch hier – vereinfachend von (betriebswirtschaftlichen) Fakultäten bzw. Fachbereichen gesprochen wird, so sind damit diese für das Fach BWL zuständigen Organisationseinheiten der Universitäten gemeint.390 Ein charakteristisches Merkmal der BWL ist ihre ausgeprägte Verbundenheit zu anderen Fächern, insbesondere zur Volkswirtschaftslehre (VWL) sowie etwa zu den Sozial- und Rechtswissenschaften, der Informatik und der Mathematik. Diese interdisziplinären Bezüge haben sich im Laufe der Zeit auf unterschiedliche Weisen in den Hochschulstrukturen gefestigt. Sie zeigen sich bei den hier betrachteten Organisationseinheiten beispielsweise darin, dass an ihnen einzelne, von Haus aus fachfremde Wissenschaftler beschäftigt sind, weitere ihnen angehörende Wissenschaftler auf betriebswirtschaftlichen Grenzgebieten forschen, neben BWL noch andere Studienfächer angeboten und Lehrdienstleistungen für nicht-

388

389

390

Die Voraussetzung des Studienangebots für die Aufnahme der Universitäten in ein fachspezifisches Teilranking ergibt sich daraus, dass das Forschungsranking auf Daten basiert, die im Rahmen der Untersuchungen zum CHE-Hochschulranking erhoben werden (siehe hierzu Abschnitt 5.4.1). Dieses ist in erster Linie an Studienanfänger und Studierende gerichtet, um sie bei ihrer Hochschulwahl bzw. einem Hochschulwechsel zu unterstützen, und orientiert sich daher an einzelnen Studienfächern (vgl. Berghoff et al. (2008b), S. 5). Für die Universität Köln sind dies mit den Bereichen „Betriebswirtschaftslehre“ der Wirtschafts- und Sozialwissenschaftlichen Fakultät und „Gesundheitsökonomie“ der Medizinischen Fakultät zwei Organisationseinheiten. Auch die Universität Duisburg-Essen geht mit ihren beiden Standorten Duisburg und Essen in das Ranking ein (siehe Tabelle 5-1). Vgl. Berghoff et al. (2008a), S. A-1.

160

Kapitel 5: Das CHE-Forschungsranking BWL 2005

ökonomische Disziplinen erbracht werden. Die entsprechend für eine fachspezifische Untersuchung notwendige individuelle inhaltliche Abgrenzung innerhalb der betriebswirtschaftlichen Organisationseinheiten erfolgt für das CHE-Forschungsranking, wie in den Abschnitten 5.3.3 und 5.4.1 noch deutlich wird, indikatorspezifisch und bleibt den Fachbereichen bzw. Wissenschaftlern selber überlassen. Mit der Auswahl der an deutschen Universitäten für das Fach BWL zuständigen Organisationseinheiten und der Filterung ihrer betriebswirtschaftlichen Forschungsleistungen ist eine gewisse Homogenität der untersuchten Objekte sichergestellt. Darüber hinaus wird ihrer individuellen Personalausstattung Rechnung getragen, indem neben den genannten absoluten Werten die entsprechend relativierten Zahlen in das Ranking eingehen. Weitere Unterschiede zwischen den Fachbereichen bleiben allerdings unberücksichtigt und können daher die Aussagekraft des Rankings erheblich einschränken. So gibt es beispielsweise traditionelle, seit vielen Jahrzehnten etablierte betriebswirtschaftliche Fachbereiche, die aufgrund bewährter Strukturen sowie eines routinierten Hochschulalltags Vorteile bei der Forschungsproduktion gegenüber jüngeren Fachbereichen haben könnten.391 Außerdem haben die Fachbereiche individuelle Forschungsprofile. So decken einige, insbesondere große Fachbereiche ein breites Spektrum der BWL ab, wohingegen andere sich auf betriebswirtschaftliche Kernfächer fokussieren oder – gegebenenfalls im Einklang mit der Hochschule – thematische Schwerpunkte setzen. Zudem sind manche Fachbereiche stärker theoretisch, andere weitaus mehr an der Praxis orientiert. Aus den damit verbundenen Zielsetzungen ergeben sich für die Fachbereiche unter anderem spezifische Möglichkeiten und Chancen zur Verbreitung neuen Wissens sowie zur Finanzierung von Forschungsprojekten. Dadurch bedingte Differenzen in den Ergebnissen einer pauschalen Publikations- oder Drittmittelbewertung lassen sich jedoch nicht (direkt) als solche erkennen, sondern suggerieren vielmehr unterschiedliche Forschungsstärken. Einen Einfluss auf die Forschungsperformance betriebswirtschaftlicher Fachbereiche hat auch deren spezifische Lehrbelastung. Diese variiert nicht nur hinsichtlich der eigens angebotenen Studiengänge, sondern ebenso durch fachbereichsübergreifende Lehrverflechtungen. Während etwa an den privaten, auf die Wirtschaftswissenschaften spezialisierten Hochschulen die Lehrprozesse durch eine geringe Betreuungsrelation gekennzeichnet sind und keine Lehrtransfers für andere Studienfächer erbracht werden müssen, ist der für die Lehre erforderliche Aufwand andernorts in der Regel weitaus höher. Vor allem geht er für betriebs-

391

Solche Effizienzvorteile in der Forschungs- und Lehrproduktion wirtschaftswissenschaftlicher Fachbereiche traditioneller Hochschulen haben Backes-Gellner und Zanders durch eine DEA-Analyse festgestellt (vgl. Backes-Gellner/Zanders (1989), S. 277ff.).

Abschnitt 5.3: Analyse

161

wirtschaftliche Fachbereiche sehr großer Universitäten oftmals mit einem hohen Aufkommen an Lehrexporten und damit möglicherweise weniger Zeit für Forschungsaktivitäten einher. Andererseits kann sich eine solche Einbettung in ein breites Wissenschaftsfeld durchaus positiv auf die Forschung auswirken, weil dann nicht nur die inhaltliche, sondern auch die räumliche Nähe der BWL zu anderen Wissenschaftsfeldern ein enormes Potenzial zu interdisziplinären Forschungskooperationen innerhalb einer Hochschule bietet. Schließlich kann neben dem hochschulischen auch das außerhochschulische Umfeld der betriebswirtschaftlichen Fachbereiche besondere Forschungsbedingungen begründen, etwa weil die Universitäten in Regionen mit unterschiedlicher Wirtschaftskraft angesiedelt sind, sodass Forschungspartnerschaften mit Unternehmen mehr oder weniger leicht eingegangen werden können.

5.3

Analyse

Zwar ist keine explizite Analyse des CHE zu den universitären Forschungszielen und entsprechenden Ergebnisgrößen bekannt, doch kann zumindest von den in den fachspezifischen Rankings verwendeten Indikatoren auf einzelne Zielkriterien sowie Inputs, Outputs und Outcomes der Forschungsproduktion von Fachbereichen geschlossen werden. Für die BWL werden diese in den nächsten beiden Abschnitten dargestellt, bevor im Abschnitt 5.3.3 eine ausführliche Diskussion der Indikatoren erfolgt.

5.3.1

Zielanalyse

Wie bereits deutlich wurde, dienen im CHE-Forschungsranking zur Beurteilung der Leistungen betriebswirtschaftlicher Fachbereiche zum einen Publikationen, Promotionen und verausgabte Drittmittel, die jeweils absolut im Sinne von Effektivitätsindikatoren sowie relativ im Sinne von Effizienzindikatoren ausgewiesen werden. Letztgenannte ergeben sich, indem jeweils eines der drei Zweckkriterien in Bezug zu je einer Größe des wissenschaftlichen Personals gesetzt wird, nämlich Publikationen und Promotionen pro Professor sowie Drittmittel pro Wissenschaftler (Professoren und Wissenschaftliche Mitarbeiter). Zum anderen soll die Reputation die betriebswirtschaftlichen Forschungsleistungen der Fachbereiche indizieren. Mit Bezug auf das in dieser Arbeit zugrunde gelegte Performanceverständnis und in Anlehnung an die Darstellung der allgemeinen Zielstruktur zur Hochschulforschung und -lehre in Abbildung 3-4 lässt sich aus diesen Kennzahlen eine dem Forschungsranking BWL 2005 entsprechende Zielstruktur (bzw. eigentlich Zielkriterienstruktur) zur betriebswirtschaftlichen Forschung (re)konstruieren, wie sie in Abbildung 5-1 dargestellt ist. Es sei darauf hingewie-

162

Kapitel 5: Das CHE-Forschungsranking BWL 2005

sen, dass eine solche durchaus weitere bzw. andere Kriterien enthalten kann. Die hier dargestellte präsentiert daher lediglich, welche Ziele das CHE-Forschungsranking BWL 2005 zu erreichen impliziert. Sie beinhaltet zur Abbildung der Zwecke betriebswirtschaftlicher Forschung die Kriterien Publikationen, Drittmittel und Reputation, außerdem enthält sie als Kriterien für die in die Produktion sparsam einzusetzenden Mittel Professoren und Wissenschaftliche Mitarbeiter sowie als Kriterium für erwünschte Nebenfolgen Promotionen.

Zwecke erreichen

Mittel sparsam einsetzen

Publikationen

Professoren

Drittmittelausgaben

Wissenschaftliche Mitarbeiter

Erwünschte Nebenfolgen erzeugen

Unerwünschte Nebenfolgen mindern

Promotionen

Reputation

Abbildung 5-1: Zielkriterienstruktur zum CHE-Forschungsranking BWL 2005

Mit diesen Kriterien fokussiert das CHE-Ranking auf solche Aspekte, die über alle Wissenschaftsdisziplinen hinweg häufig zur Forschungsbeurteilung herangezogen werden. Dabei sind Publikationen die für die betriebswirtschaftliche Wissensproduktion am meisten akzeptierte Zweckgröße, worauf unter anderem die in den letzten Jahren mehrfach durchgeführten bibliometrischen Studien392 und deren Akzeptanz in der Scientific Community deuten. Praktisch jeder Hochschulwissenschaftler der BWL nutzt Publikationen als Informationsquelle sowie zur Grundlage eigener Forschungstätigkeiten und nimmt vor allem selber an der schriftlichen fachwissenschaftlichen Forschungskommunikation teil, um neues Wissen zu verbreiten. Die Verwendung von Drittmittelausgaben als Kriterium für den Forschungszweck, also als Indiz für die Schaffung neuen Wissens, ist dagegen einerseits – wie für alle Wissenschaftsdisziplinen – generell in Frage zu stellen, weil sie als Input in die grundsätzlich mit Unsicherheit behaftete Forschungsproduktion eingehen. Andererseits prognostizieren sie – wie auch eingeworbene Drittmittel – neues Wissen.393 Dies gilt unter anderem für die betriebswirtschaftliche Forschung, in der Drittmittelprojekte durchaus üblich sind und sogar eine gewisse Notwendigkeit besteht, zusätzliche Ressourcen zu mobilisieren.

392

393

Eine umfassende Darstellung bibliometrischer Studien zur Messung der Forschungsleistung betriebswirtschaftlicher Forscher und Fachbereiche in Deutschland findet sich in Schmitz (2008), S. 32ff. Zur prinzipiellen Relevanz von Drittmitteln als Indikator zur Beurteilung von Forschungsleistungen siehe ausführlich Abschnitt 4.2.

Abschnitt 5.3: Analyse

163

Wie grundsätzlich alle Wissenschaftler streben auch Hochschulforscher der BWL nach Anerkennung ihrer Forschungsleistungen, vor allem nach einer hohen Reputation in ihrer Fachcommunity, was die Verwendung der Forschungsreputation als Zweckkriterium erklärt. Ebenso sind die mit den Effizienzindikatoren angesprochenen Ziele, die Professoren bzw. Wissenschaftlichen Mitarbeiter in der betriebswirtschaftlichen Forschung sparsam einzusetzen, plausibel. Sie liegen schon alleine aufgrund der allgemeinen Knappheit der finanziellen Mittel des Hochschulbereichs auf der Hand. Da universitäre BWL-Fachbereiche mit der forschungsorientierten Ausbildung von Doktoranden den Wissenschaftlernachwuchs fördern und diesem durch die Promotion ein bestimmtes wissenschaftliches Qualifikationsprofil attestieren, sind schließlich Promotionen ein beliebtes Kriterium zur Abbildung einer erwünschten Nebenfolge der betriebswirtschaftlichen Forschung von Universitäten.394

5.3.2

Produktionstheoretische Analyse

Ausgehend von den Indikatoren bzw. der mit ihnen kompatiblen Zielstruktur aus dem vorigen Abschnitt, werden hier die aus produktionstheoretischer Sicht verwendeten Ergebnisgrößen herausgestellt. Abbildung 5-2 hält sie in einem einfachen Modell zur Forschungsproduktion fest. Aufgeführt werden zum einen Professoren und Wissenschaftliche Mitarbeiter als die den relevanten Mitteleinsatz entsprechenden Inputs. Zum anderen sind Publikationen und Promotionen bzw. Drittmittel und Reputation, die zuvor als die dem Ranking zugrunde liegenden zweck- oder nebenfolgenbezogenen Zielkriterien interpretiert wurden, als Output bzw. Outcome in das Modell eingeordnet.395

394

395

Zur Interpretation von Promotionen als Indikator für Nachwuchsförderung bzw. Forschungsleistungen vgl. Abschnitt 4.3.4.1. Mit Bezug auf die Diskussion von Drittmitteln als Performanceindikator der Forschung in Abschnitt 4.2 ist anzumerken, dass hier keine Differenzierung zwischen der Vorleistung eines Forschungsprojekts zur Erstellung eines Drittmittelantrags und der dazugehörigen Hauptleistung zwecks Produktion neuen Wissens erfolgt (siehe Abbildung 4-2), stattdessen beide Teilprozesse unter den „Forschungsprozess“ gefasst werden.

164

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Professoren Wissenschaftliche Mitarbeiter

Forschungsprozess

Publikationen

Drittmittel

Promotionen

Reputation

Abbildung 5-2: Produktionsmodell zum CHE-Forschungsranking BWL 2005

5.3.3

Indikatoren

Im Folgenden werden die Indikatoren des CHE-Forschungsrankings BWL 2005 vorgestellt und einige ihrer grundlegenden Eigenschaften diskutiert. Zur Ergänzung der Ausführungen sei auf die allgemeine Auseinandersetzung mit den Indikatoren in den entsprechenden Abschnitten des Kapitels 4 dieser Arbeit verwiesen.

5.3.3.1 Publikationen Den Publikationsindikatoren des Forschungsrankings BWL 2005 liegen Veröffentlichungen der Jahre 2001 bis 2003 zugrunde. Dabei handelt es sich nicht um eine Vollaufnahme aller Publikationen der Fachbereiche des betrachteten Zeitraums, sondern um eine Auswahl, die die jeweiligen Publikationstätigkeiten repräsentieren soll. So beschränkt sich die Analyse, um gewissen Qualitätsanforderungen zu genügen, auf fachspezifische Datenbanken. Außerdem war die Abfrage auf die Publikationen der Professoren begrenzt.396 Berücksichtigung fanden nur die Veröffentlichungen der am Stichtag 31. Mai 2004 an den Fachbereichen im Studienbereich BWL beschäftigten hauptamtlichen Professoren (inklusive der Juniorprofessoren).397 Die Erhebung basiert auf vier wirtschafts- bzw. sozialwissenschaftlichen Literaturdatenbanken:398 •

BLISS (GBI München),

•

ECONIS (Institut für Weltwirtschaft Kiel),

•

HWWA (HWWA-Institut für Wirtschaftsforschung Hamburg)399 und

396 397

398 399

Vgl. Berghoff et al. (2005a), S. B-2, und Berghoff et al. (2008a), S. E-8. Generell nicht einbezogen in die Publikationsanalysen des Rankings 2005 wurden emeritierte Fachbereichsmitglieder, außerplanmäßige Professoren, Hochschuldozenten, Honorar- und Gastprofessoren, Privatdozenten und Lehrstuhlvertreter (vgl. CHE (2004c)). Vgl. Berghoff et al. (2008a), S. E-8. Das HWWA-Institut für Wirtschaftsforschung Hamburg wurde zum Ende des Jahres 2006 aufgelöst. Die Datenbank HWWA wird seitdem nicht mehr aktualisiert.

Abschnitt 5.3: Analyse

•

165

Solis (IZ Bonn).400

Aufgrund der Heterogenität der verwendeten Quellen, die sehr unterschiedliche Publikationstypen enthalten, wurden den Veröffentlichungen je nach Seiten- und Autorenanzahl Punkte zugeordnet. Herausgeberschaften wurden mit drei Punkten bewertet und ausschließlich mit der Anzahl der Herausgeber gewichtet. Graue Literatur und Lehrbücher blieben unberücksichtigt, außerdem wurden Neuauflagen eliminiert. Die genaue Punkteverteilung401 ist der Tabelle 5-2 zu entnehmen. Tabelle 5-2: Punkteverteilung für Publikationen im CHE-Forschungsranking BWL 2005

Herausgeberschaften

Graue Literatur, Lehrbücher und Neuauflagen

Punkte

Punkte

3

0

Monografien, Zeitschriftenaufsätze, ... Publikationslänge* Seiten

Punkte

Autorenanzahl Anzahl Autoren

Gewichtungsfaktor

≤5

1

1

1,00

6 −10

2

2

0,50

11−20

3

3

0,33

21−100

4

≥4

0,25

≥ 101

7

gewichtet mit dem Kehrwert der Herausgeberanzahl

* Bei fehlenden Angaben zur Publikationslänge wurde der Mittelwert der jeweiligen Publikationsgattung verwendet.

Die erfassten Publikationen wurden gemäß der Current-potential-Methode grundsätzlich den Fachbereichen zugeordnet, an denen die Autoren zum Erhebungszeitpunkt verweilten – auch, wenn bestimmte Veröffentlichungen bei einem Universitätswechsel oder Auslandsaufenthalt der Professoren an Vorgängerinstitutionen entstanden waren. Im Forschungsranking ausgewiesen und bei der Ermittlung der forschungsstarken Fachbereiche berücksichtigt werden sowohl die absoluten Publikationspunkte (PP) eines Fachbereichs pro Jahr als auch die relativierten Werte für den gesamten Untersuchungszeitraum von drei Jahren,402 wobei als Nenner jeweils die Anzahl der in die Publikationsanalyse einbezogenen Professoren eines Fachbereichs eingeflossen ist.403

400

401 402

403

BLISS: Betriebswirtschaftliches Literatursuchsystem, ECONIS: Economic Information System, GBI: German Business Information, HWWA: Hamburgisches Welt-Wirtschafts-Archiv, IZ: Informationszentrum Sozialwissenschaften, Solis: Sozialwissenschaftliches Literatursuchsystem. Vgl. hierzu Berghoff et al. (2008a), S. E-8f. Der relative Publikationsindikator ist die einzige Größe im Forschungsranking BWL 2005, die sich auf einen Dreijahreszeitraum bezieht. Vgl. Berghoff et al. (2008a), S. E-8ff.

166

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Inwieweit die spezifische Konstruktion dieser Indikatoren zur Abbildung der Publikationsleistung der betriebswirtschaftlichen Fachbereiche angemessen erscheint, wird im Folgenden diskutiert. Ein erster Punkt bezieht sich auf die ausschließliche Erfassung der professoralen Publikationstätigkeit. Sie führt dazu, dass sämtliche vom akademischen Mittelbau der Fachbereiche allein verfassten Veröffentlichungen und ihre Koautorenschaften vernachlässigt werden. Mit der Annahme, dass an den Fachbereichen eine jeweils von der Publikationsaktivität der hauptamtlich beschäftigten Professoren geprägte Publikationskultur herrscht, der auch Wissenschaftliche Mitarbeiter folgen, sowie vor dem Hintergrund des hohen Erhebungsaufwands der Publikationsdaten und insbesondere aufgrund der nur temporären Beschäftigung der meisten Wissenschaftlichen Mitarbeiter erscheint dies allerdings durchaus berechtigt.404 Obwohl nur die Publikationen der Professoren betrachtet werden, bestehen Zweifel daran, dass die Publikationseffizienz der Fachbereiche durch die Relativierung der Publikationsmenge mit der Professorenanzahl adäquat abgebildet wird. Auf diese Weise bleibt nämlich unberücksichtigt, dass die Wissenschaftlichen Mitarbeiter regelmäßig an der Wissensproduktion und den daraus entstehenden Publikationen der Professoren beteiligt sind. Im Prinzip wird damit ein über alle betriebswirtschaftlichen Fachbereiche hinweg gleiches Verhältnis von den in der Fachbereichsforschung eingesetzten Professoren und Wissenschaftlichen Mitarbeitern405 bzw. eine für jeden Professor von Seiten der Wissenschaftlichen Mitarbeiter erbrachte Zuarbeit gleichen Ausmaßes und gleicher Qualität unterstellt. Tatsächlich können aber in der Publikationsproduktivität Verzerrungen zugunsten von Fachbereichen mit personalmäßig besser ausgestatteten Professuren erwartet werden.406 Hinsichtlich der Angemessenheit des (stichprobenweise) erfassten Publikationsgeschehens betriebswirtschaftlicher Fachbereiche sind auch die verwendeten Datenbanken zu betrachten. Da die bisher existierenden und für die BWL relevanten Informationspools teilweise sehr unterschiedliche Quellen listen, ist eine wie bei den CHE-Publikationsindikatoren umgesetzte Kombination mehrerer Datenbanken für eine Performancemessung betriebswirtschaftlicher

404

405

406

In diesem letztgenannten Sinne wird auch von Seiten des CHE – in einer Reaktion auf die von Ursprung zum CHE-Forschungsranking VWL 2002 geäußerte Kritik an der auf die professorale Publikationstätigkeit beschränkten Bewertung der volkswirtschaftlichen Universitätsforschung (vgl. Ursprung (2003), S. 179) – argumentiert, dass ein Fachbereich maßgeblich von den dauerhaft bestellten Professoren und weniger dem zeitweise beschäftigten Personal charakterisiert ist (vgl. Berghoff/Hornbostel (2003), S. 194). So sehen es beispielsweise Bommer und Ursprung, wenn sie als Größenindikator für volkswirtschaftliche Fachbereiche in einer bibliometrischen Studie für das Fach VWL die Anzahl der dort lehrenden Professoren wählen (vgl. Bommer/Ursprung (1998), S. 11). Vgl. Münch (2007), S. 136. Münch zeigt einen solchen Verzerrungseffekt der CHE-Publikationsindikatoren auf Universitätsebene, indem er die Publikationswerte nach der Mitarbeiterzahl pro Professor relativiert (vgl. Münch (2007), S. 146ff.).

Abschnitt 5.3: Analyse

167

Fachbereiche unumgänglich.407 Aufgrund der Verwendung ausschließlich nationaler Datenbanken stellt sich jedoch die Frage, ob internationale Publikationen hinreichend erfasst werden. Zwar orientiert sich die BWL derzeit insgesamt stark am Leserkreis in Deutschland, doch ist bereits seit mehreren Jahren ein Trend zur internationalen Verbreitung neuer wissenschaftlicher Erkenntnisse vor allem in englischsprachigen Top-Journals zu verzeichnen.408 Um dem gerecht zu werden, könnte die Recherche zum Beispiel auf die ISI-Datenbanken oder die Datenbank Scopus ausgeweitet werden.409 Möglich ist prinzipiell auch die Bildung eines speziellen Indikators für internationale Publikationen, wie er im Indikatorenset des CHE-Forschungsrankings VWL 2005 enthalten ist.410 Ein solcher könnte aber wiederum Fachbereiche mit einem Schwerpunkt auf betriebswirtschaftliche Teilgebiete, die international von Interesse sind (z.B. Operations Research), im Vergleich zu solchen, deren Diskussion vorwiegend auf nationaler Ebene erfolgt (z.B. Steuerlehre), begünstigen. Ein besonderes Merkmal der CHE-Publikationsindikatoren ist, dass sie ein breites Spektrum an Veröffentlichungen abdecken. Damit heben sie sich von mehreren anderen Publikationsindikatoren ab, die im Rahmen bibliometrischer Studien zur betriebwirtschaftlichen Performance erhoben werden und sich meist ausschließlich auf Aufsätze in nationalen oder sogar internationalen renommierten Journals beziehen.411 Zwar konkurrieren im Prinzip alle betriebswirtschaftlichen Wissenschaftler um den Publikationsraum in angesehenen Zeitschriften, tatsächlich nutzen sie jedoch die verschiedensten Medien schriftlicher Kommunikation, um ihre Erkenntnisse zu verbreiten.412 Die Orientierung der Indikatoren an diesem heterogenen Publikationsmuster und die durch die Verwendung der genannten Fachdatenbanken durchaus vorhandene, aber relativ geringe qualitative Selektion führen letztlich zu einer Publikationsmasse, die nicht nur erlaubt, eine Spitzengruppe betriebswirtschaftlicher Fachbereiche hinsichtlich der Publikationsleistung zu identifizieren, sondern zusätzlich zwischen einem Mittel- und einem Schlussfeld zu differenzieren.

407

408 409

410

411 412

Dies ergibt sich auch aus einer Analyse von Clermont (2009), S. 32ff., zur Abdeckungsrate des WisoNet bzw. dessen Unterdatenbanken für die im VHB-Jourqual 2 (vgl. VHB (2008)) gerankten Zeitschriften. Vgl. Dyckhoff/Schmitz (2007), S. 639, 644f. und 654f., sowie die dort angegebene Literatur. Zur Erfassung international betriebswirtschaftlich relevanter Zeitschriften in den ISI-Datenbanken sowie der Scopus-Datenbank vgl. Clermont/Schmitz (2008). Vgl. außerdem zur Kombination der genannten Datenbanken mit dem WisoNet und der dadurch deutlich besseren Abdeckung vor allem englischsprachiger Zeitschriften Clermont (2009), S. 36f. Vgl. Berghoff et al. (2008a), S. S-11ff. Ein solcher internationaler Publikationsindikator wurde mittlerweile in das CHE-Forschungsranking BWL eingeführt (siehe die Ausführungen zum Ranking 2008 in Abschnitt 5.5). Vgl. Schmitz (2008), S. 40. Vgl. Berghoff/Hornbostel (2003), S. 192.

168

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Ein häufig in diesem Zusammenhang geäußerter Kritikpunkt ist, dass die Publikationen nicht nach ihrem inhaltlichen Wert differenziert werden.413 Dadurch kommt zum Beispiel einem nur oberflächlich begutachteten Sammelbandbeitrag dieselbe Qualität zu wie einem Aufsatz in einer Fachzeitschrift mit einem strengen Peer Review, was aber nicht den in der Profession üblichen Wertschätzungsstandards entspricht. Eine Berücksichtigung der Qualität erfolgt allenfalls implizit und dann auch nur rudimentär durch die in Abhängigkeit vom Publikationsumfang erfolgende Punktevergabe. Mit der Annahme, dass längere Publikationen viele Beschreibungen und einen hohen Anteil an Reproduktion enthalten, kürzere dagegen neues Wissen prägnant präsentieren, lässt sich zumindest erklären, dass beispielsweise eine fünfzehnseitige Publikation 3 Punkte, eine 30-Seitenpublikation aber nicht doppelt so viele, sondern nur 4 Punkte und eine 150 Seiten umfassende Monografie nicht die zehnfache, sondern nur die 2,3-fache Punktzahl erhält. Die für die Bewertung nach der Publikationslänge gewählten Intervalle und Punkte sind jedoch nicht gänzlich plausibel. So lassen sich die Grenzerträge der Seitenanzahlen bei einem Sprung von einem Intervall ins nächste nicht mit einem entsprechenden Qualitätszuwachs oder einer etwaigen Berücksichtigung verschiedener Publikationsformate erklären. Fraglich ist etwa, warum die sechste Seite eines Kurzbeitrags einen Grenzertrag von einem Punkt hat. Dadurch bekommt die gesamte Veröffentlichung den doppelten Wert wie eine fünfseitige Publikation, die insgesamt mit nur einem einzigen Punkt gewertet wird. Besonders kritisch ist in dieser Hinsicht die mit 3 Punkten relativ hohe Differenz zwischen den beiden letzten Klassen. Während nämlich für eine Monografie mit 100 Seiten 4 Punkte vergeben werden, sind es mit 7 Punkten bei einer Publikationslänge von 101 Seiten gleich 75 % mehr. Außer dem variierenden Grenzertrag einzelner Seiten sind die mit steigendem Publikationsumfang verbundenen Unterschiede der durchschnittlich auf eine Seite fallenden Punkte nicht nachvollziehbar. Die höchsten Durchschnittswerte, 1 Punkt bzw. 0,5 Punkte, kommen auf ein- und zweiseitige Publikationen, bei längeren Veröffentlichungen betragen sie maximal 0,33 Punkte. Die Publikationswerte pro Seite sinken zwar innerhalb der Intervalle kontinuierlich, sie springen aber beim Übergang zum nächsten Intervall auf ein höheres Niveau an. Beispielsweise liegt der durchschnittliche Wert von 0,25 Punkten bei sowohl vier-, acht- als auch zwölfseitigen Publikationen um jeweils 25 % höher als bei Veröffentlichungen mit einer

413

Vgl. Gilles (2005), S. 131f., für die ähnlich konstruierten Publikationsindikatoren des CHE-Forschungsrankings BWL 2002. Vgl. außerdem analog für die Publikationsindikatoren im CHE-Forschungsranking VWL 2002 Ursprung (2003), S. 179f., und fächerübergreifend Münch (2007), S. 186. Münch stellt dem Vorwurf einer fehlenden Differenzierung nach Qualität aber auch entgegen, dass eine positive Korrelation zwischen der Menge an Publikationen und der diesen zugeschriebenen Qualität grundsätzlich nicht abwegig sei (vgl. Münch (2007), S. 191).

Abschnitt 5.3: Analyse

169

Länge von fünf, zehn und fünfzehn Seiten. Gleiches gilt für Publikationen mit einem Umfang von 80 und 140 Seiten einerseits bzw. 100 Seiten andererseits. Dann liegen die Durchschnitte pro Seite allerdings bei 0,05 bzw. 0,04 Punkten. Es sei zusätzlich angemerkt, dass die Bevorteilung extrem kurzer Veröffentlichungen – wenn solche in der betriebswirtschaftlichen Literatur auch eher selten sind – nicht gerechtfertigt erscheint, weil die Vermittlung neuer, vor allem komplexer Erkenntnisse, mithin sogar schon eine dazu notwendige Einführung in das Thema und eine Aufarbeitung des State of the Art in der Regel eines größeren Publikationsumfangs bedürfen. Um eine aufgrund der angesprochenen Merkmale der Punktevergabe unfair erscheinende Bewertung zu vermeiden, könnte in zukünftigen Rankings auf eine ebenfalls abschnittsweise definierte, aber linear steigende Punktefunktion übergegangen werden, gegebenenfalls mit völlig neuen, zumindest begründeten Intervallgrenzen und Punktwerten oder auch nur einer Unterteilung der Klasse von 21 bis 100 Seiten sowie einer Aufhebung der Deckelung der Punkte nach oben. Zusätzlich ließen sich die Veröffentlichungen nach Publikationsgattungen gewichten.414 Abschließend sei festgehalten, dass die im CHE-Forschungsranking BWL 2005 verwendeten Publikationsindikatoren den an betriebswirtschaftlichen Fachbereichen forschenden Professoren deutliche Anreize zur Teilnahme an der fachwissenschaftlichen Forschungskommunikation setzen, allerdings weitgehend losgelöst von deren Qualität. Gewürdigt werden vor allem national sichtbare Forschungsbeiträge – auch solche, bei denen die Professoren nicht selbst geschaffenes Wissen dokumentieren, sondern „lediglich“ als Herausgeber agieren. Aufgrund der Beschränkung der Indikatoren auf die professorale Publikationsleistung der untersuchten Fachbereiche werden die Professoren im Prinzip (stärker) zu gemeinsamen Forschungstätigkeiten mit ihren Wissenschaftlichen Mitarbeitern motiviert – gleichzeitig allerdings auch dazu, diesen dabei die Hauptarbeit zu übertragen. Sie könnten sogar dazu verleitet werden, ihre Namen als Koautoren auf sämtliche Publikationen ihrer Mitarbeiter zu schreiben, wie es in anderen Wissenschaftsdisziplinen bereits üblich ist. Einen besonderen

414

Solche Gewichtungsfaktoren für verschiedene Publikationstypen der BWL wurden beispielsweise von Gutierrez im Rahmen einer Performancemessung betriebswirtschaftlicher Professuren über eine Expertenbefragung ermittelt (vgl. zum Vorgehen und zu den Ergebnissen Gutierrez (2005), S. 54ff.). Erste Anhaltspunkte für die Höhe möglicher Gewichtungsfaktoren speziell von Aufsätzen in deutschsprachigen wirtschaftswissenschaftlichen Fachzeitschriften in Abhängigkeit von der jeweiligen Zeitschriftenqualität liefern Schlinghoff und Backes-Gellner (2002), S. 348ff., die verschiedene deutsche betriebs- und volkswirtschaftliche Zeitschriftenrankings untersucht und deren Stabilität bzw. Qualität nachgewiesen haben. Für eine analoge, aber weitaus umfassendere Differenzierung zwischen nationalen und internationalen Zeitschriften, die für deutsche Betriebswirte bedeutsam sind, eignet sich vor allem das Ranking VHB-Jourqual, das die Zeitschriften in mehrere Qualitätsstufen klassifiziert (vgl. VHB (2003 und 2008)). Ein darauf beruhender Gewichtungsmaßstab für Zeitschriftenaufsätze ist jüngst in den Publikationsindikator des CHE-Forschungsrankings 2008 eingeflossen (siehe Abschnitt 5.5).

170

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Anreiz zur Kooperation mit Professorenkollegen gibt es dagegen nicht, denn Veröffentlichungen von bis zu vier Autoren werden jedem einzelnen Verfasser mit demselben Anteil angerechnet. Für die (bisher) seltenen betriebswirtschaftlichen Publikationen von mindestens fünf Autoren wird zwar ein „Bonus“ vergeben, da jedem Beteiligten ein Viertel des auf die jeweilige Publikation fallenden Punktwerts zugesprochen wird, allerdings gehen solche in großen Teams erstellte Arbeiten in der Regel auch mit einem höheren Koordinationsaufwand einher, der wohl kaum mit der geringfügig höheren Anrechnung einer Publikation abgegolten werden kann.

5.3.3.2 Promotionen In die beiden Promotionsindikatoren gehen die in den drei Jahren vom Sommersemester (SS) 2001 bis zum Wintersemester (WS) 2003/04 im Studienbereich BWL abgeschlossenen Dissertationen ein. Der Jahresdurchschnitt wird in absoluter Höhe und bezogen auf die durchschnittlich an drei Stichtagen (31. Dezember 2001, 2002 und 2003) auf Haushaltsstellen beschäftigten hauptamtlichen Professoren der Fachbereiche mit einem Schwerpunkt in BWL als relative Kennzahl ausgewiesen.415 Die Promotionsindikatoren beleuchten ausschließlich quantitative Aspekte der Nachwuchsförderung bzw. Forschungsperformance, obwohl das Niveau der betriebswirtschaftlichen Doktorandenausbildung und die Anforderungen an die für eine Promotion maßgebliche Dissertation fachintern stark variieren. Zwar ist prinzipiell eine qualitätsbezogene Gewichtung der Promotionen zur Verbesserung der Aussagekraft der Indikatoren anzuraten, aufgrund des enormen Einflusses der Nachwuchswissenschaftler in ihrer Rolle als externer Faktor und Co-Producer der Doktorandenausbildung und damit auf deren Output416 wäre eine solche allerdings kaum sinnvoll umsetzbar. Letztlich lassen sich daher auch die von den Promotionskennzahlen ausgehenden Anreize zur Senkung der Leistungsstandards kaum vermeiden. Mit Blick auf die Promotionsproduktivität der Professoren ist – wie bei der Publikationseffizienz – darauf hinzuweisen, dass sie zumindest teilweise von der Anzahl der beschäftigten Wissenschaftlichen Mitarbeiter abhängt. Insofern wäre zu prüfen, ob sich Größenunterschiede im akademischen Mittelbau der Fachbereiche berücksichtigen und dadurch Verzerrungseffekte verringern ließen. Schließlich stellen die Wissenschaftlichen Mitarbeiter ebenfalls

415 416

Vgl. Berghoff et al. (2008a), S. E-11f., und CHE (2004b), Fragen 1 und 2. Vgl. analog hierzu die in Abschnitt 3.2.2.2.2 aufgezeigte Problematik der Beurteilung von Lehrleistungen.

Abschnitt 5.3: Analyse

171

Input der Doktorandenausbildung dar. Dabei zu beachten sind aber auch die jüngeren Entwicklungen, Promovierende vermehrt im Rahmen von Graduiertenkollegs zu betreuen.

5.3.3.3 Drittmittel Wie die Publikations- beziehen sich auch die Drittmittelindikatoren des betriebswirtschaftlichen Forschungsrankings 2005 auf den Dreijahreszeitraum von 2001 bis 2003. Erhoben wurden die im Bereich BWL an den betriebswirtschaftlichen Fachbereichen für die Forschung verausgabten und über den Haushalt der Hochschulen verrechneten Drittmittel. Für den absoluten Indikator wurden die Jahresdurchschnitte gebildet, relativiert pro Wissenschaftler ergeben sich aus den Drittmitteldaten die Pro-Kopf-Kennzahlen. Grundlage für die Wissenschaftleranzahl sind dabei die Vollzeitäquivalente der auf Haushaltsstellen (also ohne Drittmittelstellen) beschäftigten hauptamtlichen Professoren eines Fachbereichs mit einem Schwerpunkt in der BWL sowie das entsprechende sonstige wissenschaftliche Personal jeweils zum Stichtag 31. Dezember der drei betrachteten Jahre.417 Die Drittmitteldaten wurden differenziert nach Geldgebern ermittelt und ausgewertet. Erfasst wurden die in Tabelle 5-3 aufgeführten Kategorien, wobei die darin enthaltenen Gelder für erbrachte Dienstleistungen und Beratungen (z.B. die Erstellung von Gutachten) sowie Stiftungsprofessuren aus der Gesamtsumme herausgerechnet wurden. Keine Berücksichtigung finden zum Beispiel Drittmittelzuweisungen der Hochschulen, Erstausstattungsmittel sowie Gelder des Bundes für Juniorprofessuren.418

417 418

Vgl. Berghoff et al. (2008a), S. E-4f., und CHE (2004b), Fragen 1 und 3. Vgl. CHE (2004b), Fragen 3 bis 5.

172

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Tabelle 5-3: Drittmittelkategorien im CHE-Forschungsranking BWL 2005

EU, Bund und Land

Mittel der Europäischen Union (EU) oder anderer nichtdeutscher Förderer*

Wirtschaft

Forschungs- und Entwicklungsaufträge aus der Privatwirtschaft

Stiftungen

z.B. Bosch, Thyssen, VW

Mittel des Bundesministeriums für Bildung und Forschung (BMBF) sowie andere Bundesmittel Landesmittel (nur Forschungsförderprogramme)

Übrige

Deutsche Forschungsgemeinschaft (DFG) –

Sonderforschungsbereiche*

–

Stipendien (Zuschüsse für Druck- und Reisekosten, ...) sowie Sachbeihilfen

–

Andere Förderprogramme (z.B. Normalverfahren)

–

Graduiertenkollegs*

Deutscher Akademischer Austauschdienst (DAAD) Sonstiges –

Sonstige Drittmittel

–

Vergütungen

– Spenden * Jeweils auf den Studienbereich fallender Anteil

Durch die Einbeziehung der von den verschiedenen Förderern erhaltenen Gelder werden die beiden Drittmittelindikatoren der heterogenen Förderstruktur in der betriebswirtschaftlichen Forschung gerecht.419 Trotz der unterschiedlichen Güte drittmittelgeförderter Projekte bleiben bei der Bewertung jedoch qualitative Aspekte völlig außer Acht. Eine entsprechende, wie in der Literatur vorgeschlagene Differenzierung der Drittmittel nach ihrer Herkunft wäre durchaus denkbar und könnte angesichts der individuellen Drittmittelzusammensetzung an den betriebswirtschaftlichen Fachbereichen420 tatsächlich ein anderes Bild von ihren extern geförderten Forschungsaktivitäten wiedergeben. Es sei aber noch einmal wie bereits im Abschnitt 4.3.3 darauf hingewiesen, dass solch eine einfache, pauschale Gewichtung des Drittmittelaufkommens ohne Berücksichtigung inhaltlicher Fachbereichsschwerpunkte Gefahr läuft, aufgrund besonderer Forschungsinteressen der Wissenschaftler und spezieller Fördergebiete der Drittmittelgeber eine Bewertung trotzdem zu verzerren. Eine Besonderheit des Drittmittelindikators zur Bewertung der Forschungseffizienz ist, dass bei ihm nicht wie bei der Ermittlung der Publikations- und Promotionseffizienz die Professo-

419

420

Der Überblick des CHE-Forschungsrankings 2005 über die Drittmittelgeber der BWL in den Jahren 2001 bis 2003 zeigt, dass der Bund mit 23,8 % den höchsten Drittmittelanteil hatte, gefolgt von den sonstigen Drittmittelgebern mit 19,4 % sowie der Wirtschaft und den Stiftungen mit 17,4 % bzw. 16,4 %. Daneben haben die DFG, die Länder und die EU zu 9,9 %, 9,1 % bzw. 4,0 % zur betriebswirtschaftlichen Drittmittelforschung beigetragen (vgl. Berghoff et al. (2008a), S. E-7). Vgl. zur Drittmittelhöhe und -herkunft der einzelnen Fachbereiche Abbildung 1 des CHE-Forschungsrankings BWL 2005 (Berghoff et al. (2008a), S. E-6).

Abschnitt 5.3: Analyse

173

ren, sondern alle nicht drittmittelfinanzierten Wissenschaftler bzw. die entsprechenden Vollzeitstellenäquivalente in Rechnung gestellt werden. Demnach wird davon ausgegangen, dass auch die Nachwuchswissenschaftler einen wesentlichen Beitrag für die Einwerbung von Fördergeldern leisten und dieser Beitrag sogar gleichwertig zu dem der Professoren ist. Unabhängig von der Frage, ob die Drittmitteleffizienz durch Einbeziehung der Wissenschaftlichen Mitarbeiter in das drittmittelbezogene Forschungspersonal adäquat abgebildet wird, ist dieses Vorgehen im Vergleich zur Ermittlung der professoralen Publikationseffizienz nicht unmittelbar einleuchtend. Einerseits werden nämlich Drittmittelanträge in der Regel von Professoren gestellt, andererseits können gleichwohl deren Mitarbeiter an diesen an die Förderer adressierten Publikationen wie aber eben auch an sonstigen Schriften der Professoren mitwirken. Zuletzt sei noch darauf hingewiesen, dass es vermutlich nur einen geringen Unterschied macht, ob die für eine Periode eingeworbenen oder verausgabten Drittmittel erhoben werden, die Verwendung Letzterer bei einer Performancemessung aber doch zur Verschwendung von Forschungsressourcen verführen kann.

5.3.3.4 Reputation Der Reputationsindikator reflektiert die Meinungen der Professoren des Faches. Die für das Forschungsranking BWL 2005 relevanten Einschätzungen wurden im Rahmen einer Befragung von Professoren ermittelt,421 in der diese fünf Hochschulen nennen konnten, die sie in ihrem Fach422 als in der Forschung führend angesehen haben. Berechnet wurden die Anteile der Nennungen pro Fachbereich, wobei Angaben der eigenen Universität unberücksichtigt blieben.423 In die Befragung wurden Universitäten aus Deutschland sowie testweise aus Österreich und der Schweiz einbezogen.424 So handelt es sich bei den angeschriebenen Professoren nicht nur um all diejenigen hauptamtlichen Hochschullehrer, die an dem auch für die Publikationsanalyse geltenden Referenztag 31. Mai 2004 vorwiegend für den Studienbereich BWL an deutschen Universitäten tätig waren,425 sondern auch um Professoren österreichischer und Schweizer Hochschulen. Da in der Umfrage jedoch überwiegend Universitäten des eigenen

421 422

423 424

425

Siehe hierzu Abschnitt 5.4.1. Damit ist laut Fragebogen das Studienfach gemeint, in dem ein Professor überwiegend Lehrveranstaltungen anbietet (vgl. CHE (2004a), Frage 2). Vgl. Berghoff et al. (2008a), S. E-14, und CHE (2004a), Frage 7. Im Zuge der Internationalisierung des Rankings beteiligen sich Universitäten Österreichs seit 2004 und Schweizer Universitäten seit 2005 am CHE-Ranking (vgl. Berghoff et al. (2008b), S. 8). Vgl. hierzu CHE (2004c) und Fußnote 397.

174

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Landes genannt wurden und zudem sehr große Unterschiede in der Stichprobengröße der drei Länder existieren, sind in den Reputationsindikator nur Nennungen deutscher Universitäten eingeflossen.426 Dadurch sind im Prinzip allerdings nicht sämtliche im Zusammenhang mit der länderübergreifenden Erhebung stehende potenzielle Ungenauigkeiten des Indikators ausgeschlossen. Schließlich hat jede von einem Professor für eine österreichische oder Schweizer Universität eventuell vergebene, letztlich aber nicht berücksichtigte Stimme die Anzahl seiner möglichen Nennungen für deutsche Fachbereiche verringert. Die Eliminierung der Angaben von Fachbereichen, denen die Professoren selber angehören, erweist sich als sinnvoll, um diesbezüglich strategischen Antworten zu entgegnen. Sie kann aber nicht generell verhindern, dass einzelnen Angaben keine sachlich begründeten Argumente zugrunde liegen, zum Beispiel wenn versucht wird, das Bild eines lokalen oder regionalen Hochschulstandorts durch Auflistung benachbarter Hochschulen positiv zu beeinflussen. Da die Professoren außerdem im Fragebogen für den in das Forschungsranking 2005 eingehenden Reputationsindikator nicht darauf hingewiesen wurden, dass nur Fremdnennungen zählen,427 sind auch – ähnlich wie bei den Angaben einer österreichischen oder Schweizer Hochschule – etwaige Verzerrungen der Ergebnisse durch berechtigte Eigennennungen nicht auszuschließen. Dass weiterhin große Fachbereiche mit vielen Professoren durch das Prozedere nicht so viele Stimmen erreichen können wie kleinere Fachbereiche mit wenigen Professoren, scheint vermutlich weniger schwer zu wiegen. Schließlich haben sie prinzipiell größere Chancen auf häufige Nennungen, gerade weil ihnen mehr Professoren angehören, unter denen sich zudem allein aus statistischen Gründen auch eher einzelne exzellente, das Bild des gesamten Fachbereichs prägende Forscher befinden. Festzuhalten ist, dass der Reputationsindikator im Gegensatz zu den Faktenindikatoren des CHE-Rankings explizit auch auf die Qualität der Forschung gerichtet ist. Seine Aussagekraft hängt allerdings entscheidend von der Beteiligung an der Professorenumfrage ab. Er ist außerdem generell nur zur Identifizierung von wenigen hoch reputierten Fachbereichen geeignet, lässt aber kaum differenzierte Aussagen zum Ansehen dieser und aller weiteren Fachbereiche zu. Wenn beispielsweise alle Befragten dieselbe Präferenzordnung hinsichtlich der Forschungsreputation der Fachbereiche haben und die Top Five als führende angeben, beläuft sich der Reputationswert für jeden dieser fünf Fachbereiche auf 20 %, für alle anderen auf 0 %, und zwar unabhängig von den tatsächlich existierenden Reputationsdifferenzen, die

426 427

Vgl. Berghoff et al. (2005b), S. 32. Vgl. CHE (2004a), Frage 7.

Abschnitt 5.3: Analyse

175

sehr groß zwischen den Fachbereichen an der Spitze oder denen im restlichen Feld und sehr klein zwischen diesen beiden Gruppen sein können. Eine konkrete Bewertung anhand einer vorgegebenen Skala könnte – abgesehen von weiteren Problemen, wie subjektiver Bewertungsmaßstäbe – zwar einerseits einen höheren Informationswert des Reputationsindikators schaffen, wäre aber auch mit einem größeren Aufwand für die Professoren verbunden, was wiederum die Teilnahme an der Befragung und letztlich die Aussagekraft des Indikators als Spiegel für die Meinung der Professorenschaft gefährden würde.

5.3.3.5 Zwischenfazit Die Diskussion verschiedener Forschungsindikatoren in Kapitel 4 dieser Arbeit hat gezeigt, dass ein einzelner Indikator kaum die hochschulische Forschung in ihrer ganzen Breite erfassen kann. Allein aus diesem Grund, aber auch weil jeder in der Praxis eingesetzte Indikator mit zahlreichen Problemen einhergeht, ist die Kombination von Publikations-, Promotionsund Drittmittelgrößen sowie ihre Gegenüberstellung mit dem Reputationsindikator im CHEForschungsranking der BWL sinnvoll. Die Auswahl und Konstruktion der sechs Faktenindikatoren führt allerdings dazu, dass insgesamt vorwiegend quantitative Aspekte der Leistungserbringung gemessen werden. Lediglich das Reputationsmaß zielt direkt auf die Qualität der Forschung. Da Reputation jedoch nicht zur Ermittlung der Forschungsstärke herangezogen wird und weil das Ansehen eines Fachbereichs maßgeblich von Publikationen, Promotionen und Drittmitteln sowie anderen Ergebnissen der Forschungsproduktion bestimmt wird, müsste das Bündel von Faktenindikatoren modifiziert werden, um der qualitativen Dimension der betriebswirtschaftlichen Forschung insgesamt, vor allem bei der Ermittlung der Forschungsstärke der untersuchten Fachbereiche, stärker Rechnung tragen zu können. Dass Zitationsindikatoren dazu generell geeignet sein können, wurde in Abschnitt 4.3.1.2 deutlich gemacht. Die dort ebenfalls geschilderten Probleme ihrer Erhebung treffen allerdings auch auf die Forschungsleistungen betriebswirtschaftlicher Fachbereiche zu. So sind etwa die vom CHE für die Publikationsanalyse verwendeten Datenbanken nicht für eine Zitationsanalyse geeignet, und mithilfe der gelegentlich dafür verwendeten ISI-Datenbanken SSCI und SCI-X (Science Citation Index Expanded) sowie der prinzipiell für eine Zitationsanalyse einsetzbaren Datenbank Scopus könnten allenfalls international sichtbare Spitzenleistungen einigermaßen adäquat abgebildet werden.428

428

Vgl. zur Messung der Forschungsleistung deutschsprachiger Betriebswirte mittels SSCI und SCI-X die Analyse von Dyckhoff/Schmitz (2007), hier S. 653ff. Aufgrund der für Zitationsanalysen in den Wirtschafts- und

176

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Es lässt sich weiterhin festhalten, dass der dreijährige Betrachtungszeitraum für die Publikations-, Promotions- und Drittmittelperformance relativ kurz ist, weshalb unvermeidbare zufällige Schwankungen in der betriebswirtschaftlichen Forschungsproduktion das Bild der Performance von vor allem kleineren Fachbereichen mit wenigen Wissenschaftlern verzerren können. Er ist in der Rankingpraxis für den Hochschulbereich aber durchaus üblich, soll dabei doch in der Regel die Performance in der aktuellen Leistungserbringung präsentiert werden.429 Die kurze Untersuchungsperiode ist außerdem mit dem Vorteil verbunden, dass die Unterschiede zwischen der vom CHE verwendeten Current-potential-Methode – nach der die Publikationen der Professoren erfasst werden – und einer Work-done-at-Zählung – wie sie bei Promotionen und Drittmitteln erfolgt – nicht allzu groß sind, da bei den meisten Fachbereichen von einer geringen Fluktuation der Professoren und einer minimalen Änderung der Wissenschaftlerstellen innerhalb dieses Zeitraums ausgegangen werden kann. Schließlich lassen sich durch die parallele Verwendung der verschiedenen Faktenindikatoren bedingte Redundanzen bei kurzer Sicht reduzieren. So ist es etwa wahrscheinlich, dass die verausgabten Drittmittel Forschungsleistungen prognostizieren, die im Betrachtungszeitraum nicht noch einmal mittels Publikationen bewertet werden. Ein besonderer Blick ist abschließend noch auf die Effizienzindikatoren zu richten. Sie sind als einfache Produktivitäten konstruiert, womit konstante Skalenerträge in der betriebswirtschaftlichen Forschung unterstellt werden. Dies kann aufgrund der teilweise widersprüchlichen Aussagen in der Literatur zu Skalenerträgen der betriebswirtschaftlichen Forschung430 nur eine Hypothese sein, stellt andererseits aber gerade deshalb eine nachvollziehbare Annahme dar.

5.4

Anwendung

5.4.1

Datenerhebung

Das Forschungsranking beruht auf einer Sonderauswertung von Daten, die im Rahmen des CHE-Hochschulrankings erhoben werden. Die meisten Informationen stammen aus der dazugehörigen Fachbereichsbefragung, die das CHE online jeweils im Vorjahressommer vor der geplanten Veröffentlichung eines neuen Fachrankings durchführt.431 Mit Bezug auf das

429 430 431

Sozialwissenschaften unzureichenden Datenbanken hielt Dilger (2000) bereits im Jahr 2000 ein Plädoyer für einen deutschsprachigen sozialwissenschaftlichen Zitationsindex. Vgl. etwa das Förderranking der DFG (2006) und das Uniranking des FOCUS (2007). Siehe Abschnitt 3.2.2.2.1. Sämtliche für die in den letzten drei Jahren erstellten Rankings verwendeten Fragebögen sind auf den Internetseiten des CHE (www.che.de) einsehbar.

Abschnitt 5.4: Anwendung

177

Forschungsranking der BWL aus dem Jahr 2005 gehören dazu alle Angaben zum Personal. Dies sind zum einen die Namen der am 31. Mai 2004 an den Fachbereichen beschäftigten und betriebswirtschaftlich forschenden Professoren, deren Publikationen ermittelt und die zur Reputation der Fachbereiche befragt wurden. Die Namen wurden zuvor vom CHE auf Basis der Angaben auf den Internetseiten der Fachbereiche bzw. auf der Grundlage der Datenerhebung des Rankings 2002 ermittelt und im Rahmen der Befragung den Dekanaten zur Kontrolle und gegebenenfalls Korrektur vorgelegt.432 Zum anderen handelt es sich bei den Personaldaten um die Anzahl der am jeweils 31.12. der Jahre 2001 bis 2003 mit Professoren bzw. Wissenschaftlichen Mitarbeitern besetzten Stellen, die in die relativen Indikatoren „Promotionen pro Professor“ und „Drittmittel pro Wissenschaftler“ eingeflossen sind. Gegenstand der Befragung waren darüber hinaus die Dissertationszahlen vom SS 2001 bis zum WS 2003/04 und die Beträge der in den Jahren 2001 bis 2003 verausgabten Fördergelder, welche differenziert nach Drittmittelgebern auszuweisen und im Falle von Angaben unter den Punkten Sonstige Drittmittel, Vergütungen und Spenden zu begründen waren.433 Sämtliche Zahlen dieser Fachbereichsbefragung wurden vor ihrer Auswertung den Fachbereichen zur Überprüfung zugespielt.434 Die Publikations- und Reputationsdaten gehen aus speziellen Erhebungen hervor und basieren auf den von den Fachbereichen genannten Professorennamen. Die Publikationen werden in der Regel nicht durch das CHE selber, sondern in deren Auftrag vom IZ Bonn (Informationszentrum Sozialwissenschaften) in bibliometrischen Datenbanken recherchiert.435 Die Meinungen der Professoren zu den in der betriebswirtschaftlichen Forschung führenden Fachbereichen erhebt das CHE wiederum selber über einen auf Papier oder online auszufüllenden Fragebogen, in dem unter anderem auch Hochschulempfehlungen für ein Studium in dem von den Professoren primär gelehrten Fach sowie Aussagen über die Rahmenbedingungen für die eigene Forschung und Lehre erbeten werden. Dabei zählen für ein bestimmtes Fach nur die Urteile der Professoren, die sich auch selbst auf den Fragebögen fachlich entsprechend einordnen.436 Für das Forschungsranking BWL 2005 fand diese Umfrage im Sommer 2004 statt.

432 433 434 435

436

Vgl. CHE (2004c). Vgl. CHE (2004b), Fragen 1 bis 5. Vgl. Berghoff et al. (2005b), S. 12. Da das IZ Bonn für die betriebswirtschaftlichen Publikationsdaten des CHE-Forschungsrankings 2005 eine veraltete Übersicht der in die Analyse einzubeziehenden Professoren zugrunde gelegt hatte – wodurch Neuberufungen oder Wechsel in der Professorenschaft seit 2002 unberücksichtigt blieben – stammen die Zahlen des Rankings 2005 aus einer vom CHE selbst auf Basis der korrekten Namen durchgeführten Recherche. Vgl. z.B. CHE (2004a), Frage 2.

178

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Zur Qualitätssicherung testet das CHE die mittels der Fachbereichsbefragung erhaltenen Daten auf Plausibilität und Ausreißer, vergleicht etwa die Drittmittelangaben mit den Daten vergangener Erhebungen und mit den Zahlen externer Quellen, wie dem DFG-Förderranking oder der amtlichen Statistik einzelner Bundesländer.437 Diese Zahlen gehen außerdem nur dann in das Forschungsranking ein, wenn sie für die jeweiligen Dreijahreszeiträume vollständig vorliegen und die durchschnittliche Wissenschaftleranzahl (ohne Drittmittelstellen) mindestens drei ist.438 Zusätzlich haben die Fachbeiräte vor der Veröffentlichung eines Rankings die Möglichkeit, die Gesamtlisten auf Stimmigkeit zu prüfen.439 Trotz dieser Qualitätssicherungsmaßnahmen kann das CHE Fehler in den Daten, die auf Missverständnissen, mangelnder Sorgfalt oder sogar Manipulationen auf Seiten der Fachbereiche beruhen, nicht ausschließen. Für einzelne Fachbereiche können sie aber gravierende Konsequenzen haben, die für sie besonders ärgerlich sind, wenn dadurch ein Platz in einer besseren Indikatorgruppe oder sogar der Gruppe forschungsstarker Fachbereiche verfehlt wird. Ausschlaggebend können dafür vor allem die Personalzahlen sein, welche bei der Ermittlung der partiellen Effizienzen die Fachbereichsgröße determinieren und dabei sensible Wirkungen entfalten. Außerdem ist es möglich, dass die Datensätze einzelner Fachbereiche Unstimmigkeiten aufweisen. Diese können für die BWL beispielsweise entstehen, wenn die Zuordnung der am Fachbereich beschäftigten Wissenschaftler zum betriebswirtschaftlich forschenden Personal hinsichtlich der Namen und Stellen nicht einheitlich erfolgt – sei es unbewusst, weil die Auskünfte von verschiedenen Hochschuleinrichtungen (z.B. den Fachbereichen und der Hochschulverwaltung) gegeben werden, oder sogar aus strategischen Gründen, um zu versuchen, den eigenen Fachbereich mit der Kenntnis der Indikatorenbildung im vorherigen Ranking bei jedem einzelnen Indikator möglichst gut darzustellen. So könnten beispielsweise nicht ausschließlich betriebswirtschaftlich forschende Wissenschaftler zwar namentlich aber nicht stellenmäßig genannt worden sein, sodass ihre Publikationen und ihre Einschätzung zur Reputation der Fachbereiche mit abgebildet werden, ihre Stellen bei der Drittmittel- und Promotionseffizienz dagegen nicht zum Tragen kommen. Die Aufdeckung solcher Inkonsistenzen ist schwierig, weil sich die Personalnamen und -stellen auf verschiedene Stichtage beziehen. Auftretende Differenzen zwischen der Zahl namentlich erfasster Personen und der durchschnittlichen Zahl besetzter Professorenstellen

437 438 439

Vgl. Berghoff et al. (2008a), S. B-2. Vgl. Berghoff et al. (2005b), S. 31. Vgl. Berghoff et al. (2008a), S. B-2.

Abschnitt 5.4: Anwendung

179

können daher auch mehrere andere plausible Gründe haben. Abgesehen von Fehlmeldungen seitens der Fachbereiche mögen zum Beispiel mehr Stellen als Namen vorliegen, weil während des betrachteten Gesamtzeitraums Stellen gekürzt wurden oder zum Stichtag 31. Mai 2004 aufgrund eines Personalwechsels kurzfristig offene Stellen bestanden. Andererseits ist es auch möglich, dass mehr Professorennamen als -stellen berücksichtigt werden, etwa wenn bislang offene oder neu geschaffene Stellen während des Untersuchungszeitraums besetzt wurden. Eine Möglichkeit, die Personalzuordnungen in dieser Hinsicht zukünftig nachvollziehbarer zu machen wäre, statt nur der Anzahl der Stellen auch die Namen der diese besetzenden Professoren sowie Daten zu entsprechenden Fluktuationen zu erheben und diese zusätzlich bei der Qualitätskontrolle heranzuziehen. Allerdings bleiben den Fachbereichen selbst dann Gestaltungsspielräume, die sie für eine gezielte Präsentation ihrer Leistungen nutzen könnten, indem sie nämlich zum Beispiel auf betriebswirtschaftlichen Grenzgebieten forschende Professoren konsequent nur dann zur BWL zählen, wenn diese besonders publikations-, promotions- und drittmittelstark sind, um gleichzeitig bei den Effektivitäts- und Effizienzindikatoren zu punkten.440 Zuordnungsspielräume bestanden im Forschungsranking BWL 2005 nicht nur beim Personal, sondern auch bei der Angabe der Promotionszahlen. Laut Fragebogen waren die in den letzten sechs Semestern an den jeweiligen Fachbereichen in BWL abgeschlossenen Dissertationen anzugeben.441 Erstens wurde damit nicht spezifiziert, wann eine Dissertation bzw. Promotion abgeschlossen ist, wozu es in der Praxis unterschiedliche Auffassungen gibt, die sich auf die Zeitpunkte der mündlichen Promotionsprüfungen und der Dissertationsveröffentlichungen beziehen. Zweitens könnten zum Beispiel auch Dissertationen bzw. Promotionen einbezogen worden sein, die (primär) von anderen Fachbereichen betreut wurden und nur formal an einem betriebswirtschaftlichen Fachbereich abzuwickeln waren.442 Auch wenn die Belastbarkeit der in das Forschungsranking eingehenden Daten insgesamt maßgeblich von den Fachbereichen bzw. Hochschulen abhängt, so ist der Weg der Befragung derzeit die einzige Möglichkeit eine umfassende, hochschulübergreifende Performancemessung zur betriebswirtschaftlichen Forschung auf Fachbereichsebene durchzuführen.

440

441 442

Solch ein strategisches Vorgehen kann allerdings gegebenenfalls z.B. aufgrund der Interdependenzen zwischen mehreren CHE-Rankings auch negative Auswirkungen auf die Positionierung eines Fachbereichs haben. Die Angabe einer geringen Professorenanzahl bei der Fachbereichsbefragung des CHE wirkt sich beispielsweise zwar positiv auf die für die Forschung gebildeten relativen Indikatoren aus, gleichzeitig erscheint dann aber die – vom CHE (derzeit) nur für einzelne (nicht-betriebswirtschaftliche) Fächer berechnete – Betreuungsrelation der Lehre in einem negativen Licht. Vgl. CHE (2004b), Frage 2. Für das CHE-Ranking BWL 2008 wurde die Frage modifiziert. Anzugeben waren die Dissertationen, die in den letzten sechs Semestern im Fach BWL abgeschlossen wurden und bei denen der Erstgutachter dem jeweiligen Fachbereich angehörte (vgl. CHE (2007), Frage 6).

180

Kapitel 5: Das CHE-Forschungsranking BWL 2005

5.4.2

Ermittlung der Indikatorenausprägungen und Auswertung

Nach der Berechnung der Indikatorenausprägungen für die einzelnen Fachbereiche werden in zwei Schritten nach einem für alle Teilrankings gleichermaßen gültigen Vorgehen indikatorenspezifische Gruppen gebildet und forschungsstarke Fachbereiche ermittelt. Der erste Schritt der Auswertung führt prinzipiell für jeden Indikator zur Formierung einer Spitzen-, einer Mittel- und einer Schlussgruppe. Bei den Faktenindikatoren erfolgt die jeweilige Einteilung auf Basis einer indikatorspezifischen Rangliste. Zur Gruppenbildung bei den Absolutzahlen werden zunächst die Indikatorwerte der im Forschungsranking berücksichtigten Fachbereiche absteigend sortiert und anschließend ihre Anteile an der gesamten Wertesumme – beginnend mit dem höchsten Wert – kumuliert. Zur Spitzengruppe gehören die am höchsten gerankten Fachbereiche, die zusammen mindestens 50 % der Wertesumme auf sich vereinen. Die Schlussgruppe ergibt sich aus jenen Fachbereichen am unteren Ende der Rangliste, auf die insgesamt maximal 10 % des Gesamtaufkommens entfallen. Alle dazwischen liegenden Fachbereiche bilden die Mittelgruppe.443 Bei den Pro-Kopf-Kennzahlen ergibt sich die Gruppenbildung nach Quartilen. Sie entspricht jeweils genau derjenigen der drei Faktenindikatoren im Forschungssegment des übergreifenden Hochschul rankings. Um die unmittelbare Vergleichbarkeit der Ergebnisse zu gewährleisten – allerdings zu Lasten ihrer Nachvollziehbarkeit im Forschung sranking –, basieren die Einteilungen auf den im Hochschulranking verwendeten Ranglisten, die neben den deutschen Universitäten zusätzlich die im Hochschul-, nicht aber im Forschungsranking einbezogenen österreichischen und Schweizer Universitäten umfassen.444 Das jeweils obere (erste) Quartil445 der nach absteigenden Indikatorwerten geordneten Rangliste gründet die Spitzengruppe, die nächsten 50 % (zweites und drittes Quartil) formieren die Mittelgruppe und das untere (vierte) Quartil entspricht der Schlussgruppe.446 Falls ein Quartilswert nicht exakt erreicht wird bzw. unter Umständen nicht erreicht werden kann, wenn die Fachbereichsanzahl kein Vielfaches von vier ist, zählt derjenige Fachbereich, bei dem diese Grenze erstmalig überschritten wird, noch zur besseren Gruppe.

443

444 445

446

Vgl. Berghoff et al. (2008a), S. B-4. Entgegen der hier beschriebenen theoretischen Gruppenformierung enthalten die tatsächlich gebildeten Schlussgruppen all jene Fachbereiche, auf die von unten mindestens (und nicht maximal) 10 % des Gesamtaufkommens entfallen. Es platzieren sich daher auch Fachbereiche in einzelnen Schlussgruppen, mit denen die jeweilige Grenze erstmalig überschritten wird. Vgl. Berghoff et al. (2008a), S. B-4. Der vom CHE verwendete Quartilsbegriff entspricht nicht dem aus der Statistik. Dort gibt z.B. das erste Quartil an, unter halb welchen Werts 25 % aller Merkmalswerte liegen. Vgl. Berghoff et al. (2007), S. 51.

Abschnitt 5.4: Anwendung

181

Im Falle sehr dicht beieinander liegender Indikatorausprägungen an den Gruppengrenzen orientiert sich die Einteilung sowohl bei den absoluten als auch bei den relativen Indikatoren zusätzlich an gegebenenfalls in der Nähe der eigentlichen Grenzen existierenden deutlichen Unterschieden in den Daten („Sprungstellen“). Dann werden alle Fachbereiche mit ähnlichen Werten der besseren Gruppe zugeteilt.447 Im Gegensatz zur Gruppenbildung bei den Faktenindikatoren erfolgt die Bildung der Reputationsgruppen unabhängig von einer Rangliste. Zur Spitzengruppe gehören bei diesem Indikator all diejenigen Fachbereiche, die mehr als 5 % der Nennungen deutscher Hochschulen auf sich vereinigen. In die Schlussgruppe fallen die Universitäten, die keine einzige Stimme erhalten haben, und alle dazwischen werden entsprechend in die Mittelgruppe eingestuft.448 Kennzeichnend für diese drei Gruppierungsverfahren ist, dass sie zu sehr unterschiedlichen Gruppenstärken führen können. Bei den absoluten Indikatoren sind die Größen der Gruppen abhängig von der Verteilung der gesamten Publikationspunkte, Promotionen bzw. Drittmittel auf alle Fachbereiche. Bei starker Konzentration der Werte im oberen Feld sind daher beispielsweise die Spitzengruppen kleiner. Es wäre sogar möglich, dass sie jeweils aus nur einem einzigen Fachbereich bestehen. Bei geringer Konzentration im oberen Wertefeld kann die Spitzengruppe dagegen in etwa die Hälfte der Fachbereiche umfassen. Bei absoluter Gleichverteilung der Publikationspunkte, der Anzahl an Promotionen oder der Summe verausgabter Drittmittel wären alle Fachbereiche in der Spitzengruppe und sowohl Mittel- als auch Schlussgruppe würden nicht existieren. Die Gruppengrößen bei den relativen Indikatoren sind dagegen abhängig von der Anzahl der untersuchten Fachbereiche. Die Spitzengruppen umfassen jeweils mindestens ein Viertel von ihnen bis hin zu allen Fachbereichen, wenn die Werte gänzlich sehr ähnlich sind. Die Stärken der Reputationsgruppen werden wiederum aufgrund der fest vorgegebenen Grenzwerte ausschließlich von den konkreten Indikatorausprägungen bestimmt. Im Gegensatz zu den absoluten und relativen Indikatoren wäre folglich auch die ausschließliche Existenz einer Mittel- oder einer Schlussgruppe denkbar. Es sei darauf hingewiesen, dass die Gruppierungsverfahren, insbesondere die Festlegung der Gruppengrenzen, zwar subjektiv gewählt sind, sich aber bei ihrer Anwendung für die BWL wie auch für andere Fächer jeweils relativ gleich große Gruppen von Fachbereichen ergeben.

447 448

Vgl. Berghoff et al. (2007), S. 51. Vgl. Berghoff et al. (2005b), S. 32. Seit dem Jahr 2006 werden Universitäten, die von mehr als einem Viertel aller befragten Professoren genannt werden, in die Spitzengruppe eingestuft und diejenigen, die von weniger als 1 % der Professoren (bis 2007) bzw. von keinem Professor (ab 2008) genannt werden, bilden die Schlussgruppe. Der Rest formiert die Mittelgruppe (vgl. Berghoff et al. (2006b), S. 37f., und Berghoff et al. (2008b), S. 46, siehe außerdem im Folgenden Abschnitt 5.5).

182

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Aufbauend auf den für die Faktenindikatoren ermittelten Gruppen werden im zweiten Schritt der Auswertung die forschungsstarken Fachbereiche identifiziert. Wie bereits erwähnt, sind dies in jedem Teilranking diejenigen Fachbereiche, die bei mindestens der Hälfte der betrachteten Indikatoren zur jeweiligen Spitzengruppe gehören. Eine Einteilung der weiteren Fachbereiche in eine Mittel- und eine Schlussgruppe wird nicht vorgenommen. Der Reputationsindikator bleibt immer isoliert. Er wird nicht mit den Faktenindikatoren zusammengeführt, sondern diesen lediglich gegenübergestellt, um einen Vergleich der mithilfe der Faktenindikatoren objektiv gemessenen Forschungsleistung und dem subjektiven Ansehen in der Scientific Community zu ermöglichen.449 In dem sechs Faktenindikatoren umfassenden Forschungsranking der BWL 2005 erhalten entsprechend alle Fachbereiche mit drei oder mehr Spitzenplätzen das Prädikat „forschungsstark“. Dabei spielt es keine Rolle, durch welche Indikatoren die Forschungsstärke begründet wird und wie die Positionierungen bei Indikatoren ohne jeweiligen Spitzenplatz ausfallen. Forschungsstärke ist also nicht an eine Mindestperformance bei einzelnen oder gar allen Indikatoren gebunden, sondern kann mit unterschiedlichen Forschungsprofilen, die in den Publikations-, Promotions- bzw. Drittmittelleistungen zum Ausdruck kommen, erreicht werden. Da zur Beurteilung der betriebswirtschaftlichen Forschung drei absolute und genauso viele relative Indikatoren herangezogen werden, kann sich ein Fachbereich insbesondere durch eine ausschließlich bei allen Kriterien hohe Effektivität und gleichzeitig geringe Effizienz oder aber allein durch herausragende Effizienzen bei entsprechend geringen Effektivitäten als forschungsstark auszeichnen.450 Unter der gegebenen Annahme konstanter Skalenerträge werden somit bei der Gesamtbetrachtung große Fachbereiche grundsätzlich zwar schon allein durch die Einbeziehung absoluter Indikatoren privilegiert, doch haben kleinere Fachbereiche mit nur wenigen, aber erfolgreichen Wissenschaftlern zumindest eine – wenn auch geringere – Chance sich als forschungsstark zu beweisen. Die Größe der Gruppe forschungsstarker Fachbereiche kann je nach Datensatz variieren. Während sich bei sehr „homogenen Leistungen“ hinsichtlich der verschiedenen Indikatoren ein großer Anteil an Fachbereichen als forschungsstark beweisen kann, wäre es bei sehr heterogenen, über viele Fachbereiche verteilte Spitzenleistungen sogar möglich, dass sich kein einziger von ihnen als forschungsstark herauskristallisiert.

449 450

Vgl. Berghoff et al. (2008a), S. B-3f. Diese Gleichgewichtung von Effektivität und Effizienz bei der Formierung der Forschungsstärke gilt nicht für alle Fächer. Wenn nämlich auch Zitationen erfasst werden, gehen diese – wie im Abschnitt 5.1 erwähnt – nur relativ als „Zitationen pro Publikation“ in das Indikatorenbündel ein, sodass die Effizienzdimension der Forschungsstärke überwiegt.

Abschnitt 5.4: Anwendung

183

Die hierarchische Auswertungsmethodik im Forschungsranking ermöglicht – seinem Zweck entsprechend –, Transparenz über die Forschungsaktivitäten betriebswirtschaftlicher Fachbereiche zu schaffen und dabei besonders erfolgreiche Fachbereiche hervorzuheben. Die indikatorspezifische Gruppenbildung legt partielle Stärken und Schwächen bei der Produktion von Publikationen, Promotionen sowie Drittmitteln dar und liefert eine Einschätzung zum forschungsbezogenen Ansehen der Fachbereiche innerhalb der deutschen Scientific Community. Darüber hinaus werden in der aggregierten Betrachtung diejenigen Fachbereiche lokalisiert, die sich mehrfach durch gute Platzierungen bei den Faktenindikatoren als forschungsstark beweisen. Sowohl die Gruppenformierungen bei den einzelnen Indikatoren anhand von Gesamtsummen, Quartilen bzw. Prozentwerten als auch die Bestimmung der Gruppe forschungsstarker Fachbereiche mittels Addition der von ihnen in den Einzelrankings der Faktenindikatoren erzielten Spitzenplätze lassen sich leicht umsetzen. Sie sind zudem von den Rankingnutzern prinzipiell ohne besondere Kenntnisse – wie sie etwa ein Einsatz der DEA oder anderer multiattributiver Aggregationsverfahren erfordern würde – nachzuvollziehen, was für die breite Akzeptanz des Rankings in der Praxis nicht unwesentlich scheint.451 Die diskrete Einteilung der Fachbereiche in Gruppen verschiedener Leistungsstärken bringt einerseits zwar Vorteile mit sich, andererseits ist sie mit Problemen und Einschränkungen hinsichtlich der Interpretation und Aussagekraft der Ergebnisse verbunden. So verhindert die Gruppenbildung wohl eine Überbewertung sehr geringer Differenzen zwischen den Werten einer Indikatorgruppe, die eventuell nur auf Unsicherheiten der Daten zurückzuführen sind und bei einem Ausweis von Rangplätzen mitunter als große Performanceunterschiede präsentiert würden. Wie für die Reputationsindikatoren bereits im Abschnitt 5.3.3.4 angesprochen ist es aber eben auch möglich, dass die Werte an den Gruppengrenzen sehr nah beieinander liegen. Für die Faktenindikatoren gilt dies trotz des in Erwägung zu ziehenden Spielraums zur Anpassung der Schranken – nämlich dann, wenn keine eindeutigen Sprünge in den Werten unterhalb der eigentlich ermittelten Gruppengrenzen existieren. Darüber hinaus können die einzelnen Gruppen sehr heterogen sein, vor allem wenn große Unterschiede zwischen den jeweils oberen und unteren Werten bestehen. Sofern von solchen Unstimmigkeiten auch nur eine einzige Spitzengruppe der Faktenindikatoren betroffen ist, kann dies letztlich auch zu Verzerrungen der Gruppe forschungsstarker Fachbereiche führen.452

451

452

Ein unmittelbares Nachvollziehen aller Gruppierungen anhand der konkreten Werte erfordert allerdings eine höhere Transparenz in der Darstellung der Ergebnisse (vgl. hierzu Abschnitt 5.4.3). Die Vernachlässigung der Indikatorenausprägungen bei der Ermittlung der Forschungsstärke der Fachbereiche im CHE-Forschungsranking war ein wesentlicher Grund für die Entwicklung der NACHE-Methodik

184

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Die fehlende systematische Beachtung der Abstände zwischen den Indikatorausprägungen hat auf der aggregierten Ebene zudem zur Folge, dass das allgemein als Rationalitätspostulat anerkannte Dominanzprinzip außer Acht gelassen wird. Verborgen bleibt also, wenn innerhalb der forschungsstarken (oder auch der nicht-forschungsstarken) Gruppe ein Fachbereich bei jedem Faktenindikator mindestens so gut wie ein anderer Fachbereich der Gruppe und bei wenigstens einem Faktenindikator besser als dieser abschneidet, er den anderen Fachbereich also dominiert. Selbst die Anzahl der Spitzenplätze gibt nicht zwingend Hinweise auf die Existenz solcher Überlegenheitsbeziehungen zwischen den Fachbereichen.453 Daher kann auch nicht immer für einzelne Fachbereiche direkt ein indikatorenübergreifender Benchmarkingpartner gefunden und ein tatsächlich realisierbares Verbesserungspotenzial aufgedeckt werden.454 Eine weitere Beschränkung der CHE-Methodik liegt in der vorgegebenen Gleichgewichtung aller Faktenindikatoren zur Bestimmung der forschungsstarken Fachbereiche. Dies muss nicht unbedingt mit den Präferenzen der Rankingnutzer bzw. den individuellen Schwerpunkten der Fachbereiche übereinstimmen.455 Vor allem die additive Zusammenführung der Effektivitäts- und der Effizienzdimension der Performance stößt bisweilen auf Kritik, weil sie größere Fachbereiche (unter der getroffenen Annahme konstanter Skalenerträge) bei der Bewertung privilegiert.

5.4.3

Weitergabe und Nutzung der Ergebnisse

Das Forschungsranking für das Fach BWL wird jährlich in einem Arbeitspapier des CHE mit dem Titel „Das CHE-Forschungsranking deutscher Universitäten“ veröffentlicht. Dieses enthält alle Teilrankings der in den letzten drei Jahren untersuchten Fächer, die darauf aufbauende Übersicht zu den Forschungsprofilen der Universitäten sowie allgemeine Erläuterungen zu den Indikatoren und zur Methodik. Die Verbreitung des Arbeitspapiers erfolgt durch das CHE sowie dessen Medienpartner DIE ZEIT. Es steht als Gesamtfassung bzw. in separaten Auszügen zu den fachspezifischen Rankings, der zusammenfassenden Universitätsübersicht

453 454

455

durch Ahn, Dyckhoff und Gilles. Dabei handelt es sich um eine normiert-additive Modifikation der CHEMethodik, die eine Brücke zur (anspruchsvolleren) DEA schlägt und dabei praxisbezogene und wissenschaftliche Aspekte der Performancemessung miteinander verbindet (vgl. Ahn/Dyckhoff/Gilles (2007) und Abschnitt 6.1.4). Vgl. zu dieser Problematik Ahn/Dyckhoff/Gilles (2007), S. 623f. Solch eine Identifizierung von (gegebenenfalls fiktiven) Benchmarkingpartnern der Fachbereiche und ihrem Verbesserungspotenzial unter Berücksichtigung aller relevanten Aufwände und Erträge ermöglicht die DEA. Auch in dieser Hinsicht bietet die DEA gegenüber der CHE- und auch der NACHE-Methodik einen Vorzug, wird bei ihrer Anwendung doch für jede Produktiveinheit modellendogen ein individueller Gewichtungsvektor für die Aufwände und Erträge bestimmt, der sie in ihr jeweils bestes Licht rückt.

Abschnitt 5.4: Anwendung

185

und der Methodik auf deren Internetseiten kostenlos zum Download zur Verfügung.456 Zusätzlich werden in jedem Jahr Ausschnitte der Ergebnisse für die jeweils aktualisierten Fächer in der Wochenzeitung des Medienpartners (DIE ZEIT) abgedruckt. Alle Teilrankings sind fächerübergreifend gleich aufgebaut, unterscheiden sich aber teilweise je nach ihrem Entstehungszeitpunkt wegen grundsätzlicher Verbesserungen oder anderer Änderungen des Forschungsrankings im Detail. Die Inhalte lassen sich grundsätzlich in drei Abschnitte gliedern. Der erste Teil des Forschungsrankings BWL 2005 informiert kurz fachbezogen über die Objektmenge, die verwendeten Indikatoren sowie das generelle Prinzip der Gruppenbildung und präsentiert die als forschungsstark ermittelten Fachbereiche in einer Tabelle, die neben den die Forschungsstärke begründenden Spitzenplätzen bei den Faktenindikatoren auch solche bei der Reputation ausweist. Detaillierte Ergebnisse aller Fachbereiche werden im zweiten Teil des Rankings getrennt nach den vier Bewertungskriterien dargestellt. Im Mittelpunkt der Faktenindikatoren stehen die Indikatorenausprägungen und Gruppenzugehörigkeiten der einzelnen Fachbereiche, welche in absteigender Reihenfolge nach der Höhe der absoluten Werte aufgelistet sind. Dabei wird auch der für die Gruppenbildung der absoluten Indikatoren relevante kumulierte Anteil ausgewiesen. Zusätzlich veranschaulicht jeweils ein Diagramm die Verteilung der absoluten Publikationen, Promotionen bzw. Drittmittel, wobei im Falle Letzterer auch deren Herkunft – gemäß den vier in Abschnitt 5.3.3.3 genannten Kategorien – erkennbar ist. Die Zusammensetzung der Drittmittel im ganzen Fach wird außerdem in einer weiteren Abbildung präsentiert. Im Gegensatz zu den Faktenindikatoren werden Reputationswerte nur für jene Fachbereiche offen gelegt, bei denen sie mindestens 1 % betragen.457 Der letzte Teil des Forschungsrankings ist den Zusammenhängen der Indikatoren gewidmet. Aufgeführt werden sämtliche Korrelationen zwischen den verschiedenen Indikatoren. Des Weiteren visualisiert ein Streudiagramm die Positionierung der Fachbereiche bei den absoluten Publikationen und Drittmitteln, wobei zusätzlich Reputationsspitzenplätze grafisch gekennzeichnet sind. Die kompakte Darstellung des Forschungsrankings bietet einen insgesamt informativen Überblick über die Forschungsperformance betriebswirtschaftlicher Fachbereiche deutscher Universitäten. Vor allem die Angabe der einzelnen Indikatorenausprägungen ermöglicht den Rankingnutzern eigene Interpretationen und vertiefende Analysen, birgt bei unzureichenden Kenntnissen der betriebswirtschaftlichen Forschungslandschaft aber auch die Gefahr, unangemessene Schlüsse und Konsequenzen zu ziehen.

456 457

Vgl. www.che.de bzw. www.zeit.de. Die im jeweils aktuellen CHE-Forschungsranking nicht veröffentlichten Reputationswerte können der Internetversion des CHE-Hochschulrankings entnommen werden.

186

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Sinnvoll erscheint es, das Vorgehen des Forschungsrankings der BWL – wie auch die Vorgehensweisen der Rankings aller anderen Fächer – noch detaillierter und idealerweise in gebündelter Form zu erläutern. Viele Informationen werden nämlich bisher nicht dokumentiert oder können nur anderen Veröffentlichungen des CHE, wie etwa den Publikationen zum Hochschulranking oder den im Internet zur Ansicht stehenden Fachbereichs- und Professorenfragebögen, entnommen werden. Der zusätzliche Aufwand beim CHE würde zumindest denjenigen der Rankingnutzer reduzieren. Erläutert werden sollte auch, warum gerade absolute Publikationen und Drittmittel gegenübergestellt werden, ein Vergleich mit Promotionen aber ausbleibt. Alternativ könnten im Ranking auch Abbildungen für Letztere ergänzt werden. Kritisch anzumerken ist vor allem, dass das der Öffentlichkeit präsentierte Bild stark von den absoluten Werten geprägt ist und dadurch die relativierenden Ergebnisse in den Hintergrund gedrängt werden. Dies steht nicht einmal im Einklang mit dem im Ranking verwendeten Begriff der Forschungsstärke, welche für die BWL gleichermaßen von Effektivität und Effizienz bestimmt wird. Unabhängig von der Dominanz absoluter Performance wären Informationen zur Personalstärke der Fachbereiche hilfreich, um Unterschiede in den Absolutzahlen besser einordnen zu können.458 Auch wenn explizit keine Ranglisten aufgestellt werden sollen, wie es allerdings mit der kriterienweisen Auflistung der Fachbereiche nach der Höhe ihrer absoluten Indikatorwerte letztlich doch gegeben ist, würde eine analoge Sortierung der Fachbereiche mit Bezug auf ihre relativen Werte eine noch bessere Transparenz schaffen. Durch eine Integration oder auch nur eine gesonderte Angabe der nicht in Deutschland ansässigen Universitäten, die für die aus dem Hochschulranking übernommene Gruppenbildung bei den Effizienzindikatoren relevant sind, könnte diese außerdem direkt nachvollziehbar gemacht werden. Manche Rankingnutzer würden sicher auch von einer interaktiven Rankingdarstellung im Internet profitieren. Eine solche könnte beispielsweise die soeben genannten Auflistungen der Fachbereiche nach ihrer relativen Performance und entsprechend das Nachvollziehen der Gruppenbildung erlauben, wie auch den Vergleich besonders interessierender Fachbereiche sowie die Auswahl und Gewichtung der Kriterien nach individuellen Präferenzen zur Ermittlung von Forschungsstärke.459

458

459

Die Personalstärke der Fachbereiche kann bisher nur indirekt über die im Ranking ausgewiesenen Effektivitäts- und Effizienzwerte ermittelt werden. Für solch ein interaktives Ranking ist das im Internet zugängliche CHE-Hochschulranking ein gutes Vorbild.

Abschnitt 5.5: Das CHE-Forschungsranking BWL 2008

5.5

187

Das CHE-Forschungsranking BWL 2008

Um den Leser in dieser Arbeit auch über die aktuelle Methodik des CHE-Forschungsrankings BWL zu informieren und ihm dabei gleichzeitig die damit verbundene Weiterentwicklung aufzuzeigen, wird in diesem Abschnitt auf wesentliche Unterschiede zwischen den Rankings der Jahre 2005 und 2008 eingegangen.460 Sie betreffen die Indikatoren, die Gruppenbildung und die Ergebnisdarstellung.461 Das Indikatorenset wurde nicht nur durch Modifikation der im Ranking 2005 enthaltenen Kennzahlen, sondern auch durch Ergänzung der drei absoluten und der drei relativen Faktenindikatoren mit jeweils einem internationalen Publikationsindikator verändert. Einige Neuerungen der bereits aus dem Ranking 2005 bekannten Größen sind zeitlicher Natur und entsprechen der im Drei-Jahres-Rhythmus erfolgenden Aktualisierung des Rankings. So liegen der jüngsten Untersuchung einerseits Publikationen und Drittmittel der Jahre 2004 bis 2006 (zuvor 2001 bis 2003), andererseits Promotionen vom SS 2004 bis zum WS 2006/07 (zuvor SS 2001 bis WS 2003/04) zugrunde. Zudem beziehen sich die für die Publikationsindikatoren sowie die Reputationserhebung relevanten Personaldaten (Namen) im Ranking 2008 auf den 31. Mai 2007 (zuvor 2004) und die in die relativen Promotions- und Drittmittelindikatoren einfließenden Personalzahlen (Stellen) wurden auf den 31. Dezember 2004, 2005 und 2006 (zuvor 2001 bis 2003) fortgeschrieben. Von weiteren Modifikationen der bereits erprobten Indikatoren sind ausschließlich der absolute und der relative Publikations- sowie der Reputationsindikator betroffen. Eine dieser Änderungen liegt darin, dass für das Ranking BWL 2008 das (komplette) WisoNet, ein Literatursystem für die Wirtschafts- und Sozialwissenschaften, zur Publikationsrecherche verwendet wurde, während es zuvor die einzelnen – zum Teil im WisoNet enthaltenen – Datenbanken BLISS, ECONIS, HWWA462 und Solis waren. Ferner beziehen sich die beiden Publikationsindikatoren nun auf die Veröffentlichungsleistungen aller promovierten Wissenschaftler (inklusive Stipendiaten) statt wie bis zum Ranking 2005 ausschließlich auf diejenigen der Professoren. Bedeutsam ist ebenfalls die neu eingeführte Gewichtung von Zeitschriftenauf-

460

461

462

Vgl. im Folgenden zum CHE-Forschungsranking BWL des Jahres 2005 Berghoff et al. (2008a), Teile B und E, und zu demjenigen des Jahres 2008 Berghoff et al. (2008c), Teile B und D. Über einige der nachstehenden Informationen, die nicht (hinreichend) in den Veröffentlichungen des CHE dokumentiert sind, wurde vom CHE gesondert berichtet. Ursprünglich sollte auch der aus den für das Studienfach BWL zuständigen Organisationseinheiten bestehende Untersuchungsbereich des CHE-Forschungsrankings durch weitere im Fach BWL forschende Einheiten der Hochschulen (z.B. Zentralinstitute oder Abteilungen an anderen Fachbereichen) erweitert werden. Aufgrund diesbezüglich sehr heterogener Angaben der Hochschulen (z.B. Aninstitute und Graduiertenkollegs) wurde letztlich aber darauf verzichtet. Die Datenbank HWWA ist im WisoNet recherchierbar, enthält aber keine aktuellen Referenzen (siehe Fußnote 399).

188

Kapitel 5: Das CHE-Forschungsranking BWL 2005

sätzen, durch die der qualitativen Dimension betriebswirtschaftlicher Forschungsleistungen stärker Rechnung getragen wird. Diese erhalten nun einen Punktwert, der sich zum einen weiterhin wie bei allen für das Fach BWL berücksichtigten Publikationen aus der Beitragslänge und der Autorenanzahl ergibt,463 und der zum anderen zusätzlich von der Klassifikation der jeweiligen Zeitschrift im Ranking VHB-Jourqual 1 des Verbands der Hochschullehrer für Betriebswirtschaft e.V. (VHB)464 abhängt. So werden Aufsätze in Zeitschriften der Klassen A+ und A dreifach und in Zeitschriften der Klasse B doppelt so hoch bewertet wie alle anderen Publikationen. Grundsätzlich nicht mehr gewichtet werden hingegen Herausgeberschaften. Sie erhalten unabhängig von der Anzahl der Herausgeber drei Punkte. Hinsichtlich der Änderungen der beiden Publikationsindikatoren sind außerdem deren vom vorherigen Ranking aus dem Jahr 2005 abweichende (Durchschnitts-)Angaben zu erwähnen. Während bisher der absolute Publikationsindikator als Jahresdurchschnitt und der relative Publikationsindikator für den gesamten Zeitraum von drei Jahren ausgewiesen wurden, ist es jetzt genau umgekehrt: Die absoluten Publikationszahlen beziehen sich auf drei Jahre, die relativen Publikationszahlen werden als durchschnittliche Jahreswerte ausgewiesen. Diese Variationen haben natürlich keine Auswirkungen auf die Aussagekraft der Indikatoren, sollten aber neben den zuvor erwähnten Modifikationen bei einem Vergleich der beiden Rankings 2005 und 2008 beachtet werden. Die Änderungen des Reputationsindikators beruhen darauf, dass sich bei der Ermittlung der fachspezifischen Forschungsreputation der Universitäten die testweise Einbeziehung österreichischer und Schweizer Hochschulen nicht bewährt hatte.465 Daher wurden in die Befragungen zum Ranking 2008 von vornherein nur noch die Professoren deutscher Universitäten einbezogen und nach ihren Einschätzungen zur Forschungsleistung der ausschließlich in Deutschland ansässigen Hochschulen gebeten. Um den Reputationsindikator überdies anschaulicher zu machen, weist er auch nicht mehr den Anteil der auf eine Hochschule fallenden Nennungen aus, sondern den Anteil der Professoren, die eine Hochschule genannt haben. Den beiden neu in das Forschungsranking BWL 2008 aufgenommen bibliometrischen Indikatoren liegen die von Professoren und weiteren promovierten Wissenschaftlern in den Jahren 2004 bis 2006 veröffentlichten internationalen Publikationen zugrunde. Basis für deren Erhebung bildeten die Datenbanken SCI (Science Citation Index), SSCI und A&HCI (Arts & Humanities Citation Index) des ISI Web of Science, wobei die Typen Journal Article, Review

463 464 465

Siehe Tabelle 5-2. Vgl. VHB (2003). Siehe Abschnitt 5.3.3.4.

Abschnitt 5.5: Das CHE-Forschungsranking BWL 2008

189

Article und Letter gewertet wurden. Die so erfassten Publikationen wurden nicht explizit – wie die über das WisoNet erfassten Publikationen – gewichtet. Da aber die Abfrage der Publikationen in den Datenbanken für alle Wissenschaftler eines Fachbereichs parallel erfolgte und dabei jede Veröffentlichung genau einmal gezählt wurde, kommt den einzelnen Wissenschaftlern für Kooperationsschriften, die ausschließlich an ihrem Fachbereich entstanden sind, implizit ein geringerer Publikationswert zu als für Veröffentlichungen, die sie in Alleinautorenschaft oder in Kooperation mit fachbereichsfremden Autoren verfasst haben. Grundsätzlich gelingt durch die Integration der beiden internationalen Publikationsindikatoren in das Ranking eine breitere Abdeckung betriebswirtschaftlicher Publikationen – wobei ihr Anteil an den gesamten erfassten Publikationen relativ gering ist. Jedoch sind andererseits durch das gewählte Vorgehen der parallelen Berücksichtigung der über das WisoNet und das ISI Web of Science generierten Publikationsindikatoren etwaige Doppelzählungen von Publikationen und damit letztlich Redundanzen im Indikatorenset des CHE-Forschungsrankings BWL 2008 nicht auszuschließen. Einen Überblick über die angesprochenen Veränderungen des Indikatorensets vermittelt Tabelle 5-4. Sie beinhaltet Informationen zu den einzelnen Kennzahlen des CHE-Forschungsrankings BWL 2005 und hebt die Unterschiede zum Ranking 2008 hervor.

Quelle

Zeitraum

Relativer Indikator

Absoluter Indikator

→ Datenbanken aus dem WisoNet (u.a. BLISS, ECONIS, HWWA und Solis)

Datenbanken • BLISS • ECONIS • HWWA • Solis

Befragung der an der Universität für das Studienfach BWL zuständigen Organisationseinheit

SS 2001 bis WS 2003/04 → SS 2004 bis WS 2006/07

2001 bis 2003

Promotionen [#] pro Jahr und Professor

Promotionen [#] pro Jahr

Promotionen

→ 2004 bis 2006

→ Publikationen [PP] pro Jahr und promoviertem Wissenschaftler

Publikationen [PP] in drei Jahren pro Professor

→ Publikationen [PP] in drei Jahren

Publikationen [PP] pro Jahr

Publikationen

Befragung der an der Universität für das Studienfach BWL zuständigen Organisationseinheit

→ 2004 bis 2006

2001 bis 2003

verausgabte Drittmittel [T€] pro Jahr und Wissenschaftler

verausgabte Drittmittel [T€] pro Jahr

Drittmittel

Fakten 2005 und Modifikationen 2008

Datenbanken aus dem ISI Web of Science • SCI • SSCI • A&HCI

2004 bis 2006

Internationale Publikationen [#] in drei Jahren pro promoviertem Wissenschaftler

Internationale Publikationen [#] pro Jahr

Internationale Publikationen

Tabelle 5-4: Indikatoren der CHE-Forschungsrankings BWL 2005 und 2008

→ Stichtag 31. Mai 2007

Stichtag: 31. Mai 2004

Befragung von Professoren, die hauptamtlich an den für das Studienfach BWL zuständigen Organisationseinheiten der Universitäten beschäftigt sind

→ Anteil der Professoren, die eine Hochschule genannt haben [%]

Anteil der Nennungen einer Hochschule [%]

Reputation 2005 und Modifikationen 2008

190 Kapitel 5: Das CHE-Forschungsranking BWL 2005

Sonstiges

Berücksichtigte Wissenschaftler

→ zusätzliche Gewichtung von Zeitschriftenaufsätzen nach der Klassifikation der jeweiligen Zeitschrift im VHBJourqual 1 → keine Gewichtung von Herausgeberschaften

Ermittlung von Publikationspunkten (PP) durch Gewichtung • bei Publikationen nach Beitragslänge und Autorenanzahl • bei Herausgeberschaften nach Herausgeberanzahl

→ Stichtag: 31. Mai 2007

→ Berücksichtigung weiterer promovierter Wissenschaftler → Stichtage: 31. Dezember der Jahre 2004 bis 2006

Stichtage: 31. Dezember der Jahre 2001 bis 2003

…, die hauptamtlich auf Haushaltsstellen an der für das Studienfach BWL zuständigen Organisationseinheit der Universität beschäftigt sind (Vollzeitäquivalent)

…, die hauptamtlich an der für das Studienfach BWL zuständigen Organisationseinheit der Universität beschäftigt sind (Namen)

Stichtag: 31. Mai 2004

Professoren

Professoren

EU Bund Land Wirtschaft

• • • • Stiftungen DFG DAAD Sonstige

Gelder für Dienstleistungen und Beratungen sowie Stiftungsprofessuren werden herausgerechnet

• • • •

Differenzierung nach folgenden Drittmittelgebern:

→ Stichtage: 31. Dezember der Jahre 2004 bis 2006 Wertung der Typen • Journal Article • Review Article • Letter

Stichtag: 31. Mai 2007

…, die hauptamtlich an der für das Studienfach BWL zuständigen Organisationseinheit der Universität beschäftigt sind (Namen)

…, die hauptamtlich auf Haushaltsstellen an der für das Studienfach BWL zuständigen Organisationseinheit der Universität beschäftigt sind (Vollzeitäquivalente) Stichtage: 31. Dezember der Jahre 2001 bis 2003

Professoren und weitere promovierte Wissenschaftler

Professoren und Wissenschaftliche Mitarbeiter

→ Eingrenzung auf Nennungen von bis zu fünf Hochschulen in Deutschland

Eliminierung von Nennungen der eigenen Hochschule

Nennung von bis zu fünf Hochschulen in Deutschland, Österreich oder der Schweiz, die nach der Einschätzung der BWL-Professoren in ihrem Fach in der Forschung führend sind

Abschnitt 5.5: Das CHE-Forschungsranking BWL 2008 191

192

Kapitel 5: Das CHE-Forschungsranking BWL 2005

In Ergänzung der Tabelle 5-4 ist zu erwähnen, dass für das CHE-Forschungsranking 2008 im Rahmen der bibliometrischen Analyse im ISI Web of Science neben den internationalen Publikationen auch die auf diese fallenden Zitationen recherchiert wurden. Aufgrund der relativ geringen Publikationszahlen und der im Hinblick auf das gesamte Publikationsgeschehen der BWL nur teilweisen Zitationserfassung über das ISI Web of Science wurde allerdings kein den anderen Faktenindikatoren gleichgestellter Indikator gebildet – weshalb Zitationen auch nicht in Tabelle 5-4 aufgeführt sind. Dennoch ist ein Ausschnitt der Analyseergebnisse im Forschungsranking 2008 abgedruckt, und zwar für diejenigen neun Fachbereiche mit den höchsten Zitationszahlen insgesamt. Auf sie fallen zusammen fast die Hälfte der knapp über 1000 für die BWL insgesamt gezählten Zitationen. Eine neue Art der Gruppenbildung wurde beim Reputationsindikator umgesetzt. Bedingt durch die Modifizierung des Reputationsindikators bilden bei diesem nicht mehr wie bislang die Fachbereiche mit mehr als 5 % aller Nennungen die Spitzengruppe, diejenigen ohne eine einzige Nennung die Schlussgruppe und alle anderen die Mittelgruppe, vielmehr platzieren sich nun jene Hochschulen in der Spitzen- bzw. Schlussgruppe, die in der Befragung von mehr als 25 % bzw. von keinem der Professoren genannt wurden, und die anderen Fachbereiche, mit mindestens einer Nennung bis zu Werten von einschließlich 25 %, formieren die Mittelgruppe. Ähnlich zum CHE-Forschungsranking BWL 2005 ist im Ranking 2008 allerdings nur ein Teil der Reputationszahlen abgedruckt. Es sind diejenigen Werte, die bei mindestens 5 % liegen.466 Aufgrund der höheren Zahl an Faktenindikatoren im Forschungsranking BWL 2008 hat sich für die Fachbereiche ferner die Voraussetzung zur Erlangung des Prädikats forschungsstark geändert. Dafür sind nun vier statt wie zuvor drei Spitzenplätze bei den Faktenindikatoren erforderlich. Die genannten Unterschiede in den Gruppenbildungen der Forschungsrankings BWL 2005 und 2008 gehen auch aus Tabelle 5-5 hervor, die analog zu Tabelle 5-4 den Stand des Rankings 2005 sowie die Änderungen im Ranking 2008 aufzeigt.

466

Wie zuvor sind die Reputationswerte aller Universitäten der Internetversion des CHE-Hochschulrankings (www.che.de) zu entnehmen.

Relativ

Reputation

Faktenindikatoren

Absolut

Fachbereiche mit mindestens einer, aber maximal 5 % der Nennungen → Fachbereiche, die von mindestens einem Professor, aber maximal 25 % der Professoren genannt wurden

→ Fachbereiche, die von mehr als 25 % der Professoren genannt wurden

Fachbereiche der mittleren 50 % der Rangwerte (2. und 3. Quartil)

Fachbereiche zwischen Spitzenund Schlussgruppe

Mittelgruppe

Fachbereiche mit mehr als 5 % der Nennungen

Fachbereiche der ersten 25 % der Rangwerte (1. Quartil)

Fachbereiche am oberen Ende der Rangliste, die kumuliert 50 % der Gesamtsumme, d.h. die Hälfte der gesamten bundesweiten Publikationspunkte, Promotionen bzw. Drittmittel, auf sich vereinigen

Spitzengruppe

Schlussgruppe

Fachbereiche ohne Nennungen

Fachbereiche der letzten 25 % der Rangwerte (4. Quartil)

Fachbereiche am unteren Ende der Rangliste, die kumuliert 10 % der Gesamtsumme auf sich vereinigen

Indikatorenspezifische Gruppen 2005 und Modifikationen 2008

Tabelle 5-5: Gruppenbildung in den CHE-Forschungsrankings BWL 2005 und 2008

→ Fachbereiche mit mindestens vier Spitzenplätzen (bei acht Faktenindikatoren)

Fachbereiche, die bei mindestens der Hälfte der absoluten und relativen Faktenindikatoren in der Spitzengruppe liegen, d.h. Fachbereiche mit mindestens drei Spitzenplätzen (bei sechs Faktenindikatoren)

Forschungsstarke Fachbereiche 2005 und Modifikation 2008

Abschnitt 5.5: Das CHE-Forschungsranking BWL 2008 193

194

Kapitel 5: Das CHE-Forschungsranking BWL 2005

Hinzuweisen ist weiterhin auf die mit dem Ranking 2008 (prinzipiell) verbesserte Ergebnisdarstellung.467 So sind in der zu Beginn des Berichts 2008 präsentierten Tabelle, die wie üblich die in der BWL als forschungsstark ermittelten Hochschulen listet, auch die Veränderungen zur vorherigen Untersuchung aus dem Jahr 2005 ersichtlich. Aufsteiger und konstante Platzierungen in der Gruppe der forschungsstarken Hochschulen werden als solche gekennzeichnet und die aus dieser Gruppe herausgefallenen Hochschulen sind gesondert aufgeführt. Außerdem werden nicht mehr die Verteilungen der Werte aller absoluten Indikatoren visualisiert – was zuvor unter anderem dazu beigetragen hat, die Effizienzbewertung in den Hintergrund zu drängen (siehe Abschnitt 5.4.3) –, sondern nur noch die Drittmittelzahlen. Die entsprechende Abbildung hat einen Mehrwert zu den sonstigen Informationen, weil sie einen Einblick in die unterschiedliche Zusammensetzung der Drittmittelgeber an den einzelnen Fachbereichen gewährt. Neben der beibehaltenen grafischen Darstellung der Zusammenhänge zwischen den absoluten Publikationen, absoluten Drittmitteln und der Reputation finden sich nun zwei weitere Streudiagramme im Ranking. Zum einen werden die absoluten Zahlen der Publikationen und der internationalen Publikationen gegenübergestellt, zum anderen die Werte der beiden Promotionsindikatoren.468

5.6

Zwischenfazit

Insgesamt schafft das CHE-Forschungsranking BWL 2005 eine einzigartige Transparenz über die betriebswirtschaftliche Forschungslandschaft deutscher Universitäten, indem es für jede einzelne ein Leistungsprofil zeichnet, das ihre individuellen Stärken und Schwächen in der betriebswirtschaftlichen Forschung sichtbar macht. Dabei erfüllt es wichtige, wenn auch nicht alle Ansprüche, die häufig an vergleichende Bewertungen im Hochschulbereich gestellt werden.469 Besonders entscheidend ist die weitgehende Offenlegung der Konstruktion und Aggregation der Indikatoren. Diese ist schließlich Voraussetzung dafür, dass jeder Nutzer

467

468

469

An mehreren Stellen des CHE-Forschungsrankings BWL 2008 haben sich allerdings Fehler bzw. Ungenauigkeiten eingeschlichen. Beispielsweise ist die Gewichtung derjenigen Publikationen, die aus dem WisoNet hervorgehen, unvollständig abgedruckt und die Bezugszeiträume der daraus resultierenden Indikatorenwerte sind nicht korrekt angegeben. Warum keine analoge Darstellung für die anderen Leistungskriterien erfolgt, bleibt allerdings unbegründet (siehe auch Abschnitt 5.4.3). Internationale Standards für Rankings hat die IREG (International Ranking Expert Group), die 2004 von UNESCO-CEPES (United Nations Educational, Scientific and Cultural Organization – European Centre for Higher Education/Centre Européen pour l’Enseignement Supérieur) und dem IHEP (Institute for Higher Education Policy) in Washington D.C. gegründet wurde, in einem 16-Punktekatalog formuliert. Diese sogenannten „Berlin Principles“ beziehen sich auf die Ziele von Rankings, die Auswahl und Gewichtung von Indikatoren, die Datenerhebung und die Veröffentlichung von Rankingergebnissen (vgl. IREG (2006)). Das von der IREG im Jahr 2008 konstituierte „IREG-International Observatory on Academic Ranking and Excellence“ führt auf Anfrage eine Überprüfung dieser Principles durch und zertifiziert Rankings bei erfolgreicher Begutachtung mit dem Gütesiegel „IREG Recognized“ (vgl. IREG-Observatory (2008)).

Abschnitt 5.6: Zwischenfazit

195

des Rankings prüfen kann, inwieweit er mit den subjektiven Annahmen bzw. Entscheidungen des CHE übereinstimmt und die Ergebnisse des Rankings annimmt. Das Forschungsranking stellt generell eine wertvolle Informationsquelle für die verschiedenen Stakeholder der Hochschulforschung dar. Diese haben ihm bereits eine enorme Aufmerksamkeit gewidmet, sodass es mittlerweile eine wesentliche reputationsprägende Wirkung entfaltet hat – was noch einmal verdeutlicht, wie wichtig es ist, den subjektiven Reputationsindikator von den objektiven Fakten zu trennen. Die große Öffentlichkeitswirkung des Rankings und die damit einhergehende Reputationsbildung in der betriebswirtschaftlichen Community deuten auf seine Anreizwirkung zur Leistungssteigerung hin, was sich allerdings vorwiegend auf die quantitative und weniger auf die qualitative Dimension der Leistungserbringung bezieht. Aufgrund der durch das Ranking geschaffenen Realität, die das in der Öffentlichkeit existierende Bild über die betriebswirtschaftliche Forschung maßgeblich beeinflusst, liegt es nahe, dass tatsächlich verschiedenste Entscheidungen auf seiner Basis getroffen werden. Gefährlich ist dies dann, wenn die Ergebnisse nur oberflächlich betrachtet, aber nicht eingehend analysiert werden. Dafür ist eine gewisse Expertise vonnöten, die vor allem die in der betriebswirtschaftlichen Forschung aktiven Wissenschaftler selber vorweisen können, etwa um in die Bewertung Besonderheiten einzelner Fachbereiche einfließen zu lassen. Besondere Vorsicht ist auch bei der Interpretation von durch aufeinanderfolgende betriebswirtschaftliche CHE-Forschungsrankings angezeigte Veränderungen eines Fachbereichprofils geboten. Sie können zum Beispiel darauf beruhen, dass sich der jeweilige Fachbereich wie auch alle anderen Fachbereiche in bestimmten Bereichen verbessert oder verschlechtert hat, sie mögen teilweise aber auch durch die methodischen Änderungen des Rankings hervorgerufen worden sein.470

470

So wurde z.B. graue Literatur beim Publikationsindikator des Forschungsrankings BWL 2002 noch berücksichtigt, während sie seitdem von der Analyse vollkommen ausgeschlossen ist, und beim Publikationsindikator des Forschungsrankings 2008 werden erstmalig Zeitschriftenaufsätze nach ihrer Klassifikation im VHBJourqual 1 gewichtet (vgl. Berghoff et al. (2002a), S. 25ff., in Verbindung mit Berghoff et al. (2002b), S. 16, Berghoff et al. (2008a), S. E-8ff., und Berghoff et al. (2008c), S. D-7ff.).

6

Empirische Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche auf Basis der Daten des CHE-Forschungsrankings BWL 2005

Die vom CHE im Forschungsranking BWL 2005 verwendeten Daten bzw. Indikatorenausprägungen bilden die Basis für die nun folgende vertiefte Analyse zur Forschungsperformance betriebswirtschaftlicher Fachbereiche deutscher Universitäten.471 Auch wenn sie, wie im vorigen Kapitel aufgezeigt wurde, nicht völlig unproblematisch sind, enthalten sie doch relativ aussagekräftige Informationen, die die Gewinnung neuer empirischer Erkenntnisse zulassen. Diese können dann zukünftig in einer zeitlichen Längsschnittstudie mit den alle drei Jahre neu erhobenen Forschungsdaten der BWL verglichen und überprüft werden. Dabei geht es ausdrücklich nicht darum, ein neues Ranking zu erstellen. Vielmehr soll Transparenz über die Forschungslandschaft und die Produktionstechnologie der betriebswirtschaftlichen Forschung insgesamt geschaffen werden,472 wofür anders als im CHE-Forschungsranking die Effektivitäts- und die Effizienzdimension der Performance stets nebeneinander betrachtet und nicht zu einer Gesamtperformance aggregiert werden. Die jeweiligen Kennzahlen zu den Leistungskriterien Publikationen, Promotionen und Drittmittel werden bei den Analysen als formative Indikatoren aufgefasst, die gemeinsam die Forschungseffektivität bzw. -effizienz der betriebswirtschaftlichen Fachbereiche konstituieren. Dem ist der Reputationsindikator als reflektives Performancemaß, das sich auf verschiedene Facetten der Forschungsleistungen bezieht, gegenüberzustellen. Im ersten Abschnitt dieses Kapitels wird eine Basisanalyse zur Ausstattung der deutschen Universitäten mit betriebswirtschaftlich forschendem Personal der vom CHE betrachteten Fachbereiche und zu deren partiellen sowie totalen Effektivitäten und Effizienzen durchgeführt. Dem folgen in Abschnitt 6.2 eine Untersuchung der empirischen Zusammenhänge zwischen den Faktenindikatoren der Effektivität bzw. der Effizienz sowie die Identifizierung typischer Forschungsprofile der betriebswirtschaftlichen Fachbereiche. In Abschnitt 6.3 werden die bis dahin gewonnenen Erkenntnisse mit der Reputation der Fachbereiche konfrontiert.

471

472

Der vollständige Datensatz ist in Tabelle A-1 des Anhangs A aufgeführt. Im Vergleich zu dem im Abschnitt 5.1 präsentierten umfasst er auch die Personaldaten, die – wie in Fußnote 458 erwähnt – nicht direkt aus dem veröffentlichten CHE-Forschungsranking zu entnehmen sind. Sie wurden wie die geringfügigen Korrekturen der Promotions- und Drittmitteldaten einiger Fachbereiche vom CHE gesondert zur Verfügung gestellt (siehe Fußnote 384). Die in Tabelle A-1 für an den Fachbereichen insgesamt besetzte Wissenschaftlerstellen ausgewiesenen Zahlen und die Werte für die relativen Indikatoren ergeben sich aus den vom CHE erhobenen (ungerundeten) Daten für besetzte Professoren- und Mitarbeiterstellen, Publikationspunkte, Promotionsmengen und verausgabte Drittmittelsummen. Da also nicht die Beurteilung der einzelnen Fachbereiche im Vordergrund steht, wird nachfolgend regelmäßig die in Abschnitt 5.1 eingeführte und auch in Tabelle A-1 des Anhangs ausgewiesene Nummerierung der Fachbereiche verwendet.

S. Rassenhövel, Performancemessung im Hochschulbereich, DOI 10.1007/978-3-8349-8733-4_6, © Gabler Verlag | Springer Fachmedien Wiesbaden GmbH 2010

198

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Anschließend erfolgt im vierten Kapitelabschnitt eine Analyse zu der aus den Daten ableitbaren empirischen Produktionsfunktion betriebswirtschaftlicher Forschung mit einem Fokus auf deren Skalenertragseigenschaften. Schließlich rundet ein kurzes Zwischenfazit im fünften Abschnitt das Kapitel ab.473

6.1

Basisanalyse

6.1.1

Überblick474

Zu Beginn der Basisanalyse wird mit Abbildung 6-1 ein Überblick über die quantitativen Daten des CHE-Forschungsrankings BWL 2005 vermittelt, aus denen sich die darin zur Performancebewertung herangezogenen Ausprägungen der Faktenindikatoren ergeben. Die Ordinaten der drei Diagramme repräsentieren die vom CHE bei der BWL verwendeten Leistungskriterien: Publikationen, Promotionen und Drittmittel, die Abszissen das jeweils eingesetzte Forschungspersonal, differenziert nach Professoren und Wissenschaftlern.475 Die Punkte markieren die anhand der einzelnen Leistungskriterien bewerteten Fachbereiche.476

473

474 475

476

Zur Verarbeitung der Daten und ihrer grafischen Darstellung wurden die Programme Microsoft Excel 2003, inklusive Add-In DEAFrontier aus Cook/Zhu (2005), und SPSS (Version 16.0 für Windows) verwendet. Dieser Abschnitt ist angelehnt an Dyckhoff/Rassenhövel/Sandfort (2009), Abschnitt 1. Da sie Inputs darstellen und diese in produktionstheoretischen Analysen mittels negativer Zahlen beschrieben werden (vgl. Dyckhoff (2006b), S. 37 und 57, oder Fandel (2005), S. 36f.), sind die entsprechenden Abszissen hier nach links orientiert. Wegen der in Fußnote 384 genannten unvollständigen Datensätze handelt es sich in den Diagrammen nicht um 63, sondern um weniger zweidimensionale Datenpunkte (nämlich – abgesehen von einzelnen Überlagerungen – 62 links, 55 in der Mitte und 56 rechts).

Abschnitt 6.1: Basisanalyse

199

Publikationen (PP)

Promotionen (#)

Drittmittel (T€)

250

30

4000

25

200

3000 20

150 2000

15

100 10 1000

50

5

0 30

25

20

15

10

5

0

0 30

Professoren (Namen)

25

20

15

10

Professoren (Stellen)

5

0

0 120

100

80

60

40

20

0

Wissenschaftler (Stellen) 477

Abbildung 6-1: Daten des CHE-Forschungsrankings BWL 2005

Aus den drei Diagrammen lassen sich direkt zum einen die personelle Ausstattung der verschiedenen betriebswirtschaftlichen Fachbereiche mit Professoren bzw. Wissenschaftlern, zum anderen ihre Publikations-, Promotions- und Drittmitteleffektivitäten ablesen. Weiterhin kann von dem jeweils durch einen Punkt definierten Verhältnis aus Leistung und Ressourceninput auf die entsprechenden partiellen Effizienzen der betreffenden Fachbereiche geschlossen werden. Angelehnt an die Spitzengruppenbildung im CHE-Forschungsranking BWL 2005 sind in den drei Diagrammen der Abbildung 6-1 Bereiche der höchsten partiellen Effektivitäten und Effizienzen hervorgehoben.478 Bei den Effektivitäten beziehen sich diese folglich auf alle Fachbereiche mit den höchsten Publikations-, Promotions- bzw. Drittmittelleistungen, soweit sie kumuliert 50 % der Werte ausmachen. In den Diagrammen der Abbildung 6-1 liegen sie oben in den drei hellgrau schattierten Rechtecken. Bei den Effizienzen sind die Bereiche durch die 25 % besten Fachbereiche höchster Publikations-, Promotions- bzw. Drittmittelproduktivität des eingesetzten Personals festgelegt. Die jeweiligen Produktivitäten bestimmen die Steigungen von Strahlen aus dem Ursprung der drei Koordinatensysteme in den dunkler schattierten Kegeln der Abbildung 6-1.479

477 478

479

PP: Publikationspunkte, #: Anzahl, T€: Tausend Euro. Es sei noch einmal darauf hingewiesen, dass im CHE-Forschungsranking 2005 die Gruppeneinteilung für die relativen Indikatoren aus dem CHE-Hochschulranking 2005, das auch österreichische und Schweizer Universitäten enthält, übernommen wurde (siehe hierzu Tabelle 5-1 und Abschnitt 5.4.2). Im Vergleich dazu positioniert sich hier – bei der Gruppeneinteilung auf Basis ausschließlich deutscher Universitäten – ein weiterer Fachbereich beim Indikator Publikationen pro Professor in der Spitzengruppe. Die Steigungen von Strahlen im linken Diagramm der Abbildung 6-1 geben lediglich ein Drittel der vom CHE ausgewiesenen Publikationsproduktivitäten wieder, denn diese werden vom CHE nicht wie alle anderen In-

200

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Die Darstellungen erlauben bereits einen ersten intuitiven Vergleich der personellen Ausstattung sowie der partiellen Effektivitäts- und Effizienzwerte der betriebswirtschaftlichen Fachbereiche. Diese wie auch totale Effektivitäts- und Effizienzwerte werden im Folgenden mithilfe der deskriptiven Statistik näher untersucht. Solch eine Datenanalyse sollte Grundlage einer jeden indikatorbasierten Performancemessung sein, gibt sie doch zum Beispiel Aufschluss über die Differenzierbarkeit der Fachbereiche anhand der erhobenen Daten sowie Hinweise auf eventuelle Ausreißerfachbereiche, die möglicherweise nicht sinnvoll mit den anderen zu vergleichen sind.

6.1.2

Wissenschaftliches Personal

Zur Analyse der Fachbereichsausstattung mit betriebswirtschaftlich forschendem Personal werden die vom CHE erhobenen Jahresdurchschnitte der zum 31. Dezember der Jahre 2001 bis 2003 mit Professoren bzw. Wissenschaftlichen Mitarbeitern besetzten Haushaltsstellen herangezogen.480 Auf dieser Basis informiert Tabelle 6-1 mit Bezug auf jene 56 Fachbereiche, für die entsprechende Informationen vorliegen, über statistische Kenngrößen zur besetzten Stellenanzahl der Professoren (PROFS), der Wissenschaftlichen Mitarbeiter (WMAS) und der Wissenschaftler insgesamt (WISSS).481 Zusätzlich weist sie für die betrachteten Fachbereiche Werte zum Verhältnis der besetzten Stellenanzahlen von Wissenschaftlichen Mitarbeitern und Professoren aus.482

480

481 482

dikatoren als durchschnittliche Jahreswerte ausgewiesen, sondern auf einen Dreijahreszeitraum bezogen (siehe Abschnitt 5.3.3.1). Das wissenschaftliche Personal auf Drittmittelstellen kann mangels entsprechender Informationen nicht berücksichtigt werden. Die Einzelwerte sind den Spalten 3 bis 5 der Tabelle A-1 des Anhangs zu entnehmen. Diesen und den im Text folgenden Angaben zum stellenbezogenen Mitarbeiter-Professoren-Verhältnis liegen die aus den Zahlen der Spalten 3 und 4 der Tabelle A-1 berechneten und auf eine Nachkommastelle gerundeten Einzelwerte zugrunde.

Abschnitt 6.1: Basisanalyse

201

Tabelle 6-1: Statistische Parameter zum wissenschaftlichen Personal

Wissenschaftliches Personal Anzahl Fachbereiche

PROFS

WMAS

WISSS

WMAS pro PROFS

56

56

56

56

Maximum

27,3

91,0

108,3

5,3

Minimum

6,0

2,3

8,7

0,3

Median

9,7

24,8

34,3

2,8

11,0

30,8

41,8

2,7

Arithmetisches Mittel Standardabweichung Summe

4,1

18,9

22,1

1,0

615,3

1723,7

2339,4

2,8

483

Bevor auf einzelne Parameter eingegangen wird, gibt Abbildung 6-2 einen weiteren, visuellen Einblick in die personelle Ausstattung der Fachbereiche mit wissenschaftlichem Personal. Dargestellt sind drei Histogramme zu den von Professoren, Wissenschaftlichen Mitarbeitern bzw. Wissenschaftlern insgesamt besetzten Stellen der 56 Fachbereiche. Die beiden Erstgenannten enthalten jeweils zehn Klassen mit einer Breite von drei Professoren- bzw. zehn Mitarbeiterstellen und das letztgenannte, auf die Gesamtzahl der besetzten Wissenschaftlerstellen bezogene Diagramm präsentiert die Werte in elf Klassen mit Intervallen von jeweils zehn Stellen. Die Anzahl der auf eine Klasse fallenden Fachbereiche ist an der Ordinate des jeweiligen Diagramms ablesbar und direkt über der entsprechenden Säule angegeben.

483

Die Summe der einzelnen Verhältnisse von Wissenschaftlichen Mitarbeitern pro Professor wurde nicht berechnet, weil sie keinen Aussagewert hat; stattdessen wird das Gesamtverhältnis von Wissenschaftlichen Mitarbeitern und Professoren ausgewiesen.

202

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

25 21

# Fachbereiche (n = 56)

20

15 13

10 8 7 5

5 1

1

0

0

0

21-24

24-27

27-30

1

1

0 0-3

3-6

6-9

9-12

12-15

15-18

18-21

# Professoren (Stellen)

25 22

# Fachbereiche (n = 56)

20

15 11

10 7 5

5

4 3 2 0

0 0-10

10-20

20-30

30-40

40-50

50-60

60-70

70-80

80-90 90-100

# Wissenschaftliche Mitarbeiter (Stellen)

25

# Fachbereiche (n = 56)

20

19

15 12

10 8

4

5 2

4 2

2 1

1

1

0 0-10

10-20

20-30

30-40

40-50

50-60

60-70

70-80

# Wissenschaftler (Stellen)

80-90 90-100 100-110 100110

484

Abbildung 6-2: Histogramme zum wissenschaftlichen Personal

484

Die genauen Klasseneinteilungen lauten: für Professoren (0;3], (3;6], ..., (27;30], für Wissenschaftliche Mitarbeiter (0;10], (10;20], ..., (90;100] und für Wissenschaftler (0;10], (10;20], ..., (100;110].

Abschnitt 6.1: Basisanalyse

203

Die statistischen Kenngrößen wie auch die Diagramme verdeutlichen die Variationen in der personellen Ausstattung der betrachteten Fachbereiche. Von den insgesamt 615,3 besetzten Professorenstellen fielen auf jeden einzelnen Fachbereich im Durchschnitt 11,0 Stellen (bei einer Standardabweichung von 4,1 Stellen). Die Spanne reicht von 6,0 bis 27,3 Stellen, wobei die Hälfte der Fachbereiche bis zu 9,7 Stellen mit Professoren besetzt hatte. An 17 Fachbereichen (30 %) waren mehr als 12,0 Professorenstellen belegt, also mehr als doppelt so viele wie an den fünf Fachbereichen mit den wenigsten besetzten Professorenstellen für BWL. Im Vergleich zu Letzteren wies der mit 27,3 Stellen am besten professoral ausgestattete Fachbereich eine fast fünffache Stellenbesetzung auf.485 Die insgesamt 1723,7 von Wissenschaftlichen Mitarbeitern besetzten Stellen verteilen sich bei einem Durchschnitt von 30,8 Stellen (und einer Standardabweichung von 18,9 Stellen) mit Werten von 2,3 bis 91,0 Stellen auf die einzelnen Fachbereiche. An der Hälfte der 56 Fachbereiche belegten die Wissenschaftlichen Mitarbeiter weniger als 25,0 Haushaltsstellen. Acht Fachbereiche (14 %) hatten mit mehr als 50,0 besetzten Stellen einen mehr als doppelt so großen Mitarbeiterstamm. Die Anzahl der gesamten besetzten Wissenschaftlerstellen betrug im Durchschnitt 41,8 bei einer Standardabweichung von 22,1 Stellen, wobei die einzelnen Werte im Bereich von 8,7 bis 108,3 Stellen und der Median bei 34,3 Stellen lagen. An 39 Fachbereichen (70 %) waren betriebswirtschaftlich forschende Wissenschaftler auf mehr als 20,0 bis zu 50,0 Haushaltsstellen beschäftigt. An neun weiteren (16 %) belief sich die Zahl auf mehr als 50,0 bis 80,0 Stellen. Jeweils vier Fachbereiche (7 %) wiesen bis zu 20,0 bzw. mehr als 80,0 mit Wissenschaftlern besetzte Stellen auf. Zwar korrelieren die Zahlen der mit Professoren und Wissenschaftlichen Mitarbeitern besetzten Stellen sehr stark in positiver Richtung (r = 0,75**)486, dennoch existieren von Fachbereich zu Fachbereich teilweise beträchtliche Unterschiede in dem auf die besetzten Stellen bezogenen Mitarbeiter-Professoren-Verhältnis. Dies belegen die statistischen Kennwerte in

485

486

Ein leicht nach oben verschobenes Gesamtbild über die professorale Ausstattung der Fachbereiche ergibt sich, wenn statt der Anzahl der mit Professoren besetzten Stellen die Anzahl der vom CHE für den 31. Mai 2004 erhobenen Professorennamen (PROFN) gemäß Spalte 2 der Tabelle A-1 des Anhangs betrachtet wird: Auf jeden der dann 62 Fachbereiche mit einer Professorenzahl zwischen 2 und 28 kamen bei insgesamt 776 Professoren im Durchschnitt 12,5 Professoren mit einer Standardabweichung von 5,0 Professoren. Die Hälfte der Fachbereiche zählte bis zu 11 Professoren und 25 Fachbereiche (40 %) mehr als 12 Professoren. Im Gegensatz zu dieser Gesamtbetrachtung sind im Einzelfall erhebliche Unterschiede zwischen den Zahlen besetzter Stellen und Namen zu verzeichnen, so insbesondere für F47 mit 12,0 Stellen und 25 Namen wie auch für F58 mit 16,3 Stellen und 28 Namen. Zu möglichen Gründen für solche Differenzen siehe Abschnitt 5.4.1. Pearson-Korrelation, **: Die Korrelation ist auf dem Niveau von 0,01 (2-seitig) signifikant.

204

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

der letzten Spalte von Tabelle 6-1 sowie das Histogramm der Abbildung 6-3. Letzteres führt elf Klassen mit einem Intervall von jeweils 0,5 Mitarbeiterstellen pro Professorenstelle auf.

25

# Fachbereiche (n = 56)

20 16

15

10

9 8

8

5

4 3 2

2

2

2 0

0 0-0,5

0,5-1

1-1,5

1,5-2

2-2,5

2,5-3

3-3,5

3,5-4

4-4,5

4,5-5

5-5,5

# Wissenschaftliche Mitarbeiter pro Professor (Stellen)

Abbildung 6-3: Histogramm zum Verhältnis Wissenschaftliche Mitarbeiter pro Professor

487

Das im Durchschnitt bei 2,7 liegende Verhältnis von besetzten Mitarbeiter- und Professorenstellen schwankt zwischen 0,3 und 5,3. An der Hälfte der Fachbereiche betrug es maximal 2,8, darunter sechs Fachbereiche (11 %) mit einem Verhältnis von maximal 1,5. Neun Fachbereiche (16 %) wiesen dagegen ein Verhältnis größer als 3,5 auf. Besondere Aufmerksamkeit bei einer Performancemessung ist den Fachbereichen mit einer außergewöhnlichen Personalausstattung zu widmen. Eine solche kann nämlich ein Anhaltspunkt zum Erkennen untypischer Forschungsbedingungen sein, sodass die Vergleichbarkeit des jeweiligen Fachbereichs mit den anderen Fachbereichen in Frage zu stellen wäre. Als potenzielle Ausreißer unter den hier betrachteten 56 betriebswirtschaftlichen Fachbereichen können auf der einen Seite die drei Fachbereiche F22, F44 und F46 mit den meisten auf Haushaltsstellen beschäftigten Wissenschaftlern vermutet werden. Davon zeichnet sich der Fachbereich F22 durch die mit 27,3 höchste Anzahl besetzter Professorenstellen aus – mit der er sich bei einer Differenz von 7,0 Stellen sehr deutlich von dem gemessen an den besetzten Professorenstellen zweitgrößten Fachbereich F16 abhebt. F44 wie auch F46 überragen wiederum alle anderen Fachbereiche mit einer Mitarbeiterzahl von 84,8 bzw. 91,0 um mindestens 17,6 Stellen. Sie wiesen außerdem die beiden mit Abstand höchsten stellenbezogenen Mitarbeiter-Professoren-Verhältnisse von 5,3 auf.

487

Die genaue Klasseneinteilung lautet: (0;0,5], (0,5;1], ..., (5;5,5].

Abschnitt 6.1: Basisanalyse

205

Diesen durch ihre beachtliche Personalstärke charakterisierten Fachbereichen stehen auf der anderen Seite solche mit einem sehr kleinen Personalstamm gegenüber. Von den fünf Fachbereichen mit 6,0 besetzten Professorenstellen (F9, F12, F21, F54 und F63) sind es F12 und F21, die neben F5 die geringsten Zahlen besetzter Mitarbeiterstellen aufwiesen (maximal 11,0). Diese drei Fachbereiche wie auch F54 bzw. F5 gehörten außerdem zu den jeweils vier Fachbereichen mit den wenigsten besetzten Wissenschaftlerstellen insgesamt (maximal 19,0) bzw. den geringsten Mitarbeiter-Professoren-Verhältnissen (maximal 0,9). Es ist nahe liegend, dass die Fachbereiche mit besserer Personalausstattung bei einem Effektivitätsvergleich eher herausragende Leistungen vorweisen können als diejenigen mit nur wenigen Forschern. Inwieweit eine Berücksichtigung dieser Unterschiede durch eine Effizienzbetrachtung gelingen kann, hängt davon ab, ob diese den tatsächlich in der betriebswirtschaftlichen Forschung der universitären Fachbereiche vorliegenden Skalenerträgen gerecht wird. Deren Analyse ist Abschnitt 6.4 gewidmet.

6.1.3

Partielle Effektivitäten und Effizienzen

Die Untersuchung der (partiellen) Effektivitäts- und Effizienzwerte der betriebswirtschaftlich forschenden Fachbereiche basiert auf den vom CHE erhobenen Publikations-, Promotionsund Drittmittelindikatoren.488 Um eine bessere Vergleichbarkeit dieser verschieden skalierten Größen zu ermöglichen, werden ihre Ausprägungen mittels Division durch den jeweils maximalen Wert auf das Intervall [0;1] normiert. Dadurch erhält ein Fachbereich, der bei einem Indikator die höchste Ausprägung aufweist für diesen einen partiellen Effektivitäts- bzw. Effizienzwert von 100 %. Allen anderen wird ein entsprechender Wert kleiner als 100 % zugewiesen, der angibt, wie viel Prozent der höchsten Ausprägung eines Indikators realisiert wurde. Die (gerundeten) Ergebnisse dieser Normierungen sind in den Spalten 2 bis 4 der Tabelle A-2 des Anhangs für die partiellen Effektivitäten und Effizienzen dokumentiert. Analog der Analyse zum Wissenschaftlichen Personal der Fachbereiche führt nachstehende Tabelle 6-2 statistische Parameter zu deren Effektivitäts- und Effizienzwerten auf. Sie beziehen sich wiederum auf all diejenigen Fachbereiche, für die entsprechende Daten vorliegen, hier also auf 62 bei den Publikationen (PUBL) und den Publikationen pro namentlich vom CHE erfasstem Professor (PROFN), 55 bei den Promotionen (PROM) und den Promotionen je besetzter Professorenstelle und 56 bei den Drittmitteln (DM) sowie den Drittmitteln pro besetzter Wissenschaftlerstelle. Das in Tabelle 6-2 für jeden Indikator in seiner originären

488

Siehe die Spalten 6 bis 11 der Tabelle A-1 im Anhang. Zur Konstruktion der Indikatoren vgl. Abschnitt 5.3.3.

206

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Einheit ausgewiesene Maximum dient zur Orientierung, auf welchem Leistungsniveau sich der jeweils beste Fachbereich befindet. Tabelle 6-2: Statistische Parameter der partiellen Effektivitäten und Effizienzen

Effektivität

PUBL

PROM

DM

Effizienz

PUBL pro PROFN

PROM pro PROFS 55

DM pro WISSS

Anzahl Fachbereiche

62

55

56

Anzahl Fachbereiche

62

Maximum

218

25,7

3562

Maximum

40,9

Minimum

11 %

5%

1%

Median

34 %

47 %

18 %

Minimum

1,9

56 75,3

3%

1%

1%

Median

23 %

35 %

14 %

Arithmetisches Mittel

29 %

40 %

21 %

Arithmetisches Mittel

36 %

49 %

25 %

Standardabweichung

19 %

24 %

19 %

Standardabweichung

17 %

21 %

21 %

In Ergänzung zu diesen charakteristischen Werten der Verteilungen von Effektivitäts- und Effizienzwerten werden die auf jeweils zehn äquidistante Intervalle mit einer Breite von je 10 %-Punkten fallenden absoluten Häufigkeiten in den Histogrammen der Abbildung 6-4 grafisch dargestellt, und zwar im linken Teil für die drei Effektivitäts- und im rechten Teil für die drei Effizienzindikatoren.489

489

Zur besseren Nachvollziehbarkeit und Darstellung wurden den Klasseneinteilungen die auf ganze Zahlen gerundeten partiellen Effektivitäts- und Effizienzwerte zugrunde gelegt.

Abschnitt 6.1: Basisanalyse

207

25

25

20

20

# Fachbereiche (n = 62)

# Fachbereiche (n = 62)

18 17

15

10 8 6

17

15

14

10

10

10 7

5

5

5

4 2

2 1

1

1 0

0

0 0-10

10-20

20-30

30-40

40-50

50-60

60-70

70-80

80-90 90-100

0-10

10-20

Publikationen [%]

25

25

20

20

15 11 10

20-30

30-40

40-50

50-60

60-70

70-80

80-90 90-100

Publikationen pro Professor (Namen) [%]

# Fachbereiche (n = 55)

# Fachbereiche (n = 55)

1 0

0

10

10 7 6

15

14

10 8 7

7 6 5

5

4

5

4

3 2

2 1

2

1 0

0

0 0-10

10-20

20-30

30-40

40-50

50-60

60-70

70-80

80-90 90-100

0-10

10-20

Promotionen [%]

20-30

30-40

40-50

50-60

60-70

70-80

80-90 90-100

Promotionen pro Professor (Stellen) [%]

25

25 21

20

20 18

# Fachbereiche (n = 56)

# Fachbereiche (n = 56)

18

15

10 7

15 13 11

10

5

5

5

4

4

3 2 1

1 0

2 1

1 0

0

60-70

70-80

0

0

0 0-10

10-20

20-30

30-40

40-50

50-60

Drittmittel [%]

60-70

70-80

80-90 90-100

0-10

10-20

20-30

30-40

40-50

50-60

Drittmittel pro Wissenschaftler (Stellen) [%]

Abbildung 6-4: Histogramme zu den partiellen Effektivitäten und Effizienzen

490

Die genauen Klasseneinteilungen lauten: (0;10], (10;20], ..., (90;100].

490

80-90 90-100

208

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Die Diagramme im linken Teil der Abbildung 6-4 veranschaulichen die großen Unterschiede in den partiellen Effektivitätswerten der Fachbereiche, die sich jeweils über den gesamten möglichen Wertebereich erstrecken. Dabei konzentrieren sich die Publikations- und noch stärker die Drittmitteleffektivitäten deutlich auf die unteren drei dargestellten Effektivitätsklassen. Bei den Publikationen erreichen zwei Drittel und bei den Drittmitteln mehr als vier Fünftel aller jeweils berücksichtigten Fachbereiche eine partielle Effektivität von höchstens 30 %. Bei den Drittmitteln ist es sogar fast ein Drittel der 56 Fachbereiche mit einer Effektivität von nur bis zu 10 %. Dagegen erzielen lediglich 13 % bzw. 9 % der entsprechenden Fachbereiche Werte über 50 %. Die Promotionseffektivitäten liegen mit einem arithmetischen Mittel von 40 % und einer Standardabweichung von 24 % nicht nur durchschnittlich etwa 10 bzw. 20 %Punkte höher als die Publikations- und Drittmitteleffektivitäten mit Standardabweichungen von jeweils 19 %, sondern sie verteilen sich auch gleichmäßiger als diese auf den Wertebereich. Mit einem Anteil von zwei Fünfteln fallen relativ wenige Promotionseffektivitäten in die unteren drei Klassen und knapp ein Drittel der Fachbereiche positioniert sich bei Effektivitätsgraden über 50 %. Aus den in Abbildung 6-4 rechts dargestellten Verteilungen geht hervor, dass auch die Effizienzwerte zwischen den Fachbereichen stark variieren. Im Vergleich mit den Effektivitätsdiagrammen im linken Teil der Abbildung 6-4 ist jedoch zu erkennen, dass sie weniger rechtsschief als die entsprechenden Effektivitätsverteilungen sind. Bei den Publikationen erreichen alle betrachteten Fachbereiche Effizienzgrade von mindestens 11 %. Davon liegen knapp drei Fünftel über 30 % und insgesamt fast ein Fünftel oberhalb von 50 %. Die Werte streuen mit einer Standardabweichung von 17 % um ihren bei 36 % angesiedelten arithmetischen Mittelwert. Die Promotionseffizienzen zentrieren sich bei einem Median von 47 % bzw. einem Mittelwert von 49 % und verteilen sich mit einer Standardabweichung von 21 % annähernd symmetrisch über das gesamte Wertespektrum. Dabei fallen die Effizienzen der Fachbereiche zu je (fast) einem Fünftel auf die unteren und oberen drei Klassen. Die Drittmitteleffizienzen konzentrieren sich ähnlich den entsprechenden Effektivitätswerten mit einem Anteil von 75 % deutlich im Bereich von 0 % bis 30 %. In der oberen Hälfte des Wertebereichs sind lediglich 13 % der Fachbereiche positioniert. Insgesamt streuen die Werte bei einer Standardabweichung von 21 % um ihren Mittelwert von 25 %. Wie erwartet, sind es die gemessen am Personal größten Fachbereiche, die hohe partielle Effektivitätswerte erreichen. So gehören zum Beispiel zu den je vier oberen Effektivitätsklassen – mit Ausnahme von F50 – nur Fachbereiche, die sich in den verschiedenen Rangfolgen zu den Zahlen besetzter Personalstellen (und auch in der Rangfolge der Zahlen zu den Pro-

Abschnitt 6.1: Basisanalyse

209

fessorennamen) in der jeweils oberen Hälfte platzieren.491 Bei den Effizienzwerten stehen dagegen auch personalschwächere Fachbereiche, die sich in den unteren Hälften der genannten Rangfolgen positionieren, an der jeweiligen Spitze. Bemerkenswert ist zudem, dass fast alle Fachbereiche mit hohen Effektivitäts- bzw. Effizienzwerten durch ein überdurchschnittliches Mitarbeiter-Professoren-Verhältnis gekennzeichnet sind. Wie die Verteilungen des wissenschaftlichen Personals können auch diejenigen der Indikatorenausprägungen Anhaltspunkte zum Erkennen untypischer Fachbereiche liefern. Bei einer Performancemessung sind insbesondere außergewöhnlich hohe Effektivitäts- und Effizienzwerte in Frage zu stellen. Beruhen sie nämlich auf besonderen Eigenheiten der Fachbereiche, können sie die einzelnen Bewertungen der anderen Fachbereiche zu deren Ungunsten und entsprechend das Gesamtbild der Forschungsleistungen erheblich verzerren. Außerdem wäre eine in solchen Fällen den herausragenden Fachbereichen zugesprochene Vorbildfunktion nicht gerechtfertigt. Je mehr Fachbereiche bei einem Indikator hohe Ausprägungen ähnlich dem Maximalwert aufweisen, desto eher kann dieser wohl auch von weiteren Fachbereichen erreicht werden. Da bei den vorliegenden Indikatoren zwischen den jeweils vielen Werten im unteren Feld kaum größere Abstände zu verzeichnen sind – dies gilt auch für die Promotionsindikatoren, bei denen sich F12 mit einer Promotionseffektivität von 1 % und einer Promotionseffizienz von 5 % als einziger Fachbereich in der jeweils unteren Klasse befindet – können allenfalls obere Ausreißer vermutet werden. Die Histogramme in Abbildung 6-4 und noch eindeutiger die Punktediagramme der Abbildung 6-1 weisen sowohl bei den Publikations- als auch bei den Drittmittelwerten auf einzelne auffällige Fachbereiche hin. Bei den Publikationen ist es der Fachbereich F62, der die anderen Fachbereiche absolut und auch relativ zum Professorenaufwand deutlich überragt. Die beiden Fachbereiche mit dem jeweils zweithöchsten Wert (F44 bzw. F59) erreichen mit jeweils 73 % nicht einmal drei Viertel der vom Fachbereich F62 insgesamt bzw. im Durchschnitt von jedem seiner Professoren erzielten Publikationspunkte. Einen vergleichbaren Vorsprung weist auch der Fachbereich F47 bei der Drittmitteleffektivität auf, denn der in der Rangfolge nächste Fachbereich F22 hat in den drei Jahren von 2001 bis 2003 gerade mal Drittmittel in Höhe von 71 % der entsprechenden Summe des Fachbereichs F47 verausgabt. Auffällig ist, dass sich eine Gruppe von drei weiteren Fachbereichen (F44, F50 und F57) bei den Drittmitteln mit Effektivitätswerten zwischen 62 % und 66 % mit einem Abstand von 20 %-Punkten klar von der großen Masse

491

F50 positioniert sich allerdings nur in einer einzigen Rangfolge (besetzte Mitarbeiterstellen) in der unteren Hälfte.

210

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

der Fachbereiche abhebt. Der Fachbereich F47 ist auch bei der Drittmitteleffizienz derjenige, der das Feld anführt, allerdings mit einem geringeren Abstand zu den beiden nächstplatzierten Fachbereichen F12 und F50. Sie kommen immerhin auf Effizienzwerte von 82 % bzw. 87 %, liegen aber mit einer Differenz von 26 bzw. 31 %-Punkten auch deutlich vor allen weiteren Fachbereichen. Auf den oberen Plätzen der Promotionsrangfolgen stehen jeweils mehrere Fachbereiche. Die vier mit den Top-Effektivitätswerten (F37, F44, F46 und F48) sondern sich wohl mit einer Differenz von mindestens 14 %-Punkten vom restlichen Feld ab, dies erscheint aber aufgrund der relativ ausgeglichenen Effektivitätsverteilung weniger bemerkenswert als etwa die nach oben herausstechende Dreiergruppe bei der Effizienzbewertung mittels Drittmitteln. Zwischen den Fachbereichen mit den höchsten Promotionseffizienzen liegen dagegen keine größeren Sprünge, sodass davon ausgehend Ausreißerfachbereiche kaum vermutet werden können. Insgesamt zeigt sich, dass die Fachbereiche anhand der sechs Faktenindikatoren hinreichend diskriminiert werden können. Auch wenn jeweils hohe Korrelationen zwischen den partiellen Effektivitäts- und den entsprechenden Effizienzwerten bestehen – die Werte betragen r = 0,82** für Publikationen, r = 0,80** für Promotionen und r = 0,73** für Drittmittel – hat die Berücksichtigung der Fachbereichsgröße erkennbare Effekte, wie auch aus Abbildung 6-1 und den Tabellen des Anhangs A deutlich wird. Vor allem für einzelne Fachbereiche fallen die Bewertungen ihrer partiellen Effektivitäten und entsprechenden Effizienzen teilweise sehr unterschiedlich aus. Inwieweit sich dies auch bei einer Gesamtbetrachtung von Effektivität bzw. Effizienz bestätigt, wird unter anderem im folgenden Abschnitt untersucht.

6.1.4

Totale Effektivität und Effizienz

Die totalen Effektivitäten und Effizienzen der einzelnen Fachbereiche werden mittels der von AHN, DYCKHOFF und GILLES auf Basis der CHE-Methodik konzipierten NACHE-Methodik492 ermittelt. Dieser – wie die CHE-Methodik auch für andere Anwendungsfelder einsetzbare – normiert-additive Aggregationsansatz geht über die diskrete Einteilung der Fachbereiche in indikatorspezifische Gruppen und deren Aggregation im CHE-Forschungsranking hinaus und führt zu einem stetigen Beurteilungskalkül, das im Gegensatz zur CHE-Methodik auch dem Dominanzprinzip gerecht wird.493 Dabei ist die NACHE-Methodik ebenso leicht umzusetzen und nachzuvollziehen wie die CHE-Methodik. Sie schlägt zudem eine Brücke zur wissen-

492 493

Normiert-additive CHE-Methodik. Siehe Abschnitt 5.4.2.

Abschnitt 6.1: Basisanalyse

211

schaftlich wesentlich anspruchsvolleren DEA, die sich grundsätzlich für Performancemessungen mittels mehrerer Inputs und Outputs anbietet.494 Die NACHE-Methodik basiert auf den wie im vorigen Abschnitt verwendeten, auf das Interρ

vall [0;1] normierten Indikatorenwerten. Aus diesen Werten e i der verschiedenen Indikatoren (i = 1, …, m) wird für jeden der Fachbereiche (ρ = 1, …, n) ein Mittelwert berechnet. Dieser sogenannte NACHE-Wert ergibt sich gemäß: ρ

NACHE ω =

ω 1 m ¦ ( e ρ) m i=1 i

1

ω

Die Art des Mittelwerts hängt von der Wahl des Parameters ω ab. So resultiert beispielsweise aus einem ω in Höhe von 1 das arithmetische Mittel der partiellen Effektivitäts- bzw. Effizienzwerte und bei einem gegen 0, −∞ oder + ∞ konvergierenden ω ergeben sich deren geometrisches Mittel, Minimum oder Maximum als NACHE-Werte.495 Im Folgenden wird ausschließlich ein ω von 1 verwendet, da die arithmetische Mittelwertbildung häufig als neutral angesehen ist. Für die 55 Fachbereiche mit Werten bei allen drei partiellen Effektivitäts- bzw. Effizienzindikatoren – darunter auch die mit den jeweils höchsten Partialwerten von 100 % – sind die sich ergebenden (gerundeten) NACHE-Werte in der Spalte 5 der Tabelle A-2 des Anhangs ausgewiesen.496 Dazugehörige statistische Parameter stehen in nachfolgender Tabelle 6-3.

494

495 496

Zur Konzeption der NACHE-Methodik vgl. Ahn/Dyckhoff/Gilles (2007). Dort findet sich auch ein Vergleich der Ergebnisse von Effizienzmessungen mittels CHE-, NACHE- und DEA-Methodik auf Basis von Daten des CHE-Forschungsrankings BWL 2002. Vgl. Ahn/Dyckhoff/Gilles (2007), S. 632f. Sie wurden aus den ungerundeten partiellen Effektivitäts- bzw. Effizienzwerten berechnet.

212

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Tabelle 6-3: Statistische Parameter zur totalen Effektivität und Effizienz Totale Effektivität

Totale Effizienz

Anzahl Fachbereiche

55

55

Maximum

77 %

65 %

Minimum

7%

13 %

Median

26 %

33 %

Arithmetisches Mittel

30 %

37 %

Standardabweichung

17 %

12 %

Die Histogramme in Abbildung 6-5 vermitteln zusätzlich einen visuellen Überblick über die zu zehn Klassen mit einer Klassenbreite von jeweils 10 %-Punkten zugeteilten totalen Effektivitäts- und Effizienzwerte der 55 betrachteten Fachbereiche.497

25

25

20

20

# Fachbereiche (n = 55)

# Fachbereiche (n = 55)

18

15 12 10

10

5

4 3

16 15

15

14

10

5

4

4

4

3 2 1 0

0

0

0

0

0

0

0 0-10

10-20

20-30

30-40

40-50

50-60

60-70

Totale Effektivität [%]

70-80

80-90 90-100

0-10

10-20

20-30

30-40

40-50

50-60

60-70

70-80

80-90 90-100

Totale Effizienz [%]

498

Abbildung 6-5: Histogramme zur totalen Effektivität und Effizienz

Aus den statistischen Kenngrößen ist zu erkennen, dass die nach der NACHE-Methodik ermittelten totalen Effektivitätswerte zwischen 7 % und 77 % variieren, wobei sie mit einer Standardabweichung von 17 % um den arithmetischen Mittelwert von 30 % streuen. Dabei erreichen 9 Fachbereiche (16 %) Effektivitätswerte von über 50 %. Sie grenzen sich dadurch – wie aus der Tabelle A-2 des Anhangs ersichtlich ist – von den restlichen Fachbereichen mit einer Differenz von mindestens 12 %-Punkten ab. 21 Fachbereiche (38 %) kommen dagegen

497

498

Wie bei der Klasseneinteilung der partiellen Werte (Abschnitt 6.1.3) liegen auch hier die auf ganze Zahlen gerundete Werte zugrunde. Die genauen Klasseneinteilungen lauten: (0;10], (10;20], ..., (90;100].

Abschnitt 6.1: Basisanalyse

213

nicht über eine totale Effektivität von 20 % hinaus, wohingegen fast die Hälfte der Fachbereiche (45 %) eine totale Effektivität im Bereich von über 20 % bis zu 50 % erlangt. Wie die partiellen Effizienzwerte sind auch die totalen Effizienzwerte weniger rechtsschief als die entsprechenden Effektivitätswerte. Sie liegen zwischen 13 % und 65 %, und zwar mit einer Standardabweichung von 12 % um den arithmetischen Mittelwert in Höhe von 37 %. 45 Fachbereiche (82 %) haben eine totale Effizienz von über 20 % bis zu 50 %. Über diesen Bereich hinaus kommen lediglich 6 Fachbereiche (11 %), unterhalb fallen insgesamt 4 Fachbereiche (7 %). Es sind wiederum die personalstarken Fachbereiche, die bei der Effektivitätsbetrachtung vorne liegen. Zu den oberen fünf Effektivitätsklassen (> 50 %) zählen ausschließlich Fachbereiche, die sich bei allen Personalgrößen über dem jeweiligen Median in die Rangfolgen einreihen. Die analog höchsten Effizienzwerte (> 50 %) werden dagegen auch von einem kleinerem Fachbereich (F59) erreicht. Zum Teil lassen sich beträchtliche Unterschiede zwischen den totalen Effektivitäts- und Effizienzwerten einzelner Fachbereiche feststellen, wenngleich die Korrelation zwischen den Werten insgesamt mit r = 0,76** hoch ist. Da zwischen den je 55 Effektivitäts- bzw. Effizienzwerten keine nennenswert großen Sprünge liegen, lassen sich anhand der beiden Analysen zu den Gesamtwerten im Gegensatz zu denen der Partialwerte keine Rückschlüsse auf etwaige Fachbereiche mit untypischen Forschungsbedingungen ziehen. Die Totalbetrachtungen zeigen nicht nur die Differenzen der Fachbereiche anhand ihrer Gesamteffektivitäten und -effizienzen, sie geben auch erste Hinweise auf die empirischen Zusammenhänge zwischen den Leistungskriterien. Es wird deutlich, dass kein Fachbereich mit seiner Effektivität oder Effizienz bei jeweils allen drei Kriterien den ersten Rang einnimmt, da sämtliche Werte kleiner als 100 % sind. Außerdem kann die Nichtbesetzung der oberen beiden bzw. drei Klassen ein Zeichen dafür sein, dass die Fachbereiche bestimmte Forschungsschwerpunkte gesetzt haben oder es ihnen technisch überhaupt nicht möglich ist, in allen Bereichen die realisierten partiellen Höchstwerte zu erbringen. Insofern gibt es in den oberen – und, wie ein Blick in die Tabelle A-2 des Anhangs zeigt, auch in den jeweils mittleren – Feldern zahlreiche Fachbereiche, die in den einzelnen Kriterien sehr unterschiedlich abschneiden. Die totalen Effektivitäts- und Effizienzwerte im jeweils unteren Feld weisen wiederum auf einige Fachbereiche hin, die durchweg bei allen Kriterien relativ leistungsschwach sind. Diese Eindrücke motivieren zu einer ausführlichen Analyse sowohl der Zusammenhänge zwischen den einzelnen Effektivitäts- bzw. Effizienzindikatoren sowie typischer Fachbereichsprofile. Eine solche erfolgt im nächsten Abschnitt.

214

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

6.2

Analyse der Zusammenhänge zwischen den Leistungskriterien und Identifizierung typischer Fachbereichsprofile

6.2.1

Analyse der Zusammenhänge zwischen den Leistungskriterien

Zur Aufdeckung empirischer Zusammenhänge zwischen den Leistungskriterien für die Messung der Forschungseffektivität bzw. -effizienz betriebswirtschaftlicher Fachbereiche werden die Korrelationsstrukturen des CHE-Datensatzes untersucht, und zwar zunächst bivariat durch einfache Korrelationsanalysen (Abschnitt 6.2.1.1) und anschließend multivariat mittels Hauptkomponentenanalysen (Abschnitt 6.2.1.2).

6.2.1.1 Einfache Korrelationsanalysen In Tabelle 6-4 sind die Korrelationen zwischen den partiellen Effektivitäts- sowie den partiellen Effizienzindikatoren aufgeführt. Sie beziehen sich jeweils auf alle Fachbereiche, für die entsprechende Indikatorenwerte vorliegen.499 Tabelle 6-4: Korrelationen zwischen den partiellen Effektivitäten bzw. Effizienzen

Effektivität

PUBL

PROM

DM

PUBL

PROM

DM

Effizienz

1,00

0,76**

0,35**

PUBL pro PROFN

1,00

0,37**

PROM pro PROFS

1,00

DM pro WISSS

PUBL pro PROFN

PROM pro PROFS

DM pro WISSS

1,00

0,53**

−0,24

1,00

−0,14 1,00

** Die Korrelation ist auf dem Niveau von 0,01 (2-seitig) signifikant.

Der linke Teil der Tabelle 6-4 zeigt, dass alle Effektivitätsindikatoren positiv korrelieren, allerdings in unterschiedlichem Ausmaß. Die stärkste Beziehung mit r = 0,76** besteht zwischen Publikationen und Promotionen. In der Regel sind also die publikationsstarken betriebswirtschaftlichen Fachbereiche gleichzeitig diejenigen mit hoher Aktivität in der Nachwuchsförderung. Moderater sind die Zusammenhänge zwischen den Publikationen bzw. den Promotionen und den Drittmittelausgaben der Fachbereiche (r = 0,35** bzw. r = 0,37**). Das heißt, unter den publikations- und promotionsstarken Fachbereichen befinden sich zwar tendenziell solche, die hohe Beträge an Drittmitteln verausgaben, aber auch andere, die kaum Forschungsprojekte über zusätzliche Fördergelder finanzieren. Im Gegensatz zu diesen Bezie-

499

Siehe im Anhang Tabelle A-1 oder alternativ Tabelle A-2.

Abschnitt 6.2: Zusammenhänge zwischen den Leistungskriterien und Fachbereichsprofile

215

hungen zwischen den Effektivitätswerten sind diejenigen zwischen den Werten der Effizienzen weniger stark bzw. weniger eindeutig. Die Publikations- und Promotionseffizienzen der Professoren sind mit r = 0,53** wohl ebenfalls positiv, aber mäßiger als die entsprechenden Effektivitätswerte korreliert. Die Drittmitteleffizienzen der Wissenschaftler weisen wiederum keine signifikante Korrelation zu den Publikations- oder den Promotionseffizienzen der Professoren auf (r = –0,24 bzw. r = –0,14). Die herausgestellten Zusammenhänge zwischen den Indikatoren müssen grundsätzlich sehr vorsichtig interpretiert werden. Jede Erklärung stellt nur eine Hypothese dar, die aufgrund theoretischer Überlegungen angenommen, aber nicht mit Sicherheit bestätigt werden kann. Unter diesem Vorbehalt sind die aufgedeckten positiven Korrelationen zwischen den Werten der drei Effektivitätsindikatoren kaum überraschend. Es liegt auf der Hand und wurde im vorigen Abschnitt bereits angedeutet, dass sie zumindest teilweise auf die Größe der Fachbereiche zurückzuführen sind, also an personalstärkeren Fachbereichen mehr Publikationen verfasst, mehr Doktoranden betreut und höhere Mengen an Fördergeldern zur Forschung akquiriert bzw. verausgabt werden können als an personalschwächeren Fachbereichen. Darüber hinaus kann die sich in den absoluten und relativen Daten manifestierende enge positive Beziehung zwischen der Veröffentlichungstätigkeit und der Nachwuchsförderung der betriebswirtschaftlichen Fachbereiche verschiedene Gründe haben. Möglicherweise wirken diese Leistungen gegenseitig aufeinander, wenn Professoren und Nachwuchswissenschaftler der BWL auf gemeinsamen Forschungsgebieten arbeiten und dabei Ideen entspringen, die sowohl in die Publikationen der Professoren als auch in die Dissertationen der Doktoranden münden. Da zudem ein positiver Zusammenhang zwischen dem (auf die besetzten Stellen bezogenen) Mitarbeiter-Professoren-Verhältnis und der absoluten sowie relativen Publikations- und Promotionsleistung der Fachbereiche besteht – die Korrelationen liegen zwischen r = 0,49** und r = 0,60** – kann außerdem vermutet werden, dass die Professoren an BWL-Fachbereichen mit relativ guter Mitarbeiterausstattung stärker von der Lehre entlastet werden und sie daher mehr Zeit als andere in die Forschung und die Veröffentlichung daraus hervorgehender Ergebnisse sowie die Ausbildung von Doktoranden investieren. Nicht bestätigen – aber auch nicht ablehnen – lässt sich anhand der beobachteten Korrelationen die oftmals aufgestellte Hypothese, dass Drittmitteleinwerbungen aufgrund zusätzlichen, mit diesen Geldern finanzierten Personals positiv auf die Publikations- und Promotionsleistungen der Professoren wirken. Vielmehr entsteht der Eindruck, dass die betriebswirtschaftliche Drittmittelforschung unabhängig von der Veröffentlichungstätigkeit und der Nachwuchsförderung der BWL-Professoren ist, sie allenfalls in einem leicht negativen linearen Zusammenhang stehen. Genau genommen lässt die Datenbasis diesbezüglich überhaupt

216

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

keine Aussage zu, weil der Untersuchungszeitraum so kurz ist, dass die Indikatoren vermutlich vorrangig solche Publikationen und Promotionen widerspiegeln, die nicht an die erfasste Drittmittelforschung gekoppelt sind, sondern Ergebnisse anderer, bereits früher erbrachter Forschungsleistungen darstellen. Doch selbst wenn über den Betrachtungszeitraum hinaus von annähernd konstanten Leistungen ausgegangen wird, können verschiedene Ursachen für das Auseinanderfallen von Publikationen und Promotionen auf der einen und Drittmitteln auf der anderen Seite vorliegen. So ist es zum Beispiel denkbar, dass die betriebswirtschaftlichen Fachbereiche unterschiedliche Forschungsziele verfolgen, die in ihren Publikations-, Promotions- und Drittmittelleistungen zum Ausdruck kommen. Gegebenenfalls sind die betriebswirtschaftlichen Wissenschaftler auch aus Zeitgründen gezwungen, entsprechende Prioritäten zu setzen, etwa alternativ zur Anfertigung von Texten, die Forschungsergebnisse dokumentieren, oder zur Erstellung von Drittmittelanträgen. Ebenso lässt sich beispielsweise mutmaßen, dass die Professoren, die an drittmittelstarken BWL-Fachbereichen beschäftigt sind, häufiger die Rolle von Forschungsmanagern einnehmen, sodass ihnen kaum Zeit für eigene Publikationen und die Förderung des wissenschaftlichen Nachwuchses bleibt.

6.2.1.2 Hauptkomponentenanalysen Die im vorigen Abschnitt behandelten bivariaten Korrelationen zeigen Art und Stärke der Zusammenhänge zwischen einzelnen Paaren von Indikatoren. Offen ist, welche Aussagekraft mit der Kombination der drei Leistungskriterien in den Indikatorenbündeln der Effektivität und Effizienz verbunden ist. Eine darauf gerichtete umfassendere Einsicht in die Beziehungsstruktur der Indikatoren – ebenfalls ohne Vorgabe von Richtungen – unter simultaner Berücksichtigung aller Effektivitäts- bzw. Effizienzgrößen ermöglichen faktoranalytische Methoden. Diesen liegt die Annahme zugrunde, dass Variablen auf hinter ihnen stehende Faktoren zurückgeführt werden können, welche die empirisch beobachteten Zusammenhänge verursachen und somit die Gesamtvariation in den Daten erklären können.500 Explorative Faktorenanalysen zielen darauf ab, diese hypothetischen Größen aus einem Datensatz zu extrahieren. Dadurch ist es nicht nur möglich, die Beziehungen zwischen allen Indikatoren eines Indikatorensystems parallel aufzudecken und diejenigen Dimensionen zu erkennen, mit denen sämtliche von den Daten übertragenen Informationen abgebildet werden können, vielmehr kann darüber hinaus auch die Reproduktion einer Datenstruktur durch möglichst

500

Zur Faktorenanalyse vgl. z.B. Backhaus et al. (2006), S. 259ff., und Hartung/Elpelt (1999), S. 505ff.

Abschnitt 6.2: Zusammenhänge zwischen den Leistungskriterien und Fachbereichsprofile

217

wenige Faktoren zu einer vereinfachten Darstellung vor allem komplexer Realitätsausschnitte führen.501 Da hier lediglich die Zusammenhänge und der Informationswert der Indikatoren in den recht überschaubaren, formativ verstandenen Indikatorenbündeln der Effektivität und Effizienz untersucht werden sollen, aber keine Reduktion derselben zwecks (kausaler) Interpretation hypothetischer Faktoren angestrebt ist, wird im Folgenden die für eine solch rein formale Betrachtung geeignete Hauptkomponentenanalyse herangezogen.502 Sie stellt ein vereinfachtes exploratives Extraktionsverfahren dar, bei dem die Ausgangsinformationen der Beobachtungsmerkmale vollständig erhalten bleiben, sodass sich die Varianz in den Daten gänzlich mit den erzeugten Hauptkomponenten erklären lässt.503 Um die für die Variation der Daten verantwortlichen Dimensionen zu extrahieren, werden bei der Hauptkomponentenanalyse die Variablen ausgehend von der Korrelationsmatrix des (in der Regel normierten) Datensatzes durch eine lineare Transformation mit der Eigenvektormatrix in genauso viele orthogonale, also unkorrelierte Faktoren überführt. Diese sogenannten Hauptkomponenten stellen somit (gegebenenfalls normierte) Linearkombinationen der ursprünglichen Variablen dar. Sie werden nacheinander konstruiert, in der Reihenfolge der absteigenden Höhe ihrer Eigenwerte, welche den Anteil an der von ihnen erklärten Gesamtvarianz in den Daten angeben. Der erste Faktor hat folglich den höchsten Anteil an der empirisch beobachteten Variation und damit den höchsten Abdeckungsgrad im Hinblick auf die durch die Indikatoren übertragenen Informationen. Die Linearkoeffizienten der erhaltenen Hauptkomponenten stellen Gewichte dar, mit denen die Faktoren an der Repräsentation der (gegebenenfalls standardisierten) Beobachtungswerte beteiligt sind. Sie lassen sich aufgrund der Unabhängigkeit der Faktoren als Korrelationskoeffizienten zwischen diesen und den ursprünglichen Variablen interpretieren und werden als Faktorladungen in einer Ladungsmatrix zusammengefasst.504 Die folgende Tabelle 6-5 präsentiert die Ladungsmatrizen, die sich jeweils bei einer Hauptkomponentenanalyse mit den vom CHE zur Beurteilung der betriebswirtschaftlichen For-

501

502

503

504

Im Gegensatz zur explorativen Faktorenanalyse dient die konfirmatorische Faktorenanalyse nicht der Aufdeckung von Strukturen in einem empirischen Datensatz, sondern der Überprüfung von Hypothesen über die Zusammenhänge zwischen direkt beobachtbaren Variablen und dahinter stehenden, nicht beobachtbaren Faktoren (vgl. Backhaus et al. (2006), S. 330). Zur Hauptkomponentenanalyse vgl. z.B. Backhaus et al. (2006), S. 291ff., und Hartung/Elpelt (1999), S. 527ff. Da die Hauptkomponentenanalyse im Gegensatz zu anderen faktoranalytischen Verfahren keine Einzelrestvarianzen der Variablen betrachtet, wird sie häufig auch als eigenständige Methode neben der Faktorenanalyse aufgefasst (vgl. Backhaus et al. (2006), S. 292). Vgl. Hartung/Elpelt (1999), S. 527ff., und Backhaus et al. (2006), S. 266.

218

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

schung erhobenen und hier in Bezug auf das Maximum normierten Effektivitäts- bzw. Effizienzwerten ergeben, wobei diejenigen 55 Fachbereiche berücksichtigt sind, für die vollständige Informationen zu allen drei Leistungskriterien vorliegen.505 Zusätzlich gibt die letzte Zeile der Tabelle 6-5 der Reihe nach den prozentualen Anteil der von den jeweiligen Hauptkomponenten, die nach der Höhe ihrer Eigenwerte geordnet sind, erklärten kumulierten Varianz an der Gesamtvariation in den Daten an. So sind der insgesamt abgebildete Anteil der Indikatoreninformationen und der mit einer potenziellen Reduktion des entsprechenden Indikatorenbündels einhergehende Informationsverlust (in)direkt erkennbar.506 Tabelle 6-5: Komponentenladungen der Effektivitäts- und Effizienzindikatoren sowie erklärte kumulierte Varianzen Hauptkomponenten

Effektivität 1

2

Hauptkomponenten

Effizienz 3

1

2

3

0,857

0,149

0,483

PUBL

0,892

–0,299

0,338

PUBL pro PROFN

PROM

0,905

–0,245

–0,347

PROM pro PROFS

0,808

0,380

–0,451

DM

0,628

0,778

0,210

DM pro WISSS

–0,509

0,853

0,115

Erklärte kumulierte Varianz

67 %

92 %

100 %

Erklärte kumulierte Varianz

55 %

85 %

100 %

Es wird deutlich, dass sowohl die absoluten als auch die relativen Publikations- und Promotionswerte mit Faktorladungen größer 0,8 sehr stark mit der jeweils ersten Hauptkomponente verbunden sind und ihre Korrelationen zu den anderen beiden Faktoren, die im Bereich zwischen –0,451 und 0,483 liegen, deutlich geringer ausfallen. Drittmittel laden mit Gewichtungen von 0,778 bzw. 0,853 dagegen viel höher auf die jeweils zweite Hauptkomponente. Während sie im Effektivitätsraum auch eine positive Korrelation von 0,628 zu der stark mit Publikationen und Promotionen verbundenen ersten Hauptkomponente aufweisen, fällt die entsprechende Korrelation im Effizienzraum mit –0,509 negativ aus. Mit Gewichten von 0,210 bzw. 0,115 korrelieren Drittmittel zudem relativ gering mit der jeweils dritten Hauptkomponente.

505 506

Siehe Tabelle A-2 im Anhang. Das Ausmaß der Erfassung eines einzelnen Indikators durch eine der Hauptkomponenten ergibt sich aus der entsprechenden quadrierten Komponentenladung, deren Summe über alle Hauptkomponenten – die sogenannte Kommunalität – bei allen Indikatoren eins ist.

Abschnitt 6.2: Zusammenhänge zwischen den Leistungskriterien und Fachbereichsprofile

219

Im Effektivitätsraum umfasst die erste Hauptkomponente bereits mehr als zwei Drittel der gesamten Varianz der Daten. Zusammen mit dem zweiten Faktor ergibt sich eine Abdeckung von 92 %, sodass die dritte Komponente mit 8 % nur noch einen kleinen Anteil erfasst und damit weit weniger zum Informationsgehalt des Indikatorensystems beiträgt. Im Raum der Effizienzen ist die Bedeutung der drei Hauptkomponenten ähnlich. Die erste Hauptkomponente vermag 55 % und die zweite 30 % der gesamten Streuung der beobachteten Variablen zu erklären. Bei der sich daraus ergebenden Abdeckung von 85 % der Totalvariation besitzt der dritte Faktor den kleinsten Erklärungsanteil von 15 %. Zwar ist hier – wie einleitend festgehalten – keine explizite Reduktion des Indikatorensystems samt Interpretation der Hauptkomponenten beabsichtigt, doch lassen sich im konkreten Fall die Korrelationen zwischen den Effektivitäts- bzw. Effizienzindikatoren auf jeweils zwei unabhängige Dimensionen zurückführen, die zusammen den größten Teil der entsprechenden Gesamtvariation aufklären. Bei der Beschreibung der Daten kann daher die jeweils dritte Hauptkomponente ohne allzu großen Informationsverlust vernachlässigt werden. Davon ausgehend veranschaulicht Abbildung 6-6 für die beiden Performancedimensionen der Effektivität und der Effizienz die Lage der Indikatoren im Komponentenraum hinsichtlich der ersten beiden Hauptkomponenten. Dabei sind die mit der jeweils ersten Hauptkomponente verbundenen Ladungen in horizontaler Richtung und die mit der entsprechenden zweiten Hauptkomponente im Zusammenhang stehenden Ladungen in vertikaler Richtung dargestellt.

Effektivität

Effizienz

1

1 0,8

Drittmittel

0,6

Ladung der 2. Hauptkomponente

Ladung der 2. Hauptkomponente

0,8

0,4 0,2 0

Promotionen −0,2

Publikationen −0,4 −0,6 −0,8

Drittmittel

0,6 0,4

Promotionen 0,2

Publikationen

0 −0,2 −0,4 −0,6 −0,8

−1

−1 −1

−0,8 −0,6 −0,4 −0,2

0

0,2

0,4

0,6

Ladung der 1. Hauptkomponente

0,8

1

−1

−0,8 −0,6 −0,4 −0,2

0

0,2

0,4

0,6

Ladung der 1. Hauptkomponente

Abbildung 6-6: Lage der Effektivitäts- und Effizienzindikatoren im jeweiligen Komponentenraum

0,8

1

220

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Wie bereits aus den Ladungsmatrizen der Tabelle 6-5 ist auch hier deutlich zu erkennen, dass die beiden Leistungskriterien Publikationen und Promotionen sowohl bei der Effektivitäts- als auch bei der Effizienzbetrachtung weitgehend gleichgerichtet sind. Sie positionieren sich hier recht nah unterhalb bzw. oberhalb der Abszissen der beiden Diagramme, was auf die geringe negative bzw. positive Korrelation mit der jeweiligen zweiten Hauptkomponente hindeutet. Die Variable Drittmittel weist dagegen in beiden Faktorräumen weit in die positive Richtung der zweiten Hauptkomponente, was die hohen Ladungen auf diese verdeutlicht. Insgesamt zeigt sich die bereits bei den bivariaten Korrelationsanalysen des Abschnitts 6.2.1.1 festgestellte Zweiteilung der drei Leistungskriterien in Publikationen und Promotionen auf der einen sowie Drittmittel auf der anderen Seite, was wiederum Ausdruck für die spezielle Rolle von Drittmitteln als Performanceindikator sein kann. Aus rein mathematischer Sicht könnten die beiden erstgenannten Leistungskriterien hier bei einer Effektivitäts- und Effizienzmessung ohne allzu großen Informationsverlust durch einen einzigen latenten Faktor ersetzt werden. Die Erhebung von Drittmitteln – soweit diese grundsätzlich als Outcomeindikatoren der Forschung akzeptiert werden, was durchaus problematisch ist (siehe Abschnitte 4.2 und 4.3.3) – erscheint dagegen unerlässlich für eine umfassende Performancemessung der betriebswirtschaftlichen Forschung. Vor allem kann bei den vorliegenden Daten nicht von bedeutsamen Redundanzen hinsichtlich der Bewertung drittmittelfinanzierter Forschungsprojekte durch die dafür verausgabten Fördergelder und die resultierenden Forschungsergebnisse ausgegangen werden.

6.2.2

Identifizierung typischer Fachbereichsprofile

6.2.2.1 Konzeption der Untersuchung Zum systematischen Erkennen typischer Leistungsstrukturen in der Forschung betriebswirtschaftlicher Fachbereiche unter gleichzeitiger Einbeziehung aller drei Effektivitäts- bzw. Effizienzindikatoren eignet sich die Clusteranalyse.507 Sie ermöglicht, eine multivariat beschriebene Objektgesamtheit anhand ihrer Merkmale so in Gruppen (Cluster) einzuteilen, dass die

507

Zur Schaffung von Transparenz im Hochschulbereich wurde die Clusteranalyse bereits vom Magazin FOCUS eingesetzt. Mit dem Ziel Studierende auf ihrer Suche nach der für sie optimalen Universität zu unterstützen, wurden in den Jahren 2004, 2005 und 2007 fachspezifische Rankings erstellt, wobei Fachbereiche anhand mehrerer hochschulstatistischer Kennzahlen und Urteilsmaßgrößen verglichen und in drei Gruppen (Spitzen-, Mittel- und Schlussgruppe) eingeteilt wurden (vgl. z.B. FOCUS (2007), S. 102ff.). Dieses Vorgehen ist im Hinblick auf das Ziel der Leistungsdifferenzierung allerdings grundsätzlich fragwürdig, da sich – wie noch deutlich wird – mithilfe der Clusteranalyse gebildete Gruppen nicht zwangsläufig gleichermaßen über alle Indikatoren hinweg eindeutig in ihrem Leistungsniveau unterscheiden.

Abschnitt 6.2: Zusammenhänge zwischen den Leistungskriterien und Fachbereichsprofile

221

zu jeweils einer Gruppe gehörenden Objekte möglichst ähnlich und die Unterschiede zwischen den Objekten verschiedener Gruppen möglichst groß sind.508 Die Identifikation solch in sich homogener, aber untereinander heterogener Teilmengen erfolgt mithilfe eines Proximitätsmaßes zur Quantifizierung der Ähnlichkeiten oder Unähnlichkeiten zwischen Objekten bzw. Gruppen von Objekten sowie eines Algorithmus zur Formierung der Cluster. Als Proximitätsmaße, die in Abhängigkeit vom Skalenniveau der relevanten Merkmale einsetzbar sind, stehen verschiedene Ähnlichkeits- und Unähnlichkeitsmaße zur Verfügung. Während Ähnlichkeitsmaße die Ähnlichkeit zweier Objekte bzw. Cluster messen, spiegeln Unähnlichkeitsmaße – auch Distanzmaße genannt – deren Verschiedenheit wider. Dabei gilt, dass der Wert eines Ähnlichkeitsmaßes umso höher bzw. eine Distanz umso geringer ist, je mehr die Objekte bzw. Cluster in ihren Merkmalen übereinstimmen.509 Zur Gruppierung von Objekten anhand ihrer (Un-)Ähnlichkeiten bietet die Clusteranalyse zahlreiche Algorithmen, die sich unterschiedlich klassifizieren lassen. So ist zwischen Verfahren zu differenzieren, die zu disjunkten oder nicht-disjunkten Clustern führen. Weiterhin gibt es einerseits monothetische Verfahren, die pro Clusterschritt nur ein einziges Merkmal verwenden, andererseits polythetische Verfahren, die gemäß dem multivariaten Prinzip simultan alle verfügbaren Merkmale zur Gruppierung der Objekte heranziehen. Zudem ergibt sich die gesuchte Gruppierung bei partiellen Algorithmen durch Berücksichtigung der in der Regel paarweise ermittelten Distanzen, während sie bei globalen Algorithmen unter Einbeziehung der Entfernungen aller Objekte entsteht. Unterschieden werden vor allem auch partitionierende (nicht-hierarchische) und hierarchische Verfahren, die jeweils wiederum in der Art der Clusterprozesse variieren. Partitionierende Verfahren gehen von einer nicht als optimal angesehenen Partition der Objekte aus und versuchen, diese iterativ durch Umgruppierung einzelner Objekte zu verbessern. Hierarchische Verfahren konstruieren dagegen eine Folge von Gruppen, die durch eine baumartige Struktur gekennzeichnet ist. Dabei sind zwei Richtungen möglich. Im agglomerativen Fall werden die Objekte ausgehend von der feinsten Partitionierung, bei der jedes Objekt ein eigenes Cluster bildet, sukzessive in immer größere und heterogenere Gruppen vereint. Umgekehrt wird im divisiven Fall ein alle Objekte umfassendes Gesamtcluster schrittweise in immer kleinere, homogenere Teilgruppen zerlegt. Die Clusteranzahl ist bei beiden hierarchischen Verfahrensarten entweder vor Beginn der Analyse auf Basis sachlogischer Einschätzungen festzulegen oder nach Abschluss der Gruppen-

508

509

Zur Zielsetzung und zu den Grundlagen der Clusteranalyse vgl. z.B. Bacher (1996) und Backhaus et al. (2006), S. 489ff. Vgl. Backhaus et al. (2006), S. 493f. Einen Überblick über wichtige Ähnlichkeits- und Distanzmaße findet sich ebenda, S. 494ff., sowie z.B. bei Bacher (1996), S. 198ff., und Eckey/Kosfeld/Rengers (2002), S. 205ff.

222

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

bildung anhand der Klassifikationshierarchie bzw. mittels statistischer Methoden zu ermitteln.510 Für die Clusterung der hier untersuchten betriebswirtschaftlichen Fachbereiche zwecks Identifizierung institutioneller Forschungstypen werden diejenigen 55 Fachbereiche einbezogen, für die vollständige Effektivitäts- und Effizienzdaten vorliegen.511 Sie sollen zum einen auf Basis ihrer Publikations-, Promotions- und Drittmitteleffektivitäten, zum anderen auf Basis der entsprechenden Effizienzen in Gruppen eingeteilt werden, wobei allen Kriterien – ungeachtet der im vorangehenden Abschnitt aufgezeigten Korrelationen und damit eventuell bedingter Redundanzen im Datensatz – eine eigenständige Dimension der Forschungsleistung zugesprochen wird.512 Als Proximitätsmaß empfiehlt sich die quadriert-euklidische Distanz, da das Ward-Verfahren als Clusteralgorithmus verwendet wird.513 Die quadriert-euklidische Distanz, die sich als Summe der quadrierten Differenzwerte zwischen den Merkmalsausprägungen zweier Objekte bzw. Cluster ergibt, wird nicht nur dem metrischen Skalenniveau der Indikatoren gerecht, sondern ermöglicht auch, große Unterschiede im Leistungsniveau einzelner Indikatoren besonders stark in die Bestimmung der Heterogenität der Fachbereiche einfließen zu lassen. Durch die Quadrierung fallen bei der Distanzermittlung nämlich größere Differenzen zwischen zwei Objekten bzw. Clustern stärker als kleinere Abstände zwischen ihnen ins Gewicht.514 Um bei der Anwendung dieses nicht skaleninvarianten Proximitätsmaßes zu gewährleisten, dass die zur Gruppenbildung herangezogenen Indikatoren trotz ihrer unterschiedlichen Maßeinheiten einen gleich starken Einfluss auf die Distanzwerte ausüben, werden die auf das Maximum standardisierten Indikatorenwerte verwendet.515 Mit dem Clusteralgorithmus Ward wird ein hierarchisch-agglomeratives Verfahren angewandt, sodass es keiner besonderen Startpartition bedarf und die Fachbereiche sukzessive unter simultaner Heranziehung aller Indikatoren zu disjunkten Gruppen zusammengefasst

510

511 512

513 514 515

Zur Systematisierung und Beschreibung verschiedener Clusteralgorithmen vgl. z.B. Bacher (1996), S. 238ff., Backhaus et al. (2006), S. 510ff., und Steinhausen/Langer (1977), S. 69ff. Siehe Tabelle A-1 im Anhang. Um andernfalls zu vermeiden, dass bestimmte Aspekte bei der Distanzermittlung überbetont und dadurch die Ergebnisse der Gruppenbildungen verzerrt werden, könnten prinzipiell statt der ursprünglichen Indikatorenausprägungen die sich auf Basis der in Abschnitt 6.2.1.2 ermittelten Hauptkomponenten ergebenden Werte zur Clusterung verwendet werden. Damit wären jedoch ein gewisser Verlust an Ausgangsinformationen verbunden und die Interpretation der Ergebnisse erschwert. Vgl. hierzu sowie zu weiteren Lösungsmöglichkeiten beim Vorliegen korrelierter Ausgangsdaten Backhaus et al. (2006), S. 549f., und Bortz (1999), S. 551f. Vgl. Steinhausen/Langer (1977), S. 81. Vgl. Backhaus et al. (2006), S. 503f. Siehe Abschnitt 6.1.3 bzw. Tabelle A-2 des Anhangs.

Abschnitt 6.2: Zusammenhänge zwischen den Leistungskriterien und Fachbereichsprofile

223

werden. Das Verfahren hat in der Praxis eine weite Verbreitung gefunden, gilt es doch gemeinhin als sehr guter Algorithmus, vor allem wenn die Variablen auf metrischem Skalenniveau gemessen und die Unähnlichkeiten der Objekte durch die (quadriert-)euklidische Distanz ausgedrückt werden.516 Im Unterschied zu anderen gängigen agglomerativen Verfahren vereinigt der Ward-Algorithmus Objekte bzw. Cluster nicht auf Basis der Distanzen zwischen ihnen, sondern auf der Grundlage eines globalen Heterogenitätsmaßes. Als solches wird das Varianzkriterium, das auch als Fehlerquadratsumme bezeichnet wird, verwendet. Damit werden in jedem Fusionsschritt jeweils die beiden Cluster zusammengefasst, die zu der minimalen Erhöhung der Gesamtstreuung innerhalb aller Cluster führen.517 Indem vor allem zu Beginn des Gruppierungsprozesses kleinere Cluster in Bereichen mit hoher Objektdichte generiert und in späteren Schritten Unterschiede in den Besetzungszahlen verschiedener Cluster ausgeglichen werden, entstehen letztlich tendenziell gleich große Cluster mit geringer Binnenvarianz.518

6.2.2.2 Effektivitäts- und Effizienzcluster Die durch die hierarchische Fusionierung der 55 Fachbereiche auf Basis ihrer Effektivitätssowie Effizienzwerte entstehenden Baumstrukturen sind in den Dendrogrammen der Abbildungen B-1 und B-2 des Anhangs B grafisch dargestellt. Sie zeigen, welche Cluster zusammengelegt werden – wobei auch die Reihenfolge der Vereinigungen auf den letzten Clusterstufen ersichtlich ist – und wie groß jeweils die auf den Wertebereich [0;25] normierten Heterogenitätsgrade sind.519 Die Zusammenführung der Cluster wird in den Dendrogrammen von links nach rechts durch horizontale Vereinigungskanten dargestellt. Diese münden in Höhe der mit der jeweiligen Fusion verbundenen (normierten) Zunahme der Fehlerquadratsumme, die jeweils auf der Skala „Neuskalierte Distanz“ abzulesen ist, in vertikale Linien, welche die neu entstehenden Gruppen symbolisieren. Je weiter links in den Dendrogrammen solch eine vertikale Linie liegt, desto früher wird die durch sie repräsentierte Gruppe im Fusionierungsprozess gebildet und desto geringer ist der damit verbundene Heterogenitätszuwachs.

516 517 518 519

Vgl. Backhaus et al. (2006), S. 528, sowie Bortz (1999), S. 555, und die dort jeweils genannte Literatur. Vgl. Backhaus et al. (2006), S. 522ff., und Eckey/Kosfeld/Rengers (2002), S. 243f. Vgl. Bortz (1999), S. 560. Die Normierung der Clusterdistanzen auf den genannten Bereich wird standardmäßig von SPSS vorgenommen.

224

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Anhand der beiden Grafiken lassen sich sinnvolle Gruppierungen der Fachbereiche erkennen.520 So legt das Effektivitätsdendrogramm eine Gruppierung mit zwei Clustern – hier als A und B bezeichnet – und das Effizienzdendrogramm eine Formierung mit drei Clustern – C, D und E genannt – nahe, weil die Fehlerquadratsumme nach deren Bildung sprunghaft ansteigt und demnach die Heterogenität der auf den nachfolgenden Stufen gebildeten Cluster stark zunimmt. Tabelle 6-6 führt statistische Parameter zu diesen beiden Clusterlösungen auf, die im Folgenden zur Analyse herangezogen werden, wobei zum Teil auch auf die in den Tabellen A-1 und A-2 des Anhangs dokumentierten Einzelwerte der den Clustern zugehörigen Fachbereiche eingegangen wird. Die Anzahl der Fachbereiche pro Gruppe (n) zeigt an, wie häufig ein Forschungsprofil in der Grundgesamtheit vertreten ist. Die arithmetischen (arithm.) Mittelwerte und die t-Werte eignen sich insbesondere zur inhaltlichen Interpretation der Cluster. Während die Mittelwerte Auskunft über die partiellen und totalen Effektivitäten bzw. Effizienzen sowohl in der Grundgesamtheit521 als auch in den einzelnen Clustern geben, informieren die t-Werte über das Ausmaß der Indikatorenausprägungen in den Clustern im Vergleich zu demjenigen in der Grundgesamtheit. Ein solcher t-Wert ergibt sich, indem die Differenz zwischen dem Mittelwert eines Indikators in einem Cluster und seinem Mittelwert in der Grundgesamtheit durch die Standardabweichung des Indikators in der Grundgesamtheit dividiert wird. Dabei bringt ein positiver t-Wert zum Ausdruck, dass ein Indikator in einem Cluster überrepräsentiert ist, wohingegen ein negativer t-Wert im Vergleich zur Grundgesamtheit niedrige Ausprägungen eines Indikators in einem Cluster anzeigt. Darüber hinaus lässt sich anhand der F-Werte die Homogenität der gebildeten Fachbereichsgruppen und damit auch die Güte der Clusterlösungen bewerten. Ein F-Wert berechnet sich als Quotient aus der Varianz eines Indikators in einem Cluster und seiner Varianz in der Grundgesamtheit. Je kleiner der Wert für einen Indikator ist, desto geringer fällt seine Streuung in einer Gruppe im Vergleich zur Grundgesamtheit aus. Im Hinblick auf einen Indikator erweist sich eine Gruppe dann als homogen, wenn der entsprechende F-Wert kleiner als eins ist. Sie wird in der Regel als vollkommen homogen angesehen, wenn alle F-Werte kleiner als eins sind.522

520

521

522

Ein Dendrogramm ist eines der wichtigsten Hilfsmittel zur Festlegung einer geeignet erscheinenden Clusteranzahl bei einer schrittweisen Zusammenfassung der Objekte mithilfe eines hierarchischen Clusteralgorithmus (vgl. Bortz (1999), S. 554). Es sei noch einmal darauf hingewiesen, dass die in der Basisanalyse im Abschnitt 6.1.3 aufgeführten arithmetischen Mittelwerte für die partiellen Publikations- und Drittmitteleffektivitäten sowie die entsprechenden Effizienzen nicht wie hier aus den Werten der 55 Fachbereiche mit vollständigen Datensätzen, sondern aus den 62 bzw. 56 Werten derjenigen Fachbereiche, für die Publikations- bzw. Drittmitteldaten vorliegen, errechnet wurden. Zu diesen Beurteilungskriterien vgl. Backhaus et al. (2006), S. 545f.

Abschnitt 6.2: Zusammenhänge zwischen den Leistungskriterien und Fachbereichsprofile

225

Tabelle 6-6: Statistische Parameter der Effektivitäts- und Effizienzcluster (Zwei- bzw. Drei-Clusterlösung)

Effektivität

PUBL

PROM

DM

Totale Effektivität

30 %

40 %

21 %

30 %

Gesamtcluster

Effizienz

PUBL pro PROFN

PROM pro PROFS

DM pro WISSS

Totale Effizienz

37 %

49 %

25 %

37 %

Gesamtcluster

Arithm. Mittel Cluster A (n = 9)

Arithm. Mittel Cluster C (n = 14)

Arithm. Mittel

62 %

80 %

46 %

63 %

Arithm. Mittel

50 %

78 %

19 %

49 %

t-Wert

1,71

1,66

1,30

–

t-Wert

0,76

1,36

−0,29

–

F-Wert

0,71

0,48

2,02

–

F-Wert

1,30

0,23

0,18

–

46 %

Cluster B (n = 46)

Cluster D (n = 10)

Arithm. Mittel

24 %

33 %

16 %

24 %

32 %

43 %

61 %

t-Wert

−0,33

−0,32

−0,26

–

Arithm. Mittel t-Wert

−0,25

−0,25

1,70

–

F-Wert

0,38

0,46

0,40

–

F-Wert

1,04

0,53

0,89

–

Cluster E (n = 31) Arithm. Mittel

32 %

37 %

16 %

29 %

t-Wert

−0,26

−0,53

−0,42

–

F-Wert

0,50

0,36

0,26

–

Zur Unterstützung der inhaltlichen Interpretation der aus den 55 Fachbereichen gebildeten zwei Effektivitäts- und drei Effizienzcluster sind deren Durchschnittsprofile als Lineplots in Abbildung 6-7 dargestellt. Sie beruhen auf den in Tabelle 6-6 aufgeführten indikatorenspezifischen Mittelwerten.

Effektivität

Effizienz

arithmetisches Mittel

arithmetisches Mittel

100% 100 %

100% 100 %

80% 80 %

80% 80 % A

C

60% 60 %

D

60% 60 %

40% 40 %

40% 40 % E

B

20% 20 %

20% 20 %

0% 0%

0% 0% Publikationen

P

Promotionen

P

Drittmittel

D

Publikationen P pro Professor

Promotionen P pro Professor

Drittmittel pro D Wissenschaftler

Abbildung 6-7: Durchschnittsprofile der Effektivitäts- und Effizienzcluster (Zwei- bzw. Drei-Clusterlösung)

226

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Bei den beiden Effektivitätsclustern sind deutliche Unterschiede im Leistungsniveau zu erkennen. Während die Fachbereiche des Clusters A auf einem insgesamt relativ hohen Effektivitätsniveau agieren, sind diejenigen des Clusters B im Durchschnitt weitaus weniger effektiv. Dabei zeichnet sich das aus neun Fachbereichen bestehende Cluster A durch überdurchschnittliche Effektivitätswerte in allen drei betrachteten Leistungskriterien aus, wie an den positiven t-Werten zu erkennen ist. Nahezu jeder einzelne Publikations-, Promotionsund Drittmittelwert liegt über dem entsprechenden arithmetischen Mittelwert der 55 insgesamt betrachteten Fachbereiche – Ausnahmen bilden nur F48 und F62 mit Drittmitteleffektivitäten von 18 % bzw. 8 %. Die durchschnittlichen Indikatorenausprägungen und die durchschnittliche totale Effektivität dieses Clusters sind sogar mindestens doppelt so hoch wie die entsprechenden Werte der Grundgesamtheit. So vereint dieses Cluster auch genau die neun Fachbereiche mit den höchsten Werten totaler Effektivität (von durchschnittlich 63 %), die bereits im Abschnitt 6.1.4 hervorgehoben wurden, weil sie sich in ihrer Totaleffektivität mit mindestens 12 %-Punkten von den übrigen – hier dem Cluster B angehörenden – Fachbereichen abheben. In diesem mit 46 Fachbereichen viel stärker besetzten Cluster B und einer mittleren totalen Effektivität, die mit 24 % knapp 40 %-Punkte niedriger ausfällt als diejenige des Clusters A, sind gemäß den negativen t-Werten alle drei Effektivitätsindikatoren unterrepräsentiert. Die durchschnittlichen partiellen Ausprägungen liegen etwa ein Fünftel bis ein Viertel unter den jeweiligen Mittelwerten der Grundgesamtheit und jeweils etwa drei Fünftel unter denen des Clusters A. Letztere werden sogar kaum von einzelnen Fachbereichen des Clusters B erreicht – lediglich der Fachbereich F50 übertrifft mit seiner Drittmitteleffektivität von 66 % den entsprechenden Durchschnittswert des Clusters A in Höhe von 46 %. Im Gegensatz zu den beiden Effektivitätsclustern sind die drei Effizienzgruppen allein auf Basis ihrer Leistungsniveaus nicht gänzlich klar zu trennen. Insbesondere lässt sich unter ihnen keine bei allen drei Kriterien überragende Fachbereichsgruppe – dem Effektivitätscluster A entsprechend – identifizieren, wohl aber besteht wiederum eine größere Gruppe (Cluster E) mit insgesamt nur schwach ausgeprägten Werten. Im Cluster C sind vierzehn Fachbereiche vereint, die sich aufgrund ihrer durchschnittlichen Publikations- und Promotionseffizienzen von 50 % bzw. 78 % (bei t-Werten von 0,76 bzw. 1,36) sichtbar von den Fachbereichen der anderen beiden Cluster abheben. Mit Bezug auf die Promotionen ist sogar festzustellen, dass nicht nur alle vierzehn Fachbereiche die obersten Plätze in der Gesamtrangfolge einnehmen – wobei die geringste Promotionseffizienz von 63 % ebenfalls vom Fachbereich F2, der dem Cluster E angehört, erreicht wird –, sondern auch ihre Werte mindestens 14 %-Punkte über dem Durchschnitt aller 55 Fachbereiche liegen. Dagegen sind die Drittmitteleffizienzen in dieser Gruppe mit durchschnittlich 19 % bei einem t-Wert von –0,29 im Vergleich zur Grundgesamtheit als gering einzustufen. Die Gesamteffizienz der Fachbe-

Abschnitt 6.2: Zusammenhänge zwischen den Leistungskriterien und Fachbereichsprofile

227

reiche dieses Clusters beläuft sich im Mittel auf 49 % und liegt damit nur ein wenig über derjenigen des gegensätzlich orientierten Clusters D, dessen zehn Fachbereiche eine durchschnittliche Gesamteffizienz von 46 % aufweisen. Herausragendes Merkmal dieser Gruppe ist die bei einem t-Wert von 1,70 stark ausgeprägte Drittmitteleffizienz von durchschnittlich 61 %. Acht der zehn dem Cluster angehörenden Fachbereiche nehmen bei diesem Indikator die obersten Rangplätze im Gesamtvergleich aller 55 Fachbereiche ein, die anderen beiden belegen bei gleicher Effizienz (in Höhe von 38 %) zusammen den zwölften Rang. Dabei übertrifft jeder einzelne Fachbereich den sich auf 25 % belaufenden Gesamtdurchschnitt der Drittmitteleffizienzen um mindestens 13 %-Punkte. Die Publikations- und Promotionseffizienzen der Fachbereiche dieser Gruppe sind dagegen bei t-Werten von jeweils –0,25 leicht unterrepräsentiert. Sie liegen mit Durchschnitten von 32 % bzw. 43 % auf dem entsprechenden Effizienzniveau des Clusters E (32 % bzw. 37 %), welches die restlichen 31 Fachbereiche enthält. Neben deren meist unterdurchschnittlichen einzelnen Publikations- und Promotionseffizienzen weisen diese auch vergleichsweise geringe Drittmitteleffizienzen auf, deren Durchschnitt von 16 % knapp unterhalb des entsprechenden Werts von Cluster C (19 %) fällt. Die durchschnittliche Totaleffizienz dieser großen Gruppe beläuft sich auf 29 % und beträgt damit lediglich etwa drei Fünftel derjenigen von Cluster C und D. Gemessen anhand der F-Werte sind sowohl die Effektivitäts- als auch die Effizienzgruppen im Vergleich zur Grundgesamtheit weitgehend homogen. Die beiden größeren Gruppen, das Effektivitätscluster B sowie das Effizienzcluster E, können sogar als vollkommen homogen bezeichnet werden. In ihnen streuen die Indikatoren höchstens halb so stark wie in der Menge aller 55 Fachbereiche. Dagegen weist jeweils ein Indikator in den anderen, kleineren Fachbereichsgruppen eine etwa genauso große oder größere Heterogenität wie in der Grundgesamtheit auf. Dies betrifft beim Effektivitätscluster A die Drittmittel mit einem F-Wert von 2,02 sowie bei den Effizienzclustern C und D die Publikationen pro Professor mit FWerten von 1,30 bzw. 1,04. Insgesamt fällt auf, dass diejenigen Cluster, deren Fachbereiche sich durch überdurchschnittliche partielle Effektivitäten oder Effizienzen von den anderen abgrenzen, relativ gering besetzt sind – was mit den in Abschnitt 6.1.3 dargestellten teilweise deutlich rechtsschiefen Verteilungen der Effektivitäts- und Effizienzwerte einhergeht. So gehören zum Effektivitätscluster A lediglich 16 % und zu den beiden Effizienzclustern C und D zusammen nicht einmal die Hälfte aller betrachteten Fachbereiche. Nicht überraschend ist, dass sich mit dem Cluster A eine Gruppe von Fachbereichen herauskristallisiert, die in allen drei Leistungskriterien überdurchschnittlich hohe Effektivitätswerte erreichen, sind sie doch – wie bereits in Abschnitt 6.1.4 für sie aufgezeigt wurde – personalmäßig ziemlich gut ausgestattet. Im Durch-

228

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

schnitt sind an ihnen knapp 60 % mehr namentlich erhobene Professoren tätig bzw. 70 % mehr Professorenstellen besetzt sowie mehr als doppelt so viele Stellen mit Wissenschaftlichen Mitarbeitern bzw. Wissenschaftlern insgesamt belegt als an den Fachbereichen des Clusters B. Solche großen Differenzen in der Personalausstattung sind wiederum erwartungsgemäß nicht zwischen den Fachbereichen der verschiedenen Effizienzcluster zu verzeichnen. Hier liegen kaum Unterschiede in der Anzahl der namentlich genannten Professoren wie auch der besetzten Professorenstellen vor. Die Clusterdurchschnitte entsprechen jeweils in etwa dem Gesamtdurchschnitt der 55 Fachbereiche von 12,8 Namen bzw. 11,1 besetzten Professorenstellen. Lediglich bei den Wissenschaftlichen Mitarbeitern und den Wissenschaftlern insgesamt ragt das publikations- und promotionsstarke Cluster C mit 41,7 bzw. 53,4 besetzten Stellen im Durchschnitt heraus, während die anderen beiden Cluster D und E mit durchschnittlich 24,8 bzw. 28,7 besetzten Mitarbeiterstellen und 35,1 bzw. 39,7 besetzten Wissenschaftlerstellen insgesamt in dieser Hinsicht weniger gut ausgestattet sind. Interessant ist, dass – wie oben erwähnt – kein Cluster mit ausschließlich überdurchschnittlichen Effizienzwerten existiert. Für betriebswirtschaftliche Fachbereiche ist es also untypisch, sich bei allen Leistungskriterien durch relativ hohe Effizienzgrade auszuzeichnen.523 Vielmehr haben sie allenfalls bestimmte Stärken, mit denen sie sich hinsichtlich der Effizienz profilieren. Diesbezüglich ist weiterhin im Vergleich der Zusammensetzungen aller gebildeten Cluster festzustellen, dass acht der neun Fachbereiche des Clusters A mit den überdurchschnittlich hohen Effektivitätswerten zu den Effizienzclustern C und D gehören. Sie sind also tendenziell nicht nur in allen Kriterien besonders effektiv, sondern kennzeichnen sich auch durch entweder hohe Publikations- und Promotionseffizienzen oder hohe Drittmitteleffizienzen aus. Nur der – in Abschnitt 6.1.2 aufgrund seiner außergewöhnlich großen professoralen Personalausstattung als potenzieller Ausreißer anvisierte – Fachbereich F22 platziert sich in der Effizienzgruppe E, die keine herausragenden Merkmale aufweist. Andererseits gehören von den 46 Fachbereichen des Effektivitätsclusters B, das durch unterdurchschnittliche Effektivitätswerte geprägt ist, fast zwei Drittel zur insgesamt effizienzschwachen Gruppe E. Mit jeweils acht Fachbereichen zählt nur ein geringerer Anteil zu den Clustern C und D mit überdurchschnittlichen Publikations- und Promotions- bzw. Drittmitteleffizienzen.

6.2.2.3 Sensitivitätsanalysen Zur Überprüfung der Robustheit der ermittelten Forschungsprofile der betriebswirtschaftlichen Fachbereiche sind Sensitivitätsanalysen durchzuführen. Zwar legt die eingangs ange-

523

Siehe hierzu auch die Ergebnisse der Analyse zur totalen Effizienz in Abschnitt 6.1.4.

Abschnitt 6.2: Zusammenhänge zwischen den Leistungskriterien und Fachbereichsprofile

229

sprochene Vielfalt der Gestaltungsmöglichkeiten einer Clusteranalyse hinsichtlich alternativer Proximitätsmaße und Gruppierungsverfahren dafür prinzipiell eine eigenständige Arbeit mit einer umfassenden Untersuchung der durch sie bedingten Sensitivitäten nahe, da hier jedoch nicht die „richtige“ Zuordnung einzelner Fachbereiche zu bestimmten Clustern, sondern das Erkennen von Strukturen beabsichtigt wird, erscheint zur Prüfung der bisherigen Ergebnisse eine Fokussierung auf die folgenden zwei Aspekte ausreichend. Zum einen wird die Clusteranzahl variiert, um feinere, mit einer insgesamt höheren Homogenität der Cluster einhergehende Partitionen zu betrachten, welche auch dazu dienen können, in den Clustern vorhandene Binnenstrukturen zu erkennen. Zum anderen wird die Güte der gefundenen Clusterlösungen im Hinblick auf den Einfluss potenzieller Ausreißer untersucht. Analyse von Teilgruppen Hinweise auf in den bereits identifizierten Effektivitäts- und Effizienzclustern existierende Teilgruppen geben wiederum die in den Dendrogrammen der Abbildungen B-1 und B-2 des Anhangs illustrierten Fusionierungsprozesse. Beim Effektivitätsdendrogramm drängt sich eine solch detailliertere Gruppenlösung zwar nicht direkt auf, doch ist eine Betrachtung von sechs Clustern sowohl überschaubar und handhabbar als auch hinreichend, um mehr Transparenz über die Strukturen innerhalb der zwei Effektivitätscluster, insbesondere des größeren Clusters B zu schaffen. Dagegen ist an der Baumstruktur für die Effizienzclusterung gut ersichtlich, dass bei einer höheren Homogenitätsanforderung anstelle der DreiKlassenpartition eine Sechs-Klassenlösung gut begründet werden kann, wobei jedes der drei bisher betrachteten Cluster zwei Teilgruppen beinhaltet.524 Um einen Eindruck über diese Unterstrukturen zu vermitteln, sind die zu ihnen gehörigen Durchschnittscluster in Abbildung 6-8 skizziert.525 Die Schattierungen deuten darauf hin, welche Teilgruppen in späteren Clusterschritten jeweils zu den zwei bzw. drei in Abbildung 6-7 dargestellten Clustern fusioniert werden. Wie an den Lineplots zu erkennen ist, existieren in beiden Fällen durchaus gut differenzierbare Teilpartitionen der bereits analysierten Cluster.

524

525

Die Zusammensetzungen und die im Folgenden verwendeten Bezeichnungen der Teilcluster sind den Abbildungen B-3 und B-4 des Anhangs B zu entnehmen. Statistische Parameter zu den Teilclustern sind in Tabelle B-1 des Anhangs B aufgeführt. Für einen direkten Vergleich enthält diese auch die in Tabelle 6-6 stehenden statistischen Parameter der übergeordneten Gruppen sowie der Grundgesamtheit. Im Folgenden wird insbesondere auf die in Abbildung 6-8 visualisierten arithmetischen Mittelwerte der Teilcluster eingegangen.

230

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Effektivität

Effizienz

arithmetisches Mittel

arithmetisches Mittel

100% 100 %

100% 100 %

A1

80% 80 %

80% 80 %

A2

60% 60 %

C1

D1 C2

60% 60 %

D2 D2

B1

40% 40 %

40% 40 %

B2

E1 B3

E2

20% 20 %

20% 20 % B4

0% 0%

0% 0% Publikationen

P

Promotionen

P

Drittmittel

D

Publikationen P pro Professor

Promotionen P pro Professor

Drittmittel pro D Wissenschaftler

Abbildung 6-8: Durchschnittsprofile der Effektivitäts- und Effizienzcluster (Sechs-Clusterlösungen)

Das auf hohem Effektivitätsniveau agierende Cluster A unterteilt sich in zwei Fachbereichsgruppen, die im Durchschnitt – bei nahezu gleich hohen totalen Effektivitäten von 63 % bzw. 64 % – in den Ausprägungen aller drei Indikatoren variieren. Während die Publikations- und Promotionseffektivitäten der sechs Fachbereiche umfassenden Gruppe A1 durchschnittlich mit 67 % bzw. 90 % knapp 15 bzw. 30 %-Punkte über dem entsprechenden Wert der drei Fachbereiche der Gruppe A2 liegen, weist diese wiederum mit 78 % einen gut zweieinhalb mal so hohen Drittmitteldurchschnitt wie die erstgenannte (31 %) auf. Das im Vergleich zu Cluster A weniger effektive Cluster B enthält vier verschiedene Profilvarianten, die sich untereinander nicht nur in den Ausprägungen einzelner Leistungskriterien, sondern teilweise auch in ihren Gesamteffektivitätsgraden unterscheiden. Die neun Fachbereiche der Gruppe B1 haben im Durchschnitt eine Effektivität von 41 % bei den Publikationen und von 56 % bei den Promotionen. Sie überragen damit die anderen drei Teilgruppen um etwa 15 bis 40 %Punkte. Dagegen hebt sich die aus sieben Fachbereichen bestehende Gruppe B2 bei den Drittmitteleffektivitäten mit einem im Vergleich zu den anderen Teilgruppen des Clusters B ungefähr dreimal so hohen Durchschnittswert von 39 % hervor. Beide Gruppen spiegeln somit die Struktur des Clusters A auf einem geringeren Niveau wider, wobei sie – wie deren Teilgruppen A1 und A2 – in ihren Totaleffektivitäten (von durchschnittlich 37 % bzw. 33 %) fast übereinstimmen. Sie übertreffen in dieser Hinsicht die beiden Gruppen B3 und B4, die im Mittel Werte von 23 % bzw. 16 % totaler Effektivität erreichen. Letztere, die 19 Fachbereiche vereint, hat bei allen Indikatoren das durchschnittlich geringste Effektivitätsniveau. Die

Abschnitt 6.2: Zusammenhänge zwischen den Leistungskriterien und Fachbereichsprofile

231

elf Fachbereiche der Gruppe B3 differenzieren sich davon lediglich durch ihren Promotionsdurchschnitt, der mit 38 % mehr als doppelt so hoch ist wie derjenige der Gruppe B4 (17 %). Das durch relativ hohe Publikations- und Promotionswerte charakterisierte Effizienzcluster C umfasst zwei Gruppen, die sich allein in den Publikationswerten wesentlich voneinander unterscheiden. Im Durchschnitt erzielen die vier Fachbereiche der Gruppe C1 mit 75 % nahezu doppelt so viele Publikationspunkte pro Professor wie die zehn Fachbereiche des Clusters C2. Bei fast identischen Promotions- und Drittmittelwerten unterscheiden sich die Gruppen zudem nennenswert in ihren durchschnittlichen Totaleffizienzen von 59 % bzw. 45 %. Zum drittmittelorientierten Cluster D gehört die aus sechs Fachbereichen bestehende Teilgruppe D2, deren Indikatorendurchschnitte zwischen 40 % und 50 % und somit auf einem ähnlichen Niveau liegen, sowie die aus vier Fachbereichen bestehende Teilgruppe D1, die sich davon durch geringere Publikations- und Promotionseffizienzen (im Durchschnitt 19 % bzw. 34 %) auf der einen und höhere Drittmitteleffizienzen (im Durchschnitt 81 %) auf der anderen Seite differenziert. Die totalen Effizienzwerte dieser beiden Gruppen liegen im Durchschnitt bei 46 % bzw. 45 %. Das durch geringe Effizienzgrade geprägte Cluster E umfasst – ähnlich wie Cluster D mit der Teilgruppe D2, nur auf einem geringeren Niveau – die Gruppe E2 mit relativ homogenen Bewertungen für alle drei Indikatoren (im Durchschnitt 20 % bis 32 %). Das Mittel der totalen Effizienzen dieser 21 vereinten Fachbereiche beläuft sich auf 26 %. Im Gegensatz dazu steht die Gruppe E1, der zehn Fachbereiche angehören, mit im Durchschnitt um 20 bzw. 15 %-Punkte höheren Publikations- und Promotionswerten, aber um 12 %-Punkte geringeren Drittmitteleffizienzen sowie einer mittleren totalen Effizienz von 34 %. Die betrachteten Teilgruppen, die alle in sich vollkommen homogen sind – wie an den unter eins liegenden F-Werten in Tabelle B-1 des Anhangs zu erkennen ist –, deuten auf das Ausmaß der Heterogenität innerhalb der zuvor identifizierten Hauptcluster hin. Sie zeigen gleichzeitig, dass diese übergeordneten Effektivitäts- und Effizienzgruppen die prinzipiellen Forschungsstrukturen in der Gesamtheit der betriebswirtschaftlichen Fachbereiche relativ gut widerspiegeln. Darüber hinaus ist zu erkennen, dass sich die bei der Effizienzbetrachtung in Abschnitt 6.2.2.2 für mehrere Fachbereiche herausgestellten Forschungsstärken bei den Publikationen und Promotionen oder den Drittmitteln auch in den tiefer liegenden Effektivitätsstrukturen manifestieren, dort allerdings auf zwei verschiedenen Leistungsniveaus. Ausreißeranalyse Als Ausreißer einer multivariat beschriebenen Objektmenge gelten solche Objekte, die im Vergleich zu den weiteren Objekten durch eine deutlich anders gelagerte Kombination von Merkmalsausprägungen gekennzeichnet sind und daher nur geringe Ähnlichkeiten bzw. sehr

232

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

hohe Distanzen zu diesen aufweisen. Sie können den Fusionierungsprozess aller Objekte stark beeinflussen, dadurch die Clusterlösungen verzerren und schließlich das Erkennen der Zusammenhänge zwischen den anderen Objekten erschweren.526 Zur Identifizierung solch untypischer Objekte im Rahmen einer Clusteranalyse eignet sich das hierarchisch-agglomerative Single-Linkage-Verfahren. Es wählt als Distanz zwischen zwei Clustern immer den kleinsten paarweisen Abstand zwischen ihren Objekten und fusioniert somit auf den einzelnen Stufen jeweils diejenigen beiden Cluster mit den zueinander am nächsten liegenden Objekten (nearest neighbour). Da eine Verbindung zwischen zwei Gruppen also brückenförmig durch je ein Objekt (single linkage) hergestellt wird, neigt das Verfahren dazu, wenige große Gruppen mit aneinandergereihten Objekten zu bilden (chaining effect). Einzelne Objekte sowie kleinere Gruppen mit großer Distanz zu den übrigen Clustern bleiben während des Klassifikationsprozesses lange isoliert. Sie werden erst auf den letzten Fusionierungsstufen mit anderen Gruppen verbunden und bieten somit Anhaltspunkte zur Identifikation von Ausreißern in der Objektmenge.527 Bei der Anwendung des Single-Linkage-Verfahrens mit dem quadriert-euklidischen Distanzmaß ergibt sich weder für die Clusterung der 55 betriebswirtschaftlichen Fachbereiche auf Basis der Effektivitäts-, noch für diejenige anhand der Effizienzindikatoren eine klare Gruppenstruktur. In beiden Fällen steigt die Heterogenität der Cluster von Stufe zu Stufe so lange relativ moderat an, bis am Ende des Fusionierungsprozesses die letzten Fachbereiche einzeln oder in Zweiergruppen der jeweils zuvor gebildeten, alle anderen Fachbereiche bereits umfassenden Gruppe zugeordnet werden. Bei diesen könnte es sich jeweils um Ausreißer handeln, welche die Klassifikation des Ward-Verfahrens maßgeblich beeinflusst haben. In der Tat sind sie durch einzelne extrem hohe Indikatorenausprägungen und teilweise sehr große Unterschiede zwischen ihren partiellen Effektivitäts- bzw. Effizienzwerten gekennzeichnet. Es sind Fachbereiche, auf die schon bei den Partialanalysen in Abschnitt 6.1.3 wegen ihrer hohen Publikations- oder Drittmitteleffektivität bzw. -effizienz hingewiesen wurde.528 Bei den Effektivitäten handelt es sich um die fünf Fachbereiche F22, F47, F50, F57 und F62. Die vier Erstgenannten zeichnen sich vor allem durch ihre hohen Drittmitteleffektivitäten aus. In der Rangfolge aller Fachbereiche nehmen sie bei diesem Indikator die obersten Plätze ein, wobei F47 mit dem höchsten Wert und dessen Differenz von fast 30 %-Punkten zum

526 527 528

Vgl. Backhaus et al. (2006), S. 549. Vgl. Backhaus et al. (2006), S. 520, und Bortz (1999), S. 554. Siehe daher im Folgenden auch Abschnitt 6.1.3.

Abschnitt 6.2: Zusammenhänge zwischen den Leistungskriterien und Fachbereichsprofile

233

zweithöchsten Wert von F22 besonders herausragt und F50 neben seiner hohen Drittmitteleffektivität zusätzlich mit seiner vergleichsweise sehr geringen Publikationseffektivität von 10 % auffällt. Der Fachbereich F62 ist dagegen durch die mit einem Abstand von mindestens 27 %-Punkten zu allen anderen Fachbereichen höchste Publikationseffektivität und eine mit 8 % sehr geringe Drittmitteleffektivität gekennzeichnet. Bei der Anwendung des Single-Linkage-Algorithmus auf die Effizienzindikatoren sind es ebenfalls die Fachbereiche F47, F50 und F62, daneben aber auch der Fachbereich F12, die eher untypische Forschungsprofile aufweisen. F12, F47 und F50 haben die höchsten Drittmitteleffizienzen, wobei sich F47 nicht nur von allen anderen 52 Fachbereichen deutlich (mit mindestens 44 %-Punkten) abhebt, sondern mit 18 bzw. 13 %-Punkten auch von F12 und F50. Diese beiden sind abgesehen von ihrer hohen Drittmitteleffizienz durch Publikationswerte von nur 13 % bzw. 14 % gekennzeichnet und F12 nimmt außerdem wegen der geringsten Promotionseffizienz aller Fachbereiche (5 %) eine besondere Position ein. F62 ist wie bei den Effektivitäten durch die mit einem mindestens 27 %-Punkte-Abstand zu allen anderen 54 Fachbereichen höchste Publikationseffizienz sowie eine geringe Drittmitteleffizienz von 6 % charakterisiert. Um die Bedeutung dieser potenziellen Ausreißerfachbereiche für das Klassifikationsverhalten des Ward-Algorithmus einzuschätzen, kann ohne sie eine neue Analyse mithilfe des Ward-Algorithmus durchgeführt werden, deren Ergebnisse mit der Ausgangslösung zu vergleichen sind.529 Werden die fünf genannten Fachbereiche mit untypischen Effektivitätsprofilen, von denen in der Referenzlösung vier dem auf hohem Leistungsniveau angesiedelten Cluster A zugeordnet sind (F22, F47, F57 sowie F62) und einer (F50) dem auf niedrigerem Leistungsniveau agierenden Cluster B angehört, aus der Analyse ausgeschlossen, kristallisiert sich wie unter Verwendung des kompletten Datensatzes eine Lösung mit zwei Gruppen heraus. Dabei stimmt auch die Besetzung der Cluster mit den 50 in beiden Fällen berücksichtigten Fachbereichen weitgehend überein. Lediglich die neun Fachbereiche der Teilgruppe B1, die sich in der Ausgangslösung von den anderen Fachbereichen des Clusters B durch relativ hohe Publikations- und Promotionseffektivitäten abgrenzen, werden nicht mit diesen, sondern mit den nach der Eliminierung der potenziellen Ausreißer fünf verbleibenden Fachbereichen des Clusters A gruppiert, allerdings erst auf der vorletzten Clusterstufe und mit einem relativ hohen Heterogenitätsindex. Mit Blick auf die Teilgruppe A2 der Ausgangslösung, deren drei Fachbereiche (F22, F47 und F57) zu den potenziellen Ausreißern zählen

529

Für die Analyse der im Folgenden vorgestellten Ergebnisse wurden die Indikatorenausprägungen der 50 bzw. 51 betrachteten Fachbereiche neu durch Division des dann jeweils maximalen Werts auf das Intervall [0;1] normiert.

234

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

und die daher in der Vergleichsanalyse nicht enthalten sind, sowie die bereits herausgestellte Ähnlichkeit zwischen den Profilen der Teilgruppen A1 und B1 ist diese Abweichung von der Referenzlösung gut nachvollziehbar. Insgesamt lassen sich die unter Ausschluss der potenziellen Fachbereiche gebildeten zwei Gruppen wie die beiden Referenzcluster gut anhand ihrer Leistungsniveaus unterscheiden. Unter Ausschluss der vier betriebswirtschaftlichen Fachbereiche, die als potenzielle Ausreißer hinsichtlich ihrer Effizienzgrade identifiziert wurden und sich in den Referenzclustern C (F62) bzw. D (F12, F47 und F50) befinden, lässt sich analog zur vollständigen Objektmenge eine Partition mit drei Effizienzgruppen begründen. Im Vergleich zur Ausgangslösung sind auch die Gruppenzusammensetzungen der 51 betrachteten Fachbereiche weitgehend identisch. Unterschiede bestehen in der Zuordnung von sechs Fachbereichen und betreffen insbesondere das drittmittelorientierte Referenzcluster D. So fallen aus diesem nicht nur die drei darin enthaltenen potenziellen Ausreißer heraus, sondern auch drei weitere Fachbereiche, die mit den verbleibenden Fachbereichen des Referenzclusters C gruppiert werden. Außerdem kommen drei Fachbereiche aus dem Referenzcluster E zum Cluster D hinzu. Insgesamt ergeben sich bei Eliminierung der potenziellen Ausreißer trotz der von der Ausgangslösung teilweise abweichenden Fachbereichsgruppierung analoge Forschungstypen. Während sich die dem Referenzcluster C entsprechende Gruppe durch hohe Publikations- und Promotionseffizienzen und das modifizierte Cluster D durch hohe Drittmitteleffizienzen auszeichnen, weist das dritte, der Gruppe E entsprechende Cluster wiederum bei keinem Effizienzindikator herausragende Leistungen auf. Es bleibt festzuhalten, dass die in Abschnitt 6.2.2.2 unter Verwendung des kompletten Datensatzes gebildeten Gruppen insofern ausreißerresistent sind, als sich die ermittelten Clusterstrukturen auch ohne die potenziellen Ausreißerfachbereiche herauskristallisieren.

6.2.2.4 Diskussion der Ergebnisse Die identifizierten Forschungsprofile bestätigen noch einmal wie in Abschnitt 6.1 herausgestellt, dass eine ausschließlich auf die Effektivität der Fachbereiche fokussierte Performancemessung zu einem verzerrten Bild der Forschungsleistungen betriebswirtschaftlicher Fachbereiche und daher zu falschen Entscheidungen führen kann. Es erscheint folglich essenziell, die von den Fachbereichen erbrachten absoluten Forschungsleistungen immer auch im Lichte ihrer Produktionsbedingungen zu betrachten, sie insbesondere durch die personelle Größe der Fachbereiche zu relativieren. Die Profile, insbesondere diejenigen der Effizienzen sind außerdem konform zu der in Abschnitt 6.2.1 gewonnenen Erkenntnis, dass Publikationen und Promotionen in der BWL rela-

Abschnitt 6.3: Reputation im Zusammenhang mit den Faktenindikatoren

235

tiv stark positiv miteinander korrelieren und sie weniger mit Drittmitteln zusammenhängen – zumindest soweit sie über die hier betrachteten Indikatoren erfasst sind. Dies legt nahe, eine Performancemessung der betriebswirtschaftlichen Forschung auf mehrere Indikatoren zu stützen und nicht wie so häufig ausschließlich auf ein Leistungskriterium zu beschränken. Die herausgestellten Stärken einzelner Fachbereichsgruppen könnten Ausdruck einer Profilbildung durch Konzentration auf Kernkompetenzen in der Forschung sein. Dass dagegen zahlreiche Fachbereiche keine besonderen Leistungen vorzeigen können, sondern sie relativ homogen im unteren Bewertungsbereich aller Kriterien angesiedelt sind, weist nicht zwangsläufig auf eine geringere Leistungsfähigkeit hin. Es bleibt zu untersuchen, ob diese Fachbereiche durch ein anderes, zum Beispiel stärker lehrorientiertes Aktivitätsprofil gekennzeichnet sind als diejenigen, die sich hier als publikations- und promotions- oder drittmittelstark bewiesen haben. Wenn die Fachbereiche der einzelnen Gruppen unterschiedliche Forschungsziele verfolgen, wäre es im Übrigen nicht fair, ihre wissenschaftlichen Leistungen ohne Hinweise auf die für die Forschungsperformance bedeutsamen Unterschiede gegenüberzustellen. Wohl könnte aber eine sinnvolle Performancemessung innerhalb der Gruppen erfolgen, sodass es zum Beispiel den Fachbereichen möglich wäre, im Kontext ihrer individuellen Ziele zu ihnen passende Benchmarkingpartner auszumachen und aus einem Vergleich mit diesen geeignete Schlüsse sowie Konsequenzen zu ziehen.

6.3

Reputation im Zusammenhang mit den Faktenindikatoren

In Erweiterung der intensiven, aber bisher ausschließlich auf Fakten bezogenen Auseinandersetzung mit der Forschungsleistung betriebswirtschaftlicher Fachbereiche folgt nun eine Analyse zu deren Forschungsreputation. Untersucht wird insbesondere, inwieweit die mittels Publikationen, Promotionen sowie Drittmittel gemessene Performance der Fachbereiche auf der einen und ihr wissenschaftliches Ansehen auf der anderen Seite harmonieren. Basis für die Reputation sind die vom CHE im Rahmen der Professorenumfrage des Jahres 2004 für das Forschungs- bzw. das übergreifende Hochschulranking BWL 2005 ermittelten Werte, also die Anteile der Professorennennungen pro Fachbereich.530 Abbildung 6-9 zeigt die Verteilung dieser Werte in einem Histogramm, bestehend aus fünf Klassen mit einer Breite von je 5 %-Punkten.

530

Siehe die letzte Spalte der Tabelle A-1 im Anhang, in der wie im CHE-Forschungsranking nur Werte ≥ 1 % ausgewiesen sind. Zur Konstruktion des Reputationsindikators vgl. Abschnitt 5.3.3.4.

236

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

60

58

# Fachbereiche (n = 63)

50

40

30

20

10 2

2

5-10

10-15

0

1

15-20

20-25

0 0-5

Reputation [%]

Abbildung 6-9: Histogramm zur Reputation

531

Das Histogramm spiegelt wider, dass die Forschungsreputation in der BWL nicht gleichmäßig auf die Fachbereiche verteilt ist, sondern fünf Fachbereiche ein besonders hohes Ansehen in der Professorenschaft genießen.532 Davon tritt ein Fachbereich (F44) besonders hervor. Auf ihn kommt mit 21,2 % der größte Anteil der Nennungen, womit er sich deutlich von dem mit 14,6 % am zweithäufigsten genannten Fachbereich (F46) sowie noch klarer von den dritt-, viert- und fünftplatzierten Fachbereichen (F37, F48 bzw. F22) mit Anteilen von 10,8 %, 9,1 % bzw. 8,9 % abhebt. Da der Reputationsindikator des CHE-Forschungsrankings BWL 2005 – wie in Abschnitt 5.3.3.4 dargelegt wurde – nur zur Identifizierung hoch reputierter Fachbereiche, aber nicht zur Differenzierung zwischen sämtlichen Fachbereichen geeignet erscheint, werden im Folgenden die der untersten Klasse zugeordneten 58 Fachbereiche in den Hintergrund gestellt und die Auswertungen zu den Zusammenhängen zwischen der Reputation und der faktenbezogenen Forschungsperformance auf die fünf am höchsten reputierten Fachbereiche fokussiert. In diesem Sinne illustriert Abbildung 6-10 anhand der bereits aus Abbildung 6-1 bekannten Diagramme, wie die hier im Mittelpunkt stehenden fünf Fachbereiche personell ausgestattet sind und sich bei den einzelnen Leistungskriterien hinsichtlich ihrer Effektivität und Effizienz im Vergleich zu den anderen Fachbereichen positionieren. Für den genannten Performance-

531 532

Die genaue Klasseneinteilung lautet: [0;5], (5;10], ..., (20;25]. Diese fünf Fachbereiche bilden im CHE-Forschungsranking BWL 2005 die Reputationsspitzengruppe (vgl. Tabelle 5-1 bzw. Berghoff et al. (2008a), S. E-14, wo allerdings ein weiterer Fachbereich entgegen der Gruppierungsregeln des CHE als zur Spitzengruppe gehörig gekennzeichnet ist). Sie stehen auch in den CHE-Forschungsrankings BWL 2002 und 2008 beim jeweiligen Reputationsindikator auf den fünf ersten Rängen (vgl. Berghoff et al. (2002a), S. 31, und Berghoff et al. (2008c), S. D-16).

Abschnitt 6.3: Reputation im Zusammenhang mit den Faktenindikatoren

237

vergleich wird der Blick insbesondere auf die durch die Rechtecke bzw. Kegel markierten Bereiche, in denen die partiellen Effektivitäts- bzw. Effizienzwerte der jeweils besten gerankten Fachbereiche liegen, gerichtet. Sie basieren wie in Abbildung 6-1 auf denjenigen Fachbereichen, die zusammen 50 % der gesamten Publikations-, Promotions- bzw. Drittmittelleistungen auf sich vereinen bzw. die 25 % der jeweils berücksichtigten Fachbereiche mit den höchsten Effizienzwerten ausmachen.

Publikationen (PP)

Promotionen (#)

Drittmittel (T€)

250

30

4000

F46

F44

200

25

F48

F37

3000 20

150

F44 F46

F48 F22

F22

15

F37

10

20

2000

15

10

Professoren (Namen)

5

0

F46

1000

F37 5

0 25

F44

100

50

30

F22

F48

0 30

25

20

15

10

Professoren (Stellen)

5

0

0 120

100

80

60

40

20

0

Wissenschaftler (Stellen)

Abbildung 6-10: Daten der fünf Fachbereiche des CHE-Forschungsrankings BWL 2005 mit den höchsten Reputationswerten533

Zunächst ist mit Bezug auf die Ergebnisse der Untersuchungen zum wissenschaftlichen Personal in Abschnitt 6.1.2 festzuhalten, dass die Fachbereiche mit den fünf höchsten Reputationswerten recht personalstark sind. Vier von ihnen (F22, F37, F44 und F46) zeichnen sich durch die größte Menge besetzter Stellen für betriebswirtschaftlich forschende Mitarbeiter sowie Wissenschaftler insgesamt aus – die entsprechenden Werte liegen bei mindestens 66,0 bzw. 84,2. Einer von diesen vieren (F22) zählt außerdem mit 27,3 die meisten besetzten Professorenstellen (und gab mit 27 Namen nur einen BWL-Professor weniger an als der in dieser Hinsicht größte, nicht hoch reputierte Fachbereich). Auf die anderen drei Fachbereiche mit den meisten besetzten Mitarbeiter- und Wissenschaftlerstellen kommen immerhin 16,0 bis 17,3 besetzte Professorenstellen, womit sie zu den neun größten der 56 stellenmäßig erfassten Fachbereiche gehören (mit ihren 15 bis 20 namentlich erhobenen Professoren zählen sie zudem zu den neunzehn größten der 62 in dieser Hinsicht erfassten Fachbereiche). Der weitere hoch reputierte Fachbereich (F48) ist gemessen an den besetzten Personalstellen mit 13,0 für Professoren und 48,0 für Mitarbeiter zwar kleiner als die anderen vier,

533

PP: Publikationspunkte, #: Anzahl, T€: Tausend Euro.

238

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

aber immer noch größer als die BWL-Fachbereiche im Durchschnitt (11,0 für Professoren und 30,8 für Mitarbeiter – andererseits wurden für ihn namentlich 21 Professoren erfasst, sodass er in dieser Hinsicht den insgesamt viertgrößten Fachbereich darstellt). Anzumerken ist des Weiteren, dass vier hoch reputierte Fachbereiche ein überdurchschnittliches Mitarbeiter-Professoren-Verhältnis (im Bereich von 3,7 bis 5,3) haben. Nur F22 liegt mit seinem Wert von 2,4 unter dem arithmetischen Mittel von 2,7. Insgesamt kann folglich mit Blick auf die prinzipiell höhere Bekanntheit personalstarker Fachbereiche davon ausgegangen werden, dass die hier betrachteten fünf BWL-Fachbereiche bei der Reputationsbewertung von ihrer Größe profitiert haben. Für die partiellen Effektivitäten ist an den Diagrammen der Abbildung 6-10 zu erkennen, dass alle fünf in der Forschung besonders angesehenen Fachbereiche zu den jeweils publikations- und promotionsstärkeren gehören, außerdem vier von ihnen (F22, F37, F44, F46) vergleichsweise hohe absolute Drittmittelleistungen erbringen. Bei den Publikations- und Promotionseffizienzen positionieren sich dagegen lediglich drei bzw. vier Fachbereiche (F44, F46, F48 bzw. F37, F44, F46, F48) auf den oberen Rängen und sogar nur ein Fachbereich (F22) nimmt beim Drittmittelkriterium einen dieser Effizienzplätze – und zwar den letzten – ein. Darüber hinaus wird aus einer kriterienweisen Gegenüberstellung der Effektivitäts- und Effizienzrangplätze der hoch reputierten Fachbereiche ersichtlich, dass sie sich – mit einer auf die Promotionen bezogenen Ausnahme (F48) – absolut mindestens so gut wie relativ positionieren. Dies deutet darauf hin, dass diese Fachbereiche die hohe Reputation eher ihrer gesamten Menge an publizierten Forschungsergebnissen, ausgebildeten Nachwuchswissenschaftlern und eingeworbenen Drittmitteln verdanken als ihrer jeweils pro Professor bzw. Wissenschaftler erbrachten Leistung. Trotz oftmals generell als wichtiger erachteter Effizienzbewertungen erscheint eine solch größere Bedeutung der Effektivität für die Reputationsbildung durchaus nachvollziehbar. Schließlich erweist sich die richtige Einschätzung der für die betriebswirtschaftliche Forschung maßgeblichen Größe der Fachbereiche – nicht zuletzt wegen deren organisatorischer Verflechtungen mit anderen Fächern534 – als schwierig. Anhand der Partialbetrachtungen kann vermutet werden, dass für das Forschungsrenommee in der BWL insbesondere Publikationen und Promotionen, weniger jedoch Drittmittel entscheidend sind. Die in Abschnitt 6.2.2 vorgestellten Clusteranalysen bestätigen dies insofern, als dass sich vier der fünf Fachbereiche (F37, F44, F46 und F48) in dem publikations- und promotionsstarken Effektivitätscluster A1 befinden und nur einer (F22) dem drittmittelorientierten Effektivitätscluster A2 angehört. Auch von der Effizienzgruppierung lässt sich auf eine

534

Siehe hierzu Abschnitt 5.2.2.

Abschnitt 6.3: Reputation im Zusammenhang mit den Faktenindikatoren

239

geringere Relevanz der Drittmittel für die Reputationsbildung schließen. Von den eben erstgenannten vier Fachbereichen sind jeweils zwei Bestandteil des Clusters C1 mit hohen Publikations- und Promotionswerten (F44 und F46) bzw. des Clusters C2 mit mittleren Publikations- und hohen Promotionswerten (F37 und F48). Außerdem gehört der drittmittelorientierte Fachbereich (F22) zum Cluster E2, das durch geringe Effizienzwerte in allen Leistungskriterien, also auch bei den Drittmitteln, gekennzeichnet ist. Eine solche für die Reputation im Vergleich zu Publikationen und Promotionen geringere Bedeutung von Drittmitteln könnte mit der geringen Transparenz Letzterer zusammenhängen. So begegnen die in die Reputationsbefragung einbezogenen Professoren im Alltag eher dem von ihren betriebswirtschaftlich forschenden Kollegen und dem von diesen geförderten Nachwuchswissenschaftlern in der Fachliteratur verbreiteten Wissen, als dass sie auf Informationen zu deren Drittmittelprojekten stoßen. Begründen ließen sich die herausgestellten Differenzen in der Bedeutung der Leistungskriterien für die Reputationsbildung aber auch mit einer geringen Wertschätzung von Drittmittelprojekten als Indikator für die Performance in der betriebswirtschaftlichen Forschung. Dies würde bedeuten, dass die Meinungen der Professoren vielmehr an den tatsächlich erbrachten als an noch zu leistenden Forschungserkenntnissen orientiert sind, Drittmittel also von betriebswirtschaftlich forschenden Professoren eher als Input- und weniger als Outcomeindikator angesehen werden.535 Um bei der Reputationsanalyse auch die zwischen den drei Leistungskriterien bestehenden Bewertungsdifferenzen zu berücksichtigen, wird nun untersucht, wie sich die in der betriebswirtschaftlichen Forschung angesehensten Fachbereiche unter Berücksichtigung aller Kriterien in der Menge der 55 Fachbereiche mit vollständigen Daten positionieren. Dafür werden in Abbildung 6-11 die mittels NACHE-Methodik ermittelten totalen Effektivitäts- und Effizienzwerte536 gegenübergestellt.

535 536

Siehe hierzu Abschnitt 4.2.1. Siehe Tabelle A-2 im Anhang und zur Berechnung Abschnitt 6.1.4.

240

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

100% 100 %

Totale Effizienz

80% 80 %

60% 60 %

F44

F48

F46

Fachbereiche mit

F37

40% 40 %

Reputationswert größer als 5 %

F22

Reputationswert von mindestens 1 % und maximal 5 %

20% 20 %

Reputationswert kleiner als 1 %

0% 0% 00% %

20 % 20%

40 % 40%

60 % 60%

80 % 80%

100 % 100%

Totale Effektivität

Abbildung 6-11: Reputation im Zusammenhang mit totalen Effektivitäten und Effizienzen

Es wird transparent, dass die fünf reputationsstärksten Fachbereiche zu den insgesamt effektivsten, aber nicht alle von ihnen zu den effizientesten gehören. Sie platzieren sich unter den bereits im Abschnitt 6.1.4 hervorgehobenen neun Fachbereichen mit totalen Effektivitätswerten über 50 % und nehmen bei den totalen Effizienzen mit Werten zwischen 31 % und 57 % Ränge zwischen 4 und 35 ein. Dass hohe absolute und natürlich auch hohe relative Publikations-, Promotions- bzw. Drittmittelleistungen für das Ansehen der betriebswirtschaftlichen Forschung förderlich sein können, wird auch durch die Reputationswerte anderer Fachbereiche unterstützt. So weisen zum Beispiel drei weitere besonders effektive Fachbereiche (F47, F57 und F62), die zugleich recht effizient sind, immerhin Reputationswerte von 1,4 % bis 2,1 % auf, wohingegen diese Werte bei 42 der hier betrachteten 55 Fachbereiche unter 1,0 % liegen. Andererseits ist festzustellen, dass grundsätzlich weder hohe absolute noch hohe relative Publikations-, Promotions- oder Drittmittelleistungen für eine gewisse Forschungsreputation notwendig sind. Zwei Fachbereiche erreichen sogar entgegen totaler Effektivitäts- und Effizienzwerte von maximal 25 % einen Reputationswert von 3,3 % (F36) bzw. 5,0 % (F7). Daran wird offensichtlich, dass sich die Forschungsreputation betriebswirtschaftlicher Fachbereiche nicht ausschließlich auf die hier betrachteten Leistungsindikatoren zurückführen lässt. Vielmehr kann sie zum Beispiel auch geprägt sein von durch die Indikatoren nicht hinreichend oder gar nicht abgedeckten Leistungsaspekten, etwa von internationalen Publikationen bzw. Zitationen und Forschungspreisen, sowie von verzerrenden Phänomenen, wie dem Matthäus-Effekt.537 Außerdem sind Differenzen zwischen der Reputation und den Faktenindikatoren möglicherweise

537

Vgl. Abschnitt 4.3.5.

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

241

auf den hinsichtlich der Leistungserbringung größeren Zeitverzug und die Trägheit der Reputation zurückzuführen, sodass etwaige Performanceveränderungen einzelner betriebswirtschaftlicher Fachbereiche im Vergleich zur Gesamtheit bis zum Erhebungszeitpunkt der Reputation noch nicht hinreichend von der Professorenschaft wahrgenommen werden konnten bzw. wurden.

Analyse der Produktionsfunktion betriebswirtschaftlicher Fachbereiche538

6.4 6.4.1

Konzeption der Untersuchung

Die vom CHE zur Forschung betriebswirtschaftlicher Fachbereiche erhobenen Daten repräsentieren aus produktionstheoretischer Sicht eine Technologie, deren effizienter Rand eine empirische Produktionsfunktion darstellt. Im Folgenden wird untersucht, welche Skalenertragseigenschaften diese Produktionsfunktion aufweist. Wie im Abschnitt 3.2.2.2.1 allgemein dargelegt, gibt eine derartige Analyse Aufschluss über die optimale Größe einer Hochschule oder ihrer Einrichtungen und sie ist wesentlich für ein auf die Effizienzdimension der Performance bezogenes Benchmarking solcher wissenschaftlichen Einrichtungen, die unterschiedlich groß sind. Eine aktuelle Untersuchung zur empirischen Produktionsfunktion betriebswirtschaftlicher Forschung deutscher Universitäten und insbesondere zu ihren Skalenertragseigenschaften gibt es nicht.539 Wohl haben AHN, DYCKHOFF und GILLES bereits im Rahmen ihres Vergleichs von Rankingmethoden in einem Nebenresultat ihrer Analysen näherungsweise konstante Skalenerträge beobachtet,540 der von ihnen illustrativ verwendete Datensatz des ersten CHE-Forschungsrankings der BWL von 2002 ist allerdings nicht unproblematisch, sodass das Ergebnis nicht überbewertet werden darf. Es bietet sich daher an, auf die – dank der verbesserten Indikatorenkonstruktion und Erhebungsmethodik541 – aussagekräftigeren Daten des CHE-Forschungsrankings der BWL aus dem Jahr 2005542 zurückzugreifen.543 Ein Maß für die Art und die Stärke von Skalenerträgen ist die Skalenelastizität. Bei einem einzigen Output misst sie als marginale Größe, das heißt als Grenzwert, bekanntlich, um wie viel Prozent der Output steigt, wenn alle Inputs proportional um ein Prozent erhöht werden.

538

539 540 541 542 543

Dieser Abschnitt orientiert sich an Dyckhoff/Rassenhövel/Sandfort (2009). Seine Hauptaussage ist auch in Dyckhoff et al. (2008) dokumentiert. Zu bisherigen Untersuchungen für die Wirtschafts- und Sozialwissenschaften vgl. Abschnitt 3.2.2.2.1. Vgl. Ahn/Dyckhoff/Gilles (2007), S. 631. Siehe Kapitel 5. Vgl. Tabelle A-1 im Anhang. Es sei noch einmal – wie bereits in Abschnitt 5.1 – darauf hingewiesen, dass mittlerweile zwar ein aktuelleres CHE-Forschungsranking der BWL aus dem Jahre 2008 mit weiter verbesserter Datengrundlage existiert (siehe Abschnitt 5.5), dieses allerdings erst nach Beginn der in dieser Arbeit präsentierten Untersuchungen erschienen ist.

242

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Bei einer zweidimensionalen Technologie mit einem Output und nur einem Input ist die Skalenelastizität identisch mit der Produktionselastizität des Inputs. PANZAR und WILLIG (1977) haben die Definition der Skalenelastizität zwar auch auf den Fall von Technologien mit mehreren Outputs (und Inputs) verallgemeinert, jedoch erweist sich die Berechnung als schwierig, wenn keine (differenzierbare, implizite) Produktionsfunktion bekannt ist. Deshalb wird zur rechnerischen Ermittlung der Skalenerträge einer Produktionsfunktion im Rahmen der Data Envelopment Analysis (DEA)544 üblicherweise die sogenannte Skaleneffizienz ermittelt,545 aus der sich unmittelbar schließen lässt, wie variabel (oder konstant) die Skalenerträge sind (Stärke der Skalenerträge); in Verbindung mit anderen Informationen kann darüber hinaus auch festgestellt werden, ob variable Skalenerträge ab- oder zunehmen (Art der Skalenerträge).546 Um die DEA zur Ermittlung der Skalenerträge betriebswirtschaftlicher Forschung auf den vorliegenden, mehrere Inputs und Outputs umfassenden Datensatz des CHE anwenden zu können, ist es erforderlich, diese Daten DEA-konform aufzubereiten. Denn wenn es auch bei der Bildung der einzelnen CHE-Indikatoren sinnvoll gewesen sein mag, verschiedene Professorenzahlen (Namen und besetzte Stellen) zu verwenden,547 so erscheint es für die hier vorgestellten Untersuchungen plausibler, von einheitlichen Personaleinsatzgrößen auszugehen, die zudem auf nahezu identischen Erhebungszeiträumen wie die Leistungsgrößen beruhen. Nachfolgend werden deshalb die mit Professoren und Mitarbeitern besetzten Stellen (PROFS bzw. WMAS) bzw. deren Summen (WISSS) verwendet. Um gleichzeitig die relative Publikationsperformance der Fachbereiche beizubehalten, werden die auf die Anzahl der Professorennamen bezogenen Publikationspunkte proportional an die stellenbezogene Professorenzahl angepasst. Die so erfolgte Korrektur um den Faktor „Anzahl der besetzten Professorenstellen (Durchschnitt der Jahresendwerte von 2001 bis 2003) pro Anzahl der Professorennamen (gemäß Stichtag 31. Mai 2004)“ führt zu modifizierten Publikationspunkten (PUBLm).548

544

545 546

547 548

Zum aktuellen Stand der Methodik siehe die Einführung und den Literaturüberblick von Sueyoshi/Sekitani (2007). Ein lesenswerter Einblick in verschiedene Methoden zur Schätzung von Skalenerträgen mittels DEA stammt von Löthgren/Tambour (1996). Vgl. beispielsweise Cooper/Seiford/Tone (2006), S. 140ff. Einen stärkeren Einsatz der DEA bei der Bestimmung des Einflusses der Größe wissenschaftlicher Einrichtungen auf die Forschungsperformance fordern von Tunzelmann et al. (2003), S. 16. Zur Konstruktion der Indikatoren siehe Abschnitt 5.3.3. Die Modifikation der erhobenen Daten ist sicherlich nicht unproblematisch, weil sie eine einheitliche Publikationsproduktivität aller Professoren eines Fachbereichs unterstellt. Legt man deshalb den nachfolgenden Analysen stattdessen die originalen CHE-Publikationspunkte zugrunde, so hat dies jedoch keine wesentlichen Folgen für die gewonnenen Erkenntnisse im Hinblick auf die Skaleneigenschaften der Technologie, allerdings wohl hinsichtlich der Effizienz einzelner Fachbereiche (siehe auch Abschnitt 6.4.4.2).

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

243

Mittels der beschriebenen Vorgehensweise ergibt sich der in Tabelle 6-7 aufgeführte fünfdimensionale Datensatz mit den durchschnittlichen jährlichen Kennzahlen für die 63 betrachteten Fachbereiche (FB) als Produktiveinheiten. Er beinhaltet als Aufwendungen („Input“)549 die stellenbezogenen Personaldaten, also die Zahlen der mit Professoren und mit Wissenschaftlichen Mitarbeitern besetzten Stellen,550 sowie als jährliche Erträge („Output“) die modifizierten Publikationspunkte, die Promotionen und die Drittmittelausgaben (in T€). Tabelle 6-7: Datensatz für die Analyse der Produktionsfunktion betriebswirtschaftlicher Fachbereiche Aufwand

Ertrag

Aufwand

Ertrag

Aufwand

FB

FB PROFS WMAS PUBLm PROM

DM

Ertrag

FB PROFS WMAS PUBLm PROM

DM

PROFS WMAS PUBLm PROM

DM

F1

8,0

23,7

36

9,7

634

F22

27,3

66,0

93

17,3

2533

F43

8,0

23,0

35

12,0

288

F2

14,0

57,0

113

16,3

275

F23

9,0

22,3

20

8,0

1184

F44

16,0

84,8

127

25,0

2193

F3

9,0

22,1

28

8,0

345

F24

9,0

14,5

34

9,0

339

F45

10,3

20,3

45

9,7

377

F4

10,0

29,0

46

12,7

512

F25

7,3

22,7

47

6,0

37

F46

17,3

91,0

166

25,7

1363 3562

F5

7,3

2,3

23

–

50

F26

10,0

33,5

34

18,0

721

F47

12,0

35,3

61

12,7

F6

14,0

28,0

114

11,0

436

F27

9,8

13,8

44

4,7

689

F48

13,0

48,0

86

25,0

643

F7

11,0

32,0

19

6,0

837

F28

8,3

21,3

38

3,7

354

F49

17,0

47,3

105

19,7

996

F8

9,7

27,0

63

15,3

160

F29

–

–

–

–

–

F50

14,3

21,3

27

12,3

2343

F9

6,0

16,0

21

3,3

19

F30

13,3

59,2

68

13,7

455

F51

8,0

15,3

21

2,7

479

F10

–

–

–

–

–

F31

–

–

–

–

–

F52

8,2

14,3

32

6,0

474

F11

–

–

–

–

–

F32

11,7

24,3

56

13,0

1435

F53

10,7

35,4

44

7,3

721

F12

6,0

2,7

11

0,3

532

F33

14,0

41,0

43

5,7

765

F54

6,0

13,0

34

5,3

97

F13

8,0

23,0

54

8,3

884

F34

8,0

24,8

31

4,0

541

F55

9,0

27,0

64

13,3

334

F14

8,0

26,0

23

9,0

229

F35

–

–

–

–

–

F56

9,0

24,8

42

7,7

105

F15

9,3

27,7

70

6,3

1496

F36

8,0

13,3

40

4,7

113

F57

17,2

61,2

142

16,7

2232

F16

20,3

47,7

135

15,3

523

F37

17,0

67,2

104

23,7

1077

F58

16,3

14,9

37

3,0

305

F17

10,3

22,7

53

3,3

59

F38

–

–

–

–

–

F59

7,3

17,0

73

11,0

727

F18

16,7

32,0

90

14,7

409

F39

7,8

21,2

30

5,0

972

F60

9,0

25,5

38

8,0

1408

F19

14,3

61,5

108

13,3

604

F40

11,3

17,7

19

9,7

437

F61

8,0

20,3

39

6,0

268

F20

9,0

38,0

34

6,3

951

F41

–

–

–

–

–

F62

14,3

47,3

196

20,0

292

F21

6,0

5,0

9

3,0

467

F42

9,7

32,0

25

4,7

433

F63

6,0

18,5

28

8,0

518

Für die produktionstheoretische Analyse des so bestimmten Datensatzes der Tabelle 6-7 wird von folgenden Untersuchungsprämissen ausgegangen (die später in Abschnitt 6.4.4 kritisch diskutiert werden): •

Die betrachteten Fachbereiche werden als vergleichbar angesehen (keine untypischen Objekte).

549

550

Zwar wird im Kontext der DEA regelmäßig von Inputs und Outputs gesprochen, es erscheint aber (nicht nur) bei Effizienzanalysen treffender, deren zielbezogene Wertung (Aufwand oder Ertrag) zum Ausdruck zu bringen (vgl. Abschnitt 2.2.1.2 und Dyckhoff/Gilles (2004), S. 774). So werden hier die Drittmittel als Indikator für (vergangene und zukünftige) Forschungsleistungen benutzt, also als Ertrag gewertet, obwohl sie als „Mittel“ namentlich ein Input sind. Wenn im Folgenden von Professoren, Wissenschaftlichen Mitarbeitern oder Wissenschaftlern gesprochen wird, sind damit die jeweils besetzten Stellen gemeint.

244

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

•

Die Daten werden als deterministisch (vernachlässigbares „Rauschen“) und unverzerrt

•

Alle Konvexkombinationen von Datenpunkten bilden (fiktive, aber realisierbare) Aktivitä-

(keine systematischen Fehler) angenommen.

ten virtueller Fachbereiche, die auch zur Technologie betriebswirtschaftlicher Forschung gehören. Die dritte Prämisse entspricht einer Datenumhüllung („data envelopment“) der beobachteten Datenpunkte. Der effiziente Rand dieses (hier fünfdimensionalen) konvexen Polyeders bildet die „empirical production frontier“ (auch „best practice production frontier“ genannt) und wird durch ihre empirische Produktionsfunktion beschrieben.551 Obwohl hier im primären Interesse die Skalenertragseigenschaften dieser, aus dem fünfdimensionalen Datensatz gebildeten Produktionsfunktion stehen, werden im Folgenden auch verschiedene zweidimensionale Analysen durchgeführt, zum einen um eine bessere Vergleichbarkeit der Ergebnisse mit früheren (in Abschnitt 3.2.2.2.1 erwähnten) empirischen Untersuchungen der Wirtschaftswissenschaften herzustellen und vor allem um den mit den produktionstheoretischen Grundlagen sowie der DEA nicht vertrauten Leser zweidimensional und auch grafisch in die verwendete Methodik einzuführen. Dafür werden im nächsten Abschnitt nach einer Betrachtung partieller Effizienzen sowohl Skalenelastizitäten als auch Skaleneffizienzen bestimmt. Erst in dem sich daran anschließenden Abschnitt 6.4.3 erfolgt eine fünfdimensionale Totalanalyse, die sich ausschließlich den mittels DEA berechneten Skaleneffizienzen widmet.552 Die Robustheit des Befunds wird in Abschnitt 6.4.4 diskutiert bevor in Abschnitt 6.4.5 mögliche Schlüsse auf die tatsächlichen Forschungsverhältnisse an den deutschen Fachbereichen und auf etwaige Verbesserungsmöglichkeiten erörtert werden.

6.4.2

Partialanalysen

6.4.2.1 Partielle Effizienzen Wie in Abschnitt 3.2.2.2.1 dargelegt, ist es bei zweidimensionalen Analysen der Forschungseffizienz in der Literatur üblich, die Zahl der Publikationen ins Verhältnis zur Zahl beschäftigter Wissenschaftler zu setzen, hier also zur Summe der Zahlen an besetzten Professorenund Mitarbeiterstellen (gemäß den Spalten 2 und 3 der Tabelle 6-7).553 Außer der Publikati-

551

552

553

Es wird also nicht a priori ein (parametrisch) bestimmter Produktionsfunktionstyp angenommen. Letztes ist bei der Stochastic Frontier Analysis (SFA) der Fall, die dafür allerdings besser mit zufälligen Streuungen der Daten umgehen kann als die (deterministische) DEA. Aus Platzgründen und wegen der inzwischen starken Verbreitung der DEA erfolgt hier keine formale Einführung; stattdessen sei auf die einschlägige Literatur (siehe Fußnote 173) verwiesen. Bzw. Spalte 5 der Tabelle A-1 des Anhangs, welche auf den ungerundeten Personalzahlen beruht und die Grundlage für die folgenden Aussagen bezüglich der Wissenschaftler insgesamt bildet.

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

245

onseffizienz lassen die CHE-Daten der Tabelle 6-7 auch noch entsprechende Partialanalysen der Promotions- und der Drittmitteleffizienz zu. Die jeweilige Produktivität gibt als Quotient aus „Output“ und „Input“ den durchschnittlichen Forschungsertrag eines Wissenschaftlers des betrachteten Fachbereichs im Hinblick auf das zugrunde gelegte Leistungskriterium an. Die folgende Tabelle 6-8 zeigt für jedes der drei Kriterien der Tabelle 6-7 statistische Kennzahlen für die so definierten – im Gegensatz zu den vorangehenden Abschnitten nicht normierten – partiellen Effizienzen, soweit für die Fachbereiche Daten vorliegen, nämlich jeweils die maximale, die minimale, die mittlere (Median) und die durchschnittliche (arithmetisches Mittel) Effizienz sowie ihre Standardabweichung in der Menge der Fachbereiche. Tabelle 6-8: Statistische Parameter der partiellen Effizienzen

Effizienz

PUBLm pro WISSS

PROM pro WISSS

554

DM pro WISSS

Anzahl Fachbereiche

56

55

56

Maximum

3,2

0,45

75,3

Minimum

0,5

0,04

0,9

Median

1,3

0,25

13,5

Arithmetisches Mittel

1,4

0,25

18,7

Standardabweichung

0,6

0,10

15,9

Demnach gibt es bei allen drei Kriterien große fachbereichsspezifische Unterschiede in der Effizienz der Wissenschaftler, wobei die Drittmittel relativ am stärksten streuen. Dies illustriert auch die Abbildung 6-12. Sie zeigt in drei Diagrammen analog zu Abbildung 6-1 die einzelnen zweidimensionalen Datenpunkte gemäß den Werten der Tabelle 6-7. Während die Achsen und Datenpunkte des rechten Diagramms der Abbildung 6-12 identisch mit denen der Abbildung 6-1 sind, indem sie die Drittmittelausgaben der Fachbereiche in Relation zur Zahl beschäftigter Wissenschaftler darstellen, unterscheidet sich das mittlere Diagramm in der Abszisse (Wissenschaftler statt Professoren) bei gleicher Ordinate (Promotionen) und das linke in beiden Koordinatenachsen (Wissenschaftler statt namentlich benannter Professoren bzw. modifizierte Publikationspunkte). Außerdem fehlen einzelne Datenpunkte, wenn die Zahl der Professoren bzw. Wissenschaftlichen Mitarbeiter eines Fachbereichs nicht bekannt ist. Der Abbildung 6-12 liegen demnach nur 56 (links und rechts) bzw. 55 (Mitte) Fachbereiche zugrunde.

554

Die Angaben beziehen sich hier und im Folgenden – im Unterschied zu den im CHE-Forschungsranking BWL 2005 ausgewiesenen Werten (vgl. Abschnitt 5.1) – bei allen Indikatoren auf die durchschnittlichen Jahreswerte.

246

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Publikationen (PP)

Promotionen (#)

Drittmittel (T€)

250

30

4000

25

200

3000 20

150 2000

15

100 10 1000

50

5 0

0 120

100

80

60

40

20

Wissenschaftler (Stellen)

0

120

100

80

60

40

20

Wissenschaftler (Stellen)

0

0 120

100

80

60

40

20

0

Wissenschaftler (Stellen)

Abbildung 6-12: Zweidimensionale Teilproduktivitäten

6.4.2.2 Partielle (lokale) Skalenelastizitäten Der in jedem der drei Diagramme der Abbildung 6-12 eingezeichnete Strahl durch den Punkt mit der größten Steigung kennzeichnet den jeweils produktivsten Fachbereich. Würde die Forschungstechnologie deutscher betriebswirtschaftlicher Fachbereiche durchgehend konstante Skalenerträge hinsichtlich der drei durch das CHE definierten Ertragsarten aufweisen, wären alle Punkte des Strahls realisierbar und würden somit den publikations-, den promotions- bzw. den drittmitteleffizienten Rand der jeweiligen zweidimensionalen (empirischen) Technologie bilden. Die durch die Steigung des Strahls bestimmte maximale partielle Effizienz (siehe Zeile 2 der Tabelle 6-8) bildet dann einen Benchmark für alle anderen Fachbereiche mit geringeren partiellen Effizienzen. Welche Art und Stärke von Skalenerträgen vorliegt soll hier jedoch nicht angenommen, sondern vielmehr aus den beobachteten Daten abgeleitet werden. Ihre jeweilige zweidimensionale konvexe Hülle ist in jedem der drei Diagramme der Abbildung 6-12 als grau schattiertes Vieleck eingezeichnet. Der als Streckenzug im Nordosten liegende, hervorgehobene Rand kennzeichnet alle partiell effizienten Punkte, das heißt alle solchen Datenpunkte, welche bei Annahme einer konvexen Forschungstechnologie relativ zu den beobachteten Daten publikations-, promotions- bzw. drittmitteleffizient sind. Publikationseffizient sind demnach sämtliche Punkte auf dem durch die betreffenden Werte der Fachbereiche F05, F12, F59 und F62 gebildeten Streckenzug, während die auf dem durch F12, F21, F46, F48 und F59 gebildeten Streckenzug liegenden Punkte promotionseffizient sind und die drittmitteleffizienten auf der Strecke zwischen F12 und F47 liegen. Würde nun ein Teil des so bestimmten partiell effizienten Randes in einem der drei Diagramme auf dem Strahl mit der höchsten Partialeffizienz liegen, so lägen auf diesem Teil-

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

247

stück lokal konstante Skalenerträge bezüglich der zweidimensionalen Technologie vor: Eine entsprechend begrenzte Erhöhung (Senkung) der Zahl beschäftigter Wissenschaftler um x % würde dann den Ertrag an Publikationen, Promotionen bzw. Drittmitteln ebenfalls um x % erhöhen (senken). Wie die Abbildung 6-12 zeigt, liegt zwar kein Teilstück eines der drei Streckenzüge exakt auf dem Strahl, wohl aber liegen die effizienten Ränder im linken und rechten Diagramm streckenweise sehr dicht am Strahl höchster Produktivität, wobei die Skalenerträge leicht zunehmen. Die Skalenelastizität der Publikationen und der Drittmittel ist also im Bereich von etwa 10 bis 62 bzw. 9 bis 47 Wissenschaftlern etwas größer als eins. Für die Promotionen im mittleren Diagramm trifft das nicht so zu; hier sind die Skalenerträge zunächst stark, dann bis etwa 25 Wissenschaftler schwächer zunehmend, danach erst leicht und ab 61 Wissenschaftlern stark abnehmend. Die Tabelle 6-9 gibt die jeweiligen Erträge (Spalte 2) und Produktivitäten (Spalte 3), ihre Grenzproduktivitäten (Spalte 4) sowie die lokalen Skalenelastizitäten (Spalte 5) in diskreten Schritten von 5 Wissenschaftlern (Spalte 1) entlang des effizienten Streckenzugs für jede Ertragsart wieder. Wie zu sehen ist, hat die Skalenelastizität etwa den Wert eins, wenn der Streckenzug dicht bei dem Strahl maximaler Produktivität verläuft. Im Bereich von 25 bis etwa 50 Wissenschaftlern liegt sie bei allen drei Leistungsarten im Intervall von 0,85 bis 1,08. Tabelle 6-9: Entwicklung der partiellen Grenzproduktivitäten und Skalenelastizitäten auf den teileffizienten Rändern Publikationen (modifiziert)

WISSS

PUBLm

Promotionen

PUBLm Grenz- Skalenpro produk- elastizität WISSS tivität

WISSS

PROM

Drittmittel

PROM Grenz- Skalenpro produk- elastizität WISSS tivität

WISSS

DM

DM Grenz- Skalenpro produk- elastizität WISSS tivität

5,0

−

−

−

−

5,0

−

−

−

−

5,0

−

−

−

−

10,0

24

2,4

3,5

1,46

10,0

1,9

0,19

1,14

6,15

10,0

636

63,6

78,4

1,23

15,0

41

2,7

3,5

1,27

15,0

5,4

0,36

0,60

1,67

15,0

1028

68,5

78,4

1,14

20,0

58

2,9

3,5

1,19

20,0

8,4

0,42

0,60

1,43

20,0

1420

71,0

78,4

1,10

25,0

75

3,0

3,3

1,08

25,0

11,3

0,45

0,38

0,85

25,0

1812

72,5

78,4

1,08

30,0

92

3,1

3,3

1,07

30,0

13,2

0,44

0,38

0,87

30,0

2204

73,5

78,4

1,07

35,0

108

3,1

3,3

1,06

35,0

15,1

0,43

0,38

0,89

35,0

2596

74,2

78,4

1,06

40,0

125

3,1

3,3

1,05

40,0

17,0

0,42

0,38

0,90

40,0

2988

74,7

78,4

1,05 1,04

45,0

141

3,1

3,3

1,05

45,0

18,9

0,42

0,38

0,91

45,0

3379

75,1

78,4

50,0

157

3,1

3,3

1,04

50,0

20,8

0,42

0,38

0,92

50,0

−

−

−

−

55,0

174

3,2

3,3

1,04

55,0

22,7

0,41

0,38

0,92

55,0

−

−

−

−

60,0

190

3,2

3,3

1,03

60,0

24,6

0,41

0,38

0,93

60,0

−

−

−

−

65,0

−

−

−

−

65,0

25,1

0,39

0,01

0,04

65,0

−

−

−

−

70,0

−

−

−

−

70,0

25,1

0,36

0,01

0,04

70,0

−

−

−

−

75,0

−

−

−

−

75,0

25,2

0,34

0,01

0,04

75,0

−

−

−

−

80,0

−

−

−

−

80,0

25,3

0,32

0,01

0,04

80,0

−

−

−

−

85,0

−

−

−

−

85,0

25,3

0,30

0,01

0,05

85,0

−

−

−

−

90,0

−

−

−

−

90,0

25,4

0,28

0,01

0,05

90,0

−

−

−

−

95,0

−

−

−

−

95,0

25,5

0,27

0,01

0,05

95,0

−

−

−

−

100,0

−

−

−

−

100,0

25,5

0,26

0,01

0,06

100,0

−

−

−

−

105,0

−

−

−

−

105,0

25,6

0,24

0,01

0,06

105,0

−

−

−

−

110,0

−

−

−

−

110,0

−

−

−

−

110,0

−

−

−

−

248

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

6.4.2.3 Partielle Skaleneffizienzen Abbildung 6-13 zeigt vergrößert einen Ausschnitt des mittleren Diagramms der Abbildung 6-12 mit den Promotionszahlen der Fachbereiche in Relation zu ihrer Wissenschaftlerzahl. Es enthält den Datenpunkt des Fachbereichs F15 mit 6,3 Promotionen bei 37,0 Wissenschaftlern sowie die beiden zu den 55 Datenpunkten gehörigen zweidimensionalen empirischen Produktionsfunktionen, einmal mit konstanten Skalenerträgen (Strahl), zum anderen mit variablen Skalenerträgen (Streckenzug). Der Strahl entspricht dem effizienten Rand des (nach den DEA-Pionieren CHARNES, COOPER und RHODES555 benannten) CCR-Modells in Umhüllungsform, der Streckenzug demjenigen des entsprechenden (nach den Autoren BANKER,

CHARNES und COOPER556 benannten) BCC-Modells.

Promotionen (#) 20

15

10

F15

5

0 60

40

20

0

Wissenschaftler (Stellen) Abbildung 6-13: Zweidimensionale Illustration der Skaleneffizienz

Im Diagramm gehen vom Datenpunkt des Fachbereichs F15 waagerecht und senkrecht gestrichelte Linien zur BCC-Produktionsfunktion (Streckenzug), welche darüber hinaus durchgezogen bis zur CCR-Produktionsfunktion (Strahl) weiterreichen. Die waagerechte Entfernung des Punkts zum jeweiligen effizienten Rand gibt an, inwieweit der Aufwand bei gleichem Ertrag verringert werden kann, die senkrechte Entfernung, inwieweit der Ertrag bei gleichem Aufwand gesteigert werden kann.

555 556

Vgl. Charnes/Cooper/Rhodes (1978). Vgl. Banker/Charnes/Cooper (1984).

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

249

Für F15 ergibt sich nun der CCR-Effizienzgrad 38 % sowohl aus dem Verhältnis des effizienten Aufwands in Höhe von nur 13,9 Wissenschaftlern zum tatsächlichen Aufwand von 37,0 Wissenschaftlern (bei konstantem Ertrag von 6,3 Promotionen) als auch aus dem Verhältnis des realisierten Ertrags von 6,3 Promotionen zum effizienten Ertrag von 16,7 Promotionen (bei konstantem Einsatz von 37,0 Wissenschaftlern).557 Dagegen stimmen die beiden BCCEffizienzgrade nicht überein. Aufwandsorientiert ergibt sich der BCC-Effizienzgrad zu 16,5/37,0 = 45 %, ertragsorientiert zu 6,3/15,8 = 40 %. Je dichter die Graphen der beiden verschiedenen Produktionsfunktionen in dem jeweiligen Achsenbereich beieinander liegen, das heißt, je kürzer die jeweilige durchgezogene Linie zwischen ihnen im Verhältnis zum Achsenabschnitt ist, umso mehr stimmt der CCR-Effizienzgrad mit dem BCC-Effizienzgrad überein. Der Quotient der beiden Effizienzgrade heißt Skaleneffizienz. Da die BCC-Technologie als konvexe Hülle mit variablen Skalenerträgen immer eine Teilmenge der CCR-Technologie mit konstanten Skalenerträgen und somit die BCC-Effizienz nie geringer als die CCR-Effizienz ist, nimmt die Skaleneffizienz stets nur Werte zwischen null und eins an. Eine maximale Skaleneffizienz von eins besagt, dass die BCC- und die CCRProduktionsfunktion in diesem Bereich zusammenfallen, also lokal konstante Skalenerträge vorliegen. Im obigen Beispiel beträgt die Skaleneffizienz von F15 aufwandsorientiert 38 %/45 % = 84 % und ertragsorientiert 38 %/40 % = 95 %. Im Ordinatenabschnitt von 6,3 Promotionen stimmen die zu den beiden Produktionsfunktionen gehörenden Personaleinsätze von 13,9 (CCR) und 16,5 (BCC) Wissenschaftlern also zu 13,9/16,5 = 84 % überein. Im Abszissenabschnitt von 37,0 Wissenschaftlern liegen die Graphen der beiden Funktionen dagegen, relativ zu ihren Erträgen gesehen, näher beieinander; ihre Übereinstimmung im Sinne der ertragsorientierten Skaleneffizienz der Promotionen beträgt hier 38 %/40 % = 15,8/16,7 = 95 %. Im zweidimensionalen Illustrationsbeispiel existieren offensichtlich im Aufwandsbereich von 20 bis 60 Wissenschaftlern bzw. im Ertragsbereich von etwa 5 bis 25 Promotionen annähernd konstante Skalenerträge. Ob diese dabei leicht abnehmend oder zunehmend sind, kann der Skaleneffizienz selber nicht entnommen werden, weil sie nur die Stärke, nicht aber die Art der Skalenerträge misst. Wie die Abbildung 6-13 illustriert, wird F15 ertragsorientiert in einen Bereich leicht abnehmender sowie aufwandsorientiert in einen Bereich leicht zunehmender Skalenerträge projiziert. Die Tabelle 6-10 enthält neben den aus Tabelle 6-9 bekannten Skalenelastizitäten für jede der drei Ertragsarten die zugehörigen lokalen partiellen ertragsorientierten Skaleneffizienzen. Im Bereich kleiner bis mittlerer Betriebsgrößen betriebswirtschaftlicher Fachbereiche von

557

In der DEA-Literatur ist es dagegen üblich, den Effizienzgrad ertrags- bzw. outputorientiert mit dem Kehrwert als Zahl ≥ 100 % zu messen, hier also 1/0,38 = 263 %.

250

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

etwa 20 bis 60 Wissenschaftlern weisen die Skaleneffizienzen Werte von über 90 % aus (soweit sie definiert sind). Die jeweilige zweidimensionale empirische Produktionsfunktion der konvexen Datenumhüllung liegt damit maximal 10 % unter dem Ertrag der Wissenschaftler, den sie bei konstanten Skalenerträgen bestenfalls erzielen könnten. Tabelle 6-10: Entwicklung der partiellen Skalenelastizitäten und -effizienzen

WISSS

Partielle Skalenelastizität PUBLm

PROM

Partielle Skaleneffizienz

DM

PUBLm

PROM

DM

5,0

−

−

−

−

−

−

10,0

1,46

6,15

1,23

75 %

41 %

85 % 91 %

15,0

1,27

1,67

1,14

86 %

80 %

20,0

1,19

1,43

1,10

92 %

93 %

94 %

25,0

1,08

0,85

1,08

95 %

100 %

96 %

30,0

1,07

0,87

1,07

97 %

97 %

98 %

35,0

1,06

0,89

1,06

98 %

95 %

99 %

40,0

1,05

0,90

1,05

98 %

94 %

99 %

45,0

1,05

0,91

1,04

99 %

93 %

100 % −

50,0

1,04

0,92

−

99 %

92 %

55,0

1,04

0,92

−

100 %

91 %

−

60,0

1,03

0,93

−

100 %

91 %

−

65,0

−

0,04

−

−

85 %

−

70,0

−

0,04

−

−

79 %

−

75,0

−

0,04

−

−

74 %

−

80,0

−

0,04

−

−

70 %

−

85,0

−

0,05

−

−

66 %

−

90,0

−

0,05

−

−

62 %

−

95,0

−

0,05

−

−

59 %

−

100,0

−

0,06

−

−

57 %

−

105,0

−

0,06

−

−

54 %

−

110,0

−

−

−

−

−

−

Die Diagramme der Abbildung 6-12 sowie die Tabellen 6-9 und 6-10 veranschaulichen demnach, dass bei einer rein zweidimensionalen Partialanalyse •

in Bezug auf die (vom CHE gemessenen) Publikationspunkte die höchste Produktivität, nämlich 3,2 Publikationspunkte pro Wissenschaftler, bei 62 Wissenschaftlern realisiert werden kann und sie bei kleineren effizienten Fachbereichen mit mehr als 10 Wissenschaftlern nicht viel niedriger ist (bis zu 2,3 Publikationspunkte pro Wissenschaftler),

•

in Bezug auf die Promotionen die höchste Produktivität von 0,5 Promotionen je Wissenschaftler bei 24 Wissenschaftlern gegeben ist und sie bei kleineren und größeren Fachbereichen im Bereich von etwa 11 bis 61 Wissenschaftlern nur schwach geringer, darüber hinaus aber deutlich kleiner ist,

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

•

251

in Bezug auf die Drittmittel die höchste Produktivität von 75,3 T€ je Wissenschaftler bei 47 Wissenschaftlern liegt, sie jedoch bei kleineren Fachbereichen mit bis zu nur noch 9 Wissenschaftlern nur relativ wenig geringer wird (nämlich 61,4 T€ je Wissenschaftler),

•

in Bezug auf alle drei Leistungskriterien der Forschung zusammen genommen die partiellen Skalenerträge im Bereich normalgroßer Fachbereiche von etwa 20 bis 50 Wissenschaftlern nahezu konstant sind (wobei die annähernde Konstanz hier an einer Skalenelastizität zwischen 0,8 und 1,2 sowie einer Skaleneffizienz größer als 90 % festgemacht wird).

Dieser empirische Befund trifft allerdings nur zu, wenn der Personaleinsatz durch die Zahl beschäftigter Wissenschaftler gemessen wird. Da das Faktoreinsatzverhältnis von Professoren- zu Mitarbeiterstellen nicht konstant ist (auch nicht entlang der teileffizienten Ränder), ergeben sich andere Resultate, wenn als Input entweder nur die Zahl der Professoren oder nur die der Wissenschaftlichen Mitarbeiter gewählt wird. Im ersten Fall nehmen die Teilproduktivitäten zunächst bis zu etwa 12 bis 14 Professoren durchgehend zu, um danach (soweit der effiziente Rand definiert ist) stark zu fallen, während sie im zweiten Fall schon ab wenigen Mitarbeitern abnehmen.558 Von daher kommen Zweifel auf, ob der obige Befund nahezu konstanter Skalenerträge für kleine und mittelgroße Fachbereiche auch noch nachgewiesen werden kann, wenn Professoren und Wissenschaftliche Mitarbeiter als zwei verschiedene (nicht addierbare) Personalkategorien angesehen werden. Dies bedingt eine mehrdimensionale Analyse.

6.4.3

Totalanalyse

Unabhängig von den beiden Personaleinsatzdimensionen erfordern auch die drei verschiedenen, nicht aggregierbaren Leistungsdimensionen eigentlich eine mehr-, hier also fünfdimensionale Totalanalyse anstelle der zuvor gewählten drei zweidimensionalen Partialanalysen. Denn die nähere Betrachtung der teileffizienten Streckenzüge in Abbildung 6-12 hat gezeigt, dass diese jeweils von verschiedenen Fachbereichen gebildet werden. Bei mehr als einem Ertrag (Output) oder mehr als einem Aufwand (Input) sind Effizienzen allerdings nicht mehr ohne Weiteres definiert. Mehrdimensionale Effizienzen werden üblicherweise so bestimmt, dass die verschiedenen Ertragsarten einerseits sowie die verschiedenen Aufwandsarten andererseits mittels spezifischer Gewichtungsfaktoren zu jeweils ei-

558

Dabei haben aber bestimmte Fachbereiche mit sehr wenigen Mitarbeitern und vergleichsweise vielen Publikationen oder Drittmitteln einen stark verzerrenden Einfluss. Werden diese eliminiert, so nehmen die Teilproduktivitäten zwar auch schon ab etwa 17 bis 21 Mitarbeitern ab, jedoch lange nicht so stark, sodass teilweise auch fast konstante Skalenträge vorliegen.

252

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

nem Gesamtertrag und einem Gesamtaufwand aggregiert werden, deren Quotient dann die gesuchte Totaleffizienz ergibt.559 In der DEA darf sich jeder Fachbereich (als „Decision Making Unit“) seine eigenen Gewichtungsfaktoren so wählen, dass seine Totaleffizienz im Vergleich zu denjenigen aller anderen Fachbereiche bei identischen Gewichten maximal ist. Die so definierte nichtlineare Quotientenoptimierungsaufgabe eines Fachbereichs kann beim Pionieransatz von CHARNES/COOPER/RHODES (1978) unmittelbar in zwei äquivalente lineare Optimierungsaufgaben überführt werden, bei denen entweder der Gesamtertrag bei auf eins normiertem Gesamtaufwand maximiert oder der Gesamtaufwand bei auf eins normiertem Gesamtertrag minimiert wird. Sie heißen aufwands- bzw. ertragsorientiertes560 CCR-Modell in Multiplikatorenform („multiplier form“). Bildet man von beiden Linearen Programmen ihre dualen Programme, so ergeben sich wieder zwei äquivalente LP-Aufgaben, die sogenannten CCR-Modelle in Umhüllungsform („envelopment form“). Bei der aufwandsorientierten Variante wird die maximale proportionale („radiale“) Verringerung aller Aufwände (Inputs) des betrachteten Fachbereichs innerhalb der Datenumhüllung gesucht, ohne dass es zu einer Verringerung der Erträge (Outputs) kommt. Sie definiert den Effizienzgrad des Fachbereichs. Keine mögliche proportionale Verringerung entspricht 100 % Effizienz, eine mögliche Halbierung 50 % Effizienz. Bei der ertragsorientierten Variante werden umgekehrt die Erträge so weit wie ohne Steigerung der Aufwendungen möglich proportional erhöht. Da die Datenumhüllung des CCR-Modells konstante Skalenerträge voraussetzt, stimmt aufgrund des Strahlensatzes der Geometrie der Prozentsatz der proportionalen Aufwandsverringerung der ersten Modellvariante mit dem Kehrwert des Prozentsatzes der proportionalen Ertragssteigerung der zweiten Variante überein, das heißt, 50%ige Aufwandseffizienz bedeutet außerdem, dass die Erträge verdoppelt werden können, ohne die Aufwendungen steigern zu müssen. Das BCC-Modell entspricht in seinen verschiedenen Varianten und Formen dem CCR-Modell mit dem entscheidenden Unterschied, dass anstelle konstanter lediglich variable Skalenerträge unterstellt werden (konvexe anstelle linearer Datenumhüllung). Aufwands- und ertragsorientierter BCC-Effizienzgrad müssen deshalb nicht mehr übereinstimmen. Die in Abschnitt 6.4.2.3 demonstrierten Zusammenhänge zwischen der (aufwands- und ertragsorientierten) Skaleneffizienz und den Skalenerträgen entlang der BCC-Produktionsfunktion gelten prinzipiell auch in mehrdimensionalen Fällen. Allerdings ist die jeweilige Richtung, in der die

559

560

So wird in der Makroökonomik die (Veränderung der) Arbeitsproduktivität einer Volkswirtschaft oder Branche dadurch ermittelt, dass die verschiedenen Produkte mittels ihrer (im Zeitablauf konstant gehaltenen) Preise und die verschiedenen Arbeitsqualitäten mittels der (ebenfalls konstant gehaltenen) Lohnsätze vergleichbar gemacht werden. In der DEA-Literatur wird von Inputorientierung und Outputorientierung anstelle der hier bevorzugten Termini Aufwands- und Ertragsorientierung gesprochen.

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

253

Aufwände oder die Erträge radial verringert bzw. gesteigert werden, nicht mehr eindeutig festgelegt. Vielmehr hängt im vorliegenden fünfdimensionalen Fall die aufwandsorientierte Skaleneffizienz nicht nur von den drei Ertragswerten (Publikationen, Promotionen und Drittmittel), sondern auch noch vom Einsatzverhältnis der Aufwände an Professoren und Mitarbeitern ab. Umgekehrt wird die ertragsorientierte Skaleneffizienz nicht nur von den absoluten Einsatzmengen der beiden Faktoren, sondern außerdem von den Relationen der drei Erträge des Leistungsbündels beeinflusst. Unabhängig davon gilt aber auch hier, dass bei einer Skaleneffizienz von eins der fünfdimensionale Datenpunkt des betrachteten Fachbereichs auf einen Teil des effizienten Randes der konvexen Datenumhüllung projiziert wird, bei dem die BCC- mit der CCR-Produktionsfunktion identisch ist, das heißt lokal konstante Skalenerträge vorliegen. Welches Ausmaß von Skaleneffizienz und Skalenerträgen bei dem in Tabelle 6-7 vorgestellten fünfdimensionalen Datensatz betriebswirtschaftlicher Forschung existiert, lässt sich also mithilfe der DEA-Basismodelle vom Typ CCR und BCC ermitteln.561 Für die 55 komplett vergleichbaren Fachbereiche resultieren aus der DEA die in Tabelle 6-11 wiedergegebenen Werte. Außer dem CCR-Effizienzgrad in Spalte 2 für den in Spalte 1 genannten Fachbereich zeigen die Spalten 3 und 4 der Tabelle 6-11 die jeweiligen Effizienzgrade des ertrags- und des aufwandsorientierten BCC-Modells. Die sich als Quotient aus Spalte 2 und aus Spalte 3 bzw. 4 ergebenden ertrags-562 und aufwandsorientierten Skaleneffizienzen finden sich in den Spalten 5 und 6.

561 562

Vgl. beispielsweise Cooper/Seiford/Tone (2006), S. 140ff. Der eigentliche Zielfunktionswert bei Verwendung ertrags- bzw. outputorientierter radialer Maße entspricht dem maximal möglichen Faktor, um den alle Erträge bzw. Outputs proportional erhöht werden können, ohne dass der betrachtete Fachbereich seine Aufwands- bzw. Inputniveaus dazu steigern muss – er beträgt daher mindestens eins. Hier wird, wie schon im Abschnitt 6.4.2.3 (siehe auch Fußnote 557), abweichend von den Usancen der DEA-Literatur der Kehrwert als Effizienzmaß genommen.

254

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Tabelle 6-11: Effizienzgrade und Skaleneffizienzen CCR FB

Beide Orientierungen

BCC

Skaleneffizienz

Ertrags- Aufwands- Ertrags- Aufwandsorientiert orientiert orientiert orientiert

CCR FB

Beide Orientierungen

BCC

Skaleneffizienz

Ertrags- Aufwands- Ertrags- Aufwandsorientiert orientiert orientiert orientiert

F1

75 %

78 %

84 %

96 %

89 %

F33

34 %

36 %

48 %

95 %

70 %

F2

73 %

73 %

75 %

99 %

98 %

F34

42 %

46 %

76 %

92 %

55 %

F3

58 %

60 %

71 %

96 %

81 %

F35

–

–

–

–

–

F4

76 %

77 %

79 %

98 %

95 %

F36

70 %

70 %

81 %

100 %

87 % 99 %

F5

–

–

–

–

–

F37

80 %

94 %

80 %

85 %

F6

95 %

97 %

97 %

98 %

98 %

F38

–

–

–

–

–

F7

40 %

41 %

60 %

99 %

66 %

F39

56 %

71 %

88 %

78 %

63 % 100 %

F8

96 %

99 %

98 %

97 %

98 %

F40

85 %

86 %

85 %

99 %

F9

35 %

62 %

100 %

57 %

35 %

F41

–

–

–

–

–

–

–

–

–

–

F42

32 %

32 %

62 %

100 %

52 %

F10 F11

–

–

–

–

–

F43

90 %

93 %

96 %

96 %

94 %

F12

100 %

100 %

100 %

100 %

100 %

F44

100 %

100 %

100 %

100 %

100 %

F13

75 %

76 %

90 %

99 %

84 %

F45

74 %

78 %

74 %

95 %

100 %

F14

63 %

69 %

80 %

91 %

79 %

F46

96 %

100 %

100 %

96 %

96 %

F15

88 %

91 %

92 %

97 %

96 %

F47

100 %

100 %

100 %

100 %

100 % 100 %

F16

66 %

77 %

68 %

85 %

97 %

F48

100 %

100 %

100 %

100 %

F17

54 %

55 %

65 %

99 %

84 %

F49

70 %

91 %

85 %

77 %

83 %

F18

71 %

88 %

83 %

81 %

86 %

F50

100 %

100 %

100 %

100 %

100 %

F19

65 %

65 %

65 %

100 %

99 %

F51

41 %

42 %

75 %

99 %

55 %

F20

53 %

54 %

76 %

97 %

69 %

F52

66 %

66 %

77 %

100 %

85 %

F21

100 %

100 %

100 %

100 %

100 %

F53

47 %

48 %

62 %

99 %

76 %

F22

51 %

92 %

71 %

56 %

72 %

F54

63 %

100 %

100 %

63 %

63 %

F23

71 %

71 %

83 %

99 %

86 %

F55

86 %

87 %

91 %

99 %

95 %

F24

96 %

96 %

97 %

99 %

99 %

F56

52 %

53 %

70 %

98 %

74 %

F25

55 %

64 %

88 %

85 %

62 %

F57

86 %

100 %

100 %

86 %

86 %

F26

100 %

100 %

100 %

100 %

100 %

F58

58 %

58 %

58 %

100 %

99 %

F27

75 %

82 %

78 %

91 %

97 %

F59

100 %

100 %

100 %

100 %

100 %

F28

44 %

44 %

75 %

100 %

59 %

F60

71 %

73 %

87 %

96 %

82 %

F29

–

–

–

–

–

F61

49 %

49 %

78 %

100 %

63 %

F30

59 %

59 %

63 %

100 %

94 %

F62

100 %

100 %

100 %

100 %

100 %

F63

81 %

100 %

100 %

81 %

81 %

F31

–

–

–

–

–

F32

89 %

95 %

92 %

94 %

97 %

Für die meisten Fachbereiche unterscheiden sich die Effizienzgrade der verschiedenen Modelle, woraus Skaleneffizienzen kleiner als eins resultieren. Ausnahmen sind insbesondere die neun CCR-effizienten Fachbereiche F12 (mit 6,0 Professoren), F21 (6,0), F26 (10,0), F44 (16,0), F47 (12,0), F48 (13,0), F50 (14,3), F59 (7,3) und F62 (14,3). Somit können sich Punkte der fünfdimensionalen CCR-Produktionsfunktion (mit konstanten Skalenerträgen) nur als nichtnegative Linearkombinationen der Daten dieser neun Fachbereiche ergeben.563 Sie stellen damit die CCR-Benchmarkingpartner für alle anderen CCR-ineffizienten Fachbereiche

563

Die CCR-Produktionsfunktion beschreibt den durch die neun CCR-effizienten Fachbereiche bestimmten effizienten Rand des durch die insgesamt 55 Fachbereiche mittels fünfdimensionaler Strahlen gebildeten polyedrischen Kegels mit der Spitze im Koordinatenursprung. Dabei ist es unerheblich, dass die Technologie des ursprünglichen CCR-Modells auch noch weitere ineffiziente Punkte enthält, welche durch die Verschwendung von Aufwänden und Erträgen zustande kommen („disposability“).

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

255

dar. Nicht alle Kombinationen der neun Punkte sind aber zwangsläufig selber wieder effizient. Wenn allerdings eine bestimmte Kombination effizient ist, dann sind auch alle anderen Kombinationen der dafür ausgewählten Fachbereiche effizient.564 Die BCC-Produktionsfunktion (mit variablen Skalenerträgen) resultiert aus Konvexkombinationen mehrerer der dreizehn BCC-effizienten Fachbereiche.565 Die vier CCR-ineffizienten dieser dreizehn Fachbereiche beschäftigen in zwei Fällen 6,0 (F54 und F63) und in je einem Fall 17,2 bzw. 17,3 Professoren (F46 und F57). Die BCC-Produktionsfunktion ist demnach nur für Fachbereiche mit mindestens 6,0 und höchstens 17,3 Professoren definiert. Kleinere und größere Fachbereiche (gemessen an der Zahl der BWL-Professoren) können im Hinblick auf die hier empirisch konstruierte Technologie nicht effizient sein. Solche Teile der BCC-Produktionsfunktion, die sich speziell als Konvexkombinationen der neun (sowohl BCC- als auch) CCR-effizienten Fachbereiche ergeben, sind identisch mit Teilen der CCR-Produktionsfunktion und weisen damit zwangsläufig konstante Skalenerträge auf. Da die neun CCR-effizienten Fachbereiche zwischen 6,0 (F12 und F21) und 16,0 (F44) Professoren beschäftigen, gilt dies zwangsläufig ebenfalls für alle Teile der BCC-Produktionsfunktion mit konstanten Skalenerträgen. BCC-effiziente Konvexkombinationen, an denen mindestens ein CCR-ineffizienter Fachbereich beteiligt ist, sind stets CCR-ineffizient und bestimmen einen Bereich der BCC-Produktionsfunktion mit nicht (exakt) konstanten Skalenerträgen. Auffällig ist, dass die beiden großen BCC-effizienten, aber CCR-ineffizienten Fachbereiche F46 und F57 mit 17,3 bzw. 17,2 Professoren hohe CCR-Effizienzgrade von 96 % und 86 % besitzen. Skaleneffizienzen ihrer Konvexkombinationen mit CCR-effizienten Fachbereichen müssen demnach mindestens Werte in dieser Höhe aufweisen. Das bedeutet, dass die Skaleneffizienz für größere BCC-effiziente (virtuelle) Fachbereiche mit bis zu 17,3 Professoren mindestens 86 % betragen muss, eher aber wohl noch nahe bei 100 % liegt. Die BCCProduktionsfunktion weist demnach im mittleren bis oberen Größenbereich nahezu konstante Skalenerträge auf. Um das zu untermauern, können die ertragsorientierten Skaleneffizienzen aller, also auch der ineffizienten Fachbereiche in dem benannten Größenintervall herangezogen werden. Die Abbildung 6-14 stellt sie in Abhängigkeit von der Professorenzahl dar.

564 565

Vgl. Dyckhoff (2006b), S. 168ff., zur Effizienz von Aktivitätskombinationen. F9 weist zwar aufwandsorientiert 100 % als BCC-Effizienzgrad auf, ist jedoch nur schwach (aufwands)effizient und damit ineffizient. Die BCC-Produktionsfunktion beschreibt den durch die dreizehn BCC-effizienten Fachbereiche bestimmten effizienten Rand des durch die insgesamt 55 Fachbereiche gebildeten fünfdimensionalen konvexen Polyeders. Dabei ist es hier ebenfalls unerheblich, dass die Technologie des ursprünglichen BCC-Modells auch noch weitere ineffiziente Punkte enthält, welche durch die Verschwendung von Aufwänden und Erträgen zustande kommen.

256

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Man erkennt, dass im Bereich von 8 bis 16,5 Professoren alle ertragsorientierten Skaleneffizienzen der betroffenen 40 Fachbereiche größer als 90 % sind und meistens sogar nahe bei 100 % liegen.566

ertragsorientierte Skaleneffizienz 100% 100 %

80% 80 %

60% 60 %

40% 40 %

Fachbereiche mit

30

25

20

15

10

5

20% 20 %

8 bis 16,5 Professoren (Stellen)

00% %

weniger als 8 oder mehr als 16,5 Professoren (Stellen)

0

Professoren (Stellen)

Abbildung 6-14: Ertragsorientierte Skaleneffizienzen in Abhängigkeit von der Anzahl besetzter Professorenstellen

Operationalisiert man den Begriff (lokal) nahezu konstanter Skalenerträge nun etwa mittels einer Skaleneffizienz über 90 % in einem näher gekennzeichneten Bereich der BCC-Produktionsfunktion, so zeigt die Spalte 5 der Tabelle 6-11 und illustriert die Abbildung 6-14, dass der empirisch relevante Teil der BCC-Produktionsfunktion der 55 Fachbereiche bei ertragsorientierter Messung im Intervall von 8 bis 16,5 Professoren in diesem Sinn nahezu konstante Skalenerträge aufweist. Alle ineffizienten Fachbereiche dieser Größe werden nämlich in der durch ihr Leistungsbündel bestimmten Richtung der Erträge radial auf solche Teile des BCC-effizienten Randes projiziert, deren Erträge zu mindestens 90 % mit den Erträgen des entsprechenden Referenzpunktes auf dem CCR-effizienten Rand übereinstimmen. Mit anderen Worten beträgt der Abstand der BCC- von der CCR-Produktionsfunktion hier nur maximal 10 % der Erträge (bei proportionaler Veränderung). Im Hinblick auf kleinere Fachbereiche mit 8 Professoren überrascht dieser empirische Befund in seiner Deutlichkeit, vor allem weil die beiden kleinen BCC-effizienten, aber CCR-ineffizienten Fachbereiche F54 und F63 mit 6,0 Professoren lediglich eine Skaleneffizienz von 63 % und 81 % besitzen.

566

Eine analoge Aussage lässt sich weder in Bezug auf die Zahl der Wissenschaftlichen Mitarbeiter noch auf die der Wissenschaftler insgesamt aus den Daten ableiten. Um die Genauigkeit der aus Abbildung 6-14 ableitbaren empirischen Erkenntnisse nicht über zu betonen, wird im weiteren Text anstelle von „8 bis 16,5“ meistens nur von „etwa 8 bis 16“ Professoren gesprochen.

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

257

Wenn für forschungseffiziente Fachbereiche mit 8 bis 16,5 Professoren (lokal) nahezu konstante Skalenerträge (im Sinne einer Skaleneffizienz von über 90 %) vorliegen, so werden kleinere Fachbereiche mit weniger als 8 Professoren zunehmende und größere Fachbereiche mit mehr als 16 Professoren abnehmende Skalenerträge aufweisen. Dies folgt annahmegemäß für die empirische (BCC-)Produktionsfunktion aus der unterstellten Konvexität der Datenumhüllung. Im Intervall von 8 bis 16 Professoren lässt sich die Art der (nahezu konstanten) Skalenerträge nur schwer charakterisieren (zunehmend oder abnehmend) und zahlenmäßig präzisieren, weil es sich bei der konvexen Hülle der 55 Datenpunkte um ein fünfdimensionales konvexes Polyeder handelt, dessen effizienter Rand sich aus Facetten zusammensetzt, die jeweils aus einer bestimmten Teilmenge der dreizehn BCC-effizienten Fachbereiche gebildet werden.

6.4.4

Methodenbedingte Limitationen und Sensitivitätsanalysen

Die gewonnenen empirischen Erkenntnisse sind zunächst nur gültig im Rahmen der zugrunde gelegten produktionstheoretischen Modelle für den verwendeten Datensatz der Tabelle 6-7 sowie bei Zutreffen der (am Ende von Abschnitt 6.4.1) gesetzten Prämissen. Auf methodenbedingte Limitationen sowie Sensitivitätsanalysen hinsichtlich untypischer Daten und Variationen des Indikatorensets wird nun näher eingegangen.

6.4.4.1 Methodenbedingte Limitationen Wenn, wie oben festgestellt, die vorgestellten Resultate unterhalb von etwa 20 Wissenschaftlern oder 8 Professoren für zunehmende Skalenerträge sprechen und umgekehrt oberhalb von etwa 50 Wissenschaftlern oder 16 Professoren für abnehmende Skalenerträge, so kann dies auch ein methodisch bedingtes Artefakt des Datensatzes sein. Aufgrund der Konstruktion über die konvexe Hülle des Datensatzes verläuft die empirische Produktionsfunktion nämlich zwangsläufig konkav, sodass die Skalenerträge nur für geringere Inputquantitäten zunehmend und nur für größere abnehmend sein können. Damit ein ausgedehnter Bereich konstanter Skalenerträge überhaupt existieren kann, muss der Datensatz unter den BCC-effizienten Vergleichseinheiten vor allem (auch) kleine und große enthalten, die im mehrdimensionalen Raum geeignet positioniert sind. Deshalb ist der festzustellende Bereich konstanter (oder nahezu konstanter) Skalenerträge bei realen Datensätzen typischerweise nur wenig ausgedehnt, wenn es viele mittelgroße und nur relativ wenige kleine und große Einheiten gibt und Letztere zudem tendenziell eher weniger effizient arbeiten. Überraschend an dem empirischen Befund ist also das relativ große Intervall (nahezu) konstanter Skalenerträge. Für diesen Bereich sind die Ergebnisse dafür auch ziemlich zuverlässig, während

258

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Aussagen über die Skalenertragseigenschaften außerhalb des Intervalls wegen der Begrenztheit des Datensatzes zwangsläufig problematisch sind. Ein weiterer methodisch bedingter Ergebniseffekt beruht auf der Orientierung der verwendeten CCR- und BCC-Modelle. Benutzt man etwa anstelle der ertragsorientierten die aufwandsorientierten Skaleneffizienzen der Spalte 6 in Tabelle 6-11, so ist der empirische Befund nahezu konstanter Skalenerträge in dem praktisch relevanten Größenbereich deutscher betriebswirtschaftlicher Fachbereiche schwächer ausgeprägt. Wegen der deutlichen Ertragsschwäche vieler Fachbereiche hinsichtlich der vom CHE postulierten Leistungskriterien ist dies aber kein empirisch gehaltvoller Effekt. Wie man nämlich an den drei Diagrammen der Abbildung 6-12 (bzw. der Abbildung 6-1 mit den Originalindikatoren) sieht, liegen viele Datenpunkte sehr tief. Bei einer proportionalen Verminderung der personellen Aufwendungen unter Beibehaltung ihrer (geringen) Leistungen werden sie auf Teile des BCC-effizienten Randes mit weniger als 8 Professoren und (zum Teil stark) zunehmenden Skalenerträgen projiziert, ohne dass dies etwas über die anderen Teile der BCC-Produktionsfunktion mit mehr als 8 Professoren aussagt.

6.4.4.2 Sensitivitätsanalysen Ausreißeranalyse Wie bei den Partialanalysen zur Effizienz und der dazugehörigen Totalbetrachtung in den Abschnitten 6.1.3 und 6.1.4 können auch hier, bei Einsatz der DEA, einzelne fehlerhafte oder untypische Daten effizienter Fachbereiche einen starken Einfluss auf die Effizienz anderer Einheiten und damit auf die generelle Aussagekraft der Resultate haben. Fehlerhafte Daten ineffizienter Einheiten beeinträchtigen dagegen nur ihre eigenen Ergebniswerte, kaum die der anderen. Bei den Partialanalysen fielen mit F47 und F62 zwei Fachbereiche als Ausreißer auf, die bezüglich jeweils einer Ertragsart, nämlich den Drittmitteln bzw. den Publikationen, nicht nur absolut, sondern auch relativ zu dem Personalaufwand die anderen Fachbereiche deutlich überragen. Dies ist in dem rechten und dem linken Diagramm der Abbildung 6-1 gut erkennbar und zeigt sich auch in den entsprechenden Diagrammen der Abbildung 6-12. Ohne F47 und F62 würde der effiziente (BCC-)Rand wesentlich anders verlaufen. Sowohl die Publikations- und Drittmittelproduktivitäten der Tabelle 6-9 als auch die Effizienzgrade der Tabelle 6-11 wären davon massiv betroffen. Beide Fachbereiche sind CCR- und (damit auch) BCCeffizient, bestimmen also den Verlauf der beiden empirisch ermittelten Produktionsfunktionen und stellen zudem jeweils mehrfach Benchmarkingpartner für andere Fachbereiche dar. Sie könnten daher maßgeblich die Ergebnisse der Analysen zu den Skalenerträgen betriebswirt-

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

259

schaftlicher Forschung beeinflusst haben. Falls ihre – zumindest auf den ersten Blick – außergewöhnlich hohen Erträge auf besonderen Eigenheiten der Fachbereiche beruhen, die untypisch für die anderen sind, wäre ihre Vergleichbarkeit zu hinterfragen und zu ermitteln, welche Bedeutung ihre Einbeziehung für die Bestimmung der Skaleneigenschaften der Technologie hat. Bei Betrachtung der drei Diagramme der Abbildung 6-12 fällt auf, dass ohne diese beiden Spitzenreiter zwar zunächst ab etwa 10 Wissenschaftlern weiterhin nahezu konstante Teilproduktivitäten hinsichtlich Publikationen und Drittmitteln auf den teileffizienten Rändern vorliegen, dann aber schon ab etwa 35 bis 42 (statt bisher 60 oder 50) Wissenschaftlern die Produktivitäten stark abnehmen. Solche Partialanalysen sind jedoch nicht unbedingt im Hinblick auf die tatsächlichen Skaleneffizienzen und -erträge im fünfdimensionalen Produktionsraum signifikant. Zwar erhöhen sich ohne F47 und F62 einzelne CCR- und BCC-Effizienzgrade der Tabelle 6-11 (es gibt bei Ertragsorientierung sieben bzw. sechs Verbesserungen um mehr als 20 % und jeweils fünf zwischen 10 % und 20 %), die ertragsorientierten Skaleneffizienzen liegen aber weiterhin auf einem sehr hohen Niveau (durchschnittlich 92 % statt zuvor 94 %, für 8 bis 16,5 Professoren 97 % statt 98 %). Auch bei teilweise vergrößerter Menge BCC-effizienter Fachbereiche sind diese im Bereich von 8 bis 16,5 Professoren nach wie vor nahezu oder vollständig CCR-effizient. Die Feststellung nahezu konstanter Skalenerträge der betriebswirtschaftlichen Forschung kann folglich auch ohne Berücksichtigung der beiden Fachbereiche F47 und F62 aufrechterhalten werden. Diese Robustheit des zuvor abgeleiteten empirischen Befunds im Hinblick auf die beiden Ausreißer F47 (TU München) und F62 (WHU Vallendar) überrascht insofern besonders, als sie mit guten Gründen als untypisch für betriebswirtschaftliche Fachbereiche deutscher Universitäten angesehen werden können, vor allem hinsichtlich der Situation und Belastung der Forscher in der Lehre.567 Denn der wohl wichtigste Einflussfaktor auf die Forschung universitärer Fachbereiche − im Gegensatz etwa zu reinen Forschungsinstituten wie den Fraunhofer-, Leibniz- und Max Planck-Instituten − dürfte die Lehre sein. Einerseits stellt sie in vielen Disziplinen, besonders in der Betriebswirtschaftslehre, eine starke, der Forschung zeitraubende Belastung dar. Andererseits befruchtet sie über den Kontakt und die Argumentation

567

Der wirtschaftswissenschaftliche Fachbereich der TU München wurde erst im Jahr 2002 gegründet, im Zuge der Aufteilung der Fakultät für Wirtschafts- und Sozialwissenschaften sowie unter Einbeziehung von Teilen des Wissenschaftszentrums Weihenstephan, was neben gemeinsamen Forschungsprojekten mit Ingenieurinstituten zu dem außergewöhnlichen Drittmittelzufluss im hier betrachteten Zeitraum geführt haben könnte. Die WHU Vallendar ist wiederum eine Privathochschule, die durch eine für diese typische geringe Anzahl Studierender pro Professor gekennzeichnet ist und an der aufgrund der Spezialisierung auf Wirtschaftswissenschaften keine universitätsinternen Lehrdienstleistungen für andere Wissenschaftsdisziplinen erbracht werden (müssen). Für beide Fachbereiche liegen somit möglicherweise besondere Bedingungen vor, die es den Wissenschaftlern erlauben, mehr Zeit für die Forschung aufzubringen.

260

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

mit Studierenden und Doktoranden sowie deren eigener Beiträge die Forschungsleistung.568 Welcher Effekt im Saldo überwiegt, mag von Disziplin zu Disziplin und Hochschule zu Hochschule verschieden sein. Für die Betriebswirtschaftslehre ist jedoch mit einem nicht vernachlässigbaren Einfluss zu rechnen, wobei der frühere empirische Befund von BACKES-GELLNER und ZANDERS, wonach die Forschungs- und Lehreffizienz mit absolut steigender Studierendenzahl tendenziell zunimmt,569 nicht zu erwarten gewesen war. Mit relativ steigender Studierendenzahl pro Professor würde man umgekehrt sogar eher eine abnehmende Forschungseffizienz vermuten. Diese Vermutung wird indirekt durch die beiden obigen „Ausreißer“ mit ihren hohen Forschungserträgen und relativ geringen Studierendenzahlen gestützt. Demgegenüber und im Widerspruch zu dem Befund von BACKES-GELLNER und ZANDERS zeigen die hier vorgestellten Robustheitsanalysen, dass die Forschungsskalenerträge weitgehend unabhängig von dem Einflussfaktor Lehre zu sein scheinen und die wirtschaftswissenschaftliche Forschungseffizienz für praktisch relevante Betriebsgrößen eher nahezu konstant in Bezug auf die Zahl der Wissenschaftler oder Professoren ist. Analyse des Einflusses der einzelnen Leistungskriterien Dass die hier verwendeten Leistungskriterien grundsätzlich nicht unproblematisch sind, wurde bereits in Kapitel 3 ausführlich diskutiert. Um ihren Einfluss auf die Skalenerträge zu beurteilen, werden nun Variationen des Kennzahlenbündels betrachtet, die daraus folgen, dass jeweils eine der drei Ertragskennzahlen weggelassen wird. Die Abbildung 6-15 stellt die daraus resultierenden vierdimensionalen, ertragsorientierten Skaleneffizienzen in Abhängigkeit von der Zahl besetzter Professorenstellen dar.

568 569

Siehe Abschnitt 3.2.2.2.1. Vgl. Abschnitt 3.2.2.2.1. Allerdings ist die Aussagekraft ihrer DEA-Anwendung mit nur siebzehn Fachbereichen bei fünf Inputs und drei Outputs fragwürdig; allein zehn Fachbereiche sind CCR-effizient.

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

ertragsorientierte Skaleneffizienz ohne Publikationen

ertragsorientierte Skaleneffizienz ohne Promotionen

ertragsorientierte Skaleneffizienz ohne Drittmittel

100% 100%

100% 100%

100% 100%

80% 80%

80% 80%

80% 80%

60% 60%

60% 60%

60% 60%

40% 40%

40% 40%

40% 40%

20% 20%

20% 20%

20% 20%

0% 0% 30

25

261

20

15

10

Professoren (Stellen)

5

0

0% 0% 30

25

20

15

10

Professoren (Stellen)

5

0

0% 0% 30

25

20

15

10

5

0

Professoren (Stellen)

Abbildung 6-15: Vierdimensionale partielle Skaleneffizienzen (ertragsorientiert)

Für das praktisch besonders interessierende Intervall von 8 bis 16,5 Professoren ergeben sich ähnlich klare Resultate wie bei den fünfdimensionalen Skaleneffizienzen der Abbildung 6-14. Sie liegen großenteils über 90 % und wieder in der Masse über 95 %. Die entsprechenden durchschnittlichen Skaleneffizienzen in dem Intervall lauten: ohne Publikationen 96,6 %, ohne Promotionen 96,4 % und ohne Drittmittel 97,0 %. Einzelne der drei Leistungskriterien haben demnach keinen wesentlichen Einfluss auf die festgestellte annähernde Konstanz der Skalenerträge. Wenn die Drittmittel nicht ignoriert, sondern wegen des Ressourceneinsatzes als Aufwand statt als Ertrag aufgefasst werden, so ändern sich für eine Reihe von Fachbereichen die CCR-Effizienzwerte zwar erheblich (so etwa 65%ige Verbesserung bei F09 und 38%ige Verschlechterung bei F47), die durchschnittlichen ertragsorientierten Skaleneffizienzen nehmen aber trotzdem weiterhin hohe Werte an (93,4 % insgesamt bzw. 95,0 % bei 8 bis 16,5 Professoren). Auch insoweit wird der empirische Befund kaum in Frage gestellt. Zuletzt sei noch darauf hingewiesen, dass ein Vergleich der hier mittels modifizierter Publikationspunkte (gemäß Spalte 4 der Tabelle 6-7) ermittelten Skaleneffizienzen mit denjenigen auf Basis der vom CHE erhobenen Originaldaten (gemäß Spalte 3 der Tabelle A-1 im Anhang) wieder keine nennenswerten Änderungen der vorgestellten empirischen Resultate ergibt, welche die Schlussfolgerung nahezu konstanter Skalenerträge in Zweifel ziehen könnten.

262

6.4.5

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

Diskussion der Ergebnisse

Die in ihrer Deutlichkeit, Signifikanz und Robustheit überraschende empirische Erkenntnis der produktionstheoretisch gestützten Untersuchung der Daten des CHE-Forschungsrankings BWL 2005 besteht in der Feststellung annähernd konstanter Skalenerträge der (effizienten) Forschung betriebswirtschaftlicher Fachbereiche in Deutschland, zumindest soweit es das real vorherrschende Betriebsgrößenintervall von etwa 8 bis 16 BWL-Professoren oder etwa 20 bis 50 Wissenschaftlern betrifft. Es stellt sich die Frage, wie dieser zentrale Befund erklärt werden kann. Mangels spezifischer theoretischer Aussagen kann hier nur spekuliert werden. Jedenfalls scheint es zwischen den betriebswirtschaftlichen Professoren an einer Universität kaum Synergieeffekte in der Forschung zu geben, die deutlich zunehmende Skaleneffekte ermöglichen würden. Andererseits gibt es anscheinend aber auch keine wesentlichen gegenseitigen Beeinträchtigungen. Die Forschungsleistungen der einzelnen Professoren (und ihrer Mitarbeiter) „addieren“ sich einfach. Eine nahe liegende Begründung für dieses Phänomen ist das in den deutschen Wirtschaftswissenschaften immer noch stark verbreitete Einzelkämpfertum der Forscher, insbesondere der Professoren. Wenn auch bei jüngeren Wissenschaftlern schon häufiger Kooperationen zu beobachten sind, so doch eher innerhalb eines Lehrstuhls oder universitätsübergreifend, kaum jedoch zwischen den Lehrstühlen eines Fachbereichs. Vor diesem Hintergrund mag es verständlich sein, dass die Betriebsgröße eines Fachbereichs hinsichtlich der solchermaßen maximal möglichen Forschungsproduktivität ceteris paribus bislang prinzipiell kaum eine Rolle spielt (sehr wahrscheinlich aber wohl hinsichtlich der Lehreffizienz). Gemäß dieser Argumentation müssten allerdings eigentlich alle Fachbereiche im Bereich konstanter Forschungsskalenerträge liegen, insbesondere auch die großen Fachbereiche mit mehr als 16 Professoren und 50 Wissenschaftlern. Wenn die Analysen dagegen augenscheinlich für abnehmende Skalenerträge sprechen (so Abbildungen 6-1, 6-12 und 6-14), so ist dies, wie in Abschnitt 6.4.4.1 erläutert, kein zwingender Widerspruch gegen die zuvor vorgetragene Erklärung, sondern kann auch ein Artefakt des Datensatzes sein und andere Gründe als die Betriebsgröße an sich haben, nämlich vor allem mangelnde Effizienz. Möglicherweise ist es großen Fachbereichen bislang nicht gelungen, eine durchgehend hohe Forschungsproduktivität aller berufenen Wissenschaftler zu erreichen und auf Dauer beizubehalten, während dies kleineren Fachbereichen eventuell leichter fällt. Andererseits kann die durch die Exzellenzinitiative ausgelöste Entwicklung hier in Zukunft zur stärkeren Profilierung auch größerer Fachbereiche der Art führen, dass sie nicht nur insgesamt forschungseffektiv (weil groß) sind, sondern auch hinsichtlich jeden einzelnen Mitglieds durchgehend hoch forschungseffizient.

Abschnitt 6.4: Produktionsfunktion betriebswirtschaftlicher Fachbereiche

263

Um zunehmende Skalenerträge zu erreichen und damit die Forschungstechnologie selber zu verändern, müssen innerhalb bestehender Fachbereiche, gerade auch der bislang effizienten und produktivsten, Synergiegewinne in der Forschung erzielt werden. Dazu kann es beispielsweise durch gemeinsame Forschungsprojekte der Professoren eines Fachbereichs kommen. Ebenso dazu beitragen kann eine verstärkte gemeinsame Betreuung von Doktoranden durch mehrere Professoren, wofür sich fachbereichsbezogene Graduiertenkollegs anbieten, aber auch weniger institutionalisierte Organisationsformen denkbar sind. Der dauerhafte Erfolg solcher Maßnahmen ist allerdings an weiter gehende Voraussetzungen geknüpft. So sind inhaltliche bzw. methodische Überlappungen in der Forschung der Wissenschaftler Bedingung dafür, dass es zu den erhofften Synergien kommen kann. Von daher erscheint es im Rahmen der Strukturentwicklung eines Fachbereichs im Hinblick auf die Forschung opportun, anstelle einer breiten Aufstellung die Strategie einer starken thematischen Fokussierung und Profilbildung zu verfolgen. Ferner ist innerhalb von Fachbereichen das Einzelkämpfertum durch eine „kooperationsaffine“ Forschungskultur abzulösen. Ein diesbezüglicher Ansatzpunkt stellt etwa die Berufung von Professoren mit entsprechendem Forschungsprofil dar. Einen Beitrag dazu können aber auch monetäre Anreizmechanismen leisten. Beispielsweise liegt es nahe, fachbereichsbezogene Kooperationen zum Bestandteil der Zielvereinbarung im Rahmen der W-Besoldung zu machen. Die Umsetzung der aufgezeigten Ansatzpunkte zur Veränderung der Forschungstechnologie betriebswirtschaftlicher Fachbereiche hin zu einer potenziellen Leistungssteigerung durch Nutzung von Synergien hätte zum Teil weitreichende Konsequenzen. Dies führt die Notwendigkeit einer breiteren Validierung der Ergebnisse vor Augen. Gelegenheit dazu bieten die Daten des CHE-Forschungsrankings BWL 2008 sowie weitere zukünftige Erhebungen des CHE, auf deren Basis zu untersuchen sein wird, inwieweit sich die bisherigen Erkenntnisse bestätigen. Geboten erscheint aber auch die Heranziehung alternativer Datenquellen mit nach Möglichkeit abweichenden Kennzahlen zur Erfassung von Forschungsaufwand und -ertrag. Abschließend sei noch auf die Bedeutung der aus den zweidimensionalen Analysen gewonnenen Erkenntnisse für die Indikatorenkonstruktion im Rahmen einer Performancemessung hingewiesen. Die Feststellung annähernd konstanter Skalenerträge in der betriebswirtschaftlichen Forschung rechtfertigt im Prinzip die häufige Verwendung einfacher Produktivitätskennzahlen, wie etwa im CHE-Forschungsranking BWL sowie in den Analysen der vorangehenden Abschnitte. Sie fordert aufgrund der unklaren Art und Stärke der Skalenerträge unter bzw. über den Bereich normaler Betriebsgrößen hinaus aber auch, bei einer Effizienzmessung mittels solcher Produktivitätskennzahlen stets ein besonderes Augenmerk auf die sehr

264

Kapitel 6: Analysen zur Forschungsperformance betriebswirtschaftlicher Fachbereiche

kleinen und großen Fachbereiche zu richten, um etwaigen größenbedingten Besonderheiten gerecht werden zu können.

6.5

Zwischenfazit

Die Analysen zur betriebswirtschaftlichen Forschung auf Basis der Daten des CHE-Forschungsrankings BWL 2005 verdeutlichen, dass mit einem hinreichend differenzierten Datensatz zum Hochschulbereich ein informativer Einblick in dessen Leistungserbringung gewonnen werden kann. Ein solcher Datensatz ermöglicht insbesondere die Untersuchung einiger Fragen, die sich aus theoretischen Überlegungen zur Performancemessung von Hochschulen ergeben. Die hier durchgeführte Basisanalyse zeigt, dass sich die betrachteten Fachbereiche teilweise erheblich in ihrer betriebswirtschaftlichen Forschungsperformance unterscheiden. Sowohl die partiellen als auch die totalen Effektivitäts- und Effizienzwerte variieren jeweils innerhalb eines breiten Spektrums. Natürlich ist es möglich, dass bestimmte Fachbereiche ihr Forschungspotenzial nicht ausschöpfen und deshalb geringere Effektivitäts- bzw. Effizienzwerte als andere aufweisen, für die genannten Differenzen sind aber durchaus auch andere Gründe denkbar. So könnten neben den unterschiedlichen Personalstärken der Fachbereiche, die sicher eine zutreffende Erklärung für ihre absoluten Leistungsunterschiede sind, vor allem spezifische Forschungsbedingungen und Zielsetzungen zu den festgestellten Performanceunterschieden geführt haben. Die Untersuchungen auf Basis der CHE-Daten zu den Zusammenhängen der Leistungskriterien und typischen Forschungsprofilen legen eine enge Verbindung von Publikationen und Promotionen sowie eine Sonderstellung der Drittmittel offen. Über die Gründe hierfür kann wie für diejenigen der oben erwähnten Leistungsdifferenzen ebenfalls nur gemutmaßt werden. Dass allerdings gerade Drittmittel empirisch aus dem Rahmen fallen, erstaunt zumindest im Hinblick auf ihre ambivalente Bedeutung bei einer Performancemessung nicht. Dies wirft konkret für die BWL die Frage nach der Aussagekraft von Drittmitteln als Indikator für (vergangene und zukünftige) Forschungsleistungen auf, zumal sie hier auch für die Forschungsreputation der Fachbereiche eine geringere Bedeutung zu haben scheinen als Publikationen und Promotionen. Es sollte geprüft werden, inwieweit unter dem Einsatz der Fördergelder tatsächlich neues Wissen produziert wird, vor allem, wenn an Drittmittelkennzahlen politische Hochschulentscheidungen geknüpft werden. Die Erkenntnis der Clusteranalyse hinsichtlich der großen Zahl von Fachbereichen mit durchweg bei allen Leistungskriterien relativ geringen Effektivitäts- bzw. Effizienzwerten sollte zudem Anlass zur Suche nach den

Abschnitt 6.5: Zwischenfazit

265

Ursachen und nach Ansatzpunkten für Verbesserungsmöglichkeiten der Leistungserbringung sein. Im Hinblick auf die Fachbereiche mit den höchsten Reputationswerten lassen sich Übereinstimmungen von mittels Publikationen, Promotionen und Drittmitteln gemessener Leistungsstärke auf der einen und wissenschaftlichem Ansehen auf der anderen Seite feststellen. Dies schließt selbstverständlich nicht aus, dass zum Beispiel auch internationale Sichtbarkeit und Akzeptanz der Forschungsleistungen sowie vorherige Reputationsbewertungen in den wissenschaftlichen Ruf der betriebswirtschaftlichen Fachbereiche eingehen. Der aus den vom CHE erhobenen Daten mittels DEA sowohl partial- als auch totalanalytisch ableitbare Befund zur Produktionsfunktion betriebswirtschaftlicher Forschung spricht für annähernd konstante Forschungsskalenerträge im Bereich von etwa 20 bis 50 Wissenschaftlern bzw. 8 bis 16 Professoren. Demnach gibt es kein eindeutiges Optimum für die Größe betriebswirtschaftlicher Fachbereiche, wenn deren Leistungen gemäß den Kriterien des CHE gemessen werden. Vielmehr sind alle Betriebsgrößen innerhalb des erwähnten Bereichs optimal. Wird dieses Ergebnis auf geringe Kooperationsforschung in der BWL zurückgeführt und würde es sich in weiteren Analysen bestätigen, wäre aus Hochschulsicht gegebenenfalls zu überlegen, wie die Möglichkeiten zur Förderung der Zusammenarbeit in der betriebswirtschaftlichen Fachbereichsforschung und damit zur potenziellen Leistungssteigerung durch Nutzung von Synergien am besten umgesetzt werden könnten.

7

Resümee und Ausblick

Im Zuge der verstärkten Forderung nach einer höheren Transparenz über das Bildungswesen hat sich die indikatorenbasierte Performancemessung im Hochschulbereich zu einem bedeutenden Forschungsfeld entwickelt. In diesem Kontext war es das zentrale Anliegen der vorliegenden Arbeit, theoretische Grundlagen einer solchen bereitzustellen und einen empirischen Beitrag zur Messung der Forschungsperformance betriebswirtschaftlicher Fachbereiche zu leisten. Die zu bearbeitenden Teilziele wurden in der Einleitung durch fünf Fragen strukturiert, anhand derer die wesentlichen Ergebnisse der Arbeit im Folgenden zusammengefasst werden. Wie lässt sich eine entscheidungs- und produktionstheoretisch fundierte Performancemessung konzipieren? Ausgangspunkte der in Kapitel 2 skizzierten Grundzüge einer entscheidungs- und produktionstheoretisch fundierten Performancemessung waren zum einen die auf DYCKHOFF und AHN zurückgehenden entscheidungsorientierten Definitionen von Effektivität und Effizienz, zum anderen die von DYCKHOFF entwickelte entscheidungsorientierte Produktionstheorie, deren Kern darin liegt, den Entscheider bzw. Bewerter und damit subjektive Komponenten in die traditionelle Produktionstheorie zu integrieren. Da Effektivitäts- und Effizienzmessungen und somit sämtliche Performanceanalysen an den Zielen einer Handlung ansetzen, wurde ausführlich auf deren Formulierung und an sie zu stellende Anforderungen eingegangen. Im Hinblick auf die Abbildung der Ziele durch geeignete Ergebnisgrößen der Leistungserbringung wurde deutlich gemacht, dass deren Zwecke und Nebenfolgen – entgegen traditioneller Annahmen in der Produktionstheorie – prinzipiell an den unterschiedlichen Ergebnisklassen, also am Input, Prozess, Output und Outcome ansetzen können. Im Weiteren standen verschiedene Arten und Merkmale von Indikatoren, die zur Operationalisierung der Ziele bzw. der diesen entsprechenden Ergebnisgrößen heranzuziehen sind, sowie die von Indikatoren und entsprechenden Systemen idealerweise zu erfüllenden Anforderungen im Blickpunkt. Schließlich wurde ein an die entscheidungs- und produktionstheoretischen Überlegungen anknüpfendes und aus den drei Phasen Konzeption, Analyse und Anwendung bestehendes Modell entworfen, das ein systematisches Vorgehen einer Performancemessung gewährleisten soll und der Bewertung bereits erfolgter Analysen dienen kann.

S. Rassenhövel, Performancemessung im Hochschulbereich, DOI 10.1007/978-3-8349-8733-4_7, © Gabler Verlag | Springer Fachmedien Wiesbaden GmbH 2010

268

Kapitel 7: Resümee und Ausblick

Wie kann eine entscheidungs- und produktionstheoretisch fundierte Performancemessung im Hochschulbereich prinzipiell ausgestaltet werden und welche Schwierigkeiten bestehen für eine solche? Strukturiert nach dem im zweiten Kapitel präsentierten Vorgehensmodell wurden in Kapitel 3 zunächst die zahlreichen Konzeptionsmöglichkeiten einer Performancemessung im Hochschulbereich aufgezeigt. Sie ergeben sich daraus, dass sämtliche Hochschulstakeholder an einer Bewertung hochschulischer Leistungen interessiert sind, um auf dieser Basis zum Beispiel fundierte Entscheidungen treffen oder das Verhalten anderer Stakeholder steuern zu können. Dabei ist das Augenmerk der Stakeholder je nach ihrer Beziehung zum Hochschulbereich und ihrer konkreten Situation auf einen Untersuchungsbereich gerichtet, der einzelne oder mehrere Leistungsarten wie auch Hochschuleinheiten umfassen mag. Die Präsentation verschiedener Objekte einer Performancemessung hat unter anderem deutlich gemacht, dass insbesondere fachlich differenzierte Bewertungen aufgrund interdisziplinärer Verflechtungen oftmals sehr schwierig durchzuführen sind. Darüber hinaus wurde dargelegt, dass spezifische Zielsetzungen, individuelle Bedingungen der Leistungserbringung und sonstige Besonderheiten des inner- oder außerhochschulischen Umfelds der Untersuchungsobjekte deren Vergleich stark beeinträchtigen können. Im Anschluss an diese konzeptionellen Überlegungen wurde die Analysephase einer Performancemessung von Forschung und Lehre thematisiert. Ausgangspunkt war eine für diese beiden Leistungsarten aufgestellte Zielstruktur, die neben Zwecken auch eingesetzte Mittel und erwünschte sowie unerwünschte Nebenfolgen enthält. Sie wurde anhand der Interessen wichtiger Stakeholder, darunter kollektive wie die Gesellschaft und die Wirtschaft sowie individuelle wie private Forschungsförderer und Studierende, konkretisiert. Im Hinblick auf die Messbarmachung dieser Ziele wurden Forschung und Lehre sodann aus produktionstheoretischer Perspektive beleuchtet. Dabei wurde ein Modell aufgestellt, das einen Überblick über die wesentlichen zielentsprechenden Ergebnisgrößen der Forschungs- und Lehrproduktion sowie deren Zusammenhänge gibt. Die weitere Betrachtung knüpfte an einzelne Merkmale der Produktion an. Es wurde herausgestellt, dass die (teilweise) Verbundenheit und die Immaterialität von Forschung und Lehre deren Performancemessung erschweren. Problematisch für eine solche ist insbesondere auch, dass die Lehre – wie anhand einer weiter entwickelten Definition aufgezeigt wurde – eine Dienstleistung ist. Die Integration der Studierenden in den Lehrprozess als externer Faktor und Co-Producer macht es erforderlich, deren individuelle Eingangsqualifikationen und Prozessbeiträge bei der Bewertung der jeweiligen Lehrleistung zu berücksichtigen. Da eine Performancemessung auch Kenntnis der jeweiligen Produktionstechnologie bzw. ihrer Eigenschaften verlangt, wurden ferner theoretische Argumente und empirische Erkenntnisse zu den Skalenerträgen der entsprechenden For-

Kapitel 7: Resümee und Ausblick

269

schungs- und Lehrtechnologie vorgestellt. Letzter Gegenstand der Ausführungen zur Analysephase einer Performancemessung von Forschung und Lehre war die Präsentation allgemeiner Aspekte der Auswahl und Konstruktion von Indikatoren. Zur Anwendungsphase einer Performancemessung im Hochschulbereich wurden verschiedene Möglichkeiten der Datenerhebung aufgezeigt sowie ihre Vor- und Nachteile erörtert. Hinzu kamen Überlegungen zur Auswertung von Indikatoren. Hier wurden das Informed Peer Review und die quantitative Datenverarbeitung bzw. -analyse gegenübergestellt. Schließlich galt ein weiterer Abschnitt der auf die Nutzung der Messergebnisse gerichteten Aufbereitung von Informationen und ihrer Weitergabe an die Adressaten der jeweiligen Performancemessung. Wie können Forschungsleistungen quantifiziert werden, was messen einzelne Forschungsindikatoren und mit welchen Problemen sind sie verbunden? Kapitel 4 widmete sich Indikatoren, die auf den zuvor herausgestellten Zielen bzw. zielentsprechenden Ergebnisgrößen der Forschungsproduktion basieren. Vor der umfassenden Darstellung und Diskussion aller Indikatoren wurde ausführlich anhand modelltheoretischer Überlegungen auf die Bedeutung von Drittmitteln als Indikator für (vergangene und zukünftige) Forschungsleistungen eingegangen. Diese gesonderte Betrachtung war geboten, weil Drittmittel sehr häufig als outcomebezogenes Performancemaß verwendet werden, obwohl sie als Fördergelder Input der Forschung darstellen. Erarbeitet wurde unter anderem, dass Drittmittelindikatoren insbesondere geheime Forschung abbilden können, sie außerdem bei nicht geheimer Forschung der Beurteilung einzelner Forscher oder kleiner Forschergruppen über einen kurzen Zeitraum dienen. Für die Beurteilung größerer Forschergruppen über längere Zeiträume sind Drittmittel als Indikator für nicht geheime Forschungsleistungen dagegen idealerweise überflüssig, wenn deren Erkenntnisse zum Beispiel regelmäßig publiziert oder patentiert werden. Die detaillierte Auseinandersetzung mit einzelnen Forschungsindikatoren umfasste neben Drittmittelindikatoren bibliometrische Indikatoren, auf Erfindungen bezogene Indikatoren sowie weitere Faktenindikatoren und Reputationsindikatoren. Erörtert wurde jeweils zunächst, wie die Indikatoren in die Forschungsproduktion einzuordnen sind und was genau sie abzubilden vermögen. Da die einzelnen Faktenindikatoren jeweils ganz bestimmte Facetten der Forschungsproduktion erfassen, müssen sie besonders sorgfältig ausgewählt und konstruiert werden. Insbesondere die Spezifika der betrachteten Wissenschaftsdisziplinen sind dabei zu berücksichtigen. An die Dokumentation methodisch-technischer Aspekte der Indikatorenbildung schloss sich die Darstellung verschiedenster Probleme der Indikatoren an. Sie liegen des Öfteren darin, dass nur unzureichende Möglichkeiten der Datenerhebung bestehen,

270

Kapitel 7: Resümee und Ausblick

vorwiegend quantitative Aspekte der Leistungserbringung gemessen und qualitative Aspekte vernachlässigt werden, außerdem von den Indikatoren unerwünschte Anreizeffekte ausgehen. Indikatoren, denen ein implizites Peer Review zugrunde liegt, also etwa solche, die begutachtete Zeitschriftenaufsätze, Zitationen oder im Wettbewerb vergebene Drittmittel erfassen, können außerdem wie Reputationsindikatoren durch Reputationseffekte verzerrt werden. Aufgrund der (potenziellen) Schwachstellen der Indikatoren empfiehlt sich grundsätzlich eine fachspezifische Kombination mehrerer Faktenindikatoren und ihre Konfrontation mit einem Reputationsindikator. Wie lässt sich das CHE-Forschungsranking BWL 2005 in die wissenschaftlichen Überlegungen einer entscheidungs- und produktionstheoretisch fundierten Performancemessung einordnen? Die Präsentation und kritische Würdigung des CHE-Forschungsrankings BWL 2005 in Kapitel 5 erfolgte systematisch nach dem zuvor vorgestellten Vorgehensmodell zur Performancemessung (Kapitel 2), außerdem mit Bezug auf dessen Konkretisierung für den Hochschulbereich (Kapitel 3) sowie auf die Auseinandersetzung mit einzelnen Forschungsindikatoren (Kapitel 4). Es wurde herausgestellt, dass das Ranking insgesamt sehr umfassend und gleichzeitig detailliert über betriebswirtschaftliche Forschungsleistungen informiert. Nicht nur sind nahezu alle Universitäten, die das Studienfach BWL anbieten, im Ranking enthalten, mithilfe mehrerer Faktenindikatoren (Publikationen, Promotionen und Drittmittel) bildet es auch wesentliche Facetten ihrer betriebswirtschaftlichen Forschung (bzw. Nachwuchsförderung) ab und ergänzt diese Bewertungen durch Reputationsurteile. Dabei werden sowohl individuelle Stärken und Schwächen transparent gemacht als auch die gemäß den Faktenindikatoren in der betriebswirtschaftlichen Forschung besonders leistungsstarken Universitäten hervorgehoben. Durch die Dokumentation der Methodik sowie der Einzel- und Gesamtergebnisse ist es dem Rankingnutzer schließlich möglich, die Übereinstimmung der Vorgaben des CHE mit seinen Präferenzen zu prüfen, die Bewertungen nachzuvollziehen und zu interpretieren sowie weiterführende Analysen durchzuführen. Neben Vorzügen des Rankings wurden auch einige Schwachstellen aufgedeckt. So unterscheiden sich etwa die untersuchten und miteinander verglichenen Hochschuleinheiten teilweise, zum Beispiel in ihren Forschungsbedingungen und -zielsetzungen, sehr deutlich. Diese Unterschiede kommen allerdings nicht in den Bewertungen zum Ausdruck, sondern verbergen sich stattdessen hinter den festgestellten Leistungsdifferenzen. Auch geben die einzelnen Faktenindikatoren vorwiegend quantitative Aspekte von Forschung wieder und vernachlässigen deren Qualität, was sich zudem in der aus ihnen ermittelten Forschungsstärke niederschlägt. Kritisch wurde außerdem darauf hingewiesen, dass die Präsentation der Er-

Kapitel 7: Resümee und Ausblick

271

gebnisse den Blick primär auf die absoluten und kaum auf die relativen Performancewerte lenkt. Dass einzelne, aber bei Weitem nicht alle Schwächen des CHE-Forschungsrankings BWL 2005 im Folgeranking aus dem Jahr 2008 aufgefangen wurden, zeigte sich in dem diesem gewidmeten Abschnitt 5.5. Welche empirischen Erkenntnisse zur Forschungsleistung betriebswirtschaftlicher Fachbereiche können aus einer Analyse der Daten des CHE-Forschungsrankings BWL 2005 abgeleitet werden? Kapitel 6 diente dazu, auf Basis der vom CHE im Forschungsranking BWL 2005 verwendeten Daten Transparenz über die Erbringung betriebswirtschaftlicher Forschungsleistungen in Deutschland zu schaffen. Zunächst wurde im Rahmen einer Basisanalyse ein Überblick über die Ausstattung der betrachteten Fachbereiche mit betriebswirtschaftlich forschendem Personal und ihre partiellen sowie (mittels NACHE-Methodik ermittelten) totalen Effektivitäten und Effizienzen gegeben. Sowohl hinsichtlich der Personalstärken als auch der Performance zeigten sich deutliche Unterschiede zwischen den Werten, die teilweise auf Fachbereiche mit untypischen Forschungsbedingungen hinweisen können. Auf Basis der partiellen Effektivitäts- und Effizienzwerte wurden anschließend die empirischen Zusammenhänge zwischen den Leistungskriterien untersucht. Wichtigste Erkenntnis der durchgeführten Korrelations- und Hauptkomponentenanalysen war die klare Abgrenzung von Publikationen und Promotionen auf der einen und Drittmitteln auf der anderen Seite. Ferner wurden mithilfe der partiellen Werte typische Forschungsprofile betriebswirtschaftlicher Fachbereiche identifiziert. Per Clusteranalyse kristallisierten sich zwei Effektivitäts- und drei Effizienzgruppen heraus. Während eine der beiden Effektivitätsgruppen, deren Fachbereiche durch eine relativ gute Personalausstattung gekennzeichnet sind, sich in allen Leistungskriterien deutlich von der anderen Gruppe abhebt, weisen die Effizienzgruppen allenfalls bestimmte Stärken auf und zwar – in Einklang mit den zuvor herausgestellten Zusammenhängen zwischen den Leistungskriterien – zum einen bei den Publikationen und Promotionen, zum anderen bei den Drittmitteln. Da diese Ergebnisse nicht nur unterschiedliche Leistungsstärken, sondern auch verschiedene Profilbildungen zum Ausdruck bringen könnten, legen sie nahe, die Zielsetzungen der Fachbereiche genauer unter die Lupe zu nehmen, um gegebenenfalls auf diese abgestimmte Fachbereichsgruppen für ein Benchmarking zu erhalten. Bei einer speziellen Betrachtung der partiellen sowie totalen Effektivitäts- und Effizienzwerte derjenigen Fachbereiche mit den höchsten CHE-Reputationswerten ließen sich Übereinstimmungen zwischen wissenschaftlichem Ansehen und der mittels Fakten erfassten Forschungsperformance feststellen. Demnach beruht der gute Ruf eines betriebswirtschaftlichen

272

Kapitel 7: Resümee und Ausblick

Fachbereichs in der Forschung eher auf hohen absoluten als relativen Leistungen, außerdem scheinen für einen solchen insbesondere Publikationen und Promotionen eine Rolle zu spielen. Eine letzte Analyse dieser Arbeit auf Basis der Daten des CHE-Forschungsrankings BWL 2005 galt den Forschungsskalenerträgen betriebswirtschaftlicher Fachbereiche. Der mittels DEA partial- sowie totalanalytisch abgeleitete zentrale empirische Befund besagt, dass im Bereich normaler Betriebsgrößen von etwa 20 bis 50 Wissenschaftlern bzw. 8 bis 16 Professoren nahezu konstante Skalenerträge vorliegen. Dies deutet darauf hin, dass sich die Forschungsleistungen der Wissenschaftler eines Fachbereichs einfach addieren, ohne dass es zu Synergieeffekten durch Kooperationen und damit zunehmenden Skalenerträgen kommt. Da diese Erkenntnis von großer Bedeutung für die Hochschulpolitik sein könnte, wurden einige Ansatzpunkte zur Veränderung der Forschungstechnologie in Richtung einer potenziellen Leistungssteigerung durch Nutzung von Synergien aufgezeigt. Dass nach der Erörterung der zu Beginn dieser Arbeit gestellten Fragen noch ein großer Forschungsbedarf zur Performancemessung im Hochschulbereich bestehen würde, wurde bereits durch eine Reihe von Beispielen angedeutet. Wesentliche Ansatzpunkte für zukünftige Forschungstätigkeiten seien hier abschließend zusammengetragen. Ein erster Punkt liegt in der Entwicklung von Konzepten für europäische und internationale Hochschulvergleiche, die unterschiedlichen nationalen Strukturen und Kulturen gerecht werden, schließlich gewinnen sie aufgrund der Globalisierung des Hochschulsystems zunehmend an Bedeutung.570 Nicht nur für solche länderübergreifenden Vergleiche betrifft der Bedarf an grundsätzlicher Klärung zur Performancemessung im Hochschulbereich besonders die Lehre. Einerseits stellt diese nämlich eine der beiden Hauptaufgaben von Hochschulen dar, deren Bewertung im Interesse vieler Hochschulstakeholder liegt, andererseits mangelt es dafür aber an einer tragfähigen Grundlage. Zu untersuchen ist vor allem, wie der individuelle Einfluss der Studierenden, den diese als externer Faktor und Co-Producer auf die Lehrproduktion haben, bei einer Messung der eigentlichen Lehrleistung berücksichtigt werden kann. Dies erfordert eine vertiefte Analyse der Lehre, bei der sich die Theorie der Dienstleistungsproduktion bewähren sollte – was übrigens analog auch für die Messung der Nachwuchsförderung gilt, da Doktoranden ebenfalls in ihre Ausbildung integriert werden. Wenn es

570

Ein Konzept für ein globales Hochschulranking soll – zunächst für zwei Pilotfächer (BWL und Ingenieurwesen) – vom CHE und seinen Partnern des Netzwerks CHERPA (Consortium for Higher Education and Research Performance Assessment) entwickelt werden (vgl. CHE (2009)).

Kapitel 7: Resümee und Ausblick

273

gelingt, adäquate und zugleich praxistaugliche Lehrindikatoren zu entwickeln,571 kann und sollte außerdem die gemeinsame Messung von Forschung und Lehre wieder in den Fokus der Forschung zur Performancemessung im Hochschulbereich gerückt werden. Im Hinblick auf die in dieser Arbeit betrachtete Leistungserbringung deutscher Universitäten in der BWL ließe sich dann zum Beispiel der Einfluss der Forschung auf die Lehre und umgekehrt derjenige der Lehre auf die Forschung untersuchen. Abgesehen von einer Forschung und Lehre umfassenden Analyse ist es wünschenswert, die hier auf die betriebswirtschaftliche Forschung konzentrierten Untersuchungen zu überprüfen und weiterzuführen. Gültig sind die gewonnenen Erkenntnisse schließlich zunächst nur für den verwendeten Datensatz – für den sie sich bemerkenswerterweise im Rahmen umfangreicher Detailanalysen als äußerst robust erwiesen haben. Ihre ausdrückliche Bestätigung erscheint sogar unerlässlich, wenn sie die Performancemessung der betriebswirtschaftlichen Forschung fundieren oder Entscheidungen, die weitreichende Konsequenzen für die betriebswirtschaftliche Forschung selber haben, zugrunde gelegt werden sollen. Eine spannende Forschungsfrage ist ferner, wie andere Fächer in der Forschung aufgestellt sind. Die für die BWL ermittelten Befunde, etwa hinsichtlich der „Sonderstellung“ der Drittmittelindikatoren, der typischen Forschungsprofile sowie der konstanten Skalenerträge im Bereich normaler Fachbereichsgrößen, lassen sich – selbst wenn sie sich in Folgeuntersuchungen erhärten – aufgrund der Spezifika der einzelnen Fächer nämlich nicht einfach generalisieren. In den Naturwissenschaften beispielsweise wird Forschung in nennenswertem Maße in größeren Laboren betrieben; es lässt sich daher hinsichtlich der Skalenertragseigenschaften vermuten, dass dort nicht wie in der BWL (oder in der VWL)572 konstante, sondern variable Skalenerträge vorliegen und somit (bereits) hohe Synergieeffekte erzielt werden. Eine wichtige Voraussetzung für solche empirischen Analysen bzw. generell für jede praktische Umsetzung einer Performancemessung sind belastbare Daten. Die vom CHE für verschiedene Fächer erhobenen Daten sind zwar durchaus tragbar, aber doch sehr spezifisch und zudem auf die erstellten Rankings abgestimmt. Es erscheint daher sinnvoll, eine standardisierte, fachbezogene und verifizierbare Rechenschaftslegung der Hochschulen zu entwickeln und zu implementieren. Wenn derartige Bestrebungen vorangetrieben werden, könn-

571

572

Einen (kritischen) Überblick über verschiedene Fakten und Urteile zur Bewertung der Lehre liefert Krempkow (2007), S. 113ff. Eine erste Untersuchung der Daten des CHE-Forschungsrankings 2005 für volkswirtschaftliche Fachbereiche führt zu ähnlichen Ergebnissen annähernd konstanter Skalenerträge, sogar ohne Einschränkung hinsichtlich der Fachbereichsgröße (vgl. hierzu Dyckhoff et al. (2008)).

274

Kapitel 7: Resümee und Ausblick

te es schon bald weitaus mehr und deutlich bessere Möglichkeiten zur Performancemessung im Hochschulbereich geben als bisher, um letztlich Transparenz über die von Hochschulen erbrachten Leistungen zu schaffen.

Anhang

S. Rassenhövel, Performancemessung im Hochschulbereich, DOI 10.1007/978-3-8349-8733-4, © Gabler Verlag | Springer Fachmedien Wiesbaden GmbH 2010

276

Anhang A

Anhang

Anhang

277

Tabelle A-1: Daten des CHE-Forschungsrankings BWL 2005

FB

F1 F2 F3 F4 F5 F6 F7 F8 F9 F10 F11 F12 F13 F14 F15 F16 F17 F18 F19 F20 F21 F22 F23 F24 F25 F26 F27 F28 F29 F30 F31 F32 F33 F34 F35 F36 F37 F38 F39 F40 F41 F42 F43 F44 F45 F46 F47 F48 F49 F50 F51 F52 F53 F54 F55 F56 F57 F58 F59 F60 F61 F62 F63

Aachen Augsburg Bamberg Bayreuth Berlin ESCP-EAP Berlin FU Berlin HU Berlin TU Bielefeld Bochum Bremen Bruchsal Chemnitz Dortmund Dresden Duisburg Uni DE Düsseldorf Eichstätt-Ingolstadt Erlangen-Nürnberg Essen Uni DE Flensburg Frankfurt Main Frankfurt Oder Freiberg Gießen Göttingen Greifswald Halle-Wittenberg Hamburg UBW Hamburg Uni Hannover Hohenheim Ilmenau Jena Kaiserslautern Kiel Köln Köln Med. Fakultät Leipzig HH Leipzig Uni Lüneburg Magdeburg Mainz Mannheim Marburg München LMU München TU Münster Oestrich-Winkel Oldenburg Osnabrück Paderborn Passau Potsdam Regensburg Rostock Saarbrücken Siegen Stuttgart Trier Tübingen Vallendar Würzburg

PROFN

14 11 9 8 6 13 18 11 10 – 13 6 9 10 12 16 10 18 15 16 7 27 12 15 8 14 8 10 11 17 11 14 12 10 9 10 17 2 8 11 18 12 10 20 11 15 25 21 19 11 10 15 8 8 7 13 15 28 9 12 8 16 7

PROFS

WMAS

WISSS

8,0 14,0 9,0 10,0 7,3 14,0 11,0 9,7 6,0 – – 6,0 8,0 8,0 9,3 20,3 10,3 16,7 14,3 9,0 6,0 27,3 9,0 9,0 7,3 10,0 9,8 8,3 – 13,3 – 11,7 14,0 8,0 – 8,0 17,0 – 7,8 11,3 – 9,7 8,0 16,0 10,3 17,3 12,0 13,0 17,0 14,3 8,0 8,2 10,7 6,0 9,0 9,0 17,2 16,3 7,3 9,0 8,0 14,3 6,0

23,7 57,0 22,1 29,0 2,3 28,0 32,0 27,0 16,0 – – 2,7 23,0 26,0 27,7 47,7 22,7 32,0 61,5 38,0 5,0 66,0 22,3 14,5 22,7 33,5 13,8 21,3 – 59,2 – 24,3 41,0 24,8 – 13,3 67,2 – 21,2 17,7 – 32,0 23,0 84,8 20,3 91,0 35,3 48,0 47,3 21,3 15,3 14,3 35,4 13,0 27,0 24,8 61,2 14,9 17,0 25,5 20,3 47,3 18,5

31,7 71,0 31,1 39,0 9,7 42,0 43,0 36,7 22,0 – – 8,7 31,0 34,0 37,0 68,0 33,0 48,7 75,8 47,0 11,0 93,3 31,3 23,5 30,1 43,5 23,6 29,7 – 72,5 – 36,0 55,0 32,8 – 21,3 84,2 – 29,0 29,0 – 41,7 31,0 100,8 30,7 108,3 47,3 61,0 64,3 35,7 23,3 22,4 46,0 19,0 36,0 33,8 78,3 31,3 24,3 34,5 28,3 61,7 24,5

PUBL

63 89 28 37 18 105 32 71 35 – 85 11 61 29 90 106 51 97 113 60 11 92 27 57 51 47 36 46 26 87 83 68 37 38 62 51 104 6 31 19 53 31 44 159 48 144 128 139 117 21 26 58 33 46 50 61 124 64 90 50 39 218 32

PUBL pro PROFN

PROM

13,4 24,2 9,3 13,9 9,2 24,3 5,3 19,5 10,6 – 19,7 5,3 20,4 8,6 22,4 19,9 15,3 16,1 22,5 11,3 4,5 10,2 6,8 11,4 19,3 10,1 13,4 13,8 7,2 15,4 22,7 14,5 9,2 11,5 20,5 15,2 18,3 9,5 11,4 5,1 8,8 7,7 13,1 23,8 13,1 28,8 15,4 19,9 18,5 5,7 7,9 11,7 12,5 17,1 21,3 14,0 24,9 6,8 30,0 12,6 14,5 40,9 13,8

9,7 16,3 8,0 12,7 – 11,0 6,0 15,3 3,3 – – 0,3 8,3 9,0 6,3 15,3 3,3 14,7 13,3 6,3 3,0 17,3 8,0 9,0 6,0 18,0 4,7 3,7 – 13,7 – 13,0 5,7 4,0 – 4,7 23,7 – 5,0 9,7 – 4,7 12,0 25,0 9,7 25,7 12,7 25,0 19,7 12,3 2,7 6,0 7,3 5,3 13,3 7,7 16,7 3,0 11,0 8,0 6,0 20,0 8,0

PROM pro PROFS 1,2 1,2 0,9 1,3 – 0,8 0,5 1,6 0,6 – – 0,1 1,0 1,1 0,7 0,8 0,3 0,9 0,9 0,7 0,5 0,6 0,9 1,0 0,8 1,8 0,5 0,4 – 1,0 – 1,1 0,4 0,5 – 0,6 1,4 – 0,6 0,9 – 0,5 1,5 1,6 0,9 1,5 1,1 1,9 1,2 0,9 0,3 0,7 0,7 0,9 1,5 0,9 1,0 0,2 1,5 0,9 0,8 1,4 1,3

DM

DM pro WISSS

REPUT

634 275 345 512 50 436 837 160 19 – – 532 884 229 1496 523 59 409 604 951 467 2533 1184 339 37 721 689 354 – 455 – 1435 765 541 – 113 1077 – 972 437 – 433 288 2193 377 1363 3562 643 996 2343 479 474 721 97 334 105 2232 305 727 1408 268 292 518

20,0 3,9 11,1 13,1 5,2 10,4 19,5 4,4 0,9 – – 61,4 28,5 6,7 40,4 7,7 1,8 8,4 8,0 20,2 42,4 27,1 37,8 14,4 1,2 16,6 29,2 11,9 – 6,3 – 39,9 13,9 16,5 – 5,3 12,8 – 33,5 15,1 – 10,4 9,3 21,7 12,3 12,6 75,3 10,5 15,5 65,7 20,6 21,1 15,7 5,1 9,3 3,1 28,5 9,7 29,9 40,8 9,4 4,7 21,1

– – – – – 2,0 5,0 – – 1,7 – – – – – – – – 1,8 – – 8,9 – – – – – – – – – – – – – 3,3 10,8 – – – – – – 21,2 – 14,6 1,4 9,1 – – – – – – – – 1,6 – – – 1,1 2,1 –

278

Anhang

Tabelle A-2: Normierte Effektivitäts- und Effizienzwerte

FB

PUBL

PROM

DM

Totale Effektivität

FB

PUBL pro PROFN

PROM pro PROFS

DM pro WISSS

Totale Effizienz

F1 F2 F3 F4 F5 F6 F7 F8 F9 F10 F11 F12 F13 F14 F15 F16 F17 F18 F19 F20 F21 F22 F23 F24 F25 F26 F27 F28 F29 F30 F31 F32 F33 F34 F35 F36 F37 F38 F39 F40 F41 F42 F43 F44 F45 F46 F47 F48 F49 F50 F51 F52 F53 F54 F55 F56 F57 F58 F59 F60 F61 F62 F63

29 % 41 % 13 % 17 % 8% 48 % 15 % 33 % 16 % – 39 % 5% 28 % 13 % 41 % 49 % 23 % 44 % 52 % 28 % 5% 42 % 12 % 26 % 23 % 22 % 17 % 21 % 12 % 40 % 38 % 31 % 17 % 17 % 28 % 23 % 48 % 3% 14 % 9% 24 % 14 % 20 % 73 % 22 % 66 % 59 % 64 % 54 % 10 % 12 % 27 % 15 % 21 % 23 % 28 % 57 % 29 % 41 % 23 % 18 % 100 % 15 %

38 % 63 % 31 % 49 % – 43 % 23 % 60 % 13 % – – 1% 32 % 35 % 25 % 60 % 13 % 57 % 52 % 25 % 12 % 67 % 31 % 35 % 23 % 70 % 18 % 14 % – 53 % – 51 % 22 % 16 % – 18 % 92 % – 19 % 38 % – 18 % 47 % 97 % 38 % 100 % 49 % 97 % 77 % 48 % 11 % 23 % 28 % 21 % 52 % 30 % 65 % 12 % 43 % 31 % 23 % 78 % 31 %

18 % 8% 10 % 14 % 1% 12 % 23 % 4% 1% – – 15 % 25 % 6% 42 % 15 % 2% 11 % 17 % 27 % 13 % 71 % 33 % 10 % 1% 20 % 19 % 10 % – 13 % – 40 % 21 % 15 % – 3% 30 % – 27 % 12 % – 12 % 8% 62 % 11 % 38 % 100 % 18 % 28 % 66 % 13 % 13 % 20 % 3% 9% 3% 63 % 9% 20 % 40 % 8% 8% 15 %

28 % 37 % 18 % 27 % – 34 % 21 % 32 % 10 % – – 7% 28 % 18 % 36 % 41 % 13 % 38 % 40 % 26 % 10 % 60 % 26 % 24 % 16 % 37 % 18 % 15 % – 35 % – 41 % 20 % 16 % – 15 % 57 % – 20 % 20 % – 15 % 25 % 77 % 23 % 68 % 69 % 60 % 53 % 41 % 12 % 21 % 21 % 15 % 28 % 20 % 62 % 17 % 35 % 31 % 16 % 62 % 20 %

F1 F2 F3 F4 F5 F6 F7 F8 F9 F10 F11 F12 F13 F14 F15 F16 F17 F18 F19 F20 F21 F22 F23 F24 F25 F26 F27 F28 F29 F30 F31 F32 F33 F34 F35 F36 F37 F38 F39 F40 F41 F42 F43 F44 F45 F46 F47 F48 F49 F50 F51 F52 F53 F54 F55 F56 F57 F58 F59 F60 F61 F62 F63

33 % 59 % 23 % 34 % 22 % 59 % 13 % 48 % 26 % – 48 % 13 % 50 % 21 % 55 % 49 % 37 % 39 % 55 % 28 % 11 % 25 % 17 % 28 % 47 % 25 % 33 % 34 % 18 % 38 % 56 % 35 % 22 % 28 % 50 % 37 % 45 % 23 % 28 % 12 % 22 % 19 % 32 % 58 % 32 % 70 % 38 % 49 % 45 % 14 % 19 % 29 % 31 % 42 % 52 % 34 % 61 % 17 % 73 % 31 % 35 % 100 % 34 %

63 % 63 % 47 % 68 % – 42 % 26 % 84 % 32 % – – 5% 53 % 58 % 37 % 42 % 16 % 47 % 47 % 37 % 26 % 32 % 47 % 53 % 42 % 95 % 26 % 21 % – 53 % – 58 % 21 % 26 % – 32 % 74 % – 32 % 47 % – 26 % 79 % 84 % 47 % 79 % 58 % 100 % 63 % 47 % 16 % 37 % 37 % 47 % 79 % 47 % 53 % 11 % 79 % 47 % 42 % 74 % 68 %

27 % 5% 15 % 17 % 7% 14 % 26 % 6% 1% – – 82 % 38 % 9% 54 % 10 % 2% 11 % 11 % 27 % 56 % 36 % 50 % 19 % 2% 22 % 39 % 16 % – 8% – 53 % 18 % 22 % – 7% 17 % – 44 % 20 % – 14 % 12 % 29 % 16 % 17 % 100 % 14 % 21 % 87 % 27 % 28 % 21 % 7% 12 % 4% 38 % 13 % 40 % 54 % 12 % 6% 28 %

41 % 43 % 28 % 40 % – 38 % 22 % 46 % 20 % – – 33 % 47 % 29 % 48 % 34 % 19 % 33 % 38 % 30 % 31 % 31 % 38 % 33 % 30 % 47 % 33 % 24 % – 33 % – 49 % 21 % 25 % – 25 % 45 % – 35 % 27 % – 20 % 41 % 57 % 32 % 55 % 65 % 54 % 43 % 50 % 21 % 31 % 29 % 32 % 48 % 29 % 50 % 13 % 64 % 44 % 30 % 60 % 43 %

Anhang

Anhang B

279

280

Anhang

Neuskalierte Distanz

B

A

F7 F33 F39 F27 F34 F42 F21 F51 F12 F9 F17 F28 F58 F36 F54 F25 F61 F52 F56 F53 F63 F3 F14 F40 F43 F55 F4 F24 F45 F1 F13 F20 F23 F60 F15 F32 F50 F6 F59 F16 F18 F30 F19 F2 F8 F26 F22 F57 F47 F37 F49 F46 F48 F44 F62

Abbildung B-1: Effektivitätsdendrogramm (mit Zwei-Clusterlösung)

Anhang

281

Neuskalierte Distanz 0

E

D

C

5

10

15

20

F20 F52 F53 F22 F39 F27 F24 F45 F3 F14 F40 F9 F36 F17 F33 F42 F28 F34 F7 F51 F58 F18 F54 F30 F56 F61 F6 F19 F16 F25 F2 F32 F60 F23 F13 F57 F15 F47 F50 F12 F21 F1 F63 F37 F49 F4 F43 F8 F55 F48 F26 F44 F46 F59 F62

Abbildung B-2: Effizienzdendrogramm (mit Drei-Clusterlösung)

25

282

Anhang

Neuskalierte Distanz

B4

B3

B2

B1

A2

A1

F7 F33 F39 F27 F34 F42 F21 F51 F12 F9 F17 F28 F58 F36 F54 F25 F61 F52 F56 F53 F63 F3 F14 F40 F43 F55 F4 F24 F45 F1 F13 F20 F23 F60 F15 F32 F50 F6 F59 F16 F18 F30 F19 F2 F8 F26 F22 F57 F47 F37 F49 F46 F48 F44 F62

Abbildung B-3: Effektivitätsdendrogramm (mit Sechs-Clusterlösung)

Anhang

283

Neuskalierte Distanz 0

E2

E1

D2

D1

C2

C1

5

10

15

20

F20 F52 F53 F22 F39 F27 F24 F45 F3 F14 F40 F9 F36 F17 F33 F42 F28 F34 F7 F51 F58 F18 F54 F30 F56 F61 F6 F19 F16 F25 F2 F32 F60 F23 F13 F57 F15 F47 F50 F12 F21 F1 F63 F37 F49 F4 F43 F8 F55 F48 F26 F44 F46 F59 F62

Abbildung B-4: Effizienzdendrogramm (mit Sechs-Clusterlösung)

25

284

Anhang

Tabelle B-1: Statistische Werte der Effektivitäts- und Effizienzcluster Arithmetisches Mittel Cluster

t-Wert

F-Wert

n PUBL

PROM

DM

Totale Effektivität

PUBL

PROM

DM

PUBL

PROM

DM

A1

6

67 %

90 %

31 %

63 %

1,97

2,07

0,50

0,78

0,15

0,74

A2

3

53 %

61 %

78 %

64 %

1,19

0,84

2,92

0,15

0,11

0,67

A

9

62 %

80 %

46 %

63 %

1,71

1,66

1,30

0,71

0,48

2,02

B1

9

41 %

56 %

13 %

37 %

0,58

0,63

–0,39

0,21

0,12

0,07

B2

7

25 %

35 %

39 %

33 %

–0,28

–0,24

0,92

0,28

0,16

0,42

B3

11

18 %

38 %

12 %

23 %

–0,62

–0,08

–0,46

0,10

0,09

0,04

B4

19

18 %

17 %

11 %

16 %

–0,62

–0,95

–0,51

0,12

0,07

0,16

B

46

24 %

33 %

16 %

24 %

–0,33

–0,32

–0,26

0,38

046

0,40

Gesamt

55

30 %

40 %

21 %

30 %

Cluster

n

Arithmetisches Mittel

t-Wert

F-Wert

PUBL pro PROFN

PROM pro PROFS

DM pro WISSS

Totale Effizienz

PUBL pro PROFN

PROM pro PROFS

DM pro WISSS

PUBL pro PROFN

PROM pro PROFS

DM pro WISSS

C1

4

75 %

79 %

23 %

59 %

2,26

1,41

–0,11

0,79

0,03

0,35

C2

10

40 %

77 %

18 %

45 %

0,16

1,34

–0,36

0,26

0,31

0,09

C

14

50 %

78 %

19 %

49 %

0,76

1,36

–0,29

1,30

0,23

0,18

D1

4

19 %

34 %

81 %

45 %

–1,04

–0,67

2,65

0,40

0,89

0,56

D2

6

41 %

49 %

48 %

46 %

0,27

0,02

1,07

0,79

0,09

0,11 0,89

D

10

32 %

43 %

61 %

46 %

–0,25

–0,25

1,70

1,04

0,53

E1

10

46 %

47 %

8%

34 %

0,53

–0,06

–0,79

0,28

0,08

0,03

E2

21

26 %

32 %

20 %

26 %

–0,64

–0,76

–0,24

0,17

0,33

0,27

E

31

32 %

37 %

16 %

29 %

–0,26

–0,53

–0,42

0,50

0,36

0,26

Gesamt

55

37 %

49 %

25 %

37 %

Literaturverzeichnis Adam, D. (1996) Planung und Entscheidung. 4. Aufl., Wiesbaden. Ahn, H. (2003) Effektivitäts- und Effizienzsicherung. Frankfurt am Main et al. Ahn, H./Dyckhoff, H./Gilles, R. (2007) Datenaggregation zur Leistungsbeurteilung durch Ranking: Vergleich der CHE- und DEAMethodik sowie Ableitung eines Kompromissansatzes. In: Zeitschrift für Betriebswirtschaft 77, S. 615–643. Albach, H. (1985) Lehre und Forschung als Kuppelproduktion. In: Zeitschrift für Betriebswirtschaft 55, S. 862– 864. Albers, S./Hildebrandt, L. (2006) Methodische Probleme bei der Erfolgsfaktorenforschung – Messfehler, formative versus reflektive Indikatoren und die Wahl des Strukturgleichungs-Modells. In: Zeitschrift für betriebswirtschaftliche Forschung 58, S. 2–33. Alewell, K. (1988) Beurteilung der Leistungen von Hochschulen. In: Daniel, H.-D./Fisch, R. (Hrsg.), Evaluation von Forschung, Konstanz, S. 41–58. Allen, K. (2002) Messung ökologischer Effizienz mittels Data Envelopment Analysis. Wiesbaden. ArbnErfG (2002) Arbeitnehmererfindungsgesetz (ArbnErfG) vom 25. Juli 1957 (BGBl I S. 756), zuletzt geändert durch Artikel 1 des Gesetzes vom 18. Januar 2002 (BGBl. I S. 414). Athanassopoulos, A.D./Shale, E. (1997) Assessing the Comparative Efficiency of Higher Education Institutions in the UK by Means of Data Envelopment Analysis. In: Education Economics 5, S. 117–134. Autorengruppe Bildungsberichterstattung (Hrsg.) (2008) Bildung in Deutschland 2008. Bielefeld. Bacher, J. (1996) Clusteranalyse. 2. Aufl., München/Wien. Backes-Gellner, U. (1989a) Ökonomie der Hochschulforschung. Wiesbaden. Backes-Gellner, U. (1989b) Zum Verhältnis von Forschung und Lehre in sozialwissenschaftlichen Fachbereichen. In: Helberger, C. (Hrsg.), Ökonomie der Hochschule I, Berlin, S. 51–76.

S. Rassenhövel, Performancemessung im Hochschulbereich, DOI 10.1007/978-3-8349-8733-4, © Gabler Verlag | Springer Fachmedien Wiesbaden GmbH 2010

286

Literaturverzeichnis

Backes-Gellner, U. (1993) Zur Effizienz betriebswirtschaftlicher Forschung im deutsch-amerikanischen Vergleich. In: Zeitschrift für Betriebswirtschaft, Ergänzungsheft 3/93, S. 97–110. Backes-Gellner, U./Zanders, E. (1989) Lehre und Forschung als Verbundproduktion – Data-Envelopment-Analysen und organisationsökonomische Interpretationen der Realität in wirtschaftswissenschaftlichen Fachbereichen. In: Zeitschrift für Betriebswirtschaft 59, S. 271–290. Backhaus, K./Erichson, B./Plinke, W./Weiber, R. (2006) Multivariate Analysemethoden. 11. Aufl., Berlin et al. Bagozzi, R.P./Fornell, C. (1982) Theoretical Concepts, Measurements, and Meaning. In: Fornell, C. (Hrsg.), A Second Generation of Multivariate Analysis – Volume 2: Measurement and Evaluation, New York, S. 24– 38. Balderjahn, I. (2003) Validität – Konzept und Methoden. In: Wirtschaftswissenschaftliches Studium 32, S. 130–135. Bamberg, G./Coenenberg, A.G. (2004) Betriebswirtschaftliche Entscheidungslehre. 12. Aufl., München. Banker, R.D./Charnes, A./Cooper, W.W. (1984) Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis. In: Management Science 30, S. 1078–1092. Bargel, T./Ramm, M./Multrus, F. (2008) Studiensituation und studentische Orientierungen – 10. Studierendensurvey an Universitäten und Fachhochschulen. Bundesministerium für Bildung und Forschung (Hrsg.), Bonn/Berlin. Bargel, T./Röhl, T. (2006) Wissenschaftlicher Nachwuchs unter den Studierenden. Bundesministerium für Bildung und Forschung (Hrsg.), Bonn/Berlin. Bayer, C.R. (2000) Anspruch und Wirklichkeit von Hochschul-Ranking: Vorschlag einer allgemeinen Methodik. In: Die Betriebswirtschaft 60, S. 547–569. Bayer, C.R. (2004) Hochschul-Ranking: Vorschlag eines ganzheitlichen Ranking-Verfahrens. Berlin. Beasley, J.E. (1990) Comparing University Departments. In: Omega 18, S. 171–183. Beasley, J.E. (1995) Determining Teaching and Research Efficiencies. In: Journal of the Operational Research Society 46, S. 441–452.

Literaturverzeichnis

287

Becker, F.G. (2003) Grundlagen betrieblicher Leistungsbeurteilungen. 4. Aufl., Stuttgart. Becker, W./Benz, K. (1997) Effizienz-Verständnis und Effizienz-Instrumente des Controlling – Ergebnisse einer empirischen Untersuchung in deutschen Unternehmen. In: Die Betriebswirtschaft 57, S. 655–671. Bentham, G. (1987) An Evaluation of the UGC’s Ratings of the Research of British University Geography Departments. In: Area 19, S. 147–154. Berghoff, S. (2005) Das CHE Forschungsranking – Forschungsaktivität an deutschen Universitäten im Vergleich. In: Beiträge zur Hochschulpolitik 6/2005, S. 71–76. Berghoff, S./Federkeil, G./Giebisch, P./Hachmeister, C.-D./Müller-Böling, D. (2002a) Das Forschungsranking deutscher Universitäten – Analysen und Daten im Detail. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 40, Gütersloh. Berghoff, S./Federkeil, G./Giebisch, P./Hachmeister, C.-D./Müller-Böling, D. (2002b) Das Hochschulranking – Vorgehensweise und Indikatoren. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 36, Gütersloh. Berghoff, S./Federkeil, G./Giebisch, P./Hachmeister, C.-D./Müller-Böling, D. (2005a) Das CHE ForschungsRanking deutscher Universitäten 2005. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 70, Gütersloh. Berghoff, S./Federkeil, G./Giebisch, P./Hachmeister, C.-D./Müller-Böling, D./Siekermann, M. (2005b) Das HochschulRanking – Vorgehensweise und Indikatoren. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 63, Gütersloh. Berghoff, S./Federkeil, G./Giebisch, P./Hachmeister, C.-D./Hennings, M./Müller-Böling, D. (2006a) Das CHE ForschungsRanking deutscher Universitäten 2006. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 79, Gütersloh. Berghoff, S./Federkeil, G./Giebisch, P./Hachmeister, C.-D./Müller-Böling, D./Rölle, D. (2006b) CHE-HochschulRanking 2006 – Vorgehensweise und Indikatoren. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 75, Gütersloh. Berghoff, S./Federkeil, G./Giebisch, P./Hachmeister, C.-D./Hennings, M./Müller-Böling, D. (2007) CHE-HochschulRanking – Vorgehensweise und Indikatoren – 2007. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 88, Gütersloh.

288

Literaturverzeichnis

Berghoff, S./Federkeil, G./Giebisch, P./Hachmeister, C.-D./Hennings, M./Müller-Böling, D. (2008a) Das CHE-ForschungsRanking deutscher Universitäten 2007. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 102, Gütersloh. Berghoff, S./Federkeil, G./Giebisch, P./Hachmeister, C.-D./Hennings, M./Müller-Böling, D./Roessler, I. (2008b) CHE-HochschulRanking – Vorgehensweise und Indikatoren – 2008. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 106, Gütersloh. Berghoff, S./Federkeil, G./Giebisch, P./Hachmeister, C.-D./Hennings, M./Roessler, I./ Ziegele, F. (2008c) Das CHE-Forschungsranking deutscher Universitäten 2008. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 114, Gütersloh. Berghoff, S./Hornbostel, S. (2003) Das CHE hinter den sieben Bergen. In: Perspektiven der Wirtschaftspolitik 4, S. 191–195. Block, H.-J./Hornbostel, S./Neidhardt, F. (1992) Drittmittel als Indikator der Hochschulforschung. Bildung – Wissenschaft – Aktuell 5/92. BMBF (2000) Begründung zu Änderungsvorschlag für § 42 Arbeitnehmererfindungsgesetz der BundLänder-Kommission für Bildungsplanung und Forschungsförderung (BLK). Im Internet: http://www.bmbf.de/pub/blk3010.pdf (25. Februar 2009). BMBF (2008) Memorandum zum nationalen Pakt für Frauen in MINT-Berufen. Berlin. Im Internet: http://www.bmbf.de/pub/pakt_zu_mint_berufen.pdf (28. November 2008). Bolsenkötter, H. (Hrsg.) (1976) Ökonomie der Hochschule – Band I. Baden-Baden. Bolsenkötter, H. (1986) Ansätze zur Erfassung und Beurteilung von Forschungsleistungen. In: Fisch, R./Daniel, H.-D. (Hrsg.), Messung und Förderung von Forschungsleistung, Konstanz, S. 41–49. Bommer, R./Ursprung, H.W. (1998) Spieglein, Spieglein an der Wand – Eine publikationsanalytische Erfassung der Forschungsleistungen volkswirtschaftlicher Fachbereiche in Deutschland, Österreich und der Schweiz. In: Zeitschrift für Wirtschafts- und Sozialwissenschaften 118, S. 1–28. Bonaccorsi, A./Daraio, C./Simar, L. (2006) Advanced Indicators of Productivity of Universities. An Application of Robust Nonparametric Methods to Italian Data. In: Scientometrics 66, S. 389–410. Borchardt, K. (1978) Wissenschaftliche Literatur als Medium wissenschaftlichen Fortschritts. In: Jahrbücher für Nationalökonomie und Statistik 193, S. 481–499.

Literaturverzeichnis

289

Bortz, J. (1999) Statistik für Sozialwissenschaftler. 5. Aufl., Berlin et al. Brandenburg, U./Federkeil, G. (2007) Wie misst man Internationalität und Internationalisierung von Hochschulen? Indikatoren- und Kennzahlenbildung. Centrum für Hochschulentwicklung (Hrsg.), Arbeitspapier Nr. 83, Gütersloh. Brenzikofer, B. (2002) Reputation von Professoren. München/Mering. Brinkmann, G. (1991) Die Produktionsfunktion der Universität. In: Helberger, C. (Hrsg.), Ökonomie der Hochschule II, Berlin, S. 53–71. Bunzmann, J. (2005) Wettbewerbsdiskurs. In: Krücken, G. (Hrsg.), Hochschulen im Wettbewerb, Endbericht des Lehrforschungsprojektes, Fakultät für Soziologie, Universität Bielefeld, Bielefeld, S. 37–67. Buschor, E. (2002) Evaluation und New Public Management. In: Zeitschrift für Evaluation 1, S. 61–73. Camp, R.C. (1994) Benchmarking. München/Wien. Campanario, J.M. (1993) Consolation for the Scientist: Sometimes It Is Hard to Publish Papers That Are Later HighlyCited. In: Social Studies of Science 23, S. 342–362. Campanario, J.M. (1995) Commentary – On Influential Books and Journal Articles Initially Rejected Because of Negative Referees’ Evaluations. In: Science Communication 16, S. 304–325. Campanario, J.M. (1996) The Competition for Journal Space among Referees, Editors, and Other Authors and Its Influence on Journals’ Impact Factors. In: Journal of the American Society for Information Science 47, S. 184–192. Cave, M./Hanney, S./Henkel, M./Kogan, M. (1997) The Use of Performance Indicators in Higher Education. 3. Aufl., London/Bristol. Cawkell, T./Garfield, E. (2001) Institute for Scientific Information. In: Information Services & Use 21, S. 79–86. Chalmers, A.F. (1999) Grenzen der Wissenschaft. Berlin et al. Charnes, A./Cooper, W.W./Lewin, A.Y./Seiford, L.M. (Hrsg.) (1994) Data Envelopment Analysis. Boston et al.

290

Literaturverzeichnis

Charnes, A./Cooper, W.W./Rhodes, E. (1978) Measuring the Efficiency of Decision Making Units. In: European Journal of Operational Research 2, S. 429–444. CHE (2004a) Das Hochschulranking 2005 – Befragung von Professorinnen und Professoren. Fragebogen des Centrums für Hochschulentwicklung, Gütersloh. CHE (2004b) Fachbereichsbefragung Hochschulranking 2005. Fragebogen des Centrums für Hochschulentwicklung, Gütersloh. CHE (2004c) Liste der Professoren für die Professoren-Befragung (zum Hochschulranking 2005). Fragebogen des Centrums für Hochschulentwicklung, Gütersloh. CHE (2007) Fachbereichsbefragung CHE-Ranking 2008. Fragebogen des Centrums für Hochschulentwicklung, Gütersloh. CHE (2008) „Enfant terrible“ des Hochschulsystems bekommt „Goldenen Ehrenring“ der TU München. In: News des Centrums für Hochschulentwicklung vom 23. Juni 2008. Im Internet: http://www.che-concept.de/cms/?getObject=5&getNewsID=823&getCB=212&getLang=de (26. März 2009). CHE (2009) EU fördert Entwicklung eines Konzeptes für globales Ranking. In: CHEck up 1/2009, S. 7. Clermont, M. (2009) Erfassung betriebswirtschaftlich relevanter Zeitschriften in Literaturdatenbanken – Analyse hinsichtlich Vollständigkeit und Schlussfolgerungen für die Literatursuche und die Messung der Forschungsleistung. Arbeitsbericht des Lehrstuhls für Unternehmenstheorie, insbesondere Nachhaltige Produktion und Industrielles Controlling der RWTH Aachen University, Aachen. Clermont, M./Schmitz, C. (2008) Erfassung betriebswirtschaftlich relevanter Zeitschriften in den ISI-Datenbanken sowie der Scopus-Datenbank. In: Zeitschrift für Betriebswirtschaft 78, S. 987–1010. Cohen, J.E. (1980) Publication Rate as a Function of Laboratory Size in a Biomedical Research Institution. In: Scientometrics 2, S. 35–52. Cohen, J.E. (1991) Size, Age and Productivity of Scientific and Technical Research Groups. In: Scientometrics 20, S. 395–416. Cook, W.D./Zhu, J. (2005) Modeling Performance Measurement. New York.

Literaturverzeichnis

291

Cooper, W.W./Seiford, L.M./Tone, K. (2006) Introduction to Data Envelopment Analysis and Its Uses. New York. Corsten, H. (1993) Dienstleistungsproduktion. In: Wittmann, W./Kern, W./Köhler, R./Küpper, H.-U./von Wysocki, K. (Hrsg.), Handwörterbuch der Betriebswirtschaft – Teilband 1: A–H, 5. Aufl., Stuttgart, Sp. 765–776. Corsten, H./Gössinger, R. (2008) Lexikon der Betriebswirtschaftslehre. 5. Aufl., München. Daniel, H.-D. (1998) Beiträge der empirischen Hochschulforschung zur Evaluierung von Forschung und Lehre: Hochschul-Ranking – Studentische Beurteilung von Lehrveranstaltungen – Selbststeuerung der Wissenschaft durch Peer-Review. In: Teichler, U./Daniel, H.-U./Enders, J. (Hrsg.), Brennpunkt Hochschule, Frankfurt am Main/New York, S. 11–53. Dee, T.S. (2004) Are There Civic Returns to Education? In: Journal of Public Economics 88, S. 1697–1720. De Solla Price, D.J. (1974) Little Science, Big Science. Frankfurt am Main. DFG (Hrsg.) (2005) Publikationsstrategien im Wandel? Bonn. DFG (Hrsg.) (2006) Förder-Ranking 2006. Bonn. Diamantopoulos, A./Winklhofer, H.M. (2001) Index Construction with Formative Indicators: An Alternative to Scale Development. In: Journal of Marketing Research 38, S. 269–277. Diekmann, A. (2008) Empirische Sozialforschung. 19. Aufl., Reinbek bei Hamburg. Dilger, A. (2000) Plädoyer für einen Sozialwissenschaftlichen Zitationsindex. In: Die Betriebswirtschaft 60, S. 473–484. DPMA (Hrsg.) (2007) DEPATISnet – Internetzugriff auf das Patentdokumentenarchiv DEPATIS. Informationsblatt des Deutschen Patent- und Markenamts, München. DPMA (Hrsg.) (2008a) Gebrauchsmuster – Eine Informationsbroschüre zum Gebrauchsmusterschutz. Informationsbroschüre des Deutschen Patent- und Markenamts, München.

292

Literaturverzeichnis

DPMA (Hrsg.) (2008b) Patente – Eine Informationsbroschüre zum Patent. Informationsbroschüre des Deutschen Patent- und Markenamts, München. Dyckhoff, H. (1994) Betriebliche Produktion. 2. Aufl., Berlin et al. Dyckhoff, H. (2003a) Eine moderne Konzeption der Produktionstheorie. In: Wildemann, H. (Hrsg.), Moderne Produktionskonzepte für Güter- und Dienstleistungsproduktionen, München, S. 13–32. Dyckhoff, H. (2003b) Neukonzeption der Produktionstheorie. In: Zeitschrift für Betriebswirtschaft 73, S. 705–732. Dyckhoff, H. (2006a) Analyse der Werbeeffizienz mit Advanced DEA. In: Bauer, H.H./Staat, M./Hammerschmidt, M. (Hrsg.), Marketingeffizienz, München, S. 167–186. Dyckhoff, H. (2006b) Produktionstheorie. 5. Aufl., Berlin et al. Dyckhoff, H./Ahn, H. (1998) Integrierte Alternativengenerierung und -bewertung – Überlegungen zu einem von der Entscheidungslehre vernachlässigten Thema. In: Die Betriebswirtschaft 58, S. 49–63. Dyckhoff, H./Ahn, H. (2001) Sicherstellung der Effektivität und Effizienz der Führung als Kernfunktion des Controlling. In: Kostenrechnungspraxis 45, S. 111–121. Dyckhoff, H./Ahn, H./Rassenhövel, S./Sandfort, K. (2008) Skalenerträge der Forschung wirtschaftswissenschaftlicher Fachbereiche – Empirische Ergebnisse und ihre Interpretation. In: Hochschulmanagement 3, S. 62–66. Dyckhoff, H./Clermont, M./Rassenhövel, S. (2007) Industrielle Dienstleistungsproduktion. In: Corsten, H./Missbauer, H. (Hrsg.), Produktionsund Logistikmanagement, München, S. 3–22. Dyckhoff, H./Gilles, R. (2004) Messung der Effektivität und Effizienz produktiver Einheiten. In: Zeitschrift für Betriebswirtschaft 74, S. 765–783. Dyckhoff, H./Rassenhövel, S./Gilles, R./Schmitz, C. (2005) Beurteilung der Forschungsleistung und das CHE-Forschungsranking betriebswirtschaftlicher Fachbereiche. In: Wirtschaftswissenschaftliches Studium 34, S. 62–69. Dyckhoff, H./Rassenhövel, S./Sandfort, K. (2009) Empirische Produktionsfunktion betriebswirtschaftlicher Forschung: Eine Analyse der Daten des Centrums für Hochschulentwicklung. In: Zeitschrift für betriebswirtschaftliche Forschung 61, S. 22–56.

Literaturverzeichnis

293

Dyckhoff, H./Schmitz, C. (2007) Forschungsleistungsmessung mittels SSCI oder SCI–X? Internationale Sichtbarkeit und Wahrnehmung der Betriebswirtschaftslehre von 1990 bis 2004. In: Die Betriebswirtschaft 67, S. 638–662. Dyckhoff, H./Spengler, T.S. (2007) Produktionswirtschaft. 2. Aufl., Berlin et al. Eberl, M. (2004) Formative und reflektive Indikatoren im Forschungsprozess: Entscheidungsregeln und die Dominanz des reflektiven Modells. In: Schriften zur Empirischen Forschung und Quantitativen Unternehmensplanung der Ludwig-Maximilians-Universität München, Heft 19. Eberl, M. (2006) Formative und reflektive Konstrukte und die Wahl des Strukturgleichungsverfahrens – Eine statistische Entscheidungshilfe. In: Die Betriebswirtschaft 66, S. 651–668. Eckey, H.-F./Kosfeld, R./Rengers, M. (2002) Multivariate Statistik. Wiesbaden. Einstein, A. (1905) Zur Elektrodynamik bewegter Körper. In: Annalen der Physik 17, S. 891–921. Eisenführ, F./Weber, M. (2003) Rationales Entscheiden. 4. Aufl., Berlin et al. Ellison, G. (2002) The Slowdown of the Economics Publishing Process. In: Journal of Political Economy 110, S. 947–993. Elschen, R. (2006) Hochschulranking – Hochschulrating. (Be-)Wertung und Wertschöpfung im Netzwerk einer Universität. In: Blecker, T./Gemünden, H.G. (Hrsg.), Wertschöpfungsnetzwerke, Berlin, S. 413–428. Enders, J./Mugabushaka, A.-M. (2004) Wissenschaft und Karriere. Deutsche Forschungsgemeinschaft (Hrsg.), Bonn. Engelhardt, W.H./Kleinaltenkamp, M./Reckenfelderbäumer, M. (1993) Leistungsbündel als Absatzobjekte – Ein Ansatz zur Überwindung der Dichotomie von Sachund Dienstleistungen. In: Zeitschrift für betriebswirtschaftliche Forschung 45, S. 395–426. Esser, J. (2001) Entscheidungsorientierte Erweiterung der Produktionstheorie. Frankfurt am Main et al. Esser, H./Klenovits, K./Zehnpfennig, H. (1977) Wissenschaftstheorie – Band 1: Grundlagen und analytische Wissenschaftstheorie. Stuttgart.

294

Literaturverzeichnis

Europäische Kommission (Hrsg.) (2005) Europäische Charta für Forscher – Verhaltenskodex für die Einstellung von Forschern. Brussels. Ewert, G./Umstätter, W. (1997) Lehrbuch der Bibliotheksverwaltung. Stuttgart. Fandel, G. (2003) Zur Leistung nordrhein-westfälischer Universitäten – Gegenüberstellung einer Verteilungslösung und der Effizienzmaße einer Data Envelopment Analysis. In: Backes-Gellner, U./ Schmidtke, C. (Hrsg.), Hochschulökonomie, Berlin, S. 33–50. Fandel, G. (2005) Produktion I. 6. Aufl., Berlin et al. Fandel, G. (2007) On the Performance of Universities in North Rhine-Westphalia, Germany: Government’s Redistribution of Funds Judged Using DEA Efficiency Measures. In: European Journal of Operational Research 176, S. 521–533. Faust, K. (1993) Patentanmeldungen als Indikator von technologischen Entwicklungen – Ergebnisse und Erfahrungen mit der ifo Patentstatistik. In: Europäisches Patentamt/ifo Institut für Wirtschaftsforschung (Hrsg.), Ergebnisse und Methoden der ökonomischen Patentforschung, München, S. 155–172. Feess, E. (2004) Mikroökonomie. 3. Aufl., Marburg. Fischer, K. (2002) Ist Evaluation unvermeidlich innovationshemmend? Eine Reinterpretation der Kuhnschen Sicht der Wissenschaftsdynamik. In: Pipp, E. (Hrsg.), Drehscheibe E-Mitteleuropa, Wien, S. 109–128. Fischer, H.-L. (2007) Bologna macht ratlos. In: Wirtschaftswissenschaftliches Studium 36, S. 170–176. Fließ, S. (2001) Die Steuerung von Kundenintegrationsprozessen. Wiesbaden. FOCUS (2007) Uni-Ranking. In: FOCUS, Nr. 19 vom 07. Mai 2007, S. 84–110. Førsund, F.R./Kalhagen, K.O. (1999) Efficiency and Productivity of Norwegian Colleges. In: Westermann, G. (Hrsg.), Data Envelopment Analysis in the Service Sector, Wiesbaden, S. 269–308.

Literaturverzeichnis

295

Franck, E./Opitz, C. (2004) Zur Filterleistung von Hochschulsystemen – Bildungswege von Topmanagern in den USA, Frankreich und Deutschland. In: Zeitschrift für betriebswirtschaftliche Forschung 56, S. 72– 86. Freeman, R.E. (1984) Strategic Management. Boston et al. Frey, B.S. (2007) Evaluierungen, Evaluierungen … Evaluitis. In: Perspektiven der Wirtschaftspolitik 8, S. 207– 220. Frey, B.S./Neckermann, S. (2006) Auszeichnungen: Ein vernachlässigter Anreiz. In: Perspektiven der Wirtschaftspolitik 7, S. 271–284. Fröhlich, G. (2006) „Informed Peer Review“ – Ausgleich der Fehler und Verzerrungen? In: Beiträge zur Hochschulpolitik 1/2006 – Band I, S. 193–204. GebrMG (2008) Gebrauchsmustergesetz (GebrMG) in der Fassung der Bekanntmachung vom 28. August 1986 (BGBl. I S. 1455), zuletzt geändert durch Artikel 83b des Gesetzes vom 17. Dezember 2008 (BGBl. I S. 2586). GG (2009) Grundgesetz (GG) für die Bundesrepublik Deutschland vom 23. Mai 1949 (BGBl. S. 1), zuletzt geändert durch Artikel 1 des Gesetzes vom 19. März 2009 (BGBl. I S. 606). Giese, E. (1988) Leistungsmessung Wissenschaftlicher Hochschulen in der Bundesrepublik Deutschland. In: Daniel, H.-D./Fisch, R. (Hrsg.), Evaluation von Forschung, Konstanz, S. 59–92. Gilles, R. (2005) Performance Measurement mittels Data Envelopment Analysis. Lohmar/Köln. Gillett, R. (1989) Research Performance Indicators Based on Peer Review: A Critical Analysis. In: Higher Education Quarterly 43, S. 20–38. Gleich, R./Haindl, M. (1996) Performance Measurement im Controlling am Beispiel eines Unternehmens der chemischen Industrie. In: Controlling 8, S. 262–271. Gutenberg, E. (1983) Grundlagen der Betriebswirtschaftslehre – Band I: Die Produktion. 24. Aufl., Berlin et al. Gutierrez, M. (2005) Effizienzmessung in Hochschulen. Wiesbaden.

296

Literaturverzeichnis

Haller, S. (1995) Beurteilung von Dienstleistungsqualität. Wiesbaden. Hartung, J./Elpelt, B. (1999) Multivariate Statistik. 6. Aufl., München/Wien. Haslinger, F. (1994) Effizienzvergleiche als Grundlage der Hochschulpolitik – Einige kritische Anmerkungen. In: Grözinger, G./Hödl, E., Hochschulen im Niedergang? Marburg, S. 165–172. Heiber, H. (1983) Messung von Forschungsleistungen der Hochschulen. Baden-Baden. Heine, C./Spangenberg, H./Schreiber, J./Sommer, D. (2005) Studienanfänger 2003/04 und 2004/05 – Bildungswege, Motive der Studienentscheidung und Gründe der Hochschulwahl. HIS-Kurzinformation A 15/2005. Hennig-Thurau, T. (1999) Bessere Lehre durch Organisationales Lernen. In: Stauss, B./Balderjahn, I./Wimmer, F. (Hrsg.), Dienstleistungsorientierung in der universitären Ausbildung, Stuttgart, S. 501–539. Hennig-Thurau, T./Walsh, G./Schrader, U. (2004) VHB-JOURQUAL: Ein Ranking von betriebswirtschaftlich-relevanten Zeitschriften auf der Grundlage von Expertenurteilen. In: Zeitschrift für betriebswirtschaftliche Forschung 56, S. 520–545. HFG (2007) Hochschulfreiheitsgesetz (HFG) Nordrhein-Westfalen vom 31. Oktober 2006 (GV. NRW. S. 474). Hildebrandt, L. (2000) Hypothesenbildung und empirische Überprüfung. In: Herrmann, A./Homburg, C. (Hrsg.), Marktforschung, 2. Aufl., Wiesbaden, S. 33–57. Hilke, W. (1989) Dienstleistungs-Marketing. Wiesbaden. HIS/ZEW (2003) Indikatoren zur Ausbildung im Hochschulbereich – Bericht für 2003 im Rahmen des Berichtssystems zur Technologischen Leistungsfähigkeit Deutschlands. HIS-Kurzinformation A3/2003. Homburg, C./Giering, A. (1996) Konzeptualisierung und Operationalisierung komplexer Konstrukte – Ein Leitfaden für die Marketingforschung. In: Marketing – Zeitschrift für Forschung und Praxis 18, S. 5–24. Hornbostel, S. (1997) Wissenschaftsindikatoren. Opladen.

Literaturverzeichnis

297

Hornbostel, S. (2001a) Der Studienführer des CHE – ein multidimensionales Ranking. In: Engel, U. (Hrsg.), Hochschul-Ranking, Frankfurt am Main/New York, S. 83–120. Hornbostel, S. (2001b) Third Party Funding of German Universities. An Indicator of Research Activity? In: Scientometrics 50, S. 523–537. Hornbostel, S. (2004) Leistungsparameter und Ratings in der Forschung. In: Beiträge zur Hochschulpolitik 9/2004, S. 173–187. Hornbostel, S./Heise, S. (2006) Die Rolle von Drittmitteln in der Steuerung von Hochschulen. In: Berthold, C. (Hrsg.), Handbuch Wissenschaftsfinanzierung, Berlin, Teil B 1.1, S. 1–34. Horstkötter, A. (2008) Ökonomik der Universität. Marburg. HRK (Hrsg.) (2004) Bologna-Reader. Beiträge zur Hochschulpolitik 8/2004. HRK (Hrsg.) (2007) Bologna-Reader II. Beiträge zur Hochschulpolitik 5/2007. IREG (2006) Berlin Principles on Ranking of Higher Education Institutions. Ergebnisse des zweiten Meetings der International Ranking Expert Group, Berlin. Im Internet: http://www.che.de/down loads/Berlin_Principles_IREG_534.pdf (26. März 2009). IREG-Observatory (2008) Pressemitteilung des IREG-International Observatory on Academic Ranking and Excellence vom 18. April 2008, Warsaw. Im Internet: http://www.ireg-observatory.org/index.php?option= com_content&task=blogcategory&id=2&Itemid=2 (26. März 2009). Jansen, D./Wald, A./Franke, K./Schmoch, U./Schubert, T. (2007) Drittmittel als Performanzindikator der wissenschaftlichen Forschung – Zum Einfluss von Rahmenbedingungen auf Forschungsleistung. In: Kölner Zeitschrift für Soziologie und Sozialpsychologie 59, S. 125–149. Johnes, G. (1988) Research Performance Indicators in the University Sector. In: Higher Education Quarterly 42, S. 54–71. Johnes, G. (1992) Performance Indicators in Higher Education: A Survey of Recent Work. In: Oxford Review of Economic Policy 8 (2), S. 19–34.

298

Literaturverzeichnis

Johnes, J. (2004) Efficiency Measurement. In: Johnes, G./Johnes, J. (Hrsg.), International Handbook on the Economics of Education, Cheltenham, S. 613–742. Johnes, G./Johnes, J. (1992) Apples and Oranges: The Aggregation Problem in Publications Analysis. In: Scientometrics 25, S. 353–365. Johnes, G./Johnes, J. (1993) Measuring the Research Performance of UK Economics Departments: An Application of Data Envelopment Analysis. In: Oxford Economic Papers 45, S. 332–347. Johnston, R. (1994) Effects of Resource Concentration on Research Performance. In: Higher Education 28, S. 25–37. Kaapke, A./Heinz, H. (1996) Hochschulrankings – Anspruch und Wirklichkeit. In: Wirtschaftswissenschaftliches Studium 25, S. 431–433. Keeney, R.L./Raiffa, H. (1976) Decisions with Multiple Objectives. New York et al. Keeney, R.L./See, K.E./von Winterfeldt, D. (2006) Evaluating Academic Programs: With Applications to U.S. Graduate Decision Science Programs. In: Operations Research 54, S. 813–828. Kieser, A. (1998) Going Dutch – Was lehren niederländische Erfahrungen mit der Evaluation universitärer Forschung? In: Die Betriebswirtschaft 58, S. 208–224. Kieser, A. (2005) Wie wichtig sind Forschungsrankings? Wie wichtig werden sie in Zukunft sein? In: Journal für Betriebswirtschaft 55, S. 169–170. Kirchhoff-Kestel, S. (2006) Kosten- und Leistungsmanagement in Hochschulen. Lohmar/Köln. Kleine, A. (2002) DEA-Effizienz. Wiesbaden. KMK (Hrsg.) (2008) Das Bildungswesen in der Bundesrepublik Deutschland 2007. Bonn. Koschatzky, K./Reinhard, M./Grenzmann, C./Muller, E./Penzkofer, H./Pleschak, F./Revermann, C./Rottmann, H./Stahlecker, T./Traxel, H./Zenker, A. (2002) FuE-Dienstleistungen in Deutschland – Bestandsaufnahme, Marktanalyse und innovationspolitische Schlussfolgerungen. Karlsruhe.

Literaturverzeichnis

299

Kree, R. (2007) „Gute“ Promovierende – und wie man sie bekommt. In: Beiträge zur Hochschulpolitik 7/2007, S. 78–82. Krempkow, R. (2007) Leistungsbewertung, Leistungsanreize und die Qualität der Hochschullehre. Bielefeld. Kromrey, H. (2001) Studierendenbefragungen als Evaluation der Lehre? Anforderungen an Methodik und Design. In: Engel, U. (Hrsg.), Hochschul-Ranking, Frankfurt am Main/New York, S. 11–47. Kromrey, H. (2006) Empirische Sozialforschung. 11. Aufl., Stuttgart. Kuhlmann, S./Heinze, T. (2004) Evaluation von Forschungsleistungen in Deutschland: Erzeuger und Bedarf – Teil I: Konzeptionelle Grundlagen. In: Wissenschaftsrecht 37, S. 53–69. Küpper, H.-U. (2005) Controlling. 4. Aufl., Stuttgart. Küpper, H.-U./Ott, R. (2002) Objektivierung von Hochschul-Rankings – Analyse ihrer Meß- und Bewertungsprobleme auf der Grundlage eines Vergleichs deutscher und US-amerikanischer Ranglisten. In: Betriebswirtschaftliche Forschung und Praxis 54, S. 614–630. Kyvik, S. (1995) Are Big University Departments Better than Small Ones? In: Higher Education 30, S. 295– 304. Lasshof, B. (2006) Produktivität von Dienstleistungen. Wiesbaden. Lebherz, C./Mohr, C./Henning, M./Sedlmeier, P. (2005) Wie brauchbar sind Hochschul-Rankings? Eine empirische Analyse. In: Zeitschrift für Pädagogik, 50. Beiheft, S. 188–208. Lehmann, E./Warning, S. (2002) Teaching or Research? What Affects the Efficiency of Universities. In: Diskussionsbeiträge des Fachbereichs Wirtschaftswissenschaften der Rechts-, Wirtschafts- und Verwaltungswissenschaftlichen Sektion der Universität Konstanz, Serie I, Nr. 322. Lehrl, S./Kinzel, W./Fischer, B. (1988) Der Science Impact Index – Untersucht an den Ordinarien der bundesdeutschen Psychiatrie und Neurologie. In: Daniel, H.-D./Fisch, R. (Hrsg.), Evaluation von Forschung, Konstanz, S. 291–305.

300

Literaturverzeichnis

Lerbinger, P. (1985) Der Studentenberg als Hemmschuh der Forschung? Eine empirische Untersuchung der Beiträge deutscher Hochschulen in betriebswirtschaftlichen Zeitschriften. In: Zeitschrift für Betriebswirtschaft 55, S. 848–858. Lohman, C./Fortuin, L./Wouters, M. (2004) Designing a Performance Measurement System: A Case Study. In: European Journal of Operational Research 156, S. 267–286. Löthgren, M./Tambour, M. (1996) Alternative Approaches to Estimate Returns to Scale in DEA-Models. Working Paper No. 90 des Economic Research Institute, Stockholm School of Economics, Stockholm. Macharzina, K./Wolf, J./Rohn, A. (2006) Zur Forschungsleistung der Betriebswirte im deutschsprachigen Raum – Eine personen- und institutionenbezogene Längsschnittanalyse. In: Wolf, J./Rohn, A./Macharzina, K. (Hrsg.), Forschungsleistung in der deutschsprachigen Betriebswirtschaftslehre, Wiesbaden, S. 1–34. Maleri, R. (1997) Grundlagen der Dienstleistungsproduktion. 4. Aufl., Berlin et al. Marginson, S./van der Wende, M. (2007a) Globalisation and Higher Education. Organisation for Economic Co-operation and Development (Hrsg.), Education Working Paper No. 8, Paris. Marginson, S./van der Wende, M. (2007b) To Rank or To Be Ranked: The Impact of Global Rankings in Higher Education. In: Journal of Studies in International Education 11, S. 306–329. Martin, B.R./Irvine, J. (1983) Assessing Basic Research – Some Partial Indicators of Scientific Progress in Radio Astronomy. In: Research Policy 12, S. 61–90. Mengen, A. (1993) Konzeptgestaltung von Dienstleistungsprodukten. Stuttgart. Merton, R.K. (1968) The Matthew Effect in Science – The Reward and Communication Systems of Science Are Considered. In: Science 159, S. 56–63. Merton, R.K. (1988) The Matthew Effect in Science, II – Cumulative Advantage and the Symbolism of Intellectual Property. In: ISIS 79, S. 606–623. Meyer, M.W. (1994) Measuring Performance in Economic Organizations. In: Smelser, N.J./Swedberg, R. (Hrsg.), The Handbook of Economic Sociology, Princeton (New Jersey), S. 556–578.

Literaturverzeichnis

301

Meyer, D. (1999) Publishing Articles – Findings and Open Questions of an Empirical Study Conducted among Editors of Economic Journals. In: Zeitschrift für Wirtschafts- und Sozialwissenschaften 119, S. 531–559. Milligan, K./Moretti, E./Oreopoulos, P. (2004) Does Education Improve Citizenship? Evidence from the United States and the United Kingdom. In: Journal of Public Economics 88, S. 1667–1695. Moed, H.F./Luwel, M./Houben, J.A./Spruyt, E./van den Berghe, H. (1998) The Effects of Changes in the Funding Structure of the Flemish Universities on Their Research Capacity, Productivity and Impact during the 1980’s and Early 1990’s. In: Scientometrics 43, S. 231–255. Müller-Böling, D. (2003) TÜV für die Universität – Ranking, Evaluation, Benchmarking – was bedeuten diese Begriffe, die das deutsche Hochschulsystem schon heute grundlegend verändern? In: DIE ZEIT, Nr. 36 vom 28. August 2003, S. 35. Münch, R. (2006) Drittmittel und Publikationen – Forschung zwischen Normalwissenschaft und Innovation. In: Soziologie 35, S. 440–461. Münch, R. (2007) Die akademische Elite. Frankfurt am Main. Nederhof, A.J./van Raan, A.F.J. (1993) A Bibliometric Analysis of Six Economics Research Groups: A Comparison with Peer Review. In: Research Policy 22, S. 353–368. Neely, A./Gregory, M./Platts, K. (1995) Performance Measurement System Design – A Literature Review and Research Agenda. In: International Journal of Operations & Production Management 15 (4), S. 80–116. Neidhardt, F. (2006) Fehlerquellen und Fehlerkontrollen in den Begutachtungssystemen der Wissenschaft. In: iFQ-Working Paper No. 1, S. 7–13. Neuweiler, G. (1997) Die Einheit von Forschung und Lehre heute: eine Ideologie. In: Das Hochschulwesen 45, S. 197–200. Norman, M./Stoker, B. (1991) Data Envelopment Analysis. Chichester et al. Nowak, S. (1963) Correlational, Definitional and Inferential Indicators in Social Research and Theory. In: The Polish Sociological Bulletin 8 (2), S. 31–46.

302

Literaturverzeichnis

OECD (Hrsg.) (2002) Frascati Manual 2002. Paris. OECD (Hrsg.) (2004) Science and Innovation Policy: Key Challenges and Opportunities. OECD-Policy Brief, January 2004. Ott, R. (1999) Darstellung und Beurteilung von Hochschul-Rankings in Deutschland. In: Beiträge zur Hochschulforschung 21, S. 309–322. Panzar, J.C./Willig, R.D. (1977) Economies of Scale in Multi-Output Production. In: The Quarterly Journal of Economics 91, S. 481–493. Pasternack, P. (2004) Qualitätsorientierung an Hochschulen. HoF Wittenberg – Institut für Hochschulforschung an der Martin-Luther-Universität Halle-Wittenberg (Hrsg.), Arbeitsberichte 5’04, Wittenberg. PatG (2008) Patentgesetz (PatG) in der Fassung der Bekanntmachung vom 16. Dezember 1980 (BGBl. 1981 I S. 1), zuletzt geändert durch Artikel 83a des Gesetzes vom 17. Dezember 2008 (BGBl. I S. 2586). Plinke, W. (2000) Grundlagen des Marktprozesses. In: Kleinaltenkamp, M./Plinke, W. (Hrsg.), Technischer Vertrieb, 2. Aufl., Berlin et al., S. 3–99. Posner, R.A. (1993) Nobel Laureate – Ronald Coase and Methodology. In: Journal of Economic Perspectives 7 (4), S. 195–210. Post, T./Spronk, J. (1999) Performance Benchmarking Using Interactive Data Envelopment Analysis. In: European Journal of Operational Research 115, S. 472–487. Präve, P. (1988) Überlegungen zur Forschung im Fach Biologie. In: Daniel, H.-D./Fisch, R. (Hrsg.), Evaluation von Forschung, Konstanz, S. 107–119. PVÜ (1984) Pariser Verbandsübereinkunft zum Schutz des gewerblichen Eigentums (PVÜ) vom 20. März 1883 (BGBl. 1970 II S. 391, ber. 1985 II S. 975), zuletzt geändert durch ÄndBek. völkerrechtlicher Übereinkünfte auf dem Gebiet des geistigen Eigentums vom 20. August 1984 (BGBl. II S. 799). Rassenhövel, S./Dyckhoff, H. (2006) Die Relevanz von Drittmittelindikatoren bei der Beurteilung der Forschungsleistung im Hochschulbereich. In: Zelewski, S./Akca, N. (Hrsg.), Fortschritt in den Wirtschaftswissenschaften, Wiesbaden, S. 85–112.

Literaturverzeichnis

303

Rau, E. (1986) Produktivität und Reputation als Indikatoren universitärer Forschungsleistung. In: Fisch, R./ Daniel, H.-D. (Hrsg.), Messung und Förderung von Forschungsleistung, Konstanz, S. 61–88. Reckenfelderbäumer, M. (2008) Der Einfluss von Immaterialität und Kundenmitwirkung auf das Produktivitätscontrolling bei Dienstleistungen – Dargestellt am Beispiel von Weiterbildungsleistungen. In: Controlling 20, S. 415–421. Reichmann, T./Lachnit, L. (1976) Planung, Steuerung und Kontrolle mit Hilfe von Kennzahlen. In: Zeitschrift für betriebswirtschaftliche Forschung 28, S. 705–723. Renn, O. (2006) Wissen und Macht: Wissenschaft als Politikberatung. In: Nida-Rümelin, J. (Hrsg.), Wunschmaschine Wissenschaft, Hamburg, S. 93–107. Richter, M./Souren, R. (2008) Zur Problematik einer betriebswirtschaftlichen Definition des Dienstleistungsbegriffs: Ein produktions- und wissenschaftstheoretischer Erklärungsansatz. Ilmenauer Schriften zur Betriebswirtschaftslehre 4/2008. Röbbecke, M./Simon, D. (2001) Reflexive Evaluation. Berlin. Rothschild, M./White, L.J. (1995) The Analytics of the Pricing of Higher Education and Other Services in Which the Costumers Are Inputs. In: Journal of Political Economy 103, S. 573–586. Rück, H.R.G. (2000) Dienstleistungen in der ökonomischen Theorie. Wiesbaden. Rüegg, W. (Hrsg.) (1985) Konkurrenz der Kopfarbeiter. Zürich. Sachs, L./Hedderich, J. (2009) Angewandte Statistik. 13. Aufl., Berlin et al. Schaeper, H./Briedis, K. (2004) Kompetenzen von Hochschulabsolventinnen und Hochschulabsolventen, berufliche Anforderungen und Folgerungen für die Hochschulreform. HIS-Kurzinformation A6/2004. Scharitzer, D. (1994) Dienstleistungsqualität – Kundenzufriedenheit. Wien. Scheel, H. (2000) Effizienzmaße der Data Envelopment Analysis. Wiesbaden.

304

Literaturverzeichnis

Schenk, A./Lüngen, M./Lauterbach, K. (2004) Messbarkeit von Forschungsleistungen – Der Impact-Faktor. In: Wirtschaftswissenschaftliches Studium 33, S. 299–302. Schenker-Wicki, A. (1996) Evaluation von Hochschulleistungen. Wiesbaden. Schenker-Wicki, A. (2005) Qualität messen – Qualität managen: Leistungsparameter im Studium. In: Beiträge zur Hochschulpolitik 6/2005, S. 44–50. Schimank, U. (1995) Hochschulforschung im Schatten der Lehre. Frankfurt am Main/New York. Schimank, U./Winnes, M. (2001) Jenseits von Humboldt? Muster und Entwicklungspfade des Verhältnisses von Forschung und Lehre in verschiedenen europäischen Hochschulsystemen. In: Stölting, E./Schimank, U. (Hrsg.), Die Krise der Universitäten, Wiesbaden, S. 295–325. Schlinghoff, A./Backes-Gellner, U. (2002) Publikationsindikatoren und die Stabilität wirtschaftswissenschaftlicher Zeitschriftenrankings. In: Zeitschrift für betriebswirtschaftliche Forschung 54, S. 343–362. Schmitz, C. (2008) Messung der Forschungsleistung in der Betriebswirtschaftslehre auf Basis der ISI-Zitationsindizes. Lohmar/Köln. Schmoch, U. (2000) Rechtliche Situation von Patenten an Hochschulen. In: Schmoch, U./Licht, G./Reinhard, M. (Hrsg.), Wissens- und Technologietransfer in Deutschland, Stuttgart, S. 96–103. Schmoch, U. (2001) Aussagefähigkeit von Patentanalysen zur Bewertung von Hochschulen. In: Müller-Böling, D./ Hornbostel, S./Berghoff, S. (Hrsg.), Hochschulranking, Gütersloh, S. 143–155. Schmoch, U. (2007) Patentanmeldungen aus deutschen Hochschulen – Analysen im Rahmen der jährlichen Berichterstattung zur Technologischen Leistungsfähigkeit Deutschlands. In: Bundesministerium für Bildung und Forschung (Hrsg.), Studien zum deutschen Innovationssystem Nr. 10-2007, Berlin. Schnell, R./Hill, P.B./Esser, E. (2008) Methoden der empirischen Sozialforschung. 8. Aufl., München/Wien. Simkin, M.V./Roychowdhury, V.P. (2003) Read Before You Cite! In: Complex Systems 14, S. 269–274.

Literaturverzeichnis

305

Simon, H. (1985) Die Positionierung von wirtschaftswissenschaftlichen Fachbereichen – Eine Grundlagenstudie zum strategischen Universitätsmarketing. In: Zeitschrift für Betriebswirtschaft 55, S. 827– 847. Sizer, J. (1979) Assessing Institutional Performance: An Overview. In: International Journal of Institutional Management in Higher Education 3 (1), S. 49–77. Southwick, L. (1969) Cost Trends in Land Grant Colleges and Universities. In: Applied Economics 1, S. 167–182. SPIEGEL (1989) Die neuen Unis sind die besten. In: DER SPIEGEL, Nr. 50 vom 11. Dezember 1989, S. 70– 87. Spiegel-Rösing, I.S. (1975) Messung der Forschungsleistung: Kontext der Fragestellung und Stand der Forschung. In: Bundesminister für Bildung und Wissenschaft (Hrsg.), Beiträge zur Messung von Forschungsleistung, Bonn, S. 1–14. Spraul, K. (2006) Bildungsrendite als Zielgröße für das Hochschulmanagement. Berlin. Starbuck, W.H. (2005) How Much Better Are the Most-Prestigious Journals? The Statistics of Academic Publication. In: Organization Science 16, S. 180–200. Statistisches Bundesamt (Hrsg.) (2008) Bildung und Kultur – Monetäre hochschulstatistische Kennzahlen. Fachserie 11, Reihe 4.3.2, Berichtsjahr 2006, Wiesbaden. Steffenhagen, H. (1999) Werbeeffizienz-Leitbilder – Eine Bestandsaufnahme von Wirkungsmechanismen der Werbung. In: Transfer – Werbeforschung & Praxis 44 (4), S. 30–35. Steffenhagen, H. (2008) Marketing. 6. Aufl., Stuttgart. Steinhausen, D./Langer, K. (1977) Clusteranalyse. Berlin/New York. Steuerungsgruppe der Pilotstudie Forschungsrating (2007) Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Chemie – Ergebnisse der Pilotstudie Forschungsrating. Köln. Stifter, E.P. (2002) Qualitätssicherung und Rechenschaftslegung an Universitäten. Wien et al.

306

Literaturverzeichnis

Stock, W.G. (2000) Was ist eine Publikation? Zum Problem der Einheitenbildung in der Wissenschaftsforschung. In: Fuchs-Kittowski, K./Laitko, H./Parthey, H./Umstätter, W. (Hrsg.), Wissenschaft und Digitale Bibliothek – Wissenschaftsforschung Jahrbuch 1998, Berlin, S. 239–282. Sueyoshi, T./Sekitani, K. (2007) Measurement of Returns to Scale Using a Non-Radial DEA Model: A Range-Adjusted Measure Approach. In: European Journal of Operational Research 176, S. 1918–1946. Syrbe, M./Bayer, C. (1997) Gängige Kritik nicht verantwortbar, ein quantitatives Wirkungsmodell von Universitäten – Eine ganzheitliche Systembetrachtung, um die Leistungsbeschreibung von Universitäten zu objektivieren. In: Beiträge zur Hochschulforschung 19, S. 267–281. Tavenas, F. (2004) Quality Assurance: A Reference System for Indicators and Evaluation Procedures. European University Association (Hrsg.), Brussels. Taylor, J. (2001) The Impact of Performance Indicators on the Work of University Academics: Evidence from Australian Universities. In: Higher Education Quarterly 55, S. 42–61. Teichler, U./Enders, J./Daniel, H.-D. (1998) „Hochschule und Gesellschaft“ als Gegenstand der Forschung – Bilanz und Perspektiven. In: Teichler, U./Daniel, H.-D./Enders, J. (Hrsg.), Brennpunkt Hochschule, Frankfurt am Main/ New York, S. 219–249. Thanassoulis, E. (2001) Introduction to the Theory and Application of Data Envelopment Analysis. Boston et al. Thomson Reuters (2009a) Company History. Im Internet: http://thomsonreuters.com/about/company_history (22. April 2009). Thomson Reuters (2009b) Science – ISI. Im Internet: http://thomsonreuters.com/products_services/science/science_ products/a-z/isi?parentKey=441594 (22. April 2009). Tomkins, C./Green, R. (1988) An Experiment in the Use of Data Envelopment Analysis for Evaluating the Efficiency of UK University Departments of Accounting. In: Financial Accountability & Management 4, S. 147– 164. Töpfer, A. (1997) Benchmarking. In: Wirtschaftswissenschaftliches Studium 26, S. 202–205. Ursprung, H.W. (2003) Schneewittchen im Land der Klapperschlangen: Evaluation eines Evaluators. In: Perspektiven der Wirtschaftspolitik 4, S. 177–189.

Literaturverzeichnis

307

Usher, A./Savino, M. (2006) A World of Difference: A Global Survey of University League Tables. Educational Policy Institute (Hrsg.), Canadian Education Report Series, Toronto. Van Dyke, N. (2005) Twenty Years of University Reports Cards. In: Higher Education in Europe 30, S. 103–125. VHB (Hrsg.) (2003) VHB-Jourqual 1 aus dem Jahre 2003. Im Internet: http://pbwi2www.uni-paderborn.de/WWW/ VHB/VHB-Online.nsf/id/DE_Ergebnisse_von_Jourqual_1_aus_dem_Jahre_2003 (01. Juli 2009). VHB (Hrsg.) (2008) VHB-Jourqual 2 aus dem Jahre 2008. Im Internet: http://pbwi2www.uni-paderborn.de/WWW/ VHB/VHB-Online.nsf/id/DE_Jourqual_2 (01. Juli 2009). Von Alemann, H. (1981) Sozialwissenschaftliche Forschungsinstitute. Opladen. Von Nitzsch, R. (1992) Entscheidung bei Zielkonflikten. Wiesbaden. Von Nitzsch, R. (2002) Entscheidungslehre. Stuttgart. Von Tunzelmann, N./Ranga, M./Martin, B./Geuna, A. (2003) The Effects of Size on Research Performance: A SPRU Review. Brighton. Voss, R. (2004) Lehrqualität und Lehrqualitätsmanagement an öffentlichen Hochschulen. Hamburg. Weber, M. (1976) Wirtschaft und Gesellschaft – 1. Halbband. 5. Aufl., Tübingen. Weber, J. (1996) Hochschulcontrolling. Stuttgart. Weingart, P. (1995) Forschungsindikatoren: Instrumente politischer Legitimierung oder organisatorischen Lernens. In: Müller-Böling, D. (Hrsg.), Qualitätssicherung in Hochschulen, Gütersloh, S. 73–84. Weingart, P./Winterhager, M. (1984) Die Vermessung der Forschung. Frankfurt am Main/New York. Wissenschaftsrat (Hrsg.) (2002) Empfehlungen zur Doktorandenausbildung. Saarbrücken. Wissenschaftsrat (Hrsg.) (2004) Empfehlungen zu Rankings im Wissenschaftssystem – Teil 1: Forschung. Hamburg.

308

Literaturverzeichnis

Witte, F. (1999) Wirtschaftlichkeit in Hochschulen. Aachen. Wößmann, L. (2006) Der private wirtschaftliche Nutzen der Bildung – Empirische Evidenz. In: Wirtschaftswissenschaftliches Studium 35, S. 384–390. Wößmann, L. (2007) Die volkswirtschaftliche Bedeutung der Bildung – Empirische Evidenz. In: Wirtschaftswissenschaftliches Studium 36, S. 31–37. Yohe, G.W (1980) Current Publication Lags in Economics Journals. In: Journal of Economic Literature 18, S. 1050–1055. Zwick, M.M. (2007) Ambivalente Gefühle. In: Forschung & Lehre 14, S. 137.