Mary Sandermann Die Bedeutung von Soft Skills für Evaluationsnutzungen
Mary Sandermann
Die Bedeutung von Soft Skills...
25 downloads
2129 Views
3MB Size
Report
This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
Report copyright / DMCA form
Mary Sandermann Die Bedeutung von Soft Skills für Evaluationsnutzungen
Mary Sandermann
Die Bedeutung von Soft Skills für Evaluationsnutzungen Eine komparative Analyse
Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.
Diese Arbeit wurde 2010 unter dem Titel „Evaluation als sozialer und interpersoneller Prozess. Die Bedeutung der Interaktionsperspektive für Programmevaluationsnutzungen – Eine komparative Analyse“ als Dissertation an der Freien Universität Berlin eingereicht. Die Publikation wird gefördert durch: Ernst-Reuter-Gesellschaft e.V.
1. Auflage 2011 Alle Rechte vorbehalten © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011 Lektorat: Dorothee Koch | Sabine Schöller VS Verlag für Sozialwissenschaften ist eine Marke von Springer Fachmedien. Springer Fachmedien ist Teil der Fachverlagsgruppe Springer Science+Business Media. www.vs-verlag.de Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Umschlaggestaltung: KünkelLopka Medienentwicklung, Heidelberg Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Printed in Germany ISBN 978-3-531-17887-5
Danksagung
5
Danksagung
Die vorliegende Arbeit entstand zu Teilen während meiner Tätigkeit am Arbeitsbereich empirische Erziehungswissenschaft der FU Berlin unter Leitung von Prof. Dr. Hans Merkens und im Rahmen von Promotionsstipendien des DAAD und des Evangelischen Studienwerks. An erster Stelle danke ich ganz herzlich meinem Erstbetreuer Prof. Dr. Hans Merkens für die stete fachliche und motivierende Unterstützung. Prof. Dr. Harm Kuper danke ich für die Bereitschaft, sich als Zweitgutachter zur Verfügung zu stellen. Prof. Dr. Felicitas Thiel, Prof. Dr. Frédéric Varone und Dr. Nicole Bellin-Mularski danke ich für das Interesse an meiner Arbeit und die Teilnahme an der Promotionskommission. Ohne die informativen Gespräche mit Programmleiter(inne)n, Angestellten und Evaluator(inn)en der Mentoringprogramme, wäre diese Arbeit nicht möglich gewesen. Für Ihre Offenheit und Ihr Vertrauen möchte ich mich herzlich bedanken. Beim „Forum Mentoring: Bundesweite Dachorganisation der MentoringProgramme an Hochschulen“ und insbesondere bei Christine Kurmeyer bedanke ich mich für die kooperative Zusammenarbeit im Rahmen der Vorbereitung einer Kurzbefragung zur Schaffung eines Überblicks über die Datenbasis für diese Arbeit. Ein spezieller Dank geht an Prof. Dr. Frédéric Varone und das „Département de Science Politique“ der Universität Genf für die kollegiale Aufnahme, den interdisziplinären Austausch und die vielen fachlichen und methodischen Anregungen. Dem Fachbereich Erziehungswissenschaft und Psychologie der Freien Universität Berlin danke ich für die Bereitstellung von Geldern für die Interviewkandidat(inn)en. Johannes Gerschewski und Patrick Mello danke ich für die zahlreichen Hinweise zu Fuzzy-QCA-Fragen und insbesondere für den hilfreichen „FuzzyDiskussionsabend“, der der methodischen Vorgehensweise und den Ergebnissen dieser Arbeit gewidmet war. Weiterhin möchte ich den Mitarbeiterinnen am Arbeitsbereich für die zahlreichen wertvollen Gespräche danken, insbesondere Nicole Bellin-Mularski und Fanny Tamke. Darüber hinaus bedanke ich mich für das akribische Lesen und zahlreiche Korrekturhinweise bei Andrea Renner. Bei Christoph Creutzburg
6
Danksagung
bedanke ich mich für die Unterstützung bei der Lösung angefallener Softwareprobleme. Schließlich gilt mein besonderer Dank Philipp Sandermann, meiner Familie und meinen Freund(inn)en, die mir durch ihren Zuspruch immer wieder die nötige Unterstützung gegeben und maßgeblich zum Gelingen dieser Arbeit beigetragen haben.
7
Inhalt
Inhalt
Abbildungverzeichnis ...................................................................................... 11 Tabellenverzeichnis ......................................................................................... 13 Einleitung ......................................................................................................... 15 1
Zielsetzung und Fragestellung ............................................................. 19
2
Konzeptueller Rahmen zur Generierung des Untersuchungsmodells: Systematisierungsversuche im Evaluationsfeld ...................................................................................... 23
2.1 Der Evaluationsbegriff............................................................................ 23 2.1.1 Von der Problematik des (mindestens) sechsgeteilten Begriffsverständnisses ............................................................................ 23 2.1.2 Evaluation vs. Evaluationsforschung: Ein Systematisierungsversuch ohne Erfolg.............................................................................................. 25 2.2 Der Evaluationsnutzungsbegriff.............................................................. 26 2.2.1 Hinweise auf Evaluationsnutzungen in ausgewählten Evaluationsstandards............................................................................... 32 2.2.2 Evaluationsnutzungstypen ...................................................................... 35 2.2.3 Entwicklungsphasen der Interaktionsperspektive in der Nutzungsforschung 1971 – 2009 ............................................................ 39 2.2.4 Ableitungen für das Untersuchungsmodell: vier Dimensionen von Nutzungen in Programmevaluationen..................................................... 55 2.3
Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale: Hintergründe, Ansätze und Begrifflichkeiten ........... 60 2.3.1 Soziale Kompetenzen – ein multidisziplinäres Konstrukt....................... 61 2.3.2 Soziale Interaktionsgestaltung .............................................................. 104 2.3.3 Umfeld- und Prozessmerkmale ............................................................. 108
8
Inhalt
2.4
Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte im deutschsprachigen Evaluationsfeld.... 111 2.4.1 Curriculare Verankerung von sozialen und interpersonellen Kompetenzen in Aus- und Weiterbildungsgängen der Evaluation ....... 114 2.5
Anmerkungen zum Status Quo – ein Zwischenfazit zur Evaluationsnutzungsforschung und zu sozialen und interpersonellen Einflüssen.............................................................................................. 118
2.6
Untersuchungsmodell............................................................................ 120
3
Empirisches Vorgehen ........................................................................ 125
3.1 Gegenstand der Evaluationsstudien: Mentoringprogramme ................. 125 3.1.1 Exkurs: Qualitätssicherung für Mentoringprogramme.......................... 129 3.2
Datengrundlage ..................................................................................... 131
3.3
Beschreibung der untersuchten Programmevaluationen ....................... 133
3.4 Erhebungsinstrumente........................................................................... 138 3.4.1 Interviews.............................................................................................. 138 3.4.2 BIP: Das Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung ................................................................. 139 3.5 Auswertungsmethoden.......................................................................... 143 3.5.1 Textdatenbanksystem und Testauswertung........................................... 143 3.5.2 Fuzzy-Set Qualitative Comparative Analysis (fsQCA), Two-Step-Ansatz und Kalibrierung der Daten...................................... 143 3.6
Operationalisierung der Komponenten des Untersuchungsmodells...... 147
3.7
Kritische Diskussion der Vorgehensweise ............................................ 153
4
Auswertung.......................................................................................... 159
4.1 4.1.1 4.1.2 4.1.3 4.1.4 4.1.5
Deskriptive Auswertung der Fallstudien............................................... 159 Zeitliche und Inhaltliche Dimensionen von Nutzungen........................ 160 Soziale Kompetenzen der Involvierten ................................................. 169 Endogene Merkmale sozialer Interaktionsgestaltung............................ 172 Umfeld- und Prozessmerkmale ............................................................. 176 Die deskriptive Auswertung im Überblick............................................ 181
4.2 Komparative Analyse der Daten mittels fsQCA ................................... 183 4.2.1 One-Step Analyse ................................................................................. 183
Inhalt
9
4.2.2 Two-Step-Analyse von proximalen und distalen Bedingungen für Evaluationsnutzungen ........................................................................... 191 5
Ergebnisse und Ausblick .................................................................... 205
5.1
Ergebnisse der empirischen Untersuchung ........................................... 205
5.2
Kritische Nachbetrachtung und Ausblick: Implikationen für die Forschung und die Praxis ................................................................ 209
Literaturverzeichnis ...................................................................................... 215 Anhang............................................................................................................ 235 A A.1 A.2 A.3
Erhebungsinstrumente........................................................................... 236 Begleitanschreiben zum Kurzfragebogen ............................................. 236 Kurzfragebogen..................................................................................... 237 Interviewleitfaden ................................................................................. 242
B
Rohdaten ............................................................................................... 244
C C.1
Kalibrierung der Daten für die Fuzzy-Set Analyse ............................... 246 Auswertungskategorien und Kalibrierungsschlüssel für direkte und indirekte Nutzungen....................................................................... 246 Soziale Kompetenzen............................................................................ 247 Auswertungskategorien und Kalibrierungsschlüssel für soziale Interaktionsgestaltung ........................................................................... 248 Auswertungskategorien und Kalibrierungsschlüssel für Umfeldund Prozessmerkmale ........................................................................... 249
C.2 C.3 C.4
Abbildungsverzeichnis
11
Abbildungverzeichnis
Abbildung 1: Sequentielle Informationskette (adaptiert nach Bauler 2007) ... 38 Abbildung 2: Weiss’ Prozess-Modell für Entscheidungsfällung nach Johnson 1998: 96 ...................................................................... 42 Abbildung 3: Pattons explizites Nutzungsmodell (Synthese der von Johnson 1998: 99 und Stamm 2003a: 148 entwickelten Modelle)........................................................ 44 Abbildung 4: Evaluationsnutzung (Cousins/Leithwood 1986: 348) ............... 48 Abbildung 5: Theoretisches Modell zur Nutzung von Evaluationen (Johnson 1998: 104).................................................................. 50 Abbildung 6: Metatheoretisches Modell von Stamm (2003: 153), Ovale= unabhängige Variablen, Rechtecke = abhängige Variablen...... 51 Abbildung 7: Mechanismen, durch die Evaluation Einfluss produziert (Henry/Mark 2003a: 298) ......................................................... 53 Abbildung 8: Vier Dimensionen von Evaluationsnutzungen .......................... 56 Abbildung 9: Dimensionen sozialer Kompetenz (Kanning 2002: 158) .......... 65 Abbildung 10: Kompetenzfelder der Aus- und Weiterbildung in der Evaluation (DeGEval 2008b: 26).............................................. 91 Abbildung 11: Untersuchungsmodell: Nutzungsbeeinflussende Bedingungen ........................................................................... 121 Abbildung 12: Die Dimensionen des BIP (Hossiep/Paschen 2003: 20).......... 141 Abbildung 13: xy-Plot direkte Nutzungen (USEDIR) und Umfeld- und Prozessmerkmale (UMALL), Konsistenz: 1.0, Abdeckung: .73 ....................................................................... 187 Abbildung 14: Prozentuale Anteile der Vergleichsgruppen in den Normstufen, 9-stufige Normierungsskala, Normstichprobe waren 6869 berufstätige Fach- und Führungskräfte (vgl. Hossiep/ Paschen 2003: 133).......................................... 247
Tabellenverzeichnis
13
Tabellenverzeichnis
Tabelle 1: Tabelle 2: Tabelle 3: Tabelle 4: Tabelle 5: Tabelle 6: Tabelle 7: Tabelle 8: Tabelle 9: Tabelle 10: Tabelle 11: Tabelle 12: Tabelle 13: Tabelle 14: Tabelle 15: Tabelle 16:
Berufliche Identität/ Grundeinstellungen/ Berufsverständnis und deren Einfluss auf die Nutzungen von Evaluationen............. 85 Soziale Kompetenzen und deren Einfluss auf die Nutzungen von Evaluationen.......................................................................... 86 Kommunikative Fähigkeiten/ Kommunikationsaktivitäten und deren Einfluss auf die Nutzungen von Evaluationen.................... 88 Weitere Charakteristika und deren Einfluss auf die Nutzungen von Evaluationen.......................................................................... 89 Kompetenzen für Programmevaluator(inn)en und deren Entsprechung in den Joint Commitee Standards (vgl. Stevahn et al. 2005: 49ff) ........................................................................... 93 Kalibrierung des Outcomes direkte Nutzungen.......................... 144 Übersicht über das Outcome und die Bedingungen und deren Kalibrierung...................................................................... 152 Übersicht über Häufigkeiten der Nennungen für Nutzungen, E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen) ........ 160 Nennungen für direkte Nutzungen, E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen) .......................................... 164 Nennungen für indirekte Nutzungen, E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen............................................ 166 Selbsteinschätzungen zu sozialen Kompetenzen, E= Evaluator(inn)en, H=Hauptinteraktionspartner(innen), kablibrierte Werte....................................................................... 170 Einschätzungen zur Interaktionsgestaltung, E= Evaluator(inn)en, H= Hauptinteraktionspartner(innen) ........ 173 Umfeld- und Prozessmerkmale im Überblick ............................ 176 Übersicht über die Bedingungen und die Outcomes (kalibriert) 182 Idealtypen bzw. logisch mögliche Kombination von Bedingungen............................................................................... 185 Analyse der notwendigen Bedingungen für direkte Nutzungen (USEDIR) und das nicht-Vorhandensein von indirekten Nutzungen (~useind) .................................................................. 186
14
Tabellenverzeichnis
Tabelle 17: Konsistenztest der distalen Bedingungen für direkte Nutzungen (cut-off: .71)............................................................. 193 Tabelle 18: Konsistenztest der proximalen Bedingungen für direkte Nutzungen (cut-off: .85)............................................................. 195 Tabelle 19: Hinreichende Pfade zu direkten Nutzungen unter Einbezug aller Fälle (cut-off: .85) .............................................................. 196 Tabelle 20: Hinreichende Pfade zu direkten Nutzungen unter Ausschluss der Hauptinteraktionspartner(innen) (cut-off: .99, Abdeckung .63, Konsistenz 1.0).................................................................... 199 Tabelle 21: Konsistenztest der distalen Bedingungen für das Nicht-Auftreten von indirekten Nutzungen (~useint) (cut-off: .88) ............................................................................... 201 Tabelle 22: Hinreichende Pfade zum nicht-Auftreten von indirekten Nutzungen (intermediäre Lösung, cut-off: 81.).......................... 202 Tabelle 23: Rohdaten gesamt ........................................................................ 244 Tabelle 24: Rohwerte sozialen Kompetenzen anhand des BIP (Hossiep, Paschen, 2003), E= Evaluator(inn)en, H=Hauptinteraktionspartner(innen), 9-stufige Normierung ....... 245 Tabelle 25: Auswertungskategorien für wahrgenommene direkte und indirekte Nutzungen (inhaltliche Ebene).................................... 246 Tabelle 26: Kalibrierungsschlüssel für direkte Nutzungen (USEDIR).......... 247 Tabelle 27: Kalibrierungsschlüssel für indirekte Nutzungen (USEIND) ...... 247 Tabelle 28: Kalibrierungsschlüssel für die einzelnen sozialen Kompetenzen.............................................................................. 248 Tabelle 29: Auswertungskategorien für Interaktionsgestaltung .................... 248 Tabelle 30: Kalibrierungsschlüssel für soziale Interaktionsgestaltung (INACT) ..................................................................................... 249 Tabelle 31: Auswertungskategorien für Umfeld- und Prozessmerkmale ...... 249 Tabelle 32: Kalibrierungsschlüssel Umfeld- und Prozessmerkmale (UMALL) ................................................................................... 250
Einleitung
15
Einleitung
Evaluation scheint als selbstverständlicher Teil professioneller Programme zunehmend Raum zu gewinnen. Seit den neunziger Jahren lassen sich in diesem Zusammenhang strukturelle Ansätze einer Professionalisierung des Evaluationsfeldes in Deutschland beobachten, wobei die Rahmenbedingungen und Voraussetzungen einer weitergehenden Institutionalisierung und Professionalisierung als verbesserungswürdig eingeschätzt werden (Brandt 2009: 95). Von der Deutschen Gesellschaft für Evaluation (DeGEval) sind in diesem Zuge Standards für die Durchführung von Evaluationen (DeGEval 2008a) und Empfehlungen für die Aus- und Weiterbildung von Evaluator(inn)en (DeGEval 2008b) erarbeitet worden. Vieles deutet somit darauf hin, dass sich Evaluation als Maßnahme zur Kontrolle und Optimierung von Programmen im deutschsprachigen Raum weiter durchsetzen wird. Gleichwohl bleiben trotz der Etablierung von Evaluation zur Qualitätssicherung Widerstände gegen Evaluation wirksam, insbesondere ob des Sinns und der Konsequenzen von Evaluation. Einige Forscher(innen) gehen sogar soweit zu behaupten: „Usually, to experience a program evaluation is to experience a conflict.“ (Stevahn/King 2005: 415). Da sich in der Regel vielfältige Interessen mit dem Einsatz von Evaluationsverfahren in Programmzusammenhängen verknüpfen, ist diese Widerständigkeit und Konflikthaftigkeit verständlich. Umso interessanter erscheint angesichts der zunehmenden Professionalisierung des Feldes einerseits, und der bestehenden Widerstände andererseits, die Frage danach, was Evaluationen tatsächlich bewirken. Hieraus hat sich in den letzten Jahren ein spezieller Forschungszweig entwickelt, die sogenannte Evaluationsnutzungsforschung. Als dezidiertes Erkenntnisinteresse dieses Forschungszweigs steht die Frage im Raum, wann und warum Empfehlungen von Programmevaluationen durch die Programmverantwortlichen (nicht) umgesetzt werden. In der Erkenntnis, dass Nutzung von Evaluationen keine logische Folge von methodisch elaborierter Evaluation ist, stimmen die Ergebnisse der wenigen empirischen Untersuchungen (z.B. Weiss/Bucuvalas 1980; Stamm 2003a) überein. Die Gestaltung des Evaluationsprozesses, die Art und Weise der Interaktion zwischen Evaluator(inn)en und der Gruppe der Entscheidungsträger(innen) und die Persönlichkeit der Evaluator(inn)en werden dabei häufig als unkontrollierbare Faktoren (Alkin 1975: 205), die eine Evaluation und deren Nutzung maßgebM. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1_1, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011
16
Einleitung
lich beeinflussen können (vgl. z.B. Crandall 1989: 91ff; Morabito 2002: 322f), benannt. Es besteht jedoch ein Forschungsdefizit bezüglich der Frage, wie genau diese „soften Faktoren“ den Grad und die Art und Weise einer Evaluationsnutzung beeinflussen. Dieser Frage nimmt sich die vorliegende Arbeit an. Die Diskrepanz zwischen der gestiegenen Bedeutung von Evaluationen einerseits und den fehlenden Analysen, insbesondere im Hinblick auf interpersonelle Faktoren, die Evaluationsnutzungen beeinflussen können andererseits, ist Ausgangspunkt dieser Arbeit. Die Arbeit ist in einen theoretischen und einen empirischen Teil gegliedert. Der theoretische Teil (vgl. Kapitel 2) verfolgt das Ziel, den Bezugsrahmen der Arbeit bezüglich Evaluationsnutzungen und den hier im Zentrum stehenden Konstrukten soziale Kompetenzen der Beteiligten und Interaktionsgestaltung im Evaluationskontext herzustellen. Umfeld- und Prozessmerkmale von Evaluationen werden als kontrollierende Größe einbezogen. Ausgehend von der Definitionsproblematik in der Nutzungs- bzw. Verwendungsforschung werden Befunde und Theorien der Programmevaluation und Ergebnisse der Nutzungsforschung in einem metatheoretischen Nutzungsmodell integriert (vgl. Kapitel 2.2.4). Anschließend werden die Bedingungen, die in dieser Arbeit untersucht werden sollen, theoretisch präzisiert. Dabei wird geprüft, inwieweit verschiedene Modelle aus unterschiedlichen Disziplinen im Rahmen einer komplementären Betrachtung zu einer Spezifizierung der Beziehung zwischen sozialen Kompetenzen, Interaktionsgestaltung und Evaluationsnutzungen beitragen können. Das Verfahren des Theoretical Sampling (Glaser/Strauss 1967) bzw. Metamodeling (Johnson 1998: 94f) wird dabei mit einer deduktiven Auswahl, auf Basis der bereits vorhandenen einschlägigen Metaanalysen, kombiniert. Den Bezugsrahmen der Arbeit stellen demnach implizit und explizit existierende Modelle. Zusätzlich wird als praxisnaher Bezugsrahmen der aktuellste Diskussionsstand der Professionalisierungsdebatte zum Evaluationsfeld im deutschsprachigen Raum umrissen. Vor dem Hintergrund der zentralen Zielsetzung der vorliegenden Arbeit ist diese Debatte von Relevanz, da der Diskurs neben den Begrifflichkeiten Professionalität, Institutionalisierung und Zertifizierung auch mit Kernkompetenzen von Evaluator(inn)en befasst ist. Im Anschluss an die Literaturanalyse wird ein metatheoretisches Modell generiert, dem die Annahme zu Grunde liegt, dass soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale Bedingungen für das Auftreten von Evaluationsnutzungen darstellen. Der empirische Teil der Arbeit (vgl. Kapitel 3, 4 und 5.1) beinhaltet einführend die Beschreibung der Datenbasis, die Erläuterung der eingesetzten Erhebungsinstrumente und des statistischen Verfahrens, die Operationalisierung der Komponenten des Untersuchungsmodells und eine kritische Diskussion der Vorgehensweise. Die Auswertung (vgl. Kapitel 4) erfolgt zweigliedrig. Zunächst
Einleitung
17
wird eine deskriptive Auswertung der Fallstudien vorgenommen, um anschließend eine komparative Analyse der Daten mittels fsQCA durchzuführen. Für die empirische Untersuchung war es erforderlich, eine Programmart auszuwählen, bei der ein hoher Übereinstimmungsgrad bezüglich der Rahmenbedingungen und der politischen Brisanz besteht, um eine Vergleichbarkeit zu ermöglichen und andere Variablen, die auch einen Einfluss auf Nutzung haben, weitestgehend kontrollieren zu können. Hierfür schienen Förderungs- bzw. Mentoringprogramme besonders geeignet zu sein. Auf der Basis der theoretischen Erkenntnisse und der empirischen Befunde werden abschließend einige zukunftsweisende Aspekte für die Evaluationsnutzungsforschung und die Evaluationspraxis adressiert (vgl. Kapitel 5.2). Der Abschluss der Arbeit ist demnach eine Synthese der in den vorangegangenen Kapiteln erworbenen Erkenntnisse.
1 Zielsetzung und Fragestellung
19
1 Zielsetzung und Fragestellung
Zentrale Zielsetzung der vorliegenden Arbeit ist es, herauszufinden, ob Interaktionsgestaltung und soziale Kompetenzen von Interaktionspartner(inne)n für die Evaluationsnutzungen bei Mentoring-Programmevaluationen eine Bedeutung haben und wie diese ggf. präzisiert und erklärt werden kann. Umfeld- und Prozessmerkmale werden als kontrollierende Größe einbezogen. Die Forschungsfrage dieser Arbeit lautet damit: Welche Bedeutung haben die Interaktionsgestaltung während einer Evaluation und die sozialen Kompetenzen der Hauptinteraktionspartner(innen) für die Evaluationsnutzungen bei Mentoring-Programmevaluationen? Die vorliegende Untersuchung setzt sich also explizit nicht mit der in der Diskussion angelegten, ebenfalls spannenden Frage nach institutionellen Bedingungen (siehe dazu z.B. Balthasar 2007) und organisationsbezogenen Merkmalen auseinander. Vielmehr stehen ausdrücklich individuelle und interpersonelle Merkmale von Hauptinteraktionspartner(innen) und deren Bedeutung für Evaluationsnutzungen im Zentrum des Interesses.Durch mindestens zwei Argumente lässt sich diese Ausrichtung des Erkenntnisinteresses begründen: Erstens besteht in der Nutzungsforschung ein spezifisches Forschungsdefizit im Hinblick auf die Konstrukte soziale Kompetenzen und Interaktionsgestaltung bzw. interpersonale Kompetenzen und deren Einfluss auf die Nutzungen von Evaluationen. Es herrscht eine große Diskrepanz zwischen den vielfältigen theoretischen Konzepten über Faktoren, welche einen Einfluss auf Evaluationsnutzungen haben und den wenigen systematischen Studien zu Nutzungen von Evaluationsbefunden, d.h. die Theorie der Evaluationsnutzung übersteigt bei weitem die Empirie (Dickey 1980: 65; Stamm 2003a: 26). Obwohl sich die Evaluationsnutzungsforschung mit Nutzungs- und Aneignungsprozessen auseinandersetzt, stellen soziale und interpersonale Kompetenzen kein explizites Konstrukt dar und dementsprechend gibt es kaum einen differenzierten Blick auf den möglichen Einfluss dieser Faktoren auf die Nutzungen von Evaluationen. Entsprechendes gilt für die Kompetenzen, über die Evaluator(inn)en in diesen Bereichen verfügen sollten. Die Begriffe soziale und interpersonale Kompetenzen werden im Feld der Evaluation hauptsächlich mit zwei Aspekten verknüpft: Zum einen gelten sie als Kompetenzbereiche in der Arbeit von Evaluator(inn)en und zum zweiten werden sie, insbesondere im Rahmen von lernorientierten, interakM. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1_2, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011
20
1 Zielsetzung und Fragestellung
tionistischen Evaluationstheorien (vgl. z.B. Patton 1997) als Einflussgröße auf die Nutzungen von Evaluationen diskutiert. Beides erfolgt zumeist, ohne dass eine inhaltliche Klärung der Begrifflichkeiten hinreichend erfolgt. Der Bedarf an weiterführenden Ergebnissen zeigt sich daher auch und insbesondere vor der aktuellen Professionalisierungsdebatte im Feld (vgl. Kapitel 2.4) und hier speziell in Bezug auf Kernkompetenzen von professionellen Evaluator(inn)en in Aus- und Weiterbildung. Zum zweiten fehlt bislang ein integratives Nutzungskonzept, das die verschiedenen Dimensionen als komplementäre Teile eines differenzierten Nutzungsbegriffs versteht (Stamm 2003a: 101). Ebenso gibt es kaum innovative Neukonzeptualisierungen von Evaluationsnutzung und Ansätze, die Nutzung unabhängig von den in den 70er und 80er Jahren angestellten theoretischen Überlegungen zu Evaluationsnutzung adressieren (vgl. Kirkhart 2000). Historisch betrachtet, gab es eine Entwicklung von einem einfachen Nutzungsaspekt hin zu einer komplexeren Betrachtungsweise und der Unterscheidung von vier Nutzungstypen. Diese Unterscheidung wird zunehmend kritisch hinterfragt (z.B. Kirkhart 2000; Henry/Mark 2003a). Die Überlegungen zur Rezeption der Theorien in der Evaluationsnutzungsforschung mit Berücksichtigung der Interaktionskomponente (z.B. Cousins/Leithwood 1986, 1993) zeigen, dass bislang kaum eine Integration verschiedener Modelle stattgefunden hat. In vorliegender Arbeit wird ein multi-dimensionales Nutzungsmodell generiert und erprobt (vgl. Abb. 8), ohne dass eine explizite Zuordnung zu den vier Nutzungstypen vorgenommen wird. Im Fokus stehen dabei von den Hauptinteraktionspartner(inne)n konstruierte Informationen. Es wird davon ausgegangen, dass Programmevaluationen sich zu jeder Zeit in einem multi-dimensionalen Entscheidungs- und somit auch Nutzungsraum mit hoher Komplexität befinden (vgl. Abb.11). Zur Beantwortung der Forschungsfrage dieser Arbeit wird zum einen ein historisch-theoretischer Nachweis der gewachsenen Bedeutung der Interaktionsperspektive für Nutzungsprozesse erbracht (vgl. Kapitel 2.2.3) und der bestehende Mangel des Verständnisses der Einflussfaktoren bezüglich der so genannten „soften“ Faktoren zum Ausgangspunkt genommen (vgl. Kapitel 2.3.1). Die Kriterienraster für die einzelnen zu untersuchenden Bedingungen (Interaktionsgestaltung, soziale Kompetenzen und Umfeld- und Prozessmerkmale) und ihren eventuellen Einfluss auf Nutzungen von Evaluation werden durch eine Analyse der bereits vorhandenen einschlägigen Analysen und Metaanalysen auf dem Gebiet mit dem Verfahren des Theoretical Sampling (Glaser/Strauss 1967) generiert und an Stellen explorativ durch das empirische Material präzisiert. Ausgangspunkt für das empirische Vorgehen bildet ein metatheoretisches Modell, dem die Annahme zugrunde liegt, dass soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale Bedingungen für das Auftreten von
1 Zielsetzung und Fragestellung
21
Evaluationsnutzungen darstellen (vgl. Abb. 11). Das empirische Material (Interview- und Fragebogendaten) wird mit Hilfe der Fuzzy-Set Qualitative Comparative Analysis (fsQCA) ausgewertet. Die Ergebnisse werden abschließend präsentiert (vgl. Kapitel 4) und unter Einbezug der theoretischen Vorarbeiten diskutiert (vgl. Kapitel 5).
2.1 Der Evaluationsbegriff
23
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells: Systematisierungsversuche im Evaluationsfeld 2
Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Zur Entwicklung des geplanten empirischen Zugriffs auf das Untersuchungsfeld bedarf es zunächst einer definitorischen Klärung zentraler, zu nutzender Termini. Im Folgenden werden nacheinander der Evaluationsbegriff, der Evaluationsnutzungsbegriff, der Begriff soziale Kompetenzen, evaluationsrelevante Interaktionsgestaltungsaspekte und Umfeld- und Prozessmerkmale geklärt und zum Ende des Kapitels in ein Untersuchungsmodell überführt. 2.1 Der Evaluationsbegriff 2.1.1 Von der Problematik des (mindestens) sechsgeteilten Begriffsverständnisses Evaluation ist ein „vieldeutiges Wort“ (Weiss 1974: 19), dessen Bedeutungsvielfalt kontinuierlich zugenommen hat (Stockmann 2007: 25). Der Evaluationsbegriff entzieht sich quasi einer Definition (vgl. z.B. King 2003: 57ff; Wottawa/Thierau 2003: 13). Die Gesamtheit aller möglichen Arten von Evaluation lässt sich kaum durch eine einzige Definition umreißen (vgl. z.B. Glass/Ellett 1980; Patton 1988; Westermann 2002). Hinzu kommt, dass für die vielfältigen Praxisfelder von Evaluation spezifische Definitionen formuliert wurden. So etwa in den Feldern (vgl. auch Stamm 2003a):
Politikforschung (Bussmann et al. 1997; Hellstern/Wollmann 1984) Psychotherapie (Grawe et al. 1993; Petermann 1977) Soziale Arbeit (Heiner 1996) Bildungsforschung (Fend 1982, 1990)
Im Begriff Evaluation treffen entsprechend verschiedene Disziplinen mit vielfältigen Anwendungsgesichtspunkten zusammen. Die Vielfalt der Evaluationspraxis und ihrer Theorie hat dazu geführt, dass sich unterschiedliche Ansprüche an M. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1_3, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011
24
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Evaluationsansätze mit spezifischen Leistungsprofilen herausgebildet haben. Ob dieser Vielfalt der Evaluation kann eine Definition nicht simpel sein. Zudem existieren eine Reihe von mehr oder weniger synonymen Begriffen, so z.B.: Erfolgskontrolle, Effizienzforschung, Begleitforschung, Bewertungsforschung, Wirkungskontrolle, Qualitätskontrolle, Qualitätsprüfung, Qualitätssicherung und Qualitätsentwicklung (vgl. Stamm 2003a). Sowohl der Begriff Evaluation als auch Evaluationsnutzung wurden mehrfach zum Definiendum erhoben. Es kann davon ausgegangen werden, dass trotz verschiedenster Definitionsketten ein gemeinsamer Vorstellungsinhalt ungefähr ausgeprägt ist: „Evaluation is the systematic investigation of the merit or worth of an object (program) for the purpose of reducing uncertainty in decision making.“ (Mertens 1998: 219). Evaluation ist demnach zunächst einmal ein Pluralitätsbekenntnis, um den Begriff dennoch zu explizieren, finden sich in der Literatur üblicherweise Vorschläge zur Definition des Begriffs oder eine Auswahl von Definitionen. Bradley Cousins und Kenneth Leithwood (1986) versuchten eine systematische Eingrenzung des Evaluationsbegriffs zu erreichen, indem sie verallgemeinerten, dass man immer dann von Evaluation oder einer Evaluationsstudie spricht, wenn sozialwissenschaftliche Methoden benutzt werden, um Fragen von Entscheidungsträgern zu beantworten (Cousins/Leithwood 1986: 332). In Anlehnung an die Unterscheidung von sechs Definitionstypen (Gephart 1981: 250ff)1 wurden von Michael Patton (1988: 302ff) sechs unterschiedliche Schwerpunkte bei der Definition von Evaluation vorgestellt, die sich darauf beziehen, welche Aspekte die unterschiedlichen Evaluator(inn)en in ihren Arbeiten betonen: (1) Zielerreichende Definitionen: Evaluation ist der Ermittlungsprozess darüber, in welchem Ausmaß die Ziele eines Programms erreicht werden. Vertreter dieser Definition ist Ralph Tyler (1949). (2) Methodenbasierte Definitionen: Evaluation beinhaltet primär die Anwendung quantitativer sozialwissenschaftlicher Methoden und experimentelle Untersuchungsdesigns. Vertreter dieser Definition sind z.B. Rossi et al. (1979). (3) Vergleichende Definitionen: Evaluation ist der Vergleich zwischen zwei oder mehreren Programmen in Bezug auf die Kosten und Leistungen. Vertreter dieser Definition sind Marvin C. Alkin und Fred Ellett (1984) und Alkin (1990). (4) Wertorientierte Definitionen: Ein anderer Schwerpunkt wird von Evaluator(inn)en gelegt, die die Bewertung als Bestandteil von Evaluation hervorheben. Aus dieser Perspektive ist Evaluation der Prozess der Beurteilung des Werts 1
Gephart (1981) unterschied folgende sechs Definitionstypen: Klassifikatorische Definition, Komparative Definition, Operationale Definition, Komponentenbasierte Definition, Veranschaulichende Definition und Antonymbasierte Definition.
2.1 Der Evaluationsbegriff
25
eines Programms. Vertreter sind Egon G. Guba und Yvonna Lincoln (1981, 1989), Blaine R. Worthen und James R. Sanders (1973), Richard Daillak (1982) und Michael Scriven (1991, 1996). (5) Entscheidungsorientierte Definitionen: Der Schwerpunkt dieser Definition liegt - über die wertorientierte Definition hinaus - in der Entscheidungsfällung und Problemlösung. Es soll nicht nur entschieden werden, dass z.B. ein Programm A besser ist als ein Programm B, sondern es soll auch eine Entscheidung in Bezug auf Programm A bzw. B getroffen werden. Vertreterin dieser Definition ist z.B. Carol H. Weiss (1998). (6) Informationsorientierte Definitionen: Diese Definition nimmt die Nutzer(innen) von Evaluationen in den Fokus und dient als Basis für die nutzungsorientierte Evaluation. Vertreter dieser Definition ist Patton (1981, 1988). Forscher(innen), die neue Aspekte von Evaluationen finden, entwerfen häufig Definitionen, die eben diesen einen Aspekt unterstreichen, ohne deren Adäquanz zu prüfen (Glass/Ellett 1980). 2.1.2 Evaluation vs. Evaluationsforschung: Ein Systematisierungsversuch ohne Erfolg Systematisierungsversuche in der Begriffsdiskussion wurden zudem unternommen, indem eine Unterscheidung von Evaluation und Evaluationsforschung vorgenommen wurde; diese haben sich jedoch weder in den USA noch im deutschsprachigen Raum durchgesetzt (Wottawa/Thierau 2003). Dies ist nicht verwunderlich, da die Unterscheidung lediglich die methodischen Aspekte in den Fokus setzt. In diesem Kontext wird Evaluation als Beurteilungsprozess, der nicht notwendigerweise systematische Verfahren oder datengestützte Beweise zur Untermauerung einer Beurteilung erfordert, beschrieben (Wottawa/Thierau 2003). Evaluationsforschung dagegen ist ein Teilbereich der empirischen Forschung (Bortz/Döring 2006: 98ff) und erfordert explizit die Verwendung wissenschaftlicher Forschungsmethoden und –techniken für den Zweck der Durchführung einer Bewertung (Wottawa/Thierau 2003). Jürgen Bortz und Nicola Döring (2006) beschreiben, dass alle forschenden Aktivitäten, bei denen es um Auswirkungen von Wandel in Natur, Kultur, Technik und Gesellschaft und um die Bewertung des Erfolges von gezielt eingesetzten Maßnahmen geht, Evaluationsforschung sind. Genau diese Aktivitäten werden jedoch in anderen Kontexten, die zumeist keine Unterscheidung zwischen Evaluation und Evaluationsforschung vornehmen, als Evaluation bezeichnet (vgl. Westermann 2002; Keiner 2001).
26
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Als Vertreter der Pole dieser Diskussion werden häufig Lee Cronbach auf der Seite der Evaluation und Donald Campbell auf der Seite der Evaluationsforschung genannt (vgl. z.B. Bortz/Döring 2006: 102; Müller 1987: 205; Westermann 2002: 19). Das Beispiel Cronbachs spiegelt jedoch die unzureichende Unterscheidung zwischen Evaluation und Evaluationsforschung im Sinne einer Systematisierung der Begrifflichkeit wider. Während Cronbachs Äußerungen, dass Evaluation eine Kunst ist und es keinen einzigen „besten Plan“ für eine Evaluation gibt (Cronbach 1982: 321) auf der einen Seite dazu führte, dass er als Vertreter einer nicht-wissenschaftlichen, an den Bedürfnissen des Auftraggebers orientierten Evaluation angesehen wurde (Westermann 2002: 19), bezeichnen andere Autor(inn)en ihn, aufgrund seiner außerordentlichen Leistungen für die Weiter- und Neuentwicklungen von Methodologien im Evaluationsfeld, als „methodologischen Giganten“ (Alkin/Christie 2004: 30) der Evaluationsforschung. Interessant scheint hier, dass in der Argumentation wissenschaftliche Evaluation als nicht vereinbar mit einer an den Bedürfnissen der Auftraggeber(innen) orientierten Evaluation angesehen wird. Richtig ist, dass Cronbach nicht an strikten experimentellen Kontrollen festhält, die z.B. Campbell verfocht (ebd.: 31). Er plädierte dafür, dass bei Evaluationsdesignentscheidungen nicht ausschließlich statistische Analysen maßgeblich sind, sondern dass diese einhergehen müssen mit verschiedensten anderen Aspekten (dazu Cronbach 1982)2. Die Begriffe Evaluation, Evaluierung und Evaluationsforschung werden im Folgenden synonym verwendet (zur definitorischen Unterscheidung vgl. Wottawa/Thierau 2003: 13f). 2.2 Der Evaluationsnutzungsbegriff Evaluationsnutzung ist das interessierende Outcome bzw. die Zielvariable der empirischen Untersuchung dieser Arbeit. In folgendem Kapitel werden verschiedene Schwierigkeiten benannt, die sich bei der Diskussion des Evaluationsnutzungsbegriffs ergeben, weiterhin werden die bislang gängigen Arten und Formen von Evaluationsnutzung vorgestellt (vgl. Kapitel 2.2.2) und einige Entwicklungen in der Nutzungsforschung von 1971 – 2009 beleuchtet, um die zunehmende Bedeutung der Interaktionsperspektive in diesem Forschungsfeld herauszuarbeiten (vgl. Kapitel 2.2.3). Abschließend werden Befunde und Theorien der Programmevaluation und Ergebnisse der angewandten Nutzungsforschung in einem metatheoretischen Nutzungsmodell integriert (vgl. Kapitel 2.2.4). 2
Für eine systematische Unterscheidung zwischen Evaluationsforschung und Grundlagenforschung vgl. Evert Vedung 2004: 111-133.
2.2 Der Evaluationsnutzungsbegriff
27
Um Evaluationsnutzungen empirisch zu untersuchen, ist es relevant, sich mit dem Begriff und seinen Inhalten auseinanderzusetzen. In der Fachdiskussion herrscht ein Konsens darüber, dass Evaluation nur dann erfolgreich ist, wenn die Ergebnisse in der Praxis genutzt werden (z.B. Balzer 2005: 84; Clarke/Dawson 1999: 173). Peter H. Rossi und Howard E. Freeman formulieren: „In the end, the worth of evaluations must be judged by their utility“ (Rossi/Freeman 1993: 443) oder auch „ […] your evaluation won’t be worth much if it’s results are not used“ (Hannum/Martineau 2008: 34). Allerdings ist ein Zugang nicht unproblematisch möglich, im Folgenden sollen, bevor auf die bestehende Diskussion des Evaluationsnutzungsbegriffs eingegangen wird, drei Hauptschwierigkeiten dargestellt werden: Zum Ersten muss festgehalten werden, dass im Gesamtergebnis keine einheitliche Definition von Evaluationsnutzung existieren kann. Dies impliziert aber auch, dass mehrere Definitionen von Evaluationsnutzung möglich sind und dass diese je nach Evaluationskontext verhandelt und diskutiert werden müssen. Der Evaluationsbegriff ist, wie im Kapitel 2.1 gezeigt, nicht klar definiert. Evaluationsnutzung schließt an diesen Begriff an. Das hat zur Folge, dass jede Definition von Nutzung auch auf eine Definition von Evaluation rekurieren muss (Stamm 2003a: 38). Als zweite hochproblematische und in diesem Kontext relevante Diskussion gilt die Entscheidung, ob die Nutzung sich tatsächlich auf die Evaluation(sergebnisse) oder auf andere Faktoren bezieht. Diese Situation spitzt sich noch zu, wenn längerfristige Einflüsse der Evaluation berücksichtigt werden sollen. Kausalitäten zwischen Evaluationsgeschehen und Nutzungen sind schwer herzustellen. Monokausalitäten, bei denen sich Nutzungen auf die Evaluation als verursachenden Auslöser zurückführen lassen, sind noch unwahrscheinlicher, vielmehr muss von Multikausalitäten ausgegangen werden, wobei die Auslöser zusammen oder nebeneinander wirken und schwer voneinander abgrenzbar sind. Eine klare Verbindung zwischen den von Evaluator(inn)en rückgemeldeten Informationen und den tatsächlichen durch Programme getroffenen Entscheidungen herzustellen, stellt ein schwer zu lösendes Problem dar und macht die Erbringung von Belegen für Evaluationsnutzung schwierig. Bestehende empirische Studien zur Nutzungsforschung von Evaluationen verwenden zudem unterschiedliche Maßeinheiten für die „Messung“ der Nutzung von Evaluation. Es gibt Studien, die einzelne Prädiktorvariablen in Bezug auf Evaluationsnutzung untersucht haben, so z.B. die Art der Evaluationsberichte3 (Sprache, Stil, Angaben) (vgl. Brown et al. 1978). Andere Studien fokussieren auf Programmverän3
Die Ergebnisse zeigten keine signifikanten Unterschiede in Bezug auf Nutzung der Evaluationsergebnisse.
28
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
derungen als Maßeinheit für Evaluationsnutzung, z.B. Untersuchungen zu sozialen und politischen Kontextfaktoren4 (vgl. Balthasar 2007). Als dritten problematischen Aspekt, auf den in dieser Arbeit noch genauer eingegangen wird, muss die Multidimensionalität des Phänomens Evaluationsnutzung (Shulha/Cousins 1997; Stamm 2003a) genannt werden. Man geht davon aus, dass die Beschreibung von Evaluationsnutzung am ehesten durch die Interaktion verschiedener Dimensionen (vgl. Kapitel 2.2.4) möglich ist. Ein integratives Nutzungskonzept, das die verschiedenen Dimensionen als komplementäre Teile eines differenzierten Nutzungsbegriffs versteht, fehlt, wie eingangs bereits genannt, bislang (Stamm 2003a: 101). Ebenso gibt es kaum innovative Neukonzeptualisierungen von Evaluationsnutzung oder Ansätze, die Nutzung unabhängig von den in den 70er und 80er Jahren angestellten theoretischen Überlegungen zu Evaluationsnutzung betrachten (vgl. Kirkhart 2000). Vor dem Hintergrund der dargestellten Probleme lässt sich Folgendes in Bezug zum Evaluationsnutzungsbegriff festhalten: Im englischsprachigen Raum werden im Evaluationsnutzungszusammenhang unterschiedliche Begriffe wie Utility (Nützlichkeit), Utilization (Nutzbarmachung), Use (Nutzung, Verwendung, Gebrauch) und Influence (Einfluss) unterschieden, wobei die Begrifflichkeiten teilweise synonym verwendet werden. Insbesondere die Unterscheidung von Nutzung und Einfluss spielt in der neueren Diskussion (vgl. Kapitel 2.2) immer wieder eine Rolle (z.B. Cousins/Shulha 2006; Kirkhart 2000; Henry/Mark 2003a). Der Begriff des Einflusses soll dabei auch die nicht intendierten und prozessbezogenen Effekte von Evaluationen als eine Form von Entwicklung und Nutzung berücksichtigen: „The term influence (the capacity or power of persons or things to produce effects on others by intangible or indirect means) is broader than use, creating a framework with which to examine the effects that are multidirectional, incremental, unintentional, and instrumental” (Kirkhart 2000:7).
Gary Henry und Melvin Mark (2003a) schlagen ebenfalls vor, weg von einer Theorie der Nutzung, hin zu einer Theorie des Einflusses zu wechseln. Sie begründen ihre Forderung damit, dass der Begriff Nutzung zu unpräzise sei und zu fokussiert auf die Abschlussphase einer Evaluation verwendet werde. Der Mehrwert einer Theorie des Einflusses liegt Karen Kirkharts Ansicht nach darin, dass drei Aspekte von Evaluationseinfluss identifiziert und somit auch untersucht werden können: Intentionen, Herkunft des Einflusses und der Zeitfaktor (Kirkhart 2000: 6). In Bezug auf die von Kirkhart (2000), Henry und Mark (2003) 4
Soziale und politische Kontextfaktoren haben auf komplexe und interaktive Weise einen Einfluss auf Nutzungs- und Entscheidungsfällungsprozesse (vgl. Alkin et al. 1985).
2.2 Der Evaluationsnutzungsbegriff
29
vertretene Sichtweise könnte man auch argumentieren, dass Einfluss im Sinne von Einfluss ausüben (aktiv und bewusst) und Einfluss haben (passiv), von der Richtung her unterstreicht, dass die Evaluation „etwas mit dem Evaluationsgegenstand macht“. Nutzung hingegen bezeichnet den Gebrauch einer Evaluation durch z.B. die Beteiligten eines Programms, d.h. es geht eher darum, was der jeweilige Evaluationsgegenstand sich aktiv nimmt. Auch die Unterscheidung in erwünschte oder unerwünschte Auswirkungen spricht nicht unbedingt für die Verwendung des Einflussbegriffs. Nutzungen implizieren häufig, dass etwas nützlich und von daher eher erwünscht ist; jedoch können auch unerwünschte Effekte eine Form von Nutzungen darstellen. Die Überprüfung, wie sinnvoll das Hinzufügen zusätzlicher Terminologie in diesem Fall ist und welche Relevanz sich daraus für die Praxis ergibt, steht noch aus. Zudem könnten auch noch andere Begriffe, wie z.B. Umkonstruktionen (vor dem Hintergrund der Ergebnisse von Stamm (2003a)) diskutiert werden. Im deutschsprachigen Raum wird bislang hauptsächlich von Nutzung oder Verwendung gesprochen. Zumeist handelt es sich bei der Evaluationsnutzungsdefinition um konzeptuelle „Weg-zum-ZielBeschreibungen“ im Sinne von: ‚Was muss getan werden, damit eventuell Nutzung stattfindet?’. Es liegen demnach normative Umschreibungen vor, wie z.B. diejenige, in der von Evaluationsnutzung als Verwendung von Evaluationsergebnissen oder Evaluationsprozessen zur Erreichung gesetzter Ziele (Alkin et al. 1985) ausgegangen wird. Die Erkenntnisse über Evaluationsnutzung stammen größtenteils aus der Anwender(innen)praxis und weniger aus der Empirie. Offene Fragen sind beispielsweise, wo Nutzung beginnt und aufhört, wer das entscheidet und wie Nutzung sich gestaltet, ob z.B. bereits das Lesen des Evaluationsberichts5 Nutzung ist oder ob Nutzung bei der Diskussion der Evaluationsergebnisse6 beginnt? Bedeutet Nutzung einen direkten (nachweisbaren) Einfluss der Evaluationsresultate auf einen oder mehrere Entscheidungen oder den schrittweisen, graduellen Einfluss der Evaluation auf programmrelevante Entscheidungen? Schon Alkin et al. (1979) unterschieden entsprechend zwei Formen der Definition von Nutzung, zum einen eine in den 70er Jahren von der Mehrheit der Forscher(innen) vertretene Definition von Nutzung, die nur direkte Einflüsse der Evaluationsergebnisse auf eine gewisse Anzahl von Entscheidungen im Programmkontext berücksichtigt und zum anderen eine heute weitverbreitete Definition, die Ende der 70er Jahre noch als alternative Definition bezeichnet wurde: 5 6
Geschriebene Evaluationsberichte sind die einzigen aber oft nicht die wichtigsten Informationen, die durch Evaluationsteams präsentiert werden (Alkin et al. 1979: 226). Ein wunder Punkt der Evaluationsliteratur ist die Unklarheit über die verschiedenen Ergebnisarten von Evaluation wie z.B: Beschreibungen, Schlussfolgerungen, Bewertungen und Empfehlungen (vgl. dazu Davidson et al. 2005).
30
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
„…the alternative perspective on utilization emphasizes the interactions of people in the evaluation process rather than looking simply at single factors or even at configurations of (fundamentally static) factors.” (Alkin et al. 1979: 26).
Letztere Definition nimmt die indirektere bzw. unintendiertere Nutzung der Ergebnisse in den Fokus. Genutzt werden kann Evaluation neben der Fällung von Entscheidungen auch zur Bekräftigung von vorangegangenen Entscheidungen oder zur Veränderung von Einstellungen (ebd.: 230). In diesem Zusammenhang beschreibt Weiss, dass Entscheidungsfällung in Programmen in den seltensten Fällen Angelegenheit einer Person allein ist; Entscheidungen sind das Resultat von vielfachen Handlungen von verschiedenen Akteuren oder in den Worten von Weiss formuliert: „multiple actions by multiple actors“ (Weiss 1988a: 6). Patton gilt als einer der Hauptvertreter der Nutzungsorientierten Evaluation. Er definiert Nutzung als: „intended use by intended users“ (Patton 1988: 14). Er betont mit dieser Formulierung, dass in jeder Evaluation mehrere Stakeholder mit unterschiedlichen Nutzungsinteressen berücksichtigt werden möchten und dass ein Fokus weg von potenziellen, möglichen und abstrakten Nutzer(inne)n der Evaluationsergebnisse hin zu spezifischen, primären und konkreten Nutzer(inne)n gesetzt werden muss, damit Evaluationsergebnisse genutzt werden (Patton 1997: 20). Pattons Monografie: „Utilization Focused Evaluation“ enthielt in der Erstausgabe (1978) keine Definitionsvorschläge von Nutzung. Die zweite und dritte Auflage (Patton 1986, 1997) korrigierten dies nur partiell. Sein Vorschlag, einen oder mehrere Nutzer(innen) zu identifizieren und mit diesen zusammenzuarbeiten stellt mehr eine Idee für die optimale Unterstützung von der Annahme und Umsetzung von Evaluationsergebnissen dar und ist weniger eine Definition des Begriffs Evaluationsnutzung. Laut Thomas Cook und William Pollard (1977) kann dann von Evaluationsnutzung gesprochen werden, wenn eine ernsthafte Diskussion über die Evaluationsergebnisse eines Programms erfolgt; diese Sichtweise unterstreicht z.B., dass allein das Lesen des Evaluationsberichts noch keine Nutzung darstellt. Weiterhin spricht man von Evaluationsnutzung, wenn Belege vorliegen, dass ohne die Evaluationsergebnisse Entscheidungsträger auf der Programmseite anders gedacht oder gehandelt hätten (Leviton/Hughes 1981). Die Schwierigkeit der Erbringung von Belegen wurde bereits weiter oben diskutiert. Wie die Rezeption des Diskussionsstandes zeigt, gibt es verschiedenste Probleme bei der Definition des Nutzungsbegriffs. Für einen empirischen Zugang ist es jedoch notwendig, den Begriff zu operationalisieren und Nutzung „messbar“ zu machen. In Programmevaluationen ist es dessen ungeachtet in aller Regel nicht die standardisierte Definition, die notwendig für eine gewinnbringende Evaluation ist, sondern die wirklich notwendige Frage vor der Evaluation
2.2 Der Evaluationsnutzungsbegriff
31
sollte sein, was diese spezielle Evaluation leisten kann und an welchen Stellen man diese wie nutzen kann. Die multidimensionalen Einflüsse zwischen Informationen, Aktionen, Prozessen, Verhalten, Einstellungen, Entscheidungen und konkreten Handlungen sind schwierig zu trennen und aufzuzeigen. Dennoch kann man aus unterschiedlichen analytischen Perspektiven valide Aspekte, die zum Verständnis beitragen, gewinnen. Überlegt man sich, dass eine Reihe von unterschiedlichsten Informationen die Entscheidungsträger(innen) und Nutzer(innen) von Evaluationen erreichen: Evaluationsergebnisse, Forschungsergebnisse, andere Rückmeldungen, persönliche Erfahrungen, Intuition und so fort, wird klar, dass im Fokus konstruierte Informationen stehen. Programmevaluation bewegt sich zu jeder Zeit in einem multidimensionalen Entscheidungs- und somit auch Nutzungsraum mit hoher Komplexität. Konsequent weiter gedacht hat insbesondere der Begriff ’instrumentelle Nutzung’ für Programmevaluationen ein eher limitiertes Potenzial als Nutzungsbezeichnung, da die direkte instrumentelle Nutzung von Evaluationsresultaten für Entscheidungsfällungsprozesse eher eine Ausnahme zu sein scheint. Die Enlightment-Dimension mit aufklärerischem Charakter (Weiss 1986b) spielt in der Evaluationsnutzungsforschung bislang nur als möglicher Nebeneffekt eine Rolle und wird weniger, wie z.B. in der Umweltforschung (Gudmundsson 2003: 6), als intendierte bzw. sogar taktische Disseminationsmöglichkeit eingesetzt. Zusammenfassend lässt sich festhalten, dass der Begriff Evaluationsnutzung bislang nur selten ohne Bezug zum Nutzungszweck der Evaluation diskutiert wird. Evaluationsnutzung ist, wie gezeigt wurde, kein einheitliches Konzept und es gibt verschiedene Nutzungen basierend darauf, wozu die Ergebnisse dienen sollen (Leviton/Hughes 1981). Im Fachdiskurs wird unterschieden zwischen verschiedensten Nutzungsformen resp. -typen (vgl. Kapitel 2.2.2) und nutzungsbeeinflussenden Faktoren (vgl. Kapitel 2.2.3), die in den nachfolgenden Kapiteln vorgestellt werden sollen. Bislang vernachlässigt sind Themen wie zweckentfremdete Nutzung bzw. missbräuchliche Nutzung und die Nicht-Nutzung von Evaluationen (vgl. Cousins/Shulha 2006) sowie die Diskussion darüber, wie mit Programmen verfahren werden kann, denen das Potenzial (finanzielle, personelle Ressourcen) zur Umsetzung von Evaluationsempfehlungen fehlt oder bei denen sich die politischen Kontextfaktoren ungünstig gestalten. Hier stellt sich die Frage, inwieweit Evaluationen und/oder die Benennungen von Empfehlungen in einem solchen Kontext überhaupt nützlich sein können.
32
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
2.2.1 Hinweise auf Evaluationsnutzungen in ausgewählten Evaluationsstandards In den USA sind seit Ende der siebziger Jahre verschiedene Kataloge von Standards entwickelt worden (z.B. Joint Standards for Educational Evaluation (1981), Evaluation Research Society (ERS) Standards (1982)), welche hauptsächlich die Anforderungen an Evaluationen definieren und zur Qualitätsförderung und –sicherung beitragen sollen. Durch die American Evaluation Association (AEA) wurde außerdem die Entwicklung von „Guiding Principles for Evaluators“ (1994) angeregt. In Europa wurden zum Ende der 90er Jahre verschiedene Standards publiziert: im deutschsprachigen Raum – basierend auf den Standards des „Joint Committee on Standards for Educational Evaluation, Inc.“ (1981) von der Deutschen Gesellschaft für Evaluation: DeGEval (2008a)7 und der Schweizerischen Evaluationsgesellschaft: SEVAL (2000)8 und in Eigenentwicklung z.B. von der Sociéte française de l’evaluation: SFE (2006)9 oder von der United Kingdom Evaluation Society: UKES (2003)10. Mittlerweile kann von einer Anzahl von 64 Evaluationsgesellschaften weltweit ausgegangen werden11 von denen entweder in Anlehnung an schon existierende Standards oder in Eigenentwicklung Standards publiziert worden sind. Unter Evaluations-Standards werden anerkannte Prinzipien zur Einschätzung der Qualität von Evaluationen verstanden (Ridings/Stufflebeam 1981, Stufflebeam et al. 2000). Vor dem Hintergrund der Fragestellung dieser Arbeit, welche sozialen und interpersonellen Kompetenzen von Hauptinteraktionspartner(inne)n für die Evaluationsnutzungen bei Programmevaluationen bedeutsam sind, sind für die definitorische Klärung des Evaluationsnutzungsbegriffs vor allem zwei Publikationen interessant: (a) die Standards des Joint Committee (1994), die als Basis für die Entwicklung der deutschen Standards dienten12 und (b) die Standards der DeGEval (2008a).
7 8 9 10 11 12
Vierte unveränderte Auflage Download unter: http://www.seval.ch/de/standards/index.cfm [04/2010] Download unter: http://www.sfe-asso.fr/intranet/ckfinder/userfiles/files/charte/SFE_plaquette_ charte.pdf [04/2010] Download unter: http://www.evaluation.org.uk/resources/guidelines.aspx [04/2010] http://www.evaluation.lars-balzer.name/links/societies-groups/ [03/2010] Zur internationalen Übertragbarkeit der „Standards“ vgl. Widmer/Beywl 2006.
2.2 Der Evaluationsnutzungsbegriff
a.
33
Die „Standards for Evaluation of Educational Programs, Projects, and Materials“ des Joint Committee13 (1981) werden aktuell zum dritten Mal überarbeitet. Die zweite Version „The Program Evaluation Standards“ erschien 1994. Ursprünglich waren die Standards ausschließlich für die erziehungswissenschaftliche Evaluationsforschung entwickelt worden, haben aber über das Fachgebiet hinaus eine weite Beachtung gefunden (Widmer 2006). Die American Evaluation Association (AEA) hat keine eigenen Standards entwickelt und auch die Standards ihrer Vorläuferorganisation Evaluation Research Society (ERS) nicht aufgegriffen. Es zeichnet sich immer deutlicher ab, dass die Standards des „Joint Committee“ zu den Standards der amerikanischen Evaluationsforschung avancieren (Patton 1994). Die Standards setzen sich aus vier Gruppen mit insgesamt 33 Einzelstandards zusammen. Die vier Gruppen sind: Nützlichkeitsstandards, Anwendbarkeitsstandards, Korrektheitstandards und Genauigkeitsstandards. Die Wirkung bzw. der Impact einer Evaluation wird in den Program Evaluation Standards des Joint Committee ausdrücklich erwähnt. Unter den Nützlichkeitsstandards (Utility Standards) findet sich der Standard: „U7 Evaluation Impact – Evaluations should be planned, conducted, and reported in ways that encourage follow-through by stakeholders, so that the likelihood that the evaluation will be used is increased.“ (Joint Committee on Standards for Educational Evaluation 1994)14.
In einer noch unveröffentlichten, in Überarbeitung befindlichen Version, finden sich Ideen einer Präzisierung, indem unterschiedliche Informationsbedürfnisse von Stakeholdern und eine über die direkte Nutzung von Ergebnissen hinausgehende Perspektive berücksichtigt werden15. b.
13 14 15 16
Die Standards der DeGEval16 (2008a) wurden als zweite deutsche Version nach den Standards der Schweizerischen Evaluationsgesellschaft (2000) veröffentlicht. Die DeGEval-Standards setzen sich ebenfalls aus vier Gruppen mit insgesamt 25 Einzelstandards zusammen. Die vier Gruppen sind: Nützlichkeitsstandards, Durchführbarkeitsstandards, Fairnessstandards und Genauigkeitsstandards. Hier findet sich als Substandard unter den Nützlichkeitsstandards im Grunde eine 1:1 Überset-
Das Joint Committee wurde 1974 gegründet und 1989 von dem American National Standards Institute (ANSI) akkreditiert. 1981 wurden Personnel Evaluation Standards und 2003 Student Evaluation Standards publiziert. http://www.jcsee.org/program-evaluation-standards [04/2010] http://www.wmich.edu/evalctr/jc/ [08/2008] Die DeGEval wurde 1997 gegründet.
34
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
zung des entsprechenden - weiter oben bereits genannten - Standards des Joint Committees (1994): „N8 – Nutzung und Nutzen der Evaluation: Planung, Durchführung und Berichterstattung einer Evaluation sollen die Beteiligten und Betroffenen dazu ermuntern, die Evaluation aufmerksam zur Kenntnis zu nehmen und ihre Ergebnisse zu nutzen.“ (DeGEval 2008a: 2)17.
Unter der Kategorie Nützlichkeit werden Standards subsumiert, die sich im Wesentlichen auf die inhaltlichen und mehr noch organisatorischen Dimensionen einer Evaluation beziehen. Nutzen stellt hier gewissermaßen eine Subkategorie von Nützlichkeit dar. Dies wirft die Fragen auf: „Wann ist eine Evaluation nützlich?“ und „Wenn sie nützlich ist, heißt das dann auch, dass sie genutzt wird?“18. Durch die Standards erfolgt gewissermaßen eine Umkehr in der Positionierung der Begrifflichkeiten, indem hier Nutzen als Subkategorie der Nützlichkeit einer Evaluation unterstellt wird. Die Standards der DeGEval (2008a) richten sich primär auf die Verbesserung der Qualität von Evaluationen und nehmen nicht Verhalten von Evaluator(inn)en und Stakeholdern in den Fokus (vgl. dazu Beywl/Widmer 2000). Der Blick auf den Beitrag der Evaluationsstandards zur Begriffsklärung bezüglich der Evaluationsnutzung zeigt, dass die meisten Evaluationsstandards eher wenig an Resultaten und der Nutzung orientiert sind (Picciotto 2005: 55f). Idealerweise sollten Evaluationsstandards die institutionellen Gegebenheiten, in denen Evaluationen tatsächlich passieren, mit Hinweisen für gute Praktiken verbinden (ebd.: 48). Robert Picciotto (2005) fordert, dass schon der Prozess der Formulierung und Implementierung als sozialer Lernprozess verstanden werden sollte, d.h. dass möglichst viele Interessengruppen einbezogen werden sollten, da Evaluationsstandards nur dann optimale Resultate hervorbringen, wenn die wechselseitigen Verpflichtungen aller in die Evaluation Involvierten berücksichtigt werden. Die Funktion von Evaluationsstandards als Ratgeber für die Evaluationspraxis ist bislang kaum systematisch untersucht. Es liegen wenige Ergebnisse dafür vor, inwieweit und in welcher Weise Evaluator(inn)en und Stakeholder diese tatsächlich nutzen bzw. für nützlich halten oder in welcher Weise die Be17 18
http://www.degeval.de/index.php?class=Calimero_Webpage&id=9025 [04/2010] Picciotto (2005) beschreibt die Grenzen von Evaluationsstandards und stellt heraus, dass diese häufig verknüpft sind mit linearen Konzeptionen von Gesellschaft, rationalem Verhalten und vorhersagbaren Konsequenzen von öffentlich-politischen Folgen. In der Praxis hingegen finden wir häufig andere Bedingungen vor.
2.2 Der Evaluationsnutzungsbegriff
35
rücksichtigung der Standards zur Nutzung bzw. Verwendung von Evaluationen beiträgt. Die DeGEval selbst konstatierte in einem Newsletter, dass die Umsetzung der Ergebnisse aus Evaluationsstudien oft mangelhaft ist, inwieweit Evaluationsergebnisse Wirkungen erzielen, hänge dabei wesentlich von den Auftraggebenden und politischen Entscheidungsträgern ab (DeGEval 2002: 1). Nach einer im Jahr 200419 durchgeführten Online-Befragung der DeGEval, an der 257 Personen20 teilnahmen, kann von einer weitgehenden Vertrautheit mit den Standards gesprochen werden: nur 16% der Befragten haben keinen Zugang zu den Standards der DeGEval. Zum Zweiten wurde die Frage gestellt, in welcher Hinsicht die Standards für die eigene Arbeit nützlich sind. Die fünf häufigsten Nennungen unter einer Vielzahl weiterer Nutzungsmöglichkeiten waren hier, dass die Standards ein Hilfsmittel zur Konzeption von Evaluation und zur Auftragsklärung darstellen (53 Nennungen), ein Element der Qualitätskontrolle sind (51 Nennungen), als phasenübergreifendes Hilfsmittel bei Evaluationsprojekten dienen (46 Nennungen), als Lehrgrundlage (42 Nennungen) und als Argumentationsgrundlage bzw. als Mittel zur Legitimation (41 Nennungen) genutzt werden. 2.2.2 Evaluationsnutzungstypen Im Folgenden werden die bisher gängigen Typisierungen von Nutzungen vorgestellt. Hierdurch soll ein Zugang zur Annäherung an die Evaluationsnutzungsidee geschaffen werden. Die Diskussion um die Nutzungstypen hat viel zu einem Wechsel von einer einfachen Definition, die häufig mit instrumenteller Nutzung gleichgesetzt wurde, zu einem differenzierteren und multidimensionalen Nutzungskonzept beigetragen (Cummings 2002: 2). Instrumentelle, konzeptionelle und symbolische Evaluationsnutzung sind die bekanntesten Arten von Nutzung die unterschieden werden (Johnson 1998). Zusätzlich weisen einige Autor(inn)en (Patton 1997; Kirkhart 2000; Forss et al. 2002; Mark et al. 2006; Weiss et al. 2005) auf die prozessbezogene Nutzung von Evaluation hin. Im Folgenden werden die verschiedenen Arten von Nutzungen vorgestellt und anschließend diskutiert. Vorweggreifend muss angemerkt werden, dass kein Nutzungstyp für eine umfassende Erklärung von Evaluationsnutzung herausgehoben werden kann, jeder Nutzungstyp bietet einen unvollständigen Beitrag zu unserem Gesamtverständnis von Nutzungen im Evaluationsbereich. Die instrumentelle Nutzungsdefinition beinhaltet die Nutzung von Evaluationsergebnissen als eine Basis für Handlungen, d.h. hier münden die Evaluations19 20
vgl. dazu http://www.degeval.de/ [01/2008] Bei der Interpretation ist zu beachten, dass 54,8% der Befragten zum Zeitpunkt der Befragung in einem Mitgliedsverhältnis zur DeGEval standen.
36
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
ergebnisse in unmittelbare Handlungskonsequenzen. Bei der instrumentellen Nutzung handelt es sich um die zuerst in der Evaluationsliteratur auftauchende Nutzungsform (Johnson 1998: 93). Angesprochen wird die konkrete Nutzung von Evaluationsergebnissen für die Veränderungen von Verhalten und/oder Handlungen (Shadish et al. 1991). Rossi und Freeman (1993) bezeichnen diese Form der Nutzung auch als direkte Nutzung. Beispiele für instrumentelle Nutzung wären demnach: die Modifikation des Programmverlaufs auf der Basis von Evaluationsergebnissen, die Absetzung eines ineffektiven Programms oder die Anpassung eines Programms – aufgrund der Evaluationsergebnisse – an eine Zielgruppe. Von konzeptioneller Evaluationsnutzung spricht man, wenn eine Evaluation Einfluss hat auf die kognitiven Prozesse (das Denken) von Entscheidungsträgern über ein existierendes oder bevorstehendes Programm (Owen 1992). Weiss (1988a) spricht auch von Neukonzeptionierung (reconceptualization). Jeffrey Rich (1977) definierte konzeptionelle Nutzung als die Beeinflussung des Denkens eines Entscheidungsträgers über eine Angelegenheit, ohne Evaluationsinformationen spezifisch oder dokumentierbar zu nutzen. Im Vergleich zur instrumentellen Nutzung geht es hier eher um indirekte Veränderung von Überzeugungen und Einstellungen infolge der Evaluationsergebnisse. Margrit Stamm nennt dies auch “erzieherisch-aufklärende Absichten“ (Stamm 2003a: 100). Beispiele für konzeptionelle Evaluationsnutzung wären: durch die Evaluationsergebnisse auf Potenziale des Programms aufmerksam werden, Änderung von Einstellungen und Zugewinn an Wissen zu Evaluationen allgemein und durch Evaluation eine Einstellung zu einem bestimmten Programm gewinnen. Symbolische Nutzung mit legitimatorisch-politischem Charakter tritt auf, wenn Individuen die Evaluationsergebnisse für politische Selbstinteressen nutzen (Johnson 1998: 94) und kein Interesse an den substantiellen Ergebnissen der Evaluation haben. Hier liegen anderweitige Motive für die Durchführung einer Evaluation vor (Clarke/Dawson 1999: 177). Evaluation kann im Sinne dieser Nutzungsform als Symbol verwendet werden, um zu zeigen, dass die Programmverantwortlichen ernsthaft interessiert sind, sich mit der Qualität ihres Handelns auseinanderzusetzen. Konspirative Nutzung (vgl. Huberman 1987) und legitimierende Nutzung sind eng verbunden mit dem Konzept der symbolischen Nutzung (vgl. Stamm 2003a). Ein Beispiel für symbolische Nutzung wäre eine bestimmte Entscheidung durch eine Evaluation zu legitimieren, obwohl diese Entscheidung bereits feststand und in jedem Fall getroffen worden wäre. Die Evaluation wird hier aus taktischen Gründen durchgeführt. Die prozessbezogene Nutzung wird oftmals nicht als eigene Form von Evaluationsnutzung betrachtet, da hier die Nutzung durch den Prozess der Evaluation und somit ein indirekter Effekt der Evaluation entsteht. D.h. allein durch die
2.2 Der Evaluationsnutzungsbegriff
37
Teilnahme am Evaluationsprozess gewinnen die Akteure Einblicke in das Programm, die ihr Verhalten beeinflussen (Vedung 2004). Vier ursprünglich von Patton (1997) vorgelegte Punkte zur prozessbezogenen Nutzung wurden von Kim Forss et al. (2002) erweitert, indem diese fünf Typen von prozessbezogener Nutzung identifizierten: (1) Lernen zu lernen, (2) Netzwerkentwicklung, (3) ein gemeinsames Verständnis erzeugen, (4) Stärkung des Projekts und (5) Förderung der Moral. Instrumentelle, konzeptionelle und auch symbolische Nutzung sind Teile eines differenzierten Nutzungsbegriffs (Stamm 2003a), dessen Grenzen unscharf verlaufen. Evaluationen werden selten jeweils nur symbolisch, konzeptionell, instrumentell oder prozessbezogen genutzt. Kritisch anzumerken ist auch, dass die theoretischen Begriffskonstrukte voraussetzen, dass Evaluationsnutzung dokumentiert wird. Belege für Evaluationsnutzung innerhalb kleinerer Besprechungen oder individuelle Entscheidungen zwischen verschiedenen Alternativen werden jedoch meist nicht dokumentiert (Leviton/Hughes 1981). Historisch betrachtet gab es eine Entwicklung von einem einfachen Nutzungsaspekt hin zu einer komplexeren Betrachtungsweise und der Unterscheidung der genannten vier Nutzungstypen. Man kann von einer generellen Akzeptanz dieser Unterscheidung sprechen. Kirkhart (2000) forderte jedoch ein Um- und Neudenken bezüglich der Formen von Nutzung. Aus ihrer Sicht ist dieses Konzept zu kurz gedacht und baut auf einer unzureichenden Basis auf. Sie kritisiert, dass es nicht adäquat auf unintendierte Resultate reagiert, die mit der Zeit schrittweise zunehmende Nutzung gar nicht beschreibt, und dass die heutige Sicht von Nutzung verkettet ist mit der im historischen Kontext entstandenen Sichtweise der Nutzungsforschung in den USA während der 1960er, 70er und 80er Jahre (Kirkhart 2000: 5f). Sie fasst zusammen, dass es wenig ergiebig ist, bestehende Konzepte von Nutzung umzuformulieren und plädiert für einen Prozess des Umdenkens über den Einfluss von Evaluationen aus einer neuen Perspektive. Henry und Mark unterstreichen, dass ein Fokus weg von der Frage des Nutzens von Resultaten hin zum Einfluss von Evaluationen erfolgen sollte (Henry/Mark 2003a: 295). Weiter oben (vgl. Kapitel 2.2) wurde bereits erwähnt, dass der Einfluss von Evaluationen konzeptuell an die Dimensionen: Intentionen (intendierte und unintendierte Einflüsse), Herkunft des Einflusses (Ergebnis-basierter Einfluss, Prozess-basierter Einfluss) und Zeit (Einflüsse die während, zum Ende oder nach einer Evaluation auftreten) gebunden ist. Einfluss tritt demzufolge nicht-linear, vielfältig und interaktiv auf (Caracelli 2000: 102). Ein interessanter bereichernder Ansatz kommt aus der Umweltwissenschaft: Tom Bauler21 (2007) stellt für seine Dissertation gemeinsam mit Henrik Gud21
Bauler untersuchte in seiner Arbeit den Einfluss von Indikatoren auf nachhaltige, umweltbezogene Veränderungen.
38
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
mundsson (2003) eine sequentielle Informationskette vor, die in folgender Adaption auch auf Evaluation zurückübertragen22 werden kann:
Abbildung 1: Sequentielle Informationskette (adaptiert nach Bauler 2007) Diese nach Bauler (2007) adaptierte Präsentation unterstreicht einerseits, dass die oben genannten Arten von Evaluationsnutzung eher Arten der Einflussnahme sind und stützt somit die neueste Entwicklung in der terminologischen Auseinandersetzung mit dem Begriff Evaluationsnutzung. Henry und Mark (2003a) unterscheiden neben den Einflussformen zudem auch noch verschiedene Einflussebenen (siehe Abb. 7), die in gezeigter Darstellung integriert eher als Impact betrachtet werden können. Zudem schafft die Übersicht Klarheit in Bezug auf den ebenso stark diskutierten Begriff des Impacts23. Impact wird häufig als ein 22 23
Gudmundsson beschäftigte sich in einem Artikel von 2003 mit umweltpolitischen Fragen und Aspekten der Nutzung und des Nutzens von Indikatoren und bezog in seine transdisziplinären Überlegungen Resultate der Evaluationsforschung ein. Für Impact Evaluation existieren verschiedenste Definitionen, von denen hier vier beispielhaft genannt werden sollen: (1) „Impact Evaluationen bemessen die spezifischen Outcomes, die einer bestimmten Intervention oder einem Programm zuzuschreiben sind. Sie tun dies, indem verschiedene Outcomes in Bezug zu einer Vergleichsgruppe gegenübergestellt werden.“ (http://www.worldbank.org/ dime [26.08.2008])
2.2 Der Evaluationsnutzungsbegriff
39
Synonym für Ergebnisse (Outcomes) aller Art verwendet. Der Begriff beinhaltet in der neuesten Diskussion (z.B. Bernstein/Scriven 200724) jedoch nicht nur die gewollten Outcomes, sondern auch unintendierte Effekte (positive und negative Effekte einer Intervention). Eine in der Evaluationsnutzungsforschung wenig betrachtete ‚Nutzungsform’ - bzw. geht man von obigem Modell aus: ‚Einflussform’ – ist die NichtNutzung. Genau genommen müsste man an dieser Stelle von „kein(em) Einfluss durch die Evaluation“ sprechen. Wie viele oder wie wenige Evaluationen unbeachtet bleiben, ohne in irgendeiner Weise genutzt worden zu sein, ist bislang nicht systematisch untersucht. 2.2.3 Entwicklungsphasen der Interaktionsperspektive in der Nutzungsforschung 1971 – 2009 In diesem Unterkapitel werden die Entwicklungslinien der Evaluationsnutzungsforschung im Hinblick auf die Interaktionsperspektive zwischen den Akteuren einer Evaluation nachgezeichnet. Der historische Zugang hat gegenüber der logisch-definitorischen Herangehensweise und der Betrachtung der Nutzungsformen den Vorteil, Entwicklungen zu verdeutlichen, die für den Kontext dieser Arbeit von größter Wichtigkeit sind. Die Kluft, die sich in der jüngeren Evaluationsnutzungsforschung zwischen einer immer differenzierteren Theorieentwicklung auf der einen und der schmal gebliebenen empirischen Basis auf der anderen Seite aufgetan hat, ist trotz jüngster empirischer Untersuchungen zu dem Thema (z.B. durch Stamm 2003a; Balthasar 2007) nicht geschlossen. Der von Barbara Dickey treffende Satz hat demzufolge auch heute noch Gültigkeit:
24
(2) Impact Evaluation ist eine Form von Outcome-Evaluation, die die Effekte eines Programms bemisst, indem die Programm Outcomes mit einer Abschätzung was passiert wäre ohne die Durchführung des Programms verglichen werden. […] Sie bewertet Programmprozesse um zu verstehen, wie Outcomes zustande kommen. (http://citnews.unl.edu/TOP/english/evalprogframe.html [26.08.2008]) (3) Eine Impact Evaluation misst die Programmeffekte und inwieweit die gesetzten Ziele erreicht wurden. (http://www.ojp.usdoj.gov/BJA/evaluation/guide/documents/impact_eval_gangs.htm [26. 08.2008]) (4) Bei Outcome (Prüfung der kurzfristigen Veränderungen) und Impact Evaluationen (Erhebung langfristiger und weiterführender Effekte) liegt der Fokus auf Resultaten und wie diese zustande gekommen sind. (http://www.orcmacro.com/Survey/Policy/outcomeimpact.aspx [26. 08.2008]) Diskussionsbeitrag EvalTalk: http://bama.ua.edu/archives/evaltalk.html [18.06.2007]
40
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
„Supporting data are limited, and most of our „theories“ come more from common sense than from research.“ (Dickey 1980: 65).
Da die Diskussion und die verschiedenen bestehenden Untersuchungen zu den Faktoren, die eine Nutzung von Evaluationsergebnissen beeinflussen, komplex und in Teilen widersprüchlich ist, ist es problematisch, die Faktoren auf ein überblickbares Set erfassbarer Variablen zu reduzieren. Die meisten Autor(inn)en geben einen Überblick über die Nutzungsforschung, indem sie einzelne Theoretiker(innen) aufgreifen und deren Arbeitsergebnisse beschreiben (z.B. Alkin 2002). Balthasar (2007) beschreibt in Anlehnung an Barbara Lee (2000) den Stand der Forschung, indem er eine Unterteilung in klassische Verwendungsforschung, interaktionistische Verwendungsforschung und neuere Entwicklungen vornimmt. Von einer chronologischen Darstellung wird häufig abgesehen mit dem Argument, dass die Entwicklung der Disziplin nicht chronologisch verlief, sondern aus unterschiedlichen inhaltlichen Aspekten bestehe, die sich zeitlich überlappend entwickelt haben (vgl. z.B. Balzer 2005: 24). In der vorliegenden Arbeit sollen dennoch, ausgehend von den Anfängen der Nutzungsforschung, die neuesten Entwicklungen beschrieben werden. Dies erfolgt unter Nennung einzelner in der Nutzungsdiskussion immer wieder auftauchender Studien und in Anlehnung an die wenigen Arbeiten, die sich auf metatheoretischer Ebene mit der Thematik beschäftigt haben (Johnson 1995, 1998; Shadish et al. 1991; Stamm 2003a). Der Fokus der Betrachtung liegt dabei auf der Interaktionskomponente und dem damit verbundenen Konstrukt soziale Kompetenzen und den Erkenntnissen zu deren Einfluss auf die Nutzung von Evaluationen. Eine chronologische Unterteilung erscheint in diesem Fall sinnvoll, um aufzuzeigen, wie vielfältig die Nutzungsforschung in Bezug auf soziale Kompetenzen und Interaktionen ist, wie intuitiv mit den Begrifflichkeiten schon seit Bestehen der Nutzungs- bzw. Verwendungsforschung umgegangen wird und wie schwierig dadurch die Identifikation von (Kern-)Faktoren mit Effekten auf die Nutzung ist. Die historische Sichtweise zeigt jedoch auch, dass eine Tendenz hin zur Interaktionsperspektive sukzessive zugenommen hat. Innerhalb der chronologischen Vorgehensweise scheint eine 3-Teilung sinnvoll: 1. 2. 3.
1971-1986: Die Anfänge der Nutzungsforschung und die Entdeckung der Interaktionskomponente als Einflussgröße auf die Nutzungen von Evaluationen 1986-1997: Differenzierung der Ergebnisse und Boom der partizipativen Ansätze 1998-2009: Um- und Neudenken, Evaluation als Interaktion
2.2 Der Evaluationsnutzungsbegriff
41
1971 – 1986: Die Anfänge der Nutzungsforschung und die „Entdeckung“ der Interaktionskomponente Die ersten Jahre der Nutzungsforschung und der Thematisierung der Anwendungsproblematik sind gekennzeichnet durch eine langsame Formierung dieser als eigenständige Richtung innerhalb der Evaluationsforschung. Die Nutzungsforschung fand zu diesem Zeitpunkt vor allem in den USA statt. Der Bedarf an Forschung zu dieser Thematik wurde hauptsächlich durch Nutzungsdefizite geweckt. Reinhard Stockmann resümiert für die Entwicklung in Deutschland, dass wenig umsetzungsorientierte Evaluationen zu einem Abklingen der Evaluationsaktivitäten in den 1970er Jahren geführt haben (Stockmann 2004: 28). Die Interaktionen während einer Evaluation und deren vermuteter Einfluss auf Evaluationsnutzungen wurden nach und nach, aber noch nicht systematisch in die Überlegungen integriert. Dies ist nicht verwunderlich, da diese Phase der Evaluation auch charakterisiert ist durch die Forderung, Beurteilungen und Bewertungen vorzunehmen. Dementsprechend fiel den Evaluator(inn)en vor allem die Rolle des/der Beurteilers/Beurteilerin zu (Guba/Lincoln 1989). Es ist unwahrscheinlich, dass es vor 1970 in dem damals noch relativ jungen Feld der Evaluationsnutzungsforschung relevante empirische Untersuchungen zu der Thematik gab. Die früheste empirische Studie, die sich nachweislich mit der Nutzung von Evaluationen befasst hat, wurde im Jahr 1971 durchgeführt (vgl. Cousins/Leithwood 1986). Weiss erkannte bereits 1972, dass das Grundprinzip von Evaluationen und deren Hauptaufgabe ist, Informationen für Handlungen und Entscheidungsfällungen zu liefern. Vorerst ging die Forscherin davon aus, dass Evaluationsergebnisse, die mittels seriöser Forschung gewonnen wurden, auch in die Praxis überführt werden. Wie die nachfolgend beschriebene Studie zeigt, wandte Weiss sich jedoch von dieser idealistischen Sichtweise ab, indem sie dem Konzept der instrumentellen Nutzung das „Enlightment-Model25“ gegenüberstellte, welches Evaluation als Auslöser diffus ablaufender Lernprozesse betrachtet (vgl. Stamm 2003a: 121). Große Beachtung in vielen einschlägigen Publikationen fand dann auch eine Studie von Weiss und Michael Bucuvalas (1980)26. Diese widmeten sich der Frage, welches die Kriterien sind, die Entscheidungsträger(innen) für die Beurteilung der Nützlichkeit von Forschungsergebnissen heranziehen. Die Stu25 26
Die Bezeichnung wurde von Matthias Wingens (1988) kritisiert, da sie suggeriere, dass die Nutzung von Evaluationen automatisch zu einem ‚aufklärenden Lernprozess’ führe. Weiss und Bucuvalas interviewten 155 Entscheidungsträger in Mental Health Agencies, 50 Mitglieder aus Mental Health Research Review Commitees und 50 Sozialwissenschaftler(innen), die Forschung zu Mental Health Programmen durchgeführt haben. Während der Interviews wurden Zusammenfassungen von Studien besprochen, die die Interviewten gelesen hatten, zusätzlich wurden Fragen zur Nutzung von Studien gestellt.
42
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
die bezog sich auf die Verknüpfung von sozialwissenschaftlicher Forschung und deren Nutzung. Die Intention war, herauszufinden, wann und wie Forschungsergebnisse einen Einfluss auf die Praxis haben. Untersucht wurden die Einflüsse der Charakteristik einer zur Bewertung vorgelegten Studie und der Persönlichkeit der Entscheidungsträger(innen) bzw. Stakeholder auf die Nutzung von Forschungsergebnissen. Fünf Attribute wirken sich der Studie nach auf die Wahrscheinlichkeit der Nutzung von Forschungsergebnissen aus; diese sind: Qualität der Studie, Konformität mit den Erwartungen der Nutzer(innen), Aktionsorientierung, Infragestellung des aktuellen Stands des untersuchten Projekts oder Programms und Relevanz in Bezug auf die aktuellen Belange. Die Autor(inn)en zeigten ferner auf, dass eine spezifische Beurteilung des Werts der Evaluationsergebnisse durch die Entscheidungsträger(innen) hinsichtlich zweier Punkte erfolgt: (a) hinsichtlich ihres wissenschaftlichen Werts (Truth-Test) und (b) hinsichtlich der Durchführbarkeit notwendiger Änderungen (Utility-Test). Im Jahr 1983 griff Weiss diese Ergebnisse nochmals auf und entwickelte sie weiter, indem sie feststellte, dass Entscheidungsfällung hauptsächlich von (1) Informationen, (2) Ideologie und (3) Interessen abhängig sei. Burke Johnson (1998), auf dessen Beitrag zur Nutzungsforschung später eingegangen wird, hat die Forschungsergebnisse von Weiss in folgendem Modell veranschaulicht:
Abbildung 2: Weiss’ Prozess-Modell für Entscheidungsfällung nach Johnson 1998: 96 Einen wichtigen Beitrag zur Nutzungsforschung in dieser Zeit lieferte auch Alkin. Bereits 1975 diskutierte er – zunächst theoretisch – die Nutzung von Evaluationsergebnissen und benannte die Beurteilungsdimensionen „wissenschaftlicher
2.2 Der Evaluationsnutzungsbegriff
43
Gebrauchswert“, den Evaluator(inn)en ihrer eigenen Arbeit zumessen und „praktischer Nutzwert“ als Einschätzung der Nützlichkeit der Evaluation durch die Abnehmer(innen) (Alkin 1975). Vier Faktorensets wurde eine besondere Bedeutung in Bezug auf Nutzungsprozesse zugewiesen: (a) dem Prozess der Entscheidungsfindung (die Personen, die Entscheidungen treffen), (b) dem evaluierten Programm und seinem sozialen Kontext, (c) den Charakteristika der beteiligten Evaluator(inn)en und (d) dem Evaluationsprozess. Es folgte eine erstmalige Bündelung von Faktoren mit Einfluss auf die Nutzung in: (1) Persönliche Faktoren (Charakteristika der Evaluator(inn)en, Charakteristika der Nutzer(innen)), (2) Kontextfaktoren (bereits vorhandene Evaluationserfahrungen, Eigenschaften der Organisation, Charakteristika des Projekts) und (3) Evaluationsfaktoren (Vorgehensweise, Dialog zwischen den Beteiligten, Substanz der Evaluationsinformationen, Evaluationsbericht) (Alkin 1985). Drei empirische Studien zur Nutzung von Evaluationen, bei denen Alkin beteiligt war (1974, 1979, 1983), wurden u.a. in einer Metaanalyse (vgl. Cousins/Leithwood 1986) berücksichtigt, die im Folgenden näher beschrieben wird. Die Studie von Cousins und Leithwood (1986) verdeutlicht vor allem die Komplexität des Konstrukts Nutzung. Die Autoren identifizierten für den Zeitraum 1971-1985 6527 Evaluationsstudien, die sich mit der Nutzung von Evaluationen befasst haben. Drei Hauptdesigns von Studien konnten unterschieden werden: retrospektive Studien (N=35), Simulationen (N=21) und Längsschnittstudien (N=9). Die Stichprobengröße variierte stark, zwischen Einzelfallstudien und 4500 Probanden. Ebenso gab es eine beachtliche Vielfalt in Bezug auf die Instrumente, die genutzt wurden. Der theoretische Bezug der einzelnen Studien zur Evaluationsnutzung ist letztendlich genauso breit gefächert wie das Design und die Methodik dieser. Insgesamt wurden 16 verschiedene Theorien und Modelle identifiziert, auf die sich die Studien jeweils beziehen, wobei die Kommunikationstheorie von zentraler Bedeutung war. 27 Studien bezogen sich auf keinen theoretischen Rahmen. Die abhängigen Variablen, die durch die Metastudie identifiziert werden konnten, waren: (1) Nutzung im Sinne von Entscheidungsfällung (decision), (2) Nutzung im Sinne von Weiterentwicklung (processing) und (3) Nutzung im Sinne von Aufklärung (education). Die Operationalisierung dieser drei Oberkategorien von abhängigen Variablen war sehr unterschiedlich. Zudem konnten 12 Kategorien von unabhängigen Variablen (Faktoren) identifiziert werden, von denen jeweils sechs zu einer Oberkategorie (1. Durchführung, 2. politische oder entscheidungsbezogene Rahmenbedingungen) zugeordnet wurden (siehe Abb. 4).
27
Nach Review des Artikels wurden den Autoren drei weitere empirische Studien bekannt.
44
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
1986 – 1997: Differenzierung der Ergebnisse und Boom der partizipativen Ansätze Ebenfalls 198628 publizierte Patton die erste Ausgabe von „Utilization-focused evaluation“ und dem Titel entsprechend forderte er, dass jede Evaluation – von der Planungsphase an – auf Nutzung ausgerichtet werden sollte, das impliziert auch, dass Stakeholder in alle Entscheidungen einbezogen werden sollten, um die Wahrscheinlichkeit der Nutzungen zu erhöhen29. Patton, als auf die Praxis ausgerichteter Evaluationsforscher, plädiert für einen Evaluationsprozess, der durch Interaktionen zwischen den Evaluationsforschenden und potentiellen Nutzer(inne)n getragen wird. Sowohl Johnson (1998) als auch Stamm (2003) griffen Pattons Ideen auf und gestalteten ein explizites Nutzungsmodell nach Patton. Folgende Darstellung spiegelt eine Synthese der beiden Darstellungen wider.
Abbildung 3: Pattons explizites Nutzungsmodell (Synthese der von Johnson 1998: 99 und Stamm 2003a: 148 entwickelten Modelle) Vorweggreifend soll darauf hingewiesen werden, dass in dem Modell zahlreiche Teilaspekte des Konstrukts soziale Kompetenzen impliziert sind. Eine Identifikation und Ansprache von möglichen Nutzer(inne)n und Stakeholdern ist kaum ohne eine gewisse Kontaktfähigkeit zu realisieren, die Identifikation von Bedürfnissen ist nur mit einer gewissen Sensitivität möglich und letztendlich impliziert auch die Partizipation der Nutzer(innen) bei der Interpretation ein gewisses Maß an Flexibilität. In den folgenden zehn Jahren widmete sich die nutzungsinteressierte Evaluationsgemeinschaft hauptsächlich der Diskussion des bisherigen Stands der For28 29
Reprint 1997 Jedoch fokussieren bis heute lediglich einzelne Fallstudien auf Reaktionen von Evaluator(inn)en auf die verschiedensten Bedarfe von Stakeholdern (für einen Überblick vgl. Azzam 2010: 46f).
2.2 Der Evaluationsnutzungsbegriff
45
schung, der Differenzierung der Ergebnisse und dem Versuch, eine Gewichtung bestimmter Faktoren mit Einfluss auf die Nutzung von Evaluationen vorzunehmen. Ein erneutes Aufflammen der Diskussion um die Evaluationsnutzung bewirkte die „Weiss-Patton-Debatte“ Ende der 80er Jahre, die sich hauptsächlich der Frage widmete, ob Evaluator(inn)en für die Nutzung verantwortlich gemacht werden sollten und könnten (Patton 1988; Weiss 1988a, 1988b). Diese Debatte wurde 1987 auf dem Treffen der Amerikanischen Gesellschaft für Evaluation (AEA) durch einen Vortrag von Weiss ausgelöst und in der Zeitschrift „Evaluation Practice“ veröffentlicht. Entsprechend der oben dargestellten Standpunkte der beiden Forscher(innen) erläuterte Weiss, dass auch die bedachte und strategisch auf Nutzen ausgerichtete Arbeit mit Nutzer(inne)n nur indifferente Erfolge zeigt und nennt fünf Gründe dafür (vgl. Weiss 1988a: 6ff): (1) Wenn es eine Vielzahl von verschiedenen Teilnehmer(inne)n mit unterschiedlichen Sichtweisen gibt, dann kann es keine einzige korrekte Entscheidung geben. Evaluationen, die eine beste Antwort bereitstellen, werden dementsprechend ignoriert oder von einer Seite zur Unterstreichung ihrer Sichtweise genutzt. (2) Es gibt immer Belange die durch Evaluation nicht berücksichtigt werden, die aber für die Entscheidungsträger(innen) von großer Bedeutung sind, zum Beispiel die Frage danach, was die vorgeschlagenen Veränderungen kosten werden. (3) Entscheidungen werden oft erst in der Retrospektive als solche erkannt, weil sie meist ein Prozess, bestehend aus vielen kleinen informellen Schritten sind. (4) Entscheidungsträger(innen) wissen nicht immer, welche Informationen sie benötigen, weil es schwierig ist, zu formulieren, welche Informationen eine positive Veränderung bewirken könnten. (5) Im Allgemeinen herrscht eine gewisse Zufriedenheit bei den potenziellen Nutzer(inne)n von Evaluationsergebnissen mit dem Status-Quo eines Programms. Die Hauptnutzer(innen) von Evaluationsergebnissen sind deshalb häufig Personen mit einem gewissen Abstand zu dem Programm, die sich oft in höheren Positionen befinden. Trotzdem ist Weiss der Ansicht, dass Evaluationen (auch unter dem zunehmenden öffentlichen Rechtfertigungsdruck), die neue Facetten eröffnen oder die neue Felder für Abmachungen und Kompromisse aufdecken, zunehmend genutzt werden (vgl. ebd.). Patton (1988: 9f) kritisierte eben diese Vision des indirekten Einflusses von Evaluationsergebnissen von Weiss und erklärt sie für nicht zutreffend für Pro-
46
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
grammevaluationen. Er betrachtet die von Weiss genannten vier Typen von Evaluationsnutzung (Warnung, Führung, Neu-Konzeptualisierung und Mobilisierung von Unterstützung für gut begründete Interessen) als unzureichend und ergänzt die Liste durch den direkten Einfluss auf Veränderungen, den direkten Einfluss auf Entscheidungen, den unmittelbaren Einfluss auf Programmveränderungen und die Begleitung von spezifischen Empfehlungen zur Verbesserung bis zur Umsetzung. Zusammenfassend kann gesagt werden, dass Weiss dafür plädiert, dass die Verantwortung von Evaluator(inn)en darin liegt, korrekte und adäquate Evaluationsergebnisse entsprechend der vorliegenden Fragestellung zu präsentieren. Patton dagegen vertritt die Position, dass Evaluator(inn)en eine aktive fördernde Rolle im Sinne der Nutzung der Evaluationsergebnisse einnehmen sollen (Shulha/Cousins 1986: 197). Weiss macht jedoch auch deutlich, dass ihr Standpunkt im Vergleich zu Pattons Standpunkt häufig als zu gegensätzlich beschrieben wird und verdeutlicht, dass Patton sich eher auf Entscheidungsfällung und Nutzung auf der Programmebene bezieht, während sie selbst Entscheidungsfällung auf politischer Ebene untersucht hat, d.h. auf einem Level, das zumeist verlagert zu der Arbeit von Evaluator(inn)en liegt (Alkin 1990: 26). Egon Guba and Yvonna Lincoln entwickelten kurz darauf ein Konzept zur wirksamkeitsorientierten Evaluation, das sie nach der Messung (1. Generation), Beschreibung (2. Generation) und Bewertung (3. Generation) als Fourth Generation bezeichnen. Die Autor(inn)en vertreten eine radikal relativistische Sichtweise, indem sie darlegen, dass jeder Stakeholder über unterschiedliche Wirklichkeitskonstruktionen verfügt und dass die Aufgabe von Evaluationen ist, herauszufinden, welche dieser Wirklichkeitskonstruktionen der Realität am nächsten kommt (Guba/Lincoln 1989: 58). Eine Evaluation kann demnach nie eine objektive Beschreibung oder gar Bewertung eines Programms sein, sondern immer nur eine Konstruktion der Wirklichkeit. Damit verbunden ist auch ein Neudenken der Evaluator(inn)enrolle, bei der die Verantwortung darin liegt (a) so viele Stakeholder wie möglich zu identifizieren, (b) herauszufinden, was deren Konstruktionen zum Evaluationsgegenstand sind und welche Ansprüche, Bedenken und Belange sie in Bezug auf diesen hervorbringen möchten, (c) eine Methodik und einen Kontext bereitzuhalten, durch die die verschiedenen Konstruktionen berücksichtigt werden können, (d) eine Konsensdiskussion unter Berücksichtigung so vieler Konstruktionen mit deren dazugehörigen Ansprüchen, Bedenken und Belangen wie möglich anzuregen, (e) konkurrierende Konstruktionen aufzudecken und (f) durch Informationsbeschaffung – wenn möglich – aufzulösen (g) soweit wie möglich Annäherungspunkte oder Überlappungen zwischen den Konstruktionen zu erreichen, (h) einen oder mehrere Berichte zu schreiben um (i) eine neue Runde der Evaluation zu eröffnen, in der neu gewonnene Einblicke diskutiert und ungelöste Konstruktionen aufgegriffen werden (vgl. ebd.). Hier
2.2 Der Evaluationsnutzungsbegriff
47
handelt es sich also um einen Ansatz, der nicht nur die Auflösung der Abgrenzung von Evaluator(inn)en auf der einen und Stakeholdern auf der anderen Seite gefördert hat, indem für die Stakeholder eine gleichberechtigte und emanzipierte Rolle gefordert wurde sondern der über die bislang gekannte simple Partizipation an der Evaluation hinausgeht. Zu Beginn der neunziger Jahre haben sich vor allem Michael Huberman und Pat Cox (1990) mit dem Transfer und den Kommunikationswegen zwischen Forschung und Praxis beschäftigt. Insbesondere die nachhaltige Interaktion zwischen Forscher(inne)n und Praktiker(inne)n wird als Strategie zur Verwirklichung eines lern- und handlungsorientierten Prozesses auf dem Weg zur intensiveren Nutzung von Evaluationsergebnissen benannt. Wenn Interaktionen intensiv sind, stellen sich nach Huberman und Cox (1990) folgende Dinge ein: Forscher(innen) erreichen eine bessere Einbindung und tiefere Einblicke in die Rahmenbedingungen und werden so sensibilisiert, um ihre Ergebnisse besser in sinnvolle Empfehlungen zu übersetzen. Reziprok engagieren sich die potenziellen Nutzer(innen) mehr für die Evaluation. Die Autoren stellen ein interessantes Model zur idealtypischen Interaktion bei Programmevaluation vor, welches allerdings bislang nicht systematisch untersucht wurde und eine Vielzahl von möglichen Fehlerquellen bereithält (Huberman/Cox 1990: 174ff; Huberman 1990). Stamm (2003: 145) sieht Hubermans Beitrag zur Evaluationsnutzungsforschung hauptsächlich darin, dass dieser den Begriff Nutzung im Sinne von Wissenstransfer und als Verbindung von bereits existierendem Wissen mit neuen Informationen in die Diskussion eingebracht hat. 1993 präsentierten Cousins und Leithwood ein Modell, das nahezu die ganze Bandbreite der bis dahin ermittelten Faktoren mit Effekten für die Nutzung abdeckte, indem sie ihr ursprüngliches Modell um die Kategorie „Interaktive Prozesse“ erweiterten (siehe Abb. 4). Die 1993er Studie zeigt, dass lineare Modelle zur Erklärung von Ergebnisnutzung oftmals unzulänglich sind und dass zwischen der Forschungsgemeinschaft bzw. Evaluator(inn)engemeinschaft und den potenziellen Nutzer(inne)n interaktive und komplexe Prozesse mit Einfluss auf die Nutzung stattfinden. Drei Kategorien mit dazugehörigen Faktoren beeinflussen der Untersuchung nach das Ausmaß und die Art der Nutzung von Informationen: zum Ersten die Sichtweise der Person bezüglich der Qualität der Bezugsquelle der Information (Charakteristika der Informationsquelle), und zum Zweiten Aspekte des Settings, in dem die Informationen möglicherweise genutzt werden (Rahmenbedingungen/ Setting). Diese voneinander abhängigen Kategorien haben sowohl einen direkten als auch indirekten Einfluss auf die Nutzung von Informationen. Indirekte Effekte werden dabei mittels der dritten Kategorie, die die Autor(inn)en interaktive Prozesse nennen (Cousins/Leithwood 1993: 307), erklärt. Die Resultate der zweiten Studie (ebd.) weisen darauf hin, dass
48
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Variationen in der Nutzung zu signifikanten Teilen durch Faktoren, die in der ursprünglichen Studie (Cousins/Leithwood 1986) gesammelt wurden, erklärbar sind. Charakteristiken der Informationsquelle - Qualtität der Evaluation (20.5) - Glaubhaftigkeit (6.8) - Relevanz (13.2) - Qualität der Kommunikation (7.7) - Ergebnisse (14.8) - Timelines (5.1)
Rahmenbedingungen/ Setting
Evaluationsnutzung Interaktive Prozesse* - Mitwirkung - Soziale Weiterverarbeitung - fortlaufender Kontakt - Engagement - Diffusion von Information
Nutzung im Sinne von Weiterentwick lung (Information processing)
- Informationsbedürfnis (7.3) - Entscheidungskriterien (16.4) - Politisches Klima (10.0) - konkurrierende Informationen (12.6) - persönliche Charakteristiken der Nutzer(innen) (7.1) - Commitment und/oder Aufnahmebereitschaft (14.1)
Nutzung im Sinne von Entscheidungsfällung (Decision)
Nutzung im Sinne von Aufklärung (Learning)
Abbildung 4: Evaluationsnutzung (Cousins/Leithwood 1986: 348) * die Dimension Interaktive Prozesse ist kein Teil der 1986 veröffentlichten Darstellung und Überlegungen, sondern wurde erst später (1993: 308) in das Konzept aufgenommen. In Klammern findet sich ein Overall Index Score der die Prävalenz der Beziehungen erfasst.
Ebenfalls in den neunziger Jahren wurden einige Ansätze entwickelt, die die Partizipation der Betroffenen und Beteiligten in den Mittelpunkt stellten. David Fetterman (1994; Fetterman et al. 1996) besetzten mit ihrem Konzept von Empowerment Evaluation eine Nische in der Evaluationslandschaft (vgl. dazu auch Scriven 1997). Die befähigende oder Empowerment Evaluation wurde als Hilfe zur Selbsthilfe zur Verbesserung von Programmen entwickelt. Programmbeteiligte führen dabei ihre eigene Evaluation durch und externe Evaluator(inn)en übernehmen die Funktion von Berater(inne)n und agieren als Vermittler(in), Moderator(in) aber auch als Lehrer(in). Fetterman betont jedoch, dass sein Konzept kein Allheilmittel ist und andere Formen von Evaluationen ersetzen soll (Fetterman 1997). Empowerment Evaluation hat eher Entwicklungsaspekte im Blick und ist weniger geeignet, wenn über ein Programm Rechenschaft abgelegt werden soll (Fitzpatrick 2000). Cousins und Lorna Earl stellten ein ähnliches Konzept wie Fetterman vor und nannten es Partizipativer Ansatz. Hier wird ent-
2.2 Der Evaluationsnutzungsbegriff
49
sprechend auf eine Steigerung der Evaluationsnutzung durch intensive Partizipation fokussiert (Cousins/Earl 1992, 1995)30. Evaluator(inn)en sind hier vor allem Wissensvermittler(innen). Tim Robinson und Cousins (2004) weisen darauf hin, dass Individuen während einer partizipativen Evaluation ihre Denkweise und ihr Verhalten verändern und dass auch Evaluationseffekte auf der Organisationsebene (dazu auch: Cousins/Earl 1995; Balthasar/Rieder 2000) beobachtet werden können. Die Methoden und Modelle, die die einzelnen Autor(inn)en in dieser Zeit präsentierten, unterschieden sich wesentlich. Dennoch verfolgten sie eine gemeinsame Idee: Die Interaktion und Kooperation von Evaluator(inn)en und den verschiedenen Stakeholder sollte stärker im Fokus der Betrachtung stehen. 1998 – 2008: Um- und Neudenken, Evaluation als Interaktion Johnson (1998) betrachtete in einer Synthese verschiedene bis Ende der neunziger Jahre entwickelte theoretische Modelle zur Nutzung und unterstrich die Schwäche der bisherigen Nutzungsforschung, indem er aufzeigte, dass es zwar viele Auflistungen von Variablen und Faktoren gab, die angeblich einen Einfluss auf die Evaluationsnutzung hatten, dass aber die Zusammenhänge zwischen den einzelnen Variablen bis dato vernachlässigt worden waren. Ziel der Arbeit von Johnson war dementsprechend die Entwicklung eines ganzheitlichen Metamodells, das soweit wie möglich die Zusammenhänge zwischen den Variablen berücksichtigt und anwendbar ist für jede Art der Evaluation (formativ und/oder summativ, intern und/oder extern). Johnsons Modell (Abb. 5) hebt hervor, dass dann Veränderungen auftreten, wenn sich ein einziger Faktor im System ändert. Die externe Umgebung und der Evaluationskontext sind die breitesten Dimensionen des Modells, gefolgt von der internen Umgebung (Johnson 1998: 107). Die drei Hintergrundvariablen im linken Teil des Modells und die externe und interne Umgebung der Organisation schaffen die Voraussetzungen für Evaluationsnutzung (ebd.: 107).
30
Ein ähnlicher Ansatz wurde in der Politik-Evaluation z.B. von Frank Fischer (2003) entwickelt.
50
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Formatives Feedback und Prozess-Loop
Konkurrierende Informationen
Erwartungen
Individuelle Charakteristiken
Partizipation bei der Evaluation
Kognitive Nutzung
Veränderung des Verhaltens
Politik
Output
Input
OrganisationsCharakteristiken
Politik
Evaluatoren/innenCharakteristiken
Dissemination
Lernen der Organisation Truth und Utility Test
Hintergrundvariablen
Interaktionsvariablen
Interessen und Ideologien
Nutzungsvariablen
Output in die interne Umgebung
Input aus der internen Umgebung
Interne Umgebung und Evaluationskontext Externe Umgebung und Evaluationskontext
Abbildung 5: Theoretisches Modell zur Nutzung von Evaluationen (Johnson 1998: 104) Kritische Stimmen zu vorliegenden Nutzungskonzepten wurden insbesondere ab 2000 laut (vgl. dazu auch Kapitel 2.2). Kirkhart (2000) forderte ein radikales Umdenken und Neudenken bezüglich der Formen von Nutzung und der Terminologie: Der Begriff Nutzung (use) sei ein ungünstiger, inadäquater und unpräziser in seiner Anwendung, da er weder unintendierte Effekte noch graduelle Einflüsse berücksichtige (Kirkhart 2000: 6). Sie plädiert für die Einführung des Begriffs Einfluss, da dieser die drei Dimensionen Intention, Zeit und Quelle berücksichtigt. Durch die Intention wird zwischen intendierten und unintendierten Einflüssen unterschieden. Die Dimension Zeit verbindet die Autorin mit (1) sofortigen, (2) am Ende des Evaluationszyklus (end-of-cycle) auftretenden und (3) langfristigen Einflüssen. Die Quelle des Einflusses bezieht sich, in Anlehnung an Gary T. Henry und Debra J. Rog (1998), auf den Ausgangspunkt eines generativen Veränderungsprozesses (Kirkhart, 2000: 8f). Sie kritisiert, dass vorliegende Konzepte und Ideen zur Nutzung von Evaluationen nicht ausreichend valide sind und durch die differenziertere Theorie des Einflusses u.a. eine größere Vergleichbarkeit zwischen Metastudien erreicht werden könne (ebd.: 19).
51
2.2 Der Evaluationsnutzungsbegriff
Stamm (2003a) verdichtete aus der Literatur herausgefilterte Dimensionen zu sechs unabhängigen und drei abhängigen Variablen, deren Wirkungsweise sie vertiefend untersucht hat. Die vier Hintergrundvariablen bilden dabei das Grundgerüst zur Abwicklung der Evaluation und nachfolgender Nutzungsaktivitäten. Durch die Interaktionsvariablen werden mit dem Fokus auf Disseminations- und Diffusionsprozesse vor allem kommunikative Elemente in den Mittelpunkt gestellt. Die Verwendungsvariablen umfassen die zuvor beschriebenen drei Arten von Verwendung. Die Auswirkungsvariablen sollen aufzeigen, welche Handlungen oder Maßnahmen tatsächlich erfolgt sind (Stamm 2003a: 151f). Stamm untersuchte 18 Evaluationsfälle von Schulversuchen in der Schweiz. Insgesamt gelangten drei unterschiedliche Erhebungsmethoden zum Einsatz: die Dokumentenanalyse (37 Dokumente), das leitfadengestützte fokussierte Interview (N=56)31 und Fragebögen (N=56). Hintergrundvariablen
Interaktionsvariablen
Evaluation (Prozess und Produkt)
Organisationsmerkmale
Auswirkungsvariablen
Zielsetzung Kontext Interessen
Entscheidungskader Feldakteure
Person des Evaluators/der Evaluatorin
Verwendungsvariablen
Instrumentelle Nutzung Dissemination Diffusion
legitimatorische Nutzung
Auswirkungen
konzeptualisierende Nutzung
Nützlichkeit Anwendbarkeit
Abbildung 6: Metatheoretisches Modell von Stamm (2003a: 153), Ovale= unabhängige Variablen, Rechtecke = abhängige Variablen Anhand der Abbildung 6 wird deutlich, dass Stamm für ihre Untersuchung sowohl die potentiellen Nutzer(innen) (Entscheidungskader und Feldakteure), als auch die Evaluator(inn)en berücksichtigt hat. Die Ergebnisse der Studie zeigen, dass die Verbreitung der Befunde wesentlich von den Entscheidungskadern und Feldakteuren abhängt. Die Ergebnisse belegen, dass hierfür weder die Verände31
Davon führte die Autorin 20 Interviews mit Evaluator(inn)en, 20 Interviews mit Entscheidungsträger(inne)n und Projektverantwortlichen sowie 16 Interviews mit beteiligten und betroffenen Personen aus der pädagogischen Praxis.
52
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
rungsbereitschaft, noch bereits gemachte Erfahrungen mit Evaluation eine Rolle spielen, vielmehr erhöht die Unerfahrenheit bei dieser Gruppe die Dissemination (Stamm 2003a: 296). Die Rolle der Evaluator(inn)en (akademische Orientierung, Dienstleistungsorientierung, Anfänger(in), Experte(in)) hingegen ist für die Dissemination und Diffusion der Befunde nicht ausschlaggebend. Hier stimmt Stamms Unterscheidung mit den von Johnson (1998) beschriebenen kontrastierenden Typen der Evaluator(inn)en überein. Zentral ist in dem Modell von Stamm die organisationale Struktur, in die die Evaluator(inn)en eingebunden sind, und die es diesen ermöglicht, aktiv an Verbreitungsbemühungen teilzunehmen oder nicht (Stamm 2003a: 299). Die Autorin generierte anhand ihrer Untersuchung folgende vier Typen32 von Evaluationsnutzung: (1) Blockade-Typus: Evaluationen dieses Typus zeichnen sich dadurch aus, dass direkt nachweisbare Nutzungen des Evaluationswissens ausbleiben und dass die Hauptzielsetzung der Evaluation eine Überprüfung ist. (2) Innovations-Typus: Gemeinsam ist Evaluationen dieses Typus eine entwicklungsorientierte, Optimierung anstrebende Zielsetzung sowie deutlich nachweisbare Folgen von Evaluation. (3) Alibi-Typus: Dieser Typus ist gekennzeichnet durch eine Evaluation aus Legitimationsgründen und eine ausbleibende direkte Nutzung. (4) Reaktions-Typus: Evaluationen dieses Typus sind auf Überprüfung und nicht auf Umsetzung oder Entwicklung hin angelegt und zeigen trotzdem direkte Folgen. Eine Schlüsselerkenntnis der Studie ist, dass die Überführung von Evaluationswissen in direkte Umsetzungsmaßnahmen und Handlungen in der Minderheit der Fälle als deduktive, unbeschädigte Transferhandlung, sondern weit häufiger in Form transformativer Umdeutungs- und Reduktionsprozesse erfolgt und dass vermehrte Nutzung nicht eine logische Folge von methodisch elaborierter Evaluation ist (Stamm 2003a; 2003b). Henry und Mark (2003a: 297ff) bemängeln, dass auch die neuesten Publikationen selten systematische oder vergleichende Forschungsarbeiten sind, sondern eher konzeptuell oder theoretisch ausgerichtet sind. Eine Neuerung hinsichtlich der hier interessierenden Fragestellung nach der Interaktionsperspektive in der Evaluationsnutzungsforschung ist, dass die Autoren in ihre Überlegungen vor allem (verhaltens-)psychologische Kenntnisse über Veränderungsprozesse mit einbeziehen und auf die Mechanismen, durch die Evaluationen Einfluss ausüben können, fokussieren. In einem gemeinsamen Artikel stellen sie drei verschiedene Einflussebenen von Evaluationen als Ausgangslinie für den jeweiligen Verände32
Die vier eruierten Typen wurden anhand folgender Vergleichsdimensionen beschrieben: (1) Qualität der Evaluation, (2) Entscheidungskader/Akteure, (3) Evaluator/in, (4) Konformität, (5) Organisation, (6) Kontext und Interessen, (7) Dissemination und Diffusion, (8) Rezeption, Transfer und Nutzung.
53
2.2 Der Evaluationsnutzungsbegriff
rungsprozess vor: Individuell, Interpersonell und Kollektiv. Durch diese Unterteilung berücksichtigen die Autoren den Veränderungsprozess (Gedanken oder Aktionen) bei einer Person (individuell), zwischen zwei oder mehr Personen durch Interaktionen (interpersonell) und innerhalb einer Organisation oder Institution (kollektiv). Die Elemente, die hier als eine Art Pfad dargestellt werden, können sich gegenseitig stimulieren. Unter jeder Einflussebene finden sich vier bis sechs Typen von Veränderungsprozessen oder Outcomes, die entweder durch den Evaluationsprozess, oder durch Evaluationsresultate ausgelöst werden können.
Einflussebenen
Kollektiv
Individuell
Interpersonell
Änderung der Einstellung
Rechtfertigung
Programm-Setting
(staatl. und private Organisationen)
Gewichtung
Beeinflussung/ Überzeugung
Politik-orientiertes-Lernen
Ausarbeitung
Change agent
Politikveränderung
Grundansicht
Soziale Normen
Diffusion
Fähigkeiten-Akquise
Beeinflussung
Änderung des Verhaltens
Abbildung 7: Mechanismen, durch die Evaluation Einfluss produziert (Henry/Mark 2003a: 298) Die Autoren untersteichen, dass es durch die Kenntnisse von Pfaden zur Einflussnahme einfacher wird zu verstehen, wie Evaluationen zu mehr gesellschaftlichem Wandel führen können. Das Modell zeigt auch, dass nicht nur Evaluator(inn)en einen Einfluss auf Individuen und ihre Einstellungen haben, sondern dass Evaluationen auch einen Einfluss auf Gruppen, Organisationen usf. haben können (Fitzpatrick et al. 2004: 403). Eine wichtige methodische Weiterentwicklung in der Evaluationsforschung und einen Beitrag zur Evaluationsnutzungsforschung stellt der theoriebasierte Ansatz dar. Huey-Tsyh Chen konzeptualisiert Programme unter systemtheoretischem Gesichtspunkt und beschreibt fünf Komponenten: Input, Transformation, Output, Feedback und Umwelt (vgl. Chen 2005: 4). Die Transformation von
54
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Inputs in Outputs und die Interaktion zwischen Programm und Umwelt erfolgen dabei dynamisch. Er unterstreicht, dass Programmevaluationen von daher „future action-directed“ (ebd.: 6) und holistisch sein sollten und die wissenschaftliche und praktische Glaubwürdigkeit gleichermaßen berücksichtigen müssen. Chen regt einmal mehr die Interaktion zwischen Praktiker(inne)n (als Expert(inn)en ihrer Arbeit) und Wissenschaftler(inne)n an: ohne einen regen Austausch können aus Evaluationen unter Umständen abstrakte Ideen und Debatten entstehen, die ohne jeden Nutzen für die Praktiker(innen) sind. Evaluator(inn)en erhalten in diesen Fällen kein Feedback zu ihrer Arbeit und mögliche Synergieeffekte gehen verloren (ebd.: 270; Chen 1990). Und schließlich beschäftigte sich Balthasar (2007) mit dem Einfluss des institutionellen Arrangements auf die Distanz33 zwischen Evaluierenden und Evaluierten und dem Einfluss dieser Komponenten auf die Nutzung von Evaluationen in Schweizer Bundesämtern und Dienststellen. Balthasar greift in seinem Modell auf die herkömmliche Unterscheidung der fünf Arten der Verwendung einer Evaluation zurück. Interessant an seiner Meta-Untersuchung ist, dass auf nationaler Ebene nahezu alle abgeschlossenen Evaluationen in der Schweizer Bundesverwaltung (zwischen 1999-2002, N=300) berücksichtigt wurden und dadurch die Möglichkeit gegeben war, den aktuellen Stand der Evaluation für diesen Bereich zuverlässig zu dokumentieren. In seiner Untersuchung hat er einige Interaktionsmerkmale, aber auch Aspekte sozial kompetenten Verhaltens berücksichtigt. Diese sind: soziale Kommunikation, Charakteristika der Entscheidungsträger(innen), Offenheit für Evaluation. So lautet ein zentrales Ergebnis der Studie, dass die Chance für Nutzung sehr stark ansteigt, wenn die Entscheidungsträger(innen) an der Evaluation interessiert sind (Balthasar 2007: 347). Die prozessbezogene Nutzung von Evaluationen ist signifikant höher, wenn Evaluator(inn)en zur Umsetzung ermuntern und die Zusammenarbeit zwischen Evaluierten und Evaluierenden von Achtung geprägt ist (ebd.: 337, 352). Bilanzierend kann antizipiert werden, dass die Forschungserfahrungen seit den 70er Jahren bis heute nicht zu einer konkreten Nutzungstheorie oder zu einer Konkretisierung der Faktoren auf der Ebene der Interaktionen zwischen den Beteiligten einer Evaluation geführt haben. Weiss (1998) beschreibt, dass trotz dieses Mankos ein Umdenken stattgefunden hat und dass Fortschritte zu verzeichnen sind, weil die bisherige Nutzungsforschung eben zu diesem Umdenken angeregt hat. In neueren Handbüchern zu Evaluation widmen sich ganze Kapitel den sozialen Beziehungen in Evaluationen (Mark et al. 2006; Stockmann 2007), auch dies kann als Zeichen des Neudenkens gewertet werden. Eine der Au33
Das Distanzmaß beinhaltet: (1) Einbezug der evaluationsverantwortlichen Stelle, (2) Kostenübernahme, (3) Auslösung, (4) Vergabepraxis, (5) Publikationspraxis, (6) Evaluationsdurchführung (Balthasar 2007: 52).
2.2 Der Evaluationsnutzungsbegriff
55
tor(inn)en unterstreicht, dass die Dimensionen der sozialen Beziehungen und Interaktionen in den aktuellen Arbeiten zu Evaluation jedoch häufig nicht explizit behandelt werden (Abma 2006: 188). Zusammenfassend werden den Evaluator(inn)en und verschiedenen Stakeholdern34, abhängig vom Konzept, verschiedene Rollen zugewiesen. Das Spektrum erstreckt sich von einem passiven Rollenverständnis (ohne viel Interaktion), in dem Evaluator(inn)en die Methoden auswählen und anwenden und somit das methodische Know-how bereithalten über strategische Fähigkeiten bis hin zur Hilfe zur Selbsthilfe und eine aktive aushandelnde und lernende Evaluator(inn)enrolle. Die Rolle der Nutzer(innen) wird von den einzelnen Autor(inn)en jeweils komplementär gesehen. Die historische Sichtweise zeigt, dass eine Tendenz hin zur Interaktionsperspektive sukzessive zugenommen hat. Zugleich stellen interpersonelle und soziale Kompetenzen im Hinblick auf Evaluationsnutzung kein stabiles Konstrukt dar. Auf diesen Aspekt wird vor dem Hintergrund der hier im Zentrum stehenden Fragestellung nach der Bedeutung von Interaktionsgestaltung und sozialen Kompetenzen von Interaktionspartner(inne)n für die Evaluationsnutzungen an verschiedenen Stellen in dieser Arbeit (vgl. z.B. Kapitel 2.5) dezidiert eingegangen. 2.2.4 Ableitungen für das Untersuchungsmodell: vier Dimensionen von Nutzungen in Programmevaluationen Im Kontext dieser Arbeit interessieren vor allem Nutzungsprozesse auf der Programmebene und weniger Entscheidungsfällungsprozesse auf politischer Ebene. Den Bezugsrahmen stellt hierbei die gemeinsame Arbeit von Evaluator(inn)en und Stakeholdern im Rahmen von Programmevaluationen. Programmevaluationen werden, wie unter 2.2.2 beschrieben, selten nur rein symbolisch, konzeptionell, instrumentell oder prozessbezogen genutzt. Der Begriff Nutzung wird daher im Folgenden im Plural gebraucht, um laufend zu vergegenwärtigen, dass die „Evaluationsnutzung“ im Singular nicht die Regel ist. Es wird ausdrücklich nicht versucht werden, Zuordnungen zu den bekannten Nutzungstypen vorzunehmen. Eine klare Sichtweise auf das Konstrukt Nutzungen und die Operationalisierung des Begriffs für empirische Untersuchungen erfordert eine Rekonzeptualisierung des Nutzungsbegriffs und kann aus unterschiedlichen Blickwinkeln erreicht werden. Eine mögliche Zugangsweise wird im Folgenden vorgestellt. Vor dem Hintergrund des Fachdiskurses kann zusammengefasst werden, dass Belege für Nutzungen durch vier Dimensionen bestimmt sind, die durch folgende Fragen gefasst werden können: 34
Die unterschiedlichen Ansichten von acht verschiedenen Evaluationstheoretikern zur Involvierung von Stakeholdern wurden von Christina Christie (2003) vergleichend untersucht.
56
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Wann entsteht die Nutzung von Evaluation? Wie wird Evaluation genutzt? oder auch: Was wird genutzt? Wer nutzt die Evaluation? Wo wird die Evaluation genutzt?
Einzelne Abteilungen in Organisationen
individuell
Direkt
Einzelne Organisationen
interpersonell
Organisationsgeflechte
kollektiv
Indirekt
Als Folge von Evaluation
Wo
Einzelne Abteilungen in Organisationen
Wer
individuell
Wie/ Was
Direkt
Wann
Einzelne Organisationen
interpersonell
Organisationsgeflechte
kollektiv
Indirekt
Im Prozess von Evaluation
Evaluationsnutzungen
Abbildung 8: Vier Dimensionen von Evaluationsnutzungen Durch eine Literaturanalyse zu Faktoren, die die Akzeptanz von Studienergebnissen begünstigen, wurde deutlich, dass hier insbesondere vier Fachgebiete als Ressource genutzt werden können: Programmevaluation, Managementwissenschaft, angewandte Verhaltensforschung und Organisationstheorie (Oman/Chitwood 1984: 286). An vorderster Stelle werden Befunde und Theorien der Programmevaluation in das Nutzungsmodell integriert, die Ergebnisse der angewandten Verhaltensforschung fließen vor allem durch den Brückenschlag zu diesem Fachgebiet durch Henry und Mark (2003a) in das Modell ein. Zudem sind Teilaspekte von Organisationstheorien im Modell angelegt. Folgende Darstellung zeigt die herausgearbeiteten Dimensionen im Überblick: Im Folgenden werden die vier Dimensionen von Nutzungen näher charakterisiert. Entsprechend des Modells von Kirkhart wird von einem Kontinuum aus-
2.2 Der Evaluationsnutzungsbegriff
57
gegangen (Kirkhart 2000: 8), d.h. die einzelnen Ebenen liegen aufeinander und bedingen sich interdependent. Wann werden Evaluationen genutzt? Die Komponenten „Nutzungen als Folge von Evaluation“ und „Nutzungen im Prozess von Evaluation“ nehmen den Zeitpunkt bzw. den Zeitrahmen der Nutzungen in den Blick. Wann im Verlauf einer Evaluation welche Informationen bereitgestellt werden und welche Rückwirkungen diese für den Handlungsvollzug haben sollen muss für jede Evalaution entschieden werden (vgl. Kuper 2005: 15). Die genaue Einteilung, was „zu Nutzungen im Prozess“ und was zu „Nutzungen in Folge von Evaluationen“ zugehörig ist, muss – je nach Forschungsinteresse – festgelegt werden. Die Zeiteinteilung in Nutzungen im Prozess und als Folge von Evaluationen ist arbiträr, es könnte beispielsweise auch in Nutzungen in der Planungsphase und Nutzungen in der Abschlussphase unterschieden werden. Nutzungen im Prozess von Evaluationen sind an den Zeitrahmen der Evaluation gebunden, sie können in der Planungsphase, in der Durchführungsphase oder in der Abschlussphase (diese kann je nach Anlage der Evaluation über die Abgabe des Evaluationsberichts hinausgehen) einer Evaluation auftreten und über diese hinausdauern. Auch frühe Nutzungen, die sich zu langfristigen Nutzungen entwickeln und Langzeitkonsequenzen haben, sind Nutzungen, die zeitlich im Prozess der Evaluation angesiedelt werden können. Die Dauer der Nutzungen ist demnach nicht gebunden an den Zeitpunkt oder die Zeitspanne der Entstehung dieser35. Unter Nutzungen als Folge von Evaluationen können alle Nutzungen gefasst werden, die nach Abschluss der Evaluation entstehen. Längerfristige Nutzungen der Evaluation können dementsprechend erst lange Zeit nach Abschluss dieser sichtbar werden und verzögert auftreten (Kirkhart 2000: 17). Für diese Untersuchung wird festgelegt, dass der Abschluss der Evaluation die Schwelle für die Zuordnung zu „Nutzungen im Prozess“ oder „Nutzungen als Folge der Evaluation“ bildet, wobei der Zeitpunkt der Entstehung der Nutzungen von Relevanz ist und nicht die Dauer dieser. Wie wird Evaluation genutzt? (Was wird genutzt?) Was Kirkhart (2000) in ihrer Argumentation mit „Intention“ und „Quelle des Einflusses“ bezeichnet hat, findet sich hier in der Kategorie des „Wie/Was“ wieder, d.h., hier wird auf inhaltlicher Ebene differenziert zwischen direkten (intendierten, erwünschten oder unerwünschten) und indirekten (unintendierten oder intendierten, erwünschten oder unerwünschten) Nutzungen. 35
Zu den verschiedenen Zeitpfaden einer Wirkung vgl. Glass et al. (1975).
58
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Unter direkten Nutzungen werden alle intendierten Handlungen und Veränderungen, die mit der Evaluation in Verbindung gebracht werden, verstanden. Diese können beispielsweise (je nach Evaluationskontext) inhaltliche Veränderungen (vgl. z.B. Shadish et al. 1991; Rossi/Freeman 1993), Nutzungen zu Legitimationszwecken (vgl. z.B. Johnson 1998; Clarke/Dawson 1999; Huberman 1987), die Bestätigung von bereits Gewusstem (vgl. z.B. Alkin et al. 1979) oder Anregungen zur Diskussion (vgl. z.B. Cook/Pollard 1977) in verschiedenen Kontexten sein. Daraus resultierende Handlungen und Veränderungen können erwünscht oder unerwünscht sein. Der gegenwärtige Stand von Programmevaluationen zeigt, dass Nutzungen eine Vielzahl intendierter und unintendierter Konsequenzen nach sich ziehen können (Michalski/Cousins 2001: 50). Direkte Nutzungen werden dementsprechend als Realität und nicht als „unhaltbarer Mythos“ (Drerup 1982, zit. nach Stamm 2003b: 184) betrachtet. Indirekte Nutzungen sind zunächst einmal unintendiert, können jedoch insbesondere von erfahrenen Umsetzungsverantwortlichen und Evaluator(inn)en auch intendiert und von Beginn an forciert sein. Beinhaltet sind alle „Produkte“, die nicht explizit mit der Fragestellung der Evaluation zusammenhängen. Dazu gehören z.B.: Entstehung von nützlichen Kontakten (vgl. z.B. Forss et al. 2002), Sensibilisierung für bestimmte Themen durch die Evaluationsbefragung (vgl. z.B. Alkin et al. 1979; Leviton/Hughes 1981; Patton 1997; Rich 1977; Stamm 2003a; Vedung 2004), Lernen für die Evaluationspraxis bzw. den Umgang mit Evaluationen (Lerneffekte in Form konzeptioneller Auswirkungen auf zukünftige Evaluationen) (vgl. z.B. Forss et al. 2002), Verbesserung der Kompetenzen im Verstehen von Evaluationen (vgl. z.B. ebd.), Beratung für die interne Evaluation (vgl. z.B. ebd.), Motivationsanschub für die weitere Arbeit (vgl. z.B. ebd.) u.a.. Evaluation kann dementsprechend allein dadurch, dass sie stattfindet, Effekte haben. Im Sinne von Jody L. Fitzpatrick sind indirekte Nutzungen solche, die nicht an den Resultaten einer Evaluation orientiert sind (Fitzpatrick et al. 2004: 401). Diese Form von Nutzung wird auch häufig prozessorientierte Nutzung (Patton 1996: 86) genannt. Pattons Begriff der prozessbezogenen Nutzung (vgl. Patton 1998) scheint für diese Arbeit irreführend, da sowohl direkte als auch indirekte Nutzungen im Verlauf und/oder im Prozess einer Evaluation erfolgen. In dieser Untersuchung wird daher der Begriff der indirekten Nutzungen verwendet. Damit nicht jede Anleihe, die bei Evaluationserkenntnissen gemacht wird, bereits als indirekte Nutzung definiert wird, weil es Verweise auf den Evaluationsgegenstand gibt, wurden die Interviewpartner(innen) im Rahmen der Untersuchung gebeten, konkret mit Beispielen zu belegen, wie die Evaluation zu einer Handlung oder Entscheidung geführt hat.
2.2 Der Evaluationsnutzungsbegriff
59
Wer nutzt Evaluationen? Verschiedenste Personen können Evaluationen nutzen. Nutzung kann individuell, zwischen zwei verschiedenen Personen (interpersonell) und kollektiv auftreten (Henry/Mark 2003a). Bei dieser Dimension wird zugeordnet, welche inhaltlichen Veränderungen sich auf welche Person(engruppen) beziehen bzw. welche Person für sich und ihr Umfeld oder für andere welche Nutzungen wahrnimmt und berichtet. Dabei stehen mindestens zwei Beurteilungsdimensionen einander gegenüber: der „wissenschaftliche Gebrauchswert“ (vgl. Stamm 2003a: 26), den Evaluator(inn)en ihrer eigenen Arbeit zumessen, und der „praktische Nutzwert“ (vgl. ebd.) als Einschätzung der Nützlichkeit der Evaluation durch die Abnehmer(innen). Wo wird Evaluation genutzt? Eine weitere Dimension ist der Ort der Evaluationsnutzung. Hier erstreckt sich die Spannbreite – je nach Anlage der Evaluation – von kleineren Arbeitsgruppen in Einrichtungen und Programmen über gesamte Einrichtungen und Organisationen wie z.B. Schule, Dienstleistungsunternehmen, Parteien bis zu komplexen staatlichen und privaten Organisationsgeflechten. Die Bemühungen von Evaluator(inn)en, Veränderungen in Organisationen zu bewirken bzw. organisationsbezogene Variablen mit Effekten auf Evaluationsnutzungen sind bislang wenig untersucht oder sogar „unerforscht“ (Oman/Chitwood 1984: 284). Die spannende Frage der Wirkungen von Evaluationen auf Organisationsebene (vgl. dazu z.B. Cousins/Earl 1995; Fear 2007) und die damit in Verbindung stehenden klassischen Themen der Organisationssoziologie und darüber hinausgehende gesellschaftsbezogene Fragen und Zugriffsweisen auf Evaluationsnutzungen werden in vorliegender Arbeit aus zwei Gründen explizit nicht berücksichtigt: zum einen stand die Interaktionsebene zwischen Evaluator(inn)en und deren Hauptinteraktionspartner(inne)n und deren Bedeutung für Evaluationsnutzungsprozesse im Zentrum des Erkenntnisinteresses. Zum anderen stellen die hier untersuchten Mentoringprogramme eine Form von organisationsunspezifischen Programmen dar, d.h., hier wird in einer Form Personalentwicklung betrieben, die in klassischen Personalentwicklungsprogrammen in Organisationen nicht vorkommt. Übergeordnetes Ziel der Verwendung des Instruments Mentoring ist, dass der/die Mentee die bestmögliche Position erreicht, die seiner/ihrer Qualifikation entspricht (vgl. Höppel 2000) und zwar unabhängig von einer spezifischen Organisation. Der Frage, wo die Evaluationen der Mentoringprogramme genutzt wurden, findet daher in dieser Untersuchung keine Berücksichtigung.
60
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Definition von Evaluationsnutzungen: Die beschriebenen vier Dimensionsebenen erleichtern den Zugang zur Operationalisierung von Evaluationsnutzungen für die vorliegende Untersuchung. Für den Nachweis von Nutzungen muss im Sinne von Leviton und Hughes (1981) anhand von Beispielen erläutert werden, dass ohne die Evaluation anders gedacht oder gehandelt worden wäre, oder dass durch die Evaluation bereits bestehende Meinungen bezüglich des Programms bekräftigt wurden und dementsprechend keine Veränderungen im Denken oder Handeln auftreten. Eine Verbindung zwischen der Evaluation und deren Nutzungen kann demnach dann hergestellt werden, wenn die Beteiligten sie selbst auch herstellen. Die „Beweisführung“ liegt demnach sowohl bei potentiellen Nutzer(inne)n als auch Evaluator(inn)en. In der Betrachtung von Nutzungen kann je nach Kontext berücksichtigt werden was, wann, wem und wo geschieht. Angesichts der hier vorgeschlagenen Betrachtungsweise stellt sich die Frage, ob das metatheoretische Axiom des Kommunikationswissenschaftlers Paul Watzlawick nicht auch auf die Evaluationnutzung übertragen werden könnte. Evaluationsnutzung kann, wie gezeigt, auch unintendiert und aus negativen Erfahrungen heraus entstehen. Entsprechend des Satzes von Watzlawick „Man kann nicht nicht kommunizieren.“ (vgl. Watzlawick et al. 1969: 53) würde das im übertragenen Sinne bedeuten: „Man kann Evaluation nicht nicht nutzen.“ Diese Aussage berücksichtigt freilich nicht, als wie sinnvoll eine Evaluation beurteilt wird. Beispielsweise kann selbst die „unnützlichste“ Evaluation den Nutzen haben, dass die Beteiligten ihre Meinungen zu Evaluationen ändern, die nächste Evaluation anders gestalten etc. Zusammenfassend wird in dieser Arbeit von Evaluationsnutzungen ausgegangen, wenn als Folge oder im Prozess (zeitlich) von Evaluation direkt oder indirekt Handlungen und/oder Veränderungen im Denken und/oder Bestätigungen des bereits angenommenen (inhaltlich) mit der Evaluation assoziiert werden. Dies kann auf individueller, interpersoneller und/oder kollektiver Ebene (personell) passieren. Eine Verbindung zwischen einer Evaluation und deren Nutzungen wird dann hergestellt, wenn die Betroffenen und Beteiligten einer Evaluation sie selbst auch herstellen. 2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale: Hintergründe, Ansätze und Begrifflichkeiten 2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
Im Rahmen dieses Kapitels findet eine theoretische Annäherung an die Konstrukte der sozialen Kompetenzen, der Interaktionsgestaltung und der Umfeldund Prozessmerkmale im Evaluationskontext statt. Ziel dabei ist es, die Kon-
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
61
strukte anschließend in ein Untersuchungsmodell für die empirische Untersuchung zu überführen. Die Überlegungen zur Rezeption der Theorien in der Evaluationsnutzungsforschung mit Blick auf die Interaktionskomponente hatten gezeigt (vgl. Kapitel 2.2.3), dass bislang kaum eine Integration verschiedener Modelle zur Rolle der Interaktionsgestaltung im Hinblick auf Evaluationsnutzungen stattgefunden hat. In den nachfolgenden Kapiteln wird daher geprüft, inwieweit verschiedene Modelle aus unterschiedlichen Disziplinen im Rahmen einer komplementären Betrachtung zu einer Spezifizierung der Beziehungen zwischen sozialen Kompetenzen, Interaktionsgestaltung und Evaluationsnutzungen beitragen können. 2.3.1 Soziale Kompetenzen – ein multidisziplinäres Konstrukt Im Folgenden wird das Konstrukt soziale Kompetenzen aus drei verschiedenen Blickwinkeln betrachtet. Zunächst als psychologisches Konstrukt, anschließend aus Sicht der Evaluationsnutzungsforschung und drittens als Teilbereich von Empfehlungen für Kompetenzfelder von Evaluator(inn)en (DeGEval 2008b; Stevahn et al. 2005). Ausgehend von diesen verschiedenen Gebieten wird das Konstrukt für diese Untersuchung expliziert und in ein Untersuchungsmodell (vgl. Kapitel 2.6) integriert. Hierbei handelt es sich nicht um die Generierung direkter, linearer Transferannahmen nach dem Muster: “dieses Verhalten erzeugt Nutzungen und jenes nicht“, sondern eher um eine Sammlung und Klärung der Begrifflichkeiten und Vorbereitung der Verflechtung der Termini aus den oben genannten drei Bereichen. Bevor das Konstrukt aus psychologischer Sicht genauer beleuchtet wird, soll herausgestellt werden, dass es sich per se nicht einem einzelnen Wissenschaftszweig zuordnen lässt. Armin Anwander (1992: 6f) nennt fünf unterschiedlich motivierte disziplinäre Ansätze zur Inblicknahme sozialer Kompetenzen: pädagogische, psychologische, linguistische, soziologische und organisationstheoretische. Andere Autor(inn)en (z.B. Friede 1995: 350f; Huber 1996: 35ff nach Evers, 2000: 24) ordnen den Begriff soziale Kompetenzen den Disziplinen Pädagogik, Psychologie und den Wirtschaftswissenschaften zu. Betrachtet man das Konstrukt soziale Kompetenzen als Steuerungsmechanismus zur Gestaltung von sozialer Interaktion, können nach Joseph Forgas (1995: 11f) vor allem drei Ansätze zur Erforschung dieser unterschieden werden: der psychologische Ansatz, der makro-soziologische Ansatz und der symbolische Interaktionismus.
62
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Exkurs: Soziale Interaktion in der Perspektive makrosoziologischer Ansätze und des symbolischen Interaktionismus Makrosoziologische Ansätze gehen gewissermaßen von der Priorität einer überpersonalen Struktur aus wenn es um die Beschreibung und Erklärung sozialer Interaktionen geht, d.h. soziale Systeme, deren Strukturen und Dynamiken stehen im Zentrum des Interesses. Vertreter sind z.B. Durkheim (Strukturalistische Theorien), Parsons, Luhmann (Systemtheorie) und Weber. Exemplarisch zur Verdeutlichung der makrosoziologischen Perspektive auf soziale Interaktionen soll hier nur der Ansatz Talcott Parsons kurz skizziert werden. Parsons Werk „The Structure of Social Action“ (1. Aufl. 1937, 1967) ist beispielsweise konzipiert als begriffliche Grundlegung einer Handlungstheorie. Durch den Weberschen Handlungsbegriff vorgezeichnet, entwirft Parsons dieses Schema aus der subjektiven Perspektive des Akteurs (Schneider 2008: 83). Eine elementare Handlungseinheit umfasst nach Parsons kontrollierbare Aspekte (Mittel zur Zielerreichung) und unkontrollierbare Aspekte (Bedingungen) einer Situation. Ferner beschreibt er normative Standards, die sowohl für die Selektion der Mittel, als auch für die Bestimmung der Handlungsziele relevant sind (Parsons 1967: 44ff). Er entwickelt eine voluntaristische Handlungstheorie, die der Frage nach den Bedingungen und Voraussetzungen von sozialer Ordnung, die bereits Thomas Hobbes (1588-1679) aufgeworfen hat, nachgeht (ebd.: 87ff). Voluntaristisch ist sein Handlungsbegriff, weil er der freien Einstellung des Akteurs einen konstitutiven Stellenwert zumisst (Schneider 2008: 86). In der weiteren Entfaltung seiner Theorie wird der konzeptuelle Bezugsrahmen erweitert. Drei Teilsysteme sind dabei zu einem Handlungssystem verbunden: Persönlichkeitssystem, kulturelles System und Sozialsystem (ebd.: 116). Parsons weiteres Werk ist gekennzeichnet durch eine strenge Orientierung an einem theoretischen Systemkonzept und dem Übergang zur Systemtheorie (ebd.: 144ff). Zentrum der Parsonsschen Theorie bilden die universalen Bezugsprobleme, die jedes System lösen muss, um seinen Bestand gegenüber der Umwelt zu sichern. Auch auf der Theorieebene mikrosoziologischer Ansätze wurden zahlreiche Konzepte entwickelt, um Interaktion und soziale Ordnung zu erklären. So unterscheidet etwa Ansgar Weymann zwischen fünf Konzepten, darunter auch demjenigen des symbolischen Interaktionismus (vgl. Weymann 2007: 109). Im Folgenden soll im Kontext dieser Arbeit und in Bezug auf Forgas (1995) lediglich kurz auf diesen Ansatz eingegangen werden. Der symbolische Interaktionismus ist ein mikrosoziologischer Ansatz, in dem Interaktionen als Grundlage für die Schaffung von sozialen Systemen und Persönlichkeiten und nicht als deren Produkt gelten. Bekanntester Vertreter ist George Herbert Mead (1934, 1967, 1973)36 und sein Schüler Herbert Blumer (1938). Die Ausgangspunkte resp. Grundannahmen werden anhand von drei Prämissen erläutert: „Die erste Prämisse besagt, dass Menschen ‚Dingen’ gegenüber auf der Grundlange von Bedeutungen handeln, die diese Dinge für sie besitzen. […] Die zweite Prämisse besagt, dass die Bedeutung solcher Dinge aus der sozialen Interaktion, die man mit seinen Mitmenschen eingeht, abgeleitet ist oder aus ihr entsteht. Die dritte Prämisse besagt, dass diese Bedeutung in einem interpretativen Prozess, den die Person in ihrer Auseinandersetzung mit den ihr begegnenden Dingen benutzt, gehandhabt und abgeändert wird.“ (Blumer 1973: 81). Diese Position begibt sich gewissermaßen auf die Ebene der Interaktion selbst, d.h. umfassende soziale Systeme und individuelle Persönlichkeiten werden erst im Laufe von sozialer Interaktion geschaffen (Forgas 1995: 12).
36
Der englische Originaltitel „Mind, Self and Society“ ist 1934, drei Jahre nach Meads Tod, von Charles W. Morris herausgegeben und 1967 zum zweiten Mal aufgelegt worden.
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
63
Der psychologische wird den soziologischen Ansätzen für dieses Vorhaben aus verschiedenen Gründen vorgezogen: Zum einen interessiert im Rahmen dieser Arbeit gerade die individuelle Perspektive der Beteiligten bei Evaluationen und weniger die abstrakte Ebene der Interaktion oder die umfassenden sozialen, ökonomischen und politischen Systeme, die Verhaltensweisen mitbestimmen bzw. diese überhaupt erst erzeugen. Zum anderen sind die bislang durchgeführten empirischen Untersuchungen von Programmevaluationen in diesem Bereich orientiert an Variablen und Prozessen, die ablaufen, wenn Menschen im Rahmen einer Evaluationsstudie miteinander interagieren. Die umfassenden kulturellen Zusammenhänge, in denen diese Menschen aufgewachsen und beruflich sozialisiert worden sind, spielen im Fachdiskurs eine untergeordnete Rolle. Die Evaluationsnutzungsforschung betrachtet die Charakteristika und Kompetenzen von Evaluator(inn)en und Nutzer(inne)n und nähert sich diesen aus der Perspektive des Individuums. Die zugrunde liegenden Vorstellungen der Evaluationsnutzungsforschung und der Psychologie zu dem Konstrukt soziale Kompetenzen beinhalten sowohl Aspekte beobachtbaren Verhaltens (Handlungen, Fähigkeiten und Fertigkeiten) als auch nicht beobachtbare Aspekte (Wissen, kognitive Prozesse). Berührungspunkte der Evaluationsnutzungsforschung zu psychologischen Ansätzen sind in Bezug auf das Konstrukt soziale Kompetenzen somit zahlreicher als die Verbindungen mit soziologischen Ansätzen. 2.3.1.1 Fokus 1: Soziale Kompetenzen als psychologisches Konstrukt Der Kompetenzbegriff, der einen Teil der Terminologie der sozialen Kompetenzen ausmacht, richtete sich während der siebziger Jahre ganz bewusst gegen eine als zu technisch und funktional empfundene Konzeption beruflicher Bildung und gegen das Unvermögen, überfachliche und querliegende Zieldimensionen mitzuerfassen (Clement/Arnold 2002: 7). Mittlerweile ist es zu einer starken und nur noch bedingt nachvollziehbaren Verästelung der Subkategorien des Kompetenzbegriffs gekommen, innerhalb derer das Konstrukt soziale Kompetenzen ein Bereich unter vielen ist (ebd.). Je nach Kompetenzmodell werden zusätzlich Selbstkompetenz, Handlungskompetenz, Personale Kompetenz, Fachkompetenz u.a. unterschieden. Nach einem Modell der Generellen Kompetenz (Greenspan/Gransfield 1992) setzt sich diese aus sozialer und instrumenteller Kompetenz zusammen, wobei die soziale und instrumentelle Kompetenz jeweils aus nicht-intellektuellen und intellektuellen Aspekten besteht. Die intellektuellen Aspekte der sozialen Kompetenz werden durch die praktische und die soziale Intelligenz bestimmt. Die nicht-intellektuellen Aspekte der sozialen Kompetenz bestehen aus den
64
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Merkmalen Temperament und Charakter. Die Autoren beschreiben, dass zur Bewältigung alltäglicher und beruflicher Anforderungen sowohl instrumentelle als auch soziale Kompetenzen gleichermaßen und in Kombination benötigt werden (ebd.: 449). In der psychologischen Forschung und Praxis hat das Konstrukt soziale Kompetenzen seit Anfang der siebziger Jahre eine beachtliche Bedeutung erhalten. Zunächst ist der Begriff sowohl im Alltagsgebrauch als auch im wissenschaftlichen Sprachgebrauch nicht wertfrei, sondern impliziert immer eine positive Wertung (Faix/Laier 1991; Petermann 1995)37. Ähnlich wie bei den Begriffen Evaluation und Evaluationsnutzung trifft man in der Auseinandersetzung mit dem Begriff der sozialen Kompetenzen auf eine Vielzahl unterschiedlicher Definitionsversuche. Soziale Kompetenzen stellen in der Psychologie einen Sammelbegriff für unterschiedliche Wissensbestandteile, Fähigkeiten und Fertigkeiten dar, bei dessen Definition die soziale Umgebung und die Perspektive des Handelnden berücksichtigt werden müssen. Verwandte Konzepte zu dem Begriff soziale Kompetenzen bilden soziale Intelligenz (Thorndike 1920; Thorndike/Stein 1937), emotionale Intelligenz (Salovey/Mayer 1989), interpersonale Kompetenz (Buhrmester et al. 1988) und soziale Fertigkeiten (z.B. Becker/Heimberg 1988). Die Konzepte können als Synonym oder Teilmenge sozialer Kompetenzen verstanden werden (Kanning 2003: 24). Soziale Kompetenzen werden als Konglomerat einer Vielzahl von Einzelaspekten begriffen, die sich alle auf den Umgang mit Menschen beziehen (vgl. Damm-Rüger/Stiegler 1996). Sie zeigen sich in der Disposition, kooperativ und kommunikativ selbstorganisiert zu handeln, d.h. sich mit anderen auseinanderzusetzen, sich gruppen- und beziehungsorientiert zu verhalten, um neue Ziele und Pläne zu entwerfen (Erpenbeck/Heyse 1999). Bei unterschiedlicher theoretischer Ausrichtung ist den Definitionen des Begriffs gemeinsam, „dass sie das erfolgreiche Realisieren von Zielen und Plänen in sozialen Interaktionssituationen hervorheben“ (Greif 1997: 312), wobei das zweckrationale und erfolgreiche Handeln einen zentralen Charakter für die Bedeutung des Begriffs einnimmt. Unter soziale Kompetenzen werden innerhalb des wissenschaftlichen Fachdiskurses zwischen fünf (Buhrmester et al. 1988) und 28 (Faix/Laier 1991) verschiedene Subkategorien bzw. Begrifflichkeiten subsumiert (vgl. Kanning 2002: 157). Es wurden verschiedenste Versuche unternommen, diese zu ordnen. Uwe Kanning z.B. (2002: 158) extrahierte nach einer empirischen Metaanalyse aktueller und häufig zitierter Kompetenzkataloge (N=18) insgesamt 15 allgemeine soziale Kompetenzdimensionen: 37
Die Vorstellungen von Laien zu prototypischen Komponenten sozial kompetenten Verhaltens gleichen in wesentlichen Aspekten dem, was von Expert(inn)en diskutiert wird (Kosmitzki/ John 1993).
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
65
Abbildung 9: Dimensionen sozialer Kompetenzen ( Kanning 2002: 158) Ronald Riggio (1986: 657) stellt heraus, dass die Entwicklung von Fähigkeiten bei einer Dimension höchstwahrscheinlich in einem positiven Zusammenhang mit den jeweils anderen Dimensionen steht bzw. dass ein komplexer Zusammenhang zwischen den einzelnen Dimensionen des Konstrukts besteht, zudem ist die Ausprägung der jeweiligen Kompetenz von Wichtigkeit. Zahlreiche Autor(inn)en schlagen vor, dass bei der Betrachtung von Sozialkompetenzen immer auch die Situation, in der gehandelt wird, berücksichtigt werden muss, d.h., dass keine universelle Anwendungsbreite unterstellt werden darf (vgl. z.B. Euler 2001; Greif 1997). Das Merkmal der Situationsspezifität hebt die Normativität des Konstrukts soziale Kompetenzen hervor und verdeutlicht, warum eine eindeutige und allgemein anerkannte Definition von sozialen Kompetenzen unmöglich ist (Evers 2000: 35). Das Handeln findet dementsprechend in konkreten Umwelten statt, die durch spezifische Bedingungen – wie materielle Ausstattung, andere Personen, Handlungserwartungen etc. – gekennzeichnet sind. Für die Erforschung von sozialen Kompetenzen bedeutet das, dass diese situationsspezifisch zugeschnitten werden muss. Bei sozialen Kompetenzen, die für die Ausübung der Evaluator(inn)entätigkeit wichtig sind und möglicherweise die Nutzungen von Evaluationsergebnissen positiv beeinflussen, handelt es sich demnach um bereichsspezifische soziale Kompetenzen, die für konkrete berufliche Settings bedeutsam sind. Dementsprechend müssen allgemeine soziale Kompetenzen und spezifische soziale Kompetenzen differenziert werden (Reschke 1995). Erstere sind solche, die im Hinblick auf bestimmte Situationen keine Spezifizierung aufweisen; Unterschiede sind nicht in der Existenz, wohl aber in der Ausprägung des Merkmals (z.B. Perspektivenübernahme) auszumachen.
66
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Spezifische soziale Kompetenzen sind solche, über die nur Menschen mit entsprechenden Lernerfahrungen in dem Bereich verfügen (z.B. Hospizangestellte), dabei handelt es sich häufig um ausdifferenzierte Kenntnisse allgemeiner sozialer Kompetenzen, die auf Erfahrung basieren (vgl. ebd.). In diesem Zusammenhang ist auch folgende Aussage zu lesen: Soziale Kompetenzen werden „von Wissen fundiert, durch Werte konstituiert, als Fähigkeiten disponiert, durch Erfahrungen konsolidiert, auf Grund von Willen realisiert“ (Erpenbeck/Heyse 1999: 162). Es wäre demnach verkürzt gedacht, allein die Anforderungen der Umwelt zu betrachten, sondern es handelt sich immer auch um eine Auswahl aus einem Wissen und um unterschiedliche Interaktions- und Kommunikationsweisen, wobei als geeignet diejenigen angesehen werden, die ein Maximum an positiven und ein Minimum an negativen Konsequenzen für die an der Interaktion beteiligten Personen erwarten lassen. Darüber hinaus muss das Interaktionsverhalten mindestens als sozial akzeptabel gelten (Riemann/Allgöwer 1993). Heinz Schuler und Dorothea Barthelme haben vier zentrale Charakteristika des Konstrukts soziale Kompetenzen herausgearbeitet: (1) Interaktionskontext: Soziale Kompetenzen zeigen sich in der Interaktion von Individuen, in der Art ihres interpersonellen Handelns. (2) Situationsspezifität: Die Interaktionspartner(innen) richten ihr Handeln an den vorfindbaren Rollenvorgaben aus und versuchen, diese Vorgaben den spezifischen Anforderungen der Situation entsprechend auszugestalten. (3) Zielrealisierung: Bei der Auswahl und Steuerung des eigenen Verhaltens ist maßgeblich, mit der Interaktion eine bestimmte Zielsetzung zu erreichen. (4) Zweckrationalität: Die Berücksichtigung und Auswahl der Mittel, die der Zielrealisierung dienlich sind (vgl. Schuler/Barthelme 1995: 81). Neben dem Verfügen über die oben angesprochenen diversen Fähigkeiten, Wissen und Werte muss darüber hinaus auch die Bereitschaft gegeben sein, diese Kenntnisse anzuwenden und umzusetzen. Interessant im Rahmen dieser Arbeit ist zudem eine Studie zu der Bedeutung sozialer Kompetenzen von Mitarbeiter(inne)n eines Dienstleistungsunternehmens für die Kund(inn)enzufriedenheit. Die Ergebnisse unterstreichen, dass die sozialen Kompetenzen von Servicemitarbeiter(inne)n einen signifikanten Einfluss auf die Zufriedenheit der Kund(inn)en haben und erweisen sich sogar als der mit Abstand wichtigste Prädiktor für die Kund(inn)enzufriedenheit (Kanning/Bergmann 2006). Zusammenfassend kann für die Zwecke im Rahmen der vorliegenden Arbeit einstweilen festgehalten werden, dass es bislang in der Psychologie keine allgemein akzeptierte oder empirisch fundierte Taxonomie sozialer Kompetenzen gibt (vgl. Kanning 2003: 22). Deutlich wurde jedoch, dass ein Konsens darüber herrscht, dass soziale Kompetenzen essentiell für das erfolgreiche Realisieren von Zielen und Plänen in sozialen Interaktionssituationen sind (vgl. Greif
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
67
1997; Schuler/Barthelme 1995). Eine weitere Erkenntnis dieses Unterkapitels im Hinblick auf die hier im Zentrum stehende Fragestellung ist, dass bei der Ausübung der Evaluator(inn)entätigkeit vor allem die Anwendung bereichsspezifischer bzw. berufsspezifischer sozialer Kompetenzen von Interesse ist und dass diese abgegrenzt werden können zu allgemeinen sozialen Kompetenzen (vgl. dazu Reschke 1995). Erfassung berufsbezogener sozialer Kompetenzen Dieses Unterkapitel beschäftigt sich mit unterschiedlichen Instrumenten zur Erfassung berufsbezogener sozialer Kompetenzen. Vor dem Hintergrund der Zielsetzung der vorliegenden Arbeit, herauszufinden, ob Interaktionsgestaltung und soziale Kompetenzen von Interaktionspartner(inne)n für die Evaluationsnutzungen bei Mentoring-Programmevaluationen eine Bedeutung haben, ist die Erfassung von berufsbezogenen sozialen Kompetenzen von Bedeutung. Ein multidimensionales Messinstrument zur Erfassung allgemeiner sozialer Kompetenzen ist bislang nicht entwickelt und angesichts der Komplexität des Konstrukts auch nicht anstrebenswert. Skepsis sollte auch angebracht sein, wenn, angesichts der Multidimensionalität des Konstrukts soziale Kompetenzen, von einem Messverfahren als monoethischem Konstrukt die Rede ist (Schmidt 1995: 117). Analog zu den vielfältigen Definitionen existieren verschiedenste Verfahren zur Erfassung von sozialen Kompetenzen. Zunächst scheint es plausibel auf die Indikatoren von Kompetenzen zu fokussieren, die besser messbar sind als soziale Kompetenzen, dies würde in einem minimalen Set von Kompetenzen resultieren. Interessant für die Praxis ist jedoch ein optimales Set. Konstrukte wie Motivation, Problemlösekompetenzen, Kommunikationsfähigkeit, Gruppenfähigkeit, Flexibilität, Kreativität etc. verbessern die Kapazitäten von fachlichen Fähigkeiten, sind aber schlechter erfass-, mess- und vergleichbar. Es muss daher unterstrichen werden, dass es utopisch und auch riskant wäre, davon auszugehen, dass alle menschlichen Kompetenzen und Qualitäten abbildbar wären. Deshalb sollte auch bei der Interpretation von z.B. Fragebögen zu sozialen Kompetenzen mit großer Behutsamkeit vorgegangen werden. Beurteilungsverfahren dürfen nicht per se als objektiv eingeschätzt werden und bestehende Beurteilungssysteme müssen unter diesem Aspekt angewendet werden (Seyfried 1995a: 138). Gebräuchliche und relevante Erhebungsverfahren sind: Selbst- und Fremdbeurteilungen mittels Fragebögen, Leistungstests und Interaktionsbeurteilungen (z.B. Rollenspiele) und Instrumente, die indirekte Rückschlüsse auf soziale Kompetenzen erlauben (z.B. biographische Fragebögen, soziometrische Verfahren). Im Folgenden wird vor allem auf Verfahren eingegangen, die nicht aus-
68
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
schließlich auf eine Verwendbarkeit in therapeutischen Settings fokussieren, sondern theoretisch für die Untersuchung von sozialen Kompetenzen im Rahmen von Metaevaluationen geeignet wären und die nicht nur auf einen Teilbereich der sozialen Kompetenzen fokussieren, wie z.B. auf soziale Intelligenz (z.B. O’Sullivan/Guilford 1966), Empathie (z.B. Davis 1983) oder Durchsetzungsfähigkeit (z.B. Rathus 1973). Berücksichtigt werden in der nachfolgenden Betrachtung nur Verfahren, die über eine ausreichende Konstruktvalidität verfügen und mit anderen Tests zur Erfassung von sozialen Kompetenzen korrelieren. Verhaltensbeobachtungen, die einen Weg zur indirekten Erschließung sozialer Kompetenzen bilden, können in den seltensten Fällen im beruflichen Alltag von Evaluation realisiert werden und werden daher im Folgenden ausgeklammert. Idealerweise sollten soziale Kompetenzen jedoch in realen Interaktionen beobachtet werden (Kanning 2003: 41). Neben Verhaltensbeobachtung stellen Verhaltensbeschreibungen eine weitere Option zur Messung sozialer Kompetenzen dar. Hier werden eigene oder fremde Verhaltensweisen retrospektive beschrieben (ebd.: 72). Untersuchungen zeigen jedoch, dass häufig Diskrepanzen zwischen Selbst- und Fremdbild bestehen (Sundvik/ Lindeman 1998 zit. nach Kanning, 2003: 73). Instrumente zur Erfassung sozialer Kompetenzen durch Verhaltensbeschreibung sind z.B. das teilstandardisierte Multimodale Interview (MMI) von Heinz Schuler (1992), das zur Personaldiagnostik eingesetzt wird. Eine Untersuchung, die verbal orientierte Verfahren, Bilder-, Film- und interaktive Verfahren im Fokus hatte, fand keine Hinweise für korrelative Zusammenhänge zwischen den einzelnen Tests, dementsprechend ließ sich auch kein homogener Faktor soziale Kompetenzen extrahieren (Probst 1982). Insgesamt fehle eine konsequente konzeptuelle Verbindung zwischen dem Konstrukt soziale Kompetenzen und seiner Operationalisierung (ebd.). Zudem existieren verschiedenste Fragebogeninstrumente, mit deren Hilfe eine Person ihre eigenen Einstellungen und Verhaltensorientierungen beschreibt. 56 standardisierte Messinstrumente zur Selbstbeschreibung sozialer Kompetenzen sind bislang identifiziert (Kanning 2003: 77ff). An dieser Stelle soll jedoch nicht auf die zahlreichen klinischpsychologischen Persönlichkeitstests und die dazugehörige umfangreiche Literatur eingegangen werden, da hier der Fokus eher auf sozialen Inkompetenzen liegt (ebd.: 103). Im Folgenden werden stattdessen personaldiagnostische Tests vorgestellt, die von der Spezifität der Normierungsstichprobe eher Berufsgruppen in den Blick nehmen und nicht Patient(inn)engruppen, und bei denen der Schwerpunkt auf der Erfassung durchschnittlicher bis überdurchschnittlicher Ausprägungen sozialer Kompetenzen liegt. Das „Bochumer Inventar zur berufsbezogenen Persönlichkeitsbeschreibung“ (BIP) von Hossiep und Paschen (2003) ist ein Personalauswahl- und Personalbeurteilungsverfahren (Datenbank: PSYNDEX-Tests 2007). Zudem liefert es einen
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
69
moderaten, jedoch validen Beitrag zur Erklärung von Berufserfolg (vgl. Hülsheger et al. 2006: 146). Es handelt sich um einen Test, der sowohl aus einem Selbstbeschreibungsbogen, als auch einem Fremdbeschreibungsbogen (kein eigens abgesichertes und normiertes Verfahren) besteht. Testteilnehmer(innen) müssen Items auf einer sechsstufigen Antwortskala bewerten. Die Skalen zur Beschreibung der sozialen Kompetenz sind Sensitivität, Kontaktfähigkeit, Soziabilität, Teamorientierung und Durchsetzungsstärke. Außerdem werden die Dimensionen berufliche Orientierung, Arbeitsverhalten und psychische Konstitution erhoben. In der Literatur wird auf die hohen Interkorrelationen einiger BIP-Skalen hingewiesen (z.B. Hossiep/Paschen 2003; Hülsheger et al. 2006; Marcus 2004). Das computergestützte Verfahren „Management Fallstudien“ (MFA) (Fennekels/D’Souza 1999) wird vor allem in Assessment-Centern zur StärkenSchwächen-Analyse eingesetzt. Die MFA bestehen aus vier einzelnen Verfahren, in denen Probleme des typischen Alltags geschildert werden. In Bezug auf soziale Kompetenzen können nach Durchführung des Verfahrens Aussagen zu den sozialen Kompetenzen der Person und hier insbesondere zum aktiven Gestalten von zwischenmenschlichen Konfliktsituationen und Abläufen getroffen werden (ebd.). Erklärungen zur Testkonstruktion (Itemkonstruktion und –selektion) fehlen in dem Manual, ebenso fehlen Angaben zur Hierarchiestufe und zu anderen für die Personalentwicklung bedeutsamen Variablen der Normstichprobe (Reuschenbach/Funke 2000). Mit dem Verfahren „Multidirektionales Feedback - 360º“ sollen Berufstätige mit Führungsverantwortung systematisches Feedback aus vier verschiedenen Blickwinkeln (dem/der direkten Vorgesetzten, den direkt zugeordneten Mitarbeiter(inne)n, den Kolleg(inn)en und den Kund(inn)en) einholen können. Zusätzlich besteht die Möglichkeit der Selbsteinschätzung der eigenen sozialen Kompetenzen und somit die Abgleichmöglichkeit zur Selbstwahrnehmung (Fennekels 1999). Das „Professional Assessment by Computer for Training and Selection“ (pro facts) (Etzel/Küppers 2000) wird, wie der Name schon sagt, insbesondere zur Personalauswahl und –entwicklung eingesetzt. Skalen zur Beschreibung sozialer Kompetenzen sind Führungsverhalten, Kontaktfähigkeit, Einfühlungsvermögen, soziale Flexibilität und Kundenorientierung (Kanning 2003: 82). Die „Qualitative Führungsstilanalyse“ (QFA) beleuchtet das Führungsverhalten von Vorgesetzten aus eigener Perspektive und aus der Perspektive der Mitarbeiter(innen). Ein direkter Vergleich zwischen Selbst- und Fremdbild wird möglich. Die Analyse dient der Personal- und Organisationsentwicklung. Skalen zur Beschreibung sozialer Kompetenzen sind z.B. Entscheidungs-, Leistungsund Führungsverhalten (Fennekels 1995; Kanning 2003: 82). Ein weiteres Selbstbeurteilungsinstrument stellt das Inventar sozialer Kompetenzen (ISK) (Kanning 2009) dar. Es handelt sich um ein multidimensionales
70
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Verfahren, das allgemeine soziale Kompetenzen erfasst. Die Skalen, die erhoben werden, lassen sich zu folgenden vier Sekundärskalen gruppieren: soziale Orientierung, Offensivität, Selbststeuerung sowie Reflexibilität38. An dieser Stelle sei betont, dass der Gebrauch standardisierter Instrumente den Anwender nicht davon entbindet, Wertentscheidungen zu treffen, d.h., die Positionierung eines Probanden auf einer Merkmalsdimension muss immer individuell eingeschätzt werden (Kanning 2003: 105). Um die Aussagekraft von Selbsteinschätzungen beurteilen zu können, müssten sie an PerformanceKriterien validiert werden, wie z.B. situationalen Interviews, Rollenspielen oder Verhaltensbeobachtungen. 2.3.1.2 Fokus 2: Soziale Kompetenzen als Konstrukt in der Evaluationsnutzungsforschung: Ergebnisse theoretischer, metatheoretischer und empirischer Untersuchungen Nachdem soziale Kompetenzen als psychologisches Konstrukt betrachtet und einige Implikationen für diese Untersuchung gewonnen wurden (vgl. Kapitel 2.3.1.1) soll das Bild nun vor dem Hintergrund der Evaluationsnutzungsforschung weiter vervollständigt werden. Soziale Kompetenzen stellen kein stabiles Konstrukt in der Evaluationsnutzungsforschung dar. Es wird von „human factors“ (Alkin 1985), „personal factors“ (Patton 1996) „people skills“ (Mertens 1994) und „personal qualities“ (ebd.) oder von Fähigkeiten gesprochen, die der Oberkategorie soziale Kompetenzen zugeordnet werden (DeGEval 2008b). In den meisten Fällen jedoch werden Termini verwendet, die auf soziale Kompetenzen rekurrieren oder diese meinen, ohne dies explizit zu machen. Eine differenzierte Auseinandersetzung mit dem Kompetenzbegriff überhaupt fehlt bislang in der Forschung zu Evaluation. Im Rahmen der Evaluationsnutzungsforschung stellen die so genannten „soften Faktoren“ neben der fachlichen Qualität einer Evaluation eine wichtige, wenn auch wie weiter oben beschrieben schwer fassbare Einflussgröße dar. Ihre große Bedeutung spiegelt sich auch in der Aussage wider, dass die beste Evaluation nur so nützlich sein kann, wie ihre organisatorischen und politischen Rahmenbedingungen es zulassen, und dass ihre Nutzung stark beeinflusst wird durch die Anwesenheit einer positiven Lernkultur, das Aufnahmevermögen der involvierten Individuen, und der Qualität der Beziehung zwischen Evaluator(inn)en und Nutzer(inne)n (vgl. Sandison 2006: 13).
38
Zum Zeitpunkt der Erhebung stand dieses Verfahren noch nicht zur Verfügung.
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
71
In der folgenden Abhandlung geht es darum, Konzepte bei denen entweder soziale Kompetenzen oder die Person des/der Evaluator(s)/(in) oder des/der Entscheidungsträger(s)/(in) sowie ggf. weitere Akteure explizit in Bezug auf Evaluationsnutzungen benannt und/oder untersucht wurden, in ihrer Bandbreite zu analysieren und für die Fragestellung dieser Arbeit nutzbar zu machen. Um eine maximale Variation unterschiedlicher Sichtweisen zu gewährleisten, wurde das Verfahren des Theoretical Sampling (Glaser/Strauss 1967) mit einer deduktiven Auswahl aufgrund der bereits vorhandenen einschlägigen Metaanalysen (auf der Makroebene) kombiniert, um dem Prinzip der Varianzmaximierung bis zur Sättigung zu genügen. Diese Vorgehensweise wird teilweise auch als Metamodeling (Johnson 1998: 94f) bezeichnet, um hervorzuheben, dass der zugrunde liegende Bezugsrahmen (implizit oder explizit) existierende Modelle sind und nicht von original qualitativen Daten ausgegangen wird. In der folgenden Analyse sind sowohl implizite und explizite Modelle, die auf qualitativen und/oder quantitativen Daten beruhen, als auch rein theoretisch entwickelte Modelle berücksichtigt worden. Sobald in der zugrunde liegenden Literatur deutlich wird, wie die einzelnen Faktoren die Nutzungen beeinflussen, wird dies folgendermaßen gekennzeichnet: (+) (-) (+/-)
erhöht Nutzungen schmälert Nutzungen interagiert mit anderen Variablen und erhöht bzw. schmälert Nutzungen oder hat teilweise – je nach Fall – keinen Effekt nachweislich kein Einfluss auf Nutzungen oder auf die Bewertung der Nützlichkeit von Studien
k.E.
Der im Folgenden immer wieder auftauchende Begriff “Charakteristika“ bezeichnet Merkmale, Eigenschaften und Handlungsweisen von Personen, denen in Bezug auf Nutzungen eine Bedeutung zugesprochen wird. Für den folgenden Abschnitt konnten bis zur Sättigung der Ergebnisse insgesamt folgende sieben Studien respektive Publikationen berücksichtigt werden: a. b. c. d. e. f. g.
Weiss/Bucuvalas 1980 Leviton/Hughes 1981 Alkin et al. 1985 Cousins/Leithwood 1986, 1993 Patton 1997 Johnson 1998 Stamm 2003a
72
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Da es sich hier größtenteils um metatheoretische Analysen handelt, wird innerhalb der jeweiligen Studie bereits ein breites Spektrum an vorangegangenen Studien berücksichtigt. a. Weiss und Bucuvalas (1980) widmeten sich bereits in den frühen siebziger Jahren der Frage, welches die Kriterien sind, die Entscheidungsträger(innen) für die Beurteilung der Nützlichkeit von Forschungsergebnissen heranziehen. Die Charakteristika einer Studie (wie z.B. Qualität, Übereinstimmung mit den Erwartungen der Nutzer(innen)) klären nach Weiss und Bucuvalas (1980: 117) 45% der Varianz der Wahrscheinlichkeit, dass Entscheidungsträger(innen) die Ergebnisse einer Studie nutzen auf. Die Persönlichkeit der verschiedenen Entscheidungsträger(innen) wirkt sich, der Untersuchung nach, weniger direkt auf die Nutzungen von Studien als vielmehr indirekt auf bestimmte Charakteristika der Studie aus. Ursprünglich war geplant, Typen wie z.B. „Wissenschaftlicher Typ“, „Leitungstyp“ etc. zu identifizieren, dies ist nicht gelungen. Innerhalb der von Weiss und Bucuvalas erhobenen Variablen scheinen Entscheidungsträger(innen) sich vordergründig auf individueller Ebene, aber nicht systematisch zu unterscheiden. Die Autor(inn)en untersuchten verschiedene Charakteristika von Entscheidungsträger(innen) bezogen auf die Kategorien „Autonomie“, „Empfänglichkeit für Forschung“ und „Erfahrungen mit Forschung“. Es zeigte sich, dass die Anzahl der Jahre an der Universität, die Anzahl der eigenen Publikationen (auch unveröffentlichte) und die vorherige Vollzeitanstellung an einem sozialwissenschaftlichen Institut schlechte Prädiktoren für die Wahrscheinlichkeit der Nutzungen von Forschungsergebnissen sind. Die Dauer der Berufstätigkeit jedoch zeigte lineare und signifikante Effekte: je länger Entscheidungsträger(innen) auf derselben Position beschäftigt waren, umso weniger nutzbringend beurteilten sie Forschungsstudien (-0.8* Regressions-Koeffizient bei SignifikanzLevel .10). Jedoch fanden Entscheidungsträger(innen) mit höherer beruflicher Autonomie (höhere Hierarchie) die Studien, die ihnen präsentiert wurden signifikant nützlicher als Entscheidungsträger(innen) mit weniger Autonomie. Die Art der Position (wie z.B. Programmmanager(in), Administrator(in) etc.) hingegen hat keine Auswirkungen auf die Beurteilung der Nützlichkeit von Forschung. Alter, Geschlecht und politische Orientierung haben der Studie nach kaum einen Effekt auf die Beurteilung der Nützlichkeit von Forschungsergebnissen. Bei der Untersuchung von Erfahrungen mit Forschung als Einflussfaktor stellte sich heraus, dass nur ein Item die Bewertung von Nützlichkeit von Forschung (nach Berücksichtigung aller Interaktionsfaktoren) beeinflusst, dies ist die aktive Beschäftigung mit Forschung in der Vergangenheit bzw. die vorherige Nutzung von Forschungsergebnissen (.14** Regressions-Koeffizient bei Signifikanz-Level .01):
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
73
„People who report seeking research in the past are more likely to find research reports useful in the present. They are „users“.“ (Weiss/Bucuvalas 1980: 127).
Folgende Auflistung zeigt die wichtigsten Charakteristika von Nutzer(inne)n und deren Effekt auf Beurteilung der Nützlichkeit von Studien im Überblick: Charakteristika Evaluator(inn)en
Charakteristika Nutzer(innen)
Autonomie
Hohe berufliche Autonomie (+), Art der Position (k.E.)
Empfänglichkeit für Forschung
Eigene Publikationen (k.E.), Dauer der Beschäftigung auf einer Stelle: 0-3 Jahre (+), 4-10 Jahre (-), 10 Jahre (-), Persönliche Charakteristika (Alter, Geschlecht, politische Orientierung) (k.E.)
Erfahrungen mit Forschung
Aktive Beschäftigung mit Forschung in der Vergangenheit (+)
Ergänzend ist hier anzumerken, dass die Studie die Schlüsselrolle von Evaluator(inn)en auf methodisch genaues Arbeiten beschränkt und den sonstigen Einfluss als eher gering einschätzt (vgl. Weiss 1988a). b. Nach einer Metaanalyse von Laura Leviton und Edward Hughes (1981), in der die oben besprochene Studie von Weiss und Bucuvalas (1980)39 u.a. Berücksichtigung fand, gibt es fünf Cluster von Variablen, die konsistent in Bezug stehen zur Evaluationsnutzung: (1) Relevanz der Evaluation, (2) Kommunikation, (3) Informationsbearbeitung, (4) Glaubwürdigkeit und (5) Einbezug der verschiedenen Interessengruppen in die Evaluation, wobei in allen Clustern Teilaspekte mit Relevanz auf die Charakteristika von Nutzer(inne)n und Evaluator(inn)en zu finden sind. Diese werden aus der Analyse von Leviton und Hughes extrahiert und im Folgenden dargestellt:
39
Durch die Clusterbildung in der Studie von Leviton und Hughes (1981) gehen für diese Untersuchung wichtige Einzelaspekte der Studie von Weiss und Bucuvalas (1980) verloren, deshalb wurde diese getrennt aufgeführt.
74
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Charakteristika Evaluator(inn)en Relevanz
Fähigkeiten zur Identifikation von Bedürfnissen der Nutzer(innen)/ Sensitivität (+), Termineinhaltung (+/-), Praktische Informationen zur Implementierung bereitstellen (+)
Kommunikation
Informationsbearbeitung
Glaubwürdigkeit
Einbezug der verschiedenen Interessengruppen in die Evaluation
Charakteristika Nutzer(innen)
Vorhandensein von formellen oder informellen Disseminationsnetzwerken (+) Direkte, nicht über hierarchische Stufen laufende, Kommunikation zwischen Nutzer(inne)n und Evaluator(inn)en (+)
Direkte, nicht über hierarchische Stufen laufende, Kommunikation zwischen Nutzer(inne)n und Evaluator(inn)en (+)
klare Sprache (+)
Unerwartete Informationen durch die Evaluation (+/-)
Fortlaufender Kontakt (+)
Fortlaufender Kontakt (+)
Anderer Kommunikationsstil als Nutzer(innen) (-)
Anderer Kommunikationsstil als Evaluator(inn)en (-)
Hohe Glaubwürdigkeit (+)
Widerspruch zwischen Evaluationsergebnissen und anderen Informationen/ Intuitionen (-), Hohe Meinung von Forschung (+) Hohes Commitment (+), Befürwortung der Evaluationsinformationen durch mind. eine/n zentrale/n Fürsprecher/in (+)
In der Analyse von Leviton und Hughes (1981) finden sich eine Anzahl heterogener Studien und somit auch eine heterogene Gruppe von Evaluationen und Erhebungsmethoden. Auch in Bezug auf die zugrunde liegende Definition von Evaluationsnutzung weisen die in der Metaevaluation berücksichtigten Studien erhebliche Varianzen auf. c. Die zahlreiche Literatur zur Nutzung von Evaluation wurde erstmals von James Burry et al. (1984) analysiert und bot so die Basis für die Zusammenstellung einer Liste von Faktoren, welche die Nutzung von Evaluationsergebnissen beeinflussen
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
75
könnten (vgl. Alkin et al. 1985). In die Literaturanalyse sind sowohl empirische Studien als auch theoretische Arbeiten eingeflossen. Für das Verständnis der von Alkin genannten Faktoren muss unterstrichen werden, dass es sich hier um ein Handbuch handelt, das explizit für Entscheidungsträger(innen) in Evaluationen geschrieben wurde. Eindeutige Aussagen bezüglich der Wirkung bestimmter Charakteristika auf die Nutzung werden kaum getroffen. Es handelt sich eher um Hinweise, welche Charakteristika einen Einfluss haben könnten und was Entscheidungsträger(innen) im Zuge von Evaluationen bedenken sollten. Alkin et al. (1985) haben erstmals die Rolle der Evaluator(inn)en und die Rolle der Nutzer(innen) einer Evaluation als relevant herausgehoben und haben in diesem Zusammenhang, implizit auch soziale Kompetenzen dieser beiden Gruppen als bedeutsam eingestuft. Unter dem Oberbegriff “human factors“ fassten sie sowohl für Evaluator(inn)en als auch für Nutzer(innen) eine Reihe von Charakteristika mit Einfluss auf Nutzung zusammen, die die Analyse von Leviton und Hughes (1981) ergänzen. Obwohl die Termini teilweise identisch sind, sind bei Alkin et al. (1985) Nuancen enthalten, die von Leviton und Hughes (1981) nicht berücksichtigt wurden. Die Charakteristika unterliegen einer Hierarchie, wobei die Reihenfolge bestimmt wird durch die Wichtigkeit der jeweiligen Charakteristik für die Evaluationsnutzung (Alkin et al. 1985: 29-43): Charakteristika Evaluator(inn)en 1. Engagement für Evaluationsnutzung (+) 2. Bereitschaft, Nutzer(innen) zu involvieren 3. Wahl der Evaluator(inn)enrolle (Berufsverständnis) 4. Verbindung/ Verhältnis/ Rapport mit Nutzer(inne)n 5. Politische Sensibilität 6. Hohe Glaubwürdigkeit 7. Hintergrund und Identität (Alter, Titel, Art der Position)
Charakteristika Nutzer(innen) 1. Identität (Unterstützung des/der Evaluators/in bei der Auswahl/ Identifizierung der potenziellen Nutzer(innen), Position, viel Berufserfahrung) 2. Interesse an der Evaluation (Ansicht über das Programm/Projekt, disponible Erwartungen, Erfahrenheit mit Evaluation) 3. Engagement für Evaluationsnutzung / Partizipation (+) 4. Beruflicher Stil (Fähigkeiten, Initiative, hohe Flexibilität und Handlungsorientierung) 5. Bevorzugung bestimmter Formen der Informationsverarbeitung
Zunächst einmal wird deutlich, dass für Evaluator(inn)en und Nutzer(innen) verschiedene Charakteristika benannt werden. Einzig das Engagement für die Nut-
76
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
zung und Teilaspekte der Identität treten bei beiden Gruppen, allerdings an unterschiedlicher Rangposition auf. Der Begriff der Identität, der ebenfalls bei beiden Gruppen zu finden ist, wird folgendermaßen beschrieben: bei Evaluator(inn)en fokussieren die Autor(inn)en auf Alter, Titel, Position etc.40. Die Autor(inn)en stellen fest, dass sich der Einfluss der Identität und des Hintergrunds der Evalutor(inn)en vor allem durch die Reaktion der Nutzer(innen) auf diese Charakteristika manifestiert und weniger durch die Charakteristika selbst (ebd.:35). Da es sich um ein Handbuch für Entscheidungsträger(innen) in Evaluationen handelt empfehlen die Autor(inn)en diesen, zu bedenken, dass diejenigen Nutzer(innen) mit der meisten Berufserfahrung und der höchsten Entscheidungsauthorität kritischer mit Evaluationen umgehen, als diejenigenden, mit weniger Entscheidungsauthorität und Erfahrung. Es gehöre zu den Aufgaben der Nutzer(innen), den Evaluator(inn)en die verschiedenen identitätsbezogenen Charakteristika der potentiellen Nutzer(innen) zu verdeutlichen (ebd.:37). Eindeutige Aussagen bezüglich der Wirkung bestimmter Charakteristika auf die Nutzung werden kaum getroffen. d. Cousins und Leithwood (1986, 1993) benannten in ihrer Metastudie (vgl. Kapitel 2.2.3) nicht explizit eine Kategorie für soziale Kompetenzen, jedoch beinhaltet die Studie Charakteristika, die speziell Evaluator(inn)en und Nutzer(inne)n zugewiesen werden können und die Überschneidungen mit dem Konstrukt soziale Kompetenzen zeigen. Die folgenden Charakteristika wurden aus der Studie (Cousins/Leithwood 1986) und ihrer Ergänzung (Cousins/Leithwood 1993) extrahiert, es handelt sich bei der Auflistung nicht wie im vorangegangen Fall um eine Rangfolge. Neben method(olog)ischen Charakteristika und solchen, auf die in dieser Arbeit unter Umfeld- und Prozessmerkmale (siehe 2.3.3) Bezug genommen wird, fassen die Autoren den Forschungsstand (1971–1985) zu den Kategorien Glaubwürdigkeit, Qualität der Kommunikation und persönliche Charakteristika zusammen. In einer ergänzenden zweiten Studie wird das Modell um die Kategorie „Interaktive Prozesse“ erweitert. Die Autoren stellen fest, dass die Glaubwürdigkeit der Evaluator(inn)en zum einen mit der Reputation (Alkin et al. 1979; Dawson/D’Amico 1985) und zum anderen mit dem Geschlecht der Evaluator(inn)en, deren Titel bzw. auch deren Einstellung zu ihrer Arbeit (Braskamp et al. 1978; Dickmann 1981; Newman et al. 1979) assoziiert wird. Außer der Variable „Geschlecht der Evalua40
Wobei Alkin selbst herausstellt, dass wahrscheinlich weder das Geschlecht noch der Titel einer Person Effekte auf die Nutzung von Evaluationen hat. Die Untersuchung von Weiss und Bucuvalas (1980) hat gezeigt, dass es sich hier tatsächlich um schlechte Prädiktoren für die Nutzung von Forschungsergebnissen handelt.
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
77
tor(inn)en“ (hier gab es widersprüchliche Ergebnisse) standen alle genannten Faktoren in einem positiven Zusammenhang mit Nutzung (Cousins/Leithwood 1986: 353). Ein Drittel der insgesamt 65 untersuchten Studien hat die Beziehung zwischen Evaluationsnutzung und Kommunikationsstil, Verbreitung der Resultate und anderen Kommunikationsaktivitäten untersucht. Die Ergebnisse waren inkongruent: Der Kommunikationsstil hat demnach wenig bis gar keinen Effekt auf die Nutzung von Evaluationsergebnissen oder das Potenzial zur Nutzung (als Referenzstudien werden genannt: Alkin et al. 1974; Bigelow et al. 1980; Brown et al. 1980; Florio et al. 1979; Thompson et al. 1981). Der fortlaufende Kontakt hingegen und die geographische Nähe zwischen Evaluator/in und Entscheidungsträger(inne)n scheinen einen starken Einfluss auf die Evaluationsnutzung zu haben (es wird auf folgende Studien Bezug genommen: Florio et al. 1979; Johnson 1980; Osterlind 1979; Rossmann et al. 1979). Die Verbreitung der Evaluationsergebnisse durch z.B. Veröffentlichung der Berichte steht nicht zwingend in einem positiven Zusammenhang mit Nutzung, hierzu fanden Cousins und Leithwood (1986) unterschiedliche Ergebnisse. Über ein Drittel der Studien des Samples beschäftigten sich mit dem Zusammenhang zwischen Evaluationsnutzung und persönlichen Charakteristika der Entscheidungsträger(innen). Die Ergebnisse im Bereich berufliche Erfahrung (Hierarchie) waren uneindeutig bzw. widersprüchlich (Cousins/Leithwood 1986: 356f). Das Vorhandensein von Führungsqualitäten scheint dagegen positiv mit Evaluationsnutzung verbunden zu sein (ebd.: 357). Ungefähr ein Viertel der Studien widmete sich der Untersuchung des Commitment der Entscheidungsträger(innen) in Bezug auf Evaluationsnutzung mit dem Ergebnis, dass eine positive Einstellung der Nutzer(innen) zur Evaluation eindeutig positive Auswirkungen auf die Nutzung der Ergebnisse hat. Weiterhin scheinen ein hohes Engagement der Nutzer(innen) und eine Beteiligung an der Evaluation positive Effekte auf die Evaluationsnutzung zu haben. Eine einzige Studie (Dickey 1980) zeigt diesbezüglich inkonsistente Ergebnisse. Da alle anderen hier untersuchten Studien den positiven Effekt des Engagements der Nutzer(innen) für die tatsächliche Nutzung hervorheben und es keine weitere Studie gibt, die Dickeys Ergebnisse unterstützt wird im Folgenden von einem positiven Zusammenhang ausgegangen. Der Einfluss der interaktiven Prozesse auf die Nutzung kann als relativ stark und eventuell auch als substanziell bezeichnet werden (Cousins/Leithwood 1993: 328)41. Hier benennen die Autoren folgende Punkte als besonders günstig für die Nutzung: das Mitwirken an vorbereitenden Aktivitäten, soziale Weiterverarbei41
Die Autoren treffen solch eine vage Aussage, da der Einfluss nicht durch quantitative Untersuchungen erforscht wurde, sondern Teil einer qualitativen Studie war. Weiterführende Studien mit entsprechenden Variablensets könnten hier Klärung schaffen.
78
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
tung im Sinne von kollegialer Interaktion und einem Dialog, um herauszufinden, wie und ob die erhaltenen Informationen relevant für den Arbeitskontext sind, fortlaufender Kontakt mit Expert(inn)en während des Implementierungsprozesses und Engagement im Sinne von sich (potenzielle Nutzer(innen)) aktiv einbringen in die Anwendung und Nutzung von erhaltenen Informationen (ebd.: 322ff). Die Interaktionsvariablen aus der Studie unterscheiden sich bei Nutzer(inne)n und Evaluator(inn)en, d.h. obwohl von Interaktion ausgegangen wird, fallen den Nutzer(inne)n und Evaluator(inn)en unterschiedliche Aufgabenbereiche zu. Die soziale Weiterverarbeitung der Informationen scheint hauptsächlich im „Einflussbereich“ der Nutzer(innen) zu liegen, nur wenn diese über ausreichende formelle oder informelle Disseminationsnetzwerke verfügen, kann es zu einem Diskurs und zur Dissemination während und nach einer Evaluation kommen. Charakteristika Evaluator(inn)en Glaubwürdigkeit
positive Arbeitseinstellung (+), gute Reputation (+), Geschlecht (+/-)
Qualität der Kommunikation
Kommunikationsstil (k.E.), fortlaufender Kontakt (+), Art der Verbreitung der Evaluationsergebnisse (+/-)
Charakteristika Nutzer(innen)
Persönliche Charakteristika
viel Berufserfahrung (+/-), Vorhandensein von Führungsqualitäten (+)
Commitment
Engagement für Evaluationsnutzung/ Partizipation (+), positive Grundeinstellung zur Evaluation (+), negative Grundeinstellung zur Evaluation (-)
Interaktive Prozesse
Bereitschaft, Nutzer(innen) zu involvieren (+), fortlaufender Kontakt während des Implementierungsprozesses (+)
Mitwirken an vorbereitenden Evaluationsaktivitäten (+), soziale Weiterverarbeitung/ kollegiale Interaktion (+), fortlaufender Kontakt während des Implementierungsprozesses (+)
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
79
Die aus dem Modell gewonnenen Informationen sind als Unterpunkte verschiedenster Oberkategorien des Metamodells von Cousins und Leithwood (siehe Abb. 2) zu finden. An dieser Stelle wird deutlich, wie sinnvoll und überaus wichtig ein Aufbrechen der einzelnen Konstrukte für die Diskussion der Rolle von sozialen Kompetenzen für die Nutzung von Evaluationsergebnissen ist. e. In dem Modell nach Patton (siehe Abb. 3) sind zahlreiche Teilaspekte des Konstrukts soziale Kompetenzen impliziert. Zunächst nennt Patton, dass der „personal factor“ die Führungskompetenzen, die Interessen, den Enthusiasmus, die Entschlossenheit, das Commitment und die Durchsetzungsfähigkeit von speziellen Individuen beinhaltet (Patton 1997: 44) und einen herausragenden Stellenwert unter den Faktoren, die Evaluationsnutzung positiv beeinflussen, einnimmt (ebd.: 48). Die ersten zwei Schritte in Pattons Konzept der Nutzungsfokussierten Evaluation sind die Identifikation und Ansprache von möglichen Nutzern und Stakeholdern und die Identifikation der Bedürfnisse dieser. Während des gesamten Evaluationsprozesses sei es eine Hauptaufgabe von Evaluator(inn)en, nach Möglichkeiten und Strategien zu suchen, Nutzer(innen) „hervorzubringen“ (ebd.: 350), d.h. Menschen für die Nutzung von Evaluationsergebnissen zu motivieren und zu begeistern. Patton betont, dass Evaluator(inn)en Fähigkeiten im Aufbau von Beziehungen, Konfliktmanagement, Einfühlungsvermögen (in Bezug auf politische Seilschaften), die Fähigkeit zur Arbeit im Team benötigen (ebd.: 54) und einen respektvollen Umgang mit allen Stakeholdern pflegen sollten (ebd.: 134). Des Weiteren thematisiert er, dass für eine nutzungsorientierte Evaluation wichtig ist, die negativen Assoziationen, die Ängste und die Erwartungen in Bezug auf ein Evaluationsvorhaben und dessen Nutzung nicht nur zu erkennen, sondern auch aufzugreifen und darauf einzugehen, d.h., hier sind Fähigkeiten des Konfliktmanagements aber auch Kommunikationskompetenzen angesprochen. Im Sinne von Sensitivität ist hier auch impliziert, wie sicher der/die Evaluator/in die Befindlichkeiten anderer erspürt. Patton nennt das: „being active-reactiveadaptive“ (ebd.: 134). Das Modell sieht zudem vor, dass die potentiellen Nutzer(innen) einer Evaluation die Nützlichkeit verschiedener Evaluationsdesigns bewerten sollten und somit aktiv in die Methodendiskussion einbezogen werden sollten (ebd.: 243). Gleiches gilt für die Interpretation der gesammelten Daten (ebd.: 379), wobei die Aufgaben der Evaluator(inn)en in diesem Abschnitt der Evaluation hauptsächlich darin liegen, sensibel und diplomatisch auf die Unterschiede zwischen Analyse, Interpretation, Bewertung und Empfehlung einzugehen und die verschiedenen Sichtweisen zusammenzutragen (ebd.: 317ff). Letztendlich impliziert auch die Partizipation der Nutzer(innen) bei der Interpretation ein gewisses Maß an Kontaktfähigkeit, aber auch an Flexibilität, Kommunikati-
80
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
onsfähigkeit und hier insbesondere Fähigkeit zur Moderation und gegebenenfalls an Durchsetzungsstärke der Evaluator(inn)en. Patton selbst beschreibt, dass am Ende einer Studie das Potenzial zur Nutzung zu großen Teilen festgelegt ist (ebd.: 20). Pattons Ausführungen fokussieren stark auf die Rolle des/der Evaluators/in. Charakteristika Evaluator(inn)en
Charakteristika Nutzer(innen)
Engagement für Evaluationsnutzung (+), hohes Commitment (+), Durchsetzungsfähigkeit (+), politische Sensibilität (+), Fähigkeit andere zu motivieren (+), Fähigkeit zur Arbeit im Team (+), Fähigkeiten im Aufbau von Beziehungen/ Kontaktfähigkeit (+), Flexibilität (+), Vorhandensein von Führungskompetenzen (+), Konfliktmanagementfähigkeiten/ Soziabilität (+), Moderationsfähigkeiten (+), sensible und diplomatische Ausdrucks- und Vorgehensweise (+), Fähigkeiten zur Identifikation von Bedürfnissen der Nutzer(innen)/ Sensitivität (+), Bereitschaft Nutzer(innen) zu involvieren
Engagement für Evaluationsnutzung/ Partizipation (+)
f. In Johnsons (1998) Metamodell zur Evaluationsnutzung wird deutlich, dass Evaluationsnutzung einen kontinuierlichen und diffusen Prozess darstellt, der von verschiedenen Dimensionen abhängig ist (Johnson 1998: 104). Die von Johnson aus verschiedenen impliziten und expliziten Modellen entwickelten Dimensionen mit Einfluss auf die Nutzung von Evaluationen werden im Folgenden aufgebrochen und - wie in den vorherigen Beispielen - kategorisiert in Charakteristika der Nutzer(innen) und Evaluator(inn)en. In dem ursprünglichen Modell (siehe Abb. 5) existieren die Kategorien „individuelle Charakteristika“ und „Charakteristika der Evaluator(inn)en“, diese werden im Folgenden durch Teilaspekte aus anderen Dimensionen des Modells ergänzt. Unter individuellen Charakteristika fasst Johnson zwei kontrastierende Typen zusammen: (1) Personen die er „change seeker“ nennt und (2) Personen, die Veränderungen mit Instabilität verbinden (ebd.: 105). Also Personen mit (1) hoher Flexibilität und einer hohen Handlungsorientierung bzw. (2) niedriger Flexibilität und niedriger Handlungsorientierung. Diese Kategorie des Modells bezieht sich auf alle Personen in einer Organisation, also sowohl auf Programmteilnehmer(innen) als auch auf andere Stakeholder. Für die Charakteristika der
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
81
Evaluator(inn)en beschreibt Johnson ebenfalls zwei kontrastierende Typen: (1) Evaluator(inn)en mit Fokus auf Nutzung und (2) Evaluator(inn)en mit wissenschaftlichem Fokus, d.h. Experten, die nicht aktiv die Nutzung der Evaluationsergebnisse unterstützen (ebd.: 105). Johnson beschreibt weiterhin, dass die Art der Partizipation (autokratisch vs. demokratisch, offen vs. geschlossen) und das Ausmaß (viel oder wenig) eine wichtige Unterstützung auf dem Weg zur Nutzung von Evaluationen sind (ebd.: 101f). Als weitere Faktoren identifiziert er die Qualität der Kommunikation (klar vs. unklar), die Art und Richtung der Kommunikation, aber auch das Feedback als wichtige Faktoren mit Einfluss auf die Nutzungen von Evaluationen. Die im Folgenden dargestellten Dimensionen aus Johnsons Metamodell unterliegen keiner Rangfolge. Charakteristika Evaluator(inn)en
Charakteristika Nutzer(innen)
Fokus auf Nutzung, Unterstützung von Nutzung (Engagement für Evaluationsnutzung) vs. wissenschaftlicher Fokus, fehlende Unterstützung bei der Nutzung
„change seeker“ vs. Personen, die Veränderungen mit Instabilität verbinden (hohe Flexibilität und Handlungsorientierung vs. niedrige Flexibilität und Handlungsorientierung)
Erwartungen in Bezug auf Programmoutput und Evaluationsergebnisse
positive vs. negative Wahrnehmung/ Grundeinstellung zu Evaluation disponible Erwartungen in Bezug auf Evaluationsergebnisse und die generelle Wirkung von Evaluationen Interessen und Ideologien: Befürwortung der Evaluationsinformationen
Kommunikation (klar vs. unklar, interpersonell, in Teams, formell/ informell), Reflexion/ Feedback (Flexibilität im Handeln und Denken, Anpassungsfähigkeit), Diskurs und Dissemination während eines Programms/ einer Evaluation
Engagement für Evaluationsnutzung/ Partizipation
hohe Glaubwürdigkeit
An dieser Stelle wird die terminologische Uneinigkeit zwischen den einzelnen Konzepten deutlich. Während Alkin unter “Interesse“ der Nutzer(innen) einer Evaluation die Erwartungen und bisherigen Erfahrungen mit Evaluationen versteht, fasst Johnson eben diese Punkte unter der Begrifflichkeit “Erwartungen“ zusammen und unter “Interesse“ der Nutzer(innen) versteht er die Abwägung, inwieweit die Nutzung von Evaluationen vorhandenen Eigeninteressen zugute kommt. g. Das metatheoretische Modell von Stamm (2003a, siehe Abb. 5) umfasst sechs unabhängige Variablen, wovon zwei direkten Bezug auf Entscheidungskader/ Feldakteure und die Evaluator(inn)en nehmen. Allerdings sind auch in den anderen Variablen Dimensionen enthalten, die die sozialen Fähigkeiten und Kompe-
82
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
tenzen dieser Personengruppen implizieren. Die Autorin eruiert vier verschiedene Evaluationstypen: Reaktion, Innovation, Blockade und Alibi (Stamm 2003a: 230ff). Die Typiken stellen Bezüge zur Diskussion über die Kompetenzen von Evaluator(inn)en her und beleuchten diese als Einflussfaktor für verschiedene Nutzungen. In diesem Kontext relevante Vergleichsdimensionen sind: Entscheidungskader/Akteure resp. Nutzer(innen) (persönliches Engagement), Evaluator(in) (Commitment, zeitliche Ressourcen, Berufsorientierung, Reputation), Dissemination und Diffusion (Umfang von Ausstreuung und Verbreitung, disseminationsfördernde Bemühungen durch Nutzer(innen), disseminationsverhindernde Maßnahmen) (ebd.: 233). Stamm betont, dass die Rezeption und Nutzung von Evaluationsergebnissen in erster Linie von Entscheidungsträger(inne)n und Nutzer(inne)n abhängt und nicht von der politischen Bedeutung der Evaluation (ebd.: 313). Sie beschreibt auch, dass die Person des Evaluators/ der Evaluatorin keinen wesentlichen Einfluss auf Nutzungsaktivitäten ausüben kann und bezieht somit eine deutliche Gegenposition zu der von Patton (1997) geforderten aktivnutzungs-fördernden Rolle des Evaluators/ der Evaluatorin. Die Verantwortung für die Steuerung des Aneignungsprozesses sieht Stamm eindeutig bei den Abnehmer(inne)n und nicht den Evaluator(inn)en (Stamm 2003a: 342). Die folgende Auflistung zeigt lediglich ergänzende und zu bedenkende Punkte zu den bereits aus den anderen Studien extrahierten. Nutzung ist von vielen weiteren Faktoren abhängig, so z.B. von der Einschätzung der Nützlichkeit und Anwendbarkeit von Evaluationsergebnissen. Stamm betont, dass aber selbst hier eine Einschätzung positiv ausfallen kann und Evaluationsinformationen befürwortet werden können, ohne dass Handlungsfolgen auftreten (ebd.: 316ff). Charakteristika Evaluator(inn)en
Charakteristika Nutzer(innen)
Hohe Verständlichkeit, Nachvollziehbarkeit (Transparenz), Vollständigkeit und Rechtzeitigkeit der Berichterstattung (+), Sprachliche und technische Komplexität bei Nichteinhaltung der Termine (-) dienstleistungsorientiertes (k.E.) vs. akademisches Berufsverständnis (k.E.)
Hohe Flexibilität und Veränderungsbereitschaft (k.E.), Bereits Erfahrungen mit Evaluation (+/-), Unerfahrenheit bezüglich Evaluation (+), hohes Engagement für die Ausbreitung der Ergebnisse (+), Befürwortung der Evaluationsinformationen (k.E.)
An Stamms empirischer Untersuchung zur Verifizierung ihres Meta-Modells ergänzen vor allem zwei – im Rahmen dieser Untersuchung relevante – Punkte die vorliegenden Erkenntnisse der Evaluationsnutzungsforschung.
Ob Entscheidungskader veränderungsbereit sind bzw. flexibel auf Umstellungen reagieren und bereits Erfahrungen mit Evaluationen gemacht haben,
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
83
spielt für die Dissemination keine Rolle, dagegen scheint die Unerfahrenheit mit Evaluationen diese zu erhöhen. Bereits 1980 fanden Weiss und Bucuvalas heraus, dass lange Beschäftigungsdauern auf einer Position und Erfahrungen als Praktiker/in (auf einem niedrigen Signifikanzniveau) mit reduzierter Wahrscheinlichkeit der Nutzung verbunden sind. Somit stimmen die Ergebnisse von Stamm (2003) und Weiss und Bucuvalas (1980) überein. Weder ein akademisches noch ein dienstleistungsorientiertes Berufsverständnis sind ausschlaggebend für die Dissemination und Diffusion der Evaluationsbefunde. Demnach beeinflusst nicht die Rollenidentität der Evaluator(inn)en die Dissemination, sondern die Definition und Integration des Disseminations- und Nutzungsprozesses in das Untersuchungsdesign.
In der Beschreibung der Charakteristika der Entscheidungskader/Akteure und der Evaluator(inn)en wurde deutlich, dass diese in Bezug zu den von Stamm generierten Typen von Evaluationsnutzung schwer bis gar nicht generalisierbar sind bzw. dass Verhalten auf der einen Seite ein Verhalten auf der anderen hervorruft und bedingt. Zusammenfassung: Charakteristika von Evaluator(inn)en und potentiellen Nutzer(inne)n mit Einfluss auf Evaluationsnutzungen Im vorangegangenen Kapitel konnte gezeigt werden, dass bisherige Untersuchungen der Evaluationsnutzungsforschung soziale Kompetenzen als ein Charakteristikum für Nutzungen von Evaluationen begreifen. Allerdings findet sich innerhalb der vorhandenen Studien bislang keine systematische Differenzierung hierzu. Dies ist notwendig, um soziale Kompetenzen hinreichend von den sogenannten „soften Faktoren“ zu unterscheiden. Die folgende Bündelung und Zusammenfassung der in den im vorherigen Kapitel untersuchten Studien ist lediglich als Vorschlag zu verstehen. Die einzelnen Oberkategorien A-D wurden zur besseren Übersicht gebildet, diese sind:
A – Berufliche Identität/ Grundeinstellungen/ Berufsverständnis B – Soziale Kompetenzen C – Kommunikative Fähigkeiten/ Kommunikationsaktivitäten42 D – Weitere Charakteristika
42
Obwohl Kanning (2002), auf den unter 2.3.1 (Abb. 9) Bezug genommen wird, Kommunikationsfähigkeit als Subdimension sozialer Kompetenzen identifiziert hat, werden soziale und kommunikative Fähigkeiten an dieser Stelle aus Gründen der Übersichtlichkeit getrennt betrachtet.
84
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Die Zuschreibung zu den Quellen wurden entsprechend der Beschreibung dieser (vgl. Kapitel 2.3.1.2) gewählt: (a) Weiss/Bucuvalas 1980; (b) Leviton/Hughes 1981; (c) Alkin et al. (1985); (d) Cousins/Leithwood 1986, 1993; (e) Patton 1997; (f) Johnson 1998 und (g) Stamm 2003a. Desweiteren finden sich unter dem Stichwort Einfluss in folgenden Tabellen fünf Optionen: Keine Angabe k.E. + +/-
es wurde angenommen, dass ein Einfluss besteht, es wurde aber keine Angabe dazu gemacht, wie sich dieser tatsächlich gestaltet steht für „kein Einfluss“ und bedeutet, dass nachweislich oder vermutlich kein Einfluss auf Nutzung besteht erhöht nachweislich oder vermutlich die Nutzung schmälert nachweislich oder vermutlich die Nutzung widersprüchliche Ergebnisse, interagiert mit anderen Variablen und erhöht bzw. schmälert die Nutzung oder hat teilweise auch keinen Einfluss
A. Berufliche Identität/ Grundeinstellungen/ Berufsverständnis Für Evaluator(inn)en wurden eine Reihe von Charakteristika, die die berufliche Identität, Grundeinstellungen zur Evaluation und ihr Berufsverständnis in den Fokus nehmen, untersucht. Von Alkin et al. wurde vermutet, dass das Berufsverständnis bzw. die Rollenwahl wie er es nennt (Alkin et al., 1985: 117), einen Einfluss auf die Nutzungen von Evaluationsergebnissen ausübt. Stamm (2003a) jedoch fand heraus, dass weder ein akademisches noch ein dienstleistungsorientiertes Berufsverständnis ausschlaggebend für die Nutzungen von Evaluationen sind. Alter, Titel, die Art der Position und das Geschlecht sind ebenso keine guten Prädiktoren für Nutzungen (Alkin et al. 1985; Cousins/Leithwood 1986; 1993). Die Bereitschaft, die Nutzer(innen) in die Evaluation zu involvieren (Alkin 1985; Cousins/Leithwood 1993; Patton 1997), ein hohes Commitment der Evaluator(inn)en (Patton 1997), eine positive Arbeitseinstellung (Referenzstudien zitiert in der Metastudie von Cousins/Leithwood 1986), eine hohe Glaubwürdigkeit (Alkin et al. 1985; Cousins/Leithwood 1986; Johnson 1998; Leviton/Hughes 1981) und das Engagement der Evaluator(inn)en für die Evaluationsnutzung (Alkin et al. 1985; Patton 1997) wirken sich dagegen positiv auf die Nutzungen von Evaluationen aus. Bei potentiellen Nutzer(inne)n hat weder das Alter, Geschlecht, die Art der Position noch die politische Orientierung einen Einfluss auf die Nutzungen von Evaluationen (Weiss/Bucuvalas 1980). Unerfahrenheit mit Evaluation (Stamm 2003a) und eine kurze Beschäftigungsdauer auf einer Stelle (Weiss/Bucuvalas 1980) sind die Identitätsmerkmale, die Nutzungen positiv beeinflussen. Des Weiteren wirken eine positive Grundeinstellung zu Evaluation (Cousins/Leithwood 1986, 1993; Johnson 1998), ein hohes Engagement für die Evaluation einhergehend mit der Partizipation an Evaluationsaktivitäten (Alkin et al. 1985; Cousins/Leithwood 1993; Johnson 1998; Patton 1997) und dem aktiven Engagement
85
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
für die Ausbreitung der Ergebnisse (Stamm 2003a) positiv auf Nutzungen von Evaluationen. Einzelne Studien heben zudem die aktive Beschäftigung mit Forschung in der Vergangenheit, hohe berufliche Autonomie (Weiss/Bucuvalas 1980), eine hohe Meinung von Forschung generell und ein hohes Commitment (Leviton/Hughes 1981) als günstig für Evaluationsnutzungen hervor. Tabelle 1: Berufliche Identität/ Grundeinstellungen/ Berufsverständnis und deren Einfluss auf die Nutzungen von Evaluationen
A 1 2 3 4 5 6
Charakteristika der Evaluator(inn)en Berufliche Identität/ Grundeinstellungen/ Berufsverständnis:
Ein- Quelfluss le
Charakteristika der Nutzer(innen) Berufliche Identität/ Grundeinstellungen/ Berufsverständnis:
Ein- Quelfluss le
Alter Titel Geschlecht
k.E. k.E. +/-
Alter
k.E.
a
Geschlecht Politische Orientierung
k.E. k.E.
a a
Hohe Glaubwürdigkeit, gute + Reputation Art der Position
c c d b, c, d, f c
Art der Position
k.E.
a
7
viel Berufserfahrung
+/-
c, d
8
hohe berufliche Autonomie
+
a
9a
0-3 Jahre beshäftigt
+
a
9b
4-10 Jahre beschäftigt
-
a
10 Jahre beschäftigt
-
a
+
c, d, e, f, g
+
d, f
-
d, f
+
g
+/-
c, g
9c 10
Engagement für Evaluationsnutzung
+
11
Positive Arbeitseinstellung
+
d
+
c, d, e
+/-
c, g
+/-
c, g
12 13 14 15a 15b 16a 16b
Bereitschaft, Nutzer(innen) zu involvieren Dienstleistungsorientiertes Berufsverständnis Akademisches Berufsverständnis
c, e
Engagement für Evaluationsnutzung/ Partizipation
Positive Grundeinstellung zu Evaluation Negative Grundeinstellung zu Evaluation Unerfahrenheit bezüglich Evaluation Erfahrenheit mit Evaluation
86
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells Hohe Meinung von Forschung Aktive Beschäftigung mit Forschung in der Vergangenheit
17 18 19
Hohes Commitment
+
e
Hohes Commitment
+
b
+
a
+
b
B. Soziale Kompetenzen Für Evaluator(inn)en gibt es eine Reihe von sozialen Kompetenzen, die in Zusammenhang mit Nutzungen gebracht werden. Durchsetzungsstärke, Fähigkeiten zur Arbeit im Team, Fähigkeiten, andere zu motivieren, Identifikation von Bedürfnissen der Nutzer(innen), Fähigkeiten im Aufbau von Beziehungen bzw. Kontaktfähigkeiten, Fähigkeiten zur politischen Sensibilität und Fähigkeiten zum Konfliktmanagement sind Kompetenzen, die vor allem Patton (1997) positiv mit Evaluationsnutzungen verknüpft. Johnson (1998) identifiziert die Anpassungsfähigkeit und die Flexibilität im Handeln und Denken als Faktoren mit Einfluss auf Nutzungen. Tabelle 2: Soziale Kompetenzen und deren Einfluss auf die Nutzungen von Evaluationen Charakteristika der Evaluator(inn)en B 1 2 3 4 5 6 7 8 9 10
Ein- Quelfluss le
Soziale Kompetenzen: Durchsetzungsfähigkeit Politische Sensibilität Vorhandensein von Führungsqualitäten Fähigkeiten zur Identifikation von Bedürfnissen der Nutzer(innen)/ Sensitivität Fähigkeit zur Arbeit im Team Fähigkeit andere zu motivieren Fähigkeit im Aufbau von Beziehungen/ Kontaktfähigkeit
Ein- Quelfluss le
Soziale Kompetenzen: +
e c, e
+
e
+
b, e
+
e
+
e
+
e
Anpassungsfähigkeit Konfliktmanagementfähigkeiten/ Soziabilität Flexibilität im Handeln und Denken
Charakteristika der Nutzer(innen)
f +
e f
Hohe Flexibilität
+/-
c, f, g
87
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
11
Hohe Handlungsorientierung
c, f
Soziale Kompetenzen von potentiellen Nutzer(inne)n mit Einfluss auf die Nutzungen von Evaluationen sind bislang wenig erforscht. Eine hohe Handlungsorientierung im Sinne von „get(ting) things done“ (Alkin et al. 1979: 255) und als Teilbereich administrativer und organisatorischer Fähigkeiten und eine hohe Flexibilität werden vor allem von Alkin et al. (1985) und Johnson (1998) als Faktoren mit Einfluss auf Nutzungen von Evaluationen betrachtet. Stamm (2003) fand heraus, dass die Flexibilität (sie benutzt den Begriff Veränderungsbereitschaft) für Nutzungen keine Rolle spielt. C. Kommunikative Fähigkeiten Verschiedene Aspekte verbaler und nonverbaler Kommunikation wurden in Bezug auf Nutzungen von Evaluationen untersucht. Evaluator(inn)en können Nutzungen positiv beeinflussen durch eine klare (Johnson 1998; Leviton/Hughes 1981), direkte und nicht-hierarchische Kommunikation (Leviton/Hughes 1981). Zudem bringen einige Studien eine sensible und diplomatische Ausdrucksweise (Patton 1997) und eine einfühlsame und respektvolle Anpassung an die Sprache (verbal und nonverbal) bzw. das bewusste Herstellen von Rapport (Alkin et al. 1985) mit positiven Effekten für Nutzungen in Zusammenhang. Bezüglich der Häufigkeit des Kontakts scheint ein fortlaufender bzw. kontinuierlicher Kontakt (Cousins/Leithwood 1983; Leviton/Hughes 1981) in formeller und/oder informeller Art und Weise (Johnson 1998) in positivem Zusammenhang zu Nutzungen zu stehen. Der Kommunikationsstil hat wenig bis gar keinen Effekt auf die Nutzungen von Evaluationsergebnissen (Referenzstudien zitiert in Cousins/Leithwood 1986), wichtig scheint zu sein, ob der Kommunikationsstil der Evaluator(inn)en zu dem der Nutzer(innen) passt (Leviton/Hughes 1981). Das gilt auch für die schriftliche Kommunikation wie etwa den Evaluationsbericht (z.B. Stamm 2003a). Cousins und Leithwood (1986) fanden inkongruente Ergebnisse bezüglich der Verbreitung der Evaluationsberichte, demnach steht eine Veröffentlichung z.B. nicht zwingend in einem positiven Zusammenhang mit Nutzungen. Rossi und Freeman (1993) unterscheiden eine „Haupt-“ und eine „Nebenverbreitung“ von Ergebnissen (primary and secondary dissemination). Erstere umfasst die Publikation eines vollständigen, methodisch detaillierten Berichts, zweitere meint Berichte die auf die jeweiligen Stakeholder und die Beantwortung der spezifischen Fragestellungen zugeschnitten sind. Insbesondere die zweite Form kann ersetzt oder ergänzt werden durch mündliche Berichte, Präsentationen oder Videos (Rossi/Freeman 1993: 452). Ein Zusammenhang zwischen Nutzungen und der Fähigkeit, im Team zu kommunizieren (Johnson
88
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
1998), aber auch zwischen verschiedenen Gruppen und Individuen zu moderieren (Patton 1997), wird vermutet. Tabelle 3: Kommunikative Fähigkeiten/ Kommunikationsaktivitäten und deren Einfluss auf die Nutzungen von Evaluationen
C
Charakteristika der Evaluator(inn)en Kommunikative Fähigkeiten/ Kommunikationsaktivitäten:
Ein- Quelfluss le
1
Klare Sprache
+
b, f
2
Direkte, nicht-hierarchische Kommunikation Sensible und diplomatische Ausdrucks- und Vorgehensweise Hohe Verständlichkeit der schriftlichen Berichterstattung Hohe Nachvollziehbarkeit der Berichterstattung (Transparenz) Kommunikationsstil
+
b
+
e
+
g
+
g
k.E.
d
-
b
3 4 5 6 7
Anderer Kommunikationsstil als Nutzer(innen)
8 9 10
Art der Verbreitung der Evaluationsergebnisse Fortlaufender (schriftlicher und mündlicher) Kontakt
12
Verbindung/ Verhältnis/ Rapport mit Nutzer(inne)n Kommunikation im Team
13
Moderationsfähigkeiten
11
14 15
Charakteristika der Nutzer(innen) Kommunikative Fähigkeiten/ Kommunikationsaktivitäten:
Ein- Quelfluss le
Direkte, nicht-hierarchische Kommunikation
+
b
Anderer Kommunikationsstil als Evaluator(inn)en Bevorzugung bestimmter Formen der Informationsverarbeitung
-
b c
+/-
d
+
b, d, f Fortlaufender Kontakt + (insbesondere während des Implementierungsprozesses) c
+
e
d
f Vorhandensein von formellen und/oder informellen Disseminationsnetzwerken, Soziale Weiterverarbeitung/ kollegiale Interaktion
+
b
+
d
89
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
Geht man vom derzeitigen Stand der Evaluationsnutzungsforschung aus, scheint es hauptsächlich im Aufgabenbereich der Evaluator(inn)en zu liegen, eine gelingende Kommunikation zu gestalten. Für potenzielle Nutzer(innen) sollte im Sinne von Nutzungen wichtig sein, dass der Kommunikationsstil der Evaluator(inn)en zu dem eigenen passt (Leviton/Hughes 1981), dass sie insbesondere während des Implementierungsprozesses im kontinuierlichen Kontakt mit den Evaluator(inn)en stehen (Cousins/Leithwood 1983) und dass die Kommunikation direkt und nicht-hierarchisch erfolgt (Leviton/Hughes 1981). Alkin et al. (1985: 125) stellen zudem einen Zusammenhang zwischen der Bevorzugung bestimmter Formen der Informationsverarbeitung von potentiellen Nutzer(inne)n und der tatsächlichen Nutzung her. Das Vorhandensein von formellen und/oder informellen Disseminationsnetzwerken (Leviton/Hughes 1981: 536f) und eine soziale Weiterverarbeitung der Evaluationsinformationen in Form eines kollegialen Dialogs (Cousins/Leithwood 1993: 323f) werden in positiven Zusammenhang mit Evaluationsnutzungen gebracht. D. Weitere Charakteristika Die Einhaltung von Terminen steht in keinem konsistenten Bezug zu Evaluationsnutzung (vgl. Leviton und Hughes 1981: 535). Die Termineinhaltung könnte für kurzzeitige instrumentelle Nutzungen eine Rolle spielen, aber weniger für konzeptionelle Nutzungen von Ergebnissen (vgl. ebd.). Tabelle 4: Weitere Charakteristika und deren Einfluss auf die Nutzungen von Evaluationen Charakteristika der Evaluator(inn)en Weitere:
Ein- Quelfluss le
1
Termineinhaltung
+/-
b, g
2
Praktische Informationen zur Implementierung bereitstellen
+
b
D
3 4
5
Disponible Erwartungen (Programmoutput, Evaluationsergebnisse)
f
Charakteristika der Nutzer(innen) Weitere:
Ein- Quelfluss le
Befürwortung der Evaluationsinformationen Widerspruch zwischen Evaluationsergebnissen und anderen Informationen/ Institutionen Disponible Erwartungen (Programmoutput, Evaluationsergebnisse)
+/-
b, f, g
-
b
c, f
90
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Die Bereitstellung von praktischen Informationen zur Implementierung wird von potentiellen Nutzer(inne)n als nützlich bewertet (vgl. ebd.). Die Erwartungen in Bezug auf ein Programmoutput und Evaluationsergebnisse sind eine psychologische Schlüsselvariable mit Einfluss auf die Denk- und Handlungsweise von Evaluator(inn)en und Nutzer(inne)n (Johnson 1998: 105) und somit auf Nutzungen. Während die positiven oder negativen Ergebnisse einer Evaluation nicht konsistent in Bezug zu Nutzungen der Ergebnisse stehen, beeinflussen sie die Positionierung der Nutzer(innen) zur Evaluation, d.h. Unterstützer(innen) eines Programms werden Unterstützer(innen) einer Evaluation, sofern diese die eigene Sichtweise widerspiegelt (Leviton/Hughes 1981: 543). Dass Ergebnisse am ehesten in Umsetzungsmaßnahmen überführt werden, wenn sie mit den aktuellen und vorherrschenden Interessen und Ideologien kompatibel sind, wurde lange Zeit angenommen, traf aber für das Sample, das Stamm untersucht hat, nicht zu (vgl. Stamm 2003a: 314). In Johnsons (1998) theoretischem Modell zur Evaluationsnutzung haben die Interessen und Ideologien einen direkten Einfluss auf kognitive Nutzungen von Evaluationsergebnissen. Er stellt heraus, dass die Frage nach der Befürwortung der Evaluationsinformation im Sinne von bestehenden Werten und Glaubenssätzen nutzungsrelevant ist. Alkin et al. (1985) bringen zudem die Kosten-Nutzen-Einschätzungen als relevanten Faktor mit Einfluss auf Nutzung in die Diskussion. 2.3.1.3 Fokus 3: Sozial- und Selbstkompetenzen als Kompetenzfeld für Evaluator(inn)en Die von der DeGEval (2008b) beschriebenen „Empfehlungen für die Aus- und Weiterbildung in der Evaluation“, die für eine Tätigkeit als Evaluator(in) notwendig sind, orientieren sich an der Erstveröffentlichung der Standards für Evaluation der DeGEval (2002)43 und lassen sich in vier Kompetenzfelder zusammenfassen: (1) Theorie und Geschichte der Evaluation, (2) Methodenkompetenzen, (3) Organisations- und Feldkenntnisse und (4) Sozial- und Selbstkompetenzen. Darüber hinaus sollte die Vermittlung von Evaluationskompetenzen verbunden werden mit einer gewissen (5) Praxis der Evaluation. Die folgenden Ausführungen zeigen, dass die hier im Zentrum stehenden Themen (soziale Kompetenzen und Interaktionsaspekte) als Kompetenzfelder in der Aus- und Weiterbildung in der Evaluation explizit benannt (bzw. impliziert) werden.
43
2008 erschien die vierte unveränderte Auflage
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
91
Unter Sozial- und Selbstkompetenzen werden die Konstrukte: soziale Kompetenz, Kommunikation, Kooperation, Selbstmanagement und Lernen/ Problemlösen subsumiert und folgendermaßen erläutert:
Abbildung 10: Kompetenzfelder der Aus- und Weiterbildung in der Evaluation (DeGEval 2008b: 26) Unter soziale Kompetenz werden Fertigkeiten und Kenntnisse verstanden, die es Evaluator(inn)en ermöglichen, eine wertschätzende und zweckmäßige Arbeitsbeziehung zu den Stakeholdern aufzubauen und zu gestalten. Als Bereiche von zentraler Bedeutung werden benannt: Kontaktaufbau und –gestaltung, Perspektivenübernahme, Empathie, Feedback, Konfliktfähigkeit. Zu kommunikativen Kompetenzen wird für professionelles Handeln von Evaluator(inn)en vorausgesetzt, dass Kommunikation differenziert wahrgenommen wird (Strukturen, Prozesse und Bedingungen), dass Einflüsse auf Kommunikation erkannt werden (z.B. Körperhaltung und Macht, mentale Modelle) und dass unterschiedliche Grundformen der Kommunikation zielorientiert angewendet werden können.
92
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Unter Kooperationskompetenz wird die Gestaltung von sozialen Interaktionen (innerhalb des Evaluationsteams und mit anderen) verstanden und als zentrale Punkte werden die Bereiche Präsentieren und Moderieren, Gesprächs- und Verhandlungsführung, Kooperation und Arbeit in Gruppen verstanden. Die Fähigkeit zur langfristigen, zielorientierten Planung und Koordination von unterschiedlichen Arbeitsschritten zur Erreichung der Ziele und Zwecke der Evaluation wird unter dem Begriff Selbstmanagementkompetenz zusammengefasst. Zentraler Aspekt ist die Steuerung des eigenen Handelns im Sinne der Zweck- und Zielerreichung der Evaluation. Die vielfältigen, im Rahmen einer Evaluation zu treffenden Entscheidungen und Besonderheiten erfordern vor allem Reflexion und Fokussierung, die Kenntnis von Problemlösestrategien sowie verschiedener Lernformen und –stile. Diese Fähigkeiten und Kenntnisse werden dem Bereich der Lern- und Problemlösekompetenz zugeschrieben. Hier wird auch erwähnt, dass Empfehlungen so gestaltet sein sollten, dass diese nützlich sind44. Die Grenzziehung innerhalb der Begriffstrias soziale, kommunikative und kooperative Kompetenzen wird in den Empfehlungen der DeGEval (2008b) wenig offenbar. Obwohl die Empfehlungen für die Aus- und Weiterbildung bereits jetzt einen wichtigen Beitrag zur Professionalisierung der Evaluation leisten und sich die Curricula der beiden deutschen Masterstudiengänge im Wesentlichen an den Inhalten der Empfehlungen orientieren, wird deutlich, dass Präzisionen für den Bereich der Sozial- und Selbstkompetenzen mit seinen Eckpfeilern erforderlich sind. Neben diesem Systematisierungsversuch der DeGEval existiert eine weitere relevante Zusammenstellung von Kompetenzen, über die ProgrammEvaluator(inn)en verfügen sollten (Stevahn/King 2005). Die Autorinnen stellen fest, dass sämtliche Standards festlegen, was eine effektive Evaluation ist, jedoch nicht, was kompetente Evaluator(inn)en ausmacht, die diese effektive Evaluation ausführen. Als Reaktion darauf legen sie einen Katalog vor, in dem sechs Kompetenzfelder benannt werden und deren Entsprechung mit den Joint Committee Standards aufgezeigt wird. Eine Transformationstabelle der Evaluationsstandards zeigt, dass es wenige Unterschiede zwischen den Standards des Joint Committee und der DeGEval gibt (Sanders 2006). Die Entsprechungen der erforderlichen 44
Es fällt zudem auf, dass eine Ähnlichkeit zu Ansätzen aus der Organisationsentwicklung besteht, wo Vertrauen, offene Kommunikation, sich Konflikten stellen und Kooperation zentrale Bedeutung für die Erhaltung bzw. Wiederbelebung einer Organisation einnehmen (vgl. Porter et al. 1975: 497). Hier wird davon ausgegangen, dass Vertrauen und die Möglichkeit zu offener Kommunikation Grundvoraussetzungen dafür sind, dass Konflikte angesprochen werden können und die Lösung von Konflikten wiederum sind wichtig damit Kooperationen und Teamwork entwickelt werden können (ebd.).
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
93
Kompetenzen können demnach auch auf die Standards der DeGEval übertragen werden. Tabelle 5: Kompetenzen für Programmevaluator(inn)en und deren Entsprechung in den Joint Commitee Standards (vgl. Stevahn et al. 2005: 49ff) Erforderliche Kompetenz für Programmevaluator(inn)en 1.0 1.1 1.2 1.3 1.4 1.5 1.6 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 2.20 3.0 3.1 3.2
Professionalität Wendet Evaluationsstandards an Handelt moralisch und strebt Integrität und Ehrlichkeit bei der Durchführung einer Evaluation an Teilt potentiellen Kunden persönliche Evaluationsansätze und Fähigkeiten mit Respektiert Kunden, ProgrammteilnehmerInnen und andere Stakeholder Berücksichtigt das Gemeinwohl bei der Durchführung der Evaluation Leistet einen Beitrag zur Wissensbasis der Evaluation Systematische Untersuchung Versteht den aktuellen Kenntnisstand in der Evaluationsforschung (Begriffe, Konzepte, Theorien, Annahmen) Beherrscht quantitative Methoden Beherrscht qualitative Methoden Beherrscht Methodentriangulation (mixed Modelle) Führt Literaturreviews durch Spezifiziert Programmtheorie Sieht Evaluationsfragen im Kontext Entwickelt Evaluationsdesigns Identifiziert Datenquellen Sammelt Daten Kann Validität der Daten einschätzen Kann Reliabilität der Daten einschätzen Analysiert Daten Interpretiert Daten Fällt Beurteilungen/ Bewertungen Entwickelt Empfehlungen Gibt Hinweise für Entscheidungen während der Evaluation Berichtet Evaluationsvorgehen und –resultate Bemerkt Stärken und Schwächen der Evaluation Führt Meta-Evaluationen durch Kontextanalyse Beschreibt das Programm Entscheidet über Evaluierbarkeit des Programms
Entsprchg.Joint Committee Standards (1994) A12 P1 – P8 P5, A11 P3, P4 A9 A8 U3 A3 – A6 A4 A5 – A7 A5, A7 A6, A7 A7 – A8 U4 U4, A10 A10, U5 P6, A11 A12 A12 A1 -
94
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
3.3 3.4 3.5 3.6 3.7 3.8 3.9
Identifiziert die Interessen relevanter Stakeholder U1 Bedient das Informationsbedürfnis von Nutzern U1, U3, U7, P1 Spricht Konflikte an P7 Prüft den organisatorischen Rahmen der Evaluation A2, F2 Analysiert das für die Evaluation relevante politische Umfeld F2 Begleitet Fragen der Evaluationsnutzung U7 Begleitet Prozesse der Organisationsveränderung F2 Respektiert die Einzigartigkeit einer jeden Evaluation und eines P4 3.10 jeden Klienten 3.11 Bleibt offen für den Input von anderen 3.12 Modifiziert das Design wenn nötig 4.0 Projektmanagement 4.1 Antwortet auf Anfragen 4.2 Verhandelt mit Klienten bevor die Evaluation beginnt P2 4.3 Schreibt offizielle Vereinbarungen P2 Kommuniziert mit Klienten während es gesamten Evaluationspro- U5-U6, P6 4.4 zesses 4.5 Budgetiert die Evaluation F3, P8 4.6 Begründet die Kosten F3, P8 Identifiziert benötigte Ressourcen für die Evaluation (Informatio- 4.7 nen, Expertise, Personal, Instrumente) 4.8 Nutzt geeignete Technik Supervidiert andere, die an der Durchführung der Evaluation betei- 4.9 ligt sind Unterweist andere, die an der Durchführung der Evaluation beteiligt 4.10 sind 4.11 Leitet die Evaluation adäquat F1 4.12 Präsentiert die Ergebnisse pünktlich U6 5.0 Reflexionsfähigkeit 5.1 Ist sich als Evaluator(in) gewahr (Wissen, Fähigkeiten, Aufstellung) U2 5.2 Reflektiert die persönliche Evaluationserfahrung 5.3 Verfolgt die professionelle Entwicklung im Feld der Evaluation 5.4 Verfolgt die Entwicklung in relevanten Teilgebieten 5.5 Baut berufliche Beziehungen auf (Austausch) 6.0 Interpersonale Kompetenz 6.1 Nutzt schriftliche Fähigkeiten U5 6.2 Nutzt verbale (auch zuhören) Fähigkeiten P4 6.3 Nutzt Verhandlungsfähigkeiten P4, P7 6.4 Nutzt Konfliktlösungsstrategien P4, P7, F2 Erleichtert konstruktive interpersonelle Interaktion (z.B. Team- 6.5 work) 6.6 Zeigt interkulturelle Kompetenzen P4 A= Accuracy (Genauigkeit), F= Feasibility (Durchführbarkeit), P= Propriety (Korrektheit/ Fairness), U= Utility (Nützlichkeit)
Aspekte, die den Bereich soziale Kompetenzen berühren, finden sich in allen sechs Kompetenzfeldern wieder, jedoch insbesondere im Bereich der Reflexions-
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
95
fähigkeit und der interpersonalen Kompetenz. Die Auflistung zeigt, dass der Kompetenzbereich soziale Kompetenzen gewissermaßen quer liegt zu allen anderen Kompetenzbereichen, d.h. er tangiert sowohl Aspekte der Professionalität (z.B. respektiert Stakeholder), der systematischen Untersuchung (z.B. gibt Hinweise für Entscheidungen während der Evaluation), der Kontextanalyse (z.B. Ansprechen von Konflikten), des Projektmanagements (z.B. Kommunikation mit Klienten) und wie bereits erwähnt der Reflexionsfähigkeit und interpersonalen Kompetenz. Bislang fehlt eine repräsentative Studie, die offen legt bis zu welchem Grad Programmevaluator(inn)en (als Durchführende, als Leitende etc.) übereinstimmen in der Beurteilung der Wichtigkeit der einzelnen Kompetenzfelder und Fähigkeiten für die berufliche Praxis. 2.3.1.4 Zusammenfassung zum Stand der Diskussion um soziale Kompetenzen Soziale Kompetenzen stellen in der Evaluationsnutzungsforschung kein explizites Konstrukt dar. Im fachlichen Diskurs werden Begrifflichkeiten wie „human factors“ (Alkin 1990), „personal factors“ (Patton 1997), „people skills“ (Mertens 1994) und „personal qualities“ (ebd.), „Charakteristika der Evaluator(inn)en“ (z.B. Cousins/Leithwood 1986; Johnson 1998) oder auch „Person des Evaluators/ der Evaluatorin“ (Stamm 2003a) genutzt. In den Materialien der DeGEval (2008b) wird von Sozial- und Selbstkompetenzen bzw. von „soziale Kompetenz“ im Singular gesprochen. Lauri Stevahn und Jean A. King (2005) benennen „Reflexionsfähigkeit“ und „Interpersonale Kompetenz“ (vgl. dazu auch King et al. 2001) als Kernbereiche, die soziale Kompetenzen von Evaluator(inn)en verlangen. Im gesamten Diskurs werden Ergebnisse zu beruflicher Identität und Grundeinstellungen zu Evaluation und deren Nutzungen, soziale Kompetenzen und kommunikative Fähigkeiten, Selbstkompetenzen und Aspekte der Interaktion wenig differenziert dargestellt und behandelt. Soziale Kompetenzen tangieren zudem eine Vielzahl von anderen Kompetenzbereichen von Evaluator(inn)en, so dass man von einer querliegenden Zieldimension ausgehen kann. Dies warf die Frage auf, wie sinnvoll die Nutzung des Überbegriffs soziale Kompetenzen für diese Untersuchung sei, zumal sowohl dieser als auch der Begriff Evaluationsnutzung zu den häufig bemühten aber empirisch wenig fundierten und unscharf definierten Konstrukten gehören. Einer Nutzung des Begriffs soziale Kompetenzen wurde unter der Prämisse zugestimmt, dass diese im Folgenden in ihrer Komplexität zu verstehen sind, die in ein Bindungsgefüge eingebettet sind, das verschiedene individuelle Fähigkeiten umfasst, aber auch von den Zielen der beteiligten Personen abhängig ist und ein Produkt situativ und interaktiv konstruierter Bedeutungen der Beteiligten darstellen, die durch die Rahmung des
96
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Evaluationssettings eine eigene Dynamik erhalten, die auch die Grenzen der Einflussnahme markieren. Aspekte der beruflichen Identität, Grundeinstellungen zur Evaluation und das Berufsverständnis werden ausdrücklich nicht zu den sozialen Kompetenzen gezählt, da diese sich relativ klar von diesen abgrenzen lassen und im empirischen Rahmen dieser Arbeit nicht im Zentrum des Interesses stehen. Vergleicht man die Darstellung des Konstrukts soziale Kompetenzen im Feld der Psychologie, in der Evaluationsnutzungsforschung und in den Empfehlungen für die Aus- und Weiterbildung für Evaluator(inn)en, so zeichnen sich drei unterschiedliche Bilder mit Schnittmengen. Die These, dass durch die Evaluationsnutzungsliteratur eine Terminologie entstanden ist, die hinderlich ist für die Integration von Wissen aus anderen Disziplinen, die sich auch mit Veränderungsprozessen beschäftigen (Henry/Mark 2003a: 299), trifft für den Bereich der sozialen Kompetenzen nur teilweise zu. Richtig ist hier, dass durch die Terminologie der Nutzungsliteratur die Integration von Wissen und Terminologien anderer Disziplinen erschwert wird, aber nicht unmöglich scheint. Ausgehend von dem oben beschriebenen Ist-Stand der Forschung zu den sozialen Kompetenzen und deren Einfluss auf die Evaluation soll für diese Untersuchung zunächst die Präzisierung der Terminologie unter Berücksichtigung der verschiedenen Sichtweisen auf das Konstrukt der sozialen Kompetenzen vorgenommen werden. Dazu werden die drei zuvor beschriebenen Sichtweisen (Psychologie, Evaluationsnutzungsforschung, Kompetenzfelder in der Aus- und Weiterbildung) nebeneinander gestellt. Soziale Kompetenzen werden dabei – wie vorab erläutert – als Werkzeug für eine konstruktive soziale Bedeutungsaushandlung im Evaluationskontext, d.h. als Werkzeug zur Interaktionsgestaltung angesehen (vgl. dazu Forgas 1995; Greif 1997; Schuler/Barthelme 1995). Im Folgenden werden zunächst die Konstrukte vorgestellt, bei denen es deutliche Schnittmengen von mindestens zwei der hier im Fokus stehenden verschiedenen Sichtweisen gibt. Diese sind auf Ebene der sozialen Kompetenzen:
Durchsetzungsfähigkeit/ -stärke Flexibilität Führungsverhalten Handlungsorientierung Kontaktfähigkeit/ Extraversion Perspektivenübernahme/ Empathie/ Sensitivität Selbstaufmerksamkeit/ Reflexion Soziabilität/ Konfliktverhalten und Teamorientierung/ Teamkompetenz
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
97
Kommunikationsfertigkeiten, die zu den sozialen Kompetenzen zählen, werden als zentraler Bestandteil von Interaktionsprozessen in die Untersuchung integriert und in Kapitel 2.3.2 besprochen. Da es keine einheitliche Sprachregelung gibt, können die entsprechenden Schnitt- oder Teilmengen, je nach Sichtweise, unterschiedlich in Differenz (Restmenge) bzw. Komplement interpretiert werden. Die Vorgehensweise ermöglicht, die bislang nur wenig bzw. gar nicht durch die Evaluationsnutzungsforschung und DeGEval berücksichtigten sozialen Kompetenzen aufzuzeigen. Das Fazit dieses Kapitels bildet die Definition der sozialen Kompetenzen für die hier vorliegende Untersuchung: Durchsetzungsfähigkeit/ -stärke Patton (1997: 44) benennt die Durchsetzungsfähigkeit (assertiveness) als einen Aspekt des „personal factor“ und betont den positiven Einfluss auf Evaluationsnutzung. In den Empfehlungen der DeGEval (2008b) wird Durchsetzungsfähigkeit nicht explizit als Kompetenz von Evaluator(inn)en beschrieben. In der Psychologie zählt Durchsetzungsfähigkeit zu den allgemeinen sozialen Kompetenzen (Kanning 2002). Durchsetzungsstärke wird durch das BIP (Hossiep/Paschen 2003) erfasst. Das Maß der Bereitschaft, sich trotz Widerständen aktiv durchzusetzen, beschreibt das zugrunde liegende Konstrukt (ebd.: 29). Personen mit hoher Durchsetzungsstärke sind dementsprechend offensiv und setzen sich nachhaltig für ihren Standpunkt ein. Allerdings ist mit einer hohen Ausprägung der Durchsetzungsstärke auch oft eine geringe Einfühlungsbereitschaft (nicht Einfühlungsfähigkeit) verbunden (ebd.: 66). Das Persönlichkeitsmerkmal Durchsetzungsstärke korreliert mit der formalen hierarchischen Position und eine extreme Ausprägung kann je nach Anforderung der konkreten Situation und Tätigkeit sowohl von Vorteil als auch von Nachteil sein (ebd.). Flexibilität Flexibilität bzw. die hohe Bereitschaft und Fähigkeit, sich auf neue oder unvorhergesehene Situationen einzustellen und Ungewissheit zu tolerieren und die Offenheit für neue Ideen und Perspektiven (Hossiep/Paschen 2003: 22) stellt einerseits einen Teilbereich der Dimension Arbeitsverhalten dar (ebd.) und wurde andererseits von Kanning (2002) als Teil der allgemeinen sozialen Kompetenzen benannt. Personen mit hoher Flexibilität werden vergleichsweise wenig dadurch beeinträchtigt, dass Aufgaben nicht klar definiert sind, da sie Ungewissheit gut zulassen können und neuen Situationen zuversichtlich begegnen (Hossiep/Paschen 2003: 60). In der Evaluationsnutzungsforschung wurde die Offenheit für neue Ideen und Veränderungen von Nutzer(inne)n (Alkin 1985) als Einflussfaktor auf Nut-
98
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
zungen genannt. Allerdings gibt es hierzu widersprüchliche Ergebnisse: Stamm (2003a) fand heraus, dass die Veränderungsbereitschaft der Nutzer(innen) keine entscheidende Rolle für Nutzungen spielt. Johnson (1998) identifizierte die Flexibilität im Handeln und Denken von Evaluator(inn)en als Faktoren mit Einfluss auf Nutzungen. In den Empfehlungen der DeGEval (2008b) wird Flexibilität nicht als Kompetenz für Evaluator(inn)en beschrieben. Führungsverhalten Im betriebswirtschaftlichen Bereich und bei Personalentwickler(inne)n ist Führungsverhalten als Einflussgröße auf die Kundenorientierung fester Forschungsinhalt (z.B. Homburg/Stock 2001; 2002). In der Evaluationsnutzungsforschung stellt insbesondere Patton (1994) diesen Faktor als Teilbereich mit Einfluss auf Nutzung heraus. Die DeGEval (2008b) hingegen empfiehlt das Vorhandensein von Führungsqualitäten nicht explizit als Kompetenz von Evalutor(inn)en. Das Führen von Mitarbeiter(inne)n kann als spezifische (und nicht als allgemeine) soziale Kompetenz klassifiziert werden (Kanning 2003: 21). Je nachdem, was unter Führungsqualitäten verstanden wird, sind starke Überschneidungen zu anderen Konstrukten der sozialen Kompetenzen zu finden. Angesichts der Multidimensionalität des Konstrukts lassen sich die verschiedenen Aspekte von Führung kaum messen (Pinnow 2008: 301). Hossiep und Paschen (2003) zählen Führungsmotivation zur beruflichen Grundorientierungen und nicht zu sozialen Kompetenzen und legen das Hauptaugenmerk darauf, wie stark das Bestreben zur sozialen Einflussnahme ausgeprägt ist (Hossiep/Paschen 2003: 58). Im Evaluationskontext ist davon auszugehen, dass sich das Vorhandensein von Führungsqualitäten, je nach Zusammensetzung des Evaluationsteams, nicht auf alle involvierten Evaluator(inn)en bezieht. Handlungsorientierung Ein Aspekt, der häufig zu den Charakteristika der Nutzer(innen) gezählt wird, ist die Handlungsorientierung. Alkin et al. (1979, 1985) und Johnson (1998) benennen eine hohe Handlungsorientierung als Faktor mit Einfluss auf Nutzungen von Evaluationen. Das Konzept zeigt hohe Übereinstimmungen mit dem Konstrukt, wie es in der Psychologie beschrieben wird: Handlungsorientierung wird als Fähigkeit zur raschen Umsetzung von Entscheidungen in zielgerichtete Aktivitäten sowie zur Abschirmung einer gewählten Handlungsalternative gegenüber weiteren Entwürfen verstanden (Hossiep/Paschen 2003: 22). Hoch handlungsorientierte Personen werden dementsprechend als Menschen wahrgenommen, die auch bei Schwierigkeiten zügig handeln und Ziele bei hoher effektiver Selbstor-
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
99
ganisation ausdauernd verfolgen (ebd.: 61)45. Es lassen sich Überschneidungen zu dem Konzept der Entscheidungsfreudigkeit (Kanning 2002) finden. Als Fähigkeit von Evaluator(inn)en ist dieser Aspekt bislang nicht untersucht worden. Auch findet sich diese Kategorie nicht in den Empfehlungen der DeGEval (2008b) wieder. Kontaktfähigkeit/ Extraversion Ein Teilaspekt sozialer Kompetenzen von Evaluator(inn)en ist die Kontaktfähigkeit. In der Evaluationsnutzungsforschung werden Merkmale mit Einfluss auf Nutzungen benannt, wo Kontaktfähigkeiten gefragt sind: Zum Beispiel benennt Patton (1997) die Fähigkeit Arbeitsbeziehungen zu den Nutzer(inne)n aufzubauen oder Alkin (1985) das Involvieren von Nutzer(inne)n. Aber auch Nutzer(innen) benötigen zum Aufbau von formellen und informellen Disseminationsnetzwerken Kontaktfähigkeiten. Es wird dementsprechend ein Zusammenhang zwischen Nutzungen und hoher Kontaktfähigkeit vermutet. In der Psychologie umreißt das Konstrukt Kontaktfähigkeit die Kompetenz, zu unbekannten und bekannten Personen Kontakt aufzunehmen, Beziehungen aufzubauen und diese aufrechtzuerhalten. Darüber hinaus umfasst es auch die Fähigkeit des Aufbaus und der Aufrechterhaltung sozialer Netzwerke (vgl. Hossiep/Paschen 2003). Personen mit hoher Kontaktfähigkeit bereitet es dementsprechend keinerlei Schwierigkeiten, Kontakte zu verschiedensten Menschen herzustellen. Sie verfügen über eine große Sicherheit und Unbefangenheit im Umgang mit anderen (vgl. ebd.: 63). Es gilt als belegt, dass sozial hochkompetente Personen über ein größeres soziales Netz verfügen als weniger sozial kompetente Menschen (Cohen et al. 1986; Sarason et al. 1986). Zudem lassen sich Überschneidungen mit dem Konzept der „Extraversion“ feststellen, welches Kanning (2002) dem behavioralen Bereich zugeordnet hat und das ursprünglich aus dem Big-FiveModell bzw. dem NEO-FFI: Neo-Fünf-Faktoren-Inventar (Borkenau/Ostendorf 1993) stammt. NEO bezieht sich auf die in dem Modell enthaltenen Persönlichkeitsfaktoren Neurotizismus (N), Extraversion (E) und Offenheit für Erfahrungen (O), zusammen mit Verträglichkeit und Gewissenhaftigkeit bilden diese fünf Faktoren die sogenannten „Big Five“. Die Dimension Extraversion beschreibt Aspekte des „Networking“ und beschäftigt sich mit Aktivität und zwischenmenschlichem Verhalten.
45
Hossiep und Paschen (2003) berichten ein negatives Regressionsgewicht der Skala Handlungsorientierung zur Erklärung der hierarchischen Position, d.h. Personen mit geringer Handlungsorientierung erreichten tendenziell einen höheren Berufsstatus als Personen, die hoch handlungsorientiert waren.
100
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Die Empfehlungen der DeGEval (2008b) berücksichtigen diesen Bereich, indem sie die Fähigkeiten zur Kontaktaufnahme und –gestaltung als zentrale Aspekte der Kompetenzen von Evaluator(inn)en herausstellen. Perspektivenübernahme/ Empathie/ Sensitivität Die Begriffe Sensitivität, Sensibilität, Empathie bzw. Einfühlungsvermögen und Perspektivenübernahme werden häufig synonym genutzt. Die Konstrukte weisen, auch wenn sie nicht absolut deckungsgleich sind, in jedem Fall große Schnittmengen auf. Die DeGEval (2008b: 24) benennt „Perspektivenübernahme und Empathie“ als Beispiele für soziale Kompetenz von Evaluator(inn)en. Implizit hat sich auch die Evaluationsnutzungsforschung mit Perspektivenübernahme als Kompetenz von Evaluator(inn)en befasst. Hier wird die Fähigkeit von Evaluator(inn)en, die Bedürfnisse der Nutzer(innen) zu erkennen in einen positiven Zusammenhang mit Evaluationsnutzung gebracht (Leviton/Hughes 1981; Patton 1997). Weiterhin wird explizit betont, dass die politische Sensibilität von Evaluator(inn)en Nutzungen beeinflusst (vgl. Alkin 1985; Patton 1997). Politische Sensibilität beschränkt sich jedoch nicht auf das Ausfechten von kontroversen Standpunkten, sondern besteht darin, durch sensible Wahrnehmung den möglicherweise abweichenden Sichtweisen des Gegenübers entgegenzukommen und diesem zur Artikulation und Diskussion zu verhelfen – auch auf die Gefahr hin, Dissens zu aktivieren (Liebsch 2008: 308). Dementsprechend ist eine Kultur der Wahrnehmung (Perspektivenübernahme) bzw. der Sensibilität (für Dissens) vor politische Differenzen und deren Anerkennung zu stellen (ebd.: 309). Die Sensitivität, im Sinne von sicherer Interpretation und Zuordnung der Verhaltensweisen anderer (Hossiep/Paschen 2003: 22), stellt dementsprechend eine Vorstufe im Problemlöseprozess zu der Soziabilität, die weiter unten beschrieben wird, dar. Mit Sensitivität ist vor allem die Fähigkeit zur Wahrnehmung auch schwacher Signale im zwischenmenschlichen Bereich gemeint. Hossiep und Paschen (2003: 62) beschreiben, dass eine hohe Ausprägung insbesondere zur personennahen Begleitung von Veränderungsprozessen wichtig sei, bei denen auch unangenehme Entscheidungen durchzusetzen sind. Zusätzlich biete ein hohes Maß an Sensitivität die Chance, Handlungsergebnisse zu optimieren, indem die „zwischenmenschliche Ebene“ angemessen berücksichtigt wird. Die Autoren weisen aber auch darauf hin, dass in kaum einem Bereich die Selbst-Fremdbild-Diskrepanzen so wahrscheinlich sind, wie bei dieser Dimension. Perspektivenübernahme ist eine der allgemeinen sozialen Kompetenzdimensionen, die Kanning (2002) in seiner Metaanalyse identifiziert hat. Es handelt sich hierbei um die Fähigkeit bzw. auch Technik, sich in die Rolle und Position einer anderen Person hineinzuversetzen und zu versuchen, dessen/ deren Sicht zu sehen. Perspektivenübernahme hat
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
101
einen Einfluss auf gruppenübergreifende Beziehungen und kann zur Reduzierung von Klischees oder Vorurteilen beitragen (Galinsky/Moskowitz 2000: 709ff). Obwohl Perspektivenübernahme nicht immer zur Verringerung des sogenannten egozentrischen Bias führt (Drolet et al. 1998), kann das Bedenken der Perspektive des Gegenübers zu positiveren Resultaten in der Interaktion führen (Galinsky/Mussweiler 2001: 660). Selbstaufmerksamkeit/ Reflexion und Selbststeuerung Selbstaufmerksamkeit wird als Bestandteil elaborierter Modelle menschlicher Selbststeuerung aufgefasst (Carver/Scheier 1981). Selbstaufmerksamkeit stellt eine Kategorie dar, die eine große Variation wahrnehmungs-kognitiver Aspekte umfasst, so z.B. das Selbstkonzept, Einstellungen, aber auch die selektive Wahrnehmung von „inneren Signalen“ wie Herzklopfen oder Rot werden etc. (ebd.: 36f). Die Theorie der Selbstaufmerksamkeit (Duval/Wicklund 1972) betont die enge Verknüpfung zwischen Selbstaufmerksamkeit und Verhalten (bzw. Steuerungsmöglichkeiten) und beschäftigt sich mit internen Prozessen, bei denen das Selbst zum Objekt der Betrachtung wird. Die Theorie besagt, dass im Zustand der Selbstaufmerksamkeit eventuelle Diskrepanzen zwischen den Verhaltensabsichten und dem tatsächlichen Verhalten aufgedeckt werden können, wobei drei Möglichkeiten der Begegnung mit diesem Zustand unterschieden werden: (1) die Verhaltensweisen den Absichten angleichen, (2) die Verantwortung für die wahrgenommene Diskrepanz ablehnen und (3) die Aufmerksamkeit von dem eigenen Selbst wegrichten. Die Bereiche Selbstaufmerksamkeit und –steuerung scheinen dabei eng mit dem Konzept des Selbstmanagements und dem Bereich Reflexion der DeGEval (2008b: 25f) verbunden zu sein. Je genauer eine Situation in ihren Einzelheiten wahrgenommen wird, desto gründlicher kann häufig Reflexion ausfallen. Hier wird aber auch auf die Wichtigkeit von Selbsterfahrung und Rückmeldungen im Sinne von „Learning by doing“ in der Aus- und Weiterbildung von Evaluator(inn)en aufmerksam gemacht (DeGEval, 2008b: 23). Soziabilität/ Konfliktverhalten Ein weiterer Teilaspekt sozialer Kompetenzen von Evaluator(inn)en beschäftigt sich mit dem Umgang mit Konfliktsituationen. Patton (1997) stellt Fähigkeiten im Konfliktmanagement als eine der Kompetenzen, über die Evaluator(inn)en verfügen sollten, heraus und impliziert einen Zusammenhang zwischen hoch ausgeprägten Fähigkeiten in diesem Bereich und den Nutzungen von Evaluationen. Auch in den Empfehlungen der DeGEval (2008b) werden Konfliktfähigkeit und das Beherrschen von Problemlösestrategien als Kompetenzen von Evaluator(inn)en beschrieben. Das Konzept der Soziabilität zeigt Überschneidungen mit
102
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
der von der DeGEval (2008b) benannten Fähigkeit, Konflikte anzusprechen bzw. konfliktfähig zu sein; es beinhaltet jedoch noch kein Modell zu sensibler Konfliktbewältigung. Das gegenseitige Anerkennen und „Aushaltenkönnen“ von Konflikten resultiert noch nicht automatisch in ein friedliches Miteinander. Personen mit hoher Soziabilität schätzen ein harmonisches Miteinander und bemühen sich, integrierend und ausgleichend auf ihr Umfeld einzuwirken. Es fällt diesen Personen schwer, Unangenehmes offen anzusprechen, und es ist ihnen wichtig, als rücksichtsvoll und freundlich wahrgenommen zu werden. Treten Konflikte auf, übernehmen sie gern moderierende Funktionen (Hossiep/Paschen 2003: 64). Die Fähigkeit zur Wahrnehmung von Signalen im zwischenmenschlichen Bereich wird durch die Sensitivität beschrieben. Die Bereitschaft, sein Verhalten auf diese Signale abzustimmen, liegt dementsprechend im Gegenstandsbereich der Soziabilität (ebd.: 28). Kanning (2002) identifiziert Konfliktverhalten als eine allgemeine soziale Kompetenzdimension. Per definitionem werden vor allem interpersonelle Konflikte und weniger intraindividuelle Konflikte zu sozialem Konfliktverhalten gezählt, häufig besteht aber eine Abhängigkeit zwischen den beiden (Rosenstiel 1980)46. Die Konfliktmanagementforschung beschäftigt sich vorrangig mit interpersonellen Aspekten des Phänomens. Den theoretischen Hintergrund vieler praxisorientierter Ansätze zum Umgang mit sozialen Konflikten bildet das Dual Concern Modell (Pruitt/Rubin 1986). Zentral ist hier die Berücksichtigung zweier Interessenlagen: die Interessen der anderen und das persönliche Anliegen. Die Autoren unterscheiden vier Strategien: Nachgeben, Vermeiden, Problemlösen und Konkurrieren (ebd.). Es herrscht im wissenschaftlichen Diskurs ein Konsens darüber, dass integrativen Strategien, wie dem Problemlösen, Vorzug gegenüber anderen Strategien zu geben sei, da diese sich als die effektivste und zudem mit höherem psychischen Wohlbefinden einhergehende Vorgehensweise erwiesen haben (z.B. De Dreu et al. 2001; Gross/Guerrero 2000; Pruitt/Rubin 1986). Eine einseitig hohe Gewichtung der persönlichen Interessen oder der Interessen der anderen führt dementsprechend zu dominantem Verhalten und Vermeidungshaltung bzw. nachgiebigen Verhaltensweisen (Pruitt/Rubin 1986). Teamorientierung/ Teamkompetenz Ein weiteres Merkmal, das sich in allen hier betrachteten Sichtweisen widerspiegelt, ist die Teamorientierung bzw. Teamkompetenz von Evaluator(inn)en. In der Evaluationsnutzungsforschung betont insbesondere Patton (1997: 54) die Wichtigkeit der Fähigkeit zur Arbeit im Team. Die Teamfähigkeit von Nutzer(inne)n ist bislang nicht Gegenstand der Überlegungen in der Evaluationsnutzungsfor46
Eine Konfliktklassifikation hat z.B. Galtung (1965) vorgenommen.
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
103
schung gewesen. Das Konzept der Teamorientierung in der Psychologie wird beschrieben als eine hohe Wertschätzung von Teamarbeit und Kooperation und die Bereitschaft zur aktiven Unterstützung von Teamprozessen. Wenig teamorientierten Personen bedeutet es viel, die alleinige Verantwortung für ihre Arbeitsergebnisse zu tragen. Personen mit ausgeprägter Teamorientierung gehen meist davon aus, dass sich im Teamgedanken die verschiedenartigen Einzelbeiträge zu einer neuen Qualität formen können (Hossiep/Paschen 2003: 65). In der Diskussion um Schlüsselqualifikationen wird häufig eine generelle Teamfähigkeit unterstellt, was im Widerspruch dazu steht, dass jedes Bildungs-/ Beschäftigungssystem auf allen Stufen auf Einzelleistungen setzt (Kirchner 1972 zit. nach Seyfried 1995b: 28). Die DeGEval (2008b) benennt die Fähigkeit von Evaluator(inn)en zur Kooperation und Arbeit in Gruppen als ein Kompetenzfeld. In den bisherigen Ausführungen wurde gezeigt, dass zwischen den Konzepten zu sozialen Kompetenzen in der Psychologie, dem fachlichen Diskurs in der Evaluationsnutzungsforschung und in den Empfehlungen der DeGEval deutliche Schnittmengen zu finden sind. Weiterhin wird deutlich, dass den an der Interaktion beteiligten Evaluator(inn)en und Nutzer(inne)n unterschiedliche Aufgaben zugeschrieben werden. So ist eine hohe Handlungsorientierung bei Nutzer(inne)n (vgl. Alkin et al. 1979, 1985; Johnson 1998) beispielsweise ein Faktor, dem ein positiver Einfluss auf Nutzungen von Evaluationen zugesprochen wird. Als Fähigkeit von Evaluator(inn)en ist dieser Aspekt bislang nicht untersucht worden. Weiterhin wurde deutlich, an welchen Stellen gewissermaßen “blinde Flecken“ in der jeweiligen Betrachtungsweise liegen. Insgesamt muss resümiert werden, dass die Charakteristika, über die Evaluator(inn)en verfügen sollten, eher weniger im Zusammenhang mit denen der Nutzer(inne)n betrachtet werden. Beispielsweise wird betont, dass Evaluator(inn)en im Sinne einer nutzungsorientierten Evaluation gut in Teams und Gruppen arbeiten können sollten (vgl. Patton 1997). Ob potentielle Nutzer(innen) auch teamkompetent handeln können sollten wurde dagegen bislang wenig thematisiert47. Qualitativ wird häufig nicht klar, wie und ob die oben besprochenen Subkategorien von sozialen Kompetenzen normativ gefasst werden, d.h., es stellt sich die Frage, ob soziale Kompetenzen voraussetzen, dass prosozial gehandelt und interagiert wird oder ob unter Umständen auch anti-soziales Agieren als sozial kompetent eingeschätzt werden kann. Aufgrund der bisherigen Überlegungen kann davon ausgegangen werden, dass soziale Kompetenzen eine Einflussgröße für alle Aspekte der Interaktion während einer Evaluation darstellen und somit Nutzungen von Evaluationen beeinflussen. 47
Beispiele für die Beschreibung potenzieller Quellen für Widerstände in der Programmevaluation und die Möglichkeiten des Umgangs damit finden sich in: Posavac/Raymond 1980: 40ff.
104
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
2.3.2 Soziale Interaktionsgestaltung Zur erfolgreichen Gestaltung von sozialer Interaktion werden je nach Referenz und zugrunde liegender sozialpsychologischer Interaktionstheorie (Überblick dazu in Müller 1985) unterschiedliche Aspekte gezählt. Als wesensbestimmte Merkmale sozialer Interaktion sind Wechselseitigkeit und Aufeinanderbezogenheit von Geben und Nehmen, Aktion und Reaktion und Einflussnahme und Beeinflusstwerden anzusehen (Müller 1985: 43). Soziale Kompetenzen offenbaren sich in Interaktionssituationen und diese wiederum sind abhängig von Beurteilungen (die auf individuellen und selektiven Wahrnehmungen beruhen), Reaktionen der mitagierenden Personen und Empfindungen (Seyfried 1995a: 139). In der Interaktionsforschung wird betont, dass soziale Kompetenzen für gelungene Interaktionen hilfreich sind und neben diesen sowohl das Zusammenwirken verbaler und non-verbaler (z.B. Mimik, Gestik, äußere Erscheinung) Elemente als auch die Arten von Äußerungen und deren Wirkung (z.B. Informationsübermittlung, Fragen, Befehle, Ermutigung, Lob, Bestrafung) und der Stil der Interaktion (z.B. dominanter oder affiliativer Stil) gehören (Argyle 1972: 90ff). Es herrscht Übereinstimmung darin, dass sich unter dem typisch Interaktionalen eine spezifische Qualität sozialer Situationen verbirgt, und dass es sich bei dieser um etwas anderes handelt, als um die bloße „Potential“-Summe einzelner Interaktionspartner(innen) (vgl. Müller 1985: 3). Indem Personen miteinander interagieren, erzeugen sie etwas, das nicht bereits durch Zustände der gemeinsamen Umwelt oder durch individuelle Eigenschaften determiniert ist. Wie eine adäquate Analyse entsprechender Phänomene zu leisten wäre, bleibt jedoch meinst unklar (ebd.). In der neuesten Forschung steht nicht mehr nur das gesprochene Wort im Mittelpunkt, sondern es wird betont, dass Interaktion nur adäquat erfasst werden kann, wenn man sowohl auditive als auch visuelle Komponenten in den Blick nimmt, da diese gemeinsam einen Gesamteindruck der Interaktion erzeugen (Herrle 2007). Soziale Interaktion ist, wie der Begriff schon sagt, ein interaktiver Prozess, der durch objektive Situationsbedingungen, externe Konsequenzen, selbstbewertende Reaktionen, (oft unbewusste) Orientierungen, Motivationen und Denkprozesse gesteuert wird (Seyfried 1995a: 139). Diese Faktoren sind schwer quantifizierbar. Martin Irle macht den für dieses Vorhaben nützlichen Vorschlag, zwischen Faktoren zu differenzieren, die Interaktionsverhalten exogen oder endogen beeinflussen. Exogen bezeichnet er Faktoren, die auch dann existieren, wenn eine gegebene soziale Beziehung noch nicht oder nicht mehr existiert. Hierunter fallen z.B. Eigenschaften der beteiligten Personen und soziale Kompetenzen dieser sowie Zustände der gemeinsamen Umwelt. Endogen sind solche Faktoren, die
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
105
erst aus den Konstellationen vorliegender exogener Merkmale entstehen und in Erscheinung treten (Irle 1975: 399). Als Leitfaden für die Generierung von Informationen zur Interaktionsgestaltung im Rahmen der untersuchten Programmevaluationen wurde sich an den Korrektheitsstandards des Joint Committee (Sanders 2006: 131) orientiert, dabei konnten drei Schwerpunkte zur Bestimmung der Güte der Interaktion herausgearbeitet werden. Es handelt sich hier um endogene Faktoren. In Anlehnung an Günter F. Müller sei zur definitorischen Klärung darauf hingewiesen, dass soziale Interaktionsgestaltung verhaltensorientiert ist und (als kleinste analytische Einheit) auf das Individuum rekurriert, und dementsprechend als Aufeinanderbezogenheit individueller Verhaltensweisen verstanden wird (Müller 1985: 82). Weiterhin ist soziale Interaktionsgestaltung gekennzeichnet durch den Kontext, in dem sie stattfindet. Und schließlich nehmen Interaktionspartner(innen) subjektive Transformationen von Kontextmerkmalen vor und handeln auf der Grundlage dieser Transformationen (ebd.). Eine Vielzahl von Modellen mit Kombinationen situativer und/oder personaler Voraussetzungen ist denkbar und könnte einer empirischen Analyse unterzogen werden. Das Modell, was dieser Untersuchung zu Grunde liegt, beinhaltet sowohl kontextgebundene als auch individuumszentrierte Aspekte (siehe 2.6). Differenziert wird in Bezug auf die soziale Interaktionsgestaltung, entsprechend den Standards des Joint Committee (Sanders 2006: 131), zwischen:
Gestaltung der Kommunikation Verfügbarkeit Wertschätzende Grundhaltung
Gestaltung der Kommunikation Aus den Richtlinien des Joint Committee geht hervor, dass das Verhalten der Evaluator(inn)en so gestaltet werden sollte, dass keine feindliche Haltung gegenüber der Evaluation, Einzelpersonen, Gruppen oder deren Arbeit entsteht. Fähigkeiten, wie vor allem die adäquate Kommunikation, seien dabei von größter Wichtigkeit (Sanders 2006). Der Hinweis, dass „ (…) eine gute Verständigung mit den Teilnehmenden auf dafür eingerichteten Kommunikationswegen unterhalten werden (sollte)“ (ebd.: 131), lässt offen, was genau gute Verständigung bedeutet. Wie gezeigt stellen die kommunikativen Fähigkeiten auch einen festen Bestandteil der Evaluationsnutzungsforschung dar und werden hauptsächlich den Charakteristika von Evaluator(inn)en und nur teilweise den Nutzer(inne)n zugeordnet. Beobachtetes (Programme) und Beobachter (Evaluator(inn)en) stellen zwei interdependente Systeme dar, die sich selbstreferentiell schließen, die je-
106
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
doch durch gelingende Kommunikation ein strukturell gekoppeltes System, d.h. ein Gesamtsystem, das nicht auf eines der beiden beteiligten Systeme reduziert werden kann, bilden (vgl. Blank/Löwenbein 2009: 76ff; Luhmann 2004: 269; Torres et al. 1997). Verschiedenste Aspekte von verbaler und non-verbaler Kommunikation und deren Zusammenhang zu Nutzungen von Evaluationen wurden in verschiedensten Studien untersucht bzw. benannt. Auch in den Empfehlungen der DeGEval (2008b) werden kommunikative Kompetenzen für das professionelle Handeln von Evaluator(inn)en vorausgesetzt. Kommunikationsfertigkeiten, d.h. anderen zuhören und gleichzeitig verbal Einfluss nehmen (Kanning 2002: 158) bzw. der Kommunikationsstil (ebd.: 21) zählen zu den allgemeinen sozialen Kompetenzen. Kommunikation als geregelter Austausch von Botschaften ist jedoch auch ein zentraler Bestandteil von sozialen Interaktionsprozessen (Forgas 1995: 106). Die Gestaltung der Interaktion und Kommunikation kann dabei sehr facettenreich sein und stellt ein schwer zu messendes Konstrukt dar. Wichtig für diese Untersuchung ist, festzuhalten, dass Kommunikationsfertigkeiten Teil von Interaktionsprozessen sind und ein Konsens darüber herrscht, dass die Qualität der Kommunikation in Zusammenhang mit Nutzungen von Evaluationen gebracht wird. Die Qualität der Kommunikation (Art und Weise und Umfang) stellt auch in Cousins und Leithwoods (1993) Metaanalyse einen Faktor mit Einfluss auf Nutzungen von Evaluationen dar. In Verbindung dazu betonen die Autoren, dass interaktive Prozesse zwischen verschiedenen beteiligten Personen(-gruppen) einen Einfluss auf Evaluationsnutzungen haben (siehe auch Abb. 4). Donna M. Mertens stellt eine Liste mit kommunikativen Fähigkeiten zusammen und unterteilt diese in mündliche und schriftliche Kommunikation (Mertens 1994: 21f). Kommunikation als Einflussfaktor auf Nutzung von Forschungsergebnissen und Innovation stand schon früh im Zentrum von Untersuchungen (z.B. Marquis/Allen 1966; Rogers/Shoemaker 1971; Rolfsen/ Torvatn 2005), obwohl bislang wenige Autor(inn)en ihren Fokus explizit auf den Einfluss sozialer Interaktionen und die Rolle von Kommunikation bzw. auf „Aushandlungsprozesse“ (vgl. Haubrich et al. 2006: 7ff) in Evaluationen gelenkt haben. In den Wirtschaftswissenschaften dagegen wurde z.B. die Bedeutung von sozialen Interaktionen für strategische Prozesse (Aadne 2000) untersucht. Für diesen Bereich existieren z.B. auch Konzepte zu strategischen Konversationen (z.B. Westley 1990). Als Orientierungshilfe dienen häufig die mikrosoziologischen Ausführungen zu Interaktionsritualen (z.B. Goffman 1971, 1973, 1981). Neben der vielfältigen Literatur zur Gestaltung der Kommunikation im Sinne von Evaluationsnutzungen gibt es eine Reihe von Autor(inn)en, die sich mit den Inhalten der Kommunikation beschäftigen und darstellen, wie z.B. bestimmte Daten wann gut zu vermitteln sind oder wie man Evaluationsergebnisse effek-
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
107
tiv kommuniziert (dazu z.B. Alkin et al. 2006: 384ff; Erzberger 2006: 19ff; Hannum/Martineau 2008: 101ff). Verfügbarkeit Als weiteres Merkmal zur Bestimmung der Güte der Interaktionsgestaltung gilt die Verfügbarkeit im Sinne von Verfügbarkeit insbesondere bei Bedenken der Teilnehmenden. Evaluator(inn)en sollten sich Zeit dafür nehmen, Bedenken in Bezug auf die Evaluation in Erfahrung zu bringen (Sanders 2006: 131) und ansprechbar sein für jeden, nicht nur für Personen in Leitungspositionen. Alkin et al. (1985: 54) betonen, dass es sich hier jedoch nicht um eine Einbahnstrasse handelt. Potentielle Nutzer(innen) müssen ihre Wünsche ansprechen und auch von sich aus aktiv auf Evaluator(inn)en zugehen. Interaktion in Bezug auf Verfügbarkeit beinhaltet z.B.: Telefonanrufe machen und annehmen, Nachfragen klären, Diskussion des Evaluationsprozesses oder gemeinsame Betrachtung von Berichten und Zwischenberichten vor der Fertigstellung (Alkin 1985: 54). Zudem wurde erfasst, ob die Interaktionspartner(innen) mit der Anzahl der Treffen zufrieden waren. Wertschätzende Grundhaltung In den Korrektheitsstandards des Joint Committee wird darauf verwiesen, dass Interaktionen human gestaltet sein sollten, d.h., dass Evaluator(inn)en in ihren Kontakten die Würde und den Wert ihrer Interaktionspartner(innen) respektieren sollen, damit diese nicht gefährdet oder geschädigt werden (Sanders 2006:131). Hingewiesen wird darauf, dass Evaluator(inn)en sich intensiv bemühen sollten, soziale Werte, kulturelle Hintergründe, Sprachunterschiede und Bedenken der Teilnehmenden in Bezug auf die Evaluation zu verstehen. Weiterhin soll die Evaluation so durchgeführt werden, dass diese so wenig wie möglich als störend empfunden wird (ebd.). Die Kontakte sollten geprägt sein von einem kollegialen Klima und wechselseitigem Interesse (Alkin 1985: 54). Im Kontext dieser Arbeit wurden die Beteiligten gebeten zu beschreiben und zu bewerten, wie die Interaktionen sich im Rahmen der Evaluation gestalteten. In Anlehnung an die oben beschriebenen Eckpfeiler wurden Informationen zu Verfügbarkeit und der Häufigkeit der Treffen, zur wahrgenommenen Grundhaltung, zur Zufriedenheit mit der Gestaltung der Kommunikation und zur Interaktion insgesamt abgefragt. Aus zwei verschiedenen Perspektiven konnten so Einschätzungen erhoben werden, die sich zu einem Gesamtbild zusammenfügen ließen.
108
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
2.3.3 Umfeld- und Prozessmerkmale Es steht außer Zweifel, dass neben den sozialen Kompetenzen der Beteiligten einer Evaluation und der Gestaltung der sozialen Interaktion sowohl das Umfeld einer Evaluation und die Organisations- und Feldkenntnisse als auch die Art und Weise, wie eine Evaluation geplant und durchgeführt wird für die Nutzungen von Evaluationsergebnissen von Bedeutung sind. In verschiedenen Evaluationsnutzungsmodellen werden unterschiedlichste Umfeld- und Prozessmerkmale der Evaluation als Einflussfaktoren benannt: Bereits Alkin et al. (1979) benennen die Struktur von Organisationen, den Grad der Politisierung eines Programms, den Evaluationsprozess und –bericht als Faktoren, die die Wirksamkeit von Evaluationen beeinflussen. Verschiedene Autor(inn)en beziehen andere Merkmale der Durchführung der Evaluation und der politischen und entscheidungsbezogenen Rahmenbedingen in ihr Modell mit ein (vgl. z.B. Balthasar 2007; Cousins/Leithwood 1986, 1993; Johnson 1998; Stamm 2003a). Für diese Arbeit wurden ausschließlich Evaluationsstudien ausgewählt, bei denen die Wissenschaftlichkeit der Methodik (Datenerhebung und Analyse) gegeben war, d.h., die die Genauigkeitsstandards des Joint Committee (Sanders 2006, 159ff) eingehalten haben. Vier weitere gängige Schwerpunkte, die konsistent in Bezug zu Evaluationsnutzungen gebracht werden, waren für den hier untersuchten Kontext relevant und werden im Folgenden vorgestellt:
Integration von Nutzungsprozessen Orientierung der Evaluation an den Informationsbedürfnissen Einhaltung formaler Erfordernisse Politisches Klima
Integration von Nutzungsprozessen Verschiedene Autor(inn)en (z.B. Huberman/Cox 1990: 363; Hannum/Martineau 2008: 101ff) vertreten die Auffassung, dass die Integration von Nutzungsprozessen bereits in der Planungsphase anzusetzen habe und dass Evaluator(inn)en dabei die Aufgabe haben, die Nutzungsphase aktiv vorzubereiten. Ähnliche Auffassungen werden durch die Standards des Joint Committee vertreten, indem explizit ausgeführt wird, dass eine Unterstützung der potenziellen Nutzer(innen) Aufgabe von Evaluator(inn)en sein sollte und nicht davon ausgegangen werden darf, dass dies nach Fertigstellung des Evaluationsberichts automatisch passiere. Den Adressat(inn)en einer Evaluation sollte zu Beginn erklärt werden, in welcher Weise die Evaluation nützlich sein könnte (Sanders 2006: 87f). Stamm unterstützt mit ihren Forschungsergebnissen, dass nicht die Rollenidentität der Evaluator(inn)en Nutzungsprozesse beeinflusst, sondern dies viel-
2.3 Soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale
109
mehr durch die Integration von Nutzungsprozessen durch die Evaluator(inn)en in das Untersuchungsdesign geschieht (Stamm 2003a: 299). Zusammenfassend kann festgestellt werden: „Evaluation use increases when decision makers are assisted in understanding how they might use evaluation data.“ (Reisner et al., 1982: 65). Orientierung der Evaluation an den Informationsbedürfnissen Balthasar betont in seiner Untersuchung die Wichtigkeit der Unterscheidung der Personengruppen, an denen sich die Evaluation orientiert. Er unterscheidet, ob die Evaluation sich an den Informationsbedürfnissen von Umsetzungsverantwortlichen oder von übergeordneten Stellen ausrichtet (Balthasar 2007: 308). Einen Kernpunkt dieser Vorgehensweise bildet Pattons (1997) Modell, in dem die Identifikation von möglichen Nutzer(inne)n und deren Bedürfnissen zentral ist. Auch in den Richtlinien des Joint Committee (Sanders 2006, 53f) werden Nützlichkeitsstandards formuliert, die betonen, dass es von zentraler Bedeutung ist, Stakeholder zu identifizieren und bezüglich deren Informationsbedürfnissen in der Ausrichtung der Evaluation einen Konsens zu finden. Zusammenfassend heißt das, wenn eine Programmevaluation ausschließlich an den Informationsbedürfnissen von übergeordneten Stellen und wenig an den Bedürfnissen der Umsetzungsverantwortlichen orientiert ist, ist das Potenzial für die Umsetzung auf Programmebene eher gering. Einhaltung formaler Erfordernisse Wie bereits beschrieben, wurden für die Untersuchung nur Evaluationen berücksichtigt, die die Genauigkeitsstandards des Joint Committee (Sanders 2006 159ff) weitestgehend eingehalten haben. Zu den weiteren formalen Erfordernissen einer Evaluation gehören die Rechtzeitigkeit (Termineinhaltung), Klarheit, Verständlichkeit und Zielgruppengerechtigkeit von mündlichen und schriftlichen Aussagen (inklusive Evaluationsbericht) und Absprachen. In den Richtlinien des Joint Committee (ebd.) finden die genannten formalen Erfordernisse in folgenden fünf Aspekten Berücksichtigung: Klarheit des Berichts (N5), Rechtzeitigkeit und Verbreitung des Berichts (N6), Formale Vereinbarungen (K2), Vollständige und faire Einschätzung (K5) und Offenlegung der Ergebnisse (K6). Diese Kriterien sind auch Bestandteil der von Alkin (1975) unter dem Oberbegriff Evaluationsfaktoren zusammengefassten Einflüsse. Zentrale Frage für die vorliegende Studie war, ob die formalen Erfordernisse der Evaluation von den Beteiligten als so angelegt beurteilt wurden, dass sie das Potenzial zur Nutzung der Ergebnisse hatten.
110
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
Politisches Klima In den Glaubwürdigkeitsstandards des Joint Committee wird betont, dass Evalutor(inn)en informiert sein sollten über politische und gesellschaftliche Einflüsse, insbesondere wenn diese im Zusammenhang mit Geschlecht, Rasse, sozioökonomischem Status, sprachlichen und kulturellen Unterschieden stehen (Sanders 2006: 59). Außerdem wird auf die politische Tragweite von Evaluationen (ebd.: 99) und auf die Notwendigkeit der Kontextanalyse des politischen Umfelds hingewiesen (ebd.: 167). Weiss betont in diesem Sinne, dass bei einem umstrittenen Evaluationsgegenstand, grundsätzlich eine eingeschränkte Nutzung zu erwarten sei und adressiert diese Thematik mehrfach (z.B. Weiss 1986a, 1998). Ein konfliktarmes Umfeld hingegen führt zu positiven Auswirkungen auf die Evaluationsnutzung (Ledermann 2004, zit. nach Balthasar 2007: 61). Politisches (politisiertes) Kernthema war diesbezüglich in der vorliegenden Untersuchung die Laufzeit der Programme. In dieser Untersuchung wird in Anlehnung an die Theorie davon ausgegangen, dass die Laufzeit des Programms im Hinblick auf längerfristige und tiefgreifende Implementierungen und die Motivation für die Nutzung von Evaluationsergebnissen eine entscheidende Rolle spielt. Es stellt sich demnach die Frage, ob zum Zeitpunkt der Evaluation bekannt war, dass es innerhalb der nächsten ein bis zwei Jahre Schwierigkeiten mit der Weiterfinanzierung geben würde und somit der Handlungsspielraum durch eine prinzipielle Unsicherheit gekennzeichnet ist. Die Erfahrung zeigt, dass erfolgreiche und effektive Programme nicht zwangsläufig weiterfinanziert werden, sondern dass es sogar sehr unwahrscheinlich ist, dass die Entscheidung über die Weiterfinanzierung eines Programms abhängig gemacht wird von einer Evaluationsstudie (Clarke/Dawson 1999: 174). Alle untersuchten Evaluationen beschäftigten sich mit Mentoringprogrammen für Mädchen bzw. Frauen (vgl. Kapitel 3.1), diese hatten zumindest implizit das Ziel formuliert, die beruflichen Aufstiegschancen von Mädchen und Frauen im Sinne der Chancengleichheit zu verbessern. Es liegen eine Reihe von Untersuchungen vor, die sowohl wissenschaftsinterne Benachteiligung als auch wissenschaftsexterne Faktoren (sozialisationsbedingte Interessen- und Begabungsdifferenzen) als Ursache für die Ungleichheit untersucht haben (vgl. als Überblick Fox 1995; Long/Fox 1995). Untersuchungen, inwieweit Mentoringprogramme informell entstandene Mentoringbeziehungen ersetzen können und ein differenzierter Blick auf die Chancen und Grenzen von Mentoringprogrammen im Vergleich zu anderen Maßnahmen fehlen bislang (Leicht-Scholten 2005: 104). Keine der Evaluationen hatte solche politisch übergeordneten Fragestellungen zum Thema, die Evaluationen beschäftigten sich in den meisten Fällen mit der Beurteilung der Programme, gemessen an den expliziten (oft kurzfristigen) Zielen und der formativen Evaluation. Wirkungsnachweise im anspruchsvollen sozialwissenschaftlichen Sinne sind für die hier unter-
2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte
111
suchte Programmart (singuläre und modellhafte Interventionen) nicht angemessen und mit den zur Verfügung stehenden Budgets auch nicht möglich und von den Auftraggeber(inne)n nicht intendiert gewesen. 2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte im deutschsprachigen Evaluationsfeld 2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte Im Folgenden werden die aktuellsten Diskussionsstände der Professionalisierungsdebatte zum Evaluationsfeld im deutschsprachigen Raum48 umrissen. Vor dem Hintergrund der zentralen Zielsetzung der vorliegenden Arbeit ist diese Debatte von Relevanz, da der Diskurs neben den Begrifflichkeiten Professionalität, Institutionalisierung und Zertifizierung auch mit Kernkompetenzen von Evaluator(inn)en befasst ist. Speziell für den deutschsprachigen Raum gab es bislang nur wenige Beiträge, die sich mit Professionalisierung von Evaluation befasst haben (vgl. Bergman et al. 1998; Derlien 1990, 1994; Schmidt 2003; Stockmann 2004). Dieses Defizit wurde im Jahr 2009 durch eine Monographie von Tasso Brandt und durch mehrere Beiträge in einem Sammelband (Widmer et al. 2009) gemildert. In dem Beitrag von Manfred M. Bergman et al. (1998) wird der Professionalisierungsstand in der Schweiz zusammengefasst, während sich die Publikation von Thomas Widmer et al. (2009) vor allem mit der institutionellen Einbettung der Evaluationsfunktion in Deutschland, Österreich und der Schweiz beschäftigt. Bei den anderen genannten Veröffentlichungen steht hauptsächlich die Debatte in Deutschland im Fokus. Zunächst wird Evaluationen für die letzten Jahre eine Bedeutungszunahme bescheinigt (vgl. z.B. Brandt 2009; Konzendorf 2009; Stockmann 2004). Diese spiegelt sich in verschiedenen Bereichen wider: An vorderster Stelle sind hier Evaluationsaktivitäten auf verschiedenen politischen Ebenen zu nennen49, wobei den durch die Europäische Union geschaffenen bzw. vorgegebenen Rahmenbedingungen insbesondere in Deutschland ein wesentlicher Einfluss zugesprochen wird (Brandt 2009: 73; Konzendorf 2009: 38). In der jüngeren Vergangenheit hat zudem die Verankerung von Evaluationspflichten in Gesetzen zugenommen (Konzendorf 2009:30)50. Die Schweiz stellt in diesem Kontext einen (weltweiten) Sonderfall dar, da es hier durch den Artikel 170 (zur Überprüfung der Wirksam48 49 50
Für einen Vergleich des Professionalisierungsstands in Nordamerika und Europa vgl. Cook/ Wittmann 1998. Jährlich werden in Deutschland 120 Millionen Euro für die Evaluation von politischen Programmen ausgegeben (Blank/Löwenbein 2009: 81). in Deutschland sind das z.B. §78ff. (KJHG) und §55 (SGB II)
112
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
keit) in der Bundesverfassung der Schweizerischen Eidgenossenschaft einen verfassungsrechtlichen Evaluationsauftrag gibt (vgl. z.B. Mader 2009: 52). Entwicklungen struktureller Ansätze der Professionalisierung von Evaluation werden, wie eingangs erwähnt, zunehmend am Institutionalisierungsgrad abgelesen51. In vielerlei Hinsicht scheint die Institutionalisierung52 der Evaluationsfunktionen in der Schweiz weiter vorangeschritten zu sein als in Österreich und Deutschland (Widmer/Leeuw 2009: 65ff). Für Deutschland kann resümiert werden, dass in Politik und Verwaltung die institutionelle Einbettung der Evaluationsfunktion zunehmend flexibler wird: temporäre Institutionalisierungen ersetzen oder ergänzen dauerhafte Organisationsformen (Konzendorf 2009: 38). Die Chancen und die Gefahren, die eine verstärkte Institutionalisierung mit sich bringt, drücken sich in der Forderung aus, dass die Institutionalisierung mit Bedacht und in einer Weise erfolgen sollte, die eine gezielte sowie selektive und sinnvolle Evaluationsaktivität fördert und Fehlentwicklungen vermeidet (Widmer/Leeuw 2009: 71). Professionalisierungsbestrebungen lassen sich vor allem durch die 1996 erfolgte Gründung der SEVAL und im darauffolgenden Jahr die Gründung der DeGEval erkennen. In der Aufbauphase blieben die Aktivitäten der Evaluationsgesellschaften auf die jeweiligen Länder ausgerichtet, ein systematischer Blick über die Grenzen wurde jedoch zunehmend unabdingbar und stellt eine neuere Entwicklung dar (Balthasar/Spiel 2009: 12). In allen drei deutschsprachigen Ländern wurden bislang keine zentralen Evaluationsagenturen geschaffen, die z.B. sektorübergreifend unter der Integration verschiedener Fachdisziplinen über eine allgemeine Evaluationskompetenz verfügen (Widmer/Leeuw 2009: 66). Dennoch sind einige Entwicklungen und Verteilungen der Evaluationsaktivitäten auf verschiedenen Instanzen zu verzeichnen. So haben sich im Laufe der letzten Jahre Evaluationsverbünde und –agenturen etabliert (in Deutschland z.B. die Zentrale Evaluations- und Akkreditierungsagentur (ZEvA) oder die Evaluationsagentur Baden-Württemberg); weiterhin wurden verschiedene Evaluationsinstitute an Universitäten etabliert wie z.B. das Zentrum für Evaluation und Methoden (ZEM) in Bonn oder das Zentrum für Qualitätssicherung und –entwicklung in Mainz, um nur einige zu nennen (Brandt 2009: 74ff). Nicht zu vernachlässigen sind in diesem Kontext auch die Auflage der Zeitschrift für Evaluation (ZfEv) im Jahr 2002 und die Schaffung des deutschsprachigen Online-Forums: Forum Evaluation53 im Jahr 2000, das im Frühjahr 2010 ca. 600 Mitglieder hatte. 51 52 53
Eine kritische Einschätzung zur Messung des Institutionalisierungsgrades und mögliche Indikatoren werden u.a. von Varone et al. (2005) vorgestellt. Gemeint ist hier die Strukturierung der Beziehung zwischen den staatlichen Instanzen und Evaluationsaktivitäten (Widmer/Leeuw 2009: 65). https://lists.uni-koeln.de/mailman/listinfo/forum-evaluation [04/2010]
2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte
113
Der Begriff der Professionalisierung wird wie eingangs erwähnt in jüngerer Zeit zunehmend auch mit einer Diskussion um eine Zertifizierung bzw. Lizenzierung von Evaluator(inn)en in Zusammenhang gebracht. Das Meinungsbild bezüglich dieses Themenkomplexes scheint in der deutschsprachigen Community sehr divergent zu sein, was u.a. Diskussionsbeiträge im Online-Forum Evaluation, aber auch auf Tagungen belegen (vgl. auch Brandt 2009: 91; Beywl 2009: 16). Eine Zertifizierung von Evaluator(inn)en bzw. ein Gütesiegel wird von den Kritikern als nicht zielführend bewertet, da Evaluationen soziale Prozesse darstellen, die nicht allein durch die Evaluator(inn)en gestaltet werden und ein Gütesiegel den Eindruck erwecken würde, dass eine qualitativ sehr gute Evaluation garantiert sei; zudem erschwere eine auf Minimalanforderungen ausgerichtete Profession die Weiterentwicklung dieser (vgl. Widmer, 05.01.2009; Schwab, 07.01.200954). Ergänzend wurde benannt, dass die Qualitätssicherung für Evaluationen sehr stark von dem Bereich abhängt, in dem Evaluationen stattfinden und dass deshalb keine pauschale Für- oder Gegenargumentation geführt werden kann (Schwab 07.01.200955)56. Nachgewiesen ist, dass die meisten Evaluator(inn)en in der Schweiz über wenig formelles Training in Evaluation verfügen, sondern stattdessen auf „onthe-job-training“ bzw. Selbststudium bauen (Bergman et al. 1998: 7). Da in Deutschland bislang nur wenige einschlägig ausgebildete Evaluator(inn)en im Feld sind, kann davon ausgegangen werden, dass sich die Situation ähnlich wie die von Bergman et al. (1998) beschriebene in der Schweiz gestaltet. Evaluator(inn)en begeben sich auf unzählige Arten und Weisen in das Feld Evaluation. Neben einigen Studiengängen, in denen Lehrveranstaltungen zu Evaluationsund Methodenausbildung integriert sind (in ein- oder zweisemestrigen Angeboten bzw. Projektseminaren), stellen die Entwicklung und Einführung von Masterstudiengängen im Bereich Evaluation in Bern (2002)57, Saarbrücken (2004) und an der Universität Bonn (2008) neuere Professionalisierungsbemühungen dar. Vergleichbare Programme zum „Interdisciplinary Ph.D. in Evaluation“, der von der Western Michigan University in den USA angeboten wird, existieren
54 55 56 57
Beiträge Forum Evaluation, einzusehen unter: https://lists.uni-koeln.de/mailman/listinfo/forumevaluation Beitrag Forum Evaluation, einzusehen unter: https://lists.uni-koeln.de/mailman/listinfo/forumevaluation Zur Professionalisierungs- und Zertifizierungsdebatte in den USA vgl. z.B. House (1993); Morell (1990); Patton (1990); Love (1994) Seit 2008 können in Bern drei verschiedene Abschlüsse erworben werden: (1) Certificate of Advanced Studies in School Evaluation, (2) Diploma of Advanced Studies in Evaluation und (3) Master of Advanced Studies in Evaluation.
114
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
bislang nicht im deutschsprachigen Raum58. Betrachtet man die Absolvent(inn)enzahlen der Evaluations-Ausbildungsgänge in Deutschland so kann vorsichtig prognostiziert werden, dass die Universitäten Saarbrücken und Bonn gemeinsam bis spätestens zum Jahr 2014 100 Graduierte vorweisen werden (vgl. Beywl 2009: 161). An der Universität Bern haben bis zum Jahr 2009 ca. 80 Studierende ein „Diploma of Advanced Studies in Evaluation“ erworben59. Interessant und wegweisend könnte im Rahmen dieser Thematik auch der Ansatz des Instituts für den Situationsansatz (ISTA) der Internationalen Akademie für Innovative Pädagogik, Psychologie und Ökonomie gGmbH (INA) der Freien Universität Berlin sein; hier wird im Feld der Elementarbildung substanziell Evaluationskompetenz aufgebaut und bereits im Jahr 2005 wurden erste externe Evaluator(inn)en lizenziert; bis spätestens zum Jahr 2014 wird das ISTA 200 Graduierte ausbilden (Beywl 2009; dazu auch: Preissing 2003). Im Zusammenhang mit der Aus- und Weiterbildung der Evaluation beschäftigt sich außerdem der seit 2001 bestehende DeGEval-Arbeitskreis „Aus- und Weiterbildung in der Evaluation“. Schwerpunktthema 2009/ 2010 war die „Didaktik der Evaluation“, wobei der Arbeitskreis das Thema auch in 2011 weiterverfolgt und aktuell ein Empfehlungspapier zu dem Thema erarbeitet wird60. Die Frage der Professionalisierung von Evaluation in Deutschland muss je nach Bereich unterschiedlich bewertet werden. Deutlich wird, dass Professionalisierung am Ende eines Professionalisierungsprozesses steht und dieser ist in der deutschsprachigen Evaluationslandschaft auf mehrere Wege gebracht. Abzuwarten bzw. zu steuern gilt, wo und ob diese Wege sich kreuzen bzw. zu welchen Zielen sie führen oder wo sie ggf. in einer Sackgasse enden. Kernkompetenzen stehen, wie deutlich wurde, nicht im Zentrum der Debatte und werden eher im Zuge der Gestaltung von Aus- und Weiterbildung diskutiert, dieses Thema wird daher im nächsten Unterkapitel thematisiert. 2.4.1 Curriculare Verankerung von sozialen und interpersonellen Kompetenzen in Aus- und Weiterbildungsgängen der Evaluation Die deutschen Universitäten bieten – entsprechend der Curricula – nur wenig Training der sozialen und interpersonellen Fähigkeiten an. Aktuelle Studien weisen darauf hin, dass auch U.S.-amerikanische Graduiertenprogramme in Evaluation, insbesondere im Bereich der interpersonellen Kompetenzen, Mängel 58 59 60
Einen Überblick über Evaluationsstudiengänge im europäischen Raum bieten Beywl/Harich (2007) Quelle: http://www.zuw.unibe.ch/content/eval/index_ger.html [01/2011] Quelle: http://www.degeval.de/index.php?class=Calimero_Webpage&id=9035 [04/2010]
2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte
115
aufweisen und hier keine ausreichende Vermittlung erfolgt (z.B. Dewey et al. 2008; Engle et al. 2006)61. Jennifer Dewey et al. (2008) befragten 53 Evaluator(inn)en (darunter gerade Graduierte und bereits Angestellte, die eine Neuanstellung als Evaluator(in) suchten) und 47 Auftraggeber(innen) von Evaluationen in Bezug auf Kompetenzfelder von Evaluator(inn)en: Auftraggeber(inn)en wurden u.a. dazu aufgefordert, 19 vorgegebene Kompetenzfelder für Evaluator(inn)en danach zu bewerten, wie wichtig sie für sie seien, und bis zu drei Kompetenzen auszuwählen, in denen Mängel aufgetreten sind. Evaluator(innen) schätzten eine Liste von 19 Kompetenzen u.a. danach ein, welche durch die universitäre Ausbildung vermittelt wurden und zu welchem Grad sie über die Kompetenzen, die von Auftraggeber(inne)n gefordert werden, verfügen. Die Ergebnisse zeigen, dass bei Evaluator(inn)en im Vergleich der in der universitären Ausbildung vermittelten Kompetenzen und der Selbsteinschätzung über die Beherrschung der Kompetenzen die größte Diskrepanz in Bezug auf die Beziehung zu Klienten und Stakeholdern bestand. Die Autor(inn)en schlussfolgern, dass die Befragten diese Kompetenz nicht in der Aus- und Weiterbildung erworben haben (Dewey et al. 2008: 276). Auch die Auftraggeber(innen) schätzen ein, dass die größten Mängel von Evaluator(inn)en im Kompetenzfeld Beziehung zu Klienten und Stakeholdern auftraten (ebd.: 278): „A lack of communication or interpersonal skills (…) left negative impressions on employers“ (ebd.: 279). Für die deutschsprachigen Studiengänge in Evaluation wäre es von besonderer Bedeutung abzuklären, auf welche Kompetenzen sie ihren Schwerpunkt legen sollen, wie diese zu vermitteln sind und inwieweit die Qualifikation der Absolvent(inn)en den Anforderungen des Evaluationsmarkts gerecht wird. Die Perspektive der Arbeitgeber(innen) für Evaluator(inn)en im deutschsprachigen Raum ist bislang zu wenig bekannt. Im Sinne von einer „Schulung für eine Existenz in der modernen Gesellschaft“ (Mertens 1994: 37) muss ein Kompromiss zwischen angebotsorientierten Ansätzen und nachfrageorientierten Ansätzen geschaffen werden (von Richthofen/Wentzlaff 2005: 3). Die drei deutschsprachigen Universitäten, die Abschlüsse in Evaluation anbieten (vgl. Kapitel 2.4), berücksichtigen in unterschiedlicher Form und unter unterschiedlichen Labels die in dieser Arbeit im Zentrum stehenden Inhalte soziale Kompetenzen und Interaktionsgestaltung in der Evaluation in ihren Curricula. Je nach Kontext ist in den Curricula von Schlüsselkompetenzen (Universität des Saarlandes in Saarbrücken), praktischen Kompetenzen oder Business Skills (Universität Bonn) und Strategien der Kommunikation die Rede oder es erfolgt keine explizite Benennung (Universität Bern) - was einen inhaltlichen Vergleich 61
Für einen Überblick über existierende universitäre Evaluationsprogramme in den USA vgl. LaVelle/Donaldson 2010
116
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
der entsprechenden Bereiche anhand der Curricula erschwert. Mutmaßen lässt sich, dass keine einheitlichen systematischen Schwerpunkte gesetzt werden. Bei genauerer Betrachtung der Curricula fällt auf, dass eine Verbindung der Kompetenzen von Evaluator(inn)en mit der Diskussion von Nutzungsfragen explizit nur in dem Curriculum der Universität Bern62 angeboten wird. Hier gibt es allerdings keine Veranstaltung, die ausschließlich kommunikativen oder sozialen Kompetenzen von Evaluator(inn)en gewidmet ist. Vielmehr scheinen soziale Kompetenzen als eine querliegende Zieldimension betrachtet zu werden und im Rahmen von verschiedenen Veranstaltungen (irgendwie) eine Rolle zu spielen (z.B. „Evaluationsauftrag und Evaluationsplanung“ und „Die Nutzung von Evaluationsergebnissen optimal vorbereiten“), was den unter 2.5 zusammengefassten Kenntnisstand widerspiegelt. Am Zentrum für Evaluation und Methoden der Universität Bonn63 werden unter dem Schwerpunkt praktische Kompetenzen unter anderem Verhaltensweisen im Gespräch mit Auftraggeber(inne)n vermittelt, außerdem gibt es die Möglichkeit das Fach „Ethik und Evaluation“ zu wählen. Unter dem Label „Business Skills“ geht es um Gesprächsführung in verschiedenen Kontexten und Konfliktmanagement. An der Universität des Saarlandes in Saarbrücken soll in Form von Proseminaren „die Erweiterung von sozialen Kompetenzen (soft bzw. social skills), d.h. sozialer und kommunikativer Fähigkeiten, die für eine praktische Tätigkeit als Evaluator(in) unverzichtbar sind“64 erreicht werden. Am Ende des Seminars sollen die Teilnehmer(innen) u.a. in der Lage sein, Kommunikations- und Interaktionsprozesse zu analysieren, Grundlagen der Konfliktbearbeitung und der Mediation zu verstehen und eigene Stärken und Schwächen in der Verhandlungssituation einzuschätzen. Was Jody L. Fitzpatrick für die Kursdichte in U.S.-amerikanischen Masterstudiengängen zu interpersonellen und kommunikativen Fähigkeiten festgestellt hat, kann für den deutschsprachigen Raum nicht uneingeschränkt angenommen werden: „… the value of interpersonal and communication skills cannot be overemphasized. These are skills that practicing evaluators must have. Yet few courses in evaluation programs are devoted strictly to (these) skills (Fitzpatrick 1994: 44).”
Es zeigt sich, dass den sozialen und interpersonellen Fähigkeiten durchaus einzelne Seminare gewidmet sind, dennoch scheinen hier von Standort zu Standort unterschiedliche inhaltliche Schwerpunkte gesetzt zu werden. Es handelt sich dabei ausdrücklich kaum um einen Makel der Weiterbildungseinrichtungen, 62 63 64
http://www.zuw.unibe.ch/content/eval/dasev/kurstermine/index_ger.html [02/2010] http://www.zem.uni-bonn.de/aus-weiterbildung/master-of-evaluation/studieninhalte [02/2010] vgl. http://www.evaluation-master.de/studienaufbau/schluesselqualifikationen1.html [02/2010]
2.4 Die Bedeutung von Kernkompetenzen in der Professionalisierungsdebatte
117
sondern zeigt in eindrücklicher Weise den aktuellen Status Quo im Bereich der Evaluations(nutzungs)forschung (vgl. Kapitel 2.5) und die Auswirkungen auf die Praxis. Bemängelt werden muss eine fehlende Auseinandersetzung mit dem Kompetenzbegriff bzw. mit Kernkompetenzen für Evaluator(inn)en in der Evaluations(nutzungs)forschung. Je genereller Kompetenzen gefasst und untersucht werden (z.B. soziale Kompetenzen), desto geringer scheint der Beitrag dieses Kompetenzbereichs zu einem zu lösenden Problem. Eine Konkretisierung und vor allem Kontextualisierung von Schlüsselkompetenzen für Evaluator(inn)en, insbesondere was diejenigen Kompetenzen angeht, die außerhalb von Methodenkenntnissen und administrativen Fähigkeiten liegen, scheint eine Voraussetzung für die sinnvolle Implementierung in Aus- und Weiterbildungsprogramme zu sein. Systematische Überlegungen bezüglich von Kompetenzen sind dabei nicht nur mit dem hier gewählten Fokus auf Evaluationsnutzungen, sondern auch unter andere Schwerpunkten, wie z.B. Evaluationspraxis und hier z.B. bei der Lösung von Konflikten oder der Planung von Evaluationen (Stevahn et al. 2005: 46) notwendig. Dies ist nur durch die Kombination von theoretischen und empirischen Überlegungen und Untersuchungen möglich (Gilomen et al. 2001: 250). Die Identifikation von kontextunabhängigen Kern- oder Schlüsselkompetenzen beinhaltet eine Reihe zu bedenkender Aspekte, wie z.B. die Unterscheidung von Wissen, Erfahrungen und Wahrnehmung: Kompetenzen sind mehr als nur Wissen oder nur Erfahrung (Weinert 2001: 45f). Spezifisches Wissen, eingebettet in Erfahrungen, ist demnach notwendig, um vorhandene Kompetenzen in einen Problemlöseprozess zu implementieren (Mertens 1994, 1994: 18; Weinert 2001: 45ff). Zwei Initiativen scheinen für die weitere Entwicklung besonders wichtig zu sein: (1) Die Durchführung systematischer Studien, die einen Konsens darüber schaffen, was praktisch tätige Programmevaluator(inn)en als essentielle Kompetenzen für die professionelle Praxis ansehen (vgl. auch Stevahn et al. 2005) und (2) eine deskriptive Beschreibung der so generierten Kompetenzen, die diverse Level der professionellen Umsetzung umfasst, damit diejenigen, die die Curricula für universitäre Programme zur Aus- und Weiterbildung in Evaluation gestalten, nicht ausschließlich darauf angewiesen sind, dies auf Basis von wahrgenommenen Bedürfnissen oder persönlichen Präferenzen zu tun (vgl. ebd.: 45). Die so gewonnenen Erkenntnisse müssten dann in weiterführenden Studien auf ihre Relevanz in verschiedenen Kontexten hin untersucht werden. Einschränkend scheint jedoch die Vielfältigkeit und Instabilität von relevanten Werten in einer
118
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
typischen Programmevaluation zu sein, sie ist der erste Stolperstein auf dem Weg zur Konstruktion von rational-deduktiven Nutzungssystemen. 2.5 Anmerkungen zum Status Quo – ein Zwischenfazit zur Evaluationsnutzungsforschung und zu sozialen und interpersonellen Einflüssen 2.5 Anmerkungen zum Status Quo Das Zwischenfazit adressiert zunächst vier zentrale Aspekte und Kritikpunkte an die Evaluationsnutzungsforschung. Danach werden sechs Befunde, die die hier im Zentrum stehenden Faktoren der sozialen Kompetenzen und der Interaktionsgestaltung betreffen, zusammengefasst.
Weder im deutschen noch im angloamerikanischen Sprachraum liegen allgemein gültige Definitionen der Begrifflichkeiten Evaluation und somit auch Evaluationsnutzung vor. Dies trägt sicherlich zu großen Teilen dazu bei, das bis heute weder eine konkrete Nutzungstheorie vorliegt noch deutlich wird, welche Faktoren auf welcher Ebene einen Einfluss auf die Nutzungen von Evaluationen und deren Ergebnissen haben. Die Erfassung von Nutzungen und Faktoren mit Einfluss auf Nutzungen kann über verschiedene Zugänge erfolgen (vgl. dazu Weiss 1982). Diese Komplexität wird durch verschiedene Designs (retrospektiv, simulativ, längsschnittlich etc.) noch erweitert und ist zudem gekennzeichnet durch eine hohe Varianz in Bezug auf die Stichprobengröße, den theoretischen Bezug der Studien und die verwendeten Instrumente. Somit ist die Frage zu stellen, inwiefern die Ergebnisse überhaupt eine Vergleichbarkeit zulassen und inwiefern sich die einzelnen bis heute existierenden Studien überhaupt aufeinander beziehen können. Die gesamte Nutzungsforschung bezieht sich auf theoretische Überlegungen und Konstrukte aus den 70er und 80er Jahren (vgl. Kirkhart, 2000). Die gesamte existierende Forschung zur Nutzung von Evaluationen wurde von Evaluator(inn)en durchgeführt. Kritisch betrachtet werden muss, dass jede(r) Evaluator(in) sicherlich aufgrund von gemachten Erfahrungen und von Ausbildung Theorien dazu hat, wie Evaluation „funktioniert“. Eine Werturteilsproblematik in Bezug auf die Voreingenommenheit von Evaluationsforschenden ist im evaluationstheoretischen Diskurs verschiedentlich angesprochen worden (vgl. dazu Campbell 1984). Als Status quo der Forschung zu den Faktoren mit Einfluss auf Evaluationsnutzung lassen sich für soziale Kompetenzen und Interaktionsgestaltung folgende sechs Befunde festhalten:
2.5 Anmerkungen zum Status Quo
119
Obwohl sich die Evaluationsnutzungsforschung mit Nutzungs- und Aneignungsprozessen auseinandersetzt, stellen soziale Kompetenzen und Interaktionsgestaltung keine expliziten Konstrukte dar. Dementsprechend gibt es bisher keinen differenzierten Blick auf den möglichen Einfluss dieser Faktoren auf die Nutzungen von Evaluationen. Dies ist umso verwunderlicher, da soziale Kompetenzen und Interaktionsgestaltung in normativer Hinsicht als hoch bedeutsam im Evaluationskontext angesehen werden. Befunde zu beruflicher Identität, Grundeinstellungen zu Evaluation und deren Nutzung, sozialen Kompetenzen und kommunikativen Fähigkeiten werden als Einflussfaktoren auf Evaluationsnutzungen wenig differenziert dargestellt. In Bezug auf soziale und interaktive Faktoren und deren Untersuchung gibt es bislang keine gemeinsame Fachsprache, d.h., unter identischen Begrifflichkeiten werden verschiedene Inhalte untersucht oder für ein und dasselbe Konstrukt werden unterschiedliche Termini genutzt. Dadurch werden Vergleiche zwischen verschiedenen Studien erschwert. Die Begrifflichkeiten halten einen großen Interpretations- und damit auch Gestaltungs- und Auslegungsspielraum bereit. Seit Bestehen der Nutzungs- bzw. Verwendungsforschung wird eher intuitiv mit den Begrifflichkeiten umgegangen. Die Perspektiven unterscheiden wenig zwischen Verantwortlichkeiten, die in den Bereich der potenziellen Nutzer(innen) fallen und solchen, die Kernkompetenzen professionellen evaluatorischen Handelns ausmachen. Die Extraktion von implizierten Kompetenzen drängt dementsprechend entweder die eine oder die andere Gruppe in eine eher passive, rezeptive Rolle und beinhaltet kaum einen komplementären Betrachtungsaspekt. Dabei sind es insbesondere die auf Partizipation ausgerichteten Evaluationsmodelle, welche forschungsrelevante Unterscheidungen zwischen der Perspektive der potentiellen Nutzer(innen) und der Evaluator(inn)en unmöglich machen (Stamm 2003a: 335).
Als Ergebnis der Evaluationsnutzungsforschung zum Einfluss von sozialen Kompetenzen und Interaktionsgestaltung auf die Nutzungen von Evaluationen liegen eine Reihe von Annahmen (mit dazugehörigen Modellen) vor. Nicht alle Faktoren sind empirisch verifiziert bzw. in vielen Fällen liegen widersprüchliche Ergebnisse bezüglich des Einflusses auf Nutzungen vor.
Qualitativ wird häufig nicht klar, wie und ob die oben besprochenen Subkategorien von sozialen Kompetenzen normativ gefasst werden. Das heißt es bleibt unklar, ob bei der Diskussion um soziale Kompetenzen vorausgesetzt wird, dass pro sozial gehandelt und interagiert wird, oder ob unter Umstän-
120
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
den auch anti-soziales Agieren als sozial kompetent im Sinne von Evaluationsnutzungen eingeschätzt werden kann. Trotz intensiver Nutzungsforschung scheint es nach wie vor einen Mangel an praxisnahem nutzungsorientiertem Verständnis über die sogenannten „soften“ Faktoren, die zu einer Nutzung beitragen, in der Community zu geben. Es gibt zudem Hinweise darauf, dass die Annahme und Umsetzung der bereits gewonnenen Kenntnisse teilweise noch ganz am Anfang steht. Die Community entwickelt erst langsam ein Verständnis für die Wichtigkeit von sinnvollen, innovativen und dynamischen Mechanismen für follow-ups und die Entwicklung systematischer Disseminationsmethoden für verschiedene Stakeholder (Sandison 2006).
2.6 Untersuchungsmodell Wie eingangs ausgeführt, ist das zentrale Anliegen der vorliegenden Arbeit herauszufinden, ob Interaktionsgestaltung und soziale Kompetenzen von Hauptinteraktionspartner(inne)n für die Evaluationsnutzungen bei Mentoring-Programmevaluationen eine Bedeutung haben und wie diese ggf. präzisiert und erklärt werden kann. Umfeld- und Prozessmerkmale werden als kontrollierende Größe einbezogen. Dazu ist zunächst generell anzumerken, dass im folgenden Untersuchungsmodell die Interaktion während einer Evaluation als permeabler Prozess angesehen wird: Die Beteiligten einer Evaluation haben die Möglichkeit, sich gegenseitig zu beeinflussen, d.h. gesellschaftliche Realität zu kontrollieren und die Interaktion zu gestalten. Sowohl Evaluator(inn)en als auch Evaluationsteams als Ganzes und deren Hauptinteraktionspartner(innen)65 interagieren miteinander, sind beeinflusst durch den Gesamtevaluationsprozess und beeinflussen ihn ihrerseits. Die sozialen Kompetenzen werden bei dieser Betrachtung als notwendige Handlungsvoraussetzungen zur Meisterung der Interaktionsanforderung gesehen (vgl. Seyfried 1995a). Ob einzelne soziale Kompetenzen der Hauptinteraktionspartner(innen) von Bedeutung für Evaluationsnutzungen sind, soll durch die vorliegende Untersuchung geklärt werden. Evaluation wird demnach in dieser Arbeit als sozialer Prozess (Braybrooke/Lindblom 1963: 17ff) aufgefasst. In der Analyse wird als Ausgangspunkt zunächst jeder, der für diese Arbeit relevanten 65
Da diese Untersuchung zeigt, dass auch Evaluator(inn)en von Evaluationen profitieren und dementsprechend auch Nutzer(innen) von Evaluationen sein können, wäre der Begriff „Nutzer(innen)“ für die Evaluierten bzw. deren Ansprechpartner(innen) verfehlt. Im Folgenden wird daher von Hauptinteraktionspartner(innen) der Evaluation gesprochen, da diese auch als Interviewpartner(innen) ausgewählt wurden. Je nach Kontext könnten auch Begriffe wie Adressaten, Akteure, Evaluierte, Programmpartner(innen), Zielgruppe etc. verwendet werden.
2.6 Untersuchungsmodell
121
Bedingungen das gleiche Gewicht gegeben. Dem metatheoretischen Modell liegt die Annahme zugrunde, dass soziale Kompetenzen, Interaktionsgestaltung und Umfeld- und Prozessmerkmale Bedingungen für das Auftreten von Evaluationsnutzungen darstellen.
Abbildung 11: Untersuchungsmodell: Nutzungsbeeinflussende Bedingungen Im Folgenden sollen die einzelnen Befunde der vorangegangenen Literaturanalyse als Komponenten zum Untersuchungsmodell dieser Studie verdichtet werden: Die empirische Untersuchung baut auf einem Evaluationsnutzungsbegriff auf, der sowohl direkte als auch indirekte Nutzungen, ihr zeitliches Auftreten und einen personellen Aspekt berücksichtigt (siehe Kapitel 2.2.4). Von Evaluationsnutzungen (als Zielvariable bzw. Outcome) wird entsprechend dann ausgegangen, wenn als Folge oder im Prozess (zeitlich) von Evaluation direkt oder indirekt Handlungen und/oder Veränderungen im Denken und/oder Bestätigungen des bereits angenommenen (inhaltlich) mit der Evaluation assoziiert werden, dies kann auf individueller, interpersoneller und/oder kollektiver Ebene (perso-
122
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
nell) passieren. Eine Verbindung zwischen einer Evaluation und deren Nutzungen wird dann hergestellt, wenn die Betroffenen und Beteiligten einer Evaluation sie selbst auch herstellen. Organisationsbezogene Variablen mit Effekten auf Evaluationsnutzungen werden dezidiert nicht berücksichtigt. Insbesondere die inhaltliche Dimension des hier zugrunde liegenden Evaluationsnutzungsbegriffs bedarf einiger zusätzlicher Hinweise. Als Hinweise für direkte Nutzungen werden folgende Aspekte gewertet:
Inhaltliche Veränderungen aufgrund der Evaluation (vgl. Shadish et al. 1991; Rossi/Freeman 1993) Evaluation zu Legitimationszwecken (vgl. Johnson 1998; Clarke/Dawson 1999; Huberman 1987) Bestätigung von bereits Gewusstem durch die Evaluation (vgl. Alkin et al. 1979) Diskussion der Evaluationsergebnisse (vgl. Cook/Pollard 1977) Netzwerkerweiterung als direkte (geplante) Nutzungsmöglichkeit der Evaluation (in Anlehnung an Fitzpatrick et al. 2004)
Als indirekte Nutzungen werden in vorliegendem Untersuchungsmodell folgende sechs Kriterien verstanden:
Netzwerkerweiterung (Kontakte) (vgl. Forss et al. 2002) Wissenszuwachs durch Erfahrungsaustausch mit anderen Expert(inn)en (vgl. Forss et al. 2002) Sensibilisierung für ein bestimmtes Thema durch die Durchführung der Evaluation (vgl. Alkin et al. 1979; Leviton/Hughes 1981; Patton 1997; Rich 1977; Stamm 2003a; Vedung 1999) Wissenszuwachs für den Umgang mit Evaluationen (vgl. Forss et al. 2002) Motivationsanschub (vgl. Forss et al. 2002) Nutzung einzelner Ergebnisse oder Instrumente für andere Projekte (vgl. Forss et al. 2002)
In den vorangegangenen Unterkapiteln wurde das Konstrukt soziale Kompetenzen aus drei verschiedenen Blickwinkeln (Evaluationsnutzungsforschung, Psychologie, Teilbereich der Empfehlungen der DeGEval) betrachtet. Dabei konnte ein Minimalset von neun Kompetenzen, die immer wieder als relevant im Evaluationsnutzungskontext diskutiert werden, generiert werden (vgl. Kapitel 2.3.1.4). Zu den Kompetenzen liegen teilweise widersprüchliche Ergebnisse und Ansich-
2.6 Untersuchungsmodell
123
ten vor. Berücksichtigt man Aspekte der Messbarkeit66 dieser Konstrukte (vgl. Kapitel 2.3.1.1.1), können sieben soziale Kompetenzbereiche in das Untersuchungsmodell integriert werden, diese sind:
Flexibilität (FL) (vgl. z.B. Alkin 1985; Hossiep/Paschen 2003; Johnson 1998; Stamm 2003a) Handlungsorientierung (HO) (vgl. z.B. Alkin et al. 1979, 1985; Hossiep/Paschen 2003; Johnson 1998) Sensitivität (SEN) (vgl. z.B. Galinsky/Mussweiler 2001; Hossiep/Paschen 2003; Leviton/Hughes 1981; Patton 1997) Kontaktfähigkeit (KO) (vgl. z.B. Alkin 1985; DeGEval 2008b; Hossiep/Paschen 2003; Patton 1997;) Soziabilität (SOZ) (vgl. z.B. DeGEval 2008b; Hossiep/Paschen 2003; Kanning 2002; Patton 1997) Teamorientierung (TO) (vgl. z.B. Hossiep/Paschen 2003; Patton 1997) Durchsetzungsstärke (DU) (vgl. z.B. Hossiep/Paschen 2003; Patton 1997).
Eine Vielzahl von Interaktionsmodellen mit Kombinationen situativer und/oder personaler Voraussetzungen ist denkbar und könnte einer empirischen Analyse unterzogen werden. Das Modell, was dieser Untersuchung zu Grunde liegt, beinhaltet sowohl kontextgebundene als auch individuumszentrierte Aspekte und orientiert sich an den Standards des Joint Committee (Sanders 2006: 131). Entsprechend werden zur Einschätzung der Interaktionsgestaltung die Konstrukte:
Verfügbarkeit Wertschätzende Grundhaltung Gestaltung der Kommunikation (dazu auch Cousins/Leithwood 1993; Mertens 1994)
berücksichtigt. Um Faktoren einzubeziehen, die jenseits der drei genannten Eckpfeiler liegen, werden zusätzlich Einschätzungen zur
Zufriedenheit mit der Interaktionsgestaltung insgesamt
beachtet.
66
Ein Messinstrument, das alle hier relevanten Kompetenzen vereint, stand zum Zeitpunkt der Durchführung der Untersuchung noch nicht zur Verfügung. Aus diesem Grund konnten die Kompetenzen „Führungsverhalten“ und „Selbstaufmerksamkeit/ Reflexion“ nicht berücksichtigt werden.
124
2 Konzeptueller Rahmen zur Generierung des Untersuchungsmodells
In verschiedenen Evaluationsnutzungsmodellen werden unterschiedlichste Umfeld- und Prozessmerkmale der Evaluation als Einflussfaktoren benannt. Fünf gängige Schwerpunkte, die konsistent in Bezug zu Evaluationsnutzungen gebracht werden, wurden in das Untersuchungsmodell integriert, diese sind:
Einhaltung der Genauigkeitsstandards des Joint Committee (vgl. z.B. Sanders 2006) Integration von Nutzungsprozessen (vgl. z.B. Huberman/Cox 1990; Hannum/Martineau 2008; Reisner et al. 1982; Stamm 2003a) Orientierung an den Informationsbedürfnissen (vgl. z.B. Balthasar 2007; Patton 1997; Sanders 2006) Einhaltung formaler Erfordernisse (vgl. z.B. Alkin 1975; Sanders 2006) Politisches Klima (vgl. z.B. Weiss 1986a, 1998)
Die Operationalisierung der Bedingungen und des Outcomes wird unter 3.6 vorgestellt.
3.1 Gegenstand der Evaluationsstudien: Mentoringprogramme
125
3 Empirisches Vorgehen
3.1 Gegenstand der Evaluationsstudien: Mentoringprogramme Bevor genauer auf die methodischen Aspekte der Untersuchung eingegangen wird, befasst sich das Unterkapitel 3.1 mit dem Gegenstand der untersuchten Evaluationsstudien. Alle Evaluationen, die im Rahmen dieser Arbeit untersucht wurden, beschäftigten sich mit Mentoringprogrammen für Frauen und waren an Universitäten angebunden. Die hier vorgenommene genauere Darstellung des Gegenstands der Evaluationsstudien soll der Klärung des Kontext und des Zwecks, zu dem die untersuchten Programme ins Leben gerufen wurden, dienen und so zum besseren Gesamtverständnis des Umfelds, in dem die untersuchten Evaluationen stattgefunden haben, beitragen. Mentoring wird in Deutschland seit den 90er Jahren erprobt. In den USA ist das Konzept bereits seit den 70er Jahren etabliert. Der Begriff Mentor/in kann auf die griechische Mythologie zurückgeführt werden67 (vgl. Hall 2003; Mischau 2000; Segerman-Peck 1994). Traditionelle Definitionen von Mentoring gehen von einer dyadischen Beziehung aus, in der der/die erfahrenere Mentor/in eine beratende Funktion für eine/n weniger erfahrene/n Mentee übernimmt (vgl. Janasz/Sullivan 2004). Neuere Mentoringkonzepte fokussieren nicht ausschließlich auf eine persönliche Förderbeziehung zwischen Mentor/in und Mentee, sondern beinhalten oft auch alternative Formen des Mentorings, wie z.B. Gruppen- oder Peer-Mentoring und E-Mentoring. Übergeordnetes Ziel bei allen diesen Formen des Mentoring ist, dass der/die Mentee die bestmögliche Position erreicht, die seiner/ihrer Qualifikation entspricht (vgl. Höppel 2000). Kernstück von Mentoringprogrammen ist demnach die Beziehung zwischen Mentor/in und Mentee, in der ein Austausch über berufliche aber auch persönliche Themen stattfindet (vgl. Projektgruppe „Mentoring für Frauen in Europa“ 2000). Kathy Kram (1988) benennt essentielle Charakteristika, die eine gewöhnliche Arbeitsbeziehung von 67
Die griechische Mythologie besagt, dass Odysseus den griechischen Gebildeten Mentor bat, sich seines Sohnes Telemachos anzunehmen und diesen während seiner Abwesenheit zu erziehen. Mentor ist der griechischen Sage zufolge die Inkarnation einer Frau, nämlich Athenas, der Göttin der Weisheit. Die Geschichte bietet neben diesem viele Beispiele von MentoringBeziehungen, z.B: Sokrates und Platon, Haydn und Beethoven und Freud und Jung (vgl. Shea 2002).
M. Sandermann, Die Bedeutung von Soft Skills für Evaluationsnutzungen, DOI 10.1007/978-3-531-92895-1_4, © VS Verlag für Sozialwissenschaften | Springer Fachmedien Wiesbaden GmbH 2011
126
3 Empirisches Vorgehen
einer sich entwickelnden Mentoring-Beziehung unterscheiden. Diese differenziert sie in Karriere-Funktionen und psychosoziale Funktionen (vgl. Kram 1988: 22 – 38). Generell wird zwischen informellen Mentoring-Beziehungen und formalisierten Mentoring- Programmen unterschieden. In letztgenannten, die Gegenstand der hier untersuchten Evaluationsstudien sind, sind die MentoringBeziehungen in formalisierte Programme eingebunden, die einen bestimmten zeitlichen Rahmen haben und sich aus verschiedenen Bestandteilen zusammensetzen. Grundlegende Bausteine aller formalisierten Mentoring- Programme sind: der Auswahlprozess von Mentees und Mentor(inn)en, der Prozess der Paarbildung (das sogenannte Matching), die Treffen der Mentees mit ihren Mentor(inn)en und ein Rahmenprogramm, das aus begleitenden Seminaren und Feedbackveranstaltungen besteht. Diese einzelnen Komponenten werden je nach organisatorischen Rahmenbedingungen, Zielsetzung und finanziellen Ressourcen unterschiedlich ausgestaltet (vgl. Projektgruppe „Mentoring für Frauen in Europa“ 2000). Informell entstandene Mentoring-Partnerschaften dauern in der Regel 3-6 Jahre, formell entstandene Mentoring-Partnerschaften 6-12 Monate (Allen/Eby 2004). Neben der Diskussion der Mentoringform gibt es inzwischen zahlreiche Literatur zu unterschiedlichen Aspekten des Mentoring, von der hier nur eine Auswahl genannt werden soll:
Faktoren für effektives Mentoring (z.B.: Allen/Eby 2004; Allen/Finkelstein 2003; Projektgruppe „Mentoring für Frauen in Europa“ 2000; Schliesselberger/Strasser 2000; Shea 2002; Stöger et al. 2009) die Kombination der Geschlechter in einer Mentoring-Beziehung: sameGender vs. cross-Gender-Mentoring (z.B.: Allen/Eby 2004; Ragins/Cotton 199968). Negative Mentoringerfahrungen (z.B.: Bierbaumer/Kersic 2002; Eby/ McManus 2004; Etzkowitz et al. 1992; Johnson/Huwe 2002)
Mentoring ist in den letzten Jahren zunehmend zu einem Instrument geworden, mit dem auf ungleiche Geschlechterkonstellationen in verschiedenen Disziplinen und Führungspositionen reagiert wird. Mentoring ist ein sehr vielseitiges und variables Konzept, das von der Grundkonzeption nicht nur für Frauen angeboten wird, sondern ebenso für gemischtgeschlechtliche Gruppen und für Männer; allerdings wurde bei der Recherche nach Programmen kein einziges Programm
68
Hier muss angemerkt werden, dass diese Studien sich ausschließlich auf Aussagen der Mentees beziehen und es keine Hinweise über die Sichtweise der Mentoren und Mentorinnen gibt.
3.1 Gegenstand der Evaluationsstudien: Mentoringprogramme
127
für Männer oder beide Geschlechter gefunden69. Dies hat sicherlich mit dem Fokus auf Mentoring an Hochschulen zu tun und dem Faktum, dass von insgesamt 9777 C4-Stellen und 2870 W3- Stellen deutschlandweit nur 10% (C4) und 18,6% (W3) von Frauen besetzt sind. In der Professor(inn)enschaft insgesamt, einschließlich der Juniorprofessuren, sind Frauen mit 16,2% vertreten (vgl. Statistisches Bundesamt 2007). D.h. trotz Frauenförderplänen an den Hochschulen und zahlreicher so genannter frauenfördernder Maßnahmen70 im Wissenschaftsbereich hat sich die Zahl der Frauen in den Spitzenpositionen der C4- bzw. W3Professuren in den letzten zehn Jahren nur wenig erhöht. Obwohl die Bildungsbeteiligung von Männern und Frauen qualitativ angeglichen ist und im schulischen Bildungsbereich mittlerweile mehr Mädchen als Jungen das Abitur erlangen, bleiben bei der Entscheidung zur Promotion und noch stärker zur Habilitation oder beim Anstreben einer Führungsposition die Anteile der Frauen deutlich hinter denen der Männer zurück. Zudem zementiert die Studienfach- bzw. Berufswahl von Mädchen und Jungen die geschlechtsspezifischen Ungleichheitsstrukturen (Blättel-Mink 2000). So sind es vorwiegend Männer aus bildungsnahen Milieus, die im Wissenschaftssystem die höheren Ränge besetzen, während vor allem Frauen aber auch Männer aus unteren Schichten bei gleicher Qualifikation untervertreten sind und nicht die gleichen Karrierechancen haben (Lehmann 2002). Die Ursachen hierfür sind vielfältig und wurden aus verschiedenen Perspektiven untersucht: neben zahlreichen feministischen Beiträgen (z.B. HagemannWhite 1993; Hark 2007; Fox Keller