Delphi- Befragungen Ein Arbeitsbuch 2. Auflage

Michael Häder Delphi-Befragungen

Michael Häder

DelphiBefragungen Ein Arbeitsbuch 2. Auflage

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.

. 2. Auflage 2009 Alle Rechte vorbehalten © VS Verlag für Sozialwissenschaften | GWV Fachverlage GmbH, Wiesbaden 2009 Lektorat: Frank Engelhardt VS Verlag für Sozialwissenschaften ist Teil der Fachverlagsgruppe Springer Science+Business Media. www.vs-verlag.de Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Umschlaggestaltung: KünkelLopka Medienentwicklung, Heidelberg Druck und buchbinderische Verarbeitung: Ten Brink, Meppel Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Printed in the Netherlands ISBN 978-3-531-16655-1

Inhalt

Vorwort ................................................................................................................... 9 1

2800 Jahre Delphi: Ein historischer Überblick ................................... 13

2 2.1 2.1.1

Begriffsbestimmungen ........................................................................... Was sind Delphi-Befragungen? ............................................................... Delphi-Befragungen als Verfahren zur Steuerung von Gruppenkommunikation ........................................................................... Delphi-Befragungen als Verfahren zur Erforschung bestimmter Sachverhalte ............................................................................................. Diskussion der Definitionen ..................................................................... Typen von Delphi-Befragungen: Ein Einteilungsversuch ........................ Die klassische Delphi-Befragung ............................................................. Varianten .................................................................................................. Die Grenzen von Delphi-Befragungen, oder: Wie Experten irren (können) ................................................................................................... Delphi-Befragungen zur Ideenaggregation, Vorhersage von Sachverhalten, Ermittlung von Expertenansichten und zur Konsensfindung ........................................................................................

2.1.2 2.1.3 2.2 2.2.1 2.2.2 2.3 2.4

19 19 19 21 22 24 24 25 27

30

3 3.1 3.2 3.3 3.3.1 3.3.2 3.4 3.5

Wissenschaftstheoretische Grundlagen ................................................ 39 Erkenntnistheoretische Grundlagen .......................................................... 39 Das „1 + n“ Argument .............................................................................. 40 Kognitionspsychologische Grundlagen .................................................... 43 Die Urteilsbildung in der ersten Welle ..................................................... 44 Die Urteilsbildung in den Folgewellen ..................................................... 48 Das SIDE-Modell ..................................................................................... 50 Die Schätzung von Eintrittswahrscheinlichkeiten ……………………...… 53

4 4.1 4.2 4.3

Delphi-Befragungen in Vergleich zu ähnlichen Ansätzen ................... Gruppendiskussionen ............................................................................... Expertenbefragungen ............................................................................... Deliberative Polls .....................................................................................

55 55 60 63

6

Inhalt

5 5.1 5.2

Anwendungsgebiete von Delphi-Befragungen ..................................... 65 Vorhersagen von Entwicklungen auf unterschiedlichen Gebieten ........... 65 Delphi-Befragungen mit weiteren Zielstellungen ..................................... 72

6 6.1 6.2 6.3

Planung von Delphi-Befragungen ......................................................... Vor Beginn der Studie .............................................................................. Kostenverursachende Faktoren bei einer Delphi-Befragung .................... Besonderheiten der Planung rein quantitativer DelphiBefragungen .............................................................................................. Vergabe der Feldarbeit an ein kommerzielles Institut .............................. Selbstorganisierte Delphi-Befragungen ....................................................

6.4 6.5 7 7.1 7.2 7.2.1 7.2.2 7.2.3 7.2.4 7.2.4.1 7.2.4.2 7.2.4.3

7.2.4.4 7.2.4.5 7.2.5 7.2.6 7.3 7.4 7.5 7.6 7.6.1 7.6.2 7.6.3

77 77 80 83 84 85

Designs von Delphi-Befragungen .......................................................... 87 Operationalisierung der Fragestellung und Aufbereitung des Problems mithilfe der Facettentheorie ..................................................................... 88 Theorie und Praxis der Rekrutierung der Experten .................................. 92 Überlegungen zur Zusammensetzung der Expertengruppe ...................... 92 Hinweise zum Umfang der Expertengruppe ............................................. 95 Die bisherige Praxis bei der Zusammenstellung der Expertengruppe, eine Auswahl ............................................................................... 96 Wie findet man Experten für eine Delphi-Befragung? ............................. 99 Das Vorgehen bei der Rekrutierung von Experten für eine (rein) qualitative Delphi-Befragung ................................................................. 100 Das Vorgehen bei der Rekrutierung von Experten für eine DelphiBefragung zur exakten Bestimmung eines Sachverhalts ........................ 102 Das Vorgehen bei der Rekrutierung von Teilnehmern für eine DelphiBefragung zur Ermittlung der Ansichten einer bestimmten Experten gruppe .................................................................................................... 104 Die Rekrutierung von Teilnehmern für eine Delphi-Befragung zur Konsenserzeugung ........................................................................... 107 Zusammenfassung .................................................................................. 109 Innerbetriebliche Delphi-Befragungen ................................................... 109 Praktische Tipps ..................................................................................... 112 Die qualitative Befragungsrunde ............................................................ 116 Zahl der Befragungsrunden .................................................................... 119 Fragebogen und Anschreiben an die Teilnehmer für die quantitative Bewertung .......................................................................... 121 Fragetypen in Delphi-Studien ................................................................ 125 Die subjektive Kompetenzfrage ............................................................. 126 Die Schätzung von Zeitintervallen ......................................................... 128 Die Schätzung weiterer numerischer Angaben ....................................... 130

Inhalt

7.6.4 7.6.5

7

7.8 7.9 7.9.1 7.9.2 7.9.3 7.10 7.11

Die Bewertung von Entwicklungen, Folgeproblemen, Szenarien u.ä. .... Die Bewertung des gleichen Sachverhalts aufgrund unterschiedlicher Fragestellungen ............................................................................ Fragen zur Person des Experten ............................................................. Die Erhebung von Megatrends ............................................................... Die Aufnahme offener Fragen in die quantitativen Wellen und die Bitte um Kommentare ............................................................................ Zu komplexe Indikatoren und Fragen, die für Delphi-Studien weniger geeignet erscheinen .................................................................. Pretest .................................................................................................... Das klassische Vorgehen ........................................................................ Kognitive Methoden .............................................................................. Expertenratings ...................................................................................... Ein Beispiel: Der Pretest zur Delphi-Befragung „Zukunft des Handwerks“ ............................................................................................ Anonymität ............................................................................................. Das Feed-back ........................................................................................ Feed-back bei numerischen Schätzungen ............................................... Feed-back bei Bewertungen von Sachverhalten ..................................... Feed-back bei offenen Fragen ................................................................ Rücklaufkontrolle und Panelmortalität ................................................... Abschlussberichte ..................................................................................

8 8.1 8.2 8.3

Computerunterstützte Delphi-Befragungen ...................................... Stand der Dinge ...................................................................................... Beispiele ................................................................................................. Zusammenfassung der Vor- und Nachteile ............................................

9

Der Datenschutz bei Delphi-Befragungen .......................................... 171

10 10.1 10.2 10.3

Datenerfassung und –analyse................................................................ 175 Aufbereitung der Daten .......................................................................... 175 Facettentheoretisch gestützte Datenanalyse ........................................... 177 Weitere Vorgehensweisen bei der Datenauswertung ............................. 186

11 11.1 11.2 11.3 11.4

Evaluation von Delphi-Befragungen .................................................. Generelle Ziele der Evaluation ............................................................... Evaluation aufgrund vorhergesagter Ereignisse ..................................... Evaluation mithilfe von Almanachfragen ............................................... Begründung der Funktionsweise von Delphi-Befragungen mithilfe kognitionspsychologischer Tests ..............................................

7.6.6 7.6.7 7.6.8 7.6.9 7.7 7.7.1 7.7.2 7.7.3 7.7.4

132 134 134 135 136 137 139 140 141 142 142 148 150 151 154 155 157 160 163 163 164 168

191 191 193 194 199

8

Inhalt

11.5 11.6

Vergleich von Delphi-Befragungen mit anderen Ansätzen .................... 206 Tests mithilfe eines manipulierten Feed-backs ....................................... 208

12

Methodenforschung zu Delphi-Befragungen ..................................... 211

Literatur .............................................................................................................. 215 Anhang: Auswahl von Delphi-Studien ............................................................. 235 Personenregister ………………………………………………..………………. 243

Vorwort

Seit Mitte der 1990-er Jahre ist eine erhöhte Aufmerksamkeit gegenüber DelphiBefragungen zu bemerken. So wurde damals zum Beispiel ein gestiegener Beratungsbedarf für dieses Verfahren am Zentrum für Umfragen, Methoden und Analysen1 in Mannheim (ZUMA) registriert. Auch gegenwärtig erhält der Autor zahlreiche Anfragen, die den Delphi-Ansatz betreffen. Vermehrt sind Delphi-Befragungen beziehungsweise deren Ergebnisse auch Gegenstand der Ausbildung an Universitäten und Fachhochschulen geworden. Großes Interesse ist an den inzwischen vorgelegten Publikationen zu Delphi-Befragungen zu konstatieren. Hier zeichnet sich jedoch insbesondere ein Bedarf an Veröffentlichungen ab, die überblicksartig erklären, wie diese Befragungen anzulegen sind. Diese Monographie versucht nun – zum Teil im Sinne eines How-to-do – dieser Erwartung gerecht zu werden. Gegenstand sind außerdem die Erfahrungen im Umgang mit Delphi-Befragungen, die aus einer Vielzahl von Studien gewonnen wurden und die auf diesem Weg einem breiteren Interessentenkreis vorgestellt werden sollen. Um das Gewicht des Themas Delphi-Befragungen einleitend noch weiter herauszuarbeiten, sollen zwei Autoritäten aufgerufen werden: der Wissenschaftsrat, der die Bundesregierung und die Regierungen der Länder in Fragen der inhaltlichen und strukturellen Entwicklung der Hochschulen, der Wissenschaft, der Forschung und des Hochschulbaus berät sowie der ehemalige Präsident des Wissenschaftszentrums für Sozialforschung in Berlin und Vorsitzender der Deutschen Gesellschaft für Soziologie, Wolfgang Zapf. Der Wissenschaftsrat hat in seinen Thesen zur zukünftigen Entwicklung des Wissenschaftssystems in Deutschland empfohlen, im Rahmen eines vom Staat initiierten Programmfindungsprozesses, in dessen Verlauf die Kooperation von Wissenschaft, Wirtschaft und Staat gefördert wird, auch Delphi-Befragungen zu nutzen: „Der Programmfindungsprozess sollte möglichst transparent unter Einbeziehung aller relevanten Akteure gestaltet werden. Moderne diagnostische Instrumente wie z.B. Prospektions- und Delphi-Verfahren sollen bei der Programmfindung soweit wie möglich und sinnvoll einbezogen werden“ (Drs. 4594/00 vom 7. Juli 2000:17). Für den Wissenschaftsrat ist die Delphi-Technik offenbar vor allem deshalb interessant, weil mit

1

Das ZUMA ist inzwischen im GESIS – Leibniz Institut für Sozialwissenschaften aufgegangen. Mehr Informationen über die GESIS finden sich im Internet unter der folgenden URL: http://www.gesis.org/ (aufgerufen am 1.07.2009)

10

Vorwort

ihrer Hilfe Konsens unter den beteiligten Experten2 beziehungsweise Institutionen erzielt werden kann. Auch aus der Sicht der Sozialwissenschaften wurde implizit ein dringender Bedarf an Ansätzen wie der Delphi-Technik konstatiert. So bemerkte Zapf auf einer Feier aus Anlass des 25-jährigen Bestehens von ZUMA zu den Entwicklungstendenzen in der sozialwissenschaftlichen Methodik: „Noch immer ungeküsst ist die Idee einer prospektiven Sozialberichterstattung. Dies meint Versuche, die verstreuten prognostischen Verfahren ... systematisch auszubauen, um neben die Retrospektivund Status quo-Beschreibung auch kontrollierte Prognosen oder Vergleiche alternativer Zukunftsentwürfe stellen zu können“ (Zapf 1999:29 [Hervorhebung im Original; M.H.]). Die Attraktivität von Delphi-Befragungen resultiert damit auch aus deren Vermögen, prognostische Aussagen zu treffen. Die vorliegende Monographie beginnt mit einem historischen Exkurs zum Orakel von Delphi, einem Ort im heutigen Griechenland (Abschnitt 1). Diesem verdankt die Befragungstechnik ihren Namen. Es wird weiter gezeigt, welche Entwicklung die Anwendung des Delphi-Gedankens seit seiner „Wiederentdeckung“ Ende der 1940er Jahre genommen hat. Danach (Abschnitt 2) wendet sich die Darstellung den verschiedenen Begriffsbestimmungen für Delphi-Befragungen zu. Eine Reihe vorliegender Ansichten wird referiert und auf deren Grundlage ein Vorschlag für die Systematisierung von Delphi-Befragungen abgeleitet. Es schließt sich (Abschnitt 3) die Beschreibung der wissenschaftstheoretischen Grundlagen von Delphi-Befragungen an. Mit dieser Beschreibung wird der Versuch unternommen, einer bisher nicht eingelösten Forderung nach theoretischer Fundierung des Ansatzes nachzukommen. Es folgen ein Vergleich des Delphi-Ansatzes mit anderen methodischen Zugängen (Abschnitt 4) wie Gruppendiskussionen und Expertenbefragung sowie eine Beschreibung der bisherigen Anwendungsgebiete (Abschnitt 5) von Delphi-Befragungen. Einen relativ großen Raum nimmt nachfolgend die Darstellung der praktischen Aspekte, die bei der Veranstaltung von Delphi-Befragungen beachtet werden sollten, ein. Beginnend mit der Erstellung eines Projektplanes (Abschnitt 6) wird ausführlich behandelt, wie ein geeignetes Befragungsdesign (Abschnitt 7) gefunden werden kann. Innerhalb dieses Abschnittes wird beispielsweise auf die Operationalisierung der Fragestellung, die Rekrutierung der Teilnehmer, die Erstellung des Fragebogens, den Pretest sowie auf die Gestaltung des Feed-backs eingegangen. Der Abschnitt schließt mit Hinweisen für die Dokumentation des methodischen Vorgehens bei einer Delphi-Befragung.

2

Wenn nicht ausdrücklich auf das weibliche oder männliche Geschlecht hingewiesen wird, sind personenbezogene Begriffe wie Expertinnen und Experten generisch gemeint.

Vorwort

11

Eine besondere Spezifik besitzen computerunterstützte Delphi-Befragungen, bei denen der Kontakt zwischen den Teilnehmern über das Internet vermittelt wird. Diese Vorgehensweise, die in Zukunft noch stark an Bedeutung gewinnen dürfte, wird in einem eigenen Abschnitt (Abschnitt 8) vorgestellt. Der Designentwicklung schließt sich dann die eigentliche Erhebungsphase an, während der von den Experten die Fragebögen bearbeitet werden. In diesem Rahmen sind die Bestimmungen des Datenschutzes zu beachten. Der Datenschutz bei DelphiBefragungen wird ebenfalls in einem separaten Abschnitt besprochen (Abschnitt 9). Der Feldphase folgt schließlich die Erfassung und Aufbereitung der Daten sowie die Darstellung der Befragungsresultate. Hier sind Aufgaben zu lösen, für die in der Umfrageforschung bereits Standards vorliegen. Vor allem bei der Datenanalyse gibt es aber durchaus einige delphispezifische Arbeitsschritte. Letzteren wird eine besondere Aufmerksamkeit geschenkt (Abschnitt 10). In einem gesonderten Abschnitt werden Ansätze zur empirischen Evaluation von Delphi-Befragungen (Abschnitt 11) behandelt. Der Anwender, den die Frage bewegt, inwieweit er den Ergebnissen seiner Delphi-Befragung Vertrauen schenken kann und/oder der nach Argumenten sucht, um Kritiker vom Funktionieren des benutzten Ansatzes zu überzeugen, wird in diesem Abschnitt Argumente finden. Abschließend wird der Stand der methodischen Bemühungen um DelphiBefragungen (Abschnitt 12) vorgestellt. Trotz einer bereits längeren Tradition, die es bei der Anwendung dieser Befragungstechnik durchaus gibt, ist die Entwicklung des Verfahrens noch nicht abgeschlossen. Ein Bedarf an Grundlagenforschung lässt sich vor allem in Bezug auf die weitere Evaluation des Gesamtansatzes sowie in Hinsicht auf die Entwicklung von Standards für das Forschungsdesign lokalisieren. Das Buch endet (Anhang) mit einer umfangreichen Literaturzusammenstellung sowie mit der kurzen Benennung von 68 Delphi-Befragungen unterschiedlichsten Charakters aus den letzten Jahren. Sie werden ergänzt werden durch zahlreiche Verweise auf weitere Quellen, die es dem Leser ermöglichen, zusätzliche Informationen zu diesen Arbeiten einzuholen. Auch aus diesen beiden Abschnitten kann ein potenzieller Anwender von Delphi-Befragungen Anregungen für sein Vorhaben gewinnen. Dies ist letztlich zugleich auch das Grundanliegen der gesamten hier vorliegenden Monographie. Für hilfreiche Kritik, nützliche Hinweise, große Geduld, interessante Anregungen, aufmerksames Zuhören und liebevolle Ermutigungen möchte ich mich vor allem bei meiner Frau, Dr. Sabine Häder, bedanken. Große Unterstützung bei der Fertigstellung des Manuskripts habe ich von Frau Laura Menze erhalten. Auch hierfür möchte ich mich an dieser Stelle bedanken.

1 2800 Jahre Delphi: Ein historischer Überblick

Eine Sage erzählt, dass es anfänglich in Delphi eine Kultstätte der Mutter- und Erdgöttin Gaia gab, die von ihrem Sohn, dem Drachen Python, bewacht wurde. Als Apollon auf der Suche nach einer Heimstätte nach Delphi gelangte, beschloss er, sich hier niederzulassen. Er tötete den Drachen und übernahm das Heiligtum der Gaia. Die ersten Priester seines neuen Heiligtums wurden kretische Seefahrer, die er in Gestalt eines Delfins auf dem Seeweg zur Bucht von Delphi führte. Später versöhnte sich Gaia mit Apollon und dieser hielt ihrem getöteten Sohn zu Ehren alle vier Jahre die pythischen Spiele ab.1 Etwa seit dem 8. Jahrhundert vor Christi Geburt stand in Delphi ein Tempel, der ein Orakel beherbergte. Die Blütezeit dieses Orakels lag im 6. und 5. Jahrhundert vor Christus. Apollon, der Gott der Weisheit, sprach durch seine Priesterin, Pythia genannt, und erfüllte sie mit seiner Weisheit, so dass sie Ratsuchenden helfen konnte. Wenn man einen Rat brauchte, ging man zur Priesterin Pythia und unterrichtete sie. Dann formulierte man seine Frage und legte sie dem Orakel schriftlich vor. Danach hatte man sein Opfer zu bringen und auf den Tag der Orakelgebung zu warten. Die Antwort wurde von der Pythia schließlich in Versen gesprochen oder gereimt verkündet. Die Ratschläge wurden allerdings zumeist zweideutig formuliert: Zum Beispiel wurde Kroisus gesagt, wenn er in den Krieg ziehe, werde er ein großes Reich zerstören. Er dachte, dass das Reich seines Gegners gemeint sei. Allerdings zerstörte er durch den Krieg dann sein eigenes Reich. Vermutlich wurden die meist aus dem Dorf von Delphi stammenden jungen Frauen, die jeweils zur Priesterin bestimmt wurden, durch Kauen von Lorbeerblättern in Rauschzustände versetzt und gaben unartikulierte Laute von sich. Daraus wurde von Priestern der eigentliche Spruch in Versform oder auch in Prosa formuliert. Die Pythia nahm an den Beratungen der Priester teil und verkündete nur deren Ergebnis. Sie saß in der Mitte eines Raumes im hinteren Teil des Apollontempels auf einem goldenen Dreifuß. Man nimmt weiterhin an, dass es neben dem Spruchorakel auch ein „Bohnen“Orakel gab, bei dem durch Losverfahren Fragen mit „ja“ oder „nein“ beantwortet wurden. Beispielsweise konnte aus einem Gefäß, das mit schwarzen und weißen Bohnen gefüllt war, eine entnommen werden. Bei Ziehung einer weißen Bohne lautete die Antwort „ja“, bei Ziehung einer schwarzen „nein“.

1

Zur Mythologie vgl. zum Beispiel: http://www.geschi.de/artikel/orkdelph.shtml (letzter Zugriff 27.05.2009) und: http://www.gottwein.de/Hell2000/delph02a.php (letzter Zugriff 27.05.2009)

14

2800 Jahre Delphi

Durch das Orakel konnte Delphi seit dem 8. und 7. Jahrhundert vor Christus auf nahezu alle griechischen Städte politischen und sozialen Einfluss ausüben, da das Orakel besonders bei staatsrechtlichen Fragen wie Kolonisation oder Entscheidungen über Krieg und Frieden zu Rate gezogen wurde. Die größte Blütezeit des Orakels endete mit dem Sieg der Griechen über die Perser 480 vor Christus, da von nun an die politische Beratungsfunktion des Orakels in den Hintergrund trat und es nur noch persönliche Angelegenheiten zu behandeln hatte. Eine kurze Renaissance erlebte Delphi bis 170 nach Christus unter den römischen Kaisern Domitian und Hadrian, die dem Ort zu neuem Glanz verhalfen. Das endgültige Aus kam für das Heiligtum dann im Jahre 381 nach Christus, als Kaiser Theodosius die Einführung des Christentums als Staatsreligion beschloss und den Kult verbot. Nach dem heutigen Stand der Forschung liegt die Hypothese nahe, dass die Priester des Orakels die Antworten auf wichtige Fragen diplomatischer Abgesandter schon vorab festgelegt hatten. Insofern betrieb das Orakel Politik, um die antike Welt zu lenken. Sicher ist, dass in Delphi umfangreiche Kundendateien geführt wurden und die Priester aufgrund ihres hohen Bildungsniveaus und mithilfe weitreichender Kontakte – man könnte mit modernen Begriffen auch von ihrem Expertenstatus sprechen – eine profunde Kenntnis über weltpolitische Angelegenheiten besaßen. Zum Teil wird sogar davon ausgegangen, dass eine Art Agentennetz unterhalten wurde, das dem Orakel eine frühzeitige Informationsbeschaffung sicherte. (vgl. Grupp 1995:26ff.) Diese antike Orakelstätte stand schließlich bei der Namensgebung der DelphiMethode, die auf den Altphilologen A. Kaplan (1950) zurückgeht, Pate. (vgl. Falke/Krüger 2000:19f). Vergleicht man das in der Sage beschriebene Orakel und den Befragungsansatz, der heute den Namen Delphi trägt, so fallen immerhin einige originelle Parallelen auf: ĺ Die Nutzer des Orakels hatten Opfergaben zu bringen, die Vorhersagen waren damit nicht kostenlos erhältlich. ĺ Bei Befragung des Orakels musste eine gewisse Wartezeit eingeplant werden, die Ergebnisse lagen also auch nicht sofort vor. ĺ Um vom Orakel Auskunft zu erhalten, musste die Anfrage schriftlich formuliert werden. Die Form der schriftlichen Befragung mithilfe eines Fragebogens wurde ebenfalls bis heute beibehalten. ĺ Dem Orakelspruch lagen, ähnlich wie auch in der modernen Version, Beratungen in Expertengruppen zugrunde. ĺ Die Antworten des Orakels waren nicht eindeutig, es blieb bereits damals Interpretationsspielraum bei der Auslegung der Ergebnisse.

2800 Jahre Delphi

15

ĺ Schließlich lieferte das Delphi-Orakel Informationen, mit deren Hilfe Einfluss auf das politische Leben in dieser Zeit ausgeübt werden konnte. Auch dies dürfte auch heute noch ein angestrebtes Ziel sein. Der erste Verweis in neuerer Zeit auf die Benutzung eines Ansatzes, das nach dem Orakel von Delphi benannt wurde, stammt aus dem Jahr 1948. Damals soll diese Technik dazu benutzt worden sein, um die Ergebnisse eines Hunde- oder Pferderen2 nens vorauszusagen. In den folgenden Jahren wurde die Delphi-Methode von der RAND Corporation in 14 Experimenten für militärische Zwecke eingesetzt, beispielsweise um mögliche Ziele sowjetischer Angriffe auf die USA zu schätzen. Wissenschaftliche Ergebnisse dieser Studien sind jedoch nicht publiziert worden (vgl. Linstone/Turoff 1975:10). „It may be a surprise to some that the subject of this first study was the application of ‚expert opinion to the selection, from the point of view of a Soviet strategic planner, of an optimal U.S. industrial target system and to the estimation of the number of A-bombs required to reduce the munitions output by a prescribed amount‘“ (Linston/Turoff 1975:10). In der Öffentlichkeit bekannt wurde die Delphi-Methode schließlich durch einen 1964 ebenfalls von der RAND Corporation erarbeiteten „Report on a Long Range Forecasting Study“ (Gordon/Helmer 1964). Das Ziel dieser Studie bestand in der langfristigen Vorhersage wissenschaftlicher und technischer Entwicklungen, wobei eine Zeitspanne von zehn bis fünfzig Jahren als Zeithorizont definiert wurde. Diese Untersuchung wird – fälschlicherweise – in der deutschsprachigen Literatur oft als die erste bezeichnet (vgl. Albach 1970; Geschka 1977; Saliger/Kunz 1981). Seit den 1970-er Jahren fand dann eine Ausbreitung der Delphi-Methode auch in Westeuropa − einschließlich in Deutschland − statt (vgl. Schöllhammer 1970, Klages 1971, Kaufmann 1972). Das methodische Vorgehen bei diesen Folgestudien war zunächst stark vom erwähnten RAND Corporation-Projekt beeinflusst (vgl. Helmer/Rescher 1960; Brown/Cochran/Dalkey 1969, Dalkey/Brown/Cochran 1969, Brown/Helmer 1964). Insbesondere in der Betriebswirtschaft kam es zur Rezeption der Delphi-Methode für Prognosezwecke. Die Einsatzgebiete wurden dann aber schnell vielfältiger, so dass Thomas Seeger bereits 1979 schätzte, es habe innerhalb der 15-jährigen Anwendungsdauer cirka 1.500 Delphi-Untersuchungen verschiedenster Art gegeben (Seeger 1979:32). Als eine der ersten Delphi-Prognosen zur Entwicklung von Wissenschaft und Technologie wurde eine 1971 in Japan vom National Institute of Science and Technology Policy (NISTEP) veranstaltete Delphi-Untersuchung (vgl. NISTEP 1993, 1997; Cuhls/Breiner/Grupp 1995:1) besonders bekannt. Diese ist in den Jahren 2003/2004 zum achten Mal durchgeführt worden und repräsentiert damit eine weit 2

Die Angaben darüber, ob es sich um ein Hunde- oder Pferderennen handelte, widersprechen sich (Woudenberg 1991:132 verus Seeger 1979:57).

16

2800 Jahre Delphi

über 30-jährige Forschungserfahrung. Die neunte Welle ist für die Jahre 2006 bis 2010 geplant.3 Seit Beginn der 1990-er Jahre kann – auch in Deutschland – nach einer gewissen „Ruhephase“ wieder ein stark steigendes Interesse an der Delphi-Technik konstatiert werden. Dafür ist eine Reihe neuer Publikationen ein Indiz. Hierbei handelt es sich im Wesentlichen um Berichte über praktische Einsätze von Delphi-Befragungen. Zu nennen sind insbesondere die Technologievorhersagen in der Bundesrepublik, die hier erstmals 1993 nach japanischem Vorbild veranstaltet wurden (Cuhls/Blind/ Grupp 1998:3). Etwa zur gleichen Zeit sind vermehrt methodische Tests, die der weiteren Entwicklung und der Evaluation der Delphi-Methode dienen, bekannt geworden (vgl. Ammon 2006:115ff.). Problematisch ist, dass Berichte über die Ergebnisse von Delphi-Befragungen teilweise relativ schwierig auffindbar sind. Wer vermutet beispielsweise hinter einer Publikation mit dem Titel „Bildstörung“ (Hasse 1999) die Beschreibung eines besonders originellen Delphi-Ansatzes, zumal auch in den Stichworten zu dieser Monographie kein Verweis auf diese Methode enthalten ist? Als Ursachen für das gewachsene Interesse an Delphi-Befragungen werden eine in dieser Zeit verstärkt wahrgenommene allgemeine Unsicherheit, der verschärfte Wettbewerb auf den Weltmärkten, die Globalisierung der Wirtschaftsunternehmen, der immer unüberschaubarer werdende technische Fortschritt und die dadurch erzwungene Suche nach Orientierungswissen genannt. Michael Häder und Sabine Häder heben besonders die folgenden vier Aspekte, die für das gewachsene Interesse an der Delphi-Methode verantwortlich gemacht werden können, hervor (Häder/Häder 2000:12): ĺ Weitreichende Entscheidungen in Wirtschaft und Wissenschaft müssen von immer mehr Experten vorbereitet und getragen werden. ĺ Experten mit Universalwissen und Universalverantwortungsbereitschaft, die eventuell als Einzelpersonen dazu in der Lage wären, die entsprechenden Entscheidungen zu treffen, werden seltener. An deren Stelle tritt eine Anzahl hoch spezialisierter Fachleute für einzelne Gebiete (Expertengremien). ĺ Entscheidungen dieser Art werden immer komplizierter und komplexer, ihr Zeithorizont wesentlich weiter. Erinnert sei beispielsweise an die Diskussion um den Bau des Transrapid oder um den Klimawandel. ĺ Weitreichende Entscheidungen sind schließlich häufig mit besonders hohen Kosten verbunden. An dieser Stelle soll nicht unerwähnt bleiben, dass selbst die historischen Forschungen zum Orakel von Delphi, das als das wohl berühmteste der antiken Welt gilt, gegenwärtig sehr intensiv betrieben werden. So interessieren sich Historiker bei3

Weitere Informationen zu diesem Ansatz finden sich im Internet unter der folgenden URL: http://www.nistep.go.jp/index-e.html (letzter Zugriff 27.05.2009)

2800 Jahre Delphi

17

spielsweise für die Herkunft der göttlichen Dämpfe, die aus einer Erdspalte unterhalb ihres Tempels strömten und die bei der Priesterin für die nötigen Inspirationen sorgten. „Als der Apollo-Tempel Ende des 19. Jahrhunderts ausgegraben wurde, entdeckten Archäologen weder einen Riss in der heiligen Erde noch irgendwelche berauschenden Ausdünstungen. Möglicherweise, so die Deutung vieler Altertumsforscher, stand Pythia gar nicht unter Drogeneinfluss, sondern hatte einen tranceähnlichen Bewusstheitszustand eingenommen.“4 Die Suche nach diesem Riss ließ einigen Geologen, Anthropologen und Meereskundlern keine Ruhe. Das britische Wissenschaftsmagazin „Nature“ berichtet nun im Juli 20015 in seiner Online-Ausgabe, von der Entdeckung einer zuvor unbekannte Spalte, die direkt unterhalb des Tempels und des Allerheiligsten verläuft. Die Bruchzone wird sowohl von aktiven als auch von ausgetrockneten Quellen unterbrochen. Auch in der Fachzeitschrift „Geology“ wird über die seit langem bekannte Delphi-Verwerfung direkt unterhalb des Tempels diskutiert. Danach werden an derartigen Kreuzungen die darüber liegenden Kalksteinschichten besonders durchlässig für Gase und Grundwasser. Durch seismische Aktivitäten könnten schließlich kohlenwasserstoffhaltige Dämpfe an die Oberfläche gekommen sein. Tatsächlich soll sich im Nordwesten des Tempels eine Quelle befinden, die Spuren von Methan und Äthylen enthält. Dem Gas, früher als Betäubungsmittel eingesetzt, wird ein süßlicher Geruch nachgesagt. Es stimuliert das zentrale Nervensystem, ist in großen Mengen tödlich, in kleinen dagegen ungemein euphorisierend. Offensichtlich genau die richtigen Zutaten für ein funktionierendes Orakel.

4 5

Vgl. Spiegel online unter der folgenden URL: http://www.spiegel.de/wissenschaft/mensch/0,1518,145502,00.html (letzter Zugriff 27.05.2009) Vgl. im Internet unter der URL: http://www.nature.com/news/2001/010717/full/news010719-10.html (letzter Zugriff 27.05.2009)

2 Begriffsbestimmungen

Die Darstellung von Begriffsdefinitionen wird als Einstieg gewählt, um einen ersten Eindruck vom Wesen der Delphi-Befragungen zu vermitteln. In den folgenden Abschnitten (2.1 bis 2.3) werden zunächst eine Reihe von Definitionsversuchen aufgelistet und dabei deren Spezifika diskutiert. Auf der Grundlage dieser Analyse wird dann (Abschnitt 2.4) ein eigenes Konzept vorgestellt, das vier Typen von DelphiBefragungen unterscheidet. 2.1

Was sind Delphi-Befragungen?

Sucht man in den vorliegenden Veröffentlichungen nach Definitionen und in deren Kontext nach Beschreibungen des Wesens von Delphi-Befragungen, so eröffnet sich ein buntes Bild. Die Bestimmungen der Delphi-Methode haben seit ihren Anfängen in den 1950-er Jahren bis heute eine deutliche Diversifikation erfahren. Diese Vielfalt dokumentiert zugleich die sich seitdem ändernden, das heißt sowohl die sich ausdifferenzierenden als auch die diffuser werdenden Erwartungen an diese Methode. Geht man davon aus, dass sich in den unterschiedlichen Definitionsvorschlägen die Intentionen der Autoren beziehungsweise der Anwender ausdrücken, dann lassen sich aufgrund der jeweiligen Beschreibung von Delphi-Befragungen bereits auch bestimmte Erwartungen an diese Methode aufzeigen. Ein solches Potpourri an Darstellungen wurde für die folgenden beiden Abschnitte zusammengetragen. Sie sollen einen Eindruck von der Vielfalt an Vorstellungen über die Delphi-Methode geben. Dabei zeichnen sich zunächst zwei Richtungen ab: Delphi-Befragungen werden erstens vorrangig als eine spezifische Form der Gruppenkommunikation angesehen und zweitens werden Delphi-Studien mit der Bearbeitung spezieller inhaltlicher Fragestellungen in Verbindung gebracht. 2.1.1

Delphi-Befragungen als Verfahren zur Steuerung von Gruppenkommunikation

Eine ganze Reihe von Autoren sehen Delphi-Befragungen primär als ein Instrument zur verbesserten Erfassung von Gruppenmeinungen beziehungsweise für eine gezielte Steuerung der Gruppenkommunikation (vgl. Linstone/Turoff 1975:3; Bardecki 1984:281; Dalkey/Helmer 1963; Richey et al. 1985:136; Murry/Hammons 1995; Delbecq/van de Ven/Gustafson 1975; Duffield 1993:227; Erffmeyer et al. 1986:121 und Köhler 1992).

20

Begriffsbestimmungen

Folgende Definitionen sollen hier beispielhaft für diese Facette widergegeben werden: ĺ „The Delphi technique is a questionnaire method for organizing and sharing opinion through feedback.“ (Bardecki 1984:281, vgl. auch Dalkey/Helmer 1963.) ĺ „An alternative means of accessing expert opinion and evaluating incomplete information is the Delphi technique, a systematic procedure for soliciting the advice of a number of experts, and forging a consensus from that advice.“ (Richey et al. 1985:136) ĺ John W. Murry und James O. Hammons (1995) definieren unter Rückgriff auf die Bestimmung von Andre L. Delbecq, Andrew van de Ven und David Gustafson (1975) Delphi-Befragungen als „eine Methode für die systematische Sammlung von Urteilen zu einem bestimmten Gegenstand mit Hilfe einer sorgfältig designten, wiederholten Fragebogenaktion, in die zusammengefasste Informationen und Feed-back über die Meinungen der anderen Teilnehmer eingestreut sind. ĺ Unter Verwendung von Begriffen aus der Systemtheorie werden DelphiBefragungen auch als selbstlernende Systeme beschrieben, bei denen „die Kommunikationsprozesse zwischen den vielfältigen, dezentralen Akteuren eines nationalen Innovationssystems, die konsultative Komponente und das Feed-back zu zentralen technologiepolitischen Instanzen“ in den Vordergrund treten (Aichholzer 2000:68). ĺ Die Delphi-Technik ist „an accepted method of achieving consensus among experts,“ wobei zugleich das Hauptproblem von Delphi in der Feststellung des erforderlichen Grades an Konsens bestehen soll (Duffield 1993:227). ĺ Delphi ist ein „excellent forum for reaching a consensus about complex conceptual problems in the field of environmental assessment (and, presumably, in other multidisciplinary fields)“ (Richey et al. 1985:145). ĺ Anderen Auffassungen zufolge wurden Delphi-Befragungen entwickelt, um den Einfluss von „high-status members“ einer Gruppe zu reduzieren (vgl. Riggs 1983:89). ĺ Delphi „can be used for any purpose for which a committee or decision-making group is appropriate“ (Erffmeyer et al. 1986:121). ĺ Schließlich sollen noch zwei Ansichten zitiert werden, die den Delphi-Ansatz als besondere qualitative Technik darstellen. Danach ist Delphi vor allem geeignet, um Meinungen zu sammeln und um Diskussionen anzuregen und weniger dazu, um im Rahmen von Tiefenanalysen genutzt zu werden (vgl. Goodman 1987:732). Ähnlich argumentieren auch Erdener Kaynak, Jonathan Bloom und Marius Leibold (1994:19): „The Delphi technique is used to generate rather than to test hypotheses, to map out a field rather than to test relationships within it“ (vgl. auch Kaynak/Macaulay 1984).

Begriffsbestimmungen

21

Die meisten Definitionen betonen die durch das Delphi-Design beziehungsweise konkret durch das Feed-back ausgelöste Gruppenkommunikation als typisches Merkmal dieses Ansatzes. Konsens und die Verhinderung einer Meinungsführerschaft in einer Gruppensituation sind danach weitere Kennzeichen von DelphiBefragungen. 2.1.2

Delphi-Befragungen als Verfahren zur Erforschung bestimmter Sachverhalte

In anderen Bestimmungen werden stärker inhaltliche Aspekte, vor allem das potenzielle Leistungsvermögen von Delphi-Befragungen als ein Ansatz für Problemlösungen – hauptsächlich für Prognosen – in den Vordergrund bei der Beschreibung von Delphi gerückt (vgl. zum Beispiel Richey et al. 1985:145; Ono/Wedemeyer 1994: 290). Einige solcher Bestimmungen sollen im Weiteren wiederum beispielhaft vorgestellt werden: Die Delphi-Technik als „cornerstone of future research“ ist nach Ryota Ono und Dan J. Wedemeyer (1994:290) inzwischen das am meisten genutzte Verfahren für Zukunftsvorhersagen, sie ist ein effizienter und effektiver Gruppenkommunikationsprozess, der viele psychologische Ablenkungen von Gruppenkommunikationen vermeidet und den Experten auf ihren jeweiligen Gebieten systematisch Urteile entlockt (vgl. auch Rowlands 1969). Auch deutschsprachige Ansätze betonen das besonders Potenzial von DelphiBefragungen als Instrument für die Zukunftsforschung: „Das heute verfügbare bestmögliche Instrumentarium zur übergreifenden, langfristigen Technikvorausschau sind Delphi-Untersuchungen“ (Cuhls/Breiner/Grupp 1995:1). Die Funktion von „Delphi as a judgment aiding/enhancing tool“ betonen schließlich Gene Rowe, George Wright und Fergus Bolger (1991:236). Ein neuer Aspekt wird mit dem Verweis auf die psychologischen Aspekte von Delphi und durch einen Rückgriff auf die Entscheidungstheorie in folgender Bestimmung angesprochen. Häder und Häder definieren: „Die Delphi-Methode ist ein vergleichsweise stark strukturierter Gruppenkommunikationsprozess, in dessen Verlauf Sachverhalte, über die naturgemäß unsicheres und unvollständiges Wissen existiert, von Experten beurteilt werden. (1995:12)“ Diese Definition beinhaltet bereits eine Synthese, indem sie sowohl die bei Delphi-Befragungen stattfindende Gruppenkommunikation betont als auch – mit der Strukturierung unsicheren Wissens als Ziel von Delphi-Befragungen – eine Beschreibung des Einsatzgebietes dieser Methode hervorhebt. Folgende Bestimmungen gehen in eine ähnliche Richtung: „It has been indicated in such studies that the Delphi technique is suitable to use when dealing with uncertainties in an area of imperfect knowledge“ (Kaynak et al. 1994). Die Autoren gehen noch etwas weiter und behaupten: „If basic data are sparse or lacking, there may be no alternative to the Delphi technique“ (1994:19).

22

Begriffsbestimmungen

„Today, ... , a review of the literature indicates that it (gemeint ist das DelphiVerfahren; M.H.) is considered a reliable qualitative research method with potential for use in problem solving, decision making, and group consensus reaching in a wide variety of areas“ schreiben Murry und Hammons (1995:425) unter Bezugnahme auf Arbeiten von Samuel W. Cochran (1983), Robert C. Judd (1972), Harold A. Linstone und Murry Turoff (1975) sowie Norman P. Uhl (1983). Auf die Fruchtbarkeit eines psychologischen Ansatzes in der Diskussion um die Spezifik von Delphi verweist – seine Testergebnisse zusammenfassend – auch Michal J. Bardecki (vgl. 1984:291). Dessen Untersuchungen betreffen zum Beispiel die kognitiven Dissonanzen bei den teilnehmenden Experten, das Ego-involvement für die Teilnahmebereitschaft und den Grad der Neigung zu Meinungsänderungen bei Delphi-Befragungen. Darauf wird jedoch später noch weiter eingegangen werden (vgl. Abschnitt 11.4). Diese Zusammenstellung soll mit der folgenden, etwas ausgefallenen Beschreibung abgeschlossen werden: „Thus, according to Coates, Delphi is a technique of 'last resort,' to be used when no adequate models exist upon which some statistical prediction or judgment might be based“ (vgl. Coates 1975 zitiert nach Rowe et al. 1991: 236). 2.1.3

Diskussion der Definitionen

Harold Sackman wertete 1975 die Beschreibungen von über 150 Delphi-Studien aus und stellte daraufhin fest, dass es (bis zu diesem Zeitpunkt noch) keine anerkannte Arbeitsdefinition von Delphi gebe (zitiert nach Goodman 1987:731). Dies bestätigt sich offensichtlich auch in der obigen Zusammenstellung. Die zitierten Beschreibungen von Delphi-Befragungen zeigen jedoch eine gewisse Entwicklung: Während zunächst gruppendynamische Prozesse für die Bestimmung des Wesens von Delphi-Befragungen (eher) zentral waren, betonen neuere Beschreibungen stärker den Problemlösungscharakter beziehungsweise das Umgehen mit Ungewissheit und heben den Zusammenhang zwischen gezielt gesteuerten Gruppenprozessen und der Aufklärung bestimmter Sachverhalte hervor. Aus einigen Darstellungen von Delphi-Befragungen geht weiterhin hervor, dass es sich inzwischen um eine etablierte Methode handelt. Grundsätzliche Zweifel am Funktionieren des Delphi-Ansatzes werden faktisch nicht mehr geäußert. Vor allem die wahrgenommene Zuverlässigkeit von Delphi-Prognosen (vgl. auch Abschnitt 11) ist hierzu wahrscheinlich ein wesentlicher Anlass. Auf gegenüber dem Delphi-Ansatz geäußerte Kritik wird später vertiefend eingegangen werden (vgl. Abschnitt 2.3). Einigkeit herrscht in den zitierten Quellen auch über die Grundidee von Delphi. Diese besteht darin, in mehreren Wellen Expertenmeinungen zur Problemlösung zu nutzen und sich dabei eines anonymen Feed-backs zu bedienen. In den zusammengestellten Äußerungen ist kaum Polemik bei der Beschreibung des Wesens von Delphi zu finden. Ein Disput über die „richtige“ Definition von

Begriffsbestimmungen

23

Delphi-Befragungen ist bisher nicht geführt worden. Es entsteht vielmehr der Eindruck, als würde jeder Autor sein Vorgehen als mehr oder weniger typisch für eine Delphi-Befragung ansehen. So beziehen sich viele Autoren zunächst auf die Arbeit von Linstone und Turoff (1975), in der der Delphi-Ansatz erstmals umfassend beschrieben wurde. Danach kündigen sie – oftmals ganz selbstverständlich – Modifikationen dieses Designs an. Auf zwei Aspekte des Verständnisses des Delphi-Ansatzes soll in diesem Zusammenhang kritisch eingegangen werden: Erstens: Nicht einleuchtend ist die Darstellung von Delphi als einer „AllroundMethode“, die sich immer dann als alternatives Notfallinstrument anwenden lässt, wenn andere Verfahren nicht mehr weiter helfen. Solche Auffassungen sind in den Bestimmungen etwa von Robert C. Erffmeyer, Elizabeth S. Erffmeyer und Irving M. Lane (1986), Kaynak und Kollegen (1994) und Joseph F. Coates (1975) enthalten. Evaluationsbemühungen haben jedoch inzwischen ergeben, dass die Validität von Delphi-Befragungen unter anderem mit der Spezifik des zu bearbeitenden Sachverhalts und der dabei benutzten Vorgehensweise in Zusammenhang steht. So zeichnet sich ab, was eigentlich zu erwarten war: Auch der Einsatz von Delphi-Befragungen muss an bestimmte Voraussetzungen geknüpft werden, die es nicht erlauben, von einer beliebig nutzbaren und zugleich in ihrem Design bedenkenlos veränderbaren Universalmethode zu sprechen, wie dies bestimmte Autoren jedoch tun. Einige der zitierten Beschreibungen fallen deshalb zu beliebig beziehungsweise zu unspezifisch aus. Als Folge sind die dadurch erzeugten Erwartungen an den Einsatz der Methode dann diffus und damit teilweise berechtigter Gegenstand der Kritik. Wie noch zu zeigen sein wird (vgl. Abschnitt 2.4), handelt es sich bei diesen Beschreibungen um die Ursache für weitere Missverständnisse gegenüber Delphi-Befragungen. Zweitens wird im Zusammenhang mit der Wesensbestimmung von Delphi diskutiert, ob das Konsenskriterium das allgemeine Ziel von Delphi-Befragungen sein kann und damit zugleich als das Abbruchkriterium der Expertenbefragung anzusehen ist. Dies würde bedeuten, dass die Delphi-Befragung möglichst so lange fortgesetzt werden muss, bis Übereinstimmung unter den Teilnehmern erzielt ist. Solche Auffassungen finden sich etwa bei Joanna S. Richey, Briam W. Mar und Richard R. Horner (1985) und bei Christine Duffield (1993). Dem steht die Ansicht gegenüber, dass Konsens nicht mit einem „wahren“ Ergebnis gleichzusetzen ist und der Erfolg einer Delphi-Erhebung entsprechend nicht aufgrund einer geringen finalen Streuung der Expertenurteile beurteilt werden kann. So ist einigen Auffassungen zufolge nicht einzusehen, warum nicht auch die Ermittlung bestehender Divergenzen – also von Dissens – in den Expertenmeinungen ein sinnvolles Ziel von Delphi-Befragungen sein sollte. Folgt man einem solchen Modell, müsste man eher dafür plädieren, Konstanz in den Meinungen der Teilnehmer als Abbruchkriterium für die Befragung zu benutzen oder zumindest aber die Übereinstimmung über eine Nichtübereinstimmung als Ziel zu definieren.

24

Begriffsbestimmungen

Diese Diskussion zusammenfassend erscheint es notwendig, die unterschiedlichen Möglichkeiten von Delphi, die bisher bei der Nutzung des Delphi-Ansatzes gewonnenen Erfahrungen und die verschiedenen dabei anvisierten Ziele solcher Befragungen differenzierter herauszuarbeiten und so dem Anwender praktische Hinweise für die Nutzung der unterschiedlichen Typen von Delphi-Studien zu geben. Dieses Problem ist der Abschnitt 2.4 gewidmet worden. 2.2

Typen von Delphi-Befragungen: Ein Einteilungsversuch

Für eine Übersicht über die bisherige Praxis beim Einsatz von Delphi-Befragungen werden zunächst (Abschnitt 2.2.1) das klassische Design und danach (Abschnitt 2.2.2) Varianten dieses Ansatzes vorgestellt. 2.2.1

Die klassische Delphi-Befragung

Wenn in der Literatur vom klassischen Delphi-Design gesprochen wird, so ist in der Regel folgendes Vorgehen gemeint: 1. Operationalisierung der allgemeinen Frage- beziehungsweise Problemstellung mit dem Ziel, konkrete Kriterien abzuleiten, die den Experten im Rahmen einer quantifizierenden Befragung für eine Beurteilung vorgelegt werden können. Dieser erste Schritt kann sowohl von dem die Delphi-Befragung veranstaltenden Forscherteam (dieses wird oft auch als Monitoring-Team bezeichnet) selbst, als auch mithilfe einer offenen, qualitativen Befragung von (externen) Experten bewältigt werden. Für Prognosezwecke könnte beispielsweise ohne all zu konkrete weitere Vorgaben danach gefragt werden, welche Ereignisse oder Entdeckungen in einem bestimmten Zeitraum auf einem bestimmten Gebiet zu erwarten sind (zur Gestaltung der qualitativen Befragungsrunde vgl. Abschnitt 7.3). 2. Ausarbeitung eines standardisierten Frageprogramms. Dieses dient dazu, Experten anonym nach ihren Meinungen zu den interessierenden Sachverhalten zu befragen. Dabei kann es sich – um bei dem gewählten Beispiel zu bleiben – um die Schätzung des konkreten Jahres handeln, bis zu dem sich eine bestimmte Entdeckung oder Erfindung durchgesetzt haben wird (vgl. die Abschnitte 7.5 und 7.6). 3. Aufbereitung der Befragungsergebnisse durch das die Befragung veranstaltende Forscherteam und anonymisierte Rückmeldung der Ergebnisse an die beteiligten Befragten (für konkrete Hinweise für die Gestaltung der Rückinformation vgl. Abschnitt 7.9). 4. Wiederholung der Befragung auf der Grundlage der von den Experten über diese Rückinformation gewonnenen (neuen) Erkenntnisse bis zum Erreichen eines vorher festgelegten Abbruchkriteriums (vgl. Abschnitt 7.4). Folgende Merkmale erwiesen sich damit als charakteristisch für das klassische Design einer Delphi-Befragung (vgl. Linstone/Turoff 1975, Albach 1970, Kreutz 1972,

Begriffsbestimmungen

25

Gewald 1972, Becker 1974, Geschka 1977, Salinger/Kunz 1981; Spöhring 1989, König 1992, Häder/Häder 2000, Häder 2008): ĺ ĺ ĺ ĺ ĺ ĺ

Verwendung eines formalisierten Fragebogens. Befragung von Experten. Anonymität der Einzelantworten. Ermittlung einer statistischen Gruppenantwort. Information der Teilnehmer über diese statistische Gruppenantwort (Feed-back). (Mehrfache) Wiederholung der Befragung nach dem beschriebenen Vorgehen.

2.2.2

Varianten

Es wurde bereits angedeutet, dass bei den Anwendungen von Delphi-Befragungen zum Teil nur auf ausgewählte Elemente dieses klassischen Designs (vgl. Abschnitt 2.2.1) zurückgegriffen wird, während andere modifiziert oder ausgelassen werden. Zum Variantenreichtum von Delphi tragen vor allem bei: ĺ unterschiedliche Ansichten über die erforderliche Zahl, die optimale Struktur und die Art und Weise der Auswahl der Experten(-gruppe) ĺ eine unterschiedliche Auslegung der erforderlichen Anzahl der Wellen ĺ die unterschiedliche Gestaltung des Feed-backs ĺ die Ermittlung von Selbsteinschätzungen der Experten über deren Kompetenz im Zusammenhang mit den gestellten Aufgaben ĺ der relativ beliebige Einsatz unterschiedlicher Aufgabentypen im Rahmen der Befragung ĺ unterschiedliche Ansichten über Abbruch- beziehungsweise Konsenskriterien ĺ die Nutzung von persönlich-mündlichen Workshops zur Erhebung und zur Diskussion der Daten (Schulz/Renn 2009:13). Um die Varianten und Modifikationen des ursprünglichen – klassischen – DelphiAnsatzes von Linstone und Turoff (1975) wird eine rege Diskussion geführt. Die Grundlage dafür bilden die zumeist positiven Erfahrungen bei der Anwendung eines vielfältig modifizierten Delphi-Designs. Die Debatte ist nun offenbar von dem Wunsch geprägt, diese Erfahrungen zu ordnen und eine Typologie von DelphiBefragungen zu entwickeln. Dass dies bisher leider nicht überzeugend gelungen ist, wird der folgende Überblick zeigen. Anknüpfend an diese Debatte wird dann (vgl. Abschnitt 2.4) ein eigener Ansatz für eine Typisierung von Delphi-Befragungen vorgestellt. Folgende Vorschläge zur Typisierung von Delphi-Befragungen sollen erwähnt werden: ĺ Laut Dirk Kenis (1995:1) sind zwei Arten von Delphi zu unterscheiden: 1. das klassische Vorhersage-Delphi und

26

Begriffsbestimmungen

2.

ĺ

ĺ

ĺ ĺ

-

das Strategie-Delphi. Für dieses existieren zahlreiche weitere Untervarianten, weshalb es besonders schwierig zu beschreiben sei. Nach Harlan Strauss und Harmon L. Zeigler (1975) gibt es drei Typen von Delphi-Befragungen: 1. Numerische Delphi – sie dienen der genauen Festlegung eines minimalen Range für die Schätzung oder Vorhersage eines Problems (der vermutlich am meisten verbreitete Typ) 2. Strategie Delphi – sie suchen Antworten auf gegenwärtige oder zukünftige soziale und politische Probleme (vgl. auch Turoff 1970) und 3. Historische Delphi – sie werden für die Erklärung vergangener Entscheidungen genutzt. Ihnen gilt die besondere Aufmerksamkeit der genannten Autoren. Seeger (1979:20ff.) sieht folgende mögliche Ziele, die zur Klassifikation der Delphi-Technik benutzt werden können: Zielfindungs-, Problemfindungs-, Maßnahmen- und Strategieplanungs-, Ideenbewertungs- und schließlich Ideenfindungs-Delphi. Wolf Rauch unterscheidet zwischen klassischen, politischen und entscheidungsorientierten Delphi-Befragungen (1979:161). Erwin Dichtl und Stefan Müller (1991:9) sehen die Funktionen von DelphiBefragungen in der: 1. Erstellung von Prognosen 2. Problemlösung (Schlüsselprobleme sollen definiert und Lösungsvorschläge entwickelt werden) 3. Beurteilung von Problemsituationen anhand bestimmter Kriterien 4. Zielbildung 5. Ideenfindung und in der 6. Konsensbildung. Von drei Typen gehen auch Nick Novakowski und Barry Wellar (2008:1486) in Anlehnung an Martino (1999) aus, wobei sie zwischen Delphi-Studien unterscheiden, die: 1. normativen Charakter tragen, 2. der Vorhersage dienen und 3. für Policy-Zwecke genutzt werden.

Immer wieder wird als ein besonderer Vorteil des Delphi-Ansatzes dessen scheinbar beliebige Adaptierbarkeit bezeichnet. So verknüpfen beispielsweise Hans-Christian Pfohl und Stephan L.K. Freichel die folgenden Eigenschaften mit Delphi-Befragungen: 1. ein intuitives Vorgehen, 2. ein hohes heuristisches Potenzial, 3. Konsensbildung, 4. universelle Anwendbarkeit sowie 5. Modifizierbarkeit und Erweiterbarkeit (vgl. 1990:14f.). Gerade gegenüber der universellen Verwendbarkeit und der Modifizierbarkeit des Ansatzes müssen jedoch Bedenken angemeldet werden. Für eine Beurteilung der genannten Einteilungsversuche muss nach den damit gewonnenen Informationen gefragt werden. Dieser Gewinn erscheint mitunter nicht besonders groß zu sein. Solange die Delphi-Technik nicht für bestimmte Anwen-

Begriffsbestimmungen

27

dungsbereiche gezielt detaillierter methodisch ausgearbeitet ist, dürfte es lediglich von heuristischer Bedeutung sein, etwa aufgrund der mit diesem Ansatz erfolgreich bearbeiteten Probleme, Delphi-Befragungen in Kategorien zu verpacken. Erst wenn eine Einteilung aufgrund methodisch relevanter Kriterien vorgenommen werden kann, ermöglicht dies Rückschlüsse auf die Gestaltung und eine gezieltere Anwendung dieses nur scheinbar universellen Verfahrens. 2.3

Die Grenzen von Delphi-Befragungen, oder: Wie Experten irren (können)

Diffuse Vorstellungen über die Ziele von Delphi-Befragungen (vgl. Abschnitt 2.2) und folglich undifferenzierte methodische Standards waren bereits Anlass für berechtigte Kritik am Delphi-Ansatz. In diesem Abschnitt soll nun auf eine zweite Quelle der Kritik an Delphi eingegangen werden, auf die Tatsache, dass selbst ausgewiesene Experten nicht immer dazu in der Lage sind, korrekte Aussagen über zukünftige Ereignisse auf ihrem Arbeitsgebiet zu treffen. Unbestritten übt die Zukunft einen besonderen Reiz auf die Menschen aus. Vorhersagen zukünftiger Ereignisse können sich dementsprechend eines großen Interesses sicher sein. Fast ungeteilte Aufmerksamkeit erlangen insbesondere auch jene Prognosen, die falsche Vorhersagen über die Zukunft getroffen haben. Solche „Misserfolge“ werden dann nicht selten der Methode angelastet, mit deren Hilfe die Prognose erstellt wurde. Eine solche Haltung wird beispielsweise deutlich, wenn das Nachrichtenmagazin „Der Spiegel“ behauptet, auf Delphi-Befragungen basierende Vorhersagen seien ein Debakel und die Methode eigentlich tot (SPIEGEL Spezial Nr. 10 vom 29.9.1998). Auch in anderen Medien wird Kritik an den wie es scheint unbefriedigenden Ergebnissen von Delphi-Befragungen geübt, so etwa in der ZEIT (Böhme 1999) und in der Neuen Züricher Zeitung (Meier 1999). Dieser Kritik liegt jeweils die Enttäuschung darüber zugrunde, dass die vorhergesagten Entwicklungen nicht so eingetreten sind, wie dies erwartet wurde. Der Eindruck vom Scheitern des Delphi-Ansatzes könnte noch weiter bestärkt werden, wenn man in der folgenden Aufstellung (vgl. das Kästchen auf der folgenden Seite) die Irrtümer betrachtet, denen Experten bereits erlegen sind. Vor diesem Hintergrund stellt sich nun die Frage, weshalb es überhaupt sinnvoll sein kann, in Delphi-Studien Experten nach ihren Meinungen zu befragen und ob nicht das Fehlschlagen von Prognosen angesichts dieser Urteile kompetenter Personen beziehungsweise Institutionen bereits als vorprogrammiert gelten muss. „The problem is not to forecast what might happen, but rather to decide what should happen“ (Overbury 1969:76).

28

Begriffsbestimmungen

Einige Irrtümer von Experten Marktforschungsstudie der Daimler Motoren Gesellschaft (1901): „Die weltweite Nachfrage nach Kraftfahrzeugen wird eine Million nicht überschreiten – allein schon aus Mangel an verfügbaren Chauffeuren.“ Albert Einstein (1932): „Es gibt nicht das geringste Anzeichen, dass wir jemals Atomenergie entwickeln können.“ Wilbur Wright (1901): „Der Mensch wird es in den nächsten 50 Jahren nicht schaffen, sich mit einem Metallflugzeug in die Luft zu erheben.“ (Nur zwei Jahre später unternahm er selbst den ersten Motorflug in der Geschichte.) Thomas J. Watson, Vorstandsvorsitzender von IBM (1943): „Ich glaube, auf dem Weltmarkt besteht Bedarf für fünf Computer, nicht mehr.“ Plattenfirma Decca zu der Gruppe The Beatles, (1961): „Uns gefällt ihr Sound nicht, und Gitarrenmusik ist ohnehin nicht gefragt.“ Dr. Ian McDonald, Chirurg (1963): „Rauchen ist für die allermeisten Menschen eine durchaus gesunde Angelegenheit." BATTELLE Institut (1965): „Die letzten Autobusse werden 1990 aus dem Stadtverkehr verschwinden.“ Business Week (1968): „Es wird der japanischen Automobil-Industrie nicht gelingen, einen nennenswerten Marktanteil in den USA zu erreichen.“ Ken Olsen, Vorstandsvorsitzender des Computerherstellers Digital (1977): „Ich sehe keinen Grund, warum einzelne Individuen ihren eigenen Computer haben sollten.“ Steve Jobs, Gründer der Apple Computer Inc.: „Wir gingen also zu Atari und sagten: ‚Hey, wir haben hier ein ganz erstaunliches Gerät, das sogar mit einigen von euren Teilen gebaut wurde. Wollt ihr uns nicht finanzieren? Oder wir überlassen es euch einfach – Hauptsache, wir können es herstellen. Ihr zahlt uns ein Gehalt, und wir kommen und arbeiten für euch.” Und sie antworteten: ‚Nein’. Also gingen wir zu Hewlett-Packard, und sie sagten: ‚Hey, wir brauchen euch nicht. Ihr habt ja noch nicht einmal das College abgeschlossen.’” Sharp Associates (1979) „E-Mail ist ein absolut unverkäufliches Produkt.“ Bill Gates (1981): „640K sollten für jedermann genug sein.“ Jan Timmer, Mitglied des Phillips-Vorstands (1982): „Wer braucht eigentlich diese Silberscheibe?" (gemeint waren Compact Discs) Quellen: - Fink/Schlake/Siebe (2001) - http://www.emotionexperts.com/Deutsch/Wissenswertes/Weitere_Themen/Diverses/Kuriose_Irrtumer/kuriose_irrtumer.html, - http://home.arcor.de/raja69/kurios/irrtum.html, http://de.blog.360.yahoo.com/blogPMBjLhgkbKM4DRgMY9Jbrqj56Q--?cq=1&tag=irrt%C3%BCmer

Begriffsbestimmungen

29

Der Ausweg aus diesem Dilemma besteht darin, die Möglichkeiten und Grenzen von Delphi-Befragungen so genau wie möglich zu bestimmen. Der Anwender dieser Methode muss sich, wie bei jedem anderen Instrument auch, über die Grenzen dieses Design im Klaren sein. Ursache des Unmuts über Delphi ist eine gewisse Konfusion bei der Definition des Ziels solcher Befragungen. Die bunte Palette von Bestimmungen des Wesens von Delphi und die zahlreichen, wie beliebig angestellten Einteilungsversuche, die in den vorigen Abschnitten gezeigt wurden, können für diese Verwirrungen verantwortlich gemacht werden. Bei der Bestimmung der Möglichkeiten und Grenzen von Delphi-Befragungen lassen sich zunächst zwei Ansichten unterscheiden: 1. Die Zukunft (oder ein anderer, zunächst diffuser Sachverhalt) soll mithilfe der Delphi-Befragung möglichst genau ergründet beziehungsweise exakt vorhergesagt werden. Hier handelt es sich um eine Erwartungshaltung, wie sie beispielsweise auch an einen Wetterbericht gestellt wird. 2. Es kommt „lediglich“ darauf an, die aktuelle(n) Zukunfts- oder Problemsicht(en) von kompetenten Experten zu erfassen, diese weiter zu qualifizieren, um daraus entsprechende Schlussfolgerungen für Handelungsstrategien zu ziehen. Die Enttäuschungen beim Umgang mit den Ergebnissen von Delphi-Befragungen sind vor allem in einer Erwartungshaltung begründet, die davon ausgeht, die Zukunft vorherzusagen. Trotzdem ist es aber alles andere als uninteressant, wenn man erfährt, wie sich Albert Einstein getäuscht hat oder wie fehlerbehaftet Marktforschungsstudien einmal gewesen sind (vgl. das obige Kästchen). Auch daraus können Schlussfolgerungen, beispielsweise auf das Tempo des wissenschaftlichen und technologischen Fortschritts gezogen werden. Geht man mit der Zielsetzung an eine Delphi-Befragung heran, Expertenmeinungen zu ergründen, dann liefern „Delphi-Studien ... also nicht einfach ein Bild von der Zukunft, sondern eine Informationsgrundlage für die Entscheidung, was heute zu tun oder zu lassen ist“ (Cuhls/Blind/Grupp 1998:3). Noch ein weiterer Aspekt ist in diesem Zusammenhang wichtig. In der Wissenschaftstheorie wird eine Diskussion zur Eigendynamik von Prognosen geführt. Es hat sich inzwischen allgemein durchgesetzt, zwischen sich selbst bestätigenden Prognosen (Self-fulfilling Prophecies) auf der einen Seite und sich selbst zerstörenden Vorhersagen (Self-destroying Prophecies) auf der anderen Seite zu unterscheiden. Wenn es aufgrund einer (zunächst falschen) Vorhersage – etwa über eine bevorstehende Verknappung einer Ware auf dem Markt – zu verstärken Einkäufen kommt und sich deshalb die ursprünglich falsche Prophezeiung doch noch bestätigt, so wird von sich selbst bestätigenden Prognosen gesprochen. Werden dagegen aufgrund einer (zunächst richtigen) Vorhersage – etwa über eine bevorstehende Umweltkatastrophe – entsprechende Gegenmaßnahmen getroffen, die diese Katastrophe erfolgreich ab-

30

Begriffsbestimmungen

wenden und damit die Prognose widerlegen, so ist von einer sich selbst zerstörenden Vorhersage die Rede (vgl. zum Beispiel Merton 1936, Rosenthal 1966, Opp 1999). Damit besteht das Ziel der Erstellung von Prognosen oftmals gar nicht in der (vollständigen) Realisierung der vorausgesagten Situation, sondern – wie bereits beschrieben – im Ableiten von Handlungs- oder Entscheidungshilfen. Generell sollte damit bei der Entscheidung für die Anwendung des DelphiVerfahrens so genau wie möglich klar sein, worin das Ziel der jeweiligen Studie besteht. Gegenwärtig zeichnet sich ab, dass vor allem vier Typen von DelphiBefragungen ein eigenes methodisches Profil gewinnen: 1. Delphi-Befragungen zur Ideenaggregation, 2. Delphi-Befragungen zur Vorhersage bestimmter diffuser Sachverhalte, 3. Delphi-Befragungen zur Ermittlung und Qualifikation von Expertenmeinungen über einen speziellen Gegenstand sowie 4. Delphi-Befragungen zur Konsensfindung. Alle vier Typen weisen in Bezug auf das Design und hinsichtlich der damit zu realisierenden Ziele ein eigenes Profil auf. Sie sollen im folgenden Abschnitt expliziert werden. 2.4

Delphi-Befragungen zur Ideenaggregation, Vorhersage von Sachverhalten, Ermittlung von Expertenansichten und zur Konsensfindung

Die freigiebig praktizierte methodische Beliebigkeit beim Umgang mit DelphiBefragungen wurde bereits geschildert. Sie gilt einigen Anwendern als ein besonderer Vorzug dieser Methode. Offenbar geht von dieser Unbestimmtheit und vom Fehlen stringenter methodischer Regeln für den Umgang mit Delphi-Befragungen eine gewisse Attraktivität aus. Leider hat dieser vermeintliche Vorzug – dies war ebenfalls bereits Gegenstand dieser Abhandlung – auch einen Preis: Eine hohe Unsicherheit über die Leistungsfähigkeit des Delphi-Ansatzes und damit zugleich Unsicherheit und auch Frust über die Qualität der Resultate von Delphi-Befragungen. Damit liegt die Idee nahe, das Instrument Delphi-Befragungen nicht länger als einen kompakten Universalansatz zu betrachten, sondern es gezielter für bestimmte Ziele auszuarbeiten beziehungsweise zu modifizieren und dann entsprechend auf das jeweilige Ziel ausgerichtet einzusetzen. Dies wird im Folgenden versucht. Zunächst werden basierend auf einer Durchsicht von Berichten über die Anwendung von Delphi vier mögliche Ziele herausgearbeitet. Dabei handelt es sich um die Aggregation von Ideen, um die Vorhersage oder genauere Bestimmung eines unsicheren Sachverhalts, um die Ermittlung und Qualifikation der Ansichten einer Expertengruppe oder um die Schaffung von Konsens unter den Teilnehmern der Befragung. Darauf aufbauend wird dann dargestellt, wie das Design solcher Delphi-Befragungen auszusehen hat, um das jeweilige Ziel einzulösen. Eine solche Einteilung stellt eine Weiterentwicklung des Delphi-Ansatzes dar. Sie bietet mindestens folgende wesentliche Vorteile:

Begriffsbestimmungen

31

ĺ Sie zwingt den Anwender dazu, sich mehr Klarheit über das Ziel seiner Studie zu verschaffen und ĺ sie ermöglicht eine gezielte methodische Modifikation des jeweiligen DelphiDesigns für die beabsichtigte Zielrealisierung. Wie noch zu zeigen sein wird, impliziert beispielsweise jeder Typ ein eigenes Vorgehen bei der Rekrutierung der Teilnehmer (vgl. dazu Abschnitt 7.2), der Gestaltung der Fragen (vgl. Abschnitt 7.6) und so weiter. ĺ Schließlich und nicht zuletzt zeigt eine solche Typologisierung, welche unterschiedlichen Möglichkeiten Delphi-Befragungen überhaupt bieten. Den folgenden vier Typen gilt nun die Aufmerksamkeit: Typ 1: Delphi-Befragungen zur Ideenaggregation Ein erstes Ziel, mit dem Delphi-Befragungen veranstaltet werden können, ist die Aggregation von Ideen. Es liegen Erfahrungen vor, wie im Rahmen von DelphiBefragungen Expertise genutzt werden kann, um (erste) Problemlösungsvorschläge zu erarbeiten. Die Besonderheit von Delphi-Befragungen, die diesem Ziel dienen, besteht darin, dass sie – anders als beim klassischen Design – einen ausschließlich qualitativen Ansatz darstellen. Beim klassischen Delphi-Design (vgl. Abschnitt 2.2.1) kann eine qualitative Befragungsrunde den quantitativen Wellen vorgeschaltet werden. Sie dient dann dazu, jene Sachverhalte zu identifizieren, zu denen im weitern Verlauf der DelphiBefragung ein quantifizierendes Urteil eingeholt werden soll. Anders ist das Vorgehen bei einer Delphi-Befragung, die sich (lediglich) die Ideenaggregation zum Ziel gesetzt hat. Hier wird auf die quantifizierenden Runden verzichtet. Stattdessen werden bereits die Ergebnisse der qualitativen Einschätzungen den Experten auf geeignete Weise rückgemeldet und danach die Fragestellungen erneut – qualitativ, das heißt weitgehend unstrukturiert – erhoben. Bei einer solchen qualitativen Erhebung werden den Teilnehmern in der Folgewelle zunächst die Argumente der anderen Experten mitgeteilt. Danach werden erneut verbale Stellungnahmen eingeholt beziehungsweise die Statements aus der Vorrunde qualifiziert. Eine Delphi-Befragung, die dieses Ziel verfolgt, ist daran zu messen, wie viele Ideen sie hervorbringt. Es kommt vor allem darauf an, möglichst viele unterschiedliche Vorschläge für die Problemlösung zu gewinnen. Auch vermeintlich abartige, möglicherweise nicht mehrheitsfähige Ideen sind bei diesem Ansatz von Interesse. Entsprechend ist das Design zu wählen. Das zu befragende Expertengremium sollte wie bei den anderen Delphi-Befragungen auch – über eine möglichst breite Expertise verfügen. Jedoch ist es ausreichend, wenn die verschiedenen Paradigmen durch lediglich einen Teilnehmer vertreten sind. Anderes als beim klassischen Design haben offene Fragen eine größere Bedeutung usw.

32

Begriffsbestimmungen

Ein typisches Ideenaggregations-Delphi beschreibt Jürgen Hasse (1999:213ff.). Mithilfe einer Befragung sollten Argumente im Rahmen der Diskussion um die landschaftsästhetische Beurteilung von Windkraftanlagen gesammelt werden. Ziel war die Herausarbeitung einer vielschichtigen Problemstruktur in diesem Kontext. Spezifische Merkmale dieses Delphi-Ansatzes waren: ĺ ĺ ĺ ĺ ĺ ĺ

Nutzung und Betonung des subjektiv-intuitiver Charakters, eine interdisziplinär zusammengesetzte Expertenrunde, Verzicht auf eine statistische Auswertung der Ergebnisse, kein Repräsentanzanspruch, eine relativ geringe Anzahl an Teilnehmern, in diesem Falle sechs, und der Verzicht auf die Anonymität der Beteiligten (die Experten waren aufgrund der inhaltlichen Akzentsetzungen in ihren Argumentationen ohnehin untereinander identifizierbar).

Typ 2: Delphi-Befragungen für eine möglichst exakte Vorhersage eines unsicheren Sachverhalts bzw. für dessen genaue(re) Bestimmung Bei diesem Typ besteht das Ziel darin, sich eine erhöhte Klarheit über eine bestimmte, diffuse Angelegenheit zu verschaffen. Wie bereits erwähnt sollen einigen Veröffentlichungen zufolge die ersten Delphi-Befragungen dazu gedient haben, die Ergebnisse eines Hunde- oder Pferderennens vorherzusagen. Mit dem Ziel, einen unbekannten Sachverhalt möglichst exakt vorherzusagen, sind gegen Ende der 1940-er Jahre auch die ersten wissenschaftlichen Delphi-Befragungen angetreten. Damals ging es im Rahmen von Arbeiten der RAND-Corporation zur Landesverteidigung um die Ermittlung möglicher strategischer Angriffsziele sowjetischer Raketen in den USA. Dieser Typ 2 entspricht damit dem klassischen Anliegen, das Delphi-Befragungen zunächst verfolgt haben. Forschungskonzepte dieser Art versuchten oftmals, die Zukunft zu determinieren und teilweise sogar zu planen. Sie wurden vor allem in der Nachkriegszeit mit dem Begriff Forecasting bezeichnet. Bei einer Bewertung der Ergebnisse einer solchen Art von Delphi-Befragungen wird das Resultat der Studie – beispielsweise ein vorhergesagter Sachverhalt – mit dem tatsächlich eingetretenen Tatbestand verglichen. Es liegt also stets ein „wahrer Wert“ vor, der mit dem Verfahren ermittelt werden soll und an dem der Erfolg des Einsatzes schließlich gemessen werden kann. Ein solches typisches Vorhersage-Delphi beschreibt H. Janssen (1978). Das Ziel dieser Befragung waren Preisprognosen in den Obstanbaugebieten am Bodensee und an der Niederelbe. Wöchentlich trafen sich die Obstpreisnotierungskommissionen nach dem Muster des Delphi-Designs und gaben Prognosen zur Preisentwicklung in der folgenden Woche ab. „Die Kommission hatte die Aufgabe, für den Tag der jeweiligen Notierungssitzung die vermutlichen Gleichgewichtspreise der gehandelten

Begriffsbestimmungen

33

Obstarten, -sorten, -qualitäten und -kalibirierungen zu schätzen und den interessierten Marktkreisen und offiziellen Stellen bekanntzugeben“ (Janssen 1972, 1976, 1977:6). Die Grundlage der ersten Schätzung bildete die Information durch einen neutralen Marktstatistiker über die entsprechenden Werte aus der Vorwoche. Die Ergebnisse der Schätzungen aus der ersten Runde, die von den Teilnehmern auf verdeckten Zetteln notiert worden waren, wurden dann an die Experten rückgemeldet. Die Wiederholung der Befragungen erfolgte, bis ein bestimmtes Abbruchkriterium erreicht wurde. Janssen berichtet weiter, dass weit mehr als 300 solcher Sitzungen stattfanden, bei denen der Notierungsfehler zum Ende der Obstsaison dann bei lediglich – 0,9 Prozent lag. Typ 3: Delphi-Befragungen zur Ermittlung und Qualifikation der Ansichten einer Expertengruppe über einen diffusen Sachverhalt Im Unterschied zum zuvor beschriebenen Typ kommt es hier darauf an, die Meinungen einer konkret bestimmbaren Expertengruppe zu erheben und dabei zu qualifizieren. Die Resultate solcher Studien dienen dann beispielsweise dazu, um gezielte Schlussfolgerungen für erforderliche Interventionen abzuleiten, um auf ein auf diese Weise ermitteltes Problem zu reagieren, oder um eine Sensibilisierung gegenüber befürchteten Fehlentwicklungen zu erreichen. Das Ergebnis dieses Typs von DelphiBefragungen wird danach zu bewerten sein, inwieweit die Ansichten aller Teilnehmer mithilfe des Instruments methodisch einwandfrei abgebildet wurden und ob erwartet werden kann, dass es im Verlauf der Delphi-Befragung tatsächlich zu einer Verbesserung der Urteile gekommen ist. „Diese neuen Konzepte unterscheiden sich vom ‚Forecasting‘ der Nachkriegszeit dadurch, dass sie nicht versuchen, zu determinieren, wie die Zukunft werden wird, oder sie gar bis ins Detail zu planen, sondern die Kommunikation über die Zukunft sowie ihre aktive Gestaltung in den Vordergrund zu stellen“ (Cuhls 2000:7). Das mit dem Typ 3 verfolgte Ziel ist zugleich das gegenwärtig wohl häufigste bei der Anwendung von Delphi-Befragungen. Im Unterschied zu rein qualitativen Delphi-Studien (Typ 1) werden hier die verschiedenen Expertenmeinungen auch einer quantifizierenden Bewertung unterzogen, das bedeutet, dass ihre Mehrheitsfähigkeit dargestellt und geprüft wird. Auch der Typ des normativen Delphi, bei dem basierend auf dem vorhandenen Wissen ermittelt werden soll, wie eine bestimmte Entwicklung verlaufen sollte (Martino 1999) sowie der Typ des Policy-Delphi, der eine breite Palette politisch relevanter Größen identifizieren möchte (Wellar 1997) wären hier zu subsumieren. Ein typisches Beispiel zur Ermittlung und Qualifikation von Expertenmeinungen ist eine Delphi-Befragung zur Aufdeckung von Forschungsbedarf in der Berufsbildungsforschung und zur Ermittlung eines entsprechenden Dringlichkeitsgrades. Diese hat das Bundesinstitut für Berufsbildung – BIBB – konzipiert und erhoben (vgl. Brosi/Krekel/Ulrich 1999). Unter Hinzuziehung eines wissenschaftlichen Berater-

34

Begriffsbestimmungen

gremiums wurden über 2000 Experten aus zehn institutionellen Bereichen um ihre Meinung gebeten. Bei der Zusammenstellung der Expertengruppe wurden gezielt all jene Institutionen berücksichtigt, die mit der direkten Umsetzung von Ergebnissen der Berufsbildungsforschung befasst sind. Dies betraf beispielsweise Gewerkschaften, Arbeitgeberverbände, wissenschaftliche Institute, Bildungsträger, Unternehmen und die Politik. Die Ergebnisse sollen nicht zuletzt dazu genutzt werden, um gezielt entsprechende Forschungsarbeiten anzuregen und um Mittel für diesen Bereich bereit zu stellen. Auch die seit 1992 in Deutschland vom Bundesministerium für Forschung und Technologie geförderten Delphi-Befragungen zur Zukunft von Wissenschaft und Technik können diesem Typ zugeordnet werden. Typ 4: Delphi-Befragungen zur Konsensbildung unter den Teilnehmern Im Verlauf von Delphi-Befragungen werden durch das Feed-back gezielt Gruppenprozesse ausgelöst. Diese dienen zum einen dazu, das Ergebnis der Befragung zu qualifizieren. Es wird aber auch über Ansätze berichtet, bei denen Delphi-Studien explizit das Ziel verfolgen, ein möglichst hohes Maß an Konsens unter den Teilnehmern zu schaffen. Beispielsweise im Rahmen der Vorbereitung einer demokratischen Entscheidungsfindung kann es sich als sinnvoll erweisen, solche Befragungen zu veranstalten. Dabei kommt es zunächst darauf an, einen ganz bestimmten, nach entsprechenden Kriterien ausgesuchten Teilnehmerkreis zu rekrutieren, nämlich jene Personen, deren Ansichten harmonisiert werden sollen. Weiterhin muss der Sachverhalt, über den zu kommunizieren ist, möglichst genau vorstrukturiert werden. Dies vor allem deshalb, weil die Schaffung von Übereinstimmung in Bezug auf einen zu abstrakten Sachverhalt nur wenig hilfreich sein dürfte. So ist es unsinnig, zu der Feststellung „Die methodischen Bemühungen um die Delphi-Methode müssen weiter fortgesetzt werden“ ein Konsens-Delphi durchzuführen, um die Finanzierung eines Forschungsprojekts zu legitimieren. Sinnvoller wäre es hingegen, einzelne Aspekte der Methodik zu benennen (zum Beispiel die Expertenauswahl, die Evaluation der Ergebnisse und so weiter) und speziell dazu einzelne Studien anzulegen. Schließlich muss die Delphi-Befragung zur Konsensbildung so lange fortgesetzt werden, bis die Streuung der Antworten einen zu definierenden Wert erreicht hat. (zu einzelnen Designfragen vgl. Abschnitt 7). „Die Teilnehmer an Foresight-Prozessen sind ... nicht mehr nur wissenschaftliche Experten, sondern auch Interessengruppen oder die interessierte Öffentlichkeit“ (Cuhls 2000:10; [Hervorhebung wie im Original; M.H.]). Damit werden gerade bei der Zukunftsforschung die partizipatorischen Möglichkeiten von Delphi-Befragungen benutzt. So eröffnen sich im Rahmen der Vorausschau neue Ziele für den Einsatz von Delphi-Befragungen. Kerstin Cuhls nennt beispielsweise die Gewinnung von Informationen, über welche Wege in die Zukunft Konsens besteht und wo Dis-

Begriffsbestimmungen

35

sens herrscht, sowie den Anstoß und die Stimulation eines kontinuierlichen Diskussionsprozesses (2000:15f.). Ein typisches Konsens-Delphi beschreiben Peter H. Mettler und Thomas Baumgartner (1997:VIIff.). Den Autoren geht es in ihrem Projekt um konkrete Empfehlungen für eine konsensorientierte Politik im Bereich Mikroelektronik und Arbeitsmarkt im Bundesland Nordrhein-Westfalen. Dazu werden von ihnen: ĺ „möglichst viele BürgerInnen der verschiedenen Sozialschichten und unterschiedlichsten Interessen“ darum gebeten, „unterschiedlichste Gesellschaftsvisionen in Form normativen Szenarien zu entwickeln“. ĺ Gesucht wird im Rahmen der Studie nach einem „Konsens über die wünschenswerten Grundzüge der zukünftigen Gesellschaft.“ ĺ Angestrebt werden deshalb relativ große, dem „gesellschaftsrepräsentativen (mikrozensus-vergleichbare) TeilnehmerInnen-Zahlen.“ ĺ Bei diesem Design lässt sich die Struktur der Teilnehmer an der DelphiBefragung mit der in der Grundgesamtheit – der Bevölkerung in Nordrhein Westfalen – vergleichen. Die Altersstruktur, die Geschlechtsverteilung und der Familienstand der Teilnehmer können den entsprechenden Verteilungen in der Grundgesamtheit gegenüber gestellt werden (vgl. 1997:65ff.). In diesem Zusammenhang werden dann Ausfälle von Teilnehmern zu einem besonderen methodischen Problem. ĺ Die Projektgruppe entwickelte eine aufwendige „Szenarienausrichtung und den Entwurf von Szenarienskizzen“, die den Teilnehmern standardisiert vorgelegt wurden. Auch Werner H. Gries stellt einen Ansatz vor, bei dem Delphi-Befragungen dazu genutzt wurden, um unter 17 europäischen Institutionen zu bestimmten Fragen auf dem Gebiet der Information und Telekommunikation eine Harmonisierung der Ansichten zu erzeugen (vgl. 2000:33). Insgesamt entsteht aber der Eindruck, dass dieser Typ – vor allem im Vergleich zum Typ 3 – selten benutzt wird. „Earlier applications of Delphi were aimed at building a consensus but more recently it has been recognized that the reasons for dissent given by those who do not subscribe to the consensus are also worthy of note“ (Loveridge et al. 1995:4). In der folgenden Übersicht (vgl. Tabelle 1) werden alle vier Typen nochmals kurz dargestellt. Das Dilemma der Diskussion um die Leistungsfähigkeit des Delphi-Ansatzes soll abschließend nochmals verdeutlicht werden. In der bisherigen Debatte wurde mehr oder weniger von folgendem Modell ausgegangen: Delphi-Befragungen sind dazu in der Lage, gleichzeitig auch alle beziehungsweise mehrerer Ziele zu verfolgen, also beispielsweise sowohl Konsens unter den Teilnehmern zu schaffen als auch einen unklaren Sachverhalt aufzuklären. Dieser Ansatz hätte dann mindestens zwei sich gegenseitig ausschließende Implikationen für die Design-Entwicklung:

36

Begriffsbestimmungen

Tabelle 1: Ideenaggregations-, Vorhersage-, und Konsens-Delphi sowie Delphi zur Ermittlung von Expertenmeinungen im Vergleich Ideenaggregation Typ1

Bestimmung eines Sachverhalts

Ermittlung von Expertenmeinungen

Typ 2

Typ 3

qualitativ angelegt

qualitatives und quantitatives Vorgehen

kaum Operationalisierung, teilweise nur Vorgabe des zu bearbeitenden Themenbereichs

der zu bearbeitende Sachverhalt ist möglichst exakt zu definieren

Nutzung offener Fragen

offene und vor allem geschlossener Fragen kommen zum Einsatz

Auswahl der Experten Hypothesen zur Auferfolgt aufgrund der findung der Experten Expertise nötig, keine formalisierbaren Regeln ausschließlich qualitative Runden

Ziel: Sammlung von Ideen zur Lösung eines Problems Herausgehobene Rolle der Teilnehmer Beispiel: Hasse (1999)

qualitativ und (vor allem) quantitatives Vorgehen

Ziel: Ermittlung und Qualifikation der Ansichten von Experten

Teilnehmer und Monitoring-Team haben in etwa gleich große Bedeutung Beispiel: Janssen (1976)

Typ 4 quantitativ angelegt

stark differenziertere Operationalisierung des zu bearbeitenden Themas ausschließlich standardisierte Bewertungen

Totalerhebung oder Auswahl der Teilbewusste Auswahl der nehmer kann aufExperten grund eines bestimmbaren Rahmens erfolgen

qualitative Runde kann zur Operationalisierung genutzt werden

Ziel: Verbesserung der Bestimmung eines Sachverhalts (Vorhersagen)

Konsens

Beispiel: Brosi/Krekel/Ulrich (1999)

qualitative Runde kann entfallen, wird vom MonitoringTeam übernommen Ziel: Hohes Maß an Übereinstimmung bei den Teilnehmern Herausgehobene Rolle des Monitoring-Teams Beispiel: Mettler/ Baumgartner (1997)

Erstens werden für die Schaffung von Konsens möglichst viele Teilnehmer benötigt, die dazu bereit sind, sich der Mehrheitsmeinung anzuschließen. Es ist bekannt, dass es sich dabei um Personen handeln müsste, die in Bezug auf den erfragten Sachver-

Begriffsbestimmungen

37

halt nur über eine geringe Expertise verfügen. Es ist weiter bekannt, dass gerade solche Teilnehmer dazu bereits sind, ihre ursprünglichen Urteile zu revidieren. Zweitens wird aber für die Aufklärung eines unklaren Sachverhalts eine ausgeprägte Expertise unter den Teilnehmern benötigt. Aus entsprechenden Tests ist nun jedoch ebenfalls bekannt, dass Personen mit besonderer Sachkenntnis wiederum dazu neigen, ihre Ansichten (relativ) unabhängig von der Gruppenmeinung zu äußern. Damit muss hier von einer gewissen Unvereinbarkeit zwischen diesen beiden, innerhalb einer einzigen Delphi-Befragung nicht zu verfolgenden Zielen, ausgegangen werden. Weiter zeigt dieses Gedankenmodell, dass eine Lösung des Dilemmas nur durch eine differenzierte Unterscheidung der Ziele möglich ist, die mit einer DelphiBefragung verfolgt werden können. Die vorgestellte Typologie liefert dazu einen Ansatz.

3 Wissenschaftstheoretische Grundlagen

Der folgende Abschnitt ist den erkenntnistheoretischen beziehungsweise den methodologischen Grundlagen von Delphi-Befragungen gewidmet. Es wird das Problem behandelt, warum und wie Delphi-Befragungen überhaupt funktionieren (können). Die grundlegende, in diesem Abschnitt zu diskutierende Frage lautet: Aufgrund welcher Argumente kann man davon ausgehen, dass die wiederholte anonyme Befragung von Experten, bei der den Teilnehmern in der Folgewelle eine anonymisierte Information über die Gruppenmeinung gegeben wird, tatsächlich dazu beiträgt, valide(re) Ergebnisse zu gewinnen? Die Behandlung dieser Thematik besitzt große Bedeutung. So zeigte eine Studie zur Häufigkeit der Nutzung des Delphi-Designs in den 200 umsatzstärksten deutschen Unternehmen zunächst, dass die Delphi-Technik bei den am häufigsten benutzten Prognoseverfahren auf Platz drei rangiert. Zugleich ergab diese Befragung aber auch, dass ein Hauptargument gegen den Einsatz von Delphi-Befragungen als Prognoseinstrument deren mangelnde wissenschaftliche Absicherung ist (vgl. Falke/Krüger 2000:105ff.). Dieser Vorbehalt dürfte wahrscheinlich auch von einer Reihe potenzieller Nutzer außerhalb des Bereichs Wirtschaft geteilt werden. Kritik an konventionellen Delphi-Befragungen sowie die Forderung nach einer „Theorie der Delphi-Befragungen“ wurde vor allem in den 1980-er Jahren von holländischen Wissenschaftlern geübt (vgl. Beckers/de Boer 1977:27; Binsbergen/de Boer 1988:17; Daniél/Duijzer 1988:89; Binsbergen/de Boer/Maassen 1988:36; Maassen/van Vught 1984:10f.). Zunächst werden in den Abschnitten 3.1 und 3.2 Gedanken zusammengestellt, die im Zusammenhang mit der Entwicklung beziehungsweise der Adaption von Delphi-Befragungen von verschiedenen Autoren geäußert worden sind. Danach (Abschnitt 3.3) wird versucht, unter Rückgriff auf kognitionspsychologische Ansätze und unter Verwendung der Typologisierung von Delphi-Befragungen aus dem vorigen Abschnitt, diese Überlegungen weiter zu entwickeln. Schließlich (Abschnitt 3.4) soll auch eine sozialpsychologische Argumentation aufgegriffen werden, um den Delphi-Ansatz zu legitimieren. 3.1

Erkenntnistheoretische Grundlagen

Eine gewisse Rolle spielte zunächst die von Ian I. Mitroff und Turoff (1975) aus erkenntnistheoretischer Sicht geführte Diskussion um die Frage nach den Kriterien, aufgrund derer die Wahrheit von Abbildern beurteilt werden kann. Mithilfe dieser Kriterien könnten dann wiederum, so die Autoren, die mit der Delphi-Methode ge-

40

Wissenschaftstheoretische Grundlagen

wonnenen Informationen evaluiert werden. Diese Argumentation wird zunächst nachgezeichnet. Eine vereinfachte Darstellung der Grundgedanken der verschiedenen erkenntnistheoretischen Systeme kann mit folgendem Denkmodell gegeben werden: Man stelle sich vor, dass eine Gruppe von Personen oder Experten eine Reihe von Behauptungen aufstellt, die jeweils vorgeben, die Wahrheit zu beschreiben. Dann können die einzelnen philosophischen Systeme dadurch voneinander unterschieden werden, dass sie jeweils unterschiedliche Fragen an diese Behauptungen beziehungsweise an die Personen richten, die diese formuliert haben. Jede dieser Fragen beinhaltet damit wesentliche Kriterien, die beantwortet werden müssten, bevor das entsprechende System die aufgestellten Behauptungen als wahr oder als falsch klassifizieren würde. „The moral of this discussion will be that there is no ‚single best way‘ for ensuring our understanding of the content of a set of communication“ (Mitroff/ Turoff 1975:18). Nachdem solche Fragen aus der Sicht von Locke, Leibniz, Kant, Hegel und Singer formuliert wurden, gelangen die Autoren bereits 1975 zu folgender interessanten Erkenntnis: „Indeed if our conception of inquiry is ‚fruitful‘ (notice, not ‚true‘ or ‚false‘ but ‚productive‘) than to be ‚scientific‘ would demand that we study something (model it, collect data on it, argue about it, etc.) from as many diverse points of view as possible“ (1975:36). Damit stellt sich als Fazit dieser Debatte die Beurteilung der Wahrheit von Ergebnissen einer Delphi-Befragung so dar, dass es keine einzelne Fragestellung gibt die ausreichen würde, um die Wahrheit von Aussagen zu bestimmen, sondern vielmehr ganz unterschiedliche Kriterien für die Beurteilung dieser Frage anzulegen sind. Diesen Gedanken fortgeführt macht es auch keinen Sinn, überhaupt die Frage nach der Wahrheit zu stellen, sondern es ist lediglich wichtig zu wissen, ob die bei einer Delphi-Befragung gewonnenen Informationen ‚fruitful‘ beziehungsweise produktiv sind. Hilfreicher erscheint es, anstelle der Beurteilung von bestimmten Informationen in Bezug auf deren Wahrheitsgehalt, die vier mit einer Delphi-Befragung konkret verfolgten Ziele (vgl. Abschnitt 2.4) als Kriterium für die Evaluation des Ansatzes heran zu ziehen. 3.2

Das „1 + n“ Argument

Norman Dalkey ging bei seiner ursprünglichen Begründung der Delphi-Methode davon aus, dass in 1 + n Köpfen mindestens so viel Information enthalten ist, wie in einem, wahrscheinlich jedoch mehr (vgl. Dalkey 1969:411; Scheele 1975). Dieses Argument war dann längere Zeit Gegenstand von Diskussionen. Bestimmte Defizite einer solchen Bestimmung für die Legitimation des Delphi-Ansatzes sind inzwischen kritisiert worden. Vor allem der Schluss, dass die Informationsqualität proportional zur Anzahl der Köpfe wächst, sei falsch, behaupten Kritiker. So ist denkbar, dass mit steigender Personenzahl auch die qualitativ minderwertigen Informationen zunehmen

Wissenschaftstheoretische Grundlagen

41

können. Zugleich wurde im Rahmen dieser Debatte bereits auch eine detailliertere Beschreibung der bei Delphi ablaufenden Denkprozesse gefordert (vgl. Seeger 1979: 151). Horst Albach beteiligt sich mit der folgenden Bemerkung an der Diskussion: „Aus dieser Voraussetzung folgt: In n Köpfen stecken wenigstens so viele richtige und falsche Informationen wie in einem Kopf, im Allgemeinen jedoch mehr. Wenn eine Gruppe von n für die Beantwortung der Frage gleich kompetenten Köpfen existiert, dann stellt die Befragung eines einzelnen eine zufällige Information aus der auf alle Köpfe verteilten Gesamtinformation dar. Ich nenne das Ergebnis dieser Einzelbefragung ein Einzelurteil. Dieses Einzelurteil ist mit dem Gruppenurteil zu vergleichen, das die Delphi-Methode ermittelt. Das Gruppenurteil wird ermittelt, indem aus n Einzelurteilen der Mittelwert (oder der Median) berechnet wird. Wir nennen dieses Gruppenurteil das abhängige Gruppenurteil, da es aus voneinander unabhängigen Einzelurteilen gebildet wird“ (1970:17f.). Danach stellt Albach die beiden für die Einsatzberechtigung der DelphiMethoden seiner Ansicht nach zentralen Fragen: Erstens, welche Chance hat statistisch gesehen das unabhängige Gruppenurteil, dem tatsächlich richtigen Urteil näher zu kommen als das Einzelurteil? Es existieren zwei Konstellationen: a) das tatsächlich richtige Urteil liegt außerhalb des Bereichs der Einzelurteile. Oder b) das tatsächlich richtige Urteil liegt innerhalb des Bereichs der Einzelurteile. Daraus leitet Albach zwei Folgerungen ab: Im ersten Fall sei das Gruppenurteil besser als die Hälfte der Einzelurteile, im zweiten das Gruppenurteil besser als mehr als die Hälfte der Einzelurteile. An diese nach Ansicht von Kritikern nicht sonderlich professionell vorgetragene Argumentation schloss sich in der Zeitschrift für Betriebswirtschaft eine mehrjährige Debatte an. Darin beweist Horst Köhler (vgl. 1978), dass die Folgerungen in der dargestellten vorbehaltlosen Weise nicht gültig sind. Er zeigt anhand eines Beispiels, dass als notwendige Voraussetzung die Einzelurteile normalverteilt sein müssen. Zweitens, welche Chance hat nun dieses abhängige Gruppenurteil, besser zu sein als das unabhängige Gruppenurteil und damit auch besser zu sein als das Einzelurteil? (Nach der Rückinformation über das unabhängige Gruppenurteil kommt es in der zweiten Befragungswelle zur Bildung des abhängigen Gruppenurteils.) Albach widmet sich dieser Fragestellung über eine Plausibilitätsbetrachtung. Demnach könne das Problem nicht allgemein entschieden werden, es sei aber wenigstens plausibel, dass das abhängige Gruppenurteil dem Einzelfall überlegen sei. Diese Vermutung führt er darauf zurück, dass durch die Anonymität der Befragten untereinander, das kontrollierte Feed-back und die statistische Ermittlung des Gruppenurteils eine Änderung der Einzelantworten in Richtung auf dominante Einzelantworten ausgeschlossen seien (im Unterschied zu Gruppendiskussionen und auch zum Brainstorming). Die Änderung des Einzelurteils bei Delphi-Befragungen hänge ab von der Distanz zum Gruppenurteil und von der Stärke der eigenen Unsicherheit über das

42

Wissenschaftstheoretische Grundlagen

eigene Urteil. Je größer die Distanz beziehungsweise je stärker die Unsicherheit, desto größer fällt die Änderung des eigenen Urteils aus. Köhler (1978) setzt sich mit dieser Prämisse ebenfalls auseinander und zeigt am Beispiel der bereits 1964 im Rahmen des Untersuchungsprogramms der RAND Corporation veranstalteten Delphi-Befragung, dass infolge der stärkeren Konzentrierung der Einzelurteile um den Median und der damit verbundenen Erhöhung des Maximalwertes der Verteilungskurve eine Glättung dieser Kurve in Richtung einer Normalverteilung erfolgt. Damit sei der Forderung weitestgehend entsprochen, ein Gruppenurteil abzuleiten, das in jedem Fall mit 50 Prozent Wahrscheinlichkeit besser ist als die Hälfte der Einzelurteile beziehungsweise, je nach Lage des tatsächlich richtigen Urteils, besser ist als mehr als die Hälfte der Einzelurteile. Edgar Saliger und Christian Kunz (1981) zeigen jedoch in einem weiteren Aufsatz, dass die Ansätze von Albach, Köhler und Wolfgang Wechsler jeweils durch Gegenbeispiele widerlegt werden können: „Als Ergebnis der bisherigen Untersuchung ist festzustellen, dass sich keine allgemeingültige Vorteilhaftigkeit der DelphiMethode gegenüber dem ‚zufälligen Einzelurteil‘ ableiten lässt“ (Saliger/Kunz 1981:474). Die Autoren wählen demgegenüber einen wahrscheinlichkeitstheoretischen Zugang zur Klärung des Problems der Effizienz der Delphi-Methode. Sie formulieren die folgenden beiden Sätze und führen anschließend deren formalen Beweis: „Satz 1: Unabhängig von der Verteilung der Einzelurteile ist der Abstand des Gruppenurteils (Erwartungswert der Einzelurteile) zum wahren Wert genauso groß wie der Erwartungswert des Abstandes der Einzelurteile zum wahren Wert, wenn der wahre Wert außerhalb des Bereichs der Einzelurteile oder auf dessen Rand liegt. Satz 2: Unabhängig von der Verteilung der Einzelurteile ist der Abstand des Gruppenurteils (Erwartungswert der Einzelurteile) zum wahren Wert kleiner als der Erwartungswert des Abstandes der Einzelurteile zum wahren Wert, wenn der wahre Wert (echt) innerhalb des Bereichs der Einzelurteile liegt“ (Saliger/Kunz 1981: 476f.). Diese Sätze gelten nun unabhängig von der Verteilung der Einzelurteile. Saliger und Kunz beschließen die über zehn Jahre währende Diskussion um die formale Effizienz der Delphi-Methode mit folgender Bemerkung: „Da das Ergebnis der Delphi-Methode bei allen Ausprägungen des tatsächlichen wahren Wertes also mindestens genauso gut und bei mindestens einer Ausprägung als echt besser im Vergleich zum Ergebnis des ‚zufälligen Einzelurteils‘ als bester Alternative zu beurteilen ist, kann man die Delphi-Methode auch als effizientes Prognoseverfahren bezüglich des Abstandes zum wahren Wert bezeichnen“ (1981: 479).1 1

Dass der Vergleich zwischen Gruppen- und Individualleistung prinzipiell zugunsten der Gruppenleistung ausfällt, zeigt bereits vor längerer Zeit eine Abhandlung von Klaus Türk (1973, vgl. auch Hofstätter 1956). Jedoch wird in dieser Arbeit nur über die Möglichkei-

Wissenschaftstheoretische Grundlagen

43

Bei der gesamten soeben referierten Argumentation wird unterstellt, dass es einen wahren Wert gibt und dass es das Ziel der Delphi-Befragung ist, diesen wahren Wert möglichst exakt zu ermitteln. Wie jedoch gezeigt wurde (vgl. Abschnitt 2.4), verfolgen nur bestimmte Typen von Delphi-Studien eine solche Zielsetzung. Für Ansätze, die beispielsweise der Aggregation von Ideen dienen, ist die geschilderte Debatte ohnehin weitgehend irrelevant, da sie gar nicht zum Ziel hat, „wahre“ Aussagen zu gewinnen. 3.3

Kognitionspsychologische Grundlagen

Bei der Darstellung der kognitionspsychologischen Grundlagen von DelphiBefragungen soll einleitend nochmals auf die Überlegungen zur Typisierung von Delphi-Befragungen verwiesen werden. Es wurde unterschieden zwischen Studien, die der Sammlung von Ideen dienen (Typ 1), die sich einer möglichst exakten Vorhersage eines unsicheren Sachverhalts beziehungsweise dessen genaueren Bestimmung widmen (Typ 2), die genutzt werden, um die Ansichten einer Expertengruppe über einen diffusen Sachverhalt zu qualifizieren und empirisch abzubilden (Typ 3) und die schließlich zur Konsensbildung unter den Teilnehmern herangezogen werden (Typ 4). Dieses Modell soll nun auch bei der Erörterung der wissenschaftstheoretischen Grundlagen von Delphi-Befragungen benutzt werden. Zur Beantwortung der Fragen nach den wissenschaftlichen Grundlagen von Delphi-Befragungen kann ein kognitionspsychologischer Ansatz herangezogen werden (vgl. Häder/Häder 1995:13ff., Häder 2000c:179ff.; Häder/Häder 2000:23ff.). Die Bearbeitung kognitiver Aspekte im Rahmen der methodischen Forschungen zur Delphi-Methode erscheint − auch angesichts beachtlicher Fortschritte in der Kognitionspsychologie − besonders lohnenswert, da der bislang noch nahezu unerforschte Prozess der Meinungsbildung bei den Experten inzwischen prinzipiell kognitionspsychologisch erklärbar sein dürfte. Wenn es möglich würde, theoretisch zu begründen, wie es den Experten gelingt, richtige beziehungsweise bessere Urteile über Sachverhalte zu fällen, über die ihnen zunächst nur unvollständiges Wissen vorliegt, so hätte dies sowohl für die Legitimation von Delphi-Befragungen generell als auch für die Entwicklung und Beurteilung konkreter Delphi-Designs wesentliche Implikationen. Auf den Mangel an kognitionspsychologischem Wissen über Delphi kann schließlich ein wesentlicher Teil der gegenüber der Delphi-Methode vorgetragenen Kritik zurückgeführt werden. Deshalb handelt es sich bei der weiteren Darstellung der kognitionspsychologischen Grundlagen von Delphi-Befragungen um einen Hauptaspekt zur Legitimation des gesamten Ansatzes und stellt nicht zuletzt einen Beitrag zu dessen theoretischen Aufwertung dar.

ten und Grenzen der Gruppendiskussion reflektiert, es erfolgt aber kein expliziter Verweis auf die Delphi-Methode.

44

Wissenschaftstheoretische Grundlagen

Man kann zunächst davon ausgehen, dass es sich bei Expertenschätzungen in Delphi-Studien um Urteile unter suboptimalen Bedingungen handelt. Dies trifft für alle vier Typen zu. „Problemlösen stellt erhebliche Anforderungen an die menschliche Informationsverarbeitung. Dies gilt besonders dann, wenn komplexe Ziele vorliegen, viele Handlungsalternativen denkbar und Konsequenzen in zahlreichen Dimensionen abzuwägen sind. Entsprechend hängt der Erfolg entscheidend davon ab, wie gut Informationssuche, Informationsbewertung und Informationsverküpfung gelingen“ (Zimolong/Rohrmann 1988:625). Fast allen Delphi-Befragungen – teilweise stellen Konsens-Delphis hier eine gewisse Ausnahme dar – ist weiterhin gemeinsam, dass in deren Verlauf eine Bewertung unsicherer Sachverhalte erfolgt und dass zugleich eine Verbesserung der ursprünglichen Urteile angestrebt wird. Bisherige Darstellungen betrachten DelphiBefragungen vor allem unter dem Aspekt der finalen Qualität der Urteile (vgl. zum Beispiel Abschnitt 3.1). Diese sollen möglichst einem Wahrheitskriterium genügen. Im Unterschied dazu werden hier Überlegungen dazu angestellt, ob und wie diffuse Sachverhalte prinzipiell von Experten bewertbar sind sowie ob und weshalb von einer Verbesserung der Bewertungen im Verlauf der Delphi-Befragung ausgegangen werden kann. An dieser Stelle soll auf eine Arbeit von Jerry R. Salancik (1973) verwiesen werden, in der die Hypothese empirisch untersucht wurde, dass Teilnehmer an einem Prognose-Delphi die Vorstellungen über die Durchführbarkeit, den Nutzen und die potenziellen Kosten eines Ereignisses „aufsummieren“ und daraus die Schätzung über das wahrscheinliche Eintrittsdatum ableiten. Mithilfe einer speziellen Versuchsanordnung konnte er nachweisen: „The more feasible, benefical, or economically a concept is judged, the earlier it is forecast to occur“ (Salancik 1973:248, vgl. auch Salancik et al. 1971). Aus kognitionspsychologischer Sicht gibt es Unterschiede zwischen den Schätzungen in der ersten Welle (vgl. Abschnitt 3.3.1) und den Urteilen, die danach in den Folgewellen (vgl. Abschnitt 3.3.2) abgegeben werden. 3.3.1

Die Urteilsbildung in der ersten Welle

Zur Erklärung der Bildung der Expertenurteile in der ersten Befragungsrunde wird zunächst das Informationsverarbeitungsparadigma herangezogen. In der Kognitionspsychologie wird darin der Mensch als ein System aufgefasst, das aktiv Informationen aus der Umwelt aufnimmt, speichert, manipuliert und zum Teil zielgerichtet weiter verwendet (vgl. Duttke 1994:10). Dieses Informationsverarbeitungsparadigma ist zwar sehr facettenreich (vgl. Scane 1987:79ff.), beruht aber letztlich auf einigen wenigen Kernannahmen (vgl. Weidenmann 1988:20ff.), von denen die folgenden drei im Zusammenhang mit der Bildung des Expertenurteils in Delphi-Studien generell interessieren:

Wissenschaftstheoretische Grundlagen

45

ĺ Informationen, die aktuell in der Umwelt nicht vollständig gegeben sind, können aus dem Wissensbestand des Individuums ergänzt werden. ĺ Die innere Repräsentation von Umweltgegebenheiten ist kein Abbild im passivphotographischen Sinne, sondern eine aktive Rekonstruktion. Diese Aufbauprozesse sind in der informationsverarbeitenden Aktivität und damit zum Teil auch in der Intentionalität des Individuums begründet. ĺ Es erfolgt eine ständige zyklische Rückkopplung zwischen Wahrnehmung, Gedächtnis und Informationssuche: Der Gedächtnisbestand leitet durch Erwartungsbildung die Informationssuche und die Wahrnehmung. Diese verändert ihrerseits den Gedächtnisbestand. Innerhalb der Kognitionspsychologie bietet vor allem die Theorienklasse mentaler Modelle, deren Forschungsgegenstand die menschliche Fähigkeit ist, „Strukturen und Prozesse realer Systeme in analoger Weise intern zu repräsentieren und sie damit verstehen, vorhersagen und erklären zu können“ (Conrad 1993:129) einen Zugang zum näheren Verständnis solcher Urteilsprozesse. Zunächst soll dieser Ansatz kurz umrissen werden: Mentale Modelle werden dazu benutzt, um „unabhängig von äußeren Vorgaben, Alltagswissen in Form gedanklicher Modelle (zu) organisieren, um sich das Verstehen oder Behalten bestimmter Sachverhalte zu erleichtern“ (Duttke 1994:2). In der Kognitionspsychologie dienen sie „der Erklärung menschlicher Informationsverarbeitungsleistungen. Mentale Modelle werden als kognitive Konstruktionen aufgefasst, die auf einer Interaktion von Wahrnehmung und Gedächtnis beruhen. Sie sind von den Intentionen des Informationsverarbeiters abhängig und damit auch indirekt abhängig von der zu bewältigenden Aufgabe (ebenda:12) ... Mentale Modelle beziehen schließlich „Alltagswissen in die Lösung von Problemen des logischen Schließens und des Urteils mit ein“ (ebenda:29). Wichtig für die Beschreibung des Zustandekommens der Expertenurteile der ersten Welle in einer Delphi-Befragung sind insbesondere die Aussagen, die die Theorie mentaler Modelle zum Urteilen unter Unsicherheit trifft. Dabei handelt es sich zunächst um eine alltägliche Anforderung an die menschliche Informationsverarbeitung, die deutliche Parallelen zu den bei Delphi-Befragungen – wiederum unabhängig vom jeweiligen Typ – auftretenden Anforderungen besitzt: „Es geht um die Frage, wie Individuen vorgehen, wenn sie unter suboptimalen Bedingungen (zum Beispiel zu wenig Information, hohe Komplexität der Aufgabe, Zeitdruck) Einschätzungen, Ursachenerklärungen, Schlussfolgerungen, Vorhersagen usw. abzugeben haben“ (Strack 1985:241). Solche kognitiven Vorgänge lassen sich – um ein Beispiel aus dem täglichen Leben anzuführen – in den zahlreichen Quizsendungen des Fernsehens gut beobachten. Hier werden an Kandidaten Wissensfragen gestellt, wobei für die richtige Antwort eine mitunter beträchtliche Belohnung in Aussicht gestellt wird. Es wird dabei in der Regel so vorgegangen, dass den Teilnehmern die richtige sowie einige falsche Ant-

46

Wissenschaftstheoretische Grundlagen

wortmöglichkeiten präsentiert werden. Aus kognitionspsychologischer Sicht gibt es zunächst prinzipiell zwei Möglichkeiten: Erstens, der Kandidat verfügt spontan über ausreichendes Wissen und ist dazu in der Lage, die richtige Antwort zu geben, oder zweitens, er wird versuchen, die richtige Antwort mithilfe von Gedankenstützen zu konstruieren. Interessant ist an dieser Stelle vor allem die letzte Variante. Der von Gerd Gigerenzer, Ulrich Hoffrage und Heinz Kleinbölting entwickelten Theorie mentaler Modelle weiter folgend ist für den Erfolg einer Schätzung, das heißt eines Urteils bei unsicherem Wissen entscheidend, ob für das Urteilen ein lokales mentales Modell (lokales MM) oder ein probabilistisches mentales Modell (PMM) genutzt wird. Während bei lokalen mentalen Modellen nur direkt auf die Aufgabe bezogenes Wissen aktiviert wird, wird bei der Konstruktion von probabilistischen mentalen Modellen in größerem Umfang Erfahrungswissen aus dem Alltag (oder Expertenwissen) herangezogen (vgl. Gigerenzer et al. 1991). Da bei Delphi-Befragungen kein sicheres Wissen für die Urteilsbildung zur Verfügung stehen kann, sind zunächst auch lokale mentale Modelle nicht anwendbar. Vielmehr müssen die Experten für ihre Schätzungen umfangreiches Wissen (etwa auch aus dem Langzeitgedächtnis) heranziehen, Referenzklassen bilden, komplexe Schlussfolgerungen ziehen usw., um letztlich aufgrund von Wahrscheinlichkeitshinweisen ein Urteil zu finden. Es soll hier nochmals an die Kandidaten beim Fernsehquiz erinnert werden. In solchen Sendungen lässt sich teilweise sehr gut beobachten, aufgrund welcher Gedankengänge von den einzelnen Kandidaten in einem iterativen Prozess beispielsweise falsche Antworten ausgesondert und andere für (mehr oder weniger) unwahrscheinlich gehalten werden. So gelingt es mitunter, die richtige Antwortmöglichkeit zu finden, obwohl zunächst kein ausreichendes Wissen vorhanden war. (Auf das Beispiel von den Kandidaten bei einem Fernsehquiz wird auch im Zusammenhang mit der empirischen Darstellung des Antwortprozesses mithilfe der Think-Aloud Methode an anderer Stelle zurückzukommen sein.) Die Experten bei einer Delphi-Befragung bilden ebenfalls, so kann zunächst angenommen werden, aufgrund von – mitunter sicherlich unbewussten – Wahrnehmungen, aufgrund ihres Fachwissens2 und schließlich aufgrund ihrer jeweils fachspezifischen Intentionen hypothetische Modelle zur Lösung des erfragten Sachverhalts. Auf diese drei zentralen Elemente soll kurz konkreter eingegangen werden: 1. Die Experten beziehen ihre Wahrnehmungen hinsichtlich der von ihnen zu lösenden Aufgaben zunächst aus relativ zahlreichen, unterschiedlichen Quellen. Bei diesen Quellen handelt es sich vor allem um die eigene (berufliche) Umgebung sowie um Eindrücke aus den unterschiedlichen Kommunikationsmedien. 2

In diesem Punkt besteht nun ein Unterschied zwischen den Denkprozessen, die bei den Experten innerhalb einer Delphi-Befragung stattfinden und denen, die bei Kadidaten aus einer Fernsehquizsendung ablaufen.

Wissenschaftstheoretische Grundlagen

47

Dazu zählt aber auch die jeweilige soziale Situation des Experten. Diese sorgt wiederum für Selektivität in seiner Wahrnehmung und damit für differenzierte Ergebnisse des Problemlösungsprozesses. Außerdem wird ein im Rahmen einer Delphi-Befragung von den Experten abgegebenen Urteil nicht zuletzt auch von den in der eigenen Umgebung wahrgenommenen Mehrheitsmeinungen (vgl. Noelle-Neumann 1989) geprägt sein. 2. Das Fachwissen eines Experten enthält sowohl empirische Erkenntnisse als auch spezifische Theorien, mit deren Hilfe Aspekte der Wirklichkeit erklärt werden. So dürfte beispielsweise die Sicht auf Jugendliche dadurch geprägt sein, ob es sich bei den Experten um einen Psychologen, Soziologen, Architekten, Theologen, Juristen, Pädagogen oder um einen Politologen handelt, der aufgrund seines Fachwissens jeweils mit bestimmten Eigenschaften dieses Personenkreises besonders gut vertraut ist. Damit werden auch die von ihnen bei der Bildung probabilistischer mentaler Modelle benutzten Erkenntnishilfen, die sogenannten Cues, jeweils fachspezifischen Charakter tragen. 3. In die Bildung von kognitiven Konstrukten zur Lösung einer Delphi-Aufgabe fließen weiterhin die Intentionen der Experten ein. Hier spielt offenbar der eigene Standpunkt, von dem aus ein Urteil gebildet wird, eine gewisse Rolle. Selbst ein ähnlich strukturiertes Fachwissen wird vor dem Hintergrund unterschiedlicher politischer Standpunkte und unterschiedlicher eigener wirtschaftlicher Interessen unter Umständen zu divergierenden Urteilen führen. (Im Abschnitt 11.4 wird anhand der Ergebnisse kognitiver Test zu zeigen versucht, ob sich solche Denkstrukturen bei den Teilnehmern von Delphi-Befragungen tatsächlich empirisch nachweisen lassen.) Andere kognitionspsychologische Ansätze sprechen den sogenannten impliziten Theorien besondere Bedeutung zu, wenn es um die mentale Konstruktion von Schätzungen über einen diffusen Sachverhalt geht. Implizite Theorien sind schematische Wissensstrukturen, die bestimmte Annahmen über die Stabilität eines Merkmals beinhalten beziehungsweise über die Bedingungen, unter denen sich Merkmale verändern, sowie über die Richtung, in der sich solche Veränderungen vollziehen. Hier haben empirische Tests gezeigt, dass beispielsweise Erinnerungslücken mit solchen impliziten Theorien beziehungsweise mit schematischen Wissensstrukturen aufgefüllt werden können (vgl. Schwarz 1993). Dies kann für die Umfrageforschung zunächst gewisse Probleme bei der Verwendung retrospektiver Indikatoren signalisieren: Auf die Frage beispielsweise, wie ehrlich jemand vor einem Jahr war wird – dieser Theorie zufolge – die Überlegung folgen, ob sich die Ehrlichkeit im letzten Jahr verändert hat. Wenn es keinen Grund gibt, um von einer Veränderung auszugehen, werden die aktuelle Ehrlichkeit und die vor einem Jahr gleich bewertet. Ist eine solche Annahme (= implizite Theorie) jedoch falsch, so würde beispielsweise eine retrospektive Frage verzerrt beantwortet werden. In diesem Zusammenhang wurde so auch die empirische Erkenntnis gewon-

48

Wissenschaftstheoretische Grundlagen

nen, dass Stabilität in retrospektiven Einschätzungen häufig überschätzt wird (vgl. Grau/Mueller/Ziegler 2000). Für die kognitionspsychologischen Grundlagen von Delphi-Befragungen noch interessanter ist jedoch die Tatsache, dass nachgewiesen werden konnte, dass Menschen über implizite Theorien zum zeitlichen Verlauf einer Erscheinung verfügen (vgl. Ross 1989). Ebenso wie retrospektiv bereits vergessene Ereignisse mithilfe dieser impliziten Theorien „aufgefüllt“ werden, dürften sich beispielsweise auch zukünftige Ereignisse mithilfe solcher impliziten Theorien vorweg nehmen lassen. Demzufolge müssten dann entferntere Ereignisse auch mit geringerer subjektiver Sicherheit bewertet werden. Genau diese Tendenz konnte in Tests empirisch nachgewiesen werden (vgl. Martino 1970a, 1970b). Zusammenfassend kann festgestellt werden: Allen Expertenurteilen bei DelphiBefragungen ist zunächst gemeinsam, dass von ihnen lediglich unter Unsicherheit ein Urteil über den erfragten Sachverhalt abgegeben werden kann. Die Vielfalt an Wahrnehmungen, an Fachwissen und an Intentionen, über die die Experten verfügen, erlaubt es diesem Personenkreis allerdings, mentale Modelle zu erstellen, auf deren Grundlage sie zu qualitativ hochwertigen Urteilen bereits in der ersten Welle einer Delphi-Befragung gelangen. 3.3.2

Die Urteilsbildung in den Folgewellen

In den Urteilen der folgenden Wellen spielen nun zunächst Lernprozesse, wie sie etwa Bernhard Zimolong und Bernd Rohrmann beschreiben, eine wichtige Rolle: „Jedes gelernte Verhalten verändert sich mit der Anzahl seiner Ausführungen und der Qualität der erhaltenen Rückmeldungen. Der Zeitbedarf verringert sich exponentiell zur Anzahl der Wiederholungen, die Ausführungsqualität verbessert und stabilisiert sich gegenüber Störungen aus der Umwelt und die Kontrolle des Ablaufs wird durch eine unbewusste, automatische Regelung ersetzt. Als Ergebnis vermindert sich die erlebte Beanspruchung. Die als `Potenzgesetz des Lernens´ bekannte Beziehung gilt nicht nur für das sensumotorische Lernen, sondern darüber hinaus für jede Art von kognitiver Aktivität“ (1988:628). Eine ganze Reihe der hier beschriebenen Effekte, die sich als Lernerfolg interpretieren lassen, sind bei Delphi-Befragungen bereits beobachtet worden (vgl. Häder/Häder 1994b; Häder/Häder/Ziegler 1995). So sank in einem Experiment beispielsweise der für das Ausfüllen des vom Umfang her identischen Delphi-Fragebogens erforderliche Zeitaufwand von Welle zu Welle. In einem Aufsatz (vgl. Bardecki 1984) wird ein Experiment zum Zusammenhang zwischen dem Grad an Dogmatismus eines Individuums und dessen Neigung zur Meinungsänderung beschrieben. Die These ist zunächst, dass dogmatische Menschen weniger zur Meinungsänderung neigen. Diese Annahme konnte jedoch nicht voll bestätigt werden (vgl. Mulgrave/Ducanis 1975). Immerhin wird in der Folgezeit von Delphi-Studien berichtet (vgl. Nelson 1978:46), die vor Beginn den Dogmatismus-

Wissenschaftstheoretische Grundlagen

49

Grad der beteiligten Experten – mit Hilfe der Dogmatismus-Skala von Vincent F. Berger (1967) – überprüfen. Besondere Bedeutung für die Qualitätsverbesserung der Urteile kommt bei Delphi-Befragungen – neben dem Lerneffekt – auch den Rückmeldungen zu, die die Experten nach jeder Befragungsrunde erhalten. Sie können direkt und indirekt einen Informationsgewinn bewirken, der bei der erneuten Urteilsbildung den Experten zur Verfügung steht. So stellt Norbert Schwarz (vgl. 1991) auf der Grundlage von Arbeiten zur flexiblen Konstruktion mentaler Repräsentationen innerhalb einer Befragung (vgl. Barsalou 1987, 1989) fest, dass die Untersuchungspersonen bei der Antwortfindung auf verschiedene Arten von Wissen zurückgreifen. Bestimmtes Wissen ist den Befragten permanent verfügbar, andere Informationen dagegen nur temporär. In diesem Zusammenhang ist es wichtig, dass zunächst nicht alle potenziell relevanten Informationen aus dem Gedächtnis abgerufen werden, sondern dass der Suchprozess abgebrochen wird, sobald die Befragten genügend Informationen erinnert haben, um sich mit hinreichender Sicherheit ein Urteil bilden zu können (vgl. Bodenhausen/Wyer 1987). „Das Urteil beruht daher nur auf der Teilmenge potentiell relevanter Information, die zum Urteilszeitpunkt verfügbar ist – sei dies chronisch oder temporär (Schwarz 1991:71; vgl. auch Hippler/Schwarz/Noelle-Neumann 1989, Schwarz/Sudman 1992, Schwarz/Strack/Hippler 1990). Die folgenden zwei Tests veranschaulichen diesen Vorgang weiter: 1. In einer Studie (vgl. Aderman/Brehm 1976) wurde untersucht, welche Konsequenzen für die Antworten entstehen, wenn der jeweils befragten Person eine Belohnung, beispielsweise ein Geldgeschenk, in Aussicht gestellt wird. Im Ergebnis ließ sich zeigen, dass in solchen Fällen das Gedächtnis länger nach Informationen abgesucht wird als wenn den Befragten keine Anreize geboten werden. Entsprechend ist zu erwarten, dass die Qualität eines Urteils mit der Intensität, mit der die Urteilsbildung betrieben wird, wächst. 2. Ein anderes Experiment widmete sich (scheinbar) der Dauer des Fernsehens. Zunächst wurde die Frage nach der Fernsehdauer in der letzten Woche gestellt. Nach der darauf folgenden Antwort wurden die Zielpersonen mit konkreten Nachfragen konfrontiert. Zwei Beispiele für die hier gefundenen Ergebnisse sind im Kästchen auf der folgenden Seite enthalten. Auch aufgrund dieser Nachfragen, es handelt sich um die häufig im Rahmen von Pretests eingesetzte Probing-Technik, konnten die Befragten dazu bewegt werden, nochmals den Suchprozess in ihrem Gedächtnis aufzunehmen und ihr zunächst abgegebenes Urteil zu revidieren und, so kann angenommen werden, dieses zu verbessern (vgl. Prüfer/Rexroth 1996).

50

Wissenschaftstheoretische Grundlagen

Zwei Beispiele für Nachfragestudien zu einer Fragebogenfrage 1. Beispiel: Frage des Interviewers:

„Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen?“

Antwort der Zielperson:

„Oh je, vielleicht sechs Stunden.“

Frage des Interviewers:

„Wie kommen Sie jetzt darauf?“

Antwort der Zielperson:

„Geraten, geschätzt – jeden Tag eine Stunde. Mehr jeden Tag. Jeden Tag zwei Stunden. Sind 14 Stunden. Ja 14 Stunden.“

2. Beispiel: Frage des Interviewers:

„Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen?“

Antwort der Zielperson:

„Zehn Stunden.“

Frage des Interviewers:

„Und wie sind Sie auf zehn Stunden gekommen?“

Antwort der Zielperson:

„Na das Programm ...“

Frage des Interviewers:

„Wie kommt es zu den zehn Stunden?“

Antwort der Zielperson:

„Ja also ich habe ungefähr täglich zwei Stunden – nein also es muss 14 Stunden sein. Zwei Stunden, vielleicht auch etwas mehr. Täglich gucke ich ungefähr zwei und eine halbe Stunde insgesamt.“

Quelle: Prüfer/Rexroth (1996)

Beide Beispiele zeigen, dass Befragte tatsächlich bei ihren Antworten (zunächst) nicht die gesamten ihnen zur Verfügung stehenden Informationen nutzen. Stimuliert durch eine in Aussicht gestellte Belohnung beziehungsweise durch eine erneute Nachfrage wird weiteres Wissen mobilisiert und – wie beispielsweise im zweiten Fall – die ursprüngliche Antwort überdacht. Die den Teilnehmern einer Delphi-Befragung nach jeder Welle rückgemeldeten Informationen sowie die erneute Bitte um Beantwortung der Fragen sollen nun ebenfalls bewirken, dass die Experten den Suchprozess in ihrem Gedächtnis nochmals aufnehmen und nach weiteren, für dem jeweiligen Sachverhalt relevanten Informationen fahnden. Die rückgemeldete Gruppenantwort kann einen Kontexteffekt bewirken und damit zur Verbesserung des abgegebenen Urteils beitragen. Zugleich ist die Rückmeldung aber auch als eine neue Information zu interpretieren. Sie muss in das bei den Experten bereits bestehende Modell (vgl. Abschnitt 3.3.1) eingepasst oder abgewiesen werden. Dazu müssen die Experten prüfen, ob die

Wissenschaftstheoretische Grundlagen

51

neue Information in Bezug auf das bestehende Modell als widerspruchsfrei integrierbar angesehen wird, ob das bestehende Modell verändert werden muss, oder ob die Information aus den Feed-back als abzuweisen eingeschätzt wird. 3.4

Das SIDE-Modell

Bei der Diskussion um die wissenschaftstheoretischen Grundlagen des DelphiAnsatzes soll an dieser Stelle abschließend auf das aus der Sozialpsychologie stammende Social Identity DEindividuation (SIDE-) Modell (vgl. Spears/Lea 1994, Reicher/Spears/Postmes 1995)3 Bezug genommen werden. Im Rahmen der Forschungen zur computervermittelten Kommunikation (CMC) ist ein bereits seit langem diskutiertes und bisher ungelöstes Problem erneut aufgetaucht: Es stellt sich die Frage, ob nicht aufgrund der bei computervermittelter Kommunikation vorliegenden Anonymität der Situation negative Auswirkungen auf das Verhalten der Teilnehmer zu erwarten sind (vgl. auch Abschnitt 7.8). Das SIDEModell beschreibt nun – aufbauend auf der Theorie der sozialen Identität (vgl. Tajfel 1978) und auf der Self Categorization Theory (vgl. Turner 1982, Turner et al. 1987) – welcher Effekt auf die Orientierung an sozialen Normen von unterschiedlichen Aspekten gegenseitiger Anonymität ausgeht. Im Unterschied und im Gegensatz zu den Deindividuationstheorien von Leon Festinger (1954), denen zufolge die Anonymität zu normenlosen, unregulierten Verhalten beiträgt, wird im SIDE-Modell angenommen, dass Menschen sich unter Anonymität normkonformer verhalten als in einer Situation, in der sie sich gegenseitig als Individuen identifizieren können. Anonymität beziehungsweise „Deindividuation ist ein psychologischer Zustand verringerter Selbstbewertung und Bewertungsangst, der zu ungehemmtem antinormativem Verhalten führt. Dieser Zustand wurde zunächst als Phänomen, das exklusiv bei gemeinsamen Handlungen von Mitgliedern einer großen Gruppe auftritt, beschrieben“ (Sassenberg 1999:10). Bei Delphi-Befragungen liegt nun eine ähnliche Situation wie bei der computervermittelten Kommunikation vor. Diese Ähnlichkeit besteht darin, dass den Beteiligten – aufgrund der anonymen Erhebungssituation – weniger soziale Kontextinformationen zur Verfügung stehen als bei einer persönlich-mündlichen Kommunikation und dass die Kommunikationssituation weniger als eine soziale Interaktion wahrgenommen wird. Zum SIDE-Modell liegen inzwischen eine Reihe von empirischen Befunden vor, die das Modell insgesamt bestätigen (vgl. Sassenberg/Kreutz 1999:63, Sassenberg 1999, Postmes 1997, Reicher/Levine 1994a 1994b, Spears/Lea/Lee 1990). Das SIDE-Modell besitzt zwei Aspekte: erstens einen kognitiven sowie zweitens einen strategischen. Beide werden kurz vorgestellt: 3

Mein herzlicher Dank gilt Herrn Dirk Bergmann vom Institut für Arbeitswissenschaften der RAG Aktiengesellschaft in Dortmund für seine Anregung zu diesen Überlegungen.

52

Wissenschaftstheoretische Grundlagen

ĺ Der kognitive Aspekt geht dem Einfluss der Anonymität auf das Verhalten der einzelnen Personen nach. Bei der Kommunikation verfügen der Selbstkategorisierungstheorie zufolge (vgl. Turner et al. 1987) die beteiligten Partner entweder über eine stärkere soziale oder über eine stärkere personale Identität. Bei der sozialen Identität ist das Selbstverständnis als Mitglied der Gruppe stärker ausgeprägt. Bei einer personalen Identität liegt dagegen ein stärkeres Selbstverständnis als Individuum vor. Je nach dem, welcher Aspekt nun salient ist, erfolgt die Argumentation im SIDE-Modell unterschiedlich: Bei salienter sozialer Identität wird zunächst die Homogenität der Expertengruppe wahrgenommen. Diese Wahrnehmung wird bei Delphi-Befragungen vermittelt durch das Monitoring-Team, das die Gruppenmitglieder beispielsweise über die gemeinsame Aufgabenstellung und die Struktur der Gruppe aufklärt. Den Teilnehmern wird so bewusst, dass besonders kompetente Personen aus unterschiedlichen Bereichen für die Mitarbeit rekrutiert worden sind. Die Teilnehmer wissen weiterhin, dass sie gemeinsam an der Bearbeitung einer diffizilen Fragestellung arbeiten. Sie nehmen das Feed-back zur Kenntnis usw. Die in der Gruppe unter Umständen vorhandenen unterschiedlichen Persönlichkeitseigenschaften werden jedoch aufgrund der anonymen Situation nicht wahrgenommen. Damit wird dem SIDE-Modell folgend die Identifikation mit der Gruppe weiter erhöht und eine Orientierung an den stereotypen Gruppennormen verstärkt. Wie Untersuchungsergebnisse zur Selbstkategorisierungstheorie zeigen, begünstigt die subjektive Homogenität einer Gruppe die Identifikation mit dieser (vgl. Wilder 1990). Gruppennormen, die bei Delphi-Befragungen verstärkt werden, können zum Beispiel sein, die vom Monitoring-Team ver- beziehungsweise übermittelte Problemstellung zu bearbeiten und dabei gemeinsam besondere kognitive Anstrengungen zur Problemlösung zu unternehmen. Bei salienter personaler Identität – wenn also das Selbstverständnis als Individuum dominiert – ist die Gruppensituation zunächst die gleiche. Die Teilnehmer haben keine Hinweise auf einzelne Persönlichkeitsmerkmale der anderen Gruppenmitglieder. Sie orientieren ihr Verhalten jedoch vielmehr an den eigenen Bedürfnissen. „Das Erkennen von ähnlichen, gemeinsamen Eigenschaften trägt bei nicht anonymer Kommunikation zur Schwächung der personalen Identität bei. Bei anonymer Kommunikation bleibt diese Schwächung aus. Folglich kommt es bei Anonymität zu Verhaltensweisen, die im Vergleich mit nicht anonymer Kommunikation besonders extrem die positive Distinktheit der eigenen Person fördern.4“

4

Diese Quelle findet sich unter folgender URL: http://www.psych.uni-goettingen.de/abt/6/forschung/projekt_04.html 27.05.2009).

(letzter

Zugriff

Wissenschaftstheoretische Grundlagen

53

ĺ Der strategische Aspekt des SIDE-Modells geht dem Einfluss der Identifizierbarkeit der einzelnen Personen und den damit zu erwartenden Sanktionen auf die Konformität des Verhaltens nach. „Die Identifizierbarkeit einer Person für andere bewirkt eine Bewertung des eigenen Verhaltens vor dem Hintergrund der Erwartungen dieser, d.h. es entsteht sogenannte öffentliche Selbstaufmerksamkeit (Carver/Scheier 1981). Dieser Effekt verstärkt sich, wenn die identifizierbare Person Sanktionen von ihren Beobachtern zu befürchten hat“ (Sassenberg/Kreutz 1999: 65). Eine solche Identifizierbarkeit liegt bei Delphi-Befragungen (mit Ausnahme eines von Hasse (1999) beschriebenen Vorgehens beim Typ 1) teilweise gegenüber den Mitgliedern der Monitoring-Gruppe vor. Sie besitzen unter Umständen die Möglichkeit, die eingehenden Fragebögen konkreten Experten namentlich zuzuordnen. Eine Orientierung an den Normen des Monitoring-Teams, so ist zu erwarten, sollte sich ebenfalls positiv auf den Ablauf der Delphi-Befragung auswirken, etwa dadurch, dass die Teilnehmer sich gegenüber den Veranstaltern zu besonderen Anstrengungen verpflichtet fühlen. Zusammenfassend kann festgestellt werden, dass derzeit (noch) keine geschlossene Theorie des Delphi-Ansatzes vorliegt. Es stehen jedoch eine Reihe von Versatzstücken verschiedenster Provenienz zur Verfügung, um die bei Delphi-Befragungen ablaufende Prozesse zu erklären. Einige besonders interessante Ansätze wurden in diesem Abschnitt vorgestellt. 3.5 Die Schätzung von Eintrittswahrscheinlichkeiten Kognitiv besonders anspruchsvoll ist die Schätzung von Eintrittswahrscheinlichkeiten. Eine solche Aufgabe könnte zum Beispiel lauten: „Für wie wahrscheinlich halten Sie es, dass das Ereignis x in den nächsten zehn Jahren eintritt? Bitte geben Sie einen Wert zwischen 0 Prozent (völlig ausgeschlossen) und 100 Prozent (völlig sicher) an!“ Verschiedene Bedenken werden gegen diese Art der Fragestellung vorgebracht. So treten erstens häufig Widersprüche gegenüber mathematischen Wahrscheinlichkeitsgesetzen auf (vgl. Hoffrage et al. 2000), wie die Verletzung der Konjunktionsregel. Danach kann die Wahrscheinlichkeit zweier Ereignisse, die durch eine logische UND-Verknüpfung verbunden sind, nie größer sein, als eine ihrer Komponenten. Bekannt wurde in diesem Zusammenhang das Linda-Problem (vgl. Tversky/ Kahneman 1983:297f.). Linda wird als selbstbewusste Studentin beschrieben, die Single ist, Philosophie studiert hat und im Studium großes Interesse an Themen wie Diskriminierung und Gleichberechtigung zeigte. Bei der Aufgabe zu schätzen, ob es wahrscheinlicher ist, dass Linda entweder als Bankangestellte arbeitet oder ob sie innerhalb der Frauenbewegung aktiv ist und als Bankangestellte arbeitet, fällt häufig

54

Wissenschaftstheoretische Grundlagen

die Entscheidung auf die zweite Variante. Diese Verknüpfung widerspricht jedoch den Wahrscheinlichkeitsüberlegungen. Geht man zweitens vom kognitionspsychologischen Modell der Antwortfindung auf eine (Fragebogen-)Frage aus, so spielt neben dem Verständnis der Frage die Abrufung von Informationen aus dem Gedächtnis eine besondere Rolle. Hierbei ist wiederum entscheidend, welche Informationen die befragte Person zur Verfügung hat. So mag man Versuchspersonen die Aufgabe stellen zu schätzen, welchen Studienabschluss wohl ein Mensch erwirbt, der zum Beispiel als intelligent, ordnungsliebend, systematisch und dafür mit wenig Sympathie für andere Menschen ausgestattet ist. Vielfach wird die Ansicht vertreten, es sei wahrscheinlicher ist, dass es sich um einen Informatiker handelt als dass diese Person Geistes- oder Erziehungswissenschaftler ist. Bei einer solchen Entscheidung bleibt dann aber offenbar außer Acht, dass es deutlich weniger Informatiker als Geistes- und Erziehungswissenschaftler gibt (vgl. Kahneman/Tversky 1973:238f.). Damit widerspräche auch eine solche Einschätzung den Gesetzen der Logik. Drittens ist beim Einsatz solcher Skalen eine übermäßige Nutzung der 50 Prozentantwort zu beobachten. Diese Kategorie wird dann genutzt, um Unwissen oder Enthaltung zu signalisieren (vgl. Lippman-Hand/Fraser 1979). Bei der Bewertung von besonders geringen Ereigniswahrscheinlichkeiten kann aufgrund der Tendenz, runde Werte wie 10, 20, 30 und so weiter zu bevorzugen, zu einer Überschätzung der Wahrscheinlichkeit kommen (vgl. Beuer-Krüssel/Krumpal 2009:38). Schließlich können viertens auch evolutionäre Prozesse für die Fehleranfälligkeit von prozentualen Wahrscheinlichkeitsschätzungen verantwortlich gemacht werden. „Menschen besitzen demnach keinen angeborenen Mechanismus, der ihnen die Verarbeitung von Einzelereigniswahrscheinlichkeiten in Einklang mit den normativen Standards der Wahrscheinlichkeitstheorie ermöglicht“ (Beuer-Krüssel/Krumpal 2009:38, vgl. auch Brase et al. 1998, Cosmides/Tooby 1996, Gigerenzer 1996, 1998, 2000). Die soeben vorgestellten Überlegungen beziehen sich auf die Gestaltung allgemeiner Bevölkerungsbefragungen. Es ist jedoch naheliegend, dass auch Experten bei Delphi-Studien solchen Fehlschlüssen erliegen können. Alternativ sollte deshalb in solchen Fällen auf eine Häufigkeitsskala zurückgegriffen werden. „Natürliche Häufigkeiten sind (verglichen mit Prozenten) weniger abstrakt, einfacher zu verstehen sowie zu visualisieren und benötigen weniger kognitiven Aufwand bei der Einschätzung von Risiken“ (Beuer-Krüssel/Krumpal 2009:40, vgl. auch Brase et al. 1998, Evans et al. 2000, Gigerenzer et al. 1991, Hoffrage et al. 2000).

4 Delphi-Befragungen im Vergleich zu ähnlichen Ansätzen

Es ist prinzipiell denkbar, gleiche inhaltliche Ziele auch mit verschiedenen sozialwissenschaftlichen Instrumenten zu erreichen beziehungsweise die gleiche Problematik mit unterschiedlichen Methoden zu bearbeiten. Im folgenden Abschnitt soll die jeweilige Spezifik der beiden mit den Delphi-Befragungen besonders „verwandten“ Verfahren – Gruppendiskussion in einer persönlich-mündlichen Situation und einmalige Expertenbefragung – im Vergleich herausgearbeitet werden. Die Darstellung geht davon aus, dass prinzipiell alle Ansätze ihre Existenzberechtigung im Arsenal der empirisch-sozialwissenschaftlichen Instrumente besitzen. Weiter wird vorausgesetzt, dass es keinen Sinn hat, nach einer generellen Hierarchie dieser Ansätze zu suchen. Es wird vielmehr darum gehen, für die jeweils zu bearbeitende Problemstellung den dafür geeignetsten Ansatz zu finden. Zunächst werden Gruppendiskussionen (Abschnitt 4.1) und die Expertenbefragungen (Abschnitt 4.2) jeweils kurz vorgestellt, danach wird die Relation dieser Ansätze zu den verschiedenen Typen von Delphi-Befragungen besprochen. Der Abschnitt schließt mit einer Gegenüberstellung von Deliberative Polls, einer in letzter Zeit häufiger diskutierten Strategie, versus Delphi-Befragungen mit dem Ziel der Konsensfindung (Typ 4). 4.1

Gruppendiskussionen

Die historische Entwicklung von Gruppendiskussionen beschreiben zum Beispiel Peter Loos und Burkhard Schäffer (2001). Die Autoren machen verschiedene Etappen der Entwicklung aus: Beginnend im angelsächsischen Raum sind gegen Ende der 1940-er Jahre erstmals Focusgruppendiskussionen zur Einschätzung der Zuschauerreaktionen auf Propagandafilme benutzt worden (vgl. Merton/Kendell 1946, 1979). Der Ansatz bot sich damals vor allem aufgrund von zeitlichen und forschungsökonomischen Überlegungen an. So interessierten zunächst nicht Gruppenprozesse, sondern die Reaktionen von (vielen) Einzelpersonen. In den 1970-er Jahren wurden dann Gruppendiskussionen als Instrument zur Erkundung von Gruppenprozessen entdeckt (vgl. Lamnek 1998). Der Idee folgend, dass die öffentliche Meinung mehr sei als ein Summenphänomen (vgl. Pollock 1955), wandten sich Gruppendiskussionen nun der Erforschung solcher Gruppenprozesse wie etwa den kollektiv verankerten Orientierungen zu (vgl. Mangold 1960, 1973). Schließlich wurde in letzter Zeit ein neues Konzept für Gruppendiskussionen entwickelt, nach dem es sich hier um einen Ansatz

56

Delphi, Gruppendiskussion und einmalige Expertenbefragung

mit einer „wechselseitigen Beeinflussung von Forschungsgegenstand und Methode“ handelt (Loos/Schäffer 2001:42, vgl. Bohnsack 1999). Wahrscheinlich kann man gegenwärtig davon ausgehen, dass die methodische Absicherung von Gruppendiskussionen – beispielsweise im Vergleich zu derjenigen von Delphi-Befragungen – bereits relativ weit fortgeschritten ist. Dabei hat sich das folgende Vorgehen als typisch herausgestellt: Bei Gruppendiskussionen werden – nach einem externen „Anstoß“ – von den Teilnehmern Erzählungen abgegeben, es werden Ereignisse erinnert und diese werden wechselseitig ergänzt (vgl. Loos/Schäffer 2001:13). Neben künstlich, nach bestimmten Kriterien zusammengesetzten Gruppen werden mithilfe dieses Verfahrens vor allem auch real existierende Gruppen befragt. Wichtig ist die Prämisse, dass die Gruppe unter diesem Focus als „konstituierender Faktor von sozial kontextualisierten Orientierungen“ (ebenda 2001:17) interessiert. Es wird nun untersucht, inwieweit auch Gruppendiskussionen die verschiedenen Funktionen von Delphi-Befragungen erfüllen können. Das Einsatzspektrum von Delphi-Befragungen wurde bereits konkret umrissen. Sie können – wie im Abschnitt 2.4 dargestellt – der Ideenaggregation dienen (Typ 1), sie können benutzt werden, um einen unklaren Sachverhalt konkreter zu strukturieren beziehungsweise um Ereignisse vorherzusagen (Typ 2), sie haben sich bei der Erhebung und Qualifikation von Expertenmeinungen zu diffusen Problemen bewährt (Typ 3) und sie ermöglichen schließlich die Beförderung von Konsens unter den Teilnehmern der Befragung (Typ 4). Entsprechend wird nun vorgegangen. ĺ Die Aggregation von Ideen und die Aufklärung unsicherer Sachverhalte Sowohl Gruppendiskussionen als auch Delphi-Befragungen können für die Aggregation von Ideen und für die Strukturierung diffuser Sachverhalte wie etwa von Zukunftsszenarien benutzt werden. Beide Ansätze vermögen, die Lösung einer bestimmten, zunächst nur wenig strukturierten Problemstellung voran zu bringen. Bei beiden Instrumenten werden dazu die einzelnen Mitglieder der Gruppe mit der Sammlung und Systematisierung von Informationen und Wissen beauftragt. Dabei sind in Bezug auf die Rolle der Gruppe jedoch Unterschiede zu machen: Bei Gruppendiskussionen kommt es infolge des sozialen Kontaktes unter den Teilnehmern zur Auslösung verschiedener Gruppenprozesse. So ist es denkbar, dass die Experten – unter günstigen Bedingungen – zu einem intensiven Austausch von Gedanken angeregt werden und so zu qualitativ hochwertigen Ideen gelangen. Ebenso ist es aber denkbar, dass aufgrund bestimmter ungünstiger Konstellationen in der Gruppe die Gruppenleistung nur relativ gering ausfällt. Wenn das Ziel der Erhebung in der Aggregation von Ideen besteht, kommt es nicht auf die Mehrheitsfähigkeit dieser Ideen an. Beabsichtigt wird lediglich eine qualitative Zusammenstellung möglichst vieler unterschiedlicher Gedanken zur Problemlösung. Deshalb muss bei einer solchen Zielstellung nur wenig befürchtet werden, dass in einer Gruppendiskussion, bei der die Teilnehmer einen persönlich-

Delphi, Gruppendiskussion und einmalige Expertenbefragung

57

mündlichen Kontakt haben, infolge einer Meinungsführerschaft das Ergebnis zu stark verfälscht wird. Bei Delphi-Befragungen erfolgt dagegen eine Reduktion dieser spontanen Gruppenprozesse. Lediglich durch ein anonymes Feed-back wird den Teilnehmern die Gruppenmeinung vermittelt. Charismatische Meinungsführer kommen so nicht zur Geltung. Die Kommunikation verläuft bei Delphi-Befragungen außerdem strukturierter ab als in der Gruppendiskussion. Damit werden die Gruppenprozesse gezielt modifiziert und vor allem kontrolliert. Zusammenfassend lässt sich daraus eine prinzipielle Überlegenheit von DelphiBefragungen nicht begründen. Beide Instrumente sind grundsätzlich dazu geeignet, zur Aggregation von Ideen und zur Strukturierung diffuser Sachverhalte beizutragen. Die für diesen Zweck in Gang gesetzten Gruppenprozesse unterscheiden sich indes voneinander. Es erschien jedoch zunächst nicht möglich, generelle Vor- oder Nachteile der einen oder anderen Vorgehensweise theoretisch zu begründen. Die Folgen der unterschiedlichen Vorgehensweisen waren jedoch Gegenstand einiger empirischer Tests. Lediglich drei sollen hier kurz erwähnt werden: Frederick Parenté und Janet K. Anderson-Parenté kommen aufgrund eines diesem Problem gewidmeten Experiments zu dem Ergebnis: „Nevertheless, the general trend is toward more valid judments over iteration“ (1987). Ihr Experiment zeigte, dass Delphi-Befragungen bessere kurzfristige Vorhersagen erbringen als dies im Ergebnis von Gruppenbefragungen der Fall ist. Bei Almanachfragen ergibt sich jedoch ein entgegengesetztes Resultat. Hier erwiesen sich in einem anderen Experiment die Gruppendiskussionen als leistungsfähiger (vgl. Brockhoff 1975). Walter Riggs berichtet schließlich über die folgende Versuchsanordnung: Die Spielergebnisse von Footballmannschaften mit ähnlichem Punktespektrum sollten vier Wochen im Voraus vorhergesagt werden. Insgesamt waren dabei zwei Spielergebnisse zu schätzen. Das erste Spiel war intensiv von den Medien kommentiert worden, woraus die Vermutung resultiert, dass über dieses Spiel relativ viele Informationen vorhanden waren. Für das andere Spiel galt dies nicht. Die Testteilnehmer waren Studenten. Eine Hälfte der gesplitteten Gruppe diskutierte die wahrscheinlichen Resultate in einer persönlich-mündlichen Situation, die andere Hälfte nahm an einer Delphi-Befragung in zwei Runden (dies ergibt zwei mal acht Gruppen) teil. „The result therefore appears to support the contention that Delphi is superior to the conference method for long-range forecasting in both high and low information environments“ (Riggs 1983:93). Die Ergebnisse der drei Experimente zeigen, dass Delphi-Befragungen, die das Ziel verfolgen, einen diffusen Sachverhalt zu strukturieren, sich gegenüber Gruppendiskussion nicht in jedem Fall als die überlegene Technik erwiesen haben. Dieser empirische Befund war aufgrund der oben dargestellten theoretischen Prämissen durchaus zu erwarten gewesen. In der Argumentation, ob nun besser Delphi-

58

Delphi, Gruppendiskussion und einmalige Expertenbefragung

Befragungen oder Gruppendiskussionen der Vorzug zu geben ist, wird deshalb teilweise der Schwerpunkt (vor allem von den Delphi-Befürwortern) auf die ökonomischen Aspekte bei der Anwendung des Verfahrens gelenkt, wobei für DelphiBefragungen dessen kostengünstigeres Design (vgl. Fischer 1981 zitiert nach Rowe et al. 1991:239) spricht. Auf die bei der Anwendung beider Verfahren entstehenden Kosten wird später (vgl. Abschnitt 6.2) noch näher eingegangen. ĺ Die Ermittlung und Qualifikation von Gruppenmeinungen über einen diffusen Sachverhalt Anders stellt sich die Situation dar, wenn das Ziel eines Forschungsprojekts darin besteht, Gruppenmeinungen zu qualifizieren und diese empirisch abzubilden (Delphi-Befragungen vom Typ 3). Hier lassen sich wesentliche methodische Unterschiede gegenüber Gruppendiskussionen in einer persönlich-mündlichen Situation ausmachen. Dies vor allem deshalb, weil bei Gruppendiskussionen die Gruppe eher als „Störfall“ konzeptualisiert werden muss. Wenn es um die Erhebung von (vielen) Einzelmeinungen geht, führen Mechanismen wie die Orientierung der eigenen Antworten an der sozialen Erwünschtheit in persönlich-mündlichen Situationen zu Verzerrungen. Solche Prozesse werden bei anonymen Delphi-Befragungen jedoch gezielt vermieden. Damit dürften Delphi-Befragungen gegenüber Gruppendiskussionen deutlich überlegen sein, wenn es darum geht, die Meinungen einer Reihe von Experten zu ermitteln und zu qualifizieren. Dies gilt umso mehr, je stärker als heikel empfundene Sachverhalte von den Experten bewertet werden sollen. ĺ Die Konsensbildung Eine wiederum andere Situation liegt vor, wenn die Aufgabe darin besteht, eine Konsensbildung unter den Teilnehmern zu befördern (Delphi-Befragungen vom Typ 4). Hier muss das Fehlen entsprechender Tests, die Delphi-Befragungen und Gruppendiskussionen unter diesem Aspekt miteinander vergleichen, konstatiert werden. Denkbar ist sowohl eine Hypothese, der zufolge bei Gruppendiskussionen in einer persönlich-mündlichen Situation aufgrund des engeren sozialen Kontakts unter den Mitgliedern der Gruppe ein höherer Konsensdruck vorliegt als dies bei einer anonymen Delphi-Befragung der Fall ist. Die Folge wäre eine stärkere Tendenz zur Konsensbildung bei Gruppendiskussionen. Folgte man jedoch dem SIDE-Modell (vgl. Abschnitt 3.4), ist auch eine gegenteilige Vermutung nicht unplausibel: Infolge der Anonymität werden bei DelphiBefragungen die unterschiedlichen Persönlichkeitseigenschaften der Teilnehmer von diesen nicht wahrgenommen und die Identifikation mit der Gruppe dadurch verstärkt. Unter einer solchen Konstellation würden sogar Delphi-Befragungen eher zu Konformität unter den Teilnehmern führen als Gruppendiskussionen. Ohne weitere Untersuchungen kann hier damit kein Urteil über die Überlegenheit einer der beiden Ansätze gefällt werden.

Delphi, Gruppendiskussion und einmalige Expertenbefragung

59

Wenn es um die Entscheidung geht, ob eher eine Delphi-Befragung oder eher eine Gruppendiskussion für ein bestimmtes Projekt die angemessene Methode ist, sind neben den bisher aus theoretisch-methodischer Sicht vorgetragenen Argumenten auch forschungsökonomische Erwägungen in Rechnung zu stellen. Da es nicht immer möglich ist, generell eine Vorgehensweise gegenüber der anderen zu favorisieren, geben Argumente, die auf die erforderlichen Kosten und den notwendigen Zeitbedarf abzielen, zumeist den Ausschlag. Delphi-Befragungen werden häufig genau dann eingesetzt, wenn es mit vertretbarem finanziellen und zeitlichen Aufwand nicht möglich ist, Experten in einer persönlich-mündlichen Gruppe zu rekrutieren. So wurden beispielsweise in einer DelphiStudie von 7.000 ursprünglich kontaktieren Experten lediglich 46 (dies sind weniger als 0.7 Prozent) gefunden, die über ausreichende Sachkenntnis verfügen, um in dem Fragekomplex „Information und Kommunikation“ eine bestimmte Frage zu beantworten (vgl. Cuhls/Blind/Grupp 1998:50). Es erscheint zweifelhaft, ob es gelänge, eine solche exklusive Expertengruppe anders als über eine zunächst breit gestreute postalische Delphi-Befragung zu rekrutieren. Albach nimmt dagegen an, dass Delphi-Befragungen relativ hohe Kosten verursachen und argumentiert: „Die Rechtfertigung für diese Kosten kann also nur in einer Verbesserung der Information gegenüber denjenigen Informationen bestehen, die durch Einzelbefragung und Brainstorming gewonnen werden können. Dies ist in der Tat die Hypothese, auf der die Delphi-Methode aufbaut“ (1970:17). Eine solche Ansicht wurde bisher kaum von anderen Autoren vorgetragen. So dürften die Kosten, die beispielsweise für eine postalische Delphi-Befragung von 100 in Deutschland lebenden Experten entstehen, eher niedriger sein als jene, die für die Rekrutierung der gleichen Anzahl von Teilnehmern für eine Reihen von Gruppendiskussionen verursacht würden. Für Delphi-Befragungen lässt sich ein weiteres praktisches Argument anführen. Dieses resultiert aus der Möglichkeit für die Experten, bei der Beantwortung der Fragen einer individuellen Zeiteinteilung zu folgen. Während bei Gruppendiskussionen die Teilnehmer an ein bestimmtes Zeitregime gebunden sind, kann die Beantwortung eines postalisch zugestellten Delphi-Fragebogens zeitlich relativ beliebig erfolgen. Ein anderes forschungsökonomisches Argument spricht wiederum für die Gruppendiskussion. Während die Resultate von Gruppendiskussionen unmittelbar nach deren Abschluss vorliegen, entsteht bei Delphi-Befragungen für die Erstellung des Feed-backs und die erneute Befragung ein immens höherer Zeitaufwand. Damit fällt es auch an dieser Stelle schwer, ein pauschalisierendes Urteil über Verwendungsempfehlungen der beiden Ansätze zu ziehen.

60

4.2

Delphi, Gruppendiskussion und einmalige Expertenbefragung

Expertenbefragungen

Nachdem Unterschiede und Gemeinsamkeiten von Gruppendiskussionen in einer persönlich-mündlichen Situation und Delphi-Befragungen erörtert wurden, soll nun den einmalig erhobenen Expertenbefragungen – die in der Literatur teilweise auch als Brainstorming bezeichnet werden – das Interesse gelten. Expertenbefragungen – die in verschiedenen sozialwissenschaftlichen Methodenlehrbüchern gar nicht explizit erwähnt werden – sind Peter Atteslander zufolge eine „mündliche oder schriftliche teilstandardisierte Methode mit deren Hilfe sowohl qualitative als auch quantitative Aspekte bearbeitet werden können“ (Atteslander 1984: 105ff). Nach Rainer Schnell, Paul B. Hill und Elke Esser dienen Expertenbefragungen, ebenso wie auch die Gruppendiskussionen, dazu, um in einer wenig strukturierten Interviewsituation Untersuchungen mit stärker standardisierten Methoden vorzubereiten (vgl. 2000:300). Im Unterschied zu den zuvor behandelten Gruppendiskussionen (vgl. Abschnitt 4.1) können einmalig veranstaltete Expertenbefragungen nicht als eine methodisch sonderlich differenziert ausgearbeitete sozialwissenschaftliche Methodik angesehen werden. Es fehlt beispielsweise weitgehend an methodischen Standards, die das Vorgehen bei Expertenbefragungen regeln. Aus diesem Verfahren resultierende Befunde werden dementsprechend auch selten berichtet. Insgesamt fehlen den Expertenbefragungen (mindestens) die folgenden typischen Elemente einer Delphi-Studie: ĺ Es handelt sich bei den Expertenbefragungen in der Regel um einmalige Untersuchungen. ĺ Die Teilnehmer erhalten damit kein Feed-back über die Ergebnisse der vorangegangenen Befragungsrunde(n). ĺ Es kann infolge des fehlenden Feed-backs nicht davon ausgegangen werden, dass zusätzliche kognitive Prozesse bei den Teilnehmern ausgelöst werden. ĺ Die für Delphi-Befragungen (außer beim Typ 1) typische, mitunter hoch standardisierte Erhebungssituation liegt bei Expertenbefragungen nicht vor. In Bezug auf die vier verschiedenen mit Delphi-Befragungen bearbeitbaren Zielstellungen bedeutet dies: Für die Aggregation von Ideen (Delphi-Befragungen vom Typ 1) können einmalig durchgeführte Expertenbefragungen ebenfalls gut benutzt werden. Bei einmaligen Befragungen fehlt der durch die gezielte Auslösung kognitiver Prozesse zu erwartende Informationsgewinn. Dafür liegt ein gewisser Vorteil solcher Befragungen in der kürzeren Zeit, die für die Erhebung benötigt wird. Gravierende Nachteile einmalig erhobener Expertenbefragungen gegenüber Delphi-Studien werden allerdings deutlich, wenn es um die Strukturierung eines diffusen Sachverhalts (Typ 2) oder um die Qualifizierung und Ermittlung von Expertenmeinungen (Typ 3) geht. Hier liefert das Feed-back bei Delphi-Befragungen einen we-

Delphi, Gruppendiskussion und einmalige Expertenbefragung

61

sentlichen Beitrag zu einer qualifizierteren Problemlösung. Ohne eine anonyme Rückkopplung und ohne eine erneute Schätzung sind keine Verbesserungen in den Urteilen zu erwarten. Bei einmaligen Expertenbefragungen wird jedoch auf diese beiden Elemente verzichtet. Gänzlich ungeeignet dürften einmalig veranstaltete Expertenbefragungen jedoch sein, wenn es um die Beförderung von Konsens unter den Teilnehmern (Typ 4) geht. Dieser Konsens wird bei den Delphi-Befragungen durch das Feed-back vermittelt und infolge der wiederholten Befragung festgestellt. Beide Elemente fehlen den Expertenbefragungen, sodass nicht davon ausgegangen werden kann, dass dieses Instrument dazu geeignet ist, Konsens unter den Teilnehmern zu erzeugen. Zusammenfassend ist festzustellen: ĺ Der Hauptvorzug des Delphi-Designs gegenüber den einmaligen Expertenbefragungen besteht in der gezielten Auslösung kognitiver Prozesse und in der dadurch verbundenen Verbesserung der Expertenurteile. Ein gewisser Nachteil ergibt sich dagegen aus dem höheren Zeitbedarf, der für die Veranstaltung mehrerer Delphi-Befragungsrunden erforderlich ist. ĺ Der Hauptvorzug beziehungsweise das eigentliche Anliegen von Gruppendiskussionen in persönlich-mündlichen Situationen besteht in der Aufdeckung von Gruppenprozessen. Anonyme Delphi-Befragungen sind dagegen gänzlich ungeeignet, wenn es um Zielstellungen dieser Art geht. ĺ Für bestimmte Forschungsziele lassen sich sowohl Delphi-Befragungen als auch Gruppendiskussionen und Expertenbefragungen nutzen. In der folgenden Übersicht (vgl. Tabelle 2) wird ein Vergleich der Leistungsfähigkeit von Delphi-Befragungen gegenüber Gruppendiskussionen in persönlich-mündlichen Situationen und gegenüber der einmaligen Befragung von Experten vorgenommen.

62

Delphi, Gruppendiskussion und einmalige Expertenbefragung

Tabelle 2: Einmalig veranstaltete Expertenbefragung, Gruppendiskussionen in persönlichmündlichen Situationen und Delphi-Befragungen im Vergleich Gruppendiskussion

Expertenbefragung

Delphi-Befragung

Design Experten müssen gleichzeitig Unterschiedliche Möglichversammelt werden keiten je nach Befragungsmodus

Befragung kann an verschiedenen Orten erfolgen

Feed-back erfolgt spontan im Kein Feed-back Verlauf der Diskussion

Anonymes Feed-back informiert über die Gruppenmeinung

Ergebnisse liegen relativ schnell vor Sehr gute methodische Absicherung

Größerer Zeitfonds erforderlich

Nur relativ geringe methodische Absicherung

Gute methodische Absicherung

Gruppendynamik Meinungsführerschaft möglich

Keine Beeinflussung durch Meinungsführer

Gruppenzwang zur Konformität möglich

Kein Konformitätszwang

Infolge der Anonymität relativ geringer Konformitätszwang

Kognitive Prozesse können im Verlauf der Gruppensitzung ausgelöst werden

Keine gezielte Auslösung weiterer kognitiver Prozesse

Durch Feed-back und erneute Befragungen werden kognitive Prozesse gezielt ausgelöst

Gruppenleistung ist gegenüber der Einzelleistung überlegen

Summe von Einzelleistungen

Gruppenleistung ist gegenüber der Einzelleistung überlegen

Freie Assoziationen der Experten

Synthese aus qualitativer und quantitativer Befragung Ziele Ideenaggregation prinzipiell möglich

Strukturierung diffuser Sachverhalte mit unterschiedlichen Erfolgsaussichten möglich Gruppe wirkt als Störfaktor

Nur Ermittlung von Expertenmeinungen möglich

Ermittlung und Qualifikation von Expertenmeinungen

Konsens erreichbar

Konsens nicht erreichbar

Konsens erreichbar

Delphi, Gruppendiskussion und einmalige Expertenbefragung

4.3

63

Deliberative Polls

Deliberative Polls stellen einen relativ neuen Ansatz dar. Die den Deliberative opinion Polls zugrunde liegende Idee stammt von dem Politikwissenschaftler Robert Luskin. Luskin übte zunächst Kritik (vgl. 1991) an der methodischen Qualität der akademischen Umfrageforschung. Er geht von einer allgemeinen politischen Uninformiertheit der Befragten aus und schließt daraus, dass in Umfragen eigentlich nur Non-attitudes, Vorurteile oder bestenfalls vage Werturteile ermittelt werden können. Nimmt man jedoch eine höhere politische Informiertheit der Teilnehmer an, so würden sich die Meinungen in den Umfragen verschieben. In politischen Großversuchen, den Deliberative Polls, werden deshalb nun zufällig Bürger ausgewählt und zur gemeinsamen Auseinandersetzung mit politischen Informationen und Argumenten unter Nutzung der neuen Medien und von Expertenwissen angeregt. Erst daran schließt sich dann die Befragung an. Luskins Argumente zielen darauf, Standards zu entwickeln, an denen sowohl Formen Deliberativer Demokratie als auch gewöhnlicher Umfragen gemessen werden können.1 James Fiskin schlug auf dem Kongress „Internet und Politik“ 1997 in München sowie in seinem Buch „Deliberation an Democracy“ (vgl. 1991) vor, solche Deliberative Polls zur Stärkung der repräsentativen Demokratie zu veranstalten. Das Ergebnis der Polls ist ein Meinungsbild darüber, was die Bürger denken würden, wenn sie denn politisch engagiert und informiert seien. So spricht eine Reihe an Vorteilen für diese neue Strategie. Zu nennen sind vor allem die hohen Entscheidungskosten die bei einer demokratischen Lösung von Problemen in großen Staaten mit heterogener Bevölkerungszusammensetzung entstehen würden. Auch würde auf diese Weise vermieden werden können, dass immer stärker Experten und nicht die durch den Wahlakt legitimierte Akteure Einfluss auf die Politik gewönnen (vgl. Dahl 1989). Strittig sind momentan noch Fragen wie der Minderheitenschutz sowie der Einfluss der Bearbeitergruppe auf die Ergebnisse der Deliberative Polls und auch die Folgen für die bestehende politische Demokratie und das politische System insgesamt sind noch nicht befriedigend aufgeklärt (vgl. Scheuch 1999). Die Idee der Delibarative Polls wurde inzwischen verschiedentlich aufgegriffen, beispielweise in Form von Bürgerkonferenzen und Bürgerdialogen zur Stärkung der direkten Demokratie (vgl. Bull 2001). An dieser Stelle ist interessant, dass bei den Deliberative Polls sowohl gezielt Denk- und Gruppenprozesse ausgelöst werden als auch die Expertise von Experten

1

Vgl. den Bericht über die Tagung „Meinungsforschung in der Geschichte moderner Demokratien – Methoden, Anwendungen, Wirkungen“ an der Freien Universität Berlin im Mai 1997 unter der URL: http://hsozkult.geschichte.hu-berlin.de/beitrag/tagber/meinung.htm (letzter Zugriff 27.05.2009)

64

Delphi, Gruppendiskussion und einmalige Expertenbefragung

für diesen Zweck genutzt wird. Damit lässt sich eine gewisse Verwandtschaft mit den Delphi-Befragungen vom Typ 4 mehr als erahnen. Deliberative Polls und Delphi-Befragungen des Typs 4 haben eine Reihe an Gemeinsamkeiten. Bei beiden handelt es sich zunächst um partizipative Ansätze. Vor allem die Beteiligung einer repräsentativen Auswahl von Teilnehmern, die Suche nach Konsens und die Legitimation von Entscheidungen sind Aspekte, denen sich beide Ansätze ebenfalls verpflichtet fühlen. Aber auch ein gewisser Bedarf an methodischer Absicherung ist gegenwärtig noch Kennzeichen dieser Strategien. Zu empfehlen ist eine gegenseitige Befruchtung von Delphi-Befragungen und Deliberative Polls. Gedacht werden könnte dabei an eine Synthese bestimmter Elemente aus beiden Ansätzen. Die anonyme Erhebungssituation und die Wiederholung der Erhebung sind Elemente, die sich bei Delphi-Befragung bewährt haben. Die gezielte Erzeugung von Sachverstand wäre ein aus den Deliberative Polls für die Delphi-Technik zu adaptierender Aspekt. Angesichts der noch relativ kurzen Anwendungsdauer der Delibarative Polls kann auch hier nicht von einer Konkurrenz zwischen beiden Ansätzen gesprochen werden.

5 Anwendungsgebiete von Delphi-Befragungen

Längst sind Delphi-Befragungen weit über ihr ursprüngliches Anwendungsgebiet, die Landesverteidigung (vgl. Linstone/Turoff 1975:11), hinaus eingesetzt worden. So erstreckt sich die Nutzung dieses Ansatzes inzwischen auf zahlreiche Gebiete der Gesellschaft. Immer noch am häufigsten geht es bei Delphi-Befragungen schwerpunktmäßig darum, Prognosen für Entwicklungen zu erarbeiten. Die Zukunft wird teilweise sogar zum Metathema: So berichten beispielsweise Linstone und Turoff von einer Delphi-Befragung, die dazu diente, von Zukunftsforschern eine Liste der wichtigsten Bücher mit dem Gegenstand Zukunft erstellen zu lassen (vgl. 1975:83). Eine Sichtung von Publikationen über Delphi-Befragungen legt aber nahe, neben den Prognosen auch weitere Anwendungsgebiete hervorzuheben. So werden DelphiBefragungen beispielsweise auch dazu benutzt, um Aspekte aus der Vergangenheit aufzuklären, sie finden Anwendung im Rahmen von Evaluationsforschungen und sie werden weiterhin für die Lösung ganz spezieller Probleme wie etwa zur Entwicklung von Fragebögen herangezogen. In diesem Abschnitt soll ein Überblick zu den häufigsten Anwendungsgebieten von Delphi-Befragungen gegeben werden. Dazu werden eine Reihe von Studien kurz vorgestellt. Für Leser, die an umfassenderen Informationen zu diesen Untersuchungen interessiert sind, werden die entsprechenden Quellen – zumeist aus dem Internet – angegeben. 5.1

Vorhersagen von Entwicklungen auf unterschiedlichen Gebieten

Die Zukunft gilt als ein besonders faszinierender Forschungsgegenstand. In fast allen Bereichen des menschlichen Lebens ist die Voraussicht in die Zukunft eine attraktive Aufgabenstellung. Mit den unterschiedlichsten Schwerpunktsetzungen wurden dafür bereits Delphi-Befragungen eingesetzt. Legt man wieder die Typologisierung von Delphi-Befragungen zugrunde, so handelt es sich dabei vor allem um Studien zur Aufklärung unsicherer Sachverhalte (Delphi-Befragungen vom Typ 2). Aber auch bei Delphi-Befragungen zur Ermittlung und Qualifikation von Expertenmeinungen (Typ 3) sowie bei der Konsensbildung (Typ 4) wird die Zukunft thematisiert. Weniger typisch ist bisher für diesen Zweck der Einsatz von Delphi-Befragungen zur Ideenaggregation (Typ 1). Im Weiteren werden einige besonders interessante Ansätze kurz beschrieben (vgl. auch Häder/Häder 1994a:38ff.). ĺ Nationale und bilaterale Delphi-Befragungen zur Entwicklung von Wissenschaft und Technologie

66

Anwendungsgebiete

Einer breiteren Öffentlichkeit bekannt wurden insbesondere Delphi-Studien zur Vorhersage von Entwicklungen in Wissenschaft und Technologie. Die Grundlage für viele Studien dieser Art lieferten die Arbeiten aus Japan. Dort fand 1971 die erste Delphi-Erhebung mit dieser Schwerpunktsetzung statt. Dieser Baseline-Erhebung sind inzwischen im Fünfjahresrhythmus acht weitere Studien gefolgt und die neunte Welle befindet sich in der Planungsphase (vgl. NISTEP 2009). Japan dürfte damit über den wohl größten Erfahrungsschatz beim Umgang mit dieser Delphi-Technik verfügen. Auch in Deutschland wurden seit 1993 verschiedene Delphi-Befragungen nach dem japanischem Vorbild umgesetzt. Veranstalter der Befragungen war jeweils das Fraunhofer Institut für Systemtechnik und Innovationsforschung (ISI) in Karlsruhe. Alle Befragungen wurden von der Bundesregierung initiiert (vgl. BMFT 1993, Grupp/Breiner/Cuhls 1994, Cuhls/Breiner/Grupp 1995; Cuhls/Blind/Grupp 1998). Bestandteile dieser Studien zur Entwicklung von Wissenschaft und Technik waren sowohl interkulturelle Vergleiche (vor allem mit den in Japan gewonnenen Ergebnissen) sowie Vergleiche mit Resultaten früherer nationaler Delphi-Befragungen. Teilweise wurden die Untersuchungen auch als bilaterale Studien, das heißt gemeinsam mit der japanischen Erhebung, durchgeführt. Inzwischen wurde in Deutschland ein umfangreiches Foresight-Programm etabliert, bei dem Delphi-Befragungen ein fester Bestandteil sind (vgl. Cuhls 2000:17ff.). Auch die Delphi-Studien anderer Staaten orientierten sich zum Teil stark an den Arbeiten aus Japan, dies trifft beispielsweise auf die Befragungen in Großbritannien (vgl. Loveridge/Georghiou/Nedeva 1995:4), Ungarn (vgl. Havas 2000:95ff.), Österreich (vgl. Aichholzer 2000:67ff.) und in Südafrika (vgl. Jeenah 2000:109ff.) zu. Auch aus Frankreich, Südkorea, Thailand, Schweden und Malaysia sind Initiativen für solche Untersuchungen bekannt (vgl. Cuhls/Blind/Grupp 1998:4). Einige Staaten wie beispielsweise Brasilien, Ägypten, Russland und Slowenien, stehen derzeit vor der Entscheidung, ob sie ebenfalls solche Delphi-Befragungen anwenden oder ob sie sich auf andere Methoden der Vorhersage stützen wollen (vgl. Cuhls 2000:25). Das Vorgehen bei den Delphi-Befragungen sieht jeweils ähnlich aus: Ein Lenkungsausschuss definiert zunächst Themenfelder und danach übernehmen Fachausschüsse die detaillierte Vorbereitung der Befragungen. In der deutschen Studie von 1998 wurden zwölf Themenfelder bearbeitet. Dabei handelt es sich um: (1.) Information & Kommunikation, (2.) Dienstleistungen & Konsum, (3.) Management & Produktion, (4.) Chemie & Werkstoffe, (5.) Gesundheit & Lebensprozesse, (6.) Landwirtschaft & Ernährung, (7.) Umwelt & Natur, (8.) Energie & Rohstoffe, (9.) Bauen & Wohnen, (10.) Mobilität & Transport, (11.) Raumfahrt sowie um (12.) Großexperimente. Diese Themenfelder wurden durch Thesen untersetzt. Diese insgesamt 1.070 Thesen werden dann in der zweiwelligen Delphi-Befragung aufgrund verschiedener Kriterien beurteilt (vgl. auch Abschnitt 7.6).

Anwendungsgebiete

67

Mit einer nahezu identischen Zielsetzung wurden rheinland-pfälzische Wissenschaftler der naturwissenschaftlichen, technischen und medizinischen Fächer befragt. Diese sollten ebenfalls ausgewählte Aspekte des „Deutschen Delphi-Berichts zur Entwicklung von Wissenschaft und Technik“ bewerten. Veranstalter war das Institut für sozialwissenschaftliche Informatik der Universität Koblenz-Landau. Die Befragung ging davon aus, dass es für eine zukunftsorientierte Wissenschafts- und Technologiepolitik in Rheinland-Pfalz dienlich sei, eine auf dieses Land konzentrierte Erhebung und Einschätzung relevanter Forschungsthemen zu haben. Auf Anregung des Ministers für Bildung, Wissenschaft und Weiterbildung in Mainz hatte eine Arbeitsgruppe von rheinland-pfälzischen Wissenschaftlern die Durchführung einer Umfrage empfohlen. Nähere Informationen über dieses Projekt finden sich im Internet1. Bedeutung hat in diesem Kontext auch eine Delphi-Befragung erlangt, die den Titel „Potenziale und Dimensionen der Wissensgesellschaft – Auswirkungen auf Bildungsprozesse und Bildungsstrukturen“ trägt. Diese Befragung fand 1997 und 1998 ebenfalls im Auftrag des Bundesministeriums für Bildung, Wissenschaft, Forschung und Technologie statt. Veranstaltet wurde das Projekt von der Prognos AG, Basel, und von Infratest Burke Sozialforschung GmbH & Co, München. Die Untersuchung über die künftige Wissensgesellschaft und die Auswirkungen auf Bildungsstrukturen wurde in zwei Teilschritten durchgeführt: Erstens handelte es sich um ein Wissens-Delphi zur Entwicklung der Wissensinhalte. Dazu befragte Prognos cirka 500 Experten. Zweitens wurde ein Bildungs-Delphi zu den Auswirkungen der Wissensgesellschaft auf die Bildungsprozesse und Bildungsstrukturen mit 457 Experten veranstaltet. Auch über diese Studien finden sich im Internet weitere Informationen2. Verwiesen sei auch auf: Prognos/Infratest (1998) beziehungsweise auf Veröffentlichungen von Johannes Stock, Heimfrid Wolff, Helmut Kuwan und Eva Waschbüsch (1998a, 1998b). ĺ Detailliertere Betriebs- und volkswirtschaftliche Prognosen Auch Prognosen im wirtschaftlichen Sektor zu teilweise sehr speziellen Fragestellungen haben bereits eine längere Tradition (vgl. zum Beispiel Blohm/Steinbuch 1972, Gewald 1972, Hennings/Hüber/Stahnke 1972, Bruckmann 1977, Witte/Senn 1983, König et al. 1997). So wurde auch – wahrscheinlich nicht zufällig – in Deutschland die Diskussion über Effizienz und Einsatzmöglichkeiten der DelphiMethode zunächst vorrangig in der Zeitschrift für Betriebswirtschaft geführt (vgl. Albach 1970, Köhler 1978, Wechsler 1978, Saliger/Kunz 1981). 1 2

Die Quelle ist: http://www.uni-koblenz.de/~sozinf/projekte/befragung.html (letzter Zugriff 27.05.2009) Informationen gibt es zum Beispiel unter http://www.bmbf.de/pub/delphibefragung_1996_1998.pdf Oder http://www.bmbf.de/de/9918.php (letzter Zugriff am 27.05.2009

68

Anwendungsgebiete

Die Delphi-Methode wurde beispielsweise für Vorhersagen des Wachstums im Bereich Büroautomatisierung (vgl. Spiegel 1987:134) sowie im DirektmarketingBereich (vgl. Annen 1997:66) genutzt oder sie diente der Analyse von „organizational change” (vgl. Brown/Heller 1981:141ff.). Über das Beispiel einer langjährigen kontinuierlichen Anwendung des Delphi-Ansatzes im Bereich der kurzfristigen Preisprognosen in Obstbaugebieten, diese wurden von Janssen (vgl. 1976, 1978) vorgestellt, ist bereits berichtet worden. Bernhard Stratmann (vgl. 1999, 2000:115ff.) beschreibt die Nutzung von DelphiBefragungen für die Stadtentwicklung und -forschung vor dem Hintergrund der Olympischen Spiele in Sydney im Jahr 2000. Im Rahmen eines Dissertationsprojekts wurde ein umfangreicher Themenkatalog bearbeitet. Die entsprechende Befragung wurde in den 1990-er Jahren durchgeführt. Zu den Themen zählen beispielsweise die generellen Erwartungen bezüglich der Folgen der Olympischen Spiele für Sydney, die daraus resultierenden Vor- beziehungsweise Nachteile für bestimmte soziale Gruppen, die zu erwartende Infrastrukturbelastung (Aus- oder Überlastung), entstehende Kommunaleinnahmen sowie die Folgen für die Stadtentwicklung. Erfragt wurde außerdem eine allgemeine Einschätzung der Wirkung von Großereignissen. Es sollten Arbeitsmarkteffekte, die Auswirkungen auf die Verkehrsentwicklung, insbesondere den Neubau von Straßen beziehungsweise den Ausbau der öffentlicher Verkehrswege, die Wohnungsmarkteffekte (Gentrifizierung, Verdrängung und Nutzungsveränderungen in bestimmten Stadtgebieten) sowie Wirkungen auf das Image Sydneys bei seinen Bewohnern, bei der übrigen Bevölkerung Australiens und bei Menschen in anderen Ländern ermittelt werden. Gegenstand waren schließlich die Folgen für die Stadtidentität (politische Polarisierung), die Bedeutung für die Städtekonkurrenz und -kooperation, mögliche Veränderungen im australischen Städtesystem als Folge der Olympischen Spiele, die Auswirkung auf den Umfang des internationalen Tourismus und ausländischer Direktinvestitionen sowie auf Sydneys Status als Global City. „Der Transportmarkt im Wandel“ lautete der Titel einer online durchgeführten Delphi-Befragung. Für diese Studie waren drei Runden geplant. Verantwortlich für die im Auftrag des Deutschen Verkehrs-Forums veranstaltete Erhebung war der Lehrstuhl für Betriebswirtschaftslehre-Logistik der Wirtschaftswissenschaftlichen Fakultät der Technischen Universität Dresden. Schwerpunkte des Fragebogens bildeten die externen Rahmenbedingungen des Transportmarktes, die Nachfrage nach Transportdienstleistungen und die Unternehmensentwicklung. Das Ziel der Studie wurde von den Veranstaltern wie folgt definiert: „Unser Ziel ist es, am Ende der Delphi-Befragung ein konvergentes, möglichst einheitliches Meinungsbild zu erhalten“ (Für weitere Hinweise vgl. die folgende URL: http://rcswww.urz.tudresden.de/~afeier/Lofrabo/1.html). Auch bei der Befragung „Lübeck 2005“ handelt es sich um eine online durchgeführte Delphi-Studie. Der Veranstalter, Studenten im vierten Semester des Fachbe-

Anwendungsgebiete

69

reichs Medieninformatik an der Fachhochschule Wedel, wollte im Auftrag der Wirtschaftsförderung Lübeck GmbH und in Zusammenarbeit mit den Lübecker Nachrichten die Auswirkungen digitaler Stadtnetze auf die wirtschaftliche Entwicklung von verschiedenen europäischen Städten analysieren. Die Themen Telearbeit, Telebanking, Teleshopping und Teletrading standen dabei im Mittelpunkt des Interesses.3 Weitere mit einer ähnlichen Zielsetzung konzipierte und umgesetzte Studien waren beispielsweise eine von der International Media & Book Agency Schmidt-Braul und Partner, Berlin, veranstaltete Delphi-Befragung zur Zukunft der Buchbranche (vgl. Lang 2000), eine von der Unternehmensberatung Booz, Allen und Hamilton (BAH), München, veranstaltete Delphi-Befragung zum Zugang zum Internet und zum Einsetzen globaler Netto-Arbeitsplatzeffekte (vgl. Beck/Glotz/Vogelsang 2000) sowie ein im Auftrag der Österreichischen Creditanstalt und in Zusammenarbeit mit dem Institut für Systemische Marktforschung veranstaltetes sogenanntes CA-Delphi zu den Auswirkungen der New Economy auf Österreich sowie eine DelphiBefragung zur Bildungsplanung (vgl. Berghofer 1971). ĺ Vorhersagen auf dem Gebiet der Telekommunikation und zur Zukunft des Internets Die Telekommunikation und die damit verbundenen technischen Lösungen gehören am Anfang des neuen Jahrhunderts zu den Industrie- und Wissenschaftszweigen, die am raschesten wachsen und die über das innovativste Potenzial verfügen. Da es sich hier um ein höchst komplexes Gebiet handelt, fühlen sich einzelne Experten offenbar nicht (mehr) in der Lage, globale Trends ausreichend zuverlässig abzuschätzen. Damit erweisen sich Projektionen über die weiteren Entwicklungen, insbesondere die Ermittlung von Wahrscheinlichkeiten, mit denen verschiedene Ereignisse eintreten, als äußerst schwierig. Aus diesen Gründen boten sich zur Bearbeitung hier ebenfalls Delphi-Studien an. Über eine erfolgreiche Anwendung von Delphi-Befragungen im Bereich regionaler Entwicklung der Telekommunikation berichten zum Beispiel Ono und Wedemeyer (vgl. 1994). Die künftigen Einsatzgebiete und Zielgruppen von Mobilfunkgeräten untersucht Häder (vgl. 2000a, b, c, d). Zunächst wurden bei dieser Studie die Experten gebeten, jeweils numerische Urteile zur weiteren Ausbreitung des Mobilfunks und zur Zukunft der Festnetzanschlüsse abzugeben. Ein weiterer Abschnitt erkundete dann wiederum sehr spezifische Fragestellungen. Es ging beispielsweise um die Bedeutung des Mobilfunks für Faxdienste, für die Übermittlung von Kurznachrichten und für den Zugang zum Internet (vgl. auch die Abschnitte 7.1 und 10.2 sowie 10.3). Die Zukunft des Internet war der Schwerpunkt einer internationalen DelphiStudie (vgl. Beck/Glotz/Vogelsang 2000) gewesen. Eine Besonderheit dieser Befra3

Die Quelle ist: http://www.kohls.de/onlineumfrage/fragebogen.html (letzter Zugriff am 27.05.2009)

70

Anwendungsgebiete

gung bestand darin, dass sie sowohl in einer paper & pencil Version als auch in Form einer online Internet-Erhebung durchgeführt wurde. Auf drei weitere Studien soll an dieser Stelle noch verwiesen werden: Erstens auf eine vom Fraunhofer Institut für Arbeitswirtschaft und Organisation (IAO), Stuttgart, umgesetzte Trendanalyse mit dem Titel „Elektronische Marktplätze“, deren Ziel es war, aktuelle Erfahrungen von Anwendern elektronischer Marktplätze und von EProcurement-Lösungen im Business-to-Business-Bereich zusammenzutragen und daraus sinnvolle Entwicklungsperspektiven für zukünftige E-Business-Plattformen darzustellen4. Zweitens auf eine Untersuchung zur Zukunft der Informations- und Kommunikationstechnologie (IKT) in privaten Haushalten, deren Ziel es war, Unterstützung bei der Auswahl von Forschungsfragen zur Anwendung von IKT im privaten Haushalt zu erhalten. Drittens schließlich auf eine vom österreichischen Bundesministerium für Arbeit und Soziales und von der Österreichischen Nationalbank geförderte Untersuchung zu Kommunikationsberufen im 21. Jahrhundert, an der Experten aus dem Multimedia-, dem Verlags- und aus dem Bildungsbereich teilnahmen (vgl. Hummel/Götzenbrucker 1997). Als Zwischenresultat lässt sich feststellen, dass gegenwärtig in allen genannten Bereichen schnelle und kostenintensive Entwicklungen stattfinden. Delphi-Befragungen erweisen sich als hilfreich, um Informationen über diese Prozesse zu gewinnen. Dies gilt auch für die folgenden Beispiele. ĺ Prognosen für die Bereiche Tourismus, Politik sowie Dokumentation – Information und für weitere Gebiete Als ein weiteres Anwendungsgebiet von Delphi-Vorhersagen nennen Kaynak et al. (vgl. 1994:19) das Gebiet des Tourismus. Demnach ist Delphi „one qualitative technique which had been used with substantial success in the past for predicting tourism demand and potential.” Arbeiten zum gleichen Problemkreis stellen Kathryn E.H. Race und Thomas W. Planek (1992), D.X. Chai (1977) sowie Katheln D. Mullen und R.S. Gold (1988) vor. Als weiteres Beispiel kann hier die Studie „Fernreisen 2005“ angeführt werden. Diese vom Fachbereich für Betriebswirtschaft der Wirtschaftsuniversität Wien veranstaltete Delphi-Befragung enthielt rund 50 Fragen zur quantitativen Entwicklung des Fernreisens, zum Reise- und Buchungsverhalten, zur Entwicklung von Angeboten, zu den Auswirkungen des Ferntourismus auf die Zielländer und auf den Tourismus im eigenen Land (vgl. Vielhaber/Müller et al. 1997)5. Das Delphi-Design hat sich auch für die sogenannten „Political Risk Analysis” bewährt. Diese sollten das zukünftige, politisch bestimmte Geschäftsklima eines 4 5

Die Quelle ist: http://www.mediavision.iao.fraunhofer.de/downloads/MS_ElektronischeMarktplaetze_klima.pdf Eine weitere Quelle ist: http://www.wu-wien.ac.at/inst/i3v/00217110/02925018.htm (letzter Zugriff 28.05.2009)

Anwendungsgebiete

71

Landes im Zusammenhang mit der zu erwartenden internationalen Situation vorhersagen. Dazu sind Expertengruppen in einem Delphi-Design um entsprechende Urteile gebeten worden. (vgl. Drobnick 1984:315). In den Vereinigten Staaten wurden Delphi-Befragungen außerdem im Bereich des Governmental Planning eingesetzt (vgl. Turoff 1975, Ludlow 1975, Jillson 1975, Jones 1975). Ein Beispiel für einen relativ frühen Einsatz von Delphi-Befragungen in Deutschland ist die vom Bundesministerium für Forschung und Technologie geförderte Studie zur bedarfsgerechten und benutzernahen Informationsversorgung in der Biomedizin (DIMDI). Die 1979 und 1980 durchgeführten Befragungen wurden über drei Wellen erhoben (vgl. Reichertz/Schwarz 1980:4). Im Mittelpunkt des Interesses stand dabei die Tätigkeit der Informationsvermittler, die zwischen dem „Endverbraucher“ einer Information und den Datenbanken stehen bzw. vermitteln. Untersucht wurden hier im einzelnen Ausbildungsfragen, Fragen der beruflichen Qualifikation, die strukturelle Einordnung der Informationsvermittlungsstellen sowie kommerzielle Aspekte der Tätigkeitsfelder der Informationsvermittler. Dieser Delphi-Studie sind inzwischen andere mit einer ähnlichen Zielstellung gefolgt. Zu nennen ist beispielsweise die Hamburger Untersuchung zur dokumentarischen Kompetenz in der Multimedia-Branche (vgl. Krauß-Leichert/Schmidt 1997). Auch die Delphi-Studie zur Image- und Transferförderung dokumentarischer Berufsbilder für die Multimedia-Branche (MoDElDOk) kann in diese Kategorie eingeordnet werden. Hier sollten der Bedarf an Informations- und Dokumentations-Knowhow eruiert, potenzielle Arbeitsfelder und Verantwortungsbereiche beschrieben, Anregungen zur Aktualisierung von Ausbildungsinhalten gegeben sowie Konzepte und Modelle für die Qualifizierung entwickelt werden.6 Um einen Eindruck von den vielfältigen Einsatzzielen von Delphi-Befragungen zu vermitteln, sollen hier noch einige weiter Studien vorgestellt werden: Das Institut für Bankinformatik und Bankstrategie an der Universität Regensburg hat eine Studie zu Endgeräten, Selbstbedienungsautomaten und Online-Diensten umgesetzt. Darin wurden Entwicklungslinien künftiger Automatengenerationen aufgezeigt und Prognosen zu verschiedenen Automatentypen (Geldausgabeautomaten, Kontoauszugsdrucker, Multifunktionsterminals) erarbeitet.7 Eine vom Institut emnid durchgeführte dreistufige Delphi-Befragung im Rahmen der Call Center Initiative Nordrhein Westfalen diente der Qualifizierung von CallCenter Mitarbeitern.8 6 7 8

Die Quelle ist: http://www.bui.haw-hamburg.de/pers/ute.krauss-leichert/Aktivfh/Forschung/ModelDok.htm Eine Liste zu den Studien findet sich unter: https://www.ibishop.de/index.php?cPath=23_57&sort=2a&page=2) Die komplette Dokumentation der Studie findet sich im Internet unter der folgenden URL: http://www.cca.nrw.de/content/service/studie2b.php?num=1 (letzter Zugriff 28.05.2009)

72

Anwendungsgebiete

Als Bestandteil einer Befragung zu „Kompetenz und Technik“ wurden Kompetenzanforderungen betrachtet, die durch die Wandlungsprozesse im Medien- und Journalismussystem entstehen. Besonders die Rolle von Datenbankrecherchen und die Verbesserung der Journalistenausbildung im Bereich Recherchefähigkeiten sind darin bearbeitet worden (vgl. Weischenberg et al. 1994)9. Schließlich wird auf eine von der Arbeitsgemeinschaft Salzburger Erwachsenenbildung zu den Zukunftserwartungen für die Weiterbildung in den Salzburger Regionen veranstaltete Delphi-Befragung verwiesen. Die Teilnehmer, zumeist Bildungsfachleute, sollten Erwartungen und Bewertungen über die Zukunft der Weiterbildung ermitteln.10 5.2

Delphi-Befragungen mit weiteren Zielstellungen

Neben prospektiv angelegten Delphi-Befragungen wird in der Literatur auch über zahlreiche andere Ziele bei der Anwendung des Delphi-Ansatzes berichtet. Um einen Einblick zu vermitteln, sollen wieder einige dieser vielfältigen Einsatzvarianten kurz vorgestellt werden. Dabei können sowohl verschiedene Anliegen als auch unterschiedliche gesellschaftliche Gebiete des Einsatzes von Delphi-Befragungen unterschieden werden. (Im Anhang dieses Buches wird die Zusammenstellung interessanter Delphi-Befragungen fortgesetzt.) Erstens berichtet James Bright (1972) über retrospektive Studien im Technikbereich. Er veranstaltete eine solche retrospektiv angelegte Delphi-Befragung über „Events leading to the Limitation of Elimination of the Internal Combustion Engine. The example, based upon a Delphi conducted in 1969 by a chemical company, was, to the best of our knowledge, the first which dealt exclusively with evaluating the past“ (Linstone/Turoff 1975:83). Wilkinson (1973) stellt mit der Retrospective Futurology ebenfalls eine tiefgehende, systematische Studie zur Vergangenheit vor, in der historische Gesellschaften wie zum Beispiel der Stadtstaat Athen mithilfe von Delphi-Befragungen untersucht worden sind. Das von Wilkinson im Zusammenhang mit dieser Studie erwähnte hyper-sophisticated polling of experts legte die Anwendung des Delphi-Ansatzes für diesen Sachverhalt nahe. Neben retrospektiven Untersuchungen ist zweitens die Ermittlung des aktuellen Forschungsstandes ein weiteres Anliegen von Delphi-Befragungen. „To rewiev the state of the art of industrial operations research“ war zum Beispiel das Anliegen von

9

Eine Liste zu den Studien findet sich unter: http://www.wiso.unihamburg.de/index.php?id=7379 (letzter Zugriff 23.09.2009) 10 Die komplette Dokumentation der Studie findet sich im Internet unter der folgenden URL: http://www.eb.salzburg.at//download/Eb_Zukunft_01-06.pdf (letzter Zugriff 23.09.2009)

Anwendungsgebiete

73

Fenske, für das er Delphi-Befragungen einsetzte (vgl. Linstone/Turoff 1975:82, außerdem D’Hondt/Kenis 1992). Eine dritte Zielsetzung von Delphi-Befragungen, die hier aufgeführt werden soll, sind Evaluationsstudien. Auf die erfolgreiche Nutzung der Delphi-Technik bei der Evaluation von Bildungsinhalten verweisen Richey et al. (1985:137). Eine online vom Institut für Gesundheitsökonomie und Klinische Epidemiologie der Universität Köln und vom Institut für Raumfahrtmedizin des Deutschen Luftund Raumfahrtzentrums (DLR) veranstaltete Delphi-Studie galt der Evaluation des Nutzens der Telemedizin. Internationale Experten aus dem Bereich Telemedizin waren eingeladen, an der Studie teilzunehmen. Das erklärte Ziel war die Konsensfindung: „Our purpose in this project is to gain more information about the international rating on the potential benefit of telematic applications in medicine.“11 Das vierte Anliegen stellt die Ermittlung von Forschungsbedarf mithilfe des Delphi-Ansatzes dar. Keith Zoski (1989) hebt die Eignung von Delphi zur Erkundung von „educational research needs” hervor. Fünftens werden Delphi-Befragungen zur Lösung spezifischer Fachprobleme eingesetzt. Eine solche Delphi-Befragung mit besonderem Problemlösungscharakter bezog sich beispielsweise auf implizite und explizite Theorien, welche klinisch tätige Therapeuten anwenden, wenn sie Unterscheidungen zwischen veridikalen Erinnerungen und retrospektiven Phantasien vornehmen. Die Fragestellung ging aus von einer kontroversen Diskussion im klinisch-therapeutischen Umfeld über das Wiederauftauchen von Erinnerungen an eine sexuelle Traumatisierung in der Kindheit nach einer beträchtlichen Zeit des Nichterinnerns im Kontext einer Psychotherapie (vgl. Krause 1999; Kirsch 2000). Ziel dieser Delphi-Studie war es, bestimmte implizite und explizite Theorien von klinisch und/oder wissenschaftlich tätigen Therapeuten zu erfassen und zu qualifizieren. Es ging um solche Theorien, aufgrund derer die Therapeuten versuchen zu entscheiden, ob es sich bei den Patienten, die von wieder auftauchenden Erinnerungen an eine sexuelle Traumatisierung in der Kindheit berichten, um eine veridikale Erinnerung oder um eine retrospektive Phantasie handelt. Es lassen sich eine ganze Reihe weiterer Delphi-Befragungen auflisten, die spezielle Problemlösungen unterstützen sollten. Der Lehrstuhl für Betriebswirtschaftlehre an der Universität Münster erkundete zum Beispiel die Erfolgsfaktoren von Dienstleistungsnetzwerken in einer online Delphi-Befragung. Schizoide Persönlichkeitsstörungen waren Gegenstand einer anderen DelphiBefragung. Die Ergebnisse stellten einen wichtigen Beitrag zur Ausarbeitung der „Leitlinien Psychotherapeutische Medizin und Psychosomatik“ der Deutschen Gesellschaft für Psychotherapeutische Medizin, der Deutschen Gesellschaft für Psychoanalyse, Psychotherapie, Psychosomatik und Tiefenpsychologie (DGPT), des Deut-

11 Die Quellen sind: http://www.medinfoweb.de/neu_01.htm (letzter Zugriff 28.05.2009)

74

Anwendungsgebiete

schen Kollegium für Psychosomatische Medizin (DKPM) und der Allgemeinen Ärztlichen Gesellschaft für Psychotherapie (AÄGP) dar.12 Aus dem medizinischen Bereich stammt auch das letzte an dieser Stelle aufgeführte Beispiel. Hier wurde die Opioid-Langzeitanwendung bei Nicht-Tumorschmerzen mithilfe einer Delphi-Befragung untersucht. Der Veranstalter, die Deutsche Gesellschaft zum Studium des Schmerzes e.V. (DGSS), hatte ihre Mitglieder per E-Mail gebeten, eine vorgelegte Themenliste zu bewerten und zu ergänzen. Aufgrund von über 50 anonymen Rückmeldungen wurde ein Konsensvorschlag erarbeitet. Auf einer Konferenz wurde dann der Konsensvorschlag diskutiert, bis Einstimmigkeit hergestellt war.13 Die genannten fünf Zielstellungen von Delphi-Befragungen stellen keine vollständige Auflistung dar, sie sollten jedoch einen Eindruck von deren Vielfalt vermitteln. Weiterhin lassen sich verschiedene Gebiete benennen, für die DelphiBefragungen bisher von Nutzen waren. Bereits genannt wurden die Felder Technik, Gesellschaft und Wissenschaft. Daneben soll noch auf das Bildungs-, das Hochschul- und auf das Gesundheitswesen aufmerksam gemacht werden: Ono und Wedemeyer (1994:290) zählen das Bildungswesen sogar zu den typischen Einsatzgebieten von Delphi-Studien. Auf zahlreiche Literaturquellen, die die Anwendung der Delphi-Technik in der Hochschulforschung beschreiben, verweisen Murry und Hammons (1995:425) sowie Rolf Bronner, Wenzel Matiaske und Friedrich A. Stein (1991). Auffallend viele Artikel zu Anwendungen der Delphi-Methode sind im „Journal of Advanced Nursing” erschienen. Die besondere Eignung von Delphi im Krankenhausbereich erörtern verschiedene Autoren (vgl. zum Beispiel Hitch/Murgatroyd 1983, Williams/Webb 1994:181; Goodman 1987, Duffield 1993 und Reid 1988). Die hier vorgetragene Argumentation leuchtet ein: Mithilfe des Delphi-Designs wird berücksichtigt, dass der Einfluss von Meinungsführern neutralisiert werden kann, was aufgrund der strengen Hierarchien im Gesundheitswesen als besonders sinnvoll erscheint. Als Fazit kann festgestellt werden14: Delphi-Befragungen werden genutzt, um sehr unterschiedliche inhaltlichen Fragestellungen aus fast allen Bereichen der Gesellschaft und der Technik zu bearbeiten. Prognosen, ebenfalls für sehr verschiedene 12 Die Quelle ist: http://www.uni-duesseldorf.de/awmf/ll/051-010.htm 13 Informationen beispielsweise unter: http://www.dgss.org/fileadmin/pdf/KONTS_Aerzteblatt.pdf oder unter http://www.aerzteblatt.de/V4/archiv/artikel.asp?id=32629 14 Im Rahmen der von uns am ZUMA ehemals angebotenen Beratungen zu Delphi-Befragungen wurden wir auf zahlreiche weitere Studien aufmerksam, die eine Reihe, teilweise recht unterschiedlicher Ziele verfolgen. So im Rahmen der Sportberichterstattung beziehungsweise der Sportentwicklung, des Städtebaus, im Rahmen der kirchlichen Gemeindearbeit oder in Bezug auf die Zukunft des Handwerks in Deutschland. (Vgl. auch die 65 im Anhang gesammelten Berichte über Delphi-Befragungen.)

Anwendungsgebiete

75

Gebiete, stellen die häufigste Anwendung von Delphi-Befragungen dar. Es konnte aber auch gezeigt werden, dass sie nicht das einzige Ziel der Nutzung des DelphiAnsatzes sind. Die Aufklärung retrospektiver Sachverhalte, die Ermittlung des stateof-the-art, Evaluationsansätze, die Feststellung von Forschungsbedarf sowie spezifische Problemlösungen waren bisher weitere Anliegen bei der Durchführung von Delphi-Befragungen.

6 Planung von Delphi-Befragungen

Bevor es darum geht, konkrete Tipps für die Durchführung und Auswertung von Delphi-Befragungen zu vermitteln, werden im folgenden Abschnitt zunächst Hinweise für die Vorbereitung einer solchen Untersuchung gegeben. Vor Beginn der Delphi-Befragung sind eine Reihe von Entscheidungen über das zu wählende Vorgehen zu treffen (Abschnitt 6.1). Bei allen diesen Entscheidungen sind neben dem Ziel der Studie die für die Untersuchung zur Verfügung stehenden Ressourcen in Rechnung zu stellen (Abschnitt 6.2). Bei bestimmten Typen von Delphi-Befragungen, etwa bei Erhebungen, die ein rein quantitatives Vorgehen vorsehen, sind in der Vorbereitung einige Besonderheiten zu beachten (Abschnitt 6.3). Wichtig für die Planung von Delphi-Befragungen ist auch, ob die Durchführung eines Delphi-Projekts an ein kommerzielles Markt- oder Meinungsforschungsinstitut übertragen werden soll (Abschnitt 6.4) oder ob vorgesehen ist, die gesamten Arbeiten in eigener Regie zu übernehmen (Abschnitt 6.5). 6.1

Vor Beginn der Studie

Zumeist stehen für die Durchführung einer Delphi-Befragung verschiedene Varianten zur Verfügung (vgl. auch Novakowski/Wellar 2008:1489ff.). Vor Beginn der Studie muss die Wahl für ein bestimmtes Vorgehen getroffen werden. Um eine Entscheidung treffen zu können, sind in der Phase der Planung einer Delphi-Befragung folgende Schritte zu bedenken: 1.

Den Ausgangspunkt bilden das zu bearbeitende Problem und die dafür zur Verfügung stehenden Ressourcen. Zunächst ist zu überprüfen, inwieweit sich die Fragestellung operationalisieren lässt, beziehungsweise bereits operationalisiert ist. Liegt dem Monitoring-Team ausreichend Wissen vor, um zu einer Problemlösung zu gelangen, oder müssen solche Informationen zunächst selbst zum Gegenstand der Delphi-Studie gemacht werden? Prinzipiell stehen zwei Varianten zur Verfügung. - Erstens: Die Experten befassen sich in einer qualitativen Befragungsrunde mit der Konkretisierung der Problemstellung. Oder: - Zweitens, das Monitoring-Team übernimmt diese Aufgabe gegebenenfalls unter Hinzuziehung von Fachausschüssen, externen Gutachten. Im letzteren Fall kann eine rein quantitative Delphi-Befragung geplant werden (vgl. Abschnitt 6.3). Einmal angenommen, es sollen zukünftige Arbeitsthemen eines Forschungsinstituts mithilfe der Delphi-Technik näher bestimmt werden. Zunächst ist dann zu

78

2.

3.

Planung von Delphi-Befragungen

entscheiden, ob sich die einzelnen Arbeitsthemen bereits ausreichend konkret benennen lassen oder ob es nur vage Vorstellungen zu diesen Themen gibt. Im ersten Fall wäre es möglich, mithilfe eines standardisierten Erhebungsinstruments von den Experten Bewertungen zu den infrage kommenden Themen einzuholen. Im zweiten Fall müssten die Teilnehmer jedoch zunächst darum gebeten werden, aus ihrer Sicht beispielsweise alle prinzipiell möglichen Forschungsthemen aufzulisten. Muss an dieser Stelle jedoch ein (noch) unzureichender Wissensstand festgestellt werden, so bietet sich die folgende Variante an: Eine externe Expertengruppe wird mit der Aggregation von Informationen beauftragt. Diese qualitative Stellungnahme bietet dann die Grundlage für die quantitative Untersuchung. Auf diese Weise könnte auf die qualitative Befragungsrunde im Rahmen der Delphi-Studie verzichtet werden. Voraussetzung ist jedoch, dass es diesem externen Expertengremium gelingt, tatsächlich alle infrage kommenden Themengebiete zu benennen. Für den Fall, dass ausreichend Ressourcen zur Verfügung stehen, ist weiterhin die Berufung eines wissenschaftlichen Beirates, der die gesamte DelphiBefragung begleitet, zu empfehlen. Dieser Beirat verhindert, dass (unbeabsichtigt) eine möglicherweise zu einseitige Betrachtungsweise des Problems erfolgt und kann so zur Steigerung der Akzeptanz gegenüber den Resultaten der Untersuchung beitragen. Es muss geklärt werden, um welchen Typ einer Delphi-Befragung es sich handeln soll. Falls mithilfe der Studie lediglich das Problemfeld erschlossen werden soll, würde ein qualitatives Delphi (Typ 1) ausreichen. Wichtig ist zu entscheiden, ob es darum gehen soll, einen diffusen Sachverhalt möglichst exakt zu bestimmen, oder ob vor allem die Meinungen von Experten qualifiziert und ermittelt werden sollen. Zu klären ist, inwieweit die Delphi-Befragung (auch) zu einer Konsensbildung bei den Entscheidungsträgern einen Beitrag zu leisten hat. Sollte es nicht gelingen, den gewünschten Typ der Delphi-Befragung zu fixieren, so ist in diesem Zusammenhang zu fragen, ob der Delphi-Ansatz überhaupt das geeignete Verfahren ist, um die anstehende Problematik zu bearbeiten. Gegebenenfalls müssen andere Zugänge, wie etwa Gruppendiskussionen oder ein Brainstorming (vgl. Abschnitt 4.2) zum Einsatz kommen. Nachdem das mit der Delphi-Befragung verbundene Erkenntnisinteresse bestimmt wurde, kann in einem weiteren Schritt die Lokalisierung der dafür erforderlichen Expertise erfolgen. Aufgrund der Operationalisierung der Problemstellung lässt sich die zu befragende Expertengruppe von ihrer Struktur her bestimmen. Diese kann – wie später noch konkret gezeigt wird – bei einer rein qualitativen Delphi-Befragung relativ klein sein. Während es mehr oder weniger einfach ist, eine Expertengruppe zusammenzustellen, wenn es bei der Befragung darum geht, die Meinungen eines bestimmten Personenkreises zu ermitteln, er-

Planung von Delphi-Befragungen

4.

5.

6.

7.

8.

9.

79

scheint die Auffindung von Experten für die Aufklärung eines diffusen Sachverhalts eine schwierigere Aufgabe zu sein. Von Vorteil ist es, wenn auf einen bestehenden Adressenpool von Experten zurückgegriffen werden kann. Liegt eine solche Zusammenstellung nicht vor, so müssen entsprechende Anstrengungen eingeplant werden, um eine solche Datei zu erstellen. Der Modus des Zugangs zu den Teilnehmern der Delphi-Befragung ist zu bestimmen. Möglich ist eine herkömmliche Strategie, bei der die Fragebögen postalisch an die Teilnehmer versandt werden. Denkbar ist es aber auch, eine über das Internet vermittelte Befragung zu konzipieren. Erfahrungen liegen inzwischen auch mit Delphi-Befragungen vor, die als persönliche Interviews in einer persönlich-mündlichen Situation stattfanden. Es ist zu klären, ob das gesamte Projekt mit eigenen Mitteln veranstaltet werden soll, oder ob eine andere Einrichtung mit der Bearbeitung beauftragt werden soll. Falls die Delphi-Befragung nicht in eigener Regie erfolgen soll (oder kann), muss eine Ausschreibung der Feldarbeit an ein kommerzielles Markt- oder Meinungsforschungsinstitut vorgenommen werden. Die eingehenden Angebote sind einer Bewertung zu unterziehen und schließlich hat die Vergabe des Auftrags zu erfolgen. Nachdem bis hierher Klarheit über verschiedene Modalitäten der Delphi-Befragung hergestellt wurde, kann das eigentliche Erhebungsinstrument entwickelt werden. Das bedeutet, dass ein Fragebogen für eine standardisierte Erhebung erstellt werden muss. Die in den Bogen aufzunehmenden Fragen sind aus der Problemstellung abzuleiten und im Einzelnen zu formulieren. Wert sollte gelegt werden auf die ansprechende Gestaltung des Deckblattes und ein überzeugendes Anschreiben. Es ist festzulegen, wie viele Nachfassaktionen zu planen sind, um den Rücklauf der Fragebögen zu befördern. Für diesen Zweck sind auf einer separaten Liste die Namen der Experten zu vermerken. Auf dem Fragebogen ist dann eine Identifikationsnummer aufzudrucken und der Rücklauf der Fragebögen während der Feldphase muss kontrolliert werden. Eine geeignete Preteststrategie ist zu entwickeln, um abzusichern, dass der Fragebogen die von ihm erwarteten Informationen liefert. In der Umfrageforschung gilt, dass bei fehlenden Kapazitäten für eine Voruntersuchung, besser auf die gesamte Erhebung verzichtet werden sollte. Dies trifft auch für Delphi-Befragungen zu. Es muss eine (Vor-)Entscheidung über die Anzahl der beabsichtigten Befragungswellen getroffen werden. Die Teilnehmer an einer Delphi-Befragung sollten bereits zu Beginn der Studie über den beabsichtigten weiteren Verlauf der Untersuchung unterrichtet werden.

80

Planung von Delphi-Befragungen

10. Nach Abschluss der Instrumentenentwicklung kann mit der qualitativen und/ oder quantitativen Befragung des Expertenpanels begonnen werden. 11. Während der nun folgenden Feldphase muss eine Überwachung des Rücklaufs erfolgen. Die beim Monitoring-Team eingehenden Fragebögen sind zu registrieren und eventuell auftretende Ausfälle zu beobachten. Wert sollte auch auf eine gute Dokumentation des gesamten Feldgeschehens gelegt werden. 12. Gleichzeitig mit Beginn der Feldarbeit kann die Erstellung der Unterlagen für die folgende Welle in Angriff genommen werden. Dabei können die Fragebögen soweit vorbereitet werden, dass lediglich noch das Feed-back – in Form bestimmter statistischer Angaben – einzutragen bleibt. Soweit vom Design her vorgesehen, muss die Aufbereitung verbaler Kommentare eingeplant werden. In Ausnahmefällen kann auch eine Überarbeitung des Fragebogens erforderlich werden. 13. An die erste Erhebungswelle schließen sich die Wiederholung(en) der quantitativen Befragungsrunde(n) an. Zumeist sind dabei jedoch kaum noch Veränderungen im Design vorzunehmen. 14. Die Delphi-Befragung schließt ab mit der Ergebnisdarstellung. Abschlußberichte sind sowohl an die beteiligten Experten als auch an den Auftraggeber zu richten. Als eine kostengünstige Variante hat sich hier die Nutzung des Internets bewährt. 15. Folgt man dem Vorschlag von Novakowski und Weller, so sollte sich an die eigentliche Delphi-Befragung eine anonyme Post-Delphi Erhebung anschließen. Das Ziel dieser Erhebung ist zu ermitteln, auf welche Weise die Studie verbessert werden kann, wie sich möglicherweise deren Effektivität erhöhen lässt (2008:1495). 6.2

Kostenverursachende Faktoren bei einer Delphi-Befragung

Die für die Delphi-Befragung zur Verfügung stehenden Ressourcen stellen – neben den inhaltlichen Vorgaben – bei nahezu allen zu treffenden Entscheidungen eine wesentliche Einflussgröße für die Gestaltung des Designs dar. Als entscheidende Aspekte sind zu nennen: a) der für die Delphi-Befragung insgesamt zur Verfügung stehende Zeitfonds, b) der Umfang der finanziellen Mittel, über die das Projekt verfügt und c) die personellen Ressourcen. Im Einzelnen verursachen die folgenden Positionen Kosten: 1. Größe, Struktur und Herkunft der Mitglieder der die Delphi-Befragung beaufsichtigenden beziehungsweise beratenden Gruppe sind kostenrelevant. Soweit ein solches Aufsichts- und Beratungsgremium vorgesehen ist, müssen Gelder für Reisen, Honorare, Raummieten und so weiter eingeplant werden. Zusätzlich ist der Zeitbedarf für entsprechende Treffen zu planen.

Planung von Delphi-Befragungen

81

2. Das Gleiche gilt für das Monitoring-Team als den eigentlichen Veranstalter beziehungsweise Moderator der Befragung. Es sollte auch eine ausreichende Anzahl von Hilfskräften bei der Planung berücksichtigt werden. Bezüglich der Qualifikation ist es sinnvoll, wenn neben Fachwissenschaftlern auch Methodiker (Spezialisten für Fragebogengestaltung und Umfrageforschung) am Projekt beteiligt werden. 3. Ein ausreichend großer Zeitraum für die Ausschreibung und die Bewertung der eingegangenen Angebote von kommerziellen Markt- und Meinungsforschungsinstituten ist bei der zeitlichen Planung der Befragung zu berücksichtigen. 4. Die Umsetzung der Pretest-Strategie erfordert eigene zeitliche, personelle und finanzielle Mittel. Jede Befragung sollte vor Beginn das Instrument einem Test unterziehen. Für solche Voruntersuchungen existieren verschiedene Strategien, die aufgrund der jeweiligen Spezifik des Fragebogens zu wählen sind. Sie erfordern einen unterschiedlichen Aufwand an Ressourcen. Unter Umständen – bei sehr komplizierten Fragebögen – sind finanzielle und zeitliche Mittel auch für mehrere Tests zu veranschlagen. 5. Für den Fall, dass nicht auf einen Adressenpool der Experten zurückgegriffen werden kann, muss ein Zeitfonds für die Erstellung dieser Adressdatei berücksichtigt werden. Der Aufwand für die Erstellung einer aktuellen Adressdatei kann immens sein. 6. Finanzielle Kosten fallen für die Rekrutierung der Experten, konkret für den Zugang zu relevanten Datenbanken, an, in denen für diesen Zweck recherchiert werden muss. 7. Ein wesentlicher Aspekt, der die Kosten der Delphi-Befragung bestimmt, ist die Anzahl der zu befragenden Experten. Aus dieser Zahl leiten sich die entstehenden Druckkosten, die Portokosten und die Kosten für das Rückporto ab. Zu beachten ist, dass an dieser Stelle ein gewisser Non-Response einzuplanen ist. Das bedeutet, dass zum erwarteten (Netto-)Umfang der Befragtengruppe ein gewisser Prozentsatz (Brutto) zuzuschlagen ist. 8. Immer häufiger werden für die Experten zur Motivation an der Teilnahme bei der Befragung Incentives angeboten. Solche Anreize können unterschiedlichster Art sein. Es ist im Einzelfall zu entscheiden, ob und mit welchen Mitteln die Experten zur Teilnahme stimuliert werden sollen. 9. Die Fragebogengestaltung ist ebenfalls in vielfacher Hinsicht kostenrelevant. An dieser Stelle sollen nur der Umfang des Bogens, die Papierqualität und das Layout genannt werden. 10. Ferienzeiten sind für die Befragung ungeeignet. Bei der zeitlichen Planung der verschiedenen Wellen einer Delphi-Befragung ist dieser Umstand zu berücksichtigen. 11. Werden offene Fragen in das Frageprogramm aufgenommen bzw. handelt es sich sogar um eine Delphi-Studie zur Aggregation von Ideen (Typ 1), so müssen

82

12.

13.

14.

15.

Planung von Delphi-Befragungen

Kosten für die Verschriftung und die nachträgliche Vercodung der Antworttexte eingeplant werden. Eine nachträgliche Vercodung offener Antworten kann nicht rein mechanisch erfolgen, sondern erfordert ebenfalls eine gewisse Fachkompetenz. Folgen hat dies auch für den zeitlichen Rahmen, in dem eine solche Befragung realisiert werden kann. Wesentlich für die Absicherung einer guten Beteiligung an der postalischen Befragung sind Nachfassaktionen. Solche Nachfass- oder Erinnerungsschreiben erfordern sowohl zeitliche als auch finanzielle Ressourcen. Mit der Anzahl der Befragungswellen steigt der erforderliche finanzielle und zeitliche Rahmen. Zu berücksichtigen sind dabei wiederum die Kosten für (erneute) Nachfassaktionen, den Druck der Fragebögen und so weiter. Allerdings ist es nicht erforderlich, einen zu großen zeitlichen Abstand zwischen den einzelnen Wellen einzuplanen. Langjährige Erfahrungen mit solchen umfangreichen Delphi-Befragungen liegen aus Japan vor. Hier fand die erste Runde im Rahmen der sechsten Befragung zur Zukunft von Wissenschaft und Technologie im August 1996 statt, die zweite Runde wurde im Dezember 1996 abgeschlossen (NISTEP 1997:3). Damit wurden für eine Welle cirka fünf Monate benötigt. Duffield (1993) geht davon aus, dass für jede Runde bis zu acht Wochen benötigt werden. Hasson und Kollegen (2000) benötigten immerhin vier Monate für sein Projekt, bei Keeney (2000) war ein ganzes Jahr erforderlich, um die Untersuchung abzuschließen und bei McKenna sogar 16 Monate (vgl. Keeney/Hasson/McKenna 2006:209). Die Erstellung des Feed-backs nach jeder Runde erfordert einen gewissen Zeitfonds. Dieser kann jedoch relativ gering gehalten werden, wenn bereits während der Erhebung der ersten Welle – oder davor – das Design des Fragebogens für die Folgewelle(n), einschließlich der einzufügenden Rückinformation, vorbereitet wird. Verschiedene Varianten existieren auch für die Präsentation der Endergebnisse. Wichtig ist, den Teilnehmern und den Auftraggebern die Resultate zur Verfügung zu stellen. Dazu können sowohl Workshops veranstaltet als auch ausführliche Dokumentationen erstellt werden. Einzuplanen sind deshalb Druckkosten für Publikationen und die Kosten für die Organisation von Workshops.

Diese Aufzählung wollte einen möglichst vollständigen Überblick aller bei einer Delphi-Befragung möglicherweise anfallenden Kosten geben. In der Praxis werden unter Umständen einige Positionen entfallen bzw. wird sich der Aufwand aufgrund der Übernahme bestimmter Positionen in die eigene Regie verringern lassen. Auch bringt die Nutzung des Internets (vgl. Abschnitt 8) die Möglichkeit für Modifikationen dieses Planes mit sich.

Planung von Delphi-Befragungen

83

Es dürfte angesichts der Vielfalt der Positionen klar geworden sein, dass es faktisch nicht möglich ist, einen Richtpreis für Delphi-Befragungen zu nennen. Dies gilt letztlich auch für den einzuplanenden Zeitraum und die erforderlichen personellen Ressourcen. Gewarnt werden soll vor der Auffassung, Delphi-Befragungen stellten eine besonders billige Informationsquelle dar. Richtig ist vielmehr, dass durch zu starke Beschränkungen bei den Kostenpositionen (beispielsweise beim Pretest) die Qualität der Ergebnisse nicht mehr gewährleistet werden kann. 6.3

Besonderheiten der Planung rein quantitativer Delphi-Befragungen

Rein quantitative Delphi-Befragungen sind solche, die auf die qualitative Runde zur (Vor-) Strukturierung eines diffusen Sachverhalts verzichten und lediglich in mehreren quantifizierenden Wellen Experteneinschätzungen erheben. Bei der deutschen Delphi-Befragung zur globalen Entwicklung von Wissenschaft und Technik handelt es sich beispielsweise um eine solche rein quantitative Befragung. Die Planung dieser Studie soll kurz als Beispiel für eine mögliche Vorgehensweise vorgestellt werden. Das Hauptproblem besteht hier darin, bereits vor Beginn der Studie eine weitgehende Operationalisierung der Fragestellung zu erarbeiten. Dabei muss gewährleistet werden, dass keine partikulären Interessen einzelner Mitglieder des Monitoring-Teams die Gestaltung des Fragebogens prägen. So betont etwa eine besonders detaillierte Abfrage von Facetten eines Teilgebiets indirekt bereits dessen vermeintliche Wichtigkeit, während eine nur grobe Abfrage zu einem anderen Teilgebiet einen gegenteiligen Effekt haben kann. Der Auftraggeber dieser Untersuchung, das BMBF, setzte zunächst einen Lenkungsausschuss bestehend aus neun Personen ein. Dieser Lenkungsausschuss setzt sich zusammen aus (1.) Vertretern der Wirtschaft (Vorsitzender des Vorstandes der DEKRA, Forschungsvorstand der BASF, Mitglied der Bayerische Vereinsbank, Vizepräsident von Arthur D. Little), (2.) der Wissenschaft (Präsident des Wissenschaftszentrums Berlin, Professor an der TH Darmstadt, Rektor der Universität Leipzig) sowie (3.) aus zwei weiteren Einrichtungen (Mitarbeiter bei der „Zeitschrift Bild der Wissenschaft“ und Generalsekretär der Volkswagen-Stiftung). Damit waren die Inhaber verschiedener Professionen, wie zum Beispiel Ingenieure, Chemiker, naturwissenschaftliche Publizisten, Soziologen und Physiker vertreten. Diese Zusammensetzung garantierte einen interdisziplinären Informationsaustausch. Der Lenkungsausschuss definierte zunächst die zu bearbeitenden Themenfelder. Danach erfolgte, bereits zwei Jahre1 vor Beginn der eigentlichen Befragung, die Bildung von Fachausschüssen, welche ebenfalls interdisziplinär mit mehr als 100 1

Damit muss sich die Veranstaltung einer rein quantitativen Delphi-Befragung gar nicht unbedingt schneller realisieren lassen als ein Delphi, bei dem zunächst eine qualitative Runde vorgeschaltet wurde.

84

Planung von Delphi-Befragungen

Personen aus Industrie, Hochschulen und anderen Bereichen besetzt waren, die dann die inhaltliche Vorbereitung der Studie betrieben. Die Moderation der Arbeit der Fachausschüsse übernahm jeweils ein Mitglied des Lenkungsausschusses. Die Koordination des gesamten Prozesses erfolgte durch das Fraunhoferinstitut für Systemtechnik und Innovationsforschung (ISI). Hier wurde auch der Fragebogen erarbeitet und an die Zielpersonen versandt sowie die Adressdatenbank aufgebaut und gepflegt. Der relativ große Aufwand bei der Entwicklung des Erhebungsinstruments scheint gerechtfertigt und typisch für rein quantifizierende Delphi-Befragungen zu sein. Dabei kommt es vor allem darauf an, a priori umfassend jene Ideen zu sammeln, deren Bewertung Anliegen der Delphi-Befragung sein soll: „Um ein gutes Ergebnis zu erzielen, muss der Löwenanteil der investierten Arbeit auf das Aufstellen des Fragekatalogs verwendet werden“ (BMFT 1993:XV). Generell empfiehlt sich bei rein quantitativen Delphi-Projekten folgendes Vorgehen: Eine Monitoring-Gruppe – eingesetzt vom Auftraggeber – leitet das gesamte Projekt. Diese Gruppe sollte sinnvoller Weise von einem interdisziplinär zusammengesetzten wissenschaftlichen Beirat unterstützt werden. Eine Funktion des Beirates ist es zu verhindern, dass partikuläre Interessen einzelner beteiligten Wissenschaftler in der Befragung zu sehr in den Vordergrund geraten. Um die Dominanz einzelner Personen zu verhindern, wurden beispielsweise im österreichischen TechnologieDelphi drei Teams mit der Durchführung beauftragt (vgl. Aichholzer 2000:69). Eine andere Möglichkeit, um zusätzliche Kompetenz für die Strukturierung der zu bearbeitenden Problemstellung zu aktivieren, wäre die Nutzung externer Gutachten für die inhaltliche Strukturierung der Studie. 6.4

Vergabe der Feldarbeit an ein kommerzielles Institut

Aufträge zur Übernahme der Feldarbeit von Delphi-Befragungen können an ein kommerzielles Markt- bzw. Sozialforschungsinstitut vergeben werden. In Deutschland haben sich eine Reihe2 von Instituten zum Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM-Institute) zusammengeschlossen. Unter der URL http://www.adm-ev.de/wir.html stellen diese ihre Arbeitsweise im Internet vor. Die Beauftragung eines solchen auch mit postalischen Umfragen vertrauten Instituts empfiehlt sich vor allen dann, wenn keine ausreichenden eigenen Erfahrungen mit Erhebungen vorliegen und zugleich genügend Mittel für die Beauftragung einer externen Einrichtung zur Verfügung stehen. Während es durchaus möglich ist, die Feldarbeit an ein solches Institut zu delegieren, sollten die anderen Arbeitsschritte, insbesondere die Operationalisierung der Problemstellung, weitgehend in eigener Regie erfolgen. Es empfiehlt sich, in einer Ausschreibung mehrere Institute um ein unverbindliches Angebot zu bitten. Neben einer kurzen Beschreibung des Anliegens der Delphi2

Im Juni 2009 waren 74 Einrichtungen Mitglied im ADM.

Planung von Delphi-Befragungen

85

Befragung sollte eine solche Ausschreibung Angaben zu den folgenden Aspekten des Projekts enthalten: ĺ den Umfang des Fragebogens (Anzahl an Fragen und Seitenzahl) sowie dessen Ausgestaltung (eventuelle besondere Anforderungen an das Layout) ĺ zumindest grobe Vorstellungen über einen Pretest zur Überprüfung des Fragebogenentwurfs ĺ die Anzahl der zu planenden Nachfassaktionen ĺ die Art und Weise des Zugangs zur Expertengruppe (neue Rekrutierung von Experten versus die Nutzung eines vorliegenden Adressenpools) ĺ der Umfang des Expertenpanels (inklusive einer Substitution von Non-Respondenten) ĺ die Anzahl der geplanten Befragungswellen ĺ die Anzahl offener Fragen und das gewünschte Vorgehen bei deren Vercodung ĺ die Art und Weise der Präsentation der Ergebnisse bzw. der Zwischenergebnisse ĺ einen Zeitplan für die einzelnen Schritte und den Termin der Übergabe der kompletten Unterlagen. Alle genannten Punkte beeinflussen die zu erwartenden Kosten. Aufgrund einer Nachfrage bei INFRATEST Burke geben Falke und Krüger einen Preis von 150.000 DM als „absolute Obergrenze“ (2000:87) für eine Delphi-Befragung an. Diese Summe kann jedoch aufgrund des Variantenreichtums von Delphi-Befragungen bestenfalls als ein sehr grober Richtwert angesehen werden. Im Zweifelsfall sollte eine unabhängige Institution zur Beurteilung der Angebote verschiedener Umfrageinstitute herangezogen werden. Diesen Service bietet beispielsweise das GESIS Leibniz Institut für Sozialwissenschaften in Mannheim seiner Klientel an. 6.5

Selbstorganisierte Delphi-Befragungen

Obwohl hier nicht die Auffassung vertreten wird, dass es sich bei DelphiBefragungen um eine besonders preisgünstige Variante der Datenerhebung handelt, belegen doch Erfahrungen, dass die Delphi-Technik auch sinnvoll von relativ kleinen Forschergruppen organisiert und selbständig durchgeführt werden kann. Die Organisation von Delphi-Befragungen ist beispielsweise bereits Bestandteil von Forschungsseminaren im Rahmen der Methodenausbildung an Universitäten gewesen (vgl. zum Beispiel Häder 2000d), oder erfolgte auch im Rahmen von Diplomarbeiten und Dissertationen. Es hat sich vielfach gezeigt, dass es durchaus realistisch ist, die Fragebogenentwicklung und den Pretest, sowie die Feldsteuerung, die Organisation des Feed-backs und schließlich auch die Auswertung einer solchen Befragung im Rahmen von Graduierungsarbeiten zu erledigen. Die Angaben zum erforderlichen Zeitfonds für eine dreiwellige schriftliche Befragung schwanken zwischen zwei Monaten und zwei Jahren (vgl. Gisholt 1976, Kühn/Jucken 1988, Cho 1991). In der Mehrzahl der Fälle hat sich ein fünf- bis

86

Planung von Delphi-Befragungen

achtmonatiger Zeitraum als notwendig erwiesen (vgl. Reinmann-Rothmeier/Mandl 1998, Seeger/Wersig 1978, Brockhaus/Mickelsen 1977). Aber auch hier ist es wieder schwierig, einen Richtwert anzugeben. Die Angaben sollten deshalb unter Vorbehalt übernommen werden. Eine Besonderheit stellen Delphi-Befragungen innerhalb eines Unternehmens beziehungsweise innerhalb einer Organisation dar. Hier können die Experten zu einer Teilnahme mehr oder weniger verpflichtet werden. Bei einer straffen Organisation reduziert sich der Zeitfonds für solche Studien damit unter Umständen beträchtlich.

7 Designs von Delphi-Befragungen

Der folgende Abschnitt richtet sich vor allem an Personen, die eine DelphiBefragung planen beziehungsweise eine solche Erhebung selbst durchführen wollen. Dazu werden die einzelnen Designaspekte nacheinander besprochen. Zur Illustration wird dabei auch auf zahlreiche Anwendungen Bezug genommen, die vor allem in der neueren Literatur zu finden sind. Der Abschnitt ist wie folgt strukturiert: ĺ Zu den ersten Aufgaben gehört die Operationalisierung der Fragestellung. Es besteht die Möglichkeit, bei Delphi-Befragungen in einer qualitativen Runde zunächst das Problemfeld zu strukturieren, bevor danach in mehreren Wellen eine quantitative Bewertung der Sachverhalte stattfindet. Eine andere Variante stellt die systematische Zerlegung des Problemgegenstandes im Vorfeld der empirischen Erhebung mithilfe der Facettentheorie dar. Diese letztere Variante wird an einem Beispiel beschrieben (Abschnitt 7.1). ĺ Ein wesentliches Kriterium, von dem schließlich die Güte der Ergebnisse einer Delphi-Befragung abhängt, ist die Auswahl der geeigneten Experten (Abschnitt 7.2). Überlegungen sind zur Struktur dieser Gruppe, zu deren Größe und zur Auffindung der Adressen anzustellen. ĺ In einer Reihe von Delphi-Befragungen wurden in einer qualitativen Befragungsrunde zunächst Informationen zur Strukturierung des Problemfeldes gesammelt (Abschnitt 7.3). ĺ Delphi-Befragungen zeichnen sich unter anderem durch die ein- oder auch mehrmalige Wiederholung der Erhebung aus. Die Entscheidung über die erforderliche Anzahl der Wellen wird im folgenden Abschnitt (Abschnitt 7.4) behandelt. ĺ Für die Erhebung ist in der Regel ein Fragebogen zu entwickeln, der den Experten postalisch zugestellt wird (Abschnitt 7.5). Das Design dieses Bogens stellt einen weiteren wesentlicher Faktor für den Erfolg der Delphi-Befragung dar. ĺ Dieser schriftlich zu beantwortende Fragebogen setzt sich aus einer ganzen Reihe unterschiedlicher Einzelfragen zusammen. Einige für Delphi-Befragungen inzwischen typische Indikatoren werden hier vorgestellt (Abschnitt 7.6). ĺ Vor Beginn der eigentlichen Erhebung muss das Instrument einem Pretest unterzogen werden (Abschnitt 7.7). Es steht eine ganze Reihe an Strategien zur Verfügung, die benutzt werden können, um das Funktionieren des Fragebogens zu überprüfen. ĺ Bei der Erhebung selbst spielt dann die Anonymität der Teilnehmer eine wesentliche Rolle. Auch zu diesem Aspekt existieren unterschiedliche Erfahrungen (Abschnitt 7.8), die bei der Designentwicklung zu beachten sind.

88

Designs von Delphi-Befragungen

ĺ Nach der ersten Welle erhalten die Teilnehmer ein Feed-back über die Ergebnisse der vorangegangenen Runde (Abschnitt 7.9). Für unterschiedliche Fragetypen sind jeweils spezielle Formen der Rückinformation zu wählen. ĺ Während der gesamten Erhebungsphase sollte eine Kontrolle des Rücklaufs der Fragebögen erfolgen. Unter Umständen kann es erforderlich werden, gezielt (weitere) Experten um ihre Teilnahme zu bitten (Abschnitt 7.10). ĺ Schließlich bildet die Dokumentation der Ergebnisse (Abschnitt 7.11) für den Auftraggeber beziehungsweise für die potenziellen Nutzer, für mögliche Nachnutzer sowie für die interessierten Teilnehmer den Abschluss der Delphi-Befragung. Auch hier sollte eine Reihe von Regeln beachtet werden, um die Wissenschaftlichkeit der Untersuchungsanlage zu belegen. 7.1

Operationalisierung der Fragestellung und Aufbereitung des Problems mithilfe der Facettentheorie

Delphi-Befragungen setzen, wie andere sozialwissenschaftliche Studien auch, eine systematische Aufbereitung der Fragestellung voraus. Niemand wird beispielsweise auf die Frage, wie sich Wissenschaft und Technik in den nächsten 20 bis 30 Jahren entwickeln werden, eine sinnvoll zu nutzende Antwort geben können. In einem ersten Schritt sind deshalb theoriegeleitet allgemeine Begriffe durch konkrete zu untersetzen. So kann zum Beispiel festgelegt werden, über welche Bereiche von Wissenschaft und Technik Auskunft eingeholt werden soll. Ebenfalls muss definiert werden, welche Dimensionen der Problemstellung in die Analyse eingehen sollen und welche (zunächst) unberücksichtigt bleiben. In diesem Zusammenhang könnte beispielsweise die Frage gestellt werden, wie wichtig es für die Volkswirtschaft eines Landes ist, dass eine bestimmte Technologie in den nächsten 20 bis 30 Jahren entwickelt wird. Jede wissenschaftliche Tätigkeit besteht im Prinzip in der Zerlegung abstrakter Sachverhalte. Bei dieser Zerlegung werden die wesentlichen von den unwesentlichen Dimensionen unterschieden. Die Facettentheorie (FT) nimmt eine Explikation dieses impliziten Vorgehens vor (vgl. Borg 1992). Sie verdeutlicht, welche Schritte und Überlegungen erforderlich sind, um eine allgemeine Fragestellung zu zerlegen und verhilft so zu einer systematischen Ableitung der Indikatoren für eine empirische Studie. Am Beispiel der Delphi-Studie zum Mobilfunk (vgl. Häder 2000a) soll gezeigt werden, wie mithilfe der Facettentheorie dieser wichtige Schritt unterstützt werden kann1. Die im Rahmen einer Delphi-Befragung zu bearbeitende Frage soll lauten: „Welches sind in der Zukunft gruppenspezifische Motive für die Nutzung des Mobilfunks?“ Es würde wenig Sinn machen, diese Frage in dieser Form einem Expertengremium vorzulegen. Eine solche allgemeine Problemstellung ist vielmehr zunächst 1

Die Nutzung der Facettentheorie ist natürlich nicht die einzige Variante, um eine allgemeine Fragestellung zu operationalisieren.

Designs von Delphi-Befragungen

89

so zu bearbeiten, dass sie in relevante Dimensionen zerlegt wird und danach die geeigneten Indikatoren abgeleitet werden können. In einem ersten Schritt sind Überlegungen darüber anzustellen, welche Dimensionen – beziehungsweise in der Sprache der Facettentheorie, welche Facetten – in der Fragestellung enthalten sein sollen. Dazu müssen sozialwissenschaftliche Theorien herangezogen werden. Aus der Einstellungs-Verhaltens-Forschung ist beispielsweise bekannt, dass sich die Menschen anhand der ihnen zur Verfügung stehenden Informationen und in Übereinstimmung mit dem von ihnen wahrgenommenen Nutzen verhalten. Man kann so bei der zur Diskussion stehenden Problematik davon ausgehen, dass die Fragestellung die folgenden Facetten enthält: 1. Facette: 2. Facette: 3. Facette:

Es gibt unterschiedliche Beweggründe beziehungsweise Motive für die Anschaffung und die Nutzung von Mobiltelefonen. Diese Beweggründe dürften für unterschiedliche soziale Gruppen in unterschiedlichem Maße relevant sein. Schließlich besitzen diese gruppenspezifischen Beweggründe für die zukünftige Ausbreitung des Mobilfunks eine unterschiedliche Bedeutung.

Bei der weiteren Vorbereitung der Studie wird nun davon ausgegangen, dass diese drei Facetten das Erkenntnisinteresse (zunächst) ausreichend abdecken. Sollte diese Zerlegung nicht ausreichen, so müssten weitere Facetten eingefügt werden. Es soll hier aber darauf verzichtet werden, auch noch zusätzlich weitere Fragestellungen zu bearbeiten. In einem nächsten Schritt sind nun die drei genannten Facetten zu spezifizieren. Es muss festgelegt werden, welche Elemente für die beabsichtigte empirische Untersuchung wesentlich sind, das heißt, welche Dimensionen die einzelnen Facetten enthalten. Denkbar wäre beispielsweise die folgende Operationalisierung: 1. Facette „Beweggründe“: Für die Nutzung von Mobiltelefonen kommt eine Reihe von Motiven infrage. Denkbar ist, dass die Entscheidung dafür fällt, die folgenden Beweggründe für die Nutzung von Mobiltelefonen zu untersuchen: a) praktische Gründe, b) normative Gründe und c) die Freude, bequem und einfach telefonieren zu können und sich auf diese Weise zu unterhalten. 2. Facette „soziale Gruppen“: Aus der soziologischen Theorie ist bekannt, dass Motive (Facette 1) gruppenspezifisch wirken. So mögen normative Gründe bei besonders mobilen Personen einen anderen Stellenwert haben als bei älteren Menschen. Im Weiteren soll die Facette „soziale Gruppen“ deshalb untersetzt werden durch: a) die befragte Person selbst, b) die Familie, c) in der Bevölkerung allgemein geltende Motive und d) extrem mobile Personen wie etwa Außendienstmitarbeiter, Autofahrer, Manager und so weiter. 3. Facette „Bedeutung für die Ausbreitung“: Nun liegt zwar nahe, dass beispielsweise praktische Gründe für die Anschaffung von Mobiltelefonen bei besonders

90

Designs von Delphi-Befragungen

mobilen Personen eine besonders hohe Bedeutung besitzen. Trotzdem könnte unter Umständen angenommen werden, dass diese Tatsache für die weitere Verbreitung des Mobilfunks keine besondere Rolle spielt, zum Beispiel, weil bereits alle infrage kommenden Personen mit dieser Technik ausgestattet sind. Damit ist angezeigt, jeweils die Bedeutung der gruppenspezifischen Motive für die Ausbreitung des Mobilfunks zu ermitteln. So wie auch noch weitere Facetten im Rahmen der Zerlegung der Problemstellung hätten ausgemacht werden können, wäre es auch möglich gewesen, die drei spezifizierten Facetten noch weiter beziehungsweise anders zu zerlegen. Darauf soll an dieser Stelle jedoch verzichtet werden. In die vorliegenden Facetten ist nun das ursprüngliche Problem quasi eincodiert. Es ist in der Facettentheorie üblich, die vorgenommen Strukturierung der Facetten in Form eines Abbildsatzes (vgl. Borg 1977) darzustellen. Ein solcher kategorialer Abbildsatz hätte dann im hier diskutierten Fall die folgende Form (vgl. Abbildung 1). Abbildung 1:Kategorialer Abbildsatz zur Bearbeitung der Forschungsfrage Ein Experte (pi) beurteilt die Gründe (g) bestimmter sozialer Gruppen (sg) zur Nutzung (g1: praktische )

(sg1: selbst

)

(g2: normative )

(sg2: Familie

)

(g3: Spaß

(sg3: allgemein

)

(sg4: mobile Person

)

)

von Mobiltelefonen nach ihrer Æ Wichtigkeit und nach ihrer Wirkung auf die weitere (1= unwichtig

)

(1= keine

)

(2

)

(

)

(3

)

(

)

(4

)

(

)

(5= sehr große

)

(5= sehr wichtig ) Ausbreitung von Mobiltelefonen.

Mit diesem Abbildsatz ist nun bereits die Struktur der gesamten Befragung grundsätzlich festgelegt. Im Weiteren geht es jetzt darum, für die einzelnen zu analysierenden Facetten gezielt Fragebogenfragen zu entwickeln. Durch die Kombination der einzelnen Elemente der Facetten lassen sich die sogenannten Struktupel bilden. Beispielsweise wäre das Struktupel {g1,sg4} ein praktischer Grund für eine mobile Person. Daraus können dann im nächsten Schritt die

Designs von Delphi-Befragungen

91

eigentlichen Fragetexte entwickelt werden. Die folgende Übersicht (vgl. Tabelle 3) enthält ein Beispiel für die gezielte Ableitung solcher Fragetexte zu den einzelnen Struktupeln. Tabelle 3: Zuordnung von Fragebogenfragen zu den Struktupeln des Abbildsatzes Inhalt der Frage

Fragenummer

Wie wichtig ist die Nutzung von Mobiltelefonen...? Inwieweit wird dadurch die Ausbreitung beeinflusst?

g1, sg4

1

für Autofahrer bei Pannen und Unfällen

g3, sg4

2

für junge Menschen, um sich zu unterhalten und zu entspannen

g1, sg1

3

für die eigene Sicherheit

g1, sg4

4

für Manager und ähnliche Berufsgruppen, um im Berufsleben disponibel und ständig erreichbar zu sein

g2, sg3

5

um den Erwartungen der anderen Menschen zu entsprechen

g1; sg3

6

um Zeit zu sparen

g3, sg3

7

um spontan zu kommunizieren

g3, sg2

8

für Familien, damit jeder jeden ständig erreichen kann

g1, sg2

9

für allein lebende Menschen zur Pflege von Kontakten

g2, sg4

10

für junge Menschen, um Anerkennung durch andere zu erlangen

g1, sg3

11

als Zugang zu zahlreichen Diensten und Informationsquellen

g1, sg4

12

für Manager, um Zeit zu sparen

g1, sg4

13

für junge Menschen, um Zugang zu Datendiensten zu erlangen

g3, sg2

14

für Familien, um miteinander spontan kommunizieren zu können

g1, sg2

15

für die Sicherheit der Kinder (Schulweg, Spielplatz usw.)

g1, sg3

16

für den Ersatz der persönlichen Kommunikation

g1, sg4

17

für Außendienstmitarbeiter, Vertreter usw., um ständig erreichbar zu sein

Die Facettentheorie ist nicht nur ein nützliches Hilfsmittel für die Frageformulierung, sie enthält weiterhin Modelle für die Auswertung der auf diese Weise gewonnenen Daten. Diese werden ebenfalls anhand der Delphi-Befragung zur Zukunft der Mobiltelefone an späterer Stelle (vgl. Abschnitt 10.2) vorgestellt. Zu große Beliebigkeit und zu wenig stringente Regeln waren in der Vergangenheit häufig Kritikpunkte in Bezug auf die Anlage von Delphi-Befragungen (vgl. Woudenberg 1991). Diesem Einwand kann durch die Nutzung der Facettentheorie

92

Designs von Delphi-Befragungen

für die Strukturierung der Fragestellung begegnet werden. Die Facettentheorie liefert eine nachvollziehbare und theoriegeleitete Reduzierung der Komplexität des Problems auf ausgewählte Facetten. Ein weiterer Vorzug der Facettentheorie besteht in deren Flexibilität. Sie ermöglicht es auch Vertretern unterschiedlicher theoretischer Ansätze die Problemstellung nach ihren Kriterien zu operationalisieren. 7.2

Theorie und Praxis der Rekrutierung der Experten

Die Rekrutierung der Experten wird in fünf Unterabschnitten behandelt: Einleitend (Abschnitt 7.2.1) werden folgende drei im Rahmen der Rekrutierung von Experten für Delphi-Befragungen relevante Fragen diskutiert: Kann die Erhebung von Vorabinformationen über die Kompetenz der Experten hilfreich sein, um die Zusammensetzung des Teilnehmerpools zu bestimmen? Welche Rolle kann die Vorgabe von Quotenmerkmalen bei der Zusammenstellung der Expertengruppe spielen? Und: Welche Bedeutung erlangt die Struktur der Expertengruppe unter dem Aspekt der Sicherung einer möglichst hohen Autorität des Feed-backs? Danach werden praktische Hinweise zum erforderlichen Umfang der Expertengruppe (Abschnitte 7.2.2 und 7.2.3) und zu deren Zusammenstellung (Abschnitt 7.2.4) gegeben. Die Erörterung schließt mit Tipps, die zur Auffindung von Adressen von Experten genutzt werden können (Abschnitt 7.2.6). 7.2.1

Überlegungen zur Zusammensetzung der Expertengruppe

Die Auswahl von Teilnehmern bei Delphi-Befragungen muss nach anderen Prinzipien erfolgen als die Rekrutierung von Zielpersonen in der Umfrageforschung. In der Umfrageforschung lässt sich in der Regel die Grundgesamtheit, über die anhand der zu gewinnenden Daten Aussagen getroffen werden sollen, eindeutig bestimmen. Die Grundgesamtheit könnte sich in der Wahlforschung beispielsweise aus allen wahlberechtigten Bürgern der Bundesrepublik Deutschland zusammensetzen, die in Privathaushalten leben. Diese Definition gegeben ist es möglich, eine Stichprobenstrategie, zum Beispiel eine Zufallsauswahl aus dem Einwohnermelderegister, einzusetzen, den notwendigen Stichprobenumfang zu berechnen, den Stichprobenfehler zu ermitteln und die Response Rate zu bestimmen. Für die Stichprobenziehung in der Umfrageforschung liegen verschiedene methodisch gut abgesicherte Routinen vor (vgl. Gabler/Hoffmeyer-Zlotnik 1997). Es geht nicht um eine zufällige Auswahl von Experten mit dem Ziel, die Meinungen aller Experten schätzen zu können, sondern – vermittelt über das Feed-back – um Interaktionsprozesse zur Wissensgenerierung. Deshalb erfolgt, wie noch zu zeigen sein wird, die Rekrutierung der Experten bei Delphi-Befragungen zumeist alles andere als zufällig. Zunächst soll über einige Erfahrungen berichtet werden, bevor dann praktische Hinweise für das Auffinden der Experten gegeben werden. So waren dem Rekrutieren der Experten für Delphi-

Designs von Delphi-Befragungen

93

Befragungen bereits verschiedene Experimente gewidmet. Diese vermitteln das folgende, vielfältige Bild: ĺ Richey und Kollegen (vgl. 1985:139) schlagen zum Beispiel, ähnlich wie Murry und Hammons (vgl. 1995:428) vor, vor Beginn der Delphi-Studie mit den potenziellen Experten Kontakt aufzunehmen, um diese mit einem standardisierten Instrument nach ihrem Expertenwissen zu befragen. ĺ Rowe und Kollegen plädieren für Tests vor Beginn der Delphi-Studie, um die Expertise der designierten Experten genauer zu bestimmen und dann aufgrund dieser Ergebnisse die finale Teilnehmergruppe gezielter zusammensetzen zu können (vgl. 1991:242). ĺ Barbara L. Spiegel berichtet über ein ähnliches Design, bei dem zunächst ermittelt wurde, inwieweit die Teilnehmer dazu in der Lage waren, in Almanachfragen dem Monitoring-Team bekannte Werte zu schätzen (vgl. 1987:135). Aus diesem Ergebnis wurde dann auf das Ausmaß der Expertise der Experten geschlossen. ĺ In der Literatur wird über Delphi-Studien berichtet (vgl. Nelson 1978:46), die vor Beginn der eigentlichen Befragung mithilfe einer Skala von Berger (1967) beziehungsweise von Rockeach (1969) den Grad an Dogmatismus bei den beteiligten Experten überprüft haben. Bardecki (vgl. 1984) stellte dazu die Hypothese auf, dass es einen Zusammenhang zwischen dem Grad an Dogmatismus eines Individuums und dessen Neigung zur Meinungsänderung gibt. ĺ Zur Expertenauswahl gibt Christine Duffield (vgl. 1993:228) eine weitere Anregung: Es sollte Wert darauf gelegt werden, dass die jeweiligen Experten auch über den notwendigen Einfluss verfügen, um die bei der Delphi-Befragung gefundenen Ergebnisse später in die Praxis umsetzen zu können. ĺ Novakowski und Wellar (2008:1490) beziehen sich auf eine persönliche Kommunikation mit Turoff und schlagen folgende Schritte vor: erstens ist festzustellen, wie viele unterschiedliche Typen von Experten erforderlich sind, um das Problem zu lösen, zweitens sollte diese Zahl mit fünf multipliziert werden, um die Bruttoumfang der Expertengruppe zu erhalten, drittens sollte sicher gestellt werden, dass sich aus jeder Kategorie mindestens drei Experten an der Studie beteiligen. Es handelt sich bei den zitierten Beschreibungen von Delphi-Befragungen um pragmatische Versuche, die Expertise der Teilnehmer vorab zu ermitteln. Diese Vorschläge können als Anregungen für das Auffinden von Experten für bestimmte Delphi-Befragungen gelten. Es dürfte jedoch kaum möglich sein, diese Strategien zu verallgemeinern und sie zum Standard zu erklären. Die Gründe liegen vor allem in dem durch dieses Vorgehen entstehenden finanziellen und zeitlichen Mehraufwendungen. Weiter sind Probleme zu vermuten, wenn es darum geht, Experten zur Teilnahme an einer mehrwelligen Befragung zu motivieren, deren Beginn an einen Wissenstest erinnert.

94

Designs von Delphi-Befragungen

In vielen Delphi-Befragungen wurden die Teilnehmer nach bestimmten Quoten rekrutiert, beispielsweise wurde versucht, in etwa gleich viele Experten aus der Wirtschaft und aus der universitären Forschungslandschaft zu finden. Tests haben ergeben, dass die Herkunft der Experten einen wesentlichen Einfluss auf das Ergebnis der Delphi-Befragung beziehungsweise auf das Schätzverhalten der Experten ausübt. So zeigte sich beispielsweise, dass jene Experten, die auf dem zu bewertenden Fachgebiet selbst tätig sind, die Zukunft ihres eigenen Arbeitsbereichs optimistischer einschätzen als die übrigen Teilnehmer (vgl. Grupp et al. 2000, Häder 2000b, Schnabel 2000). Auch Harro Albrecht (2000:43) unterstellt Experten eine generelle Voreingenommenheit wenn er schreibt: „Unabhängige Gutachter und Forscher (sind) so selten wie Pandas in der freien Wildbahn.“ Dieser Befund wird als Argument für eine Benutzung von entsprechenden Quotenvorgaben für die Expertenauswahl genommen. In der Praxis kamen bisher unterschiedliche Quoten für das Aufsuchen der Experten zum Einsatz. Auch dazu einige Beispiele: ĺ Es geht bei der Expertenauswahl für die Studien zur Zukunft der Technologie darum, den „vorgegebenen Strukturmerkmalen gerecht zu werden. Es waren folgende Merkmale zu beachten: die Zuordnung zu einer der Delphi-Fachgebiete musste gesichert sein, die Berücksichtigung von Fachleuten aus Hochschulen, Unternehmen, privaten Einrichtungen und öffentlichem Dienst außerhalb des Hochschulbereiches musste gewährleistet sein und die Beteiligung von Experten aus den alten und den neuen Bundesländern musste vorgesehen werden“ (BMFT 1993:41). ĺ „Befragt man lediglich auf dem Gebiet aktiv forschende bzw. beschäftigte Personen, so besteht tendenziell die Gefahr, dass diese ihr eigenes Fachgebiet überund die technischen Hemmnisse unterschätzen. Um mögliche Einseitigkeiten und Voreingenommenheiten von Spezialisten entgegenzuwirken, sollte daher die volle Bandbreite der Fachkenntnisse von ‚groß‘ über ‚mittel‘ bis ‚gering‘ vertreten sein. Eine gewisse Grundkenntnis der Antwortenden ist jedoch Voraussetzung für die Beurteilung der Themen“ (Cuhls/Breiner/Grupp 1995:13). ĺ „Personen sollten möglichst zu jeweils einem Drittel aus (1.) der Industrie, (2.) aus Hochschulen sowie (3.) aus anderen Forschungseinrichtungen, dem öffentlichen Dienst und Verbänden stammen“ (Cuhls/Blind/Grupp 1998:7). ĺ „Two criteria governed the selection of the target populations to be sent each Panel questionnaire: first that there should be sufficient expertise to answer the range of questions posed, and second that there should be a reasonable balance (for example between industry and academia, and between regions). The number of experts in the UK on each topic was not known so this was less an exercise in sampling and more an effort to identify a critical mass of expertise to be consulted“ (Loveridge/Georghiou/Nedeva 1995:13).

Designs von Delphi-Befragungen

95

Diese Vorgehensweisen zusammenfassend tauchten folgende Quotenmerkmale – neben der Zuordnung zu den zu bewertenden, inhaltlichen Fachgebieten – als Kriterien für die Expertenauswahl besonders häufig auf: Erstens, die Herkunft aus verschiedenen Bereichen wie etwa aus Hochschulen, dem privaten Sektor und dem öffentlichen Dienst. Zweitens, die Herkunft aus bestimmten geographischen Regionen sowie drittens, ein unterschiedlich ausgeprägter Grad an Fachkenntnis. Nicht als Kriterien für die Expertenrekrutierung scheinen offenbar Geschlecht und Alter zu taugen, zumindest fanden sich keine entsprechenden Hinweise in der Literatur auf die Nutzung solcher Quotenvorgaben. Relativ unklar bleibt jedoch, weshalb gerade die genannten Kriterien (Quoten) bei der Expertenauswahl zur Anwendung gekommen sind und nicht andere. Ein gewisser Forschungsbedarf besteht hier hinsichtlich des Zusammenhangs zwischen den Persönlichkeitsmerkmalen der Experten und deren Grundeinstellungen auf der einen Seite und den daraus für das Antwortverhalten bei einer Delphi-Befragung resultierenden Einflüssen. Abschließend soll noch auf ein drittes Problemfeld verwiesen werden, wenn es um die Strukturierung der Teilnehmergruppe geht: Bevor die Schätzungen in den Folgewellen wiederholt werden, erfolgt eine Rückmeldung der Gruppenmeinung an die Teilnehmer. Ziel ist, dass sich die Experten mit dieser Rückmeldung möglichst intensiv auseinander setzen. Dafür ist es erforderlich, dass das Feed-back eine möglichst hohe Autorität besitzt. Eine Autorität des Feed-backs kommt jedoch nur zustande, wenn die Teilnehmer davon überzeugt sind, dass die abgegebenen Schätzungen (ebenfalls) von kompetenten Personen stammen. Nach Aronson und Kollegen (1963) ist die Meinungsänderung vor allem eine Funktion der Glaubwürdigkeit der anderen Experten und der Größe des eigenen Abstandes vom Gruppenergebnis. So empfiehlt es sich, die Befragten über die Struktur der Expertengruppe mehr oder weniger exakt aufzuklären. Teilweise wurden sogar – bei Vorliegen der entsprechenden Einwilligungen – namentliche Teilnehmerlisten benutzt, um die hohe Kompetenz der prominenten Teilnehmer zu belegen (vgl. Hasse 1999). Ein solches Vorgehen wird sich jedoch nur in Ausnahmefällen realisieren lassen. Wichtig ist aber der Fakt, dass nur wenn sich aus der Zusammensetzung der gesamten Gruppe für den einzelner Teilnehmer eine ausreichend große Kompetenz vermuten lässt, das Feed-back entsprechend als fachkundig beachtet wird. Damit gewinnt die Strukturierung der Teilnehmergruppe auch unter diesem Gesichtspunkt an Bedeutung. 7.2.2

Hinweise zum Umfang der Expertengruppe

Bevor ein eigener Ansatz zur Bestimmung des Umfangs der Expertengruppe vorgestellt wird (vgl. Abschnitt 7.2.4), soll gezeigt werden, wie unterschiedlich die Erfahrungen in Bezug auf den (optimalen) Umfang der Expertengruppe bei Delphi-

96

Designs von Delphi-Befragungen

Befragungen bisher sind. Die folgende Übersicht gibt einen Einblick in die Variabilität der Empfehlungen aus der Literatur: ĺ Eine Panel-Größe von drei Personen gilt als zu gering (vgl. Woudenberg 1991). ĺ Ein Minimum stellen zehn teilnehmende Personen dar (vgl. Parenté/AndersonParenté 1987). ĺ Größere Panels reduzieren nach Ansicht von Cochran den Fehler bei DelphiBefragungen (1983). ĺ Ein Maximum stellen 30 gut ausgesuchte Experten dar (vgl. Delbecq et al. 1975). ĺ Ein Maximum stellen 25 Experten dar (vgl. Brooks 1979). ĺ Eine Panelgröße von 1.685 Experten galt längere Zeit als die größte, von der berichtet worden ist (vgl. Williams/Webb 1994:181). ĺ Die japanische Delphi-Befragung unterstellt: „The Delphi method is a method of consolidating respondents‘ view by repeatedly giving the same questionnaire to a large number of people“ (NISTEP 1997:2; [Hervorhebung vom Autor; M.H.]). Inzwischen nahmen 4.196 Experten im Jahr 1996 an der zweiten Welle des sechsten Technologie-Delphi in Japan teil (NISTEP 1997:3). ĺ Es sollte keine Obergrenze für die Zahl der Teilnehmer geben, solange ein für das zu bearbeitende Thema angemessen strukturiertes Panel existiert. ĺ Es sollten so viel wie möglich, jedoch nicht weniger als sieben Experten befragt werden (vgl. Dalkey et al. 1969, Becker 1974) ĺ Im Rahmen einer stark qualitativ orientierten Delphi-Befragung wurden sechs Experten um ihre Meinung gebeten und darauf aufbauend die Ergebnisse hinlänglich beschrieben (vgl. Hasse 1999:214). ĺ „Da niemand genau wissen kann, wie die Zukunft werden wird, sollten möglichst viele Personen beteiligt sein. Denn es ist erwiesen, dass bei einer großen Anzahl von Antworten individuelle Schätzfehler ausgemittelt werden können und damit die Wahrscheinlichkeit einer ‚treffsicheren‘ Prognose größer ist“ (Cuhls/Breiner/ Grupp 1995:13). In der Literatur wird auch über Experimente zur notwendigen Panelgröße für eine Delphi-Befragung berichtet: In zwei unterschiedlich großen Gruppen (n1 = 16 und n2 = 34) wurden die gleichen Fragen bearbeitet. Die Ergebnisse der beiden Panels stimmten zu 92.9 Prozent überein. Diese Ähnlichkeit bestätigt zunächst die Reliabilität von Delphi-Ergebnissen. Da kleinere Panels leichter zu organisieren seien und die Panelgröße in diesem Fall keinen Einfluss auf das Ergebnis hatte, gebe es aufgrund dieses Experiments keinen Grund, große Panels zu benutzen, schlussfolgert Duffield (vgl. 1993:236). Die hier angeführten Berichte lassen jeden Konsens vermissen, wenn es darum geht, Regeln für die Bestimmung des erforderlichen Umfangs der Expertengruppe zu bestimmen. Durchaus plausibel erscheint es immerhin, wenn bei qualitativ ausgerichteten Befragungen auf eine große Anzahl an Teilnehmern verzichtet wird.

Designs von Delphi-Befragungen 7.2.3

97

Die bisherige Praxis bei der Zusammenstellung der Expertengruppe, eine Auswahl

Im Weiteren soll – nimmt man die Anzahl der zu befragenden Teilnehmer einmal als gegeben an – das Vorgehen bei der Expertenauswahl anhand einiger Beispiele beschrieben werden: ĺ In Japan, wo Forscher über die längsten Erfahrungen mit Delphi-Studien zur Technologieentwicklung verfügen, kann inzwischen auf eine spezielle Expertendatei zurückgegriffen werden. Diese wurde speziell für die Delphi-Befragungen angelegt und wird kontinuierlich gepflegt. Ein solches Instrument wird jedoch in den meisten Fällen (zunächst) nicht zur Verfügung stehen. ĺ In Deutschland bedurfte es zunächst entsprechender Bemühungen, um bei den Delphi-Befragungen zur Entwicklung von Wissenschaft und Technik Zugang zu den geeigneten Experten zu finden. Als Quellen werden dabei benutzt: das VADEMECUM deutscher Lehr- und Forschungsstätten, das Hoppenstedt Handbuch der Groß- und mittelständischen Unternehmen, eine Liste der DFGGutachter der jeweiligen Disziplin und das REUSS-Jahrbuch (vgl. BMFT 1993: 41ff.). In den Folgebefragungen wurden dann weitere Quellen hinzugezogen. Dies waren neben der Aufstellung der Teilnehmer aus der letzten Delphi-Befragung die Datenbank ‚Mikrosystemtechnik: Who is Who?‘ des VDI/VDE-Technologiezentrums Berlin-Teltow, Messekataloge der Hannover-Messe, der CeBit und der Achema sowie Dateien, die aufgrund von Anfragen bei verschiedenen Institutionen wie Berufsverbänden, der Deutschen Krebshilfe, der DFG und so weiter zusammengestellt wurden (vgl. Cuhls/Breiner/Grupp 1995:13f.). ĺ In Großbritannien wurde für die Delphi-Befragung zur Zukunft der technologischen Entwicklung zunächst eine Expertendatei erstellt. Danach wurden nach dem Schneeballverfahren (Co-Nomination) weitere kompetente Teilnehmer ermittelt (vgl. Loveridge/Georghiou/Nedeva 1995:13). Beim Co-Nominationsverfahren „werden Experten aus dem bestimmten Schwerpunktfeld mit der Bitte angeschrieben, Kollegen zu benennen, die ebenfalls als ausgewiesene Fachkenner gelten. Dann werden diese wiederum mit der Frage angeschrieben, wen sie benennen würden usw. Die ‚Koryphäen‘ der Szene werden selbstverständlich am häufigsten genannt, so dass eine Struktur der Community aus diesem Verfahren heraus abzulesen ist.“ (Cuhls 2000:31, vgl. auch Nedeva et al. 1996) ĺ In das österreichische Technologie-Delphi wurden nicht nur wissenschaftliche Experten beziehungsweise nur solche mit technischer Sachkenntnis einbezogen, sondern auch Fachleute aus Unternehmen, aus der staatlichen Verwaltung ebenso wie aus den Sozial- und Wirtschaftswissenschaften, aus Interessenverbänden, sozialen Bewegungen beziehungsweise Non-Governmental-Organisations (NGOs)

98

ĺ

ĺ

ĺ

ĺ

Designs von Delphi-Befragungen

und Nutzervertreter im weitesten Sinn. Gerade die Zielsetzung des Delphi Austria, die Fachgebiete eher als Problemfelder denn als reine Technologiefelder zu fassen, legte die Berücksichtigung entsprechend breiter gefächerter Kompetenzen bei der Definition der Expertengruppe nahe (vgl. Aichholzer 2000:80). Die japanischen Wissenschaftler gehen so vor: „Our intention was to obtain as large a list as possible of experts with extensive knowledge in the relevant topics or technological fields. Keeping in mind the need for a good cross-section of representatives from industry, the government and academia. In some cases however, rather than recommendations of individual names, the Secretariat chose respondents at random from a list put foreward by the subcommittees“ (NISTEP 1997:3; [Hervorhebung vom Autor; M.H.]). Quotenmerkmale der japanischen Studie sind gewesen: Berufliches Tätigkeitsfeld (private Unternehmen, Universitäten, andere öffentliche Forschungseinrichtungen und ein Bereich „übrige“) sowie Alter („For this survey we tried to increase the number of relatively younger respondents in their 30s and 40s ... we also tried to increase the proportion of female respondents (only 1% in the previous survey)“ (ebenda). Leider wird auch hier keine inhaltliche Begründung für die gewählte Quotierung gegeben. Es bleibt unklar, aufgrund welchen theoretischen Konzepts diese Quotenauswahl erfolgte. Bei haus- beziehungsweise unternehmensinternen Delphi-Befragungen von Mitarbeitern (vgl. Brosi/Krekel/Ulrich 1999:12) besteht unter Umständen die Möglichkeit, auf Informationen aus den Personalakten, etwa über erworbene Qualifikationen und ähnliches zurückzugreifen und mit diesem Wissen die Expertengruppe gezielt zu strukturieren. Für die Nutzung eines dreistufigen Verfahrens plädiert Wechsler (1978). Danach sollen: Erstens zunächst alle potenziell geeigneten Experten identifiziert werden, zum Beispiel mithilfe einer Auflistung aller geeigneten Institutionen und Organisationen oder über Internetrecherchen, mithilfe der Nutzung von Bibliographien, von Teilnehmerlisten bei Fachtagungen und so weiter. Danach sind zweitens die potenziell geeigneten Experten zu ermitteln. Anhaltspunkte liefern dazu wiederum bestimmte Kriterien, die in ihrer Herkunft nicht theoretisch begründet werden. Zu den genannten zählen: die Reputation in Fachkreisen, die absolvierte Ausbildung, entsprechende Abschlüsse, die Zahl der Veröffentlichungen beispielsweise anhand des Sciene Citation Index, Mitgliedschaften in bestimmten Organisationen und so weiter. Drittens kommt es dann auf die Motivation zur Teilnahme an der Delphi-Befragung an. Hier ist zu prüfen, inwieweit Honorare vereinbart werden sollten (vgl. Falke/Krüger 2000:35ff.). Zur Vorbereitung einer Delphi-Befragung im Krankenhausbereich wurden zunächst die Namen von 250 Experten ermittelt, die für eine solche Erhebung als Teilnehmer infrage kommen. Es handelte sich konkret um Mitglieder der Healthcare Information and Management System Society, nach denen online recher-

Designs von Delphi-Befragungen

99

chiert wurde. Dieser Personenkreis erhielt dann ein Ankündigungsschreiben. „Each recruitment letter contained a self-adressed, stamped return postcard by which potential panel members could indicate their participation interest, update their contact information as necessary, and provide their signed consent to participate in the study“ (Snyder-Halpern et al. 2000). Von diesen 250 Experten erklärten sich dann 35 zur Teilnahme bei der Delphi-Befragung bereit. 7.2.4

Wie findet man Experten für eine Delphi-Befragung?

Die Zusammenstellung des Expertenpools für eine Delphi-Befragung ist eine wichtige und zugleich relativ komplizierte Aufgabe, für die es bisher keine methodischen Standards gibt. Kompliziert gestaltet sich die Expertenauswahl nicht zuletzt deshalb, weil sie sich nur eingeschränkt formalisieren lässt. Das bedeutet, die angebbaren Regeln für die Rekrutierung der Experten werden sich auf einem relativ allgemeinen Niveau bewegen. Es wird sich weiterhin zeigen, dass das die Delphi-Befragung leitende Monitoring-Team in der Regel einen relativ breiten Spielraum zur Ausgestaltung der Expertenauswahl hat. Deshalb werden auch die vom Monitoring-Team bei der Expertenauswahl zu lösenden Aufgaben besonders dargestellt. Die bisherige Situation zusammenfassend muss festgestellt werden, dass für die Art und Weise der Auswahl der Experten und für die Bestimmung des notwendigen Umfangs der Teilnehmergruppe keine expliziten Regeln angegeben wurden. Die im Weiteren vorgestellte Lösung besteht nun darin, das jeweils spezifische Ziel einer Delphi-Befragung konsequent mit dem Vorgehen bei der Auswahl der Experten zu verbinden. Wie gezeigt wurde, können Delphi-Befragungen vier unterschiedliche Anliegen verfolgen. Dementsprechend hängt – und dies ist naheliegend – das Vorgehen bei der Expertenrekrutierung vom jeweils verfolgten Ziel der DelphiStudie ab. Die folgenden drei Aufgaben sind bei der Zusammenstellung des Expertenpools für eine Delphi-Befragung zu bewältigen: ĺ Es muss die notwendige Anzahl der zu befragenden Experten festgelegt werden. ĺ Die Struktur der Expertengruppe ist zu klären. Dazu sind erstens die Kriterien zu benennen und nach Möglichkeit theoretisch zu begründen, nach denen die Teilnehmer ausgesucht werden sollen. Weiterhin ist zweitens zu bestimmen, wie viele Experten jeweils aus diesen einzelnen Gruppen in das Befragtenpanel einzubeziehen sind. ĺ Schließlich müssen die Wege für das Auffinden der Teilnehmer bestimmt werden. Es geht darum, für den Versand der Fragebogen die vollständigen Namen und die entsprechenden Adressen der designierten Teilnehmer mithilfe geeigneter Verzeichnisse zu identifizieren.

100

Designs von Delphi-Befragungen

In einem ersten Schritt werden noch unabhängig vom Typ der Delphi-Befragung allgemeine Überlegungen im Zusammenhang mit der Auswahl der Zielpersonen angestellt. Folgende drei Aspekte sind zu klären: ĺ Zunächst ist die Grundgesamtheit zu bestimmen, aus der die Teilnehmer auszuwählen sind. Mit Grundgesamtheit oder Population werden alle potenziell untersuchbaren Einheiten bezeichnet, die ein gemeinsames Merkmal (oder eine gemeinsame Merkmalskombination) aufweisen. Wie bereits angedeutet, ist es in der Survey-Forschung relativ einfach, die Grundgesamtheit zu definieren. Im Falle einer Wahlstudie würde es sich um alle wahlberechtigten Bürger des jeweiligen Landes handeln. Solche Grundgesamtheiten können theoretisch auch einen unbegrenzten Umfang aufweisen (vgl. Bortz 1985:111f.). Im Allgemeinen wird die Grundgesamtheit definiert auf der Basis des zu bearbeitenden Forschungsproblems, wie beispielsweise einer Wahlprognose. ĺ Danach ist festzulegen, ob eine Totalerhebung erfolgen soll, oder ob eine Stichprobe aus der Grundgesamtheit zu untersuchen ist. Bei einer Totalerhebung werden alle Elemente der Grundgesamtheit untersucht. Zumeist bedient man sich aus verschiedenen Gründen jedoch einer Stichprobe. Stichproben gelten als Teilmengen dieser Grundgesamtheit. ĺ Damit eine Stichprobe die Grundgesamtheit repräsentieren kann, muss diese nach bestimmten Vorschriften gezogen werden. Es ist üblich, die Stichprobenverfahren – je nach ihrem Vorgehen – einerseits in Wahrscheinlichkeitsauswahlen (auch Zufallsauswahlen genannt), und andererseits in bewusste (zum Beispiel eine Quotenauswahl) beziehungsweise willkürliche Auswahlen zu unterteilen. Inferenzstatistische Schlüsse von der Stichprobe auf die Gesamtheit sind nur bei Zufallsauswahlen gerechtfertigt. Auch hier muss die Entscheidung für ein bestimmtes Vorgehen aufgrund des zu bearbeitenden Problems fallen. Es wird nun gezeigt, wie diese drei Schritte jeweils bei den unterschiedlichen Typen von Delphi-Befragungen umgesetzt werden können. 7.2.4.1

Das Vorgehen bei der Rekrutierung von Experten für eine (rein) qualitative Delphi-Befragung

Das Ziel einer qualitativen Delphi-Befragung ist die Aggregation von Ideen – ohne diese einer quantifizierenden Bewertung zu unterziehen. Es spielt hier deshalb keine Rolle, wie die Mehrheit der Experten über eine bestimmte Idee denkt. Wichtig ist es allein, möglichst viele solcher Vorstellungen zu erfassen. Damit besteht die Grundgesamtheit aus allen für die jeweilige Fragestellung relevanten Ideen. Als ein typisches Beispiel für diesen Ansatz wurde bereits eine Delphi-Studie zu Windenergie und Landschaftsästhetik, die Hasse (1999) beschreibt, vorgestellt. Ziel dieser Befragung war es, „die Sinn- und Bedeutungsstrukturen spezifischer Sichtweisen in der diskursiven Reflexion eines hoch komplexen Gegenstandes transparent werden zu

Designs von Delphi-Befragungen

101

lassen.“ Es sollten also „Denkprovinzen,“ welche untereinander nicht widerspruchsfrei sind, untersucht werden. Damit ging es nicht um eine statistische Auswertung des Materials, sondern um die Rechtfertigung von Standpunkten (Hasse 1999:213f). Bei einer solchen rein qualitativ ausgerichteten Delphi-Befragung sollen Argumente gefunden und bearbeitet werden. Eine wesentliche vom Monitoring-Team aufzustellende Annahme betrifft damit die Anzahl der zu erwarteten Argumente oder – mit anderen Worten – den vermuteten Umfang der Grundgesamtheit aller Argumente. Danach kann dann, nach der Faustformel „Ein Argument gleich ein Experte“, die notwendige Teilnehmerzahl ermittelt werden. Da nicht die Frage nach der Mehrheitsfähigkeit der Argumente gestellt wird, ist es ausreichend, wenn jede Idee durch eine Person repräsentiert wird. Im vorliegenden Fall erschienen sechs Personen bereits ausreichend, um alle infrage kommenden Argumente abzudecken. Die Teilnehmer waren: ĺ zwei Universitätsprofessoren mit unterschiedlichem Fachhintergrund. Diese bearbeiten die Windenergie als ein philosophisches beziehungsweise als ein landschaftspflegerisches Forschungsproblem ĺ ein Vorsitzender Richter an einem Oberverwaltungsgericht. Die Gerichte sind teilweise das Gremium, in dem Entscheidungen über die Errichtung (oder Nichterrichtung) von Windkraftanlagen getroffen werden ĺ ein Mitglied des deutschen Bundestages. Analysen haben gezeigt, dass die politischen Parteien teilweise divergierende Standpunkte zur hier bearbeiteten Problematik vertreten ĺ ein Geschäftsführer bei einem Bundesverband für Naturschutz. Die Naturschutzverbände betrachten ökologische Probleme vorrangig als ‚ihre‘ Angelegenheit und ĺ ein leitender, für Windparkanlagen zuständiger Mitarbeiter am Deutschen Windenergie-Institut. Der Veranstalter hat sich hier für eine bewusste Auswahl einer relativ kleinen Anzahl an Experten entschlossen. Das Ergebnis der Studie bestätigte die Vermutung, dass die Teilnehmer aufgrund ihrer professionellen Perspektive den Gegenstand der Befragung jeweils spezifisch konstruieren und entsprechende Argumente liefern. Der Ertrag einer solchen rein qualitativen Delphi-Befragung „wird zudem erhöht, wenn sich die Expertenrunde durch Interdisziplinarität auszeichnet und nicht allein durch Vielfalt in gleicher Weise spezialisierter Experten“ (Hasse 1999:213). Folgende Prinzipien gelten damit für die Expertenauswahl bei einer rein qualitativen Delphi-Befragung: ĺ Ein Experte oder wenige Experten reichen aus, um eine bestimmte Perspektive „abzudecken“. So erwies sich die Wahrnehmung der Probleme vor allem als abhängig von der professionellen Perspektive des Experten.

102

Designs von Delphi-Befragungen

ĺ Die Anzahl der Perspektiven beziehungsweise die Teilnehmerstruktur (Wissenschaftler, Politiker, Juristen, Vertreter aus Verbänden und so weiter) hat von ihrer professionellen Herkunft her das Spektrum der Betroffenheit mit der Thematik zu repräsentieren. Vom Monitoring-Team sind möglichst alle relevanten Interessenlagen zu erkennen und durch mindestens einen geeigneten Experten abzudecken. ĺ Es handelt sich hier um eine bewusste Auswahl von Experten, auch als Auswahl nach Gutdünken bezeichnet, bei der die Teilnehmer nach Ermessen des Monitoring-Teams bestimmt werden. Aufgrund vorliegender Erkenntnisse wird von den Veranstaltern festgelegt, welches dafür die relevanten Merkmale sind. Eine Verallgemeinerung der Ergebnisse auf die Gesamtheit aller relevanten Ideen ist bei einem solchen Vorgehen nur bedingt möglich (vgl. Böltken 1976:22ff.), weil bereits die Bestimmung der Grundgesamtheit (hier: alle für die jeweilige Forschung relevanten Ideen) relativ unscharf bleibt. 7.2.4.2

Das Vorgehen bei der Rekrutierung von Experten für eine DelphiBefragung zur exakten Bestimmung eines Sachverhalts

Es wurde bereits dargestellt, dass bereits gegen Ende der 1940-er Jahre die ersten Delphi-Befragungen mit dem Ziel angetreten sind, einen unbekannten Sachverhalt möglichst exakt vorherzusagen. Trotzdem existieren noch immer keine Routinen, nach denen die Auswahl der Teilnehmer bei einer solchen Delphi-Befragung erfolgen könnte. Gerade bei diesem Typ handelt es sich bei der Expertenauswahl um eine besonders schwierige Aufgabe. Versuchsweise könnte zunächst die Gesamtheit an Expertise (nicht etwa die Gesamtheit der Experten!), die für die Lösung des zu bearbeitenden Problems erforderlich ist, als Grundgesamtheit bezeichnet werden. Die Aufgabe des Monitoring-Teams ist es nun, möglichst konkrete und begründete Vermutungen über diese Expertise anzustellen. Danach kann dann erst über entsprechende Stichprobenstrategien entschieden werden. Verschiedene Schritte sind erforderlich: ĺ Zur Struktur der Expertengruppe Die erste Aufgabe besteht für das Monitoring-Team nun in einer möglichst genauen Verortung der für die Problembearbeitung erforderlichen Expertise. Unklare Sachverhalte wie etwa die Zukunft kann niemand exakt wissen. Es sollte jedoch möglich sein, Vermutungen darüber anzustellen, welche Experten – noch am ehesten – dazu in der Lage sein könnten, qualifizierte Schätzungen beispielsweise zu bestimmten Entwicklungen abzugeben, die in einer gegebenen Zeit zu erwarten sind. Das Monitoring-Team muss also Hypothesen über die vorhandene Expertise anstellen. Es geht zum einen darum zu entscheiden, welche Personen aufgrund welcher Eigenschaften über Expertenwissen zum anstehenden Problem verfügen könnten. Vor allem ein bestimmter Beruf, eine bestimmte berufliche Stellung oder das Ausüben einer bestimmten Tätigkeit könnte Anlass dazu geben, bei einer bestimmten

Designs von Delphi-Befragungen

103

Person Kompetenz zu vermuten. Es wäre auch denkbar, Expertise bei den im Kontext des Problems verantwortlichen Entscheidungsträgern zu vermuten. Ein fiktives Beispiel wird zur Illustration herangezogen: Im Rahmen einer Delphi-Befragung soll der Termin der ersten bemannten Marslandung ermittelt werden. Nun sind begründete Vermutungen darüber zu erstellen, wie eine entsprechende Expertise lokalisiert werden kann. Dabei könnte davon ausgegangen werden, dass die Expertise zu einer entsprechenden Schätzung aufgrund des strukturellen Eingebundenseins einer bestimmten Person erwartet werden kann. In einem weiteren Schritt könnte das Monitoring-Team festlegen, dass Entscheidungsträger aus den Bereichen Medizin, Psychologie (Probleme, die mit einem längeren Aufenthalt in der Schwerelosigkeit zusammenhängen), Politik (Beschaffung und Bewilligung der entsprechenden Mittel), Technologie (Lösung technischer Fragen) sowie Wirtschaft (Finanzierung eines solchen Projekts) als Teilnehmer an der Delphi-Befragung zu rekrutieren sind. Weiterhin könnte das Monitoring-Team vermuten, dass die Expertise zur Beantwortung der genannten Frage unter den jeweiligen Gebieten gleich stark verteilt sein wird. Dies bedeutet, dass jeder genannte Bereich gleich stark zur Lösung des Problems beitragen kann und es sich hier beispielsweise nicht vorrangig um ein politisches Problem handelt. Anders sähe das Herangehen aus, wenn man – etwa vor dem Hintergrund des Einflusses John F. Kennedys auf die Forcierung der ersten bemannten Mondlandung – den Standpunkt vertritt, dass politische Entscheidungen ein besonderes Primat besitzen. ĺ Zum erforderlichen Umfang der Expertengruppe Um die erforderliche Teilnehmerzahl zu ermitteln, sind zunächst weitere Hypothesen aufzustellen. Es geht um eine begründete Vermutung über den Grad der Verbreitung des Expertenwissens. Denkbar wäre beispielsweise, dass zu dem zu bewertenden Problem zurzeit überhaupt nur wenig Expertise vorliegt. In einem solchen Fall ist klar, dass die Güte der gewonnenen Informationen nicht mit der Anzahl der einbezogenen Teilnehmer steigen würde. Im Gegenteil: Bei einer solchen Konstellation führt eine zu große und folglich mit unkompetenten Teilnehmern besetzte Befragtengruppe sogar zu einer Verschlechterung der Ergebnisse. Bei der Delphi-Befragung zur Vorhersage des Termins der ersten bemannten Marslandung wäre beispielsweise zu fragen, wie viele Personen sich bisher auf ihrem jeweiligen Gebiet (siehe oben) mit der anstehenden Thematik befasst haben. Erst dann ist zu entscheiden, wie groß die Expertengruppe sein kann. Wie gleich noch genauer gezeigt wird, stellt dies einen Unterschied gegenüber den Delphi-Befragungen zur Ermittlung von Expertenurteilen (Typ 3) dar. Bei einer solchen Zielstellung kann vermutet werden, dass sich eventuelle Messfehler aufgrund einer größeren Teilnehmerzahl verringern. Die Güte von Delphi-Studien zur Bestimmung von diffusen Sachverhalten (Typ 2) steigt jedoch nicht automatisch mit der Anzahl der befragten Personen. Es kommt vielmehr darauf an, mithilfe geeigneter

104

Designs von Delphi-Befragungen

Hypothesen die richtigen Experten zu lokalisieren – deren Anzahl spielt in diesem Zusammenhang jedoch keine Rolle. Leider lassen sich darüber hinaus kaum formale Regeln für die Bestimmung des erforderlichen Umfangs der Expertengruppe ableiten. ĺ Wege zur Auffindung der Teilnehmer In einem weiteren Schritt müssen die Namen und Adressen der zu befragenden Personen identifiziert werden. Eine bestimmte Person kann beispielsweise deshalb interessant sein, weil sie aufgrund einer Veröffentlichung in einer Fachzeitschrift bereits ihre Expertise bewiesen hat. Eine andere Person mag für die Delphi-Befragung aus dem Grunde infrage kommen, weil sie Inhaber eines bestimmten Lehrstuhls, der Direktor einer bestimmten Bank, ein Mitglied in einem Ausschuss des Deutschen Bundestages, der Sieger in einem Ideenwettbewerb und so weiter gewesen ist. Die Veranstalter der Delphi-Befragung müssen nach entsprechenden Listen und Verzeichnissen fahnden, um die gesuchte Person zu identifizieren. Dazu werden später (Abschnitt 7.2.5) noch Hinweise gegeben. ĺ Zusammenfassend ist zu betonen: Dem Monitoring-Team steht ein großer Spielraum für die Expertensuche und -rekrutierung zur Verfügung. Es sind zahlreiche Annahmen über die Verortung der Expertise zu treffen. Im Interesse der Nachvollziehbarkeit des Vorgehens sollten alle vom Monitoring-Team in diesem Zusammenhang aufgestellten Hypothesen dokumentiert und nach Möglichkeit auch theoretisch begründet werden. 7.2.4.3

Das Vorgehen bei der Rekrutierung von Teilnehmern für eine DelphiBefragung zur Ermittlung der Ansichten einer bestimmten Expertengruppe

Das häufigste Ziel bei der Anwendung von Delphi-Befragungen ist inzwischen die Ermittlung – und gleichzeitige Qualifizierung – von Expertenmeinungen über einen unsicheren Sachverhalt, beispielsweise über die zukünftige Entwicklung auf einem bestimmten Technologiegebiet. Im Unterschied zu rein qualitativen Delphi-Befragungen (Typ 1) werden hier die verschiedenen Expertenmeinungen auch einer quantifizierenden Bewertung unterzogen. Mehrheitsfähige Auffassungen lassen sich von eher exotischen Ansichten unterscheiden. Die Resultate solcher Befragungen werden dann zumeist genutzt, um Schlussfolgerungen über erforderliche Interventionen zu ziehen, um anstehende Entscheidungen abzuleiten, um eine Sensibilisierung gegenüber Fehlentwicklungen zu erreichen beziehungsweise um diese gegebenenfalls zu korrigieren (vgl. Brosi/Krekel/Ulrich 1999). Die Definition der Grundgesamtheit, aus der die Teilnehmer auszuwählen sind, ist wiederum Aufgabe des Monitoring-Teams. In einem ersten Ansatz ließe sich die Grundgesamtheit beispielsweise bestimmen als alle auskunftswilligen Experten, deren Ansichten – nach Meinung des Monitoring-Teams – für die Bewertung der anstehenden Probleme von Interesse sind.

Designs von Delphi-Befragungen

105

Nun können die Teilnehmer sowohl aufgrund einer Totalerhebung als auch mithilfe einer bewussten Auswahl rekrutiert werden. Prinzipiell sind beide Vorgehensweisen möglich. Die Entscheidung sollte in Abhängigkeit von den zur Verfügung stehenden Mitteln und von der gegebenen Problemstellung erfolgen. In beiden Fällen beziehen sich die durch die Befragung gewonnenen Aussagen jedoch nur auf die 2 direkt einbezogenen Teilnehmer . Im Falle einer bewussten Auswahl dürfen die Ergebnisse nicht inferenzstatistisch behandelt werden. Das heißt, es ist nicht zulässig, sie zu verallgemeinern. Bei einer Totalerhebung verbietet sich dies ohnehin. Um Schlussfolgerungen auf eine Grundgesamtheit ziehen zu können, würde der Einsatz von Zufallsstichproben erforderlich werden. Hierfür fehlen jedoch (auch) bei dieser Art von Delphi-Befragung die Voraussetzungen. Die bekanntesten und zugleich vom Umfang der Expertengruppe her größten Delphi-Befragungen, die eine solche Zielstellung verfolgten, sind in Deutschland die vom Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie seit 1993 geförderten Delphi-Studien zur globalen Entwicklung von Wissenschaft und Technik. Die folgenden Tipps für die Rekrutierung der Experten leiten sich vor allem aus den bei den Erhebungen in den Jahren 1993 (vgl. BMFT 1993), 1995 (vgl. Cuhls/Breiner/Grupp 1995) und 1998 (vgl. Cuhls/Blind/Grupp 1998) gemachten Erfahrungen ab. ĺ Zum erforderlichen Umfang der Expertengruppe Bei allen Studien dieses Typs sind bisher vor allem bewussten Auswahlverfahren eingesetzt worden. Es wurde dabei angenommen, dass mit der Größe der Expertengruppe auch die Kompetenz zunimmt, mit der die Einschätzungen getroffen werden. Eine solche Annahme ist – im Gegensatz zu den Delphi-Befragungen vom Typ 2 – durchaus zutreffend, da das Ziel der Delphi-Befragung ja die Darstellung der Expertenmeinungen sein soll. Entsprechend differenziert ist die folgende Aussage zu bewerten: „Da niemand genau wissen kann, wie die Zukunft werden wird, sollten möglichst viele Personen beteiligt sein. Denn es ist erwiesen, dass bei einer großen Anzahl von Antworten individuelle Schätzfehler ausgemittelt werden können und damit die Wahrscheinlichkeit einer ‚treffsicheren Prognose‘ größer ist“ (Cuhls/Blind/Grupp 1998:7; vgl. Dalkey 1969). Es trifft zwar zu, dass sich individuelle Schätzfehler bei einer größeren Zahl von Antworten ausmitteln. Damit ist jedoch nicht gesagt, dass diese Resultate dann auch die Zukunft treffsicherer vorhersagen.

2

Sicherlich werden die Urteile der beteiligten Experten auch noch von anderen kompetenten Personen geteilt, oder – wie es Bortz treffend formuliert – „für jede Stichprobe lässt sich eine fiktive Population konstruieren“ (1985:114). Dies ändert jedoch nichts daran, dass eine Übertragung der Ergebnisse auf eine solche – imaginäre – Grundgesamtheit nicht möglich ist.

106

Designs von Delphi-Befragungen

Totalerhebungen sind vor allem bei innerbetrieblichen Delphi-Befragungen eine denkbare alternative Vorgehensweise zu Stichprobenerhebungen. Innerhalb einer Institution können relativ problemlos alle Mitarbeiter befragt werden, deren Ansichten die Monitoring-Gruppe für die Erklärung eines Problems als wichtig erachtet. ĺ Zur Struktur der Expertengruppe Ähnlich wie bei den beiden bisher besprochenen Typen von Delphi-Befragungen muss auch hier das Monitoring-Team möglichst qualifizierte Vermutungen über die erforderliche Zusammensetzung der Expertengruppe anstellen. Am Beispiel der Delphi-Befragungen zur Zukunft von Wissenschaft und Technologie soll ein solches Konzept vorgestellt werden: Bei den genannten Studien geht es bei der Expertenauswahl darum, vorgegebenen Strukturmerkmalen gerecht zu werden. Folgende Überlegungen wurden angestellt: „die Zuordnung zu einem der Delphi-Fachgebiete musste gesichert sein, die Berücksichtigung von Fachleuten aus Hochschulen, Unternehmen, privaten Einrichtungen und öffentlichem Dienst außerhalb des Hochschulbereiches musste gewährleistet sein und die Beteiligung von Experten aus den alten und den neuen Bundesländern musste vorgesehen werden“ (BMFT 1993:41). Sicherlich wäre die getroffene Entscheidung noch überzeugender, wenn es eine theoretische Begründung dieser Merkmale gegeben hätte. Auf den Merkmalen aufbauend werden folgende Quotenmerkmale für die Strukturierung der Expertengruppe benutzt: Erstens die Zuordnung der Experten zum jeweiligen inhaltlichen Fachgebiet, zweitens die Herkunft der Teilnehmer aus verschiedenen Bereichen wie etwa aus Hochschulen, dem privaten Sektor und dem öffentlichen Dienst (es wurde angestrebt, die Expertengruppe jeweils gleichstark aus diesen drei Bereichen zu rekrutieren), drittens die Herkunft aus geographischen Regionen (dieses Kriterium findet bei anderen Studien jedoch seltener Anwendung.) und schließlich viertens, ein unterschiedlich ausgeprägter Grad an Fachkenntnis. Bei der Dokumentation der Untersuchungsergebnisse (vgl. Abschnitt 7.11) sollten auch bei diesem Typ – im Interesse der Nachvollziehbarkeit der Resultate – die Art und Weise, auf die Teilnehmer rekrutiert wurden, möglichst genau beschrieben werden (vgl. Häder 2000b). Dies leuchtet ein, da schließlich bei Benutzung einer anderen Vorgehensweise zur Zusammenstellung der Teilnehmer die Delphi-Befragung auch zu anderen Resultaten geführt hätte. Eine gewisse Besonderheit stellt die Rekrutierung von Experten für eine DelphiBefragung innerhalb eines Unternehmens beziehungsweise innerhalb einer Institution dar. Bei solchen Studien ist zu erwarten, dass aufgrund der homogeneren Struktur der Teilnehmer die Expertise entsprechend vorgeformt ist und damit die Resultate homogener ausfallen. Akzeptiert man jedoch diese Tatsache und interpretiert die Ergebnisse solcher Studien als ein innerbetriebliches Meinungsbild, so stellen auch Delphi-Befragungen innerhalb eines Unternehmens ein interessantes Instrument dar.

Designs von Delphi-Befragungen

107

ĺ Die Wege zur Auffindung der Teilnehmer Nach der Festlegung der Struktur der Teilnehmer geht es auch hier darum, die Experten namentlich ausfindig zu machen. Es müssen die entsprechenden Adressen ermittelt werden, um den designierten Teilnehmern die Fragebögen zustellen zu können. Ideal wäre für diesen Zweck der Aufbau (noch besser: das Vorhandensein) einer Adressdatenbank mit den erforderlichen Angaben zu den jeweiligen Experten. Solche Datenbanken liegen jedoch nur selten vor, sodass die notwendigen Informationen zumeist aus anderen Quellen zusammengestellt werden müssen. Die Auffindung der Teilnehmer ist oft eine relativ aufwendige Arbeit. In einem späteren Abschnitt (7.2.6) werden einige mögliche Quellen genannt, die bei dieser Tätigkeit hilfreich sein können. Vor allem das Internet bietet sehr gute Recherchemöglichkeiten, um Namen und Adressen von Experten zu identifizieren. ĺ Zusammenfassend sind folgende Prinzipien hervorzuheben: In Abhängigkeit von den zur Verfügung stehenden Ressourcen kann entweder eine Totalerhebung oder eine bewusste Auswahl der Teilnehmer erfolgen. Totalerhebungen lassen sich vor allem bei innerbetrieblichen Studien einsetzen. Da die Ergebnisse von Delphi-Befragungen nicht im Sinne einer Zufallsstichprobe verallgemeinert werden können, ist eine ausreichend große Anzahl von Experten zu rekrutieren. Je mehr Experten bei Studien dieses Typs befragt werden, desto aussagekräftiger kann das Ergebnis der Studie werden. Beruf und Tätigkeitsbereich prägen das Antwortverhalten der Teilnehmer. Es sollte deshalb eine gezielte Strukturierung des Pools nach diesen oder ähnlichen Kriterien erfolgen. Eine theoretische Begründung der gewählten Vorgehensweise ist anzustreben. Schließlich gilt es zu beachten, dass die Ergebnisse einer solchen Befragung die Ansichten der jeweiligen Teilnehmer zu einem bestimmten Zeitpunkt wiederspiegeln. Inwieweit diese Ansichten sich auch als zutreffend erweisen, ist in diesem Zusammenhang jedoch eine sekundäre Frage. 7.2.4.4

Die Rekrutierung von Teilnehmern für eine Delphi-Befragung zur Konsenserzeugung

Beim Typ 4 handelt es sich um Delphi-Befragungen, die das explizite Ziel verfolgen, einen möglichst breiten Konsens unter den Teilnehmern3 zu schaffen. Während die Schaffung von Übereinstimmung bei den rein qualitativen Delphi-Befragungen nicht unbedingt beabsichtigt ist, kommt es hier im Gegenteil darauf an, eine möglichst breite Meinungsvielfalt zu erzeugen. Studien dieser Art zielen also darauf ab, eine

3

Es sei an dieser Stelle darauf verwiesen, dass bei einer solchen Delphi-Befragung besser von „Teilnehmern“ gesprochen werden sollte. Der Expertenbegriff erscheint weniger geeignet, um die Kandidaten für die Konsensgewinnung zu beschreiben.

108

Designs von Delphi-Befragungen

möglichst hohe Übereinstimmung bei der Bewertung der betreffenden Probleme zu erzielen. Ein wachsender Konsens kann, dies belegen Erfahrungen, bei allen Delphi-Befragungen beobachtet werden. Aufgrund des Feed-backs verringert sich die Streuung der Antworten, die Meinungen der Teilnehmer werden homogener. Wenn es um die Vorbereitung von nach Möglichkeit konsensual zu treffenden Entscheidungen geht, kann diese Form der Delphi-Befragung eingesetzt werden. Einen solchen Ansatz stellen Mettler und Baumgartner (1997) vor. Das Ziel der Studie war es, in Nordrhein-Westfalen „möglichst vielen BürgerInnen der verschiedenen Sozialschichten und unterschiedlichsten Interessen (zu) erlauben, unterschiedlichste Gesellschaftsvisionen in Form normativer Szenarien zu entwickeln. ... (Es sollen) begründete Maßnahmevorschläge an das politische System gerichtet werden können, die von gesellschaftsrepräsentativen (mikrozensusvergleichbaren) TeilnehmerInnen-Zahlen mehr oder weniger getragen werden. ... (Ziel der Erhebung war es dann,) „Konsens über die wünschenswerten Grundzüge der zukünftigen Gesellschaft“ zu erzeugen (1997:VIIff.). Damit ist die Grundgesamtheit, aus der die Teilnehmer der Delphi-Befragung zu rekrutieren sind, eindeutig bestimmt worden: Es handelt sich bei diesem Beispiel um alle erwachsenen Bewohner eines bestimmten Bundeslandes. Es ist also möglich, die interessierende Grundgesamtheit bei diesem Typ von Delphi-Befragung eindeutig zu bestimmen. ĺ Zum erforderlichen Umfang der Teilnehmergruppe Im Unterschied zu den bisher besprochenen Delphi-Ansätzen lässt sich hier die Expertenauswahl auch mithilfe von Zufallsauswahlen bewerkstelligen. Bei der Grundgesamtheit handelte es sich – um bei diesem Beispiel zu bleiben – um alle Einwohner des Bundeslandes Nordrhein-Westfalens. Aus dieser Grundgesamtheit können dann aufgrund verschiedener Vorgehensweisen, zum Beispiel mithilfe einer entsprechenden Schichtung, zufällig die Zielpersonen ermittelt werden. Es ist bekannt, dass sich mit wachsender Stichprobengröße der Auswahlfehler verringert. Damit steigt bei Delphi-Befragungen dieses Typs die Güte der Ergebnisse mit dem Umfang der Teilnehmergruppe. ĺ Zur Struktur der Teilnehmergruppe Die Struktur der Teilnehmer sollte derjenigen der Grundgesamtheit entsprechen. Für diesen Zweck können geschichtete Stichproben gezogen werden. Als Kriterien, um die Stichprobe zu schichten beziehungsweise um diese zu beurteilen, können zum Beispiel der Beruf, der Bildungsgrad, die Stellung im Erwerbsleben, die Schichtzugehörigkeit, das Alter, das Geschlecht, der Familienstand und die Konfession berücksichtigt werden, wie dies Mettler und Baumgartner (vgl. 1997:58) vorführen. Auch hier ist eine theoretische Begründung für die Auswahl der Schichtungskriterien anzumahnen.

Designs von Delphi-Befragungen

109

Bei der Auswahl der Teilnehmer für die Befragung wurde im obigen Beispiel so vorgegangen, dass in sechs Städten, die „ein der NRW-Situation repräsentatives wirtschaftliches und soziologisches Profil haben“ gezielt Teilnehmergruppen gebildet wurden. Es war vorgesehen, die Befragung in diesen Gruppen stattfinden zu lassen. Diese Gruppen sollten wiederum „soweit wie möglich die jeweilige örtliche Struktur wiederspiegeln.“ Damit lassen sich hier – im Unterschied zu den anderen Typen – auch Ausfälle identifizieren. Neben Personen mit Sprachschwierigkeiten gelang es beispielsweise nur unzureichend, Vertreter von Führungsschichten und Selbständig-Erwerbende vom Wert einer Teilnahme zu überzeugen. ĺ Die Wege zur Auffindung der Teilnehmer Die Teilnehmer sollen möglichst zufällig rekrutiert werden. Besonders günstig ist es, wenn auf entsprechende Register, wie die des Einwohnermeldeamtes, zurückgegriffen werden kann. Die umfangreichen Erfahrungen mit der Auffindung von Zielpersonen, die in der Umfrageforschung gemacht wurden, können hier genutzt werden. 7.2.4.5

Zusammenfassung

In der folgenden Übersicht (vgl. Tabelle 4) werden die relevanten Aspekte der Experten- beziehungsweise Teilnehmerrekrutierung für die jeweilige Art von DelphiBefragung vergleichend zusammengefasst. 7.2.5

Innerbetriebliche Delphi-Befragungen

In vielen Berichten über Delphi-Befragungen (vgl. Abschnitt 7.2.3) wurde geschildert, dass die Teilnehmer nach bestimmten Quotenvorgaben rekrutiert worden waren. Offenbar versprechen sich die Veranstalter von einer gezielt strukturierten Teilnehmergruppe bessere Resultate als von einem zufällig ausgewählten Personenkreis oder auch von einer (zu) homogenen Befragtengruppe. An dieser Stelle schließt sich damit die Frage nach dem Sinn von Delphi-Befragungen an, die innerbetrieblich durchgeführt werden. Solche Studien haben zunächst ganz offensichtlich einige wesentliche Vorteile. Diese Vorteile resultieren beispielsweise aus der im Vergleich zu überbetrieblichen Befragungen leichteren Organisation einer solchen Studie. Es ist weiterhin zu erwarten, dass die Befunde schneller vorliegen, dass die Kosten für die Veranstaltung der Befragung niedriger sind, dass die Response-Rate höher liegt und dass nicht zuletzt auch alle Befunde intern behandelt werden können und nicht mit anderen Experten darüber kommuniziert werden muss. Schließlich kommt bei größeren Institutionen hinzu, dass auch hier eine relativ heterogenere Zusammensetzung der Experten möglich wird.

110

Designs von Delphi-Befragungen

Tabelle 4: Ziel der Delphi-Befragung und Rekrutierung der Teilnehmer Ziel der Befragung

Hauptprinzipien für die Rekrutierung

Rein qualitatives Delphi zur Ermittlung von Standpunkten und Argumenten

Alle denkbaren Standpunkte sollen durch mindestens einen Teilnehmer vertreten sein, wenig Experten reichen unter Umständen bereits aus

Delphi zur möglichst exakten Bestimmung eines diffusen Sachverhalts

Hypothesen zur Identifikation von Expertise sind zu entwickeln, daraus ist eine spezifische Strategie zur Rekrutierung der Experten zu finden, generelle Aussagen zur erforderlichen Teilnehmerzahl sind nicht möglich

Studie zur Quantifizierung und Qualifizierung von Expertenmeinungen

Experten werden über Totalerhebung oder bewusste Auswahl rekrutiert; je mehr Befragte, desto aussagekräftiger wird das Ergebnis

Konsens-Delphi

die Grundgesamtheit lässt sich definieren, deren Struktur muss in einer Stichprobe abgebildet werden, mit steigender Teilnehmerzahl sinkt der Auswahlfehler

Diesen Vorteilen steht vor allem ein wesentlicher Nachteil gegenüber: Es ist zu befürchten, dass wegen der zu homogener Struktur der Experten ein zu einseitiges Bild vom jeweiligen Problembereich ermittelt wird. Verantwortlich dafür können etwa persönliche Karriereerwartungen sowie eine positive Voreingenommenheit gegenüber dem eigenen Fachgebiet bzw. Unternehmen gemacht werden. Fest steht in diesem Zusammenhang, dass Forschungsbedarf hinsichtlich dieses vermuteten Nachteils innerbetrieblicher Delphi-Befragungen besteht. Leider sind keine Studien bekannt, die diesem Problem explizit gewidmet sind. An dieser Stelle soll das Ergebnis einer Befragung berichtet werden, welche implizit eine Aussage zur angesprochenen Thematik enthält. Im Jahr 1999 wurde eine Delphi-Befragung zur Zukunft des Mobilfunks veranstaltet (vgl. Häder 2000a, 2000b). Ein Problem, das im Rahmen der Befragung bearbeitet wurde, betraf die weitere Ausbreitung von Mobiltelefonen. Die Teilnehmer der Befragung wurden zunächst darüber aufgeklärt, dass zum Zeitpunkt der Erhebung, im Sommer 1999, etwa 20 Prozent der Menschen in Deutschland über ein Mobiltelefon (Handy) verfügten. Danach schloss sich folgende Aufgabe an: „Schätzen Sie bitte den Anteil der Menschen, die in den nächsten fünf Jahren über ein Mobiltelefon verfügen werden, in Prozent ....!“

Designs von Delphi-Befragungen

111

Nach gut zwei Jahren zeigt sich bereits, dass die Entwicklung mit einer starken Dynamik verlaufen ist, das heißt, dass die Ausbreitung dieser neuen Technologie weitaus schneller verlief, als es von vielen Fachleuten zu diesem Zeitpunkt erwartet wurde. Dazu sollen an dieser Stelle nur zwei Quellen angeführt werden: ĺ Einer Forsa-Umfrage aus dem Jahr 2001 zufolge nutzen 62 Prozent von 1.005 Befragten ein Mobilfunkgerät.4 ĺ Ein ähnliches Resultat ergab eine Marktprognose vom Chef der Firma Xonio, Mathias Plica. Danach existieren in Deutschland im ersten Halbjahr 2001 54,7 Millionen Mobilfunkteilnehmer. Dies entspräche etwa 67 Prozent der deutschen Gesamtbevölkerung.5 Die in der genannten Delphi-Befragung für das Jahr 2004 vermuteten Zahlen enthält die folgende Tabelle 5. Tabelle 5: Median der Schätzungen, Ergebnisse nach der ersten und der zweiten Welle n

Median der Schätzungen in der ersten Welle

Median der Schätzungen in der zweiten Welle

Alle

50

50 Prozent

55 Prozent

Mitarbeiter bei D2 Mannesmann Mobilfunk

21

60 Prozent

60 Prozent

Wissenschaftler

13

40 Prozent

45 Prozent

Im kommerziellen Bereich tätige Experten

16

45 Prozent

45 Prozent

Aus dieser Studie kann folgendes Fazit gezogen werden: Die Ausbreitung der Mobilfunktechnik hat sich mit einer sehr großen Geschwindigkeit vollzogen. Obwohl die Gesamtheit der Teilnehmer an der Delphi-Befragung bereits von mehr als einer Verdoppelung der gegenwärtigen Teilnehmerzahl ausging, haben sie diese Entwicklung doch nicht im vollen Umfang vorhergesehen. In dem gezeigten Fall kommen jedoch die Mitarbeiter von D2 Mannesmann Mobilfunk (heute inzwischen VODAFON) in ihren Schätzungen dem wahrscheinlich tatsächlichen Wert am nächsten. Dies spricht

4 5

Weitere Informationen dazu finden sich im Internet unter der folgenden URL: http://www.xonio.com/news/Studie-Zwei-Drittel-der-Deutschen-nutztHandy_30264513.html Weitere Informationen dazu finden sich im Internet unter der folgenden URL: http://www.channelpartner.de/news/621488/index.html

112

Designs von Delphi-Befragungen

zunächst durchaus für die Idee, auch innerbetriebliche Delphi-Befragungen zu veranstalten. Eine weitere Verallgemeinerung dieses Befundes ist jedoch schwierig. So fand in Bezug auf den erfragten Sachverhalt tatsächlich eine für das Unternehmen äußerst positive Entwicklung statt, die den persönlichen Erwartungen der Mitarbeiter entsprochen haben dürfte. Unklar bleibt, ob auch ein negativer Trend erfolgreich hätte vorausgesagt werden können. Es bleibt jedoch zu vermerken, dass die Beschäftigten bei D2 Mannesmann Mobilfunk über die größte Expertise verfügten und dazu in der Lage waren, die Aufgabe am besten zu bewältigen. 7.2.6

Praktische Tipps

Im Weiteren werden einige praktische Hinweise zur Umsetzung der Prinzipien bei der Rekrutierung der Experten gegeben. ĺ Die Nutzung von Pre-Delphi-Studies In einigen Fällen haben sich sogenannten Pre-Delphi-Studies (PDS) als hilfreich bei der Expertenrekrutierung erwiesen. Mithilfe von Pre-Delphi-Studies kann vor Beginn der eigentlichen Delphi-Befragung die Kompetenz der designierten Teilnehmer ermittelt werden (vgl. Abschnitt 7.2.1). Dazu können entweder standardisierte Instrumente (vgl. Murry/Hammons 1995) oder gezielte Tests zur Ermittlung der Expertise (vgl. Rowe et al. 1991) eingesetzt werden. Gleichzeitig lässt sich so vorab die generelle Teilnahmebereitschaft der designierten Experten ermitteln, deren Zeitfonds konkreter erfragen und so weiter. Pre-Delphi-Studies sind gegenwärtig jedoch wenig gebräuchlich. Es finden sich kaum methodenkritische Veröffentlichungen, die den Nutzen solcher Studien ins Verhältnis zum dadurch zusätzlich verursachten Aufwand setzen. Vor allem muss eine Teilnahmebereitschaft für diese zusätzliche Runde vorhanden sein. Eine stark modifizierte Form der Pre-Delphi-Studies, beispielsweise eine telefonische Kontaktaufnahme zur Überprüfung der Adressen der Teilnehmer erscheint jedoch auf jeden Fall sinnvoll. ĺ Rücklaufquoten und Panelmortalität Wichtig für die Planung, insbesondere für den festzulegenden (Brutto-) Umfang der Teilnehmergruppe, ist die zu erwartende Rücklaufquote. Es ist schwierig, diese Quote vorab genau zu schätzen. Wesentlich beeinflusst werden dürfte der Rücklauf durch die Thematik der Fragestellung, durch den Schwierigkeitsgrad und durch den Umfang der zu bearbeitenden Fragen. Als Richtwerte und unter Vorbehalt kann – folgt man publizierten Erfahrungen – von etwa 30 Prozent Rücklauf nach der ersten Welle und von etwa 70 bis 75 Prozent Rücklauf unter den verbleibenden Teilnehmern in den jeweiligen Folgewellen ausgegangen werden (vgl. Cuhls/Blind/Grupp 1998:7; Beck/Glotz/Vogelsang 2000:28).

Designs von Delphi-Befragungen

113

Wichtig erscheint die Kontrolle des Rücklaufs bei einer bewussten Auswahl der Teilnehmer. Hier sollte geprüft werden, ob die beabsichtigten Quoten, beispielsweise die gleichmäßige Einbeziehung von Teilnehmern aus der Wissenschaft, aus der privaten Wirtschaft und aus dem öffentlichen Bereich, realisiert werden konnten (vgl. auch Abschnitt 7.10). ĺ Verzeichnisse zur Auffindung von Experten Ein weiterer Arbeitsschritt bei der Rekrutierung von Experten ist das Auffinden von Namen und Adressen der jeweils zu kontaktierenden Personen. Im Weiteren werden hierzu einige Verzeichnisse vorgestellt, die bei dieser Tätigkeit hilfreich sein können: 6

VADEMECUM deutscher Lehr- und Forschungsstätten Als Loseblattsammlung zu den Stätten der Forschung in Deutschland werden hier 14.000 Forschungsinstitute und 40.000 Ansprechpartner, sortiert nach 219 Fachgebieten genannt. Die Vademecum-CD-ROM enthält Daten zu über 16.500 Institutionen und zu 43.000 Personen der Forschung der alten und neuen Bundesländer. Das VADEMECUM zu den Stätten der Lehre beinhaltet ein vollständiges Personalverzeichnis der deutschen Hochschulen. Hier werden 52.000 Lehrkräfte an den 114 Universitäten, sortiert nach 219 Fachgebieten aufgeführt. Schließlich sind 50.000 Lehrkräfte der über 2.000 Kunst- und Fachhochschulen im VADEMECUM verzeichnet. Es sollte stets Wert darauf gelegt werden, mit der aktuellen Ausgabe des VADEMECUM zu arbeiten. 7

Hoppenstedt – Handbuch der Groß- und mittelständischen Unternehmen Die Online-Version dieses Handbuchs enthält Informationen über deutsche Unternehmen mit detaillierten Angaben über Management und Beteiligungen, mit Umsatzgrößen und der Anzahl der Beschäftigten. Das Handbuch enthält auch die Namen der jeweiligen Geschäftsführer, der Prokuristen, der Vorstandsmitgliedern, der Mitglieder des Aufsichtsrat usw. 8

Liste der DFG-Gutachter Gegliedert nach den Wissenschaftsgebieten Geistes- und Sozialwissenschaften, Naturwissenschaften, Lebenswissenschaften, Naturwissenschaften und Ingenieurwis6 7 8

Vgl. auch: http://www.bsz-bw.de/depot/media/3400000/3421000/3421308/93_0149.html aufgerufen am 24. Juni 2009 Vgl. auch: http://www.hoppenstedtadressen.de/?gclid=CIGh0v3i3poCFRNM5Qod2xhM0A aufgerufen am 25. Juni 2009 Vgl. auch: http://www.dfg.de/dfg_im_profil/struktur/gremien/fachkollegien/liste/fk_liste_wibe.html (letzter Zugriff 28.05.2009)

114

Designs von Delphi-Befragungen

senschaften können die 650 für die Deutsche Forschungsgemeinschaft (DFG) aktuell tätigen Fachgutachter nachgeschlagen werden. REUSS-Jahrbuch Dieses auch als CD-ROM erhältliche Jahrbuch der Luft- und Raumfahrt bietet den Nutzern auf rund 700 Seiten Information, Dokumentation und Adressen aus diesem Gebiet. Die CD-ROM enthält mehr als 5.800 Adressen und über 6.500 Namen führender Personen aus der Luft- und Raumfahrt. 9

Datenbank ‚Mikrosystemtechnik‘ Die Datenbank der Mikrosystemtechnik „Who is Who?“ wird vom VDI/VDETechnologiezentrum in Berlin-Teltow angeboten. Messekataloge Die Kataloge solcher Messen wie etwa der Hannover-Messe, der Leipziger-Messe oder der CeBit enthalten ebenfalls wertvolle Informationen über Experten auf den verschiedenen Gebieten. 10

Handbuch des öffentlichen Lebens Der „Oeckl“ (Oeckl, Albert, Taschenbuch des öffentlichen Lebens – Europa 2000 / 2001, 5. Auflage, Bonn, Festland Verlag, 2000) gilt als Institution. Auf eine Besonderheit der jüngsten Ausgabe ist zu verweisen. Sie informiert auch über die Ansprechpartner in Politik, Wirtschaft und Wissenschaft im neuen Parlaments- und Regierungszentrum Berlin. Mit mehr als 400 Neuaufnahmen, vor allem in den Bereichen Medien, Wissenschaft/Bildung sowie Kunst und Kultur, wurde die Publikation gegenüber derjenigen aus dem Vorjahr erweitert. Drei umfangreiche Register (18.500 Namen, 10.700 Sachwörter, 4.300 Abkürzungen) ermöglichen die Orientierung. 11

„Who is who in Multimedia“ Beim „who is who in multimedia“ handelt es sich um ein jährlich aktualisiertes Standardnachschlagewerk, welches Profile von Beratern, Herstellern, Produzenten, Online-Anbietern und Veranstaltern aus der Multimedia-Branche bietet. Zu allen Anbietern werden neben der Adresse die Ansprechpartner, das Gründungsjahr, die Anzahl der Mitarbeiter und Berater, die Beratungs- und Tätigkeitsbereiche, die Schwerpunkte, Zielgruppen und Referenzen vorgestellt. Über eine Datenbank im Internet kann gezielt nach Firmen gesucht werden, die sich im Bereich Multimedia, Electronic Commerce und Multimedia Bildung betätigen.

9 Vgl. auch: http://www.vdivde-it.de/ (letzter Zugriff 28.05.2009) 10 Vgl. auch: http://www.zeit.de/1966/31/Nachschlagewerk (letzter Zugriff 28.05.2009) 11 Vgl. auch: http://www.whoiswho.de/ (letzter Zugriff 28.05.2009)

Designs von Delphi-Befragungen

115

Science Citation Index (SCI)12 Der 1963 begründete Science Citation Index (SCI) ist eine der umfangreichsten verfügbaren Literaturdatenbanken mit gegenwärtig ca. 650.000 Hinweisen auf naturwissenschaftliche, mathematische und biomedizinische Publikationen pro Jahr. Er enthält Quellenangaben, Inhaltskurzfassungen und Literaturhinweise (Referenzen bzw. Zitierungen) aus dem Anhang der Publikationen. Der Science Citation Index berücksichtigt einen Kernsatz von circa 3.500 wissenschaftlichen Zeitschriften. Sie umfassen mehr als 12 Millionen Zitierungen pro Jahr. Es werden ausschließlich Peer-Review-Zeitschriften erfasst, also Publikationsorgane, in die Veröffentlichungen nur nach Begutachtung durch ausgewiesene Fachgutachter gelangen. Datenbanken von Berufsverbänden13 Deutsche Verbände lassen sich im Internet mit den Suchmaschinen des Deutschen Verbände Forums (DVF-Lobbyliste) recherchieren. Der „Verbände Report online“ (Deutsche Gesellschaft für Verbandmanagement e.V.) enthält weit über 12.000 aktuellen Adressen von Verbänden und Organisationen. Über diese Verbände werden dann weitere Recherchen möglich. Die Datenbank SOFIS Sozialwissenschaftliches Informationssystem14 Die Datenbank SOFIS von GESIS Leibniz Institut für Sozialwissenschaften bietet Beschreibungen sozialwissenschaftlicher Forschungsprojekte aus der Bundesrepublik Deutschland, aus Österreich und der Schweiz. Die Bestände können durch eigene Recherchen über verschiedene Medien erschlossen werden. Das Informationszentrum führt außerdem auf spezifischen Kundenwunsch Auftragsrecherchen weltweit in verschiedenen Datenbanken durch. Schneeballverfahren Abschließend sei nochmals auf die Möglichkeit verwiesen, (weitere) Experten mithilfe des Schneeballverfahrens zu rekrutieren. Ausgehend von der Idee, dass die Experten selbst recht gut darüber informiert sind, wer über Expertise im jeweiligen Gebiet verfügt, könnten aufgrund einer entsprechende Frage („Was denken Sie, wer könnte ebenfalls über Fachwissen zu diesem Gebiet verfügen und würde an einer solchen Umfrage teilzunehmen?“) weitere Teilnehmer für die Delphi-Befragung gefunden werden. Zu verweisen ist jedoch auf den dadurch entstehenden zeitlichen Mehraufwand.

12 Vgl. auch http://www.digibib.net/static_html/datenbanken/sci.htm: (letzter Zugriff 28.05.2009) 13 Vgl. auch: http://www.verbaende.com/files/ueber_verbaende/F4B7F6F215914441AB7295A3B8E81 2BE.htm (letzter Zugriff 28.05.2009) 14 Vgl. auch: http://www.gesis.org/dienstleistungen/fachinformationen/datenbankeninformationssysteme/forschungsdatenbank-sofis/ aufgerufen am 24.06.2009

116

7.3

Designs von Delphi-Befragungen

Die qualitative Befragungsrunde

Das Ziel der qualitativen Runde einer Delphi-Befragung (teilweise wird dafür auch die Bezeichnung Null-Runde benutzt) besteht in der Gewinnung einer zumeist differenzierten Palette von Basisaussagen, die dann in den Folgerunden einer standardisierten Bewertung unterzogen werden.15 Diese Aussagen sollen in der Regel ein möglichst breites Meinungsspektrum repräsentieren und eine einseitige Ausrichtung der Delphi-Befragung verhindern. Vor allem, wenn es dem Monitoring-Team nicht möglich ist, mit eigenen Kräften die Problemstellung zu operationalisieren, empfiehlt sich die Veranstaltung einer solchen qualitativen Befragungsrunde im Rahmen der Delphi-Studie. In diesem Abschnitt wird zunächst das Vorgehen bei solchen qualitativen Befragungsrunden beschrieben, danach werden alternative Herangehensweisen betrachtet. An einem Beispiel lassen sich die einzelnen Schritte gut demonstrieren. So könnten die Experten in der qualitativen Runde im Rahmen von Vorhersagestudien zunächst dazu aufgefordert werden, über mögliche neue Entwicklungen, Erfindungen usw. auf ihrem jeweiligen Fachgebiet bis zu einem bestimmten Zeitpunkt nachzudenken und diese (unstandardisiert) zu berichten. Eine solche Aufforderung sollte relativ allgemein gehalten werden, lediglich die Angabe einer Zeitspanne erscheint dabei sinnvoll, um den Teilnehmern einen gewissen Rahmen für ihre Überlegungen zu geben. Aspekte wie die technologischen Realisierungschancen, die Kosten, der Bedarf und ähnliches sollten dagegen von den Experten an dieser Stelle (noch) nicht mit berücksichtigt werden. Auf diese Weise kann vermieden werden, dass sich die Befragten in ihrer Fantasie zu sehr durch Vorgaben eingeschränkt fühlen oder zu stark einer bestimmten Richtung folgen. Für eine solche qualitative Befragungsrunde reichen bereits – ähnlich wie bei Delphi-Befragungen zur Ideenaggregation – einige wenige Teilnehmer aus. Bei der anschließenden Auswertung werden diese Visionen durch das Monitoring-Team zunächst systematisch aufgelistet. Dabei werden sprachliche Vereinheitlichungen vorgenommen und eventuelle Doppelungen gestrichen. Dieses Material liefert den Ausgangspunkt für die Erstellung des standardisierten Delphi-Fragebogens. Verzichtet man – wie gerade vorgeschlagen – auf detaillierte Vorgaben für die qualitative Runde und entscheidet sich unter Umständen außerdem dafür, bereits in der qualitativen Befragungsrunde alle Experten um ihre Meinung zu bitten, so kann die sich anschließende Ausarbeitung eines Fragebogens für die quantitative Bewertung (vgl. Abschnitt 7.6) mit besonderen Problemen verbunden sein. Vor allem die für die Fragebogenerstellung notwendige Überführung einer großen Zahl an Vorschlägen auf ein vergleichbares Abstraktionsniveau erfordert intellektuelle Anstrengungen. 15 Dies gilt vor allem für Delphi-Befragungen vom Typ 2 und 3 (vgl. Abschnitt 2.4).

Designs von Delphi-Befragungen

117

Konkrete Erfahrungen mit der Veranstaltung qualitativer Befragungsrunden wurden bei einer Delphi-Studie zur Identifikation von Forschungs- und Entwicklungsaufgaben in der beruflichen Aus- und Weiterbildung gewonnen. Der Veranstalter dieser Befragung, das Bundesinstitut für Berufsbildung in Bonn/Berlin (BIBB), entschied sich dafür, in der ersten, qualitativen Runde zunächst Forschungsideen zu sammeln (vgl. infas 2001). Diese qualitative Runde sollte zur Vorbereitung einer späteren quantitativen Befragung, insbesondere für die Formulierung entsprechender Fragebogenfragen, dienen. Die Aufgabe für die Teilnehmer bestand darin, Forschungsaufgaben und Forschungsfragen zu definieren. Unter dem Motto „Was auf diesem Feld gegenwärtig fehlt beziehungsweise was zu tun ist“ wurden die Experten um ihre Vorschläge gebeten. Diese sollten nicht unbedingt dem Arbeitsgebiet des jeweiligen Experten entstammen. Erklärtes Ziel der ersten Runde war es jedoch, eine große Vielfalt an Forschungsideen zu finden. Aus diesem Grund wurden die Teilnehmer dazu aufgefordert, durchaus „auch solche Ideen zu äußern, die womöglich ungewöhnlich anmuten“ (BIBB 2000:2). In den 628 realisierten Befragungen der qualitativen Welle wurden von den Experten innerhalb dieses BIBB-Delphi 2.062 inhaltsanalytische Zuordnungen vorgenommen (vgl. infas 2001). Zur Vereinfachung der Aggregation dieser Vorschläge wurden die Teilnehmer bereits innerhalb der qualitativen Befragung darum geben, die eigenen Ideen einem von 14 Komplexen zuzuordnen. Für die folgende quantitative Runde mussten die vorgenommenen Eingruppierungen geprüft werden, gegebenenfalls waren Umsortierungen vorzunehmen. Schließlich war es aufgrund der Fülle der eingegangenen Vorschläge doch erforderlich, für die quantifizierenden Befragungsrunden Einschränkungen vorzunehmen, das heißt auch auf bestimmte Vorschläge zu verzichten. Dieses Beispiel macht auf verschiedene Probleme bei einem solchen Vorgehen aufmerksam: Eine qualitative Befragung erbringt unter Umständen zahlreiche Ideen, die wiederum auf völlig unterschiedlichem Abstraktionsniveau liegen können. Dies gilt vor allem auch dann, wenn in der qualitativen Runde eine relativ große Zahl an Experten befragt wird. Weiterhin war teilweise nicht ausreichend deutlich erkennbar, worauf genau die einzelnen Empfehlungen abzielten. Da generell die eingegangenen Vorschläge für die Folgewellen so zu bearbeiten sind, dass die Teilnehmer die von ihnen unterbreiteten Ideen auch wiederfinden, resultiert daraus ein gewisses Problem. Die Benutzung einer qualitativen Runde stellt nur eine Variante dar, um zu Hinweisen für die Gestaltung des quantitativen Delphi-Fragebogens zu gelangen (vgl. Abschnitt 7.1). Auf alternative Wege zur Gewinnung der Basisaussagen soll im Weiteren eingegangen werden. Bei einem Verzicht auf die qualitative Runde müssen vom Monitoring-Team Anstrengungen unternommen werden, um eine Palette von Basisaussagen auf andere Weise zu gewinnen. An zwei Beispielen wird wiederum gezeigt, wie dies geschehen kann.

118

Designs von Delphi-Befragungen

Das erste Beispiel liefert die Studie zur Zukunft von Wissenschaft und Technologie aus Österreich. Hier wurden zur Erstellung des Fragebogens zahlreiche Vorstudien in Auftrag gegeben. Ziel war es, auf diese Weise ein möglichst breites Meinungsspektrum zu berücksichtigen. Die Vorstudien bestanden aus den folgenden Teilen: ĺ Mittels einer Sekundäranalyse der japanischen, deutschen, französischen und englischen Delphi-Studien wurden die für Österreich relevanten Technologietrends bestimmt. ĺ Weiterhin flossen die Ergebnisse von Re-Analysen bereits vorliegender Studien – inklusive einer Studie von Patentdaten – sowie die Resultate einer Primärerhebung in die Befragung ein. Bei der Primärerhebung wurden rund 350 Personen, die in den Bereichen Technik, Medizin, Sozialwissenschaft, Verwaltung und Wirtschaft tätig sind, befragt. ĺ In einer repräsentativen Telefonumfrage unter rund 1.000 Konsumenten wurden die Einstellungen zu verschiedenen Technologien ermittelt, weiter wurde die Bedeutung verschiedener gesellschaftlicher Probleme von den Befragten eingeschätzt. Auch diese Befunde wurden berücksichtigt. ĺ Außerdem diente eine Inhaltsanalyse meinungsbildender Massenmedien zur Vorbereitung der Delphi-Befragung. Bei der Inhaltsanalyse ging es um die Thematisierung technologiepolitischer Themen. ĺ Schließlich wurde eine Co-nomination-Analyse angestellt, die einerseits die personelle Verflechtung der österreichischen Forschung, Entwicklung und Produktion untersucht und andererseits den Großteil der Grundgesamtheit von Fachleuten ermitteln sollte, aus der die Teilnehmer an der Delphi-Umfrage dann ausgewählt werden können (vgl. Aichholzer 2000:72). Beim zweiten Beispiel handelt es sich um eine gemeinsam von der Zukunftswerkstatt e.V. der Handwerkskammer Hamburg, der Fachhochschule Niederrhein in Mönchengladbach und dem Institut für Sozialwissenschaftliche Forschung in München veranstaltete Delphi-Befragung zum Demographischen Wandel und zur Zukunft der Erwerbsarbeit im Handwerk am Standort Deutschland. Der Projektverbund vergab zunächst an verschiedene externe Experten Aufträge für Gutachten zu ausgewählten Aspekten der genannten Thematik. Dabei wurden teilweise recht umfangreiche Materialien angefertigt, so zu den Auswirkungen der Globalisierung auf das Handwerk, zur Sicherung der Innovationsfähigkeit von Handwerksbetrieben, zu Arbeitszeit und Tarifrecht im Handwerksbereich, zu den Arbeitsbelastungen und Gesundheitsproblemen im Handwerk, zu den Auswirkungen vermehrter Teilzeitarbeit auf die Systeme der sozialen Absicherung, zu den Auswirkungen der demographischen Veränderungen auf die Unternehmensentwicklung und zur Bereitstellung altersgerechter Arbeitsplätze im Handwerk. Diese Gutachten bildeten dann die Grundlage für die Entwicklung des quantitativen Delphi-Fragebogens (vgl. Häder/Rexroth 1998).

Designs von Delphi-Befragungen

119

Beide Beispiele zeigen, dass bei einem Verzicht auf die qualitative Befragungsrunde vom Monitoring-Team teilweise umfangreiche Anstrengungen zu unternehmen sind, um die Basisaussagen für die quantitative Befragung zu gewinnen. 7.4

Zahl der Befragungsrunden

Die Zahl der bei einer Delphi-Befragung erforderlichen Befragungsrunden steht ebenfalls in engem Zusammenhang mit dem durch die Studie verfolgten Ziel. Dabei muss vor allem unterschieden werden, ob es sich um die Schaffung von Konsens zwischen den Experten über ein zu lösendes Problem handelt (Typ 4) oder ob eines der drei anderen Zielsetzungen erreicht werden soll. Sollte es sich um eine Delphi-Befragung vom Typ 4 handeln, so ist es prinzipiell sinnvoll, Kriterien für die Übereinstimmung von Ansichten und auf dieser Grundlage anzustrebende Maßzahlen zu definieren. Solche Maßzahlen können dann als Abbruchkriterium für die Befragung fungieren. Dies ist auf verschiedene Weise möglich: ĺ „In most Delphis, consensus is assumed to have been achieved when a certain percentage of the votes fall within a prescribed range − for example, when the interquartile range is no larger than two units on a ten-unit scale.” (Scheibe et al. 1975:277). ĺ Eine andere Möglichkeit ist der Vergleich der Heterogenität der Meinungen von Runde zu Runde. Hierfür erscheint zum Beispiel die relative Entropie als geeignetes Maß (vgl. Assenmacher 1996:106; Franzmann/Wagner 1999:75ff.). ĺ Bei der bereits vorgestellten Delphi-Befragung zur kurzfristigen Preisprognose in Obstbaugebieten (vgl. Janssen 1972, 1977) wurden die Schätzungen so lange wiederholt, bis der Variationskoeffizient einen bestimmten Wert erreicht hatte. In den weit über 300 Delphi-Befragungen, die im Verlauf von mehreren Jahren stattfanden, war in den meisten Fällen eine einmalige Wiederholung ausreichend, um unter den 17 Teilnehmern diese Art von Konsens zu erzeugen. In etwa zehn Prozent der Studien erfolgte eine zweimalige Wiederholung und in nur einem Fall war eine viermalige Befragung hierfür nötig gewesen. Nicht alle Delphi-Befragungen sollen jedoch zum Konsens führen. Nicht in jedem Fall erfolgt die Annäherung der Experten an einen gemeinsamen Schätzwert und oft ist dies auch gar nicht das eigentliche Ziel der Delphi-Befragung. Auch die Ermittlung einer bimodalen Verteilung wäre ein denkbares Ergebnis einer solchen Studie: „Measures of this sort do not take full advantage of the information available in the distributions. For example, a bimodal distribution may occur which will not be registered as a consensus, but indicates an important and apparently insoluble cleft of opinion. Less dramatically, the distribution may flatten out and not reach any strongly peaked shape at all. The results of the Delphi are no less important for this, however. Indeed, considering that there is a strong natural tendency in the Delphi for

120

Designs von Delphi-Befragungen

opinion to centralize, resistance in the form of unconsensual distributions should be viewed with special interest.” (Scheibe et al. 1975:277, [Hervorhebung vom Autor; M.H.]). Dieser Ansicht folgt auch Cuhls: „Sollte identifiziert werden, dass es keine gemeinsame Richtung oder keine gemeinsame Empfehlung gibt, weil keine Einigkeit hinsichtlich des Themas besteht, ist auch dies bereits ein aussagekräftiges Ergebnis, auch wenn dann kaum aktive Maßnahmen folgen können“ (2000:21). Bei Delphi-Befragungen kann auch die Ermittlung und Qualifikation der Expertenexpertise zu einem interessierenden Sachverhalt im Mittelpunkt stehen (Typ 3). Ist nicht die Schaffung von Konsens sondern die Feststellung eines Meinungsbildes beabsichtigt, dann ist Stabilität der Meinungen das geeignetere mit der DelphiBefragung zu erreichende Ziel. Eine solche Stabilität kann dann als Abbruchkriterium für die Studie gelten. Es leuchtet außerdem ein, dass es wenig sinnvoll ist, eine Fragestellung zu wiederholen, wenn zum erfragten Sachverhalt unter den Experten eine einheitliche Ansicht vorliegt. Das Feed-back würde in einem solchen Fall den Teilnehmern signalisieren, dass alle Befragten die gleiche Ansicht vertreten, es also keine Streuung in den Antworten gibt. Aufgrund dieser Rückinformation dürften keine kognitiven Prozesse zur Überarbeitung des Urteils ausgelöst werden. Die Überlegung, die Zahl der Befragungswellen von einem definierten Abbruchkriterium abhängig zu machen, war bis hierher vor allem theoretisch begründet. Sie dürfte allerdings häufig mit praktischen Erwägungen, wie dem zur Verfügung stehenden Zeitrahmen und den für die Befragung vorhandenen Mitteln, kollidieren. Geht man von einer postalischen Erhebung aus, so verursacht jede weitere Welle erneut beträchtliche Kosten. Diese erhöhen sich noch, wenn – wie zu empfehlen – Nachfassaktionen gestartet werden. Zugleich verzögert jede neue Befragungsrunde den Abschluss der Erhebung. Veröffentlichte Erfahrungen belegen außerdem, dass in der Mehrzahl der Anwendungsfälle nach spätestens drei Runden ein für die Veranstalter der Studien befriedigendes Ergebnis erzielt werden konnte. „It was observed in all early forecasting Delphis that a point of diminishing returns is reached after a few rounds. Most commonly, three rounds proved sufficient to attain stability in the responses; further rounds tended to show very little change and excessive repetition was unacceptable to participants” (Linstone/Turoff 1975:229). Auch verschiedene Experimente (vgl. Kaynak et al. 1994, Murry/Hammons 1995:429, Lanford 1972, Häder/Häder 1994b und Häder/Häder/Ziegler 1995) ergaben, dass die größten Veränderungen der Expertenurteile von der ersten zur zweiten Runde auftreten und danach die Antworten relativ konstant ausfallen. Die deutschen Delphi-Befragungen zur Entwicklung von Wissenschaft und Technologie kontaktierte in der ersten Welle rund 7.000 Experten. Es überrascht nicht, wenn man sich, offenbar nicht zuletzt aus Gründen der Praktikabilität, hier mit

Designs von Delphi-Befragungen

121

einer einmaligen Wiederholung begnügt. Ähnlich ist das Vorgehen bei den anderen nationalen Studien zu dieser Thematik. Zusammenfassend kann festgestellt werden, dass es bisher keinen Standard dafür gibt, wie viele Runden bei einer Delphi-Befragung grundsätzlich notwendig beziehungsweise sinnvoll sind. Verschiedene Experimente führten hier zu unterschiedlichen Empfehlungen16. Als Optimum wird allgemein eine minimale Anzahl von Runden bei einem akzeptablen Maß an erzielter Genauigkeit angesehen. Zumeist spielen pragmatische Argumente – wie die zur Verfügung stehenden Mittel – die entscheidende Rolle bei der Festlegung der Anzahl der Befragungswellen. Praktisch werden die Ergebnisse von Delphi-Befragungen bereits akzeptiert, wenn sie nur einmal wiederholt worden sind. Eine Sonderrolle nehmen Delphi-Befragungen ein, deren Ziel die Erzielung von Konsens ist. 7.5

Fragebogen und Anschreiben an die Teilnehmer für die quantitative Bewertung

Die Delphi-Fragebögen werden in der Regel den Teilnehmern postalisch – oder auch elektronisch – zugestellt. Eine solche Postsendung enthält dann ein Anschreiben, eine Erklärung zum Datenschutz (vgl. Abschnitt 9), den eigentlichen Fragebogen sowie ein beschriftetes Kuvert für die Rücksendung des ausgefüllten Bogens. Gegebenenfalls kann auch noch weiteres Informationsmaterial zum Gegenstand der Befragung der Sendung beigelegt werden. Die Gestaltung des Anschreibens und des Fragebogens sollte so erfolgen, dass eine hohe Rücklaufquote erreicht wird. So sollen möglichst alle Personen, die Kompetenz in Hinblick auf die bearbeitete Thematik besitzen, den Fragebogen ausfüllen und ihn an das Monitoring-Team zurück senden. Bei Delphi-Befragungen zur Erzeugung von Konsens (Typ 4) sollen sogar möglichst alle angeschriebenen Personen an der Studie teilnehmen. Den Ausgangspunkt für die Gestaltung des Anschreibens und des Fragebogens bilden Überlegungen zur Kosten-Nutzen-Relation, die von den an der Befragung beteiligten Experten vor beziehungsweise beim Ausfüllen des Delphi-Fragebogens angestellt werden. Don Dillman (1978, 1983) entwickelte eine Vorgehensweise zur Gestaltung schriftlicher Befragungen, die er zunächst Total Design Method (TDM) und in ihrer Weiterentwicklung dann Tailored Design Method (2000) nannte. Solche allgemeinen Überlegungen sind auch bei der Gestaltung von Fragebögen für DelphiStudien nützlich. Bevor einige auf der Total Design Method beziehungsweise auf deren Weiterentwicklung basierende Hinweise für die Gestaltung des Designs angeführt werden, soll zunächst auf die Spezifik eines Delphi-Fragebogens und die dar16 Erffmeyer ermittelte zum Beispiel in einem Test mit einer Delphi-Befragung über sechs Befragungsrunden, dass erst nach vier Wellen Stabilität erreicht wurde (vgl. Erffmeyer et al. 1986:127, Erffmeyer/Lane 1984).

122

Designs von Delphi-Befragungen

aus resultierenden Konsequenzen eingegangen werden. Diese bestehen in Folgendem: ĺ Der Fragebogen richtet sich ausschließlich an Experten. Damit kann in der Regel von der Kenntnis bestimmter Fachtermini ausgegangen werden. Es kann weiterhin angenommen werden, dass die Teilnehmer mit wissenschaftlichen Umfragen vertraut sind, dass sie es gewohnt sind, schriftlich zu arbeiten, dass es ihnen geläufig ist, Formulare auszufüllen und so weiter. ĺ Die Erhebung folgt in der Regel schriftlich-postalisch, das heißt die Experten füllen einen entsprechend gestalteten Fragebogen selbst aus. So braucht kein Interviewereinfluss in Betracht gezogen zu werden. ĺ Der Fragebogen enthält größtenteils standardisierte Fragen. ĺ Die Befragung wird mindestens in einer oder in mehreren Welle(n) wiederholt. Dabei kann es für die Veranstalter von Interesse sein, die befragten Experten mithilfe einer Pagniernummer (ID) zu identifizieren, um bei der Auswertung eine Paneldatenanalyse zu ermöglichen. ĺ Der Bogen enthält in den/der Folgewelle(n) Informationen über die Ergebnisse der vorherigen Runde(n). Ansonsten handelt es sich im Wesentlichen um eine erneute Bewertung der Fragen aus der ersten Runde. ĺ Die bei Delphi-Studien befragte Person ist nicht als Versuchsperson zu verstehen – wie etwa in einem psychologischen Experiment – sondern sie übernimmt hier die Rolle eines Informanten. Es geht also für den Befragten nicht darum, situationsgebundene Reaktionen zu produzieren, sondern es sollen situationsunabhängige, wohlüberlegte Antworten gegeben werden (vgl. Kromrey 1998:360). Nach Dillman sind die Kosten für das Ausfüllen eines Fragebogens zu minimieren, gleichzeitig sind der Nutzen für den Befragten und die für ihn erkennbaren Vorteile zu maximieren. Als Kosten gelten etwa der erforderliche Zeitaufwand, die Befürchtung eine falsche Antwort zu geben, die mit der Antwortfindung verbundene Mühe und so weiter. Ein Nutzen könnte daraus resultieren, dass das Ausfüllen den Beteiligten Freude bereitet und dass die Teilnehmer wissen, dass sie mit ihren Antworten ein wissenschaftlich bedeutsames Projekt unterstützen. Darüber hinaus sollte ein Vertrauensverhältnis zwischen Monitoring-Team und Befragten geschaffen werden. Das österreichische Technologie-Delphi orientierte sich besonders stark an der von Dillman entwickelten Total Design Method (vgl. Aichholzer 2000:89). Aus dieser Untersuchung können einige allgemeine Hinweise benannt werden, die bei der Gestaltung eines Fragebogens für eine Delphi-Studie von Nutzen sein können: ĺ Die Logik des Fragebogenaufbaus sollte durch die Experten nachvollziehbar sein. Mithilfe eines Anschreibens (siehe unten) sind die Experten über den Inhalt und das Ziel der Befragung zu informieren.

Designs von Delphi-Befragungen

ĺ

ĺ

ĺ ĺ

ĺ ĺ ĺ

123

Fragen zum gleichen Thema sollten zu Frageblocks zusammengefasst werden. Dies gilt auch für Fragen, die von ihrer Gestaltung her ähnlich sind (vgl. Abschnitt 7.6). Auf keinen Fall dürfen die Fragen also zufällig angeordnet werden. Die (wenigen) Fragen zur Person des Experten sollten, wie bei sozialwissenschaftlichen Studien üblich, am Ende des Fragebogens stehen. Sie sind für den Befragten nicht von sonderlichem Interesse und würden für die Experten zu Beginn der Befragung keinen besonderen Anreiz zum weiteren Ausfüllen darstellen. Die Länge des Fragebogens scheint die Ausschöpfungs- beziehungsweise die Rücksendequote stark zu beeinflussen, „wenn eine bestimmte Seitenzahl (in der Regel 12 bis 16 Seiten) überschritten wird. Zusätzlich konnten Heberlein & Baumgartner (1978) zeigen, daß unter Kontrolle der Interessantheit und der Kontaktzahl eine Erhöhung der Seitenzahl deutlich ausschöpfungsmindernd wirkt“ (Hippler/Seidel 1985:40f.). Im sechsten NISTEP-Delphi (1997) waren von den Experten immerhin 1.072 Punkte zu bewerten. Da dies zu hohe Kosten auf Seiten des Experten verursacht, ist in der Delphi-Befragung zur Technologieentwicklung aus Österreich ein deutlich kürzerer Fragebogen benutzt worden. Der Fragebogen war auch deutlich kürzer gehalten als der aus der entsprechenden Studie aus Deutschland. Nicht unbedingt einleuchtend ist jedoch die folgende Empfehlung: „Be reasonable with the number of questions. A good upper limit is 25“ (Snyder-Halpern et al. 2000). Für eine Festlegung der Obergrenze von Fragen sollte vor allen auch der Grad an Interesse herangezogen werden, auf den der Fragebogen bei den Experten vermutlich treffen wird. Ein frankiertes und beschriftetes Rückkuvert ist dem Delphi-Fragebogen beizulegen. Bei Bevölkerungsumfragen hat es sich bewährt, nach einer, nach drei und nach sieben Wochen – sofern es die dem Projekt zur Verfügung stehenden Ressourcen zulassen – eine Mahnaktion zu starten (vgl. Abschnitt 7.10). Diese Fristen sollten bei Befragungen, die sich an Experten richten, verlängert werden. Um das Ausfüllen zu erleichtern, sollten die Fragen im Fragebogen übersichtlich angeordnet werden, die Frageabfolge sollte von oben nach unten verlaufen und die Fragen sollten nicht geteilt werden. Der Fragebogen sollte als Broschüre auf weißem Papier gedruckt werden, wobei Frontseite und die letzte Seite frei bleiben sollen. Umweltschutzpapier hat sich aus der Sicht der Rücklaufförderung als weniger günstig erwiesen. Für das Anschreiben sollte offizielles Briefpapier verwendet werden, die Anschrift ist auf den Brief zu schreiben und ein exaktes Datum sollte verwendet werden. Auch sollte die Anschrift möglichst den vollständigen Namen sowie eventuelle Titel des Experten enthalten. An dieser Stelle ist auch der Nutzen der Studie zu beschreiben, die Wichtigkeit der Teilnahme des betreffenden Experten sollte hier dargestellt werden, die Vertraulichkeit der Befragung ist plausibel zu-

124

Designs von Delphi-Befragungen

zusichern, eine Erklärung der auf dem Fragebogen gedruckten Identifikationsnummer ist zu geben, es sollte ausdrücklich zu Rückfragen ermuntert werden, eine Danksagung für die Teilnahme ist anzufügen und schließlich sollte in blauer Tinte die Unterschrift folgen. ĺ Die Reihenfolge, in der die Fragen gestellt werden, die Fragensukzession, spielt bei der Gestaltung eines jeden Fragebogens eine gewisse Rolle (vgl. Porst 1998:30ff.). Da die Fragen jedoch schriftlich präsentiert werden, ist nicht auszuschließen, dass die Experten den Fragebogen ohnehin zunächst durchblättern, das heißt ihn nicht in der vorgegebenen Reihenfolge lesen beziehungsweise bearbeiten. Damit verliert die – bei mündlichen Befragungen sehr wichtige – Fragensukzession bei Delphi-Befragungen etwas an Bedeutung. ĺ Ein Anschreiben, das persönlich zu halten ist, also den Empfänger (möglichst) namentlich anspricht, vermindert die Anonymität der Befragung. Dies kann in der Umfrageforschung einerseits wiederum ausschöpfungsmindernd wirken (vgl. Linsky 1975). Bei Delphi-Befragungen braucht dieser Effekt jedoch nicht erwartet zu werden. Vielmehr kann durch eine persönliche Anrede die Schaffung eines Vertrauensverhältnisses zwischen dem befragten Experten und der MonitoringGruppe unterstützt werden. Da die erfolgreiche Durchführung der österreichischen Delphi-Befragung auf der Total Design Method basierte, können einige weitere konkrete Erfahrungen aus diesem Projekt berichtet werden. Sie sind hier im Sinne von Anregungen zu verstehen. So erfolgte ein persönliches Anschreiben der zu befragenden Experten durch den Direktor des Instituts für Technikfolgen-Abschätzung der Österreichischen Akademie der Wissenschaften. Dieses enthielt eine persönliche Anrede im Briefkopf, einem Begleittext zur Erklärung der Wichtigkeit der Befragung und des dadurch erwarteten Nutzens, die Ankündigung einer Belohnung für die Teilnahme durch eine frühe Resultatübermittlung sowie die persönliche Unterschrift des Direktors. Weiterhin wurde ein offizielles Schreiben des Wissenschaftsministers mit dem Ersuchen um Mitarbeit an der Delphi-Umfrage beigelegt. Es erfolgte eine Vertrauenszusicherung durch anonyme Rücksendemöglichkeit. Ein Kuvert für die portofreie Rücksendung wurde beigelegt. Der Versand erfolgte zur Wochenmitte, um die Bearbeitung des Fragebogens am Wochenende zu stimulieren. Eine höfliche Erinnerungskarte wurde nach drei Wochen verschickt und ein telefonisches Nachfassen fand in der fünften Woche statt. Bei Bedarf wurde der Fragebogen nochmals versandt. Schließlich ging ein gemeinsames Dankesschreiben durch das durchführende Institut und durch das Wissenschaftsministerium an die Teilnehmer. „Diese Vorgehensweise leistete einen wesentlichen Beitrag zur hohen Akzeptanz und Kooperationsbereitschaft unter den befragten Experten“ (Aichholzer 2000:89). Über die Gestaltung von Fragebögen für postalische Erhebungen liegt eine relativ umfangreiche methodische Literatur vor. Abschließend soll auf einige weiterführende Quellen verwiesen werden. Zu empfehlen sind die Veröffentlichungen von Ho-

Designs von Delphi-Befragungen

125

ward Schuman und Stanley Presser (1981), Seymor Sudman und Norman M. Bradburn (1983), Schwarz und Fritz Strack (1988), Rolf Porst (1998, 2000), Heine von Alemann (1984), Jürgen Friedrichs (1990), Schnell, Hill und Esser (1999), Andreas Diekmann (1999) sowie mit geringerem Anspruch auch Sabine Kirchhoff und Kollegen (2000). 7.6

Fragetypen in Delphi-Studien

Der folgende Abschnitt gibt einen Überblick über jene Fragetypen, die bereits in Delphi-Befragungen zum Einsatz gekommen sind. Dabei wird deutlich, dass bestimmte Fragetypen offenbar besonders häufig benutzt werden. Die Entscheidung für den jeweils optimalen Fragetyp wird aufgrund des Konzepts der Studie zu treffen sein. Prinzipiell können Fragen nach sehr unterschiedlichen Sachverhalten Aufnahme in einer Delphi-Befragung finden. Einen ersten groben Eindruck vermittelt Cuhls: Sie stellt fest, dass: (1.) eine Auswahl zwischen verschiednen Möglichkeiten erfolgen kann, (2.) Prioritätensetzungen möglich sind, (3.) Folgen abgeschätzt werden können, (4.) sich alternative Wege in die Zukunft aufzeigen lassen, (5.) wünschbare und unerwünschte Zukünfte definiert werden können, (6.) die Auswirkungen derzeitiger Forschungs- und Technologiepolitik erkundet werden können, (6.) sich neue Bedürfnisse und neue technische Möglichkeiten erfassen lassen und so weiter (vgl. 2000:15f.) Es ist in der Methodik der Umfrageforschung üblich, Fragebogenfragen nach ihrem Inhalt beziehungsweise nach ihrer Zielrichtung sowie nach ihrer Form zu unterscheiden (vgl. Porst 1998:23), wobei die Aufteilung nach den Zielrichtungen wiederum relativ beliebig erfolgt (vgl. Dillman 1978, Davis 1980, Porst 1985). Oft wird zwischen Fragen nach Einstellungen, Meinungen (vgl. Braun 2000), Wissen, Verhalten und nach bestimmten Eigenschaften der Befragungsperson unterschieden. Fragen lassen sich auch in Bezug auf ihre Form nach dem Grad ihrer Strukturiertheit in offene, halboffene und geschlossene Fragen unterscheiden. Die Systematik der sich anschließenden Darstellung lässt sich von denjenigen Problemstellungen leiten, die häufig im Rahmen von Delphi-Befragungen bearbeitet worden sind. In der folgenden Übersicht wird gezeigt, wie vielfältig die bisher eingesetzten Fragestellungen waren. Außerdem sollen einige besonders interessante beziehungsweise inzwischen typische Arten von Fragestellungen beschrieben werden. Setzt man Klarheit über das Ziel der Befragung voraus, so können die potenziellen Veranstalter einer Delphi-Befragung auf diese Weise Anregungen für die Entwicklung ihres Fragebogens erhalten.

126 7.6.1

Designs von Delphi-Befragungen Die subjektive Kompetenzfrage

Innerhalb einer einzigen Delphi-Befragung stehen in der Regel zahlreiche und teilweise sehr unterschiedliche Sachverhalte gleichzeitig zur Bewertung durch die Experten an. Es ist zu erwarten, dass nicht alle Teilnehmer bei allen Fragen die gleiche Expertise besitzen. Deshalb finden sich inzwischen in fast allen Delphi-Studien Kompetenzfragen, um den Sachverstand der Teilnehmer einschätzen zu können. In der Delphi-Studie zur globalen Entwicklung von Wissenschaft und Technik (vgl. Cuhls/Blind/Grupp 1998, NISPET 1997:3) mussten die Teilnehmer ihre Fachkenntnis pro Schätzaufgabe angeben. Es galt zu entscheiden, ob die eigene Fachkenntnis „groß“, „mittel“ oder „gering“ ist beziehungsweise ob zur entsprechenden Frage „keine Fachkenntnis“ vorliegt. Die letzte Antwortvorgabe diente zugleich als Filter, um die betreffende Schätzung zu überspringen. Auf ähnliche Weise wird auch in vielen anderen Studien vorgegangen: In den Delphi-Befragungen zur Entwicklung von Wissenschaft und Technik von 1993 und 1995 wird in der ersten Befragungsrunde die Kompetenz der Experten ebenfalls mithilfe dieses Indikators ermittelt. Dabei wird den Teilnehmern ein detailliertes Schemas zur Verfügung gestellt, aus dem hervorgeht, was sie unter den einzelnen Kompetenzstufen zu verstehen haben. So bedeutet „große Fachkenntnis“ die Beschäftigung mit dem jeweiligen Thema zur Zeit der Umfrage. Es wird in diesem Fall auch von „aktiven Forschern“ gesprochen. Von „mittlerer Fachkenntnis“ ist die Rede, wenn sich der betreffende Teilnehmer bereits einmal mit der Thematik befasst hat oder zum jeweiligen Thema viel liest, ohne daran jedoch aktiv zu arbeiten. Eine „geringe Fachkenntnis“ liegt vor, wenn Zeitungs- oder Zeitschriftenbeiträge gelesen oder wenn Gespräche mit entsprechenden Fachleuten über den betreffenden Sachverhalt geführt werden. (vgl. Cuhls/Breiner/Grupp 1995:9, BMFT 1993:25). Die entsprechende Studie aus Japan benutzt die Vorgaben „hoch“, „mittel“ und „niedrig“, um den Kompetenzgrad der beteiligten Experten zu erfragen (vgl. NISTEP 1997:5). In der im Rahmen des Technology Foresight Programme in Großbritannien (vgl. Loveridge/Georghiou/Nedeva 1995:11) veranstalteten Delphi-Befragung wird in der ersten Welle ebenfalls der „respondents degree of expertise“ für jede Schätzaufgabe ermittelt. Dazu wird eine fünfstufige Skala benutzt. Auch hier sind die einzelnen Vorgaben verbalisiert, das heißt jede Antwortstufe wird kurz verbal beschrieben. Es bedeuten: 1: Mit dem Gegenstand der Frage nicht vertraut 2: Gelegentlich vertraut 3: Vertraut 4: Sachverständig und 5: Experte

Designs von Delphi-Befragungen

127

Andere Studien begnügen sich damit, die Fachkenntnis der Experten für größere Fragekomplexe insgesamt abzufragen. So zum Beispiel die Untersuchung zur Zukunft des Handwerks. Hier lautete beispielsweise eine Fragestellung: „Wie kompetent fühlen Sie sich, um über die Absatzchancen des Handwerks und seine künftigen Märkte Auskunft zu geben, soweit es die Entwicklung bis zum Jahr 2010 angeht? ĺ sehr kompetent ĺ teilweise kompetent ĺ gering kompetent ĺ nicht kompetent [Filter zum nächsten Fragekomplex]“

Es folgt danach eine Reihe von Einzelfragen zum jeweiligen Schwerpunkt. Jeder weitere Schwerpunkt wird dann ebenfalls durch eine entsprechende auf den folgenden Inhalt bezogene Frage eingeleitet. Während bei den bisher genannten Beispielen die Kompetenzfrage vor der inhaltlichen Schätzaufgabe gestellt wurde, wird im folgenden Beispiel diese Einschätzung erst unmittelbar nach der eigentlichen Schätzung ermittelt (vgl. Häder 2000d, ähnlich bei Kirsch 2000): [Inhaltliche Frage:] „Die Nutzung von Mobiltelefonen für Faxdienste wird: keine Bedeutung (1) (2) (3) (4) (5)

sehr große Bedeutung haben

[Kompetenzfrage:] Bei dieser Einschätzung bin ich mir: völlig unsicher (1) (2)

sehr sicher“

(3)

(4)

(5)

In dieser Studie wurde dann die Kompetenzfrage auch in der zweiten Befragungswelle wiederholt, andere Studien verzichten darauf, eine solche Frage erneut zu stellen. Eine wiederholte Abfrage bietet sich jedoch an, da es unter methodischem Aspekt interessant sein kann zu beobachten, ob und wie sich die subjektive Kompetenz der Teilnehmer von Welle zu Welle entwickelt. Mit einer nur relativ undifferenzierten Abfrage der Kompetenz begnügte sich die Delphi-Befragung des Münchner Kreises17 zur Zukunft der Informations-, Kommunikations- und Medien-Märkte (Future21): „Wie vertraut sind Sie mit Fragen der Forschung und Ausbildung im Bereich der Informations- und Kommunikationstechnologien sowie der Medien? ĺ überhaupt nicht vertraut [Filter zum nächsten Fragekomplex] ĺ vertraut ĺ sehr vertraut“

17 Vgl. dazu: http://www.muenchner-kreis.de/ (letzter Zugriff 28.05.2009)

128

Designs von Delphi-Befragungen

Nur in relativ wenigen Delphi-Befragungen wird auf eine solche explizite Nachfrage zur Kompetenz (völlig oder teilweise) verzichtet. Stattdessen enthalten solche Befragungen dann – konsequenterweise – bei jeder inhaltlichen Frage eine ‚Kann-IchNicht-Sagen‘ Antwortkategorie (vgl. Future21, BIBB-Delphi 1999). Damit wird auch in diesen Studien den nicht kompetenten Teilnehmern die Möglichkeit zum Überspringen der jeweiligen Frage beziehungsweise Antwort gegeben. Als Fazit ist festzustellen: Kompetenzfragen haben in Delphi-Befragungen zwei wichtige technische Funktionen: 1.

2.

Sie ermöglichen den Einsatz von Filtern, um Antworten ohne ausreichenden Sachverstand zu vermeiden. Wird auf solche Kompetenzfragen verzichtet, so muss zumindest über die Aufnahme entsprechender Sonderstufen in das Antwortmodell bei den inhaltlichen Fragen den Teilnehmern die Möglichkeit gegeben werden, die jeweilige Frage zu überspringen. Diese Fragen signalisieren den Teilnehmern, dass es sich bei ihren Antworten lediglich um Schätzungen handelt, es also keine mit Sicherheit richtige Antwort geben kann. Sie tragen damit zum Abbau beziehungsweise zur Verhinderung von Irritationen bei den Teilnehmern bei. Von daher ist der Einsatz solcher Kompetenzfragen zumindest als Einleitung für einen Fragekomplex zu empfehlen.

Inwieweit die Antworten auf Kompetenzfragen im Rahmen der Auswertung berücksichtigt werden können, wird später (vgl. Abschnitt 11) erörtert. 7.6.2

Die Schätzung von Zeitintervallen

Delphi-Befragungen sind traditionell häufig für Prognosen benutzt worden. In diesem Zusammenhang interessiert dann nicht selten, zu welchem Zeitpunkt nach Meinung der Experten bestimmte Ereignisse eintreten werden. Dazu werden in den Antwortskalen in der Regel Zeitintervalle vorgegeben. Der einzuschätzende Zeithorizont reicht dabei bis zu 30 Jahren im Voraus (vgl. NISTEP 1997:5). Um den Teilnehmern die Antwortfindung zu erleichtern werden bei solchen Schätzungen von Zeitintervallen häufig die Experten zu Beginn der Erhebung darum gebeten, bei ihren Urteilen zu unterstellen, es gäbe keine globalen Kriege oder Naturkatastrophen (vgl. NISTEP 1997:4). Im weiteren einige Beispiele für die Gestaltung der Fragen und der Antwortvorgaben: In den Technologie-Studien aus Großbritannien wurde für jedes zu bewertende Ereignis die folgende sechsstufige Skala eingesetzt: „Period within which the event/ development will have first occured.“ (Loveridge/Georghiou/Nedeva 1995: 11).“

Designs von Delphi-Befragungen

1. 2. 3. 4. 5. 6.

129

zwischen 1995 und 1999 zwischen 2000 und 2004 zwischen 2005 und 2009 zwischen 2010 und 2014 2015 und später nie

In der entsprechenden Befragung in Deutschland wurden ebenfalls Fünf-JahresIntervalle vorgegeben. Folgende acht Vorgaben wurden benutzt (vgl. Cuhls/Blind/ Grupp 1998:6): 1. 2. 3. 4. 5. 6. 7. 8.

bis 2000 zwischen 2001 und 2005 zwischen 2006 und 2010 zwischen 2011 und 2015 zwischen 2016 und 2020 zwischen 2021 und 2025 nach 2025 nie realisierbar

Aber auch die Verwendung einer gröberen Skala ist möglich. In der Befragung Future21 fand folgende 5-stufige Skala Anwendung: 1. 2. 3. 4. 5.

bis 2004 zwischen 2005 und 2014 zwischen 2015 und 2024 später/wahrscheinlich nie kann ich nicht sagen

In einer Delphi-Befragung zur Entwicklung zukünftiger Fragestellungen in der Berufsbildungsforschung (vgl. BIBB 1999) wurde ebenfalls mithilfe einer fünfstufigen, geschlossenen Skala nach einem Zeitraum gefragt. Hier das entsprechendes Beispiel: Die Vorgabe „Theorie des Lernens – Didaktik des lebenslangen Lernens“ war unter anderem zu bewerten aufgrund der Frage: „Wann sollte mit der Bearbeitung spätestens begonnen werden? 1. 1999/2000 2. 2001/2002 3. 2003 bzw. noch später 4. gar nicht / nicht mehr 5. kann ich nicht beurteilen.“

130

Designs von Delphi-Befragungen

Als letztes Beispiel wird eine Skala gezeigt, welche ebenfalls anstelle von konkreten Jahreszahlen Zeiträume angibt. Eine Delphi-Befragung zum Sportverhalten der Bevölkerung (vgl. Breuer 2000) benutzte die folgende Formulierung: „Wann glauben Sie, wird die in der These genannte Entwicklung vollzogen sein? 1. in bis zu 5 Jahren 2. in 6 – 10 Jahren 3. in 11 – 15 Jahren 4. in 16 – 20 Jahren 5. in mehr als 20 Jahren 6. gar nicht“

Prinzipiell denkbar wäre jeweils auch eine direkte Abfrage des vermuteten Zeitpunktes. Allerdings scheint dieses Vorgehen bei Delphi-Befragungen aus gutem Grund bisher kaum praktiziert worden zu sein. Ausschlaggebend dafür ist wahrscheinlich, dass die Vorgabe von Antworten – hier von Zeiträumen – für die Experten eine Erleichterung bei der Antwortfindung bedeutet. Damit kann eine kognitive Überforderung der Teilnehmer verhindert werden. Zugleich wird so der Eindruck vermieden, ein bestimmtes Ereignis könne auf das Jahr genau vorhergesagt werden. Bei der Wahl der konkreten Vorgehensweise ist zu beachten, dass, aufgrund der Benutzung einer nach oben offenen Kategorie, lediglich Antworten auf einer Ordinalskala erzeugt werden. Anstelle eines arithmetischen Mittels hat deshalb bei der statistischen Auswertung die Bildung des Medians zu erfolgen. Auch sollte bei der Vorgabe von Intervallen darauf geachtet werden, dass diese jeweils den gleichen Abstand aufweisen, also beispielsweise jeweils einen Fünf-Jahres-Zeitraum umfassen. 7.6.3

Die Schätzung weiterer numerischer Angaben

Neben dem Zeitpunkt, zu dem ein bestimmtes Ereignis erwartet wird, sind bisher auch andere numerische Angaben mithilfe von Delphi-Studien geschätzt worden. Auch hierzu werden im Folgenden einige Beispiele genannt. Im Rahmen einer 1998 durchgeführten Studie (vgl. Future21) interessierte der Nutzungsgrad bestimmter Geräte in Deutschland. Dazu wurden die Teilnehmer zunächst über den aktuellen Stand informiert und dann zu einer Prognose aufgefordert: „Anteil der Bevölkerung ab 6 Jahren, der mit einem PC umgehen kann: 1998: 25 % 2004: __ % 2014: __ % 2024: __ %“

Designs von Delphi-Befragungen

131

Ähnlich wurde auch 1999 in einer Studie zur Zukunft des Mobilfunks verfahren. Hier lautete die Fragestellung (vgl. Häder 2000d): „Zurzeit verfügen in Deutschland ca. 20% der Menschen über ein Mobilfunktelefon (Handy). In ca. 95% der Haushalte befinden sich Festnetzanschlüsse. Wie werden sich Ihrer Meinung nach diese Anteile in den nächsten fünf Jahren entwickeln? 1. Schätzen Sie bitte den Anteil der Menschen, die dann über ein Mobiltelefon verfügen werden, in Prozent: ___ 2. Schätzen Sie bitte den Anteil der Haushalte, die dann über einen Festnetzanschluss verfügen werden, in Prozent: ___“

Es gibt auch Vorbehalte gegenüber der Schätzung von Einrittswahrscheinlichkeiten, da es hier bei bestimmten Konstellationen zu systematischen Fehlern kommen kann. Dies gilt auch außerhalb des Delphi-Ansatzes. Beispielsweise werden bei der Frage nach der Wahrscheinlichkeit verschiedener Todesursachen die seltenen (Unfälle, Selbstmord, Feuer) überschätzt, während die alltäglichen (Diabetes, Schlaganfall) unterschätzt werden (vgl. Slovic et al. 2004). Insbesondere Ereignisse, die mit schwerwiegenden Folgen verbunden sind oder in den Medien überbetont werden, erfahren die stärkste Überschätzung (vgl. Warr 1980, Beuer-Krüssel/Krumpal 2009: 37). Teilweise erfordern numerische Schätzungen von den Experten besonders hohe kognitive Leistungen. Einen gewissen Kompromiss stellt in solchen Fällen die Beurteilung lediglich aufgrund eines Größer-Kleiner-Gleich-Modells dar, wie etwa in der folgenden Frage aus einer Delphi-Studie zum demographischen Wandel und zu zukünftigen Anforderungen und Strategien im Handwerk: „Man geht davon aus, dass das Durchschnittsalter der Bevölkerung bis zum Jahr 2010 und auch darüber hinaus steigen wird. Wie wird sich dies Ihrer Ansicht nach auf die Nachfrage nach handwerklichen Produkten und Dienstleistungen auswirken? Die Nachfrage 1. wird eher steigen, 2. eher sinken, 3. bleibt hiervon unberührt.“

Einem solchen Design sollte immer dann der Vorzug gegenüber einer numerischen Schätzung gegeben werden, wenn der zu beurteilende Sachverhalt zu komplex ist und deshalb die Experten mit einer „exakten“ Schätzung überfordert wären. Eine besondere Form der numerischen Abfrage kam im Rahmen einer vom Comenius-Institut in Münster veranstalteten Delphi-Studie zum Einsatz. Hier sollte eine vorgegebene Anzahl an Punkten für verschiedene Aspekte vergeben werden. Ein solches Vorgehen wurde im folgenden Beispiel gewählt:

132

Designs von Delphi-Befragungen

„Welche Kompetenzen bei gemeindepädagogischen Mitarbeiterinnen sollen durch Fort- und Weiterbildung zukünftig verstärkt gefördert werden? Sie können bei der Bewertung insgesamt 12 Punkte vergeben. Bitte verteilen Sie diese 12 Punkte entsprechend der von Ihnen angenommenen Wichtigkeit auf die einzelnen Vorgaben. Sie können beispielsweise alle 12 Punkte einer Vorgabe zuordnen oder 2 Punkte pro Vorgabe verteilen ect. Pädagogische Kompetenz Theologische Kompetenz Methodische Kompetenz Soziale und kommunikative Kompetenz Kompetenz zur Selbstreflexion (z.B. durch Supervision) Politische und Gemeinwesen-orientierte Kompetenz“

7.6.4

Punktzahl ... ... ... ... ... ...

Die Bewertung von Entwicklungen, Folgeproblemen, Szenarien u.ä.

Ein weiteres Ziel von Delphi-Befragungen ist es häufig, verbal ausgedrückte Sachverhalte – sogenannte Szenarien – zu bewerten. In solchen Szenarien werden plausible Annahmen über zukünftige Entwicklungen zu Annahmebündeln kombiniert. Die konkreten Inhalte der jeweiligen Szenarien waren in bisherigen Anwendungen ebenfalls vielfältig. So ging es zum Beispiel um in der Zukunft entstehende Kosten, die Folgen einer Entwicklung für die Wirtschaft oder um die Absatzchancen für ein Produkt. Neben Szenarien werden beispielsweise aber auch Folgeprobleme technologischer Entwicklungen sowie der Stand der Forschung und Entwicklung erfragt. Dazu wieder verschiedene Beispiele: Beispie1 1: „Wie sehr stimmen Sie jeder dieser Thesen zu? Das Innovationspotential der I + K + M – Techniken sichert noch bis etwa 2015 ein hohes Umsatz-Wachstum, danach werden andere Technologien (z.B. Biotechnologie) zum Wachstumsmotor der Wirtschaft ĺ Stimme völlig zu ĺ eher zu ĺ unentschieden ĺ lehne eher ab ĺ lehne völlig ab.“ [Es folgt dann eine ganze Reihe weiterer, ebenfalls auf diese Weise zu bewertender Aussagen.] Quelle: Future 21

Designs von Delphi-Befragungen

133

Beispiel 2: „Für wie wichtig halten Sie es, dass Handwerksbetriebe in den nächsten 10-15 Jahren mehr gewerkeübergreifende Leistungen anbieten? ĺ Sehr wichtig ĺ wichtig ĺ weniger wichtig ĺ überhaupt nicht wichtig.“ Quelle: Handwerks-Delphi

Beispiel 3: „Angenommen, es käme bis zum Jahr 2010 zu einer deutlichen Senkung der Arbeitskosten im Handwerk. Ergäben sich Ihrer Ansicht nach hieraus zusätzliche Absatzchancen für das Handwerk? ĺ ja ĺ nein“ Quelle: Handwerks-Delphi

Teilweise enthalten die Befragungen zusätzlich relativ genaue Definitionen der in den Skalen beziehungsweise in den Fragetexten benutzten Begriffe oder Fachtermini. So wird in einer Studie (vgl. BMFT 1993:26f.) jeweils beschrieben, was beispielsweise im Zusammenhang mit der Einschätzung der Notwendigkeit einer weltweiten Zusammenarbeit unter den in der Antwortvorgabe benutzten Begriffen zu verstehen ist: „groß“: „mittel“ „gering“

„nicht nötig“

Weltweite gemeinsame Entwicklungsarbeit sei für die Verwirklichung unbedingt erforderlich. Weltweite gemeinsame Entwicklungsarbeit sei erforderlich. Dadurch könne ein viel besseres Ergebnis erzielt werden. Die weltweite gemeinsame Zusammenarbeit sei nicht unbedingt erforderlich, obwohl die Möglichkeit gemeinsamer Entwicklungsarbeit bestünde. Eine weltweite gemeinsame Entwicklungsarbeit sei absolut nicht erforderlich.

Nach einer Sichtung von Fragebögen für Delphi-Studien erscheint die hier vorgestellte Bewertung von Szenarien besonders häufig benutzt zu werden. Der Hauptgrund dafür liegt wahrscheinlich in den damit verbundenen vielfältigen Einsatzmöglichkeiten.

134 7.6.5

Designs von Delphi-Befragungen Bewertung des gleichen Sachverhalts aufgrund unterschiedlicher Fragestellungen

Nach der Vorstellung verschiedener Fragetypen in den vorangegangenen Abschnitten soll nun auf ein besonderes Design-Element bei der Fragebogengestaltung hingewiesen werden. In verschiedenen Delphi-Studien wird der gleiche Sachverhalt aufgrund verschiedener Vorgaben bewertet. Dies geschieht beispielsweise, indem zunächst eine These präsentiert wird (zum Beispiel: „Europaqualifikation – Erwerb und Vermittlung“) und diese dann nach verschiedenen Kriterien („1. Wie ist der Stand der bisherigen Forschung oder Entwicklung? 2. Wie wichtig ist das Thema für die Fortentwicklung der beruflichen Bildung? 3. Wann sollte mit der Bearbeitung spätestens begonnen werden?“) zu beurteilen ist, wobei für die Antworten jeweils geschlossene Skalen vorgegeben werden (vgl. BIBB 1999). In einer anderen Studie (vgl. Delphi ’98) wird von den Experten sogar erwartet, dass sie eine bestimmte Aussage (zum Beispiel: „Virtual-Reality-Erlebnisparks sind weit verbreitet“) aufgrund von sechs Dimensionen beurteilen und zwar in diesem Fall hinsichtlich (1.) ihrer subjektiven Fachkenntnis, (2.) der Wichtigkeit der Lösungsbeiträge, (3.) des Zeitraums der Verwirklichung, (4.) des Standes der Forschung und Entwicklung, (5.) der Rahmenbedingungen und hinsichtlich (6.) möglicher Folgeprobleme. Dieses Vorgehen wurde auch in einer Delphi-Befragung zur Perspektive der gemeindepädagogischen Arbeit in Sachsen gewählt. Zunächst werden bestimmte Entwicklungen vorgegeben und danach sind die Experten darum gebeten worden, diese daraufhin zu bewerten, (1.) für wie wünschenswert und (2.) für wie wahrscheinlich die Entwicklungen gehalten werden. Solche mehrdimensionalen Urteile zu einem Sachverhalt resultieren aus dem spezifischen Forschungsinteresse und erlauben schließlich interessante Auswertungen (vgl. Abschnitt 10.2). Sie finden deshalb inzwischen in Delphi-Befragungen häufig Anwendung. 7.6.6

Fragen zur Person des Experten

Bei Delphi-Befragungen wurden bisher in der Regel nur wenige oder sogar gar keine demographischen oder anderen Angaben zur Person des Experten erhoben. Teilweise waren die Teilnehmer der Befragung dem Monitoring-Team persönlich bekannt und/oder konnten über die Vergabe einer Identifikationsnummer (ID) identifiziert werden. Lediglich bei einigen Studien wurden die Teilnehmer um Auskunft über bestimmte persönliche Merkmale gebeten. Erfragt wurden das Geschlecht, die Profession, das Alter (teilweise gruppiert), die berufliche Position des Experten, das derzeitige Tätigkeitsfeld, der akademische Grad und so weiter. Wird auf eine Kompetenzfrage verzichtet (vgl. Abschnitt 7.6.1), so können beispielsweise zumindest mit einer offenen oder halboffenen Frage die Kompetenz-

Designs von Delphi-Befragungen

135

schwerpunkte der einzelnen Teilnehmer ermittelt werden. Ergänzt werden solche Indikatoren bisher zum Beispiel durch Fragen nach der Tätigkeit in internationalen Gremien und nach Auslandserfahrungen. Bei kleineren Expertengruppen, bei innerbetrieblichen Studien und/oder bei besonders sensiblen Themen sollte auf die Benutzung (zu) detaillierter Fragen zur Person verzichtet werden, um auf diese Weise möglichen Zweifeln der Teilnehmer in Bezug auf die Anonymität der Erhebung zu begegnen. So antworteten immerhin 18 Prozent der Teilnehmer einer Delphi-Studie nicht auf die Frage nach ihrem Geschlecht, ebenso viele Experten gaben keine Auskunft zu ihrem Alter (vgl. Loveridge/Georghiou/Nedeva 1995:21). Dieses Ergebnis könnte, so unsere Vermutung, aufgrund eines gewissen Misstrauens auf Seiten der Experten in Bezug auf die Anonymität der Befragung zustande gekommen sein. Sinnvoll erscheinen Fragen zur Person des Experten vor allem aus methodischer Sicht für die Rücklaufkontrolle. Dadurch können die Folgen eventueller systematischer Ausfälle beobachtet werden (vgl. auch Abschnitt 7.10). Außerdem ist die Beschreibung der Expertengruppe wichtig, um die möglicherweise differenzierten Zukunftssichten bestimmter Experten(gruppen) erkennen zu können (DelphiBefragungen vom Typ 3). 7.6.7

Die Erhebung von Megatrends

Wie bereits wiederholt dargestellt, verfolgen Delphi-Befragungen häufig das Ziel, die Zukunftssicht von Experten zu erkunden. In diesem Rahmen kann auch die Frage auftreten, welche persönlichen Eigenschaften der Experten mit welcher spezifischen Zukunftssicht im Zusammenhang stehen. Hierzu können zunächst Informationen herangezogen werden, die aus der Beschreibung der Person des Experten zur Verfügung stehen (vgl. Abschnitt 7.6.6). Darüber hinaus ist es bereits auch von Interesse gewesen, ob bestimmte Grundeinstellungen der Experten mit einer bestimmten Art und Weise der Zukunftssicht einher gehen. Zu diesem Zweck wurden im deutschen Technologie-Delphi sogenannte Megatrends erfragt. „Unter Megatrends werden im allgemeinen Sprachgebrauch gesellschaftliche, politische oder wirtschaftliche Entwicklungen verstanden (z.B. Mode, politische Präferenzen), die über Jahre hinweg in eine ähnliche Richtung (z.B. Steigerung der Zahlen im statistischen Jahresvergleich) tendieren. ... Zunächst sollte von den Teilnehmern eingeschätzt werden, ob sie den Megatrends grundsätzlich zustimmen oder nicht. (Cuhls/Blind/Grupp 1998:12 und 34, vgl. auch Grupp/Blind/Cuhls 2000)“ Danach wird eine Schätzung zum Zeitraum des Eintretens und zum Einfluss auf Wissenschaft und Technik erhoben. Solche Megatrends waren beispielsweise wie folgt formuliert: ĺ Die Bevölkerung der Erde wird die 10-Milliarden-Grenze überschreiten. ĺ Massive Migrationströme führen in Deutschland zu Unruhen.

136

Designs von Delphi-Befragungen

ĺ Die Globalisierung der Wirtschaft führt zum fast völligen Bedeutungsverlust nationalstaatlicher Wirtschaftspolitik. Neben der Aufnahme von Megatrends in die Befragung wird – vor allem im Rahmen methodischer Tests zum Funktionieren des Delphi-Ansatzes – auch von der Ermittlung bestimmter weiterer psychologischer Persönlichkeitsmerkmale der Experten berichtet. Erinnert sei an die Diskussion um den Einfluss des Grades an Dogmatismus eines Experten auf dessen Antwortstabilität (vgl. Bardecki 1984, Nelson 1978:46, Mulgrave/Ducanis 1975). So wurde mithilfe der entsprechenden Antworten der Vermutung nachgegangen, dass sich solche Dispositionen der Persönlichkeit beispielsweise auch auf das Urteil zur subjektiven Sicherheit auswirken (vgl. Häder 2000b). 7.6.8

Die Aufnahme offener Fragen in die quantitativen Wellen und die Bitte um Kommentare

Im Rahmen der quantitativen Befragungswelle von Delphi-Befragungen werden mitunter auch Sachverhalte behandelt, die sich teilweise a priori nur schwer im Voraus als geschlossene Frage formalisieren lassen. So erscheint es in vielen Studien angebracht, auch in den quantitativen Runden (zumindest einige) offene Fragen zu stellen. Relativ verbreitet ist die Praxis, auf einem beigefügten Blatt die Teilnehmer um Stellungnahmen zu allen beliebigen Fragen zu bitten. Zum Beispiel durch den Hinweis „Für Ihre Bemerkungen und Kommentare finden Sie Platz auf der letzten Seite.“ Eine solche letzte Seite wird dann beispielsweise durch folgenden Text eingeleitet: „Sollten Sie zu den eben bearbeiteten Aspekten noch Hinweise und Kommentare haben, dann schreiben Sie diese bitte hier auf. Wir sind sehr an Ihrer Meinung interessiert.“ In einer Befragung wurde sogar nach jedem Fragekomplex eine solche Seite für „Kommentare, Ergänzungen, eventuelle Begründung“ vorgesehen (vgl. HannoverDelphi des Instituts für Entwicklungsplanung und Strukturforschung von 1998). Ein gewisses Problem stellt die Auswertung solcher Rückinformationen dar. Um den Experten zu verdeutlichen, dass die gegebenen Hinweise zur Kenntnis genommen und berücksichtigt wurden, sollte im Feed-back unbedingt in geeigneter Form darauf Bezug genommen werden, beispielsweise durch die Aufnahme von Fußnoten, in denen über die erhaltenen Stellungnahmen berichtet wird. Das Technologie-Delphi aus Großbritannien musste aufgrund des kurzen Zeitintervalls zwischen den Wellen auf eine verbale Rückinformation jedoch verzichten (vgl. Loveridge/Georghiou/Nedeva 1995:12). Da dies als Mangel empfunden wurde, ist daraus die Lehre gezogen worden, bei der Planung künftiger Befragungen ausreichend Zeit auch für die Aufbereitung der verbalen Rückinformationen zu berücksichtigen. Das Vorgehen in ausschließlich qualitativ orientierten Delphi-Befragungen (Typ 1) unterscheidet sich wesentlich von den bisher vorgestellten Designs. In einer sol-

Designs von Delphi-Befragungen

137

chen Befragung (vgl. Hasse 1999) wurden die Experten zunächst um „freie“ Stellungnahmen zum Konfliktfeld gebeten. Diese Stellungnahmen sind transkribiert worden und werden danach nach bestimmten Kriterien redaktionell strukturiert. Weiterhin wurden Kurz- beziehungsweise Zusammenfassungen erstellt. Alle Teilnehmer erhielten dann in der zweiten Welle die ungekürzt transkribierten Beiträge aller anderen Teilnehmer sowie eine modifizierte inhaltliche Fragestellung. Außerdem wurde es ihnen freigestellt, sich nach Belieben zu den Experten-Positionen der ersten Delphi-Runde zu äußern. Dieser zweiten Befragungsrunde, die ähnlich aufbereitet wurde wie die erste, folgte eine abschließende dritte Welle. 7.6.9

Zu komplexe Indikatoren und Fragen, die für Delphi-Studien weniger geeignet erscheinen

Der Delphi-Ansatz erwies sich bei zahlreichen Gelegenheiten als geeignet, um unsicheres Wissen mithilfe von Expertenurteilen zu strukturieren und dieses weiter zu qualifizieren. Das Ergebnis einer Delphi-Befragung stellt damit – so ist zu erwarten – eine Annährung an einen vermeintlich wahren Wert dar beziehungsweise stellt die Ansichten der befragten Experten zur interessierenden Problematik iterativ heraus. An dieser Stelle soll jedoch vor bestimmten überzogenen Erwartungen an den Delphi-Ansatz gewarnt werden. Damit ein Problem sinnvoll in einer quantifizierenden Delphi-Befragung bearbeitet werden kann, muss dieses zuvor ausreichend operationalisiert werden. So ist nicht jede beliebige Fragestellung bereits geeignet, um in eine Delphi-Befragung aufgenommen zu werden. Insbesondere die Verwendung von zu komplexen Frageformulierungen überfordert die Teilnehmer. Zwei Aspekte sind hier zu beachten: Delphi-Befragungen sind nicht dazu da, um aufwändigere Studien, bei denen beispielsweise die interessierenden Sachverhalte unter Nutzung einer entsprechenden Stichprobe direkt erhoben werden, zu ersetzen. Tests haben beispielsweise gezeigt (vgl. Häder/Häder 1994b, Häder/Häder/Ziegler 1995), dass die Ergebnisse von Delphi-Befragungen sich nicht zwangsläufig immer, sondern lediglich in einer Reihe von Fällen den wahren Werten annähern. Damit sollten zum Beispiel Faktenfragen (Wie viel Prozent der Bevölkerung haben eine positive Einstellung gegenüber dem Problem ‚x‘?) nicht in einer Delphi-Studie erhoben werden. Zweitens ist davor zu warnen, den Teilnehmern zu schwierige beziehungsweise zu komplexe Fragen zu präsentieren. Im folgenden Beispiel aus dem Jahr 1998 ist den Experten eine solche besonders komplexe Aufgabenstellung vorgelegt worden:

138

Designs von Delphi-Befragungen

In Frage x haben Sie eine Einschätzung für jede einzelne Stadt gegeben. Bitte bewerten Sie nun die Datenstrukturen und Entwicklungstendenzen im Vergleich der Stadt Hannover mit den drei Referenzstädten.

1996

Entwicklung 1992-1996

Tendenz 2000

Mit welcher Referenzstadt bzw. Referenzstädten hat die Familienstruktur in der Stadt Hannover im Jahr 1996, die Entwicklung von 1992 bis 1996 und die Tendenz für das Jahr 2000 Ähnlichkeit? Hannover hat Ähnlichkeit mit Essen

Ƒ

Ƒ

Ƒ

Hannover hat Ähnlichkeit mit Nürnberg

Ƒ

Ƒ

Ƒ

Hannover hat Ähnlichkeit mit Stuttgart

Ƒ

Ƒ

Ƒ

Hannover hat mit keiner der drei Städte Ähnlichkeit

Ƒ

Ƒ

Ƒ

Von den Befragten wird in dem Beispiel erwartet, dass sie ein ihnen nicht sicher bekanntes Datum der Stadt Hannover nacheinander in Beziehung setzten zu einem ihnen ebenfalls nicht sicher bekannten Datum in drei verschiedenen Städten. Außerdem besteht die Aufgabe darin, diese Relation für unterschiedliche Zeitpunkte einzuschätzen. Eine ebenfalls sehr komplexe Anlage weist eine andere Delphi-Befragung auf, die sich Technologiegebieten widmet. Hier erhielten die Experten ein 37 Seiten starkes Beiheft, in dem die Bedeutung der einzelnen Fragen beziehungsweise Skalen erklärt wird. Hierzu ein Beispiel: Von den Experten sollten die Kosten für Werkstoffe, andere Roh-, Hilfs- oder Betriebsstoffe bewertet werden. Dazu wurde ihnen eine sechsstufige Skala präsentiert. Diese war im Beiheft an drei Punkten wie folgt verbalisiert worden: Hoch:

Mittel:

Niedrig:

Es werden hochspezifische Materialien (z.B. Diamanten, nanokristalline Werkstoffe u.ä.) benötigt, die nur mit großem Aufwand und hohen Kosten zu beschaffen sind. Die Kosten übersteigen im Verlaufe des Projekts 750 bzw. 500 TDM. Es werden spezifische Materialen in geringem Umfang, oder weniger teure Materialien in größerem Umfang benötigt. Die Kosten belaufen sich auf 250 bis 500 TDM bzw. auf 100 bis 250 TDM. Es sind keine spezifischen und sehr teuren Materialien erforderlich. Die Kosten liegen unterhalb von 100 bzw. 50 TDM.

An dieser Stelle ist zu vermuten, dass die Experten eigene Vorstellungen von hohen, mittleren und niedrigen Kosten für eine zu erwartende Entwicklung besitzen. Damit muss befürchtet werden, dass die vorgegebenen Erklärungen nicht ausreichend bei der Antwortfindung berücksichtigt worden sind. Den Ausweg stellt in allen Fällen die weitere Operationalisierung der zu befragenden Sachverhalte dar (vgl. Abschnitt 7.1). Das Monitoring-Team muss die ge-

Designs von Delphi-Befragungen

139

wünschten Schätzungen so an die Experten herantragen, dass sie von ihnen bewältigt werden können. 7.7

Pretest

Bei sozialwissenschaftlichen Studien gilt der Grundsatz, dass die Entwicklung und die Umsetzung einer geeigneten Preteststrategie unabdingbare Bestandteile der jeweiligen Studie zu sein haben (vgl. Faulbaum/Prüfer/Rexrotz 2009, Mohler/Porst 1996, Prüfer/Rexroth 1996, 2000). „If you don’t have the resources to pilot test your questionnaire, don’t do the study“ (Sudman/Bradburn 1983:283). Auch bei DelphiBefragungen sollte dieser Forderung nachgekommen werden. Porst verweist darauf, dass es im Rahmen der Pretests nicht nur darum geht, den Fragebogen einer Überprüfung zu unterziehen, sondern es auch darauf ankommt, die Funktionsfähigkeit des gesamten Studiendesigns zu testen (vgl. 2000:64ff.). Weiterhin ist zu berücksichtigen, dass Delphi-Studien auf die Sammlung von Informationen zu unsicheren Sachverhalten zielen. Die dazu befragten Experten nehmen damit die Rolle von Informanten ein. Darin liegt eine wesentliche Spezifik von Delphi-Befragungen, die diesen Ansatz von einem Reaktionsexperiment unterscheidet. Bei letzterem befinden sich die Befragten eher in der Rolle von Versuchspersonen (vgl. Kromrey 1998:360). Aus diesem Grund fallen dem Pretest bei Delphi-Befragungen auch besondere Aufgaben zu. Sie haben in Anlehnung an Jean M. Converse und Presser (vgl. 1986) sowie an Peter Prüfer und Margrit Rexroth (vgl. 1996, 2000) zu ermitteln, ob: ĺ die Fragen verständlich sind. Werden die benutzten Fachtermini von allen Befragten so verstanden, wie die Veranstalter der Befragung dies beabsichtigen? ĺ der Befragte Probleme mit seiner Aufgabe hat. Bei Delphi-Studien ist vor allem festzustellen, ob die gestellten Aufgaben überhaupt von den Experten zu lösen sind oder ob beispielsweise die Problematik noch weiter operationalisiert werden muss (vgl. Abschnitt 7.6.9), bevor sie von den Experten beurteilt werden kann. ĺ das Interesse und die Aufmerksamkeit des Befragten bei den einzelnen Fragen und während des gesamten Interviews ausreichend sind. ĺ ein gewisses Wohlbefinden des Befragten bei der Beantwortung der Fragen vorhanden ist. ĺ eine ausreichende Häufigkeitsverteilung bei den Antworten auftritt. Es ist beispielsweise wenig sinnvoll, Fragen, die bei der Beantwortung keine Streuung aufweisen, in dieser Form im Fragebogen zu belassen. ĺ technische Probleme mit dem Fragebogen existieren. Ist der Bogen so verfasst, dass die Experten alle darin enthaltenen Anweisungen, wie beispielsweise die Filterführung, richtig verstehen? ĺ die Zeitdauer der Befragung und damit die Länge des Fragebogens für die Teilnehmer zumutbar ist.

140

Designs von Delphi-Befragungen

ĺ das Anschreiben ausreichend zur Teilnahme an der Befragung motiviert. Im Weiteren soll das konkrete Vorgehen bei solchen Pretests beschrieben werden. Obwohl teilweise empfohlen wird, den Pretest möglichst unter jenen Bedingungen durchzuführen, unter denen auch die eigentliche Untersuchung einmal ablaufen wird, erscheint es ratsam, bei Delphi-Befragungen zunächst einen etwas anderen Weg einzuschlagen. So dürfte es hier erfolgversprechender sein, den in der Regel für eine schriftliche Befragung konzipierten Delphi-Fragebogen in einer persönlichmündlichen Situation, das bedeutet im Beisein eines geschulten Interviewers, zu testen. Für diese Tests stehen verschiedene Arten zur Verfügung. Zu nennen sind vor allem: 1. das klassische Vorgehen, 2. die kognitiven Pretests und 3. die Expertenratings. Diese Vorgehensweisen werden in den folgenden Abschnitten besprochen. Handelt es sich um einen völlig neuartigen Fragebogen mit unter Umständen komplizierten Fragestellungen und sollten dem Projekt ausreichend Mittel zur Verfügung stehen, so kann nach Abschluss der persönlich-mündlichen Pretets noch eine weitere Voruntersuchung eingeplant werden. Dabei werden dann eine Reihe von Personen (zusätzlich auch) quasi unter realen Feldbedingungen mit dem Instrument für die schriftliche Befragung konfrontiert. So kann dann zusätzlich vor allem die Rücklaufquote beobachtet werden. Das Hauptproblem besteht jedoch darin, dass auf diese Weise Personen, die in die Hauptuntersuchung einbezogen werden können, bereits in der Voruntersuchung um ihre Mitarbeit gebeten werden müssen. Oftmals ist es dann nicht mehr möglich, diese Personen in der Hauptstudie erneut zu befragen. 7.7.1

Das klassische Vorgehen

Dieses Konzept sieht vor, den Fragebogen unter möglichst realistischen Bedingungen zu überprüfen. Die Aufgabe des Interviewers besteht dabei darin, den Befragten zu beobachten und Probleme und Auffälligkeiten beim Ausfüllen des Fragebogens zu berichten. Diese Überprüfung findet in der Regel einmalig statt. Da das Verhalten durch die Interviewer lediglich passiv betrachtet wird, also kein gezieltes Hinterfragen vorgesehen ist, wird diese Form des Vorgehens auch Beobachtungspretest bezeichnet. Aus den Reaktionen der Befragten, so das Prinzip bei diesem Vorgehen, werden Rückschlüsse auf das Frageverständnis gezogen. Die Angaben zur notwendigen Fallzahl variieren beim klassischen Vorgehen zwischen zehn und 200, wobei die Teilnehmer sowohl durch ein Zufallsverfahren als auch durch eine Quotenauswahl rekrutiert werden können. Auch bei Anwendung des klassischen Vorgehens zur Testung von Delphi-Fragebögen ist zu berücksichtigen, dass der Expertenpool nicht bereits für die Zwecke der Voruntersuchung ausgeschöpft beziehungsweise zu stark dezimiert wird. Damit sollte der Stichprobenumfang für den Pretet eher an der oben genannten unteren Grenze liegen.

Designs von Delphi-Befragungen

141

Ein Vorteil dieser Strategie ist, dass sich die für das Ausfüllen benötigte Zeit relativ gut schätzen lässt. Ein weiterer Vorteil liegt darin, dass die entstehenden Kosten relativ niedrig sind. Als Schwäche des Verfahrens muss gesehen werden, dass ein formal unauffälliges Verhalten der Befragten noch keine hinreichende Garantie für das Funktionieren des Fragebogens ist (vgl. Belson 1981, 1986). Voraussetzung für den Einsatz des klassischen Vorgehens ist weiterhin, dass der Fragebogen bereits relativ weit entwickelt ist. 7.7.2

Kognitive Methoden

Aus der relativ breiten Palette möglicher kognitiver Methoden (für einen kompletten Überblick zu den aus der interdisziplinären Zusammenarbeit von Kognitionspsychologen und Umfrageforschern entwickelten kognitiven Laborverfahren vgl. zum Beispiel Faulbaum/Prüfer/Rexroth 2009, Prüfer/Rexroth 1996, 1996:17ff., 2000:203ff.) sollen für den Pretest von Delphi-Fragebögen vor allem die folgenden drei Strategien empfohlen werden: ĺ Die Think-Aloud-Technik. Diese sieht vor, dass die Befragten laut denken und dabei sämtliche Gedankengänge, die zur Antwort führen formulieren. Dies kann prinzipiell sowohl während des Antwortprozesses geschehen (Concurrent-ThinkAloud), als auch nach der Beantwortung der Frage (Retrospective-Think-Aloud). Das Ziel besteht darin, Hinweise zum Verständnis der Frage und einzelner Begriffe aus dem Fragetext zu erhalten. Allerdings hat sich die Concurrent-ThinkAloud-Technik als für die Teilnehmer sehr kompliziert und aufwändig erwiesen. So sind bei weitem nicht alle Personen dazu in der Lage, das laute Denken zu praktizieren. ĺ Die Probing-Verfahren. Diese beinhalten eine explizite Nachfrage nach den Antwortstrategien der Befragten (vgl. Schuman 1966). Probings können sowohl sofort nach der Antwort (Follow-Up-Probings) als auch im Anschluss an die Befragung (Post-Interview-Probings) erfolgen. Es wird zwischen Nachfragen zum Frageverständnis (Comprehension-Probings) und zur Informationsbeschaffung (Information-Retrieval-Probings) unterschieden. ĺ Die Confidence Ratings. Hier bewerten die Befragten den Grad der Verlässlichkeit ihrer Antwort. Weniger sinnvoll ist es dagegen, bei Delphi-Befragungen das Paraphrasing anzuwenden. Diese Technik sieht vor, dass die Testperson nach Beantwortung der Frage den Fragetext mit eigenen Worten so genau wie möglich wiederholt. Da bei DelphiBefragungen in der Regel schriftlich auszufüllende Fragebögen benutzt werden, ist dieses ansonsten attraktive Vorgehen hier nicht angebracht. Zu den Vorteilen der kognitiven Methoden zählt, dass nur relativ wenige Befragungen erforderlich sind, um einen Eindruck vom Funktionieren der Fragen zu ge-

142

Designs von Delphi-Befragungen

winnen. Damit sind die anfallenden Kosten ebenfalls vergleichsweise niedrig. Auch ist es möglich, nur einzelne Fragen zu überprüfen, ohne bereits den kompletten Bogen vorliegen zu haben. Als Nachteile werden genannt, dass erstens mit diesen Verfahren jeweils nur Ausschnitte beziehungsweise einzelne Fragen, nicht aber der gesamte Bogen getestet wird und zweitens, dass aufgrund der relativ geringen Anzahl an Testteilnehmern eine gewisse Unsicherheit über die Möglichkeiten der Verallgemeinerung der Ergebnisse aus der Voruntersuchung besteht. Erfahrungen haben gezeigt (vgl. Häder/Rexroth 1998, Häder 2000c), dass das Probing-Verfahren und die Retrospective-Think-Aloud Technik wertvolle Hinweise zur Vorbereitung von Delphi-Fragebögen zu erbringen vermögen. So konnte das Verständnis der benutzten Fachbegriffe überprüft und generelle Hinweise zum Funktionieren von Delphi gewonnen werden. Als vorteilhaft erweist es sich, wenn die Mitglieder der Monitoring-Gruppe selbst – die mit dem Hintergrund der Fragen gut vertraut sind – Erfahrungen mit der Überprüfung der von ihnen konzipierten Fragen sammeln. 7.7.3

Expertenratings

Schließlich besteht auch die Möglichkeit, auf sogenannten Fragebogenkonferenzen den vorliegenden Fragebogenentwurf mit Spezialisten zu diskutieren, wobei es sich bei diesen Spezialisten ebenfalls nicht um die späteren Teilnehmer an der DelphiBefragung handeln sollte. Zu empfehlen ist das folgende Vorgehen: In einem ersten Schritt bewerten Fragebogenexperten jeden einzelnen im Fragebogen enthaltenen Indikator nach seiner Verständlichkeit. Dazu kann beispielsweise eine zehnstufige Skala herangezogen werden. Bei diesem Expertenrating nimmt jeder Teilnehmer seine Einstufung zunächst isoliert für sich vor. Im Anschluss daran werden in Gruppengesprächen die Ergebnisse vorgestellt und danach diskutiert. Es handelt sich dabei um FocusGruppeninterviews, bei denen der Gegenstand des Gesprächs der Delphi-Fragebogen ist. Diese Diskussionen verlaufen dann relativ unstrukturiert ab. 7.7.4

Ein Beispiel: Der Pretest zur Delphi-Befragung „Zukunft des Handwerks“

Im Folgenden wird an einem Beispiel gezeigt, wie eine Pretest-Strategie für eine Delphi-Befragung gestaltet werden kann. Das Thema der Befragung war „Demographische Veränderungen – Zukünftige Anforderungen und Strategien im Handwerk“18 Der Titel der Delphi-Studie beschreibt bereits die inhaltliche Ausrichtung: Im Rahmen einer Expertenbefragung sollten unter anderem detaillierte Voraussagen für das 18 Gefördert wurde diese Delphi-Studie vom Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie im Rahmen des Schwerpunktes ‘Demographischer Wandel und die Zukunft der Erwerbsarbeit im Standort Deutschland’.

Designs von Delphi-Befragungen

143

Jahr 2010 zu den Gebieten Arbeitsangebot, Arbeitsnachfrage, Arbeitszeitgestaltung und Tarifrecht gefunden werden. Befragt wurden in der Hauptstudie 387 von den Projektnehmern19 ausgesuchte Experten mithilfe eines schriftlichen, standardisierten Instruments (vgl. Häder/Rexroth 1997, 1998). Der Pretest, um den es an dieser Stelle geht, fand im Raum Mannheim, Heidelberg und Speyer statt. Eine Besonderheit dieses Tests bestand darin, dass er ebenfalls in zwei Wellen veranstaltet wurde. Befragt wurden hier einmal zehn und einmal elf Personen. Alle Interviews wurden auf Tonband aufgezeichnet. Das Frageprogramm bestand jeweils aus einem vierseitigen, von den Teilnehmern im Beisein der Interviewer auszufüllenden Fragebogen. Die in diesem Bogen enthaltenen Fragen stammten aus dem in der Hauptstudie eingesetzten Instrument. Zusätzlich wurden die Befragten in beiden Wellen mit einem kognitiven Instrument konfrontiert. Dieses enthielt gezielte Nachfragen zur Erfassung mentaler Prozesse bei der Beantwortung des präsentierten Fragebogens aus der Delphi-Studie. Einbezogen wurden sechs Experten und für Vergleichszwecke vier Nichtexperten. Bei den Experten handelt es sich um Mitarbeiter verschiedener Handwerksorganisationen. Dabei wurde davon ausgegangen, dass diese Personen aufgrund ihrer beruflichen Tätigkeit dazu in der Lage sind, mittelfristige Entwicklungen im Handwerk zu beurteilen. Bei den Nichtexperten handelte es sich um Handwerker, die lediglich jeweils in einer bestimmten Handwerksbranche tätig sind und die nicht über Detailkenntnisse zum Handwerk insgesamt verfügen. Durch die gezielten Nachfragen sollen in diesem Pretest in Anlehnung an Lois Oksenberg, Charles Cannell und Graham Kalton (1991) drei Arten von möglichen Verständnisproblemen aufgedeckt werden: 1.

Die Bedeutung bestimmter Begriffe innerhalb des Fragetextes soll von den Befragten erläutert und interpretiert werden. 2. Bestimmte Aspekte der Antwort sollen erklärt werden. 3. Die Verständlichkeit einer Reihe von Begriffen wird hinterfragt. Es geht hier darum, wie verständlich ein Begriff ist beziehungsweise welche Probleme bei der Deutung der Begriffe auftreten. Zusätzlich wurden die am Test beteiligten Personen um Confidence Ratings gebeten, mit deren Hilfe der Grad an Verlässlichkeit der eigenen Antwort ermittelt werden sollte. Wegen der relativ geringen Anzahl befragter Zielpersonen werden diese Ergebnisse lediglich deskriptiv analysiert.

19 Die Projektnehmer sind folgende drei Verbundsinstitute: die Zukunftswerkstatt e.V. der Handwerkskammer Hamburg, die Fachhochschule Niederrhein in Mönchengladbach und das Institut für sozialwissenschaftliche Forschung in München. Die Koordination des Projekts wurde von der Zukunftswerkstatt e.V. der Handwerkskammer Hamburg übernommen.

144

Designs von Delphi-Befragungen

Nachdem die Ziele des Pretests beschrieben wurden, gilt es jetzt darzustellen, welche inhaltlichen Aufgaben von den Teilnehmern der Delphi-Befragung gelöst werden mussten. Die explizit und implizit zu bewältigenden Aufgaben waren vielfältig. Sie lassen sich wiederum fünf Problem-Klassen zuordnen: ĺ Verständnis-Probleme Damit ist das Verständnis der Aufgabenstellung dieser Delphi-Befragung gemeint. Aufgrund von spontanen Rückfragen der Teilnehmer sowie vermittelt über gezielte Nachfragen durch die Interviewer sollten Unklarheiten und Missverständnisse über das Anliegen der Studie erkannt werden. ĺ Abstraktions-Probleme Hier geht es um die Fähigkeit zu Verallgemeinerungen im Bereich „Handwerk”. Erklärtes Ziel des Projekts „Zukunft des Handwerks” waren globale Aussagen zur Situation im Jahr 2010. Dies erforderte von den beteiligten Personen eine hohe Abstraktionsleistung. Zur Bewältigung dieser Aufgabe wurde in der ersten Welle durch die Interviewer eine explizite Nachfrage gestellt. ĺ Wissens-Probleme Die Zusatzstudie schloss in der ersten Welle Wissensfragen zu verschiedenen Begriffen ein. Erfragt wurde die Bedeutung der Termini: „Demographischer Wandel“, „Altersteilzeit“, „Organisationsgrad der Beschäftigten“ und „Organisationsgrad der Unternehmer in den Arbeitgeberverbänden“. ĺ Prognose-Probleme Schließlich waren 36 Prognosenaufgaben zu bearbeiten, das heißt es waren 36 kurze Szenarien unter dem Aspekt der Entwicklung des Handwerks bis zum Jahr 2010 zu bewerten. ĺ Selbstreflektions-Probleme Die beteiligten Personen wurden durch die Interviewer um Auskunft über die Quellen des Antwortverhaltens sowie über die Sicherheit der abgegebenen Urteile gebeten. Dazu dienten neben zwei Indikatoren in den von den Teilnehmern auszufüllenden Fragebögen diverse Nachfragen durch die Interviewer in beiden Befragungswellen. Die folgende Darstellung enthält einige ausgewählte Befunde zu den einzelnen, gerade vorgestellten inhaltlichen Zielen der Delphi-Befragung. Zuerst werden die bei den Nichtexperten ermittelten Resultate vorgestellt. Im Anschluss daran erfolgt die Präsentation der bei den Experten ermittelten Ergebnisse. Bei der Lösung von Verständnis-, Abstraktions- und Wissens-Problemen traten bei Nichtexperten spontan Probleme auf. Obwohl versucht wurde, die Aufgabenstellung verständlich zu formulieren, fühlten sich einige Nichtexperten überfordert und baten um Erklärungen. Von diesen Befragten wurde direkt darauf verwiesen, dass die Beantwortung der Fragen schwer falle. Folgende Dinge fielen besonders auf:

Designs von Delphi-Befragungen

145

ĺ Verständnis-Probleme Teilweise konnte das mit der Delphi-Studie verfolgte Ziel nicht richtig nachvollzogen beziehungsweise von der Zielperson nicht bearbeitet werden. Der folgende Gesprächsausschnitt illustriert ein mangelndes Verständnis für das Ziel und den Inhalt der Untersuchung: Interviewer:

„Wie sicher waren Sie sich mit den einzelnen Urteilen, also bei den Fragen ‘A‘ bis ‘F’?” Zielperson (ID07 – erste Welle): „Also eher unsicher.” Interviewer: „Und warum?” Zielperson: „Weil ich mich mit der Materie eigentlich nicht in dem Maße auseinandergesetzt habe, weil das nicht zu meinem täglichen Leben gehört. Ich bin Handwerker, ich bekomme einen Auftrag und führe ihn aus, ich berechne ihn und beschäftige mich nicht damit, ob im Jahre 2010 ein Mädchen an irgendeinem Arbeitsplatz stehen wird, oder mehr Jugendliche Abitur machen oder Realschulabschluss.”

ĺ Abstraktions-Problem Verallgemeinerungen, vor allem die Aufgabe, sich „das Handwerk insgesamt” vorzustellen, gelangen den Nichtexperten kaum bzw. gar nicht. Dies zeigt folgendes Beispiel: Interviewer:

„Woran haben Sie gedacht, als Sie eine Einschätzung zum Handwerk gegeben haben, haben Sie sich das Handwerk global vorgestellt, oder haben Sie sich einen Zweig im Handwerk gedacht?” Zielperson (ID04 – erste Welle): „Ja ich habe an mein Handwerk gedacht, Zentralheizungs- und Lüftungsbau. Ich kann keine Prognose für das Fleischerhandwerk geben.”

In den Fällen, in denen verallgemeinernde Überlegungen zum Handwerk angestellt wurden, resultierten sie vor allem aus der Kommunikation mit anderen Handwerkern. Interviewer:

„Haben Sie bei den einzelnen Antworten eher geraten oder haben Sie ganz konkrete Hinweise zur Verfügung gehabt?” Zielperson (ID05 – erste Welle): „Konkrete Hinweise jetzt nicht, aber ...” Interviewer: „Was waren das denn für Hinweise?” Zielperson (ID05): „Die man selbst auf der Baustelle, im Büro, bei den Kunden Gespräche auffängt.” Interviewer: „Haben Sie dabei an das Handwerk global gedacht oder an bestimmte Handwerkszweige?” Zielperson (ID05): „Jetzt an bestimmte Handwerkszweige und zwar an Heizung und Sanitär.”

146

Designs von Delphi-Befragungen

ĺ Wissens-Problem Die nachgefragten Begriffe waren den Nichtexperten mitunter unklar und/oder wurden von ihnen spontan hinterfragt. Schwierigkeiten bereiteten vor allem die Ausdrücke „Demographischer Wandel” (obwohl dieser Begriff allen Teilnehmern zu Beginn der Befragung erklärt wurde) und „Organisationsgrad der Beschäftigten”. Mit „Altersteilzeit” wurden mehr oder weniger konkrete Inhalte verbunden. Probleme traten auch beim Ausdruck „Ungleicher Arbeitsanfall” auf. Bei den Experten vermittelt der Test dagegen ein anderes Bild. Folgende Resultate sind zu vermerken: ĺ Verständnis-Problem Das Ausfüllen des Fragebogens und das Verständnis der Aufgabenstellung verursachten kaum Probleme. Die Fragen erschienen als ganz normal, wie etwa bei folgendem Experten: Zielperson (ID11 – erste Welle): „Das sind eigentlich ganz normale Fragen, auf die man auch eine feste Antwort geben kann.”

ĺ Abstraktions-Problem Auch für Verallgemeinerungen zum „Handwerk insgesamt” standen den Experten geeignete Denkstrategien zur Verfügung. Zwei unterschiedliche Wege wurden dabei angetroffen: Erstens wurde – wie auch bereits bei den Nichtexperten – aufgrund von eigenen Erfahrungen mit unterschiedlichen Handwerksbereichen ein verallgemeinerndes Urteil über das Handwerk insgesamt abgeleitet. Da die Experten jedoch tätigkeitsbedingt über ein größeres berufliches Umfeld verfügten, flossen in die Einschätzungen mehr Erfahrungen ein und diese fielen somit differenzierter aus als bei den Nichtexperten. Zweitens wurden von den Experten bewusst Verallgemeinerungsstrategien eingesetzt. Beispielsweise wurden Erfahrungen aus typischen Handwerksbereichen herangezogen. Die Situation von Randgruppen wurde dagegen weniger in den Mittelpunkt gestellt. Beide Vorgehensweisen werden in den folgenden Gesprächsauschnitten deutlich:

Designs von Delphi-Befragungen

147

Interviewer:

„Es ging um Handwerk. Haben Sie da an das Handwerk allgemein gedacht oder haben Sie sich bestimmte Bereiche vorgestellt?” Zielperson (ID11 - erste Welle): „Wenn man solche Fragen gestellt bekommt, dann denkt man in erster Linie an die Bereiche, die im Handwerk besonders stark vertreten sind. Ich hab’ das vorhin schon genannt, einmal der Bau als Marktführer oder als Konjunkturindikator und zum zweiten der KFZ-, Metallbereich, wo wir auch eine ganze Reihe von Zulieferbetrieben auch haben, die abhängig sind von ihrem Abnehmer, und an die denkt man in erster Linie. Man denkt weniger an Randgruppen, zum Beispiel Damen- oder Herrenschneider, die da auch noch existieren und soweit sie es verstehen, auch ganz gut existieren, aber von der Zahl der Betriebe her eigentlich unbedeutend sind. Also Metallbereich, das ist bei uns mit Abstand der größte Bereich von den Betrieben her. 42 bis 43% Baubereich und innerhalb des Metallbereichs der Sonderbereich KFZ.”

Interviewer:

„Und bei der Frage 2.2. spricht man ja nun allgemein vom Handwerk, haben Sie sich da das Handwerk global vorgestellt oder haben Sie an bestimmte Bereiche gedacht?” Zielperson (ID01 - erste Welle): „Gut, sich es global vorzustellen ist ein bisschen schwierig, weil’s eben inzwischen noch 130 Handwerksberufe gibt. Einige von denen, da wird allerdings schon gar nicht mehr ausgebildet. Nein da denke ich schon eigentlich an einen Metallbau, Ausbau, an die großen Gruppen.”

Bei den folgenden Antworten wurden dann teilweise differenzierte Auskünfte gegeben, die jeweils nur für bestimmte Bereiche des Handwerks Geltung besitzen sollten. So wurden wiederholt die Besonderheiten des Bauhandwerks bei bestimmten Arbeitszeitregelungen hervorgehoben. ĺ

Wissens-Problem Die erfragten Begriffe waren allen Experten geläufig und wurden von allen in ihrer Bedeutung richtig verstanden. Zusammenfassend ist festzuhalten: Zwischen Experten und Nichtexperten bestehen die erwarteten Unterschiede. Insgesamt bewiesen die Experten bei ihren Antworten zu den Wissens-, Abstraktions- und Verständnis-Problemen eine deutlich größere Kompetenz. Außerdem wurde die Aufgabenstellung kaum als außergewöhnlich betrachtet. Anders in der Gruppe der Nichtexperten. Hier waren die einzelnen Personen bei der Beantwortung der Fragen überfordert. Für sie war die Art der Aufgabenstellung zu ungewohnt. Obwohl einige Nichtexperten überfordert waren und dies auch explizit zum Ausdruck brachten, wurde der schriftliche Fragebogen jedoch von allen Beteiligten fast vollständig ausgefüllt. Dieser Befund unterstreicht nicht zuletzt auch die Notwendigkeit und Bedeutung einer sorgfältigen Expertenauswahl bei Delphi-Studien. Die gezeigten Ergebnisse können dazu beitragen, das Expertendenken zu erkennen und somit Kriterien zu finden, die für die Rekrutierung der Experten benutzt werden können.

148

7.8

Designs von Delphi-Befragungen

Anonymität

Die Anonymität der Experten untereinander ist ein wesentliches methodisches Design-Element von Delphi-Befragungen. Die Begründer des Delphi-Ansatzes gingen davon aus, dass es den Experten aufgrund der anonymen Situation leichter fällt, ein bereits einmal getroffenes Urteil zu revidieren und es damit zu verbessern. Auch für die Vermeidung einer Meinungsführerschaft ist die Anonymität wichtig. Die Ausgangsannahme ist also, dass die Anonymität der Teilnehmer untereinander wesentlich zur Legitimation des Delphi-Ansatzes beiträgt. Eine solche Befragungssituation wird von einigen Delphi-Anwendern jedoch auch als Nachteil interpretiert, da die Teilnehmer in anonymen Situationen nicht für ihre Urteile verantwortlich gemacht werden können (vgl. Goodman 1987:730). In diesem Zusammenhang wird dann nicht ausgeschlossen, dass es aufgrund der Anonymität zu übereilten, nur unzureichend durchdachten Einschätzungen kommen könne. Diese Bedenken werden hier jedoch nicht geteilt. So lassen sich Argumente finden, die den in dieser Vermutung befürchteten Trend − der empirisch bisher nicht nachgewiesen werden konnte − neutralisieren beziehungsweis ihn gegebenenfalls überlagern20 (vgl. auch die Bemerkungen zum SIDE-Modell im Abschnitt 3.4): ĺ Erstens trägt – wie schon erwähnt – Anonymität dazu bei, eine Meinungsführerschaft – so wie sie etwa in Gruppendiskussionen auftreten kann – im Expertenpanel der Delphi-Befragung zu verhindern. ĺ Zweitens führt eine anonyme Erhebungssituation dazu, die Beteiligten vor einem eventuell bei einer Meinungsänderung zu befürchtenden Prestigeverlust zu schützen. ĺ Wenn drittens Experten mit extrem abweichenden Urteilen um verbale Begründungen gebeten werden, stellt dies einen geeigneten Mechanismus dar, um oberflächliche Schätzungen zu verhindern. ĺ Viertens ist schließlich zu vermuten, dass durch eine anonyme Erhebungssituation die Bereitschaft zur Beteiligung an einer Delphi-Befragung erhöht wird21. Schließlich geht es darum, unter Unsicherheit ein Urteil abzugeben. Wahrscheinlich würde es weitaus schwerer fallen, Experten zu finden, die dazu bereit wären, in einer nicht anonymen Situation solche unsicheren Urteile zu fällen. Wie bereits erwähnt stellen qualitative Delphi-Befragungen (Typ 1) eine Besonderheit dar, wenn es um die Gewährleistung der Anonymität im Verlauf der Delphi20 Im Rahmen der Diskussion um die Evaluation des Delphi-Ansatzes im Abschnitt 11 wird diese Problematik nochmals aufgegriffen werden. 21 Kenis (1995) stellt dar, wie insgesamt 15 Nachteile von nicht anonymen Gruppendiskussionen in einer persönlich-mündlichen Situation bei einem anonymen Delphi-Ansatz umgangen werden.

Designs von Delphi-Befragungen

149

Befragung geht. In seiner im hermeneutischen Sinne genutzten Delphi-Studie verzichtete Hasse auf Anonymität der sechs Teilnehmer. Er stellte vielmehr in der ersten Runde alle Experten sogar namentlich vor. „Die teilnehmenden Experten sind zumindest zum Teil aufgrund ihrer Spezialisierung und Profiliertheit über ihr unmittelbares Fachgebiet hinaus sehr bekannt. Allein deshalb wäre es schließlich aber auch gar nicht zu vermeiden gewesen, dass diese Experten aufgrund inhaltlicher Akzentsetzungen in ihren Ausführungen ohnehin ‚erkannt‘ worden wären“ (Hasse 1999:214). Der Verzicht auf Anonymität mag bei qualitativen Delphi-Befragungen eventuell möglich und erforderlich sein. In der Regel sollte bei solchen Erhebungen aufgrund der dargestellten Argumente jedoch ein Design benutzt werden, bei dem Anonymität unter den Teilnehmern herrscht. Eigene Erfahrungen haben gezeigt, dass die meisten Experten (scheinbar) keinen besonderen Wert auf einen vertraulichen Umgang mit ihren Antworten legen. Diese Feststellung ist für die Gestaltung des Designs wichtig. So ist es durchaus möglich, auf den Bögen zur besseren Rücklaufkontrolle eine Identifikationsnummer (ID) zu vermerken. Aufgrund der Identifikationsnummer wird – nur – für das MonitoringTeam eine namentliche Identifikation der Fragebögen möglich. Nachdem die Teilnehmer über die Funktion dieser, zum Beispiel als Paginiernummer auf dem Fragebogen aufgedruckte Zahl informiert wurden, akzeptieren sie in der Regel dieses Vorgehen (vgl. Abschnitt 7.10). Dem stehen jedoch auch andere Erfahrungen gegenüber. So ergaben zwei Befragungen der Unternehmensberatung Booz, Allen und Hamilton (BAH), München, die dem Zugang zum Internet und den daraus resultierenden Netto-Arbeitsplatzeffekten gewidmet waren, diametral entgegengesetzte Befunde. „Bei namentlich gezeichneten Veröffentlichungen von Wissenschaftlern und Politikern überwiegen – ... – die positiven Einschätzungen zum Netto-Arbeitsplatzeffekt. Äußert sich eine vergleichbare Gruppe dagegen anonym (es wurden bei der Delphi-Umfrage 360 internationale Fachleute aus Wirtschaft, Wissenschaft und Gesellschaft beteiligt) entfallen offensichtlich taktisch-strategische Verhaltensweisen, ohne die man nicht an die Fördertöpfe oder an die Macht gelangen kann.“22 Ein weiterer Aspekt ergibt sich aus dem Datenschutz (vgl. auch Abschnitt 9). Aus der Sicht des Datenschutzes (Bundesdatenschutzgesetz – BDSG – §4 Absätze 2 und 3 sowie §14 Absatz 2) sind die Teilnehmer einer Befragung über die Ziele der Erhebung und die Art und Weise der Nutzung der von ihnen gegebenen Antworten aufzuklären. Es ist in der Regel davon auszugehen, dass bei einer Delphi-Befragung die Antworten der Teilnehmer in anonymisierter Form rückgemeldet werden, sodass für die anderen Teilnehmer nicht erkennbar ist, von wem die Antworten stammen. Sollte 22 Das Zitat stammt aus einem in Internet veröffentlichten Text. Die URL lautet: http://deposit.ddb.de/ep/netpub/89/96/96/967969689/_data_stat/www.dbiberlin.de/dbi_ber/bib_ma/newbook_bis/bis-text9.htm (letzter Zugriff 28.05.2009).

150

Designs von Delphi-Befragungen

ein solches Vorgehen nicht möglich sein, zum Beispiel weil nur relativ wenige und zugleich besonders prononciert wertende Experten an der Befragung teilnehmen und/oder qualitative Statements rückgemeldet werden, bei denen der jeweilige Autor identifizierbar ist, so sind die Teilnehmer hierüber vor Beginn der Befragung aufzuklären. Auf einen weiteren Aspekt ist zu verweisen. Für die Einschätzung der in den Folgewellen rückgemeldeten Gruppenergebnisse ist es wichtig, dass die Teilnehmer an der Delphi-Befragung von der Kompetenz beziehungsweise Autorität der anderen Gruppenmitglieder überzeugt sind. So sollte den Teilnehmern zwar zugesichert werden, dass niemand aus der Gruppe die einzelnen Antworten eines Teilnehmers zur Kenntnis erhält. Zugleich ist jedoch auf die Expertise der anderen Teilnehmer an der Delphi-Befragung zu verweisen, beispielsweise dadurch, dass deren Herkunft und/ oder Qualifikation allen Teilnehmern bekannt gegeben werden. 7.9

Das Feed-back

Die Rückinformation an die Teilnehmer ist ebenfalls wichtiger Grundbestandteil von Delphi-Befragungen. Die dabei benutzten Strategien (Rückmeldung von Mittelwerten, Streuungsmaßen, graphischen Darstellungen, Tabellen, verbalen Äußerungen und so weiter) sind vielfältig, es existieren bisher auch hier keine Standards für die Gestaltung des Feed-backs, dafür jedoch verschiedene Empfehlungen (vgl. Keeney/Hasson/McKenna 2006:206ff.). Letztlich entscheidet das Monitoring-Team über das konkrete Aussehen der Rückmeldung. Deshalb wird teilweise auch von einem kontrollierten Feed-back gesprochen (vgl. Busch 1972:148, Martino 1972:20). Die zu wählende Form der Rückinformation hängt wesentlich von der Zielstellung der benutzten Fragen ab (vgl. Abschnitt 7.6). Vor allem drei Arten sollen unterschieden werden. Entsprechend ist auch dieser Abschnitt gegliedert: ĺ Erstens werden Fragen behandelt, die eine Schätzung numerischer Werte beispielsweise eines Zeitpunkts oder eines –intervalls vorsehen. ĺ Zweitens geht es um Fragen, die zur Ermittlung der Bewertung von Entwicklungen oder Szenarien dienen. ĺ Drittens wenden wir uns Fragen zu, die ein verbales Statement von den Befragten verlangen. Eine weitere Variante der Rückinformation, die bei Delphi-Befragungen zur Anwendung kommt, stellen die aktiven und passiven Rückkopplungen dar (vgl. Wechsler 1978:122ff.). Dabei wird den Experten in der Folgerunde für die Antwortfindung zusätzliches Informations- und Datenmaterial zur Verfügung gestellt. Von einer aktiven Rückkopplung wird gesprochen, wenn dafür die Initiative von der Monitoring-Gruppe aus geht. Eine passive Rückkopplung liegt dagegen vor, wenn die Initiative bei den beteiligten Experten liegt. Bei den meisten Delphi-Befragungen wird

Designs von Delphi-Befragungen

151

jedoch auf diese Form der Rückinformation verzichtet. Sie wird deshalb an dieser Stelle auch nicht weiter behandelt. Einen anderen im Rahmen der Feed-back Problematik diskutierten Aspekt stellen bewusste (Fälschungen) und unbewusste (versehentliche) Veränderungen der Rückinformation dar. Mit den Möglichkeiten einer bewussten Manipulation von Ergebnissen einer Delphi-Studie über die Rückmeldung befasst sich Bradley W. Nelson (vgl. 1978:55). Er befürchtet, dass aus dem Wunsch nach einem bestimmten Ergebnis, zum Beispiel in Bezug auf eine prognostizierte Entwicklung, mithilfe von Delphi-Befragungen Missbrauch betrieben werden kann. Nelson hält dies vor allem dann für möglich, wenn die Befunde mit eigenen Interessen verknüpft sind. Dem Autor gelingt der Nachweis, dass durch wiederholte massive Eingriffe in die Rückmeldung die Ergebnisse von Delphi-Studien tatsächlich in eine vorher bestimmte Richtung verändert werden können. Seine Schlussfolgerung lautet deshalb, dass das Monitoring-Team keine eigenen Interessen an bestimmten Ergebnissen einer DelphiStudie haben sollte. Diese Forderung unterstützt auch Udo M. Krüger, der sich vom qualitativen Feed-back ohnehin eine höhere Transparenz des Kommunikationsprozesses verspricht (vgl. 1975:222). Die Überlegungen zu einem manipulierten Feed-back unterstreichen nochmals die Empfehlung, im Interesse einer hohen Akzeptanz der Forschungsergebnisse die Arbeit der Monitoring-Gruppe durch ein unabhängiges Expertengremium zu begleiten, zu beraten und nicht zuletzt auch zu kontrollieren. Schließlich stellt sich an dieser Stelle die Frage, ob den Teilnehmern im Rahmen des Feed-backs auch die eigene Schätzung aus der vorangegangenen Runde mitgeteilt werden soll (dies schlagen beispielsweise Keeney und Kollegen vor 2006:206), oder ob dies nicht besser unterbleiben sollte, wie es an dieser Stelle vorgeschlagen wird. Der Grund für diesen Tipp liegt in der wahrscheinlich intensiveren (erneuten) kognitiven Auseinandersetzung mit dem Gegenstand der Frage. Da den Experten ihre Schätzungen aus der letzten Runde nicht mehr bekannt sein dürften, sind sie dazu gezwungen, unter Einbeziehung des Feed-backs zur Gruppenmeinung, ein nochmaliges Urteil abzugeben. Sollte aber das Urteil der vorausgehenden Welle jedoch bekannt sein, so könnte dieses dann relativ einfach wiederholt werden. 7.9.1

Feed-back bei numerischen Schätzungen

Die Rückinformation sollte bei numerischen Schätzaufgaben neben den Mittelwerten auch die Angabe von Streuungsmaßen beinhalten. Dies ist vor allem dadurch begründet, dass eine Information lediglich über den Mittelwert nicht ausreichte, um die Meinungsvielfalt beziehungsweise Meinungsbreite der Experten darzustellen, etwa auch Ausreißer oder Außenseiter zu bemerken. Dies gilt insbesondere dann, wenn beispielsweise die Expertise zum jeweiligen Sachverhalt breit streut. Über eine solche Heterogenität der Meinungen können die Teilnehmer lediglich durch die Angabe eines Streuungsmaßes informiert werden.

152

Designs von Delphi-Befragungen

Die einfachste Weise, das Feed-back zu gestalten, wäre die Angabe numerischer Werte wie zum Beispiel der Standardabweichungen als Maß für die Streuung und der arithmetischen Mittel als Maß für die zentrale Tendenz. Allerdings ist es weitaus anschaulicher, hier auf eine graphische Form der Rückmeldung zurückzugreifen. Auf diese Weise wurden in den Studien zur globalen Entwicklung von Wissenschaft und Technik Quartilsmaße und der Median präsentiert. Die Befragung zielte hier darauf ab, Verwirklichungszeiträume zu schätzen. Die Experten sollten angeben, bis zu welchem Zeitraum der in einer These genannte Sachverhalt realisiert sein wird. Dabei ist zu beachten, dass die Wahl der Vorgabe „nie“ besonders zu berücksichtigen ist. Hier wurde die Anzahl der Experten, die diese Vorgabe gewählt haben, im Feedback gesondert als Anteil ausgewiesen. Die übrigen Antworten wurden durch drei statistische Maßzahlen beschrieben: 1. der Median als Ausdruck für den Mittelwert (das heißt, bis zu diesem Zeitpunkt erwartete die Hälfte der Experten eine Realisierung), 2. das untere und das obere Quartil (dabei handelt es sich um die Zeitpunkte, bis zu denen 25 beziehungsweise 75 Prozent der Befragten eine Verwirklichung erwarten) als Information über die Streuung. Die Darstellung erfolgt graphisch in Form eines kleinen „Häuschens“. „Dabei repräsentiert die linke Linie des ‚Häuschens‘ das untere Quartil (25%-Perzentil Q1), die Spitze den Median (M) und die rechte Linie das obere Quartil (75%-Perzentil Q2)“ (Cuhls/Blind/Grupp 1998:11). Ein besonders breites „Häuschen“ deutet damit beispielsweise auf eine besonders breite Streuung der Antworten hin. Bewährt hat sich auch eine Form der Darstellung der Ergebnisse der Vorrunde, bei der ein Balkendiagramms benutzt wird (vgl. Häder 2000d). Dieses wurde zum Beispiel eingesetzt bei einer Frage nach dem für das Jahr 2005 erwarteten Anteil an Personen, die über ein Mobiltelefon verfügen werden. Neben der als Balken dargestellten Anzahl an Experten, die sich jeweils für einen bestimmten Wert entschieden haben, wurde zusätzlich der Median rückgemeldet. Aus der Graphik wurde ersichtlich, ob es sich um eine ein- oder mehrgipflige Verteilung handelt (vgl. Abbildung 2). Eine weitere Möglichkeit für die graphische Gestaltung des Feed-backs zeigen Hennings, Hüber und Stanke (1972). Hier werden die Ergebnisse in Form unterschiedlich großer Punkte präsentiert. Je größer der Punkt, desto mehr Experten haben sich für den jeweiligen Wert entschieden. Auf die gleiche Weise stellt Christoph Breuer (2000) das Feed-back dar (vgl. die Tabellen 6 und 7).

Designs von Delphi-Befragungen Abbildung 2:

153

Beispiel (1) für die Gestaltung des Feed-backs bei einer numerischen Schätzaufgabe

Zurzeit verfügen in Deutschland ca. 20% der Menschen über ein Mobiltelefon (Handy). In ca. 95% der Haushalte befinden sich Festnetzanschlüsse. Wie werden sich Ihrer Meinung nach diese Anteile in den nächsten fünf Jahren entwickeln? 1. Schätzen Sie bitte den Anteil der Menschen, die dann über ein Mobiltelefon verfügen werden! Mobilfunkbesitzer in fünf Jahren – 1. Welle (in Prozent) Median: 50 Prozent

14 12 10 8

Absolute Werte

6 4 2 0

25

30

35

40

45

50

55

60

65

70

75

80

Quelle: Häder (2000d)

Verwiesen sei noch auf einen weiteren Aspekt der methodologischen Diskussion um Delphi-Befragungen. So wurde als Argument gegen die Angabe des Medianes eingeräumt, dass dieser eine zu hohe Anziehungskraft besäße, die stärker sein könne als der Drang zur Wahrheit. „The ‚pull of the mean‘ is much stronger than the pull of the true, but both operate“ (Dalkey 1969:424). Nahezu alle publizierten Erfahrungen beim Einsatz von Delphi-Befragungen sprechen jedoch nicht dafür, dass aus diesem Grund auf die Widergabe dieses Wertes verzichtet werden sollte.

154

Designs von Delphi-Befragungen

Tabelle 6:

Beispiel (2) für die Gestaltung des Feed-backs bei einer numerischen Schätzaufgabe

Wann glauben Sie, wird die in der These genannte Entwicklung vollzogen sein? In bis zu 5 Jahren

[Ergebnis der Vorrunde:] Über 30% der Erwachsenen werden mindestens einmal die Woche Sport treiben.

in 6-10 in 11Jahren 15 Jahren

y y y 9

9

in mehr gar als 20 nicht Jahren

9

y

y

9

9

Hintergrundinformation: 27% der Erwachsenen in Deutschland geben an, mindestens einmal die Woche Sport zu treiben. Quelle: Breuer (2000)

Tabelle 7:

Für das Feed-back im Beispiel 2 benutzte Sonderzeichen, Times New Roman Wingdings (Ausschnitt)

0-2,5%

8pt

17,6-20,0%

15pt

35,1%-37,5%

22pt

2,6-5,0%

9pt

20,1-22,5%

16pt

37,6-40,0%

23pt

5,1-7,5%

10pt

22,6-25,0%

17pt

40,1-42,5%

24pt

7,6-10,0%

11pt

25,1-27,5%

18pt

42,6-45,0%

25pt

10,1-12,5%

12pt

27,6-30,0%

19pt

45,1-47,5%

26pt

12,6-15,0%

13pt

30,1-32,5%

20pt

47,6-50,0%

27pt

15,1-17,5%

14pt

32,6-35,0%

21pt

50,1-52,5%

28pt

Quelle;: Breuer (2000)

7.9.2

Feed-back bei Bewertungen von Sachverhalten

Relativ unkompliziert ist die Gestaltung des Feed-backs bei Fragen, in denen es um die Bewertung von Entwicklungen, Folgeproblemen, Szenarien und ähnlichem geht (vgl. Abschnitt 7.6.4). Hier ist die Angabe der Absolutzahlen beziehungsweise Prozentwerte, die auf die einzelnen Antwortkategorien entfallen sind, in der Regel ausreichend. Auf diese Weise erhalten die Teilnehmer sowohl eine Information über die Verteilung der Antworten als auch darüber, wohin die Meinung der Mehrheit der Experten tendiert. Auch hierzu wird ein Beispiel gezeigt (vgl. Tabelle 8).

Designs von Delphi-Befragungen Tabelle 8:

155

Beispiel (3), Fragebogen einer Delphi-Studie aus der zweiten Runde mit Feed-back zu den Ergebnissen der ersten Befragungsrunde

Bitte beurteilen Sie auch die folgenden Entwicklungstrends in den nächsten 5 Jahren nach Ihrer Wahrscheinlichkeit. Geben Sie bitte auch wieder an, wie sicher Sie sich bei dieser Einschätzung waren. Den Trend, dass in den nächsten 5 Jahren ...

Halte ich für:

Bei dieser Einschätzung bin ich mir:

sehr unwahrscheinlich

sehr wahr- völlig scheinlich unsicher

völlig sicher

1

2

3

4

5

1

2

3

4

5

... das Festnetz immer stärker vom Mobilfunk verdrängt wird

(6)

(34)

(13)

(34)

(13)

(20)

(26)

(20)

(28)

(6)

... es zur Anschaffung mehrerer Handys pro Haushalt kommt

(-)

(4)

(11)

(55)

(30)

(28)

(15)

(28)

(19)

(10)

... Besitzer von Mobilte- (6) lefonen ihre Kommunikationsgewohnheiten gegenüber Besitzern von Festnetzanschlüssen ändern

(11)

(19)

(45)

(19)

(17)

(30)

(23)

(21)

(9)

... die Benutzer von (32) Handys beim Telefonieren die Sprechweise verändern

(34)

(17)

(13)

(4)

(4)

(30)

(32)

(28)

(6)

Quelle: Häder (2000d)

7.9.3

Feed-back bei offenen Fragen

Relativ kompliziert kann sich die Rückmeldung von Ergebnissen offener beziehungsweise halboffener Fragen gestalten. Gemeint sind hier vor allem Kommentare, die die Teilnehmer zu den geschlossenen Fragen abgegeben haben. In verschiedenen Studien wurden neben den üblichen Angaben über das Antwortverhalten bei den geschlossenen Fragen (Mittelwerte und Streuung der Antworten) auch solche verbalen Kommentare rückgemeldet (vgl. Richey et al. 1985:142, Ono/Wedemeyer 1994:293). Jedoch gilt: „There is no way of concluding whether supporting comments or mean scores were more influential in effecting a change of opinion” (Duffield 1993:235). Damit steigen die Anforderungen an die Monitoring-Gruppe, da

156

Designs von Delphi-Befragungen

diese zu entscheiden hat, wie die verbalen Informationen aufzubereiten und rückzumelden sind. Mindestens vier Gestaltungsvarianten bieten sich an (vgl. Wechsler 1978:118ff.): 1. Der völlige Verzicht auf eine Rückinformation an die Teilnehmer. Die gewonnenen qualitativen Daten fließen lediglich in die Interpretation der gewonnenen Ergebnisse mit ein. 2. Eine Rückinformation, die die Begründung von Aussagen, die auf extreme Schätzungen schließen lassen, enthält. Beispielsweise plädiert Riggs (vgl. 1983:91) dafür, dass Experten mit besonders großen Abweichungen darum gebeten werden sollen, die Gründe ihrer extremen Ansichten verbal anzugeben (1983:90; vgl. auch Bernstein/Cetron 1969). Dadurch könnte die MonitoringGruppe in die Lage versetzt werden, diese Argumente besser zu verstehen. Weiter wäre zu erwarten, dass auf dieser Weise besonders originelle, unkonventionelle und innovative Argumente gesammelt werden können. 3. Eine Rückinformation, die Begründungen zu allen abgegebenen Urteilen enthält. Dieses Vorgehen wird teilweise deshalb favorisiert, da bei einer vollständigen Widergabe der Argumente die rückgemeldeten Mittelwerte in den Hintergrund treten und damit auch der Konformitätsdruck in den Folgewellen reduziert wird (vgl. Gisholt 1976:169). 4. Die Experten erhalten die Option, bei der Monitoring-Gruppe nach Bedarf (zusätzliche) Informationen abzurufen. Eine weitere Variante des Umgangs mit verbalen Kommentaren stellt Häder (vgl. 2000d) vor. Hier werden aufgrund verbaler Bemerkungen in der vorangegangenen Runde Ergänzungen bei den quantitativen Schätzaufgaben in den Folgewellen vorgenommen. In einer Studie sollte die zukünftige Bedeutung von Motiven für und gegen die Anschaffung von Mobiltelefonen geschätzt werden. Von den Experten wurden dabei einige Argumente ergänzt. Diese waren dann in der Folgerunde von der gesamten Expertengruppe ebenfalls quantitativ zu bewerten. Eine besondere Situation liegt vor, wenn die Delphi-Befragung einen qualitativen Charakter trägt (Typ 1). Hasse berichtet über eine Studie, bei der die teilnehmenden Experten dazu aufgefordert wurden, ausführliche Stellungnahmen und begründete Vorschläge zur aufgeworfenen Problematik abzugeben. Diese wurden für die Rückinformation transkribiert und nach bestimmten Kategorien weiter strukturiert: „Zum Auftakt der 2. Delphi-Runde wird den Teilnehmern ein Überblick über das Verfahren der Auswertung ihrer Stellungnahmen gegeben. Als Anlage erhalten sie eine gebundene Fassung der transkribierten (ungekürzten) Ausführungen aller Experten sowie die paraphrasierten Versionen (Gliederung der nahezu vollständigen Ausführungen nach Leitsätzen, ergänzenden Aussagen und weiteren Anmerkungen beziehungsweise Hinweisen, die Kurz- und Zusammenfassungen, die vergleichende

Designs von Delphi-Befragungen

157

Zusammenfassung der Expertenaussagen (differenziert nach Beurteilungsaspekten) und die Zusammenfassung der Bewertungsaspekte“ (1999:229). 7.10

Rücklaufkontrolle und Panelmortalität

Die Experten müssen bei einer Delphi-Befragung über einen längeren Zeitraum zur Mitarbeit motiviert werden. Dies ist ein Problem, dem vom Monitoring-Team große Aufmerksamkeit geschenkt werden muss, da die Bereitschaft zur Teilnahme in direktem Zusammenhang zum voraussichtlichen Erfolg der Studie stehen dürfte (zu Panelstudien allgemein vgl. zum Beispiel Friedrichs 1999, Engel/Reinecke 1994). Es liegt nahe, dass nur eine möglichst vollständige Ausschöpfung des Wissenspotenzials aller Teilnehmer von der ersten bis zur letzten Runde ein optimales Ergebnis liefert. Das vorzeitige Ausscheiden von Experten kann dagegen zu Informationsverlusten führen. Die Beantwortung eines Delphi Fragebogens ist für die Teilnehmer mit einem relativ großen Aufwand verbunden, auch deshalb kann es zu Problemen mit einer kontinuierlichen Teilnahme kommen. Eine Alles-Oder-Nichts-Variante, bei der nur die Möglichkeit besteht, entweder an allen Wellen teilzunehmen oder auszusteigen, sollte deshalb jedoch möglichst vermieden werden. Stattdessen kann man den Teilnehmer die Möglichkeit einräumen, beliebig entweder an allen Runden teilzunehmen oder auch einzelne Runden auszulassen. Dazu hat Policy-Delphi Brown (2007:135ff.) im Rahmen eines ein Experiment durchgeführt. Dieses ergab, dass ursprüngliche Drop-outs durchaus dazu bereit sind, bei einer späteren Runde wieder an der Befragung teilzunehmen. Bei Delphi-Befragungen wird ansonsten zum Teil über hohe Anteile an Ausfällen vor allem in der ersten Befragungsrunde berichtet (vgl. Drilling 2000:172, Bodzenta et al. 1983, Neubert 1991, BMFT 1993, Cuhls 1998:119, Cuhls et. al 1998:7). Dem gegenüber nimmt in den Folgewellen die Abbrecherquote ab und bleibt dann relativ konstant. Es gibt aber auch andere Erfahrungen: In einer Delphi-Befragung zur Zukunft des Mobilfunks (vgl. Häder 2000d) haben sich lediglich 18 Prozent der ursprünglich befragten Personen an der zweiten Welle nicht mehr beteiligt. Bei einem dreiwelligen, institutsintern durchgeführten Test zur Delphi-Technik lag die Beteiligung sogar bei 100 Prozent (vgl. Häder/Häder/Ziegler 1995). Die Response-Rate beim sechsten Technologie-Delphi in Japan war stark unterschiedlich. Sie lag je nach Schwerpunkt, zwischen 76 Prozent (zweite Welle, inhaltlicher Schwerpunkt „Gesundheit“) und 94 Prozent (zweite Welle, inhaltlicher Schwerpunkt „Transport“). Es ist denkbar, dass das Ergebnis von Delphi-Studien durch einen systematischen Ausfall von Teilnehmern beeinflusst werden könnte. Dazu wurden gezielt Analysen erstellt, in denen drei Vermutungen in Bezug auf den Teilnahmeabbruch nachgegangen worden ist:

158

1.

2.

3.

Designs von Delphi-Befragungen

Die Aussteiger bewerten die Sachverhalte anders als die übrigen Befragten. Es kommt zu kognitiven Dissonanzen und diese sind dann ein Motiv für den Abbruch der Teilnahme (Dissonanz-Hypothese). Die Aussteiger haben extremere Urteile abgegeben als die anderen Experten. Hier sorgt die besonders große Differenz der eigenen Meinung zu denen der restlichen Gruppe für den Ausstieg aus der Befragung (Nonkonformitäts-Hypothese). Die Aussteiger haben in der ersten Welle besonders unsichere Urteile abgegeben. Die Verweigerung einer weiteren Teilnahme erfolgt in der zweiten Welle dann aufgrund einer vermuteten mangelnden eigenen Kompetenz (KompetenzHypothese, vgl. Bardecki 1984).

Ein Konsens in den Ansichten in der Folgewelle kann auch infolge von NonResponse entstehen, nämlich dadurch, dass Teilnehmer mit divergierenden Ansichten nicht weiter an der Befragung partizipieren. Dies deutet dann natürlich nicht auf eine infolge der Delphi-Befragung gewachsene Übereinstimmung unter den ursprünglichen Teilnehmern hin. Andererseits kann es aber auch zu bewusst kontrastierenden Urteilen kommen. Dabei bewerten bestimmte Teilnehmer die Fragestellungen so, dass der Gruppendurchschnitt in ihrem Interesse beeinflusst wird. Greatorex und Dexter (2000) plädieren deshalb dafür, möglichst genau zu beobachten, was zwischen den einzelnen Wellen einer Delphi-Studie passiert. Die Analysen zu diesen Hypothesen mit Daten aus der Delphi-Befragung zur Zukunft des Mobilfunks ergaben drei interessante Befunde: Erstens zeigte sich, dass sich die Schätzungen der späteren Aussteiger in der ersten Welle faktisch nicht von denjenigen unterschieden, die an beiden Wellen teilgenommen haben. Von allen abgegebenen 50 Urteilen wurden lediglich in sechs Fällen Hinweise registriert auf einen signifikanten Mittelwertunterschied bei den Schätzungen der späteren Aussteiger gegenüber den Schätzungen der Experten, die auch in der zweiten Welle noch an der Befragung teilgenommen haben. Dies spricht gegen die in der Dissonanz-Hypothese enthaltene Vermutung, dass abweichende Meinungen zum Ausstieg aus der Studie motivieren. In keinem Fall unterschied sich zweitens der Mittelwert der Einschätzungen zur subjektiven Sicherheit, mit der die Urteile von den Experten abgegeben worden sind, zwischen beiden Gruppen. Dieser Befund spricht gegen die in der KompetenzHypothese enthaltene Annahme. Danach hätte eine besonders große Unsicherheit in den Urteilen zum Ausstieg aus der Studie beigetragen. Ein ähnliches Ergebnis erbrachten drittens die Analysen zur NonkonformitätsHypothese. Dazu wurden die Schätzskalen geklappt, sodass höhere Werte nun extremere Urteile – egal in welche Richtung – bedeuten. In nur vier Fällen traten hier signifikante Unterschiede zwischen denjenigen Teilnehmern auf, die an beiden Wellen teilgenommen hatten und jenen, die aus dem Panel ausgeschieden waren. Ledig-

Designs von Delphi-Befragungen

159

lich bei einer Schätzung urteilten die Aussteiger – wie in der NonkonformitätsHypothese erwartet – in die extreme Richtung. Demnach kann auch nicht davon ausgegangen werden, dass besondere kognitive Dissonanzen den Ausstieg aus dem Expertenpool bewirkt haben. Es hat sich anhand der Daten aus dieser Studie gezeigt, dass die Aussteiger nicht aufgrund einer besonders divergierenden Expertise die Teilnahme abgebrochen haben. Während Bardecki (vgl. 1984:289ff.) Hinweise auf die Wirkung von Nonkonformitätshaltungen gefunden hat und Cuhls und Kollegen (vgl. 1998:16) feststellten, dass in der Folgewelle der Anteil an „Fachkennern“ sogar abnahm, konnte anhand der Daten aus anderen Befragungen keine der aufgestellten Hypothesen bestätigt werden. Insofern kann davon ausgegangen werden, dass andere Beweggründe bei diesen Studien, etwa Zeitknappheit, den Ausschlag für dieses Verhalten geben. Das Aussteigerproblem bei Panel-Befragungen ist in der Praxis nicht lösbar. Eine 100-prozentige Beteiligung aller kontaktierten Personen über alle Erhebungsrunden hinweg wird die Ausnahme bleiben. Ein besonderes Problem liegt jedoch vor, wenn die Verweigerer zu einer bestimmten – bisher noch nicht identifizierten – Gruppe zählen. In diesem Fall würden deren Ansichten verloren gehen oder unterbewertet werden. Deshalb sollte ein Konzept für den Umgang mit dem Non-ResponseProblem entwickelt werden. Dabei ist folgendes zu beachten: ĺ Wichtig ist, dass zumindest eine Nachfassaktion, bei der in einem nochmaligen Anschreiben um Mitarbeit bei der Delphi-Befragung gebeten wird, einzuplanen ist. Erfahrungen besagen, dass auch bei Delphi-Studien bei jeder Nachfassaktion unter den noch verbleibenden Zielpersonen etwa die gleiche Response-Rate erzielt wird wie in der ursprünglichen Befragung. ĺ Die Experten sollten mit geeigneten Mitteln zur Teilnahme motiviert werden. Hierfür kommen sowohl finanzielle Anreize als auch ideelle Stimuli infrage. Vor allem sollte den Experten klargemacht werden, welchen Nutzen sie selbst aus der Teilnahme an der Befragung ziehen können, beispielsweise für das eigene Unternehmen oder für die eigene Tätigkeit. Schließlich sollte das Image des Expertenstatus‘ gepflegt werden. ĺ Durch eine gezielte Feldsteuerung ist zu verhindern, dass bestimmte Expertengruppen komplett ausfallen. Dazu sind die eingehenden Fragebögen anhand der Identifikationsnummern zu kontrollieren, um Aufschluss über die Struktur der Experten zu gewinnen, die sich bereits an der Umfrage beteiligt haben. Sollten dabei systematische Ausfälle festgestellt werden, so können mithilfe gezielter Nachfragen beziehungsweise durch das Nachrekrutieren von Teilnehmern die Ausfälle unter Umständen neutralisiert werden. ĺ Da ein gewisser Non-Response nicht zu verhindern sein wird – eine Ausnahme könnten innerbetriebliche Delphi-Befragungen darstellen, bei denen mehr oder weniger eine Teilnahmepflicht vereinbart werden kann – sollte auf jeden Fall wenigstens eine Kontrolle der Ausfälle vorgesehen werden. Wie oben dargestellt,

160

Designs von Delphi-Befragungen

könnte dies so erfolgen, dass die Abbrecher anhand geeigneter Daten zu charakterisieren sind. Das entsprechende Ergebnis sollte dann bei der Interpretation der Delphi-Befragung mit herangezogen werden. Abschließend soll auf eine Besonderheit bei der Bewertung der bei einer DelphiBefragung erzielten Response-Rate verwiesen werden. Im Unterschied zu einer Stichprobenerhebung, bei der es um die Schätzung von Parametern einer Grundgesamtheit geht, kann bei Delphi-Befragung die Nichtbeteiligung auch darauf hindeuten, dass die angesprochene Person nicht über ausreichend Kompetenz für eine Mitarbeit verfügt. Dies würde wiederum zur Folge haben, dass die jeweilige Person gar nicht zur Gruppe der zu befragenden Personen gehört – und sie aus diesem Grund auch nicht an der Befragung teilnehmen möchte. Ein solcher Ausfall wäre bei Stichprobenerhebungen zu den neutralen Ausfallgründen zu zählen. Da die Zielperson nicht zur Grundgesamtheit gehört, würde die Nichtteilnahme auch nicht als systematischer Non-Response gewertet werden. Freilich wird es schwierig sein zu ermitteln, aus welchem Grund jemand nun tatsächlich seine Teilnahme an einer Delphi-Studie verweigert hat. 7.11

Abschlußberichte

Eine Delphi-Befragung endet in der Regel mit der Erstellung des Abschlußberichts, der Dokumentation der Ergebnisse und gegebenenfalls mit der Übernahme der gewonnenen Erkenntnisse in die Praxis. Es gilt mindestens drei Adressaten zu unterscheiden, an die sich die Abschlußberichte richten können: erstens an die teilnehmenden Experten, zweitens an den Auftraggeber der Befragung und drittens an Forscher, die den Datensatz zu späteren Zeitpunkten für Re-Analysen oder Replikationen nutzen wollen. Je nach Adressat sollten die Abschlußberichte unterschiedliche Schwerpunkte setzen. Der erste Adressatenkreis sind die Teilnehmer der Delphi-Befragung. Wie im Rahmen der Rekrutierung von Experten erläutert wurde, dürfte ein Hauptmoment der Motivation von Experten zur Teilnahme an einer Delphi-Befragung das Interesse an den inhaltlichen Ergebnissen dieser Studie sein. Dieses Interesse gilt es nun bei der Ergebnisdarstellung zu beachten. Gegebene Versprechen in Bezug auf die Übermittlung von Resultaten sind einzulösen. Einige Delphi-Befragungen beschließen die Studie mit Gruppendiskussionen, in denen die Ergebnisse der Studie beziehungsweise bestimmte Aspekte vorgestellt und danach nochmals mit den Teilnehmern besprochen werden. Ist dies nicht vorgesehen, so sollten die teilnehmenden Experten in anderer Form über die Ergebnisse der letzten Runde informiert werden. Geeignet erscheint beispielsweise ein nochmaliges Feed-back zu den Resultaten der letzten Befragungsrunde. Dieses könnte in der gleichen Form erfolgen, wie es bereits in den vorangegangenen Runden geschehen ist und das den Experten bereits vertraut ist (vgl. Abschnitt 7.9). Weitergehende

Designs von Delphi-Befragungen

161

Beschreibungen – etwa zur benutzen Methodik – erscheinen bei diesen Ergebnisdarstellungen nicht unbedingt erforderlich, vor allem weil die Teilnehmer ohnehin mit dem Fragebogen vertraut sind und auch im Rahmen der Rückinformation bereits über die anderen teilnehmenden Experten aufgeklärt worden sind. Gegebenenfalls kann – so Kapazitäten vorhanden sind – den Experten angeboten werden, ihnen auf Anfrage weitere Auswertungen zur Verfügung zu stellen. Eine aufwändigere Dokumentation ist erforderlich, um die Auftraggeber über die Ergebnisse der Delphi-Befragung zu informieren. Das Gleiche gilt für den Fall, dass die Resultate der Befragung – einschließlich der maschinenlesbaren Datenfiles – auch für Sekundärauswertungen und/oder Replikationen aufbereitet werden sollen. Neben den inhaltlichen Ergebnissen, die in Form von Tabellen und Graphiken dokumentiert werden, muss die Aufmerksamkeit vor allem einer nachvollziehbaren Darstellung der Methodik gelten. Bevor elf Punkte genannt werden, nach denen die Darstellung der Resultate erfolgen kann, soll eine prinzipielle Bemerkung zum Einfluss der gewählten Methode auf die Ergebnisse einer Studie gemacht werden. Generell kann man davon ausgehen, dass verschiedene methodische Wege der Umsetzung einer sozialwissenschaftlichen Fragestellung, auch zu jeweils unterschiedlichen Ergebnissen führen (vgl. Diekmann 1999, Schwarz/Bless 1992). Selbst scheinbar unwesentliche Veränderungen im Wortlaut einer Frage können andere Befunde erzeugen. Deshalb gilt es, die Forderung nach Transparenz in Bezug auf die gesamte benutzte Methodik zu unterstützen. Derjenige, der sich für die Ergebnisse einer Delphi-Befragung interessiert, muss dazu in der Lage sein, nachzuvollziehen, auf welche Weise die gefundenen Daten ermittelt worden sind (vgl. Kaase 1999). Teilweise begnügen sich Veröffentlichungen mit der Darstellung des gewonnenen Datenmaterials in umfangreichen Tabellenbänden. Die inhaltliche Interpretation der Befunde überlässt dann das Monitoring-Team den einzelnen Fachwissenschaftlern. Es erscheint jedoch unerlässlich, zumindest ein Minimum an Informationen über das methodische Vorgehen zu geben. Bei Delphi-Befragungen sind vor allem die folgenden Design-Aspekte wichtig, um die Ergebnisse bewerten zu können: 1. Der Typ der Delphi-Befragung (vgl. Abschnitt 2.4) ist zu erläutern. Alle mit der Studie verfolgten Ziele müssen beschrieben werden. 2. Es sind Angaben darüber erforderlich, wie die Experten für die Delphi-Befragung rekrutiert worden sind. Hier sind gegebenenfalls alle konsultierten Verzeichnisse zu benennen. Die Definition, wer für die jeweilige Thematik als Experte gelten kann, sollte in keiner Beschreibung einer Delphi-Befragung fehlen. 3. Weiterhin ist es für die Interpretation der Ergebnisse entscheidend, welche Experten schließlich tatsächlich an der Befragung teilgenommen haben. Die Struktur dieser Gruppe (Beruf, Tätigkeitsfeld, Qualifikation, Herkunftsland und so weiter) sollte so konkret wie möglich beschrieben werden. Da man davon ausge-

162

4.

5.

6.

7.

8.

9.

10. 11.

Designs von Delphi-Befragungen

hen kann, dass andere Experten bei ihren Schätzungen zu anderen Ergebnissen gekommen wären (vgl. Abschnitt 12), muss klar sein, wessen Zukunftssicht beispielsweise in der Delphi-Befragung gewonnen wurde. Auch die Entstehung des Fragebogens ist zu dokumentieren. Dabei sollte vor allem auf die Operationalisierung der Fragestellung eingegangen werden. Mögliche qualitative Runden, die der Erstellung des quantifizierenden Fragebogens dienten, sind zu erläutern. Das Gleiche gilt für die Pretesterfahrungen. Diese sollten im Interesse der Nachvollziehbarkeit ebenfalls berichtet werden. Von selbst versteht es sich, dass Verweise auf mögliche Quellen, aus denen die Fragen des Delphi-Bogens entnommen wurden, vorhanden zu sein haben. Die Nutzer von Ergebnissen einer Delphi-Befragung sollten sich auch mit dem Aussehen des Fragebogens bekannt machen können. Dies gilt auch für die konkreten Formulierungen der einzelnen Fragen. Das den Teilnehmern der Befragung gegebene Feed-back ist zu erklären. Es ist zu zeigen, welche Angaben bei den Rückinformationen enthalten waren, wie beispielsweise die einzelnen Kennwerte berechnet wurden, welche verbalen Stellungnahmen der Gruppe mitgeteilt wurden und so weiter. Von Interesse sind weiterhin bestimmte Angaben zum Non-Response beziehungsweise zu den zwischen den Wellen aufgetretenen Ausfällen in der Expertengruppe. Ist es gelungen, die beabsichtigte Struktur der Expertengruppe bis zur letzten Welle zu erhalten oder kam es zu systematischen Ausfällen bestimmter Teile des Expertenpools? War es erforderlich, Experten gezielt nachzurekrutieren? Für die Bewertung der Ergebnisse sind außerdem technische Angaben zum Feldgeschehen von Bedeutung. Vor allem der Zeitpunkt der Erhebung und deren Dauer, die Anzahl der Runden und die Zeitspanne zwischen den Erhebungen können für das Nachvollziehen der Ergebnisse oder für eine mögliche Replikationsstudie wichtig sein. Dies gilt auch für Angaben über benutzte Incentives, die erzielte Rücklaufquote, erfolgte Nachfassaktionen usw. Aufschlussreich für die Interpretation der Ergebnisse einer Delphi-Befragung sind die Finanzierung der Studie und deren Auftraggeber sowie die Zusammensetzung des Monitoring-Teams, das die Leitung der Befragung übernommen hatte. Für den Fall, dass ein kommerzielles Institut mit der Feldarbeit beauftragt wurde, ist dieses zu benennen. Als eher optional können Hinweise zu den von den Experten während der Befragung abgegebenen (verbalen) Stellungnahmen angesehen werden. Ebenfalls optional, jedoch für das Verständnis der Ergebnisse hilfreich, können im Rahmen der Standardauswertung Vergleiche der Ergebnisse unterschiedlicher Expertensubpopulationen sein. Dies gilt auch für einen zeitlichen Vergleich der Befunde, falls die gleichen Fragestellungen bereits bei anderen Delphi-Befragungen eingesetzt wurden.

8 Computerunterstützte Delphi-Befragungen

8.1

Stand der Dinge

Bereits 1975 erwähnten Linstone und Turoff die vermeintlichen Vorteile der Nutzung von Computern für Delphi-Befragungen. In Bezug auf das Konzept des damals als „Real-Time-Delphi” bezeichneten Ansatzes erwarteten sie jedoch, vor allem aufgrund der zu dieser Zeit noch fehlenden Computervernetzung, keine gar zu schnelle Umsetzung (vgl. Price 1975). Dies dürfte inzwischen − insbesondere bei Delphi-Studien innerhalb von Firmen oder Institutionen − kein Problem mehr sein und damit ist zu erwarten, dass die computerunterstützten Delphi-Befragungen zukünftig noch an Bedeutung gewinnen werden. Das zunehmend auch für wissenschaftliche Umfragen eingesetzte World Wide Web (WWW) erweitert die Möglichkeiten des Computers um den Aspekt der Kommunikationsvermittlung. Auf die Bedeutung des Internets für die Rekrutierung der Experten wurde ebenfalls bereits verwiesen (vgl. Abschnitt 7.2). Das sozialwissenschaftliche Interesse am Internet und an den Möglichkeiten, die es als Erhebungsinstrument und Untersuchungsgegenstand besitzt, nimmt ständig zu. Internetbasierte Fragebogenstudien erweitern inzwischen Papier-und-Bleistift-Untersuchungen trotz ihrer Gemeinsamkeiten um medienspezifische Elemente. Diese sind auf die informationstechnischen und auf die medialen Charakteristika der Internet-Dienste zurückzuführen (vgl. Batinic/Bosnjak 1997a, 1997b). Internet-Befragungen sind inzwischen nicht mehr neu, stehen jedoch aus der Sicht der methodischen Absicherung noch am Anfang ihres Einsatzes. Allerdings können die Mitgliedsinstitute des ADM1 im Jahresbericht 2007 bereits auf eine beträchtliche Steigerung des Anteils von Online-Interwies an allen Befragungsarten verweisen. Er beträgt 2007 27 Prozent und hat damit die persönlich-mündlichen Interviews bereits vom zweiten Platz verdrängt. Was die Delphi-Methode betrifft, hat es in der Vergangenheit Experimente mit Delphi-Computerkonferenzen (Delphi Conferencing Systems) gegeben, bei denen die Erhebungen an lokal begrenzte Computernetze gebunden waren, für die jedoch erst geeignete Programme geschrieben werden mussten (vgl. Turoff 1975, Linstone/Turoff 1975, Brockhoff 1979, Kenis/Bollaert 1992, D’Hondt/Kenis 1992, Kenis/Verhaegen 1993). Im Vergleich zu diesen frühen Experimenten bietet das Internet jedoch eine völlig neuartige und universelle Kommunikationsplattform, die durch weitgehend globa1

Vgl. http://www.adm-ev.de/pdf/Jahresbericht_07.pdf Seite 3 (aufgerufen am 8.07.2009)

164

Computer Delphi

le und asynchrone Zugangsmöglichkeiten sowie durch eine weitreichende Interoperabilität2 unterschiedlichster technischer Konfigurationen gekennzeichnet ist. Auf der einen Seite ist das Internet als Kommunikationsmedium gerade wegen seiner globalen Verbreitung und Zugänglichkeit ideal für die Nutzung als Kommunikationsplattform für Expertenbefragungen, auf der anderen Seite gibt es aber immer noch technische Schwierigkeiten, die vor allem aus der Interoperabilität und Verfügbarkeit geeigneter Soft- und Hardware resultieren (vgl. Florian 2000). Nicht zuletzt sind auch Fragen der Verallgemeinerbarkeit der bei Internet-Befragungen ermittelten Befunde noch ungeklärt. Gegenwärtig spielen die Möglichkeiten der Computerunterstützung von DelphiStudien − einschließlich der Verwendung des Intranets − eine wichtige Rolle bei der Anwendung und Weiterentwicklung des Verfahrens. Im Weiteren soll das Vorgehen bei solchen Befragungen an Beispielen konkreter beschrieben werden. 8.2

Beispiele

Bei Delphi-Befragungen können sowohl das Internet als auch das Intranet, über das beispielsweise die Mitarbeiter einer Institution oder einer Firma vernetzt sind, genutzt werden. Außerdem haben sich die Möglichkeiten der elektronischen Post (EMail) als hilfreich bei Delphi-Befragungen erwiesen. Dies belegen erste Erfahrungen, die inzwischen in dokumentierter Form vorliegen. Verwiesen sei auf die Arbeiten von Anke Kirsch (2000), Michael Florian (2000), Attila Havas (2000), Rita Snyder-Halpern, Cheryl Bagley Thompson und Judith Schaffer (2000) sowie auf die Studien von Klaus Beck und Alexander Raulfs (2000) und auf die Befragung von Beck, Peter Glotz und Gregor Vogelsang (2000). Einen expliziten Vergleich zwischen einer Papier-und-Bleistift- und einer Online-Erhebung legen Young und Jamieson (2001) vor. Das methodische Vorgehen bei diesen Untersuchungen kann in den jeweiligen Publikationen mehr oder weniger gut nachvollzogen werden. Andere Delphi-Befragungen wurden in letzter Zeit online erhoben. Als Auswahl sollen folgende genannt werden: ĺ An der wirtschaftswissenschaftlichen Fakultät der Technischen Universität Dresden wurde eine Delphi-Befragung zum Wandel des Transportmarkts aus volkswirtschaftlicher Sicht veranstaltet. Erfragt wurden drei Komplexe: externe Rahmenbedingungen des Transportmarktes, die Nachfrage nach Transportdienstleistungen sowie die Unternehmensentwicklung.3

2 3

Mit Interoperabilität wird in der Netzwerktechnik die problemlose Zusammenarbeit bei der Lösung von Aufgaben bezeichnet. Für nähere Informationen siehe: http://rcswww.urz.tu-dresden.de/~afeier/Lofrabo/1.html (letzter Zugriff 28.05.2009).

Computer Delphi

165

ĺ Das Institut für Gesundheitsökonomie und Klinische Epidemiologie der Universität zu Köln hat eine Studie zur Evaluation des Nutzens der Telemedizin gestartet.4 ĺ Der Lehrstuhl für Betriebswirtschaftslehre der Universität Münster hat eine Delphi-Befragung ins Netz gestellt, die sich mit den Erfolgsfaktoren von Dienstleistungsnetzwerken befasst. Auch Gäste hatten damals hier die Möglichkeit, an einer offenen Expertenrunde teilzunehmen. ĺ Studenten des Fachbereichs Medieninformatik an der Fachhochschule Wedel führen im Auftrag der Wirtschaftsförderung Lübeck GmbH sowie in Zusammenarbeit mit den Lübecker Nachrichten eine Studie zum Thema „Lübeck im Jahre 2005“ durch. Sie ist Teil eines von der EU geförderten Projektes zur Analyse der Auswirkung digitaler Stadtnetze auf die wirtschaftliche Entwicklung von verschiedenen europäischen Städten. Speziell geht es hier um die Themen Telearbeit, Telebanking, Teleshopping und Teletrading.5 ĺ Die Arbeitsgruppe e-content hat im Auftrag des österreichischen Bundesministeriums für Wirtschaft und Arbeit „e-Austria“ installiert. Diese Delphi-Befragung gilt als die österreichische Antwort auf den Beschluss des Europäischen Rates, die Wettbewerbsfähigkeit Europas durch gezielte Maßnahmen für die beschleunigte Einführung der Informationsgesellschaft mittelfristig zu sichern.6 Mithilfe von vier Beispielen sollen Erfahrungen bei der Internetnutzung im Rahmen von Delphi-Befragungen näher vorgestellt werden: Dabei handelt es sich um eine Studie der Universität Saarbrücken, um das Ladenburger TeleDelphi, um die Studie zur Zukunft des Internet sowie um den von Young und Jamieson vorgelegten Vergleich. Erstes Beispiel ist eine Delphi-Befragung zur Trauma(re)konstruktion (vgl. Kirsch 2000): Im Rahmen dieser Studie wurden sowohl einen WWW-Fragebogen, ein E-Mail-Fragebogen als auch ein sogenannter Papier- und Bleistift-Fragebogen eingesetzt. Auch für die Zusammenstellung der Expertenliste wurden Informationen aus dem WWW eingesetzt. In der ersten – qualitativen – Runde kam zunächst eine Kombination aus Papier- und Bleistift-Befragung, WWW-Befragung, E-MailBefragung, teilstrukturiertem Interview und Telefoninterview zum Einsatz. Rückfragen an das Monitoring-Team konnten ebenfalls per E-Mail gestellt werden. Im Ergebnis zeigte sich, dass von den Experten das WWW in dieser ersten Runde nur recht selten benutzt wurde. Im Vordergrund stand hier vor allem die offenbar immer 4 5 6

Für nähere Informationen siehe: http://www.medinfoweb.de/neu_01.htm (letzter Zugriff 28.05.2009). Für nähere Informationen siehe: http://www.kohls.de/onlineumfrage/fragebogen.html (letzter Zugriff 28.05.2009). Für nähere Informationen siehe: http://www.salzburgresearch.at/research/projects_detail.php?proj=63 (letzter Zugriff 28.05.2009).

166

Computer Delphi

noch gewohntere Kontaktaufnahme per Telefon. Die Ergebnisse der qualitativen Runde wurden für die Erarbeitung des Fragenbogens der zweiten – nun quantitativen – Welle verarbeitet. Dieser Fragebogen wurde dann wiederum mithilfe verschiedener Kommunikationsmedien angekündigt. Genutzt wurden E-Mails und telefonische Ankündigungen. Hinweise auf die Befragung wurden weiterhin durch die Anmeldung bei Suchmaschinen und über Links auf verschiedenen psychologischen Informationsseiten – zum Beispiel der Deutschen Gesellschaft für Psychologie – gegeben. Weiterhin wurden 27 Institute und Organisation im In- und Ausland direkt angemailt und über die Studie informiert. 150 den Veranstaltern namentlich bekannte Kollegen, deren E-Mail-Adressen auf den Webseiten der Institute zu finden waren, wurden schließlich kontaktiert und um Mitarbeit gebeten. Im Ergebnis zeigt sich, dass die E-Mail-Nutzer den Fragebogen zum Großteil ausdruckten, ihn dann ausfüllten und schließlich per Post wieder an das erhebende Institut zurücksandten. Folgende Verteilung stellt sich schließlich bei den zur Wahl stehenden Befragungsmodi durch die Teilnehmer heraus: WWW:

32

E-Mail:

11

Papier – und – Bleistift:

45

Analysen zur sozio-demographischen Verteilung der Präferenzen gegenüber den verschiedenen Medien ergaben beispielsweise, dass mehr Männer die WWWVersion bevorzugten und mehr Psychologen (und demgegenüber weniger Mediziner) die WWW-Version wählten. Keine Unterschiede ergaben sich hinsichtlich des Alters der Experten und hinsichtlich der Einschätzung des eigenen Expertenstatus. Als zweites Beispiel wird das Ladenburger TeleDelphi zur Sicherheit in der Kommunikationstechnik (vgl. Florian 2000:195ff.) vorgestellt: Absicht war hier zunächst, den Zugang zu den Teilnehmern ausschließlich über das WWW und über E-Mail herzustellen. Jedoch musste im Verlauf der Studie einigen der Befragten dann doch eine Papierversion des Fragebogens zur Verfügung gestellt werden. Dies deshalb, weil eine Bearbeitung und Versendung des HTML-Fragebogens mit den den Experten zur Verfügung stehenden technischen Konfigurationen nicht immer einwandfrei funktionierte. Die zur Zeit der Befragung gerade erst neu erschienene „Leicht-Version“ eines bekannten WWW-Browsers arbeitete nicht mehr korrekt mit der Sende-Funktion im entsprechenden Fragebogen zusammen, sobald ein anderes E-Mail-Programm anstelle des ursprünglichen Nachrichten-Programms des Browsers benutzt wurde. Trotz umfangreicher Testläufe zur Bearbeitung des Fragebogens mit unterschiedlichsten technischen Konfigurationen wurde diese spezifische technische Ausstattung im Vorhinein nicht in Erwägung gezogen, was letztlich dazu führte, dass einige der Befragungsteilnehmer nach erfolglosen Versuchen, den online ausgefüll-

Computer Delphi

167

ten Fragebogen abzuschicken, schon während der ersten Befragungsrunde ausschieden. Als besonders positiv wurde bei dieser Studie bewertet, dass der Fragebogen sich auch graphischer Rückmeldungen bediente. Auch bei dieser Befragung zeigte sich, dass der Fragebogen, nachdem er heruntergeladen worden war, auf herkömmliche Weise ausgefüllt wurden und dann die Rücksendung – obwohl zunächst per E-Mail vorgesehen – in einer Reihe von Fällen auch als Ausdruck auf dem Postweg erfolgte. Beim dritten Beispiel handelt es sich um eine internationale Delphi-Befragung zur Entwicklung der Online-Kommunikation. Dazu wurde ein zweisprachiges (englisch und deutsch) Instrument entwickelt. „Von beiden Sprachfassungen wurden im HTML-Format passwortgeschützte Netzdokumente erstellt, um die Befragung parallel online durchzuführen“ (Beck/Glotz/Vogelsang 2000:25). Mit dieser Befragung wurden zugleich auch methodische Forschungsziele verfolgt. So erhielten alle Teilnehmer auch dieser Studie neben der Online-Version des Fragebogens eine gedruckte Fassung des Instruments. Dem lag die Vermutung zugrunde, dass der Versand persönlich adressierter, gedruckter Befragungsunterlagen die Verbindlichkeit der Anfrage erhöht und sich günstig auf die Rücklaufquote auswirken könne (vgl. ebenda). Die Teilnehmer an der Online-Befragung hatten zusätzlich die Möglichkeit, die Resultate im WWW einzusehen. Analog zu anderen Projekten existierten auch bei dieser Studie verschiedene Möglichkeiten für Rückfragen. Neben der herkömmlichen Variante, telefonische Anfragen zu stellen, wurde auch eine E-Mail Adresse für Rückfragen angegeben. Der Anteil der online ausgefüllten Fragebogen betrug schließlich 18 Prozent, wobei insbesondere die Teilnehmer aus Australien und Neuseeland dieses Instrument nutzten (ebenda:33ff.). Offen bleibt, worauf die mangelnde Online-Nutzung in den anderen Regionen zurückzuführen ist. Die Autoren vermuten entweder eine mangelnde Akzeptanz, eine mangelnde technische Ausstattung oder andere Faktoren der „Kommunikationskultur.“ Interessant sind auch Unterschiede in der Online-Nutzung bei Befragten aus verschiedenen gesellschaftlichen Bereichen. So nutzten 24 Prozent der Experten aus der Wirtschaft dieses Medium, während sich lediglich elf Prozent der Wissenschaftler dieser Variante bedienten. Schließlich soll ein viertes Beispiel betrachtet werden. Hier wird mehr oder weniger direkt eine Online Delphi-Studie zu Sportprogrammen (Young 1998) mit einer traditionell erhobenen Untersuchung (Whyte 1992) zu einem ähnlichen Thema verglichen (Young/Jamieson 2001). Dabei tritt zutage, dass sich nicht alle Teilnehmer sicher genug im Umgang mit dem Internet fühlten. Diesen wurde die Möglichkeit geboten, per E-Mail zusätzliche Informationen anzufordern. Weiter stellte sich heraus, dass die Entwicklung eines Internetfragebogens anspruchsvoller ist als bei einer herkömmlichen Befragung. Der entscheidende Unterschied zwischen beiden Modes liegt in der Datensammlung. Während bei der traditionellen Befragung Anschreiben für jeden Fragebogen

168

Computer Delphi

verfasst, Erinnerungsporstkarten versandt und zusätzlich Telefonate geführt werden mussten, konnte die Online-Befragung effektiver über das Netz abgewickelt werden. Allerdings war es nötig, die betreffende Seite im Internet durch ein Passwort vor ungewollte Zugriffe zu schützen. Auch der für die Erhebung erforderlich Zeitfonds hat sich deutlich zwischen beiden Versionen unterschieden: die traditionelle Version benötigte 208 Tage und die Web-Version nur 66. Nachteilig hat sich beim Web-Delphi die fehlende Möglichkeit einer Unterbrechung der Beantwortung – und deren Fortsetzung zu einem späteren Zeitpunkt – ausgewirkt. 8.3

Zusammenfassung der Vor- und Nachteile

Als Vorteile der Internetunterstützung von Delphi-Befragungen können vor allem angesehen werden: ĺ Die Alokalität des Vorgehens, das heißt unabhängig vom jeweiligen Ort an dem sich die Untersuchungsteilnehmer und der -leiter befinden, kann die Erhebung stattfinden. ĺ Weiterhin gilt das Internet als eine besonders ökonomische Variante des Vorgehens. Das bedeutet, es kann mit beträchtlicher Zeit- und Kostenersparnis gerechnet werden (vgl. Kirsch 2000:217). Dabei muss man natürlich von den Kosten absehen, die für die Anschaffung von Hard- und Software für die Internetbefragung entstehen. ĺ Besondere Bedeutung erlangen die Vorteile internetunterstützter Delphi-Befragungen vor allem bei Erhebungen, an denen eine international zusammengesetzte Expertengruppe beteiligt werden soll. ĺ Die Dateneingabe kann mit einer Fehlerkontrolle verbunden werden sodass dadurch von einer höheren Qualität der Daten ausgegangen werden kann. Auch lässt es sich relativ leicht verhindern, dass beim Ausfüllen Fragen (unbeabsichtigt) übersprungen werden. Bei der Nutzung des Internet für Delphi-Befragungen werden aber auch verschiedene Forschungslücken und Probleme lokalisiert: 1. Noch unklar ist, welcher Zusammenhang zwischen dem Expertenstatus auf der einen Seite und den Gewohnheiten im Umgang mit dem Internet auf der anderen Seite besteht. Hier gilt es noch, eine mögliche Selektivität zu ermitteln und zu kontrollieren. 2. Klärungsbedarf besteht zu der Frage, welche Konsequenzen aus der in den Beispielen (vgl. Abschnitt 8.2) geschilderten Kombination unterschiedlicher Erhebungstechniken für das Ergebnis der Befragung resultieren. Mit anderen Worten: Existiert eine Abhängigkeit des Antwortverhaltens vom Befragungsmode?

Computer Delphi

169

3. Probleme existieren hinsichtlich unerwarteter technischer Schwierigkeiten bei der Nutzung des Internet. Dies gilt umso mehr, da von einer relativ schnellen Entwicklung im Soft- und Hardware-Bereich ausgegangen werden kann. Bei der Vorbereitung der Befragung muss unterstellt werden, dass diese Entwicklung nicht von allen Teilnehmern gleichmäßig nachvollzogen wird und damit der Fragebogen beispielsweise auch mit bereits (etwas) veralteten Programmen gelesen werden können muss. 4. Es besteht für die Experten keine Möglichkeit, einen WWW-Fragebogen, wie es bei der Papierversion möglich ist, „nebenbei“ auszufüllen. Damit ist unter Umständen ein Abschied von alten Gewohnheiten verbunden. 5. Gelöst werden muss das Zugangsproblem zu den im Internet platzierten Fragebögen. Es muss gesichert werden, dass jeder Experte den Fragebogen pro Welle nur ein Mal ausfüllt. Weiter muss eine Zugangskontrolle garantiert werden. So ist es nicht sinnvoll, wenn jeder beliebige Nutzer des Internets den Fragebogen ausfüllen kann. 6. „When panelists access the computer, it displays their current descriptive statistics, reminds them of their last response, and asks whether the response should be changed” (Snyder-Halpern et al. 2000). Als Fazit bleibt nochmals festzustellen, dass Delphi Befragungen per Internet „erst am Beginn ihrer Verbreitung und ihrer Nutzungsmöglichkeiten“ (Florian 2000:211) stehen.

9 Der Datenschutz bei Delphi-Befragungen

Bei Delphi-Befragungen gelten für den Schutz der Persönlichkeit der Teilnehmer vor allem die Datenschutzbestimmungen aus dem Bundesdatenschutzgesetz (BDSG) beziehungsweise aus den Datenschutzgesetzen der jeweiligen Bundesländer. Daneben wurden in Deutschland auch standesrechtliche Regeln der demoskopischen Forschung entwickelt, an die sich die Veranstalter von Delphi-Befragungen ebenfalls gebunden fühlen sollten. Der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) vertreibt im Internet unter der Adresse http://www.admev.de/pdf/KERNPRO_D.pdf ein Merkblatt zu den Kernproblemen im Datenschutz und zum Standesrecht der demoskopischen Umfrageforschung. Außerdem existiert hierzu eine Vereinbarung zwischen den Verbänden der Markt- und Sozialforschungsinstitute und den obersten Aufsichtsbehörden für den Datenschutz. In einem Arbeitspapier informiert der Rat für Sozial- und Wirtschaftsdaten über aktuelle Probleme des Datenschutzes (vgl. Häder 2009). Auf folgende Aspekte soll an dieser Stelle besonders aufmerksam gemacht werden: ĺ Auch bei Delphi-Befragungen gilt das Prinzip der Freiwilligkeit. Die Experten können in der Regel nicht zu einer Teilnahme an der Befragung verpflichtet werden. Ohne diesen Aspekt zu dramatisieren sollten alle potenziellen Teilnehmer an einer Delphi-Studie in einer kurzen Bemerkung, beispielsweise im Rahmen des Anschreibens, auf das Prinzip der Freiwilligkeit hingewiesen werden. Eine gewisse Besonderheit stellen innerbetriebliche Delphi-Befragungen dar. Hier regelt das Betriebsverfassungsgesetz die Datenerhebung. Um eine solche Mitarbeiterbefragung durchführen zu können, muss der Betriebsrat über die Modalitäten der Erhebung informiert werden. Dazu zählt beispielsweise, welche Mitarbeiter Zugang zu den Resultaten der Untersuchung erhalten und worin das Ziel der Studie besteht. Nach einer zwischen Betriebsrat und Geschäftsleitung abzuschließenden Betriebsvereinbarung kann dann die innerbetriebliche DelphiBefragung erfolgen. ĺ Das BDSG sieht im § 3 vor, dass eine schriftliche Einwilligung von den Befragten zur Verarbeitung seiner Daten einzuholen ist. In der Vereinbarung zwischen den Verbänden der Markt- und Sozialforschungsinstitute und den obersten Aufsichtsbehörden für den Datenschutz ist festgelegt, dass bei sozialwissenschaftlichen Befragungen „besondere Umstände im Sinne des § 3 Satz 2 erster Halbsatz vorliegen, die die Schriftlichkeit der Einwilligung entbehrlich machen“. ĺ Für den Fall, dass ein Experte seine Teilnahme an der Befragung explizit verweigert, darf dieser nicht noch ein weiteres Mal kontaktiert werden. Dies gilt auch,

172

ĺ

ĺ

ĺ

ĺ

ĺ

ĺ

Datenschutz

wenn ein Teilnehmer bereits nach der ersten Befragungswelle ausdrücklich deutlich gemacht hat, nicht noch einmal für diese Befragung zur Verfügung zu stehen. Der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute geht davon aus, dass, wenn auf eine schriftliche Befragung zunächst keine Reaktion erfolgt, es sich nicht um eine explizite Verweigerung handelt. In einem solchen Fall kann die Kontaktaufnahme wiederholt werden. Die Teilnehmer einer Delphi-Befragung sind vor Beginn der Datenerhebung über die mit der Befragung verfolgten Ziele und über die Modalitäten der Befragung aufzuklären. Dazu zählt, dass den Teilnehmern die Anonymität der Antworten garantiert wird. Das Monitoring-Team hat dafür zu sorgen, dass die Antworten der einzelnen Experten nicht identifiziert werden können. Ist dies nicht möglich – wie beispielsweise bei Delphi-Befragungen des Typs 1 – so muss dies den Teilnehmern vor Beginn der Erhebung mitgeteilt werden. Für den Fall, dass die Experten damit einverstanden sind auf die Anonymität zu verzichten, kann entsprechend vorgegangen werden. Werden Identifikationsnummern (ID) beispielsweise zur Rücklaufkontrolle benutzt, so sind die Experten über den Umgang mit diesen Identifikationsnummern zu informieren. Das Monitoring-Team hat dabei so vorzugehen, dass die mit den Identifikationsnummern versehenen Fragebögen auf der einen Seite und die Liste, die eine Identifikation der Teilnehmer ermöglicht auf der anderen Seite, stets getrennt aufbewahrt werden. Nach Abschluss der Erhebung ist diese Liste sofort zu vernichten. Auf diese Weise werden die Angaben der Experten dann faktisch anonymisiert. Das heißt, es ist dann nicht mehr möglich, eine bestimmte Person dem entsprechenden Fragenbogen beziehungsweise dem Datensatz zuzuordnen. Relativ unproblematisch ist bei Delphi-Befragungen der Zugang zu den Experten. Die Adressen der meisten der potenziellen Teilnehmer dürften öffentlich identifizierbar sein. (Eine gewisse Ausnahme stellen hier zum Beispiel Richter und Staatsanwälte dar.) Insbesondere über das allgemein zugängliche Internet lassen sich die Zielpersonen eindeutig ermitteln. Von hier können beispielsweise solche Angaben wie der vollständige Name, mögliche Titel, die bisherigen und aktuellen Arbeitsgebiete, die postalische und die E-Mail Adresse, Telefonnummern und ähnlich Informationen gewonnen werden. Es ist nicht statthaft, die Delphi-Befragung zu anderen Zwecken zu benutzen, als den Teilnehmern versichert worden ist. Insbesondere ist es verboten, mit Umfragen kommerzielle Ziele – wie etwa die Vermarktung von Produkten – zu verfolgen. Für die Einhaltung des Datenschutzes, ist bei der die Daten erhebenden Stelle eine Person verantwortlich zu machen. Dies wird in der Regel der betriebliche Datenschutzbeauftragte sein. Er hat vor allem zu überwachen, dass die gegenüber den Teilnehmern gegebenen Zusicherungen, beispielsweise die getrennte Aufbe-

Datenschutz

173

wahrung der Fragebögen mit den Identifikationsnummer und der Identifikationsliste, eingehalten werden.

10

Datenerfassung und -analyse

Nach dem Abschluss der Erhebungsphase beziehungsweise spätestens nach dem Eingang des letzten Delphi-Fragebogens beim Monitoring-Team beginnt die Datenerfassung. Es folgt die Datenanalyse. Während die Datenerfassung bei DelphiBefragungen den gleichen Grundsätzen folgt, wie sie allgemein in der Umfrageforschung gelten (vgl. Häder 2009), besitzt die Datenanalyse einige Besonderheiten. Erstens (Abschnitt 10.1) gilt die Aufmerksamkeit der Datenaufbereitung, danach wird das Beispiel einer facettentheoretisch gestützten Delphi-Befragung wieder aufgegriffen und eine entsprechende Auswertungsstrategie behandelt (Abschnitt 10.2). Abschließend werden (Abschnitt 10.3) weitere Varianten bei der Auswertung von Delphi-Befragungen besprochen. 10.1

Aufbereitung der Daten

Das Ziel der Datenaufbereitung besteht darin, die Antworten der Experten auf den standardisierten und nichtstandardisierten Frageteil zu vercoden, um sie in Form eines maschinenlesbaren Datenfiles verarbeiten zu können. Am gebräuchlichsten ist die Erstellung eines SPSS-Systemdatenfiles für die Auswertung. Die weitere Beschreibung geht deshalb auch von der Nutzung dieses Programmpakets aus. Zunächst sind die Antworten des Fragebogens zu vercoden. Dazu wird in einem ersten Schritt jede einzelne Frage mit einer Variablenbezeichnung, beispielsweise mit V1, V2, V3 und so weiter, versehen. Danach wird festgelegt, welcher Wert bestimmten Antworten jeweils zuzuordnen ist. So kann beispielsweise der Wert 1 „unwichtig“ und der Wert 5 „besonders wichtig“ bedeuten. Beide Vercodungen lassen sich vorteilhaft in einem nicht ausgefüllten Fragebogen dokumentieren, der dann sowohl die Variablenbezeichnungen als auch die Codes der einzelnen Antwortstufen enthält. Im Ergebnis kann jeder Fragebogen als eine Zahlenkolonne (Vektor) dargestellt werden. Es hat sich weiterhin bewährt, alle Fragebögen mit einer laufenden Nummer, der sogenannten Identifikationsnummer (ID), zu versehen. Diese Nummer wird dann ebenfalls Bestandteil des Datensatzes. Da die Länge des Datensatzes für alle Befragten identisch ist, ergibt sich schließlich eine Matrix mit m Zeilen und n Spalten, wobei m der Zahl der Befragten und n der Zahl der vercodeten Variablen entspricht. Danach gilt es, mithilfe des Programms SPSS eine Dateneingabemaske zu erstellen. Schließlich sind die Daten der Befragung mithilfe dieser Maske in den Computer einzugeben. Bei Benutzung von SPSS kann die Zahlenkolonne – nach Aufrufen der entsprechenden Menüs – in das Datenblatt eingetragen werden. Hinweise zu

176

Auswertung und Analyse

SPSS finden sich unter anderem bei Achim Bühl und Peter Zöfel (vgl. 2000) aber auch bei Reinhard Wittenberg und Hans Cramer (vgl. 2000) sowie in zahlreichen anderen Quellen. Vor Beginn der eigentlichen Auswertung sollte eine Fehlerbereinigung vorgenommen werden. Vergleichsweise einfach lassen sich die sogenannten Wilde-codes erkennen. Dabei handelt es sich um Werte, die außerhalb des zulässigen Wertebereichs liegen. Ein Wild-code wäre beispielsweise der Wert sechs auf einer fünfstufigen Skala. Wild-codes kommen zumeist aufgrund von Eingabe- oder Tippfehlern zustande. Solche Eingabefehler können durch ein erneutes Abgleichen mit dem Fragebogen korrigiert werden. Dazu wird die Identifikationsnummer des betreffenden Falles ermittelt und die ursprünglich fehlerhafte Eintragung auf dem entsprechenden Fragebogen festgestellt und danach im Datensatz korrigiert. Komplizierter ist die Feststellung von Eingabefehlern, bei denen es sich nicht um Wild-codes handelt. Hier empfiehlt es sich, diese durch logische Kontrollen aufzuspüren. Dazu müssen Antwortkombinationen ermittelt werden, die aufgrund bestimmter Annahmen (eigentlich) nicht auftreten dürften. Auch bei solchen Fällen müssen dann die entsprechenden Antworten erneut im Fragebogen abgeglichen werden. Die Antworten auf offene Fragen sollten im Nachhinein als Zahlenwerte vercodet werden. Lassen sich die Kommentare der Experten nicht sinnvoll zu Antwortstufen zusammenfassen, so sollten sie in verbaler Form (als String Variablen) verschriftet zum Datensatz hinzugespielt werden. Die Datenerfassung muss bereits nach Abschluss der ersten Welle mit den bis dahin vorliegenden Fragebögen vorgenommen werden. Nach jeder weiteren Erhebungsphase ist die Datei dann entsprechend zu aktualisieren. Dazu werden die Antworten von jedem Teilnehmer zu „seinem“ Datensatz zugespielt. Zu dem Zweck müssen in den Folgewellen die Variablenbezeichnungen erneut vergeben werden. Um eine relativ einfache Unterscheidung zu ermöglichen könnten die Schätzungen einer Variable in der ersten Welle mit V1, V2, V3 und so weiter und die Schätzung der gleichen Variablen in der zweiten Welle mit VV1, VV2, VV3 und so weiter bezeichnet werden. Für einen Vergleich der Schätzungen aus beiden Wellen müssten dann jeweils die Variablen V1 und VV1, V2 und VV2, V3 und VV3 und so weiter gegenübergestellt werden. Tabelle 9 zeigt den Grundaufbau einer SPSS-Datenmatrix. Für die Erstellung der Rückinformation an die teilnehmenden Experten in der zweiten Welle ist eine relativ einfache statistische Auswertung ausreichend. Diese hat das Ziel, die Teilnehmer über die Gruppenmeinung zu informieren (vgl. Abschnitt 7.10). Dabei sind mindestens zwei Aspekte wichtig: erstens ein zusammengefasstes Maß für die Gruppenauffassung, beispielsweise der Median oder das arithmetische Mittel, sowie zweitens eine Information über die Streuung der Antworten. Hier haben sich beispielsweise Quartilsmaße oder die Standardabweichung bewährt. Auch Graphiken

Auswertung und Analyse

177

können, wie ebenfalls bereits gezeigt wurde, zur Veranschaulichung der Gruppenmeinung erstellt und in die Rückinformation aufgenommen werden. Das Programm SPSS bietet solche Berechnungen und die entsprechenden Graphiken innerhalb der Analysemodule FREQUENCIES beziehungsweise GRAPH an. Tabelle 9: Schema für eine Datenmatrix bei einer Delphi-Befragung mit zwei Wellen ID

V1

V2

V3

...

Vn

VV1

VV2

VV3

...

VVn

1

1

...

...

...

...

...

...

...

...

...

...

2

2

...

...

...

...

...

...

...

...

...

...

3

3

...

...

...

...

...

...

...

...

...

...

4

...

...

...

...

...

...

...

...

...

...

...

...

(n)

...

...

...

...

...

...

...

...

...

...

1. Welle

10.2

2. Welle

Facettentheoretisch gestützte Datenanalyse

Die Auswertung, die nach Abschluss aller Erhebungsrunden folgt, wird von der konkreten Fragestellung des jeweiligen Delphi-Projekts geleitet. Üblich ist es, in relativ umfangreichen Tabellen(bänden) eine Dokumentation zu den Ergebnissen der Delphi-Befragung zu erstellen. Darin werden die gefundenen Antwortverteilungen in Form von Häufigkeiten dokumentiert. Die einzelnen Interessenten interpretieren diese Tabellen dann entsprechend ihren Forschungs- und Erkenntnisinteressen weitgehend selbst. Daneben stehen verschiedene weitere Vorgehensweisen zur Verfügung. Liegt der Delphi-Befragung beispielsweise ein facettentheoretisches Design zugrunde (vgl. Abschnitt 7.1), so können die Methoden der Multidimensionalen Skalierung (MDS) eingesetzt werden. Die Facettentheorie kann in einem ersten Schritt dazu benutzt werden, um das Design einer Delphi-Befragung systematisch und theoriegeleitet zu entwickeln. Im Ergebnis liegt dann eine Operationalisierung des zu untersuchenden Sachverhalts vor. Eine facettentheoretisch geleitete Auswertung mithilfe der Multidimensionalen Skalierung kann danach zeigen, ob die vorgenommene Strukturierung des zu bewertenden Sachverhalts verträglich mit den (tatsächlichen) Urteilen der Experten ist (vgl. Häder 2000a, 2009). Dazu wird die Struktur der Beobachtungen im zweidimensionalen Raum visualisiert. Im Weiteren wird diese geometrische Darstellung so zu zerlegen versucht, dass sie den zugrunde liegenden theoretischen Vorstellungen entspricht. An das Beispiel von der Delphi-Befragung zur Zukunft des Mobilfunks anknüpfend soll das Vorgehen im Einzelnen gezeigt werden. Die Schätzungen zur Zukunft

178

Auswertung und Analyse

des Mobilfunks erfolgten auf der Grundlage einer systematischen Zerlegung der Problemstellung in Facetten. Im Abschnitt 7.1 wurde beschrieben, dass für die weitere Ausbreitung des Mobilfunks jeweils bestimmte Gründe für bestimmte soziale Gruppen verantwortlich gemacht werden können. Die Facetten „Gründe“ und „soziale Gruppen“ wurden dann weiter operationalisiert. Die bei dieser Zerlegung angestellten Überlegungen bewegten sich auf der Ebene von Vermutungen und waren vor allem mithilfe des Plausibilitätsprinzips legitimiert worden. Bei der Auswertung steht nun die Frage im Mittelpunkt, ob die vorgenommene Strukturierung des zu schätzenden Sachverhalts verträglich mit den Urteilen der Experten ist. Um dies zu erfahren wird versucht, die Struktur der gewonnenen Beobachtungen, das heißt die Struktur der Expertenschätzungen, zu erklären. Dazu wird in einem ersten Schritt der kategoriale Abbildsatz (vgl. Abbildung 1 im Abschnitt 7.1) dadurch modifiziert, dass die Einschätzungen der Wichtigkeit auch in den vorderen Bereich übernommen werden. Aufgrund der Befragungsergebnisse kann festgestellt werden, für wie wichtig von den Experten welche Gründe bewertet wurden. Es können damit nun drei Gruppen von Gründen aufgrund ihrer Wichtigkeit (vgl. Facette w) unterschieden werden. Der so entstandene struktionierte, Abbildsatz wird in der Abbildung 3 gezeigt. Abbildung 3: Struktionierter Abbildsatz Ein Experte (pi) beurteilt die unterschiedlich wichtigen (w) Gründe (g) (w1: unwichtige ) (g1: praktische (w2

)

(w3: sehr wichtige )

)

(g2: normative

)

(g3: Spass

)

bestimmter sozialer Gruppen (sg) zur Nutzung von Mobiltelefonen nach ihrer Æ Wirkung (sg1: selbst ) (1: keine ) (sg2: Familie

)

(2

)

(sg3: allgemein

)

(3

)

(sg4: mobile Personen

)

(4

)

(5: sehr große ) auf die weitere Ausbreitung von Mobiltelefonen.

Ein solches Vorgehen ist immer dann sinnvoll, wenn, wie im vorliegenden Fall, eine Menge von Fragen mit mehreren Bildbereichen verknüpft ist. So kann anhand des in Abbildung 3 gezeigten Abbildsatzes nun auch geprüft werden, ob sich die Struktur der Urteile zur Wichtigkeit im gewählten Bildbereich reproduzieren lässt (vgl. Borg 1992:42ff.; Galinat/Borg 1987). Unter dem gewählten Bildbereich wird, entspre-

Auswertung und Analyse

179

chend der Fragestellung der Untersuchung, die Wirkung auf die weitere Ausbreitung von Mobiltelefonen verstanden. Im nächsten Schritt wird die Matrix der Pearsonschen Korrelationskoeffizienten aller Expertenurteile zur Wirkung auf die Ausbreitung des Mobilfunks ermittelt (vgl. Tabelle 10). Tabelle 10: Item-Interkorrelation1 der Urteile zur Wirkung auf die Ausbreitung des Mobilfunks; über der Diagonalen in der ersten, unter der Diagonalen in der zweiten Welle V

1

2

3

4

5 5

6

7

8

9

37

-08 28

45

10

11

12

13

14

15

16

17

-10 24

21

36

15

25

24

51

1

-

7

68

21

2

4

-

11

-20 14

8

25

21

-11 1

2

7

-7

18

27

17

-9

3

46

-6

-

21

1

36

9

44

56

-8

38

26

32

30

44

47

46

4

35

-27 14

-

-6

41

6

0

16

-11 19

10

74

-5

-3

-17 69

5

28

13

22

18

-

2

29

0

-16 49

-32 7

5

2

-22 2

6

24

-7

24

11

46

-

18

50

39

-11 44

22

45

-6

38

13

42

7

-10 20

-21 -28 35

14

-

41

4

8

25

-1

6

23

40

30

-1

8

27

02

27

29

33

6

10

-

40

-18 36

34

16

20

84

64

14

9

40

-14 29

19

26

2

32

52

-

4

52

51

35

39

30

49

33

10

35

12

-1

2

59

14

36

-6

26

-

-1

-24 -5

23

-11 1

2

11

46

18

33

36

30

-4

9

35

60

32

-

25

32

17

27

37

23

12

11

5

2

-9

20

23

22

27

15

17

-4

-

27

52

35

32

15

13

45

-35 11

72

14

27

-17 8

22

17

33

3

-

15

14

0

86

14

27

26

15

-30 37

-9

36

28

26

36

27

34

-20 -

25

27

8

15

33

09

20

20

16

0

8

78

41

6

31

34

12

36

-

65

8

16

35

-14 51

8

22

-5

14

53

33

1

13

32

8

38

46

-

6

17

3

-32 19

54

5

24

-21 13

5

-26 5

-6

56

-28 5

2

-

-1

In der Zelle V1 – V3 zeigt der Wert 68 beispielsweise einen relativ engen Zusammenhang zwischen der vermuteten Beeinflussung der Ausbreitung des Mobilfunks durch die Aspekte „für Autofahrer bei Pannen und Unfälle“ (V1) auf der einen Seite und „für die eigene Sicherheit“ (V3) auf der anderen Seite. Demgegenüber besteht

1

Korrelationskoeffizienten, multipliziert mit 100.

180

Auswertung und Analyse

faktisch kein Zusammenhang zwischen den vermuteten Wirkungen der Aspekte „für Autofahrer bei Pannen und Unfälle“ (V1) und „um den Erwartungen der anderen Menschen zu entsprechen“ (V5). Die in Tabelle 10 dargestellte Matrix wird anschließend im zweidimensionalen Raum visualisiert. Dabei wird jede der 17 Schätzungen durch einen Punkt repräsentiert. Zwei Punkte liegen nun umso näher beieinander, je geringer ihre Korrelation von 1 abweicht. So ist zu erwarten, dass beispielsweise V1 und V3 relativ dicht zusammen liegen. Dagegen ist zwischen V1 und V5 mit einem größeren Abstand zu rechnen. Für eine solche Darstellung wird in der Facettentheorie die Multidimensionale Skalierung (MDS) herangezogen (vgl. Borg 1992:6ff.). Das Ergebnis der ersten Welle zeigt die Abbildung 4 oben und das Ergebnis der zweiten Welle die Abbildung 4 unten.

Auswertung und Analyse 2 Abbildung 4:

181

MDS- Konfiguration der Expertenschätzungen in der ersten (oben) und in der zweiten (unten) Welle

1 ,5

10

5 1 ,0

2

7

,5

14 15

0 ,0

12

16

8

-,5

4 13

6

11

- 1,0

17

1

3

9 -1,5 -3

-1

-2

0

1

2

3

2 ,0 2 1,5 1

1 ,0 7

14

12

10

,5

15

16

0 ,0

8

5

-,5

3

13

9

4 6

-1 ,0 11

17

-1 ,5 -3

-2

-1

0

1

2

182

Auswertung und Analyse

Im nächsten Schritt wird nun versucht, diese geometrischen Darstellungen der ItemInterkorrelationen so zu zerlegen, dass jede Region der Zerlegung genau einem Struktupel entspricht, das heißt einer bestimmte Facette des in Tabelle 10 gezeigten Abbildsatzes. Für diese Zerlegung existieren in der Facettentheorie zwei Grundvarianten (vgl. Borg 1992:102ff.), deren Anwendbarkeit vom Skalenniveau der Facetten abhängt. Handelt es sich um ein geordnetes, quantitatives Niveau, so ist eine regionale Struktur zu erwarten. Dies trifft für die Facette „Wichtigkeit“ zu. Die geometrische Darstellung hat in parallelen Regionen oder konzentrischen Bändern zu erfolgen. Handelt es sich um ein ungeordnetes, qualitatives Niveau, so ist lediglich eine irgendwie geartete Partionierung zu erwarten. Dies müsste für die Facetten „soziale Gruppe“ und „Gründe“ zutreffen. Die Ergebnisse der Partionierungen werden in den Abbildungen 5 bis 7 präsentiert. In diesen Abbildungen werden die Punkte, die ursprünglich in der Abbildung 11 mit den Variablenbezeichnungen versehen waren, jetzt mit den jeweiligen Struktupelbezeichnungen gekennzeichnet (vgl. Tabelle 1 im Abschnitt 7.1). Abbildung 5 zeigt, dass eine relativ einfache Partionierung nach den Gründen für die Anschaffung von Mobiltelefonen möglich ist. Dies erfolgt zum ersten Zeitpunkt völlig ohne Fehler und zum zweiten Zeitpunkt fast fehlerfrei. Hier wird die Frage 14 (Bedeutung des Mobilfunks für junge Menschen als Zugang zu Datendiensten) nicht wie angenommen als praktischer Grund (1) interpretiert, sondern in den Bereich der Motive „aus Gründen der Unterhaltung“ verlagert. Es handelt sich um ein polares Muster beziehungsweise – in der Terminologie der Facettentheorie – um ein Circumplex von Regionen. Außerdem wird deutlich, dass die Struktur der Schätzungen in beiden Wellen sehr ähnlich ist. Die beiden Darstellungen in Abbildung 6 weisen modulare Muster auf. Ein gemeinsamer Ursprung (1: selbst) wird in der zweiten Welle deutlich. Die dabei festgestellte Abstufung (selbst Æ Familie Æ Personen im Allgemeinen Æ Mobile Personen) ist im Sinne des Konzepts durchaus plausibel interpretierbar. In den gezeigten Lösungen tauchen ein (1. Welle) beziehungsweise drei (2. Welle) Fehler auf: ĺ So ist in beiden Wellen wiederum die Frage 14 (Bedeutung des Mobilfunks für junge Menschen als Zugang zu Datendiensten) anders als erwartet positioniert worden. Während angenommen wurde, junge Menschen fielen in die Gruppe der mobilen Personen (4), werden sie in beiden Wellen der Gruppe der Personen im Allgemeinen (3) zugeordnet. ĺ Frage 10 taucht in der zweiten Welle ebenfalls in der Region der Personen im Allgemeinen (3) anstatt – wie erwartet wurde – im Bereich mobile Personen (4) auf. Bei Frage 10 handelt es sich ebenfalls um eine Frage zu jungen Menschen – hier jedoch im Normenkontext.

Auswertung und Analyse 2 Abbildung 5:

183

MDS- Konfigurationen in der Expertenschätzungen in der ersten (oben) und zweiten (unten) Welle ; die Bezeichnung der Punkte entspricht der Facette Gründe

1 ,5 2

3

2

1 ,0 3 ,5 1

3 0,0 1

3

1

1

1

1

1

-,5 1

1

1

-1,0 1 -1,5 -3

-2

-1

0

1

2

3

2, 0 3 1, 5 1, 0 2

,5 0 ,0

3

3

2 1

-, 5

1

3

1

1 1 1

1

1

1 -1, 0

1

1

-1 ,5 -3

-2

-1

0

1

2

184

Auswertung und Analyse

2 Abbildung 6:

MDS- Konfiguration der Expertenschätzungen in der ersten (oben) und zweite n (unten) Welle; die Bezeichnung der Punkte e ntspricht der Facette soziale Gruppe n

1,5

4

4

3 1 ,0 3 ,5 4

2 0,0 2

2

3

1

-,5

4

4

4 3

-1 ,5 -3

3

2

-1,0

-2

4

-1

0

1

2

3

2 ,0 4 1,5 1,0 3 2 1

,5 2 0,0

2

4

3

4

4 3

4

2

-,5

4

3

3 -1 ,0

4

-1 ,5 -3

-2

-1

0

1

2

Auswertung und Analyse 2 Abbildung 7:

185

MDS- Konfiguration der Expertenschätzungen in der ersten (oben) und zweite n (unten) Welle; die Bezeichnung der Punkte e ntspricht der Facette Wic htigk eit

1,5 1

2

1

1,0

2

,5 2

1 0 ,0 1 -,5

2

2

1

3

3

3

1

3

2

-1,0 2 -1,5 -3

-2

-1

0

1

2

3

2,0 3 1,5 1,0 2

,5

2 3

1

-,5 -1 ,0 -1 ,5

2 2

2

1

2

0 ,0

3

2

2

2

3

1 -3

3 -2

-1

0

1

2

186

Auswertung und Analyse

ĺ Schließlich wurde Frage 5 nicht in den Bereich Personen im Allgemeinen (2), sondern in der Region Familie (3) positioniert. Frage 5 lautete: um den Erwartungen anderer Menschen zu entsprechen. In Abbildung 7 wird die Facette Wichtigkeit mithilfe eines Simplex, das heißt mit einer axialen Organisation des Raumes, dargestellt. Dies gelingt ebenfalls recht gut und weist lediglich bei den Schätzungen in der zweiten Welle einen Fehler bei Frage 16 auf. Auch hier ist wieder sehr gut die Ähnlichkeit der Struktur der Schätzungen in der ersten und zweiten Welle erkennbar. Insgesamt unterstützt das in den Abbildungen 5 bis 7 gezeigte Ergebnis die Ausgangsannahmen. Diese bestanden darin, dass die Anschaffung von Mobiltelefonen aufgrund praktischer oder normativer Gründe sowie aus Gründen der Unterhaltung erfolgen kann. Weiter wurde angenommen, dass diese Gründe jeweils für verschiedene Gruppen eine unterschiedliche Bedeutung besitzen. Als dritte Facette wurde schließlich die unterschiedliche Wichtigkeit der einzelnen Motive für die verschiedenen Gruppen eingeführt. Die Experten sind bei ihren Schätzungen zur Ausbreitung des Mobilfunks diesem Modell gefolgt. Damit erweisen sich die Ausgangsannahmen insgesamt als nicht zufällig oder als willkürlich gewählt. Beachtlich ist, dass die Struktur der Schätzungen in beiden Wellen sehr ähnlich ist. Alle drei Facetten ließen sich in beiden Wellen gut partionieren. Dies kann als ein Hinweis auf die Zuverlässigkeit der Urteile gewertet werden. So bewirkte die zweite Befragungswelle zwar Veränderungen in den Randverteilungen der Bewertungen, deren Struktur blieb jedoch konstant. 10.3

Weitere Vorgehensweisen bei der Datenauswertung

Es wurde bereits darauf verwiesen, dass das konkrete Vorgehen bei der Auswertung einer Delphi-Befragung stets von der Spezifik der Fragestellung geleitet wird. In Abhängigkeit vom Erkenntnisziel muss ein entsprechendes Vorgehen gewählt werden. Neben einem facettentheoretisch gestützten Auswertungsdesign (vgl. Abschnitt 10.2) existieren weitere Strategien, die inzwischen bei Delphi-Befragungen erfolgreich eingesetzt worden sind. Einige werden im Folgenden gezeigt: ĺ Die Darstellung der Schätzungen von Subpopulationen. Gebräuchlich ist, die Ergebnisse jener Experten, die in ihren Urteilen besonders sicher waren beziehungsweise jener Teilnehmer, die als Insider (vermutlich) besonders kompetent Auskunft geben können, gesondert auszuweisen. Von Interesse kann es – insbesondere bei Delphi-Befragungen vom Typ 3 – aber auch sein, wie die Vertreter unterschiedlicher Institutionen oder Professionen zu den diskutierten Fragen Stellung bezogen haben. ĺ Eine Gewichtung der inhaltlichen Ergebnisse der Befragung anhand der Kompetenzfrage schlagen Loveridge und Kollegen (vgl. 1995:11) vor. Einer solchen I-

Auswertung und Analyse

187

dee mag die Vorstellung zugrunde liegen, dass kompetentere Experten höherwertige Schätzungen abgeben als andere. Demzufolge wäre es dann – vor allem bei Delphi-Befragungen vom Typ 2 – sinnvoll, diese Auskünfte stärker zu gewichten als die anderer Teilnehmer. In einer anderen Studie wurden bei der Auswertung dagegen nur die „Antworten mit mindestens mittlerer Sachkenntnis berücksichtigt“ (Aicholzer 2000: 80). Prinzipiell wirft eine Auswertung der Frage nach der subjektiven Sicherheit verschiedene Probleme auf. Die auf Dalkey und Kollegen (1969) zurückgehende Einbeziehung von Indikatoren zum Self-Rating der Experten geht davon aus, dass eine positive Korrelation zwischen der Selbsteinschätzung und der tatsächlichen Schätzfähigkeit der Experten besteht. Diese Überlegung kann anhand neuerer Befunde (vgl. Häder 2000b) präzisiert werden. Tests haben (1.) Hinweise darauf erbracht, dass bei der Abgabe eines Urteils über die Sicherheit, mit der eine Schätzung vorgenommen wurde, eine Evaluation des Antwortprozesses erfolgt und die subjektive Sicherheit damit tatsächlich Indikator für die Qualität einer Schätzung ist. Andere Ergebnisse haben (2.) aber auch deutlich gemacht, dass die Urteile zur subjektiven Sicherheit beeinflusst werden durch das professionelle Eingebundensein der jeweiligen Teilnehmer beziehungsweise durch den Grad an Verbundenheit mit der Thematik der jeweiligen Studie, den daraus resultierenden Kariereerwartungen und so weiter. Aufgrund beider Befunde muss von einem zumindest teilweise widersprüchlichen Antwortverhalten ausgegangen werden. Bei der Auswertung von Delphi-Studien ist es zwar naheliegend, die Schätzungen von kompetenten Experten höher zu bewerten als jene, die von Teilnehmern mit geringerer Expertise abgegeben worden sind. Die Ergebnisse entsprechender Tests zeigen jedoch weiterhin, dass die Antworten auf die Frage nach der subjektiven Sicherheit nicht als ausreichend zuverlässige Gewichtungsvariable benutzt werden kann. Ein solches Vorgehen wäre kaum geeignet, um die Ergebnisse der inhaltlichen Schätzungen „in die richtige Richtung“ zu korrigieren (vgl. Häder/Häder 1994b:31). ĺ Sofern es im Design vorgesehen ist, können bei der Auswertung der DelphiBefragung auch Vergleiche zwischen verschiedenen Ländern angestellt werden (vgl. Aichholzer 2000:86). Dies setzt voraus, dass bei der Befragung nicht nur vergleichbare Indikatoren, sondern insgesamt ein äquivalentes Design zum Einsatz gekommen ist. Vergleiche sind auch dann möglich, wenn in einer (nationalen) Delphi-Befragung Schätzungen zum gleichen Sachverhalt nach einem gewissen Zeitintervall wiederholt worden sind. ĺ Faktoren- und Clusteranalysen können genutzt werden, um die Struktur der Urteile beziehungsweise die der Experten zu ermitteln. Entsprechende Beispiele finden sich bei Kurt Kinast (vgl. 2000:146) sowie bei Grupp und Kollegen (vgl. 2000).

188

Auswertung und Analyse

ĺ Der Scree-Test kann bei Delphi-Studien eingesetzt werden, um verschiedene Probleme zu lösen. So kommt es vor, dass von einer ursprünglich relativ großen Anzahl von Items nach jeder Welle jene ausgesondert werden sollen, die sich aufgrund der Expertenurteile bis dahin bereits als trivial erwiesen haben. Dies ist vor allem dann wichtig, wenn in der qualitativen Runde eine besonders große Anzahl von Aspekten von den Experten genannt worden ist. Ein solcher Schritt ist nicht zuletzt auch im Interesse der Aufrechterhaltung der Teilnahmemotivation der Experten, da sich deren Aufwand beim Ausfüllen des Fragebogens so verringert. Schließlich stellt die Unterscheidung zwischen trivialen und nicht trivialen Items nach Abschluss der Delphi-Befragung ebenfalls ein wichtiges Anliegen bei der Interpretation der Ergebnisse dar. Mit diesen Zielen wurde der Scree Test eingesetzt. Keith Zoski und Stephen Jurs (1990:215) beschreiben ihn so: „This was accomplished through the examination of a graph of characteristic roots or eigenvalues plotted along the ordinate, with the factors plotted along the abscissa. The first roots show a cliff and the rest denote the rubble at the bottom.“ Die bei einer Faktoranalyse ermittelten Eigenwerte werden in einem Diagramm abgetragen. Dabei entsteht eine Kurve. Die Eigenwerte jener Items, die über der als Geraden gezeichneten Kurve liegen, gelten nun als nicht trivial. Die theoretische Grundlage dieses Vorgehens hat Raymond B. Cattell (1966) dargestellt. Der Scree Test wurde für seine Anwendung bei Delphi-Befragungen verschiedenen Modifikationen unterzogen, so von Zoski und Jurs, die ihn wesentlich vereinfachten (1990:217): „The subjective scree test was modified in the Delphi study so that the percentage of the group that endorsed each need was plotted along the ordinate and the research needs were plotted along the abscissa. The research needs were plotted according to the diminishing percentage of endorsements so that a downward sloped curve resulted.“ Insgesamt 163 Aspekte wurden auf diese Weise angeordnet. Lediglich solche, die nun ebenfalls über der ermittelten Geraden lagen, werden als substantiell bewertet. James W. Altschuld und Phyllis M. Thomas (1991) gehen auf die Weiterentwicklung von Zoski und Jurs ein und präzisieren die dabei erforderlichen Voraussetzungen beziehungsweise Grenzen (vgl. 1991:181ff.) weiter. Sie initiieren so eine weiteren Diskussion um die Nutzung des Scree-Tests bei Delphi-Studien (vgl. Zoski/ Jurs 1991, Race/Planek 1992). Für Delphi-Befragungen, die sich einer relativ homogenen Fragestellung widmen und bei denen es zugleich darum geht, eine größere Anzahl an Aspekten zu beurteilen, bieten der Scree-Test beziehungsweise der weiterentwickelte Scree-Test gute Möglichkeiten. Vor allem die graphische Darstellung ermöglicht eine gute Veranschaulichung der Ergebnisse der Delphi-Befragung. ĺ Ein interessanter Ansatz ist schließlich die Umsetzung des Semi-Markov-Konzepts für computerunterstützte Delphi-Befragungen. Anhand einer Arbeit von

Auswertung und Analyse

189

Yun Yeong Cho, Gi Ho Jeong und Soung Hie Kim soll das Vorgehen geschildert werden: Ein Problem bei Delphi ist: „it does not consider the significance of relationships and interactions between developments.“ (1991:274). Die (erfolgreiche) Lösung bestimmter technologischer Entwicklungen beeinflusst die (erfolgreiche) Lösung anderer Entwicklungen beziehungsweise verzögert oder verhindert diese. Ein Vorgehen, um diesem Problem zu begegnen, sind Cross-impact Analysen (vgl. Helmer 1977). Dabei wird eine Matrix erstellt, die die bedingten Wahrscheinlichkeiten für das Auftreten eines Ereignisses in Abhängigkeit von einem jeweils anderen Ereignis enthält. Jedoch ist es ein solches Konzept relativ kompliziert und es könnte zu Problemen kommen, wenn bei Delphi-Studien Fragen nach einem entsprechenden Modell gestellt werden sollen. Als Alternative werden deshalb Semi-Markov-Modelle angeboten. Diese verstehen die technologische Entwicklung als Prozess zweier Unsicherheitsgrößen: 1. die Unsicherheit der Abfolge zweier Entwicklungen und 2. die Unsicherheit des Zeitabstandes zwischen beiden Entwicklungen. Dies kann in einem Semi-Markov-Modell analog verstanden werden als: 1. das Niveau einer Entwicklung und 2. die Verweildauer in diesem Niveau. Die Annahme bei Markov-Modellen ist nun, dass der Fortgang einer Entwicklung davon abhängt, welches Niveau gerade erreicht ist. Dabei wird angenommen, dass die Entwicklung von einem Niveau zum anderen fortschreitet beziehungsweise, dass die einzelnen Entwicklungen voneinander abhängen und so weiter (Diese Überlegungen müssen die Teilnehmer bei einem Delphi implizit ohnehin anstellen, bevor sie ihre Antworten abgeben.). Zur Umsetzung dieses Konzepts wurde das Computerprogramm IDEAS entwickelt. Dieses erstellt ein Modell, das die in einem Entwicklungsprozess auftretenden Zeitabstände zwischen einzelnen Ereignissen beschreibt. Als geeignetes Beispiel kann die Entwicklung von Computerchips mit einer bestimmten (stets größer werdenden) Speicherkapazität angenommen werden. Das Markov-Modell beschreibt diesen Prozess mit Hilfe von Übergangswahrscheinlichkeiten (Zeitdauer) von einem Zustand (eine bestimmte technologische Entwicklung) in den nächsten (eine darauf aufbauende technologische Entwicklung). Es gibt damit zwei Parameter: 1. die jeweilige Übergangswahrscheinlichkeit von einem Zustand in den folgenden Zustand und 2. die Verweilwahrscheinlichkeit in einem Zustand. ĺ Ein anderes Beispiels für die graphische Darstellung von Ergebnissen einer Delphi-Befragung sind modifizierte Scatterplotts. Dieses Verfahren bietet sich an, wenn ein Sachverhalt aufgrund unterschiedlicher Kriterien bewertet wird. Dies war im Rahmen der Studie zur Zukunft des Mobilfunks der Fall (vgl. Häder 2000d). Auf der vertikalen Achse wurden hier die Antworten auf die Frage nach der Bedeutung (1.) und auf der horizontalen Achse die Ergebnisse der Frage nach dem Einfluss (2.) abgetragen. Die Länge der Pfeile in der Abbildung ergibt sich aus der Größe des Unterschieds zwischen erster und zweiter Schätzung, die Spit-

190

Auswertung und Analyse

ze der Pfeile zeigt dabei die Richtung der Veränderung bei der Schätzung in der zweiten Welle an. Zur besseren Übersicht wurde die Darstellung in neun gleichgroße Quadranten eingeteilt (vgl. Abbildung 8). Abbildung 8: Ergebnisse der Bewertung von Motiven bestimmter Gruppen, zukünftig den Mobilfunk zu nutzen.

5,0

große Bedeutung

D17

D1 D4

4,5

D13

D3 4,0

D2

D7

3,5

mittlere Bedeutung

D9

D16

D12 D6

3,0

2,5

D5

D15

D14 D8 D10

geringe Bedeutung 2,0

D11 1,5

1,0 1,0

1,5

2,0

geringer Einfluss

2,5

3,0

mittlerer Einfluss

3,5

4,0

4,5

5,0

großer Einfluss

Von den neun Quadranten sind nur vier besetzt: als sehr wichtig und als besonders einflussreich (rechts oben) werden die Vorgaben D1, D2, D4, D12, D13 und D17 eingestuft. Den Gegenpart (geringe Bedeutung und geringer Einfluss) bildet lediglich die Frage D11. Am stärksten besetzt ist der mittlere Quadrant, der durch mittlere Wichtigkeit und mittleren Einfluss charakterisiert ist. Hier finden sich die Vorgaben D5, D6, D8, D9, D10, D14, D15 und D16. Mit den Fragen D3 und D7 ist schließlich der zweite Quadrant belegt, der eine hohe Wichtigkeit sowie einen mittleren Einfluss signalisiert. (Die Fragetexte sind aus Tabelle 1 im Abschnitt 7.1 zu entnehmen.)

11

Evaluation von Delphi-Befragungen

Nachdem in den vorangegangenen Abschnitten praktische Hinweise und Tipps zur Konzipierung und Veranstaltung von Delphi-Befragungen gegeben wurden, wendet sich das folgende Kapitel der Evaluation der Leistungsfähigkeit des Delphi-Designs zu. Dabei geht es vor allem um empirische Nachweise zum Funktionieren der einzelnen Typen von Delphi-Befragungen. Einleitend werden einige generelle Überlegungen angestellt, bei denen es um die Überprüfung des Funktionierens von Delphi-Befragungen geht (Abschnitt 11.1). Danach werden konkrete Vorgehensweisen beschrieben, mit deren Hilfe sich die Resultate solcher Befragungen evaluieren lassen. Dazu zählt erstens die Gegenüberstellung von mithilfe des Delphi-Ansatzes vorhergesagten zu den dann tatsächlich eingetretenen Ereignissen (Abschnitt 11.2). Eine gewisse Bedeutung für die Evaluation hat zweitens auch die Bearbeitung von Almanachfragen im Rahmen von DelphiErhebungen. Zu diesen Fragen existiert eine „wahre Antwort“ beziehungsweise eine „richtige Lösung“, die jedoch den Teilnehmern nicht bekannt ist (Abschnitt 11.3). Auch kognitionspsychologische Nachfragen können drittens Auskunft über das Funktionieren von Delphi-Befragungen geben. Dazu werden konkrete Ergebnisse eines Tests gezeigt (Abschnitt 11.4). Andere Autoren begeben sich auf die Suche nach der a priori Überlegenheit des Delphi-Ansatzes gegenüber anderen Verfahren, wie etwa der Gruppendiskussion. Deshalb wird untersucht (Abschnitt 11.5), in welchem Verhältnis die mit dem Delphi-Design gewonnenen Resultate zu denen aus anderen Ansätzen stehen. Wieder eine andere Vorgehensweise bei der Evaluation stellt die Manipulation des Feed-backs und die anschließende Beobachtung der dadurch erzielten Folgen dar (Abschnitt 11.6). Die Kritik gegenüber dem DelphiAnsatz hebt beispielsweise hervor, dass aufgrund des Feed-backs ein Konformitätsdruck unter den Teilnehmern entstehe und dadurch lediglich eine „Tendenz zur Mitte erzeugt“ werde, diese Tendenz zur Mitte dann jedoch nichts mit einer Annäherung an einen wahren Wert zu tun hätte. 11.1

Generelle Ziele der Evaluation

Bei der Vorstellung des Typenkonzepts wurden die verschiedenen Ziele von DelphiBefragungen herausgearbeitet. Auch ist in einer kleinen Zusammenstellung (vgl. den Kasten „Einige Irrtümer von Experten“ im Abschnitt 2.3) bereits gezeigt worden, welche Risiken bei der Befragung von Experten bestehen. Vor diesem Hintergrund gilt es nun, die Ziele und die möglichen Vorgehensweisen einer Evaluation des Delphi-Designs zu bestimmen.

192

Evaluation

Das gemeinsame Anliegen aller vier Typen von Delphi-Befragungen besteht im Finden von Urteilen unter suboptimalen Bedingungen. Es gilt für die Teilnehmer, komplexe Ziele zu bewerten, zwischen verschiedenen Alternativen abzuwägen, unter Umständen unter Zeitdruck zu reagieren und so weiter. Unvollständige Informationen müssen aus dem eigenen Wissensbestand ergänzt werden. Die Urteile sollen dann wiederholt werden. In den Folgewellen kommt es zu Lernprozessen, die Rückmeldungen sind kognitiv zu verarbeiten, der Suchprozess nach Problemlösungen im Gedächtnis ist erneut aufzunehmen. Bei allen vier Typen wird von der Erwartung ausgegangen, dass es in den Folgewellen zu einer Verbesserung der ursprünglichen Schätzung komme. Unterschiede zwischen den vier Typen ergeben sich jedoch, wenn die Frage nach der Wahrheit der Abbilder gestellt wird (vgl. Abschnitt 3.1). Dementsprechend sind alle weiteren Aspekte stark typenabhängig: Delphi-Befragungen zur Ideensammlung beziehungsweise –aggregation (Typ 1) sind zunächst auf die Sammlung und danach auf die Qualifizierung der ursprünglichen Urteile fokussiert. In diesem Zusammenhang dürfte die Frage nach der Wahrheit dieser Problemlösungsvorschläge nicht vorrangig von besonderer Bedeutung sein. Wichtig ist vielmehr, eine breite Palette an qualifizierten Vorschlägen zu generieren. Ähnlich sieht es auch bei der Delphi-Befragung zur Konsensfindung (Typ 4) aus. Hier besteht die Zielstellung darin, einen möglichst hohen Grad an Übereinstimmung unter den Teilnehmern zu erzielen und die so gewonnenen Urteile aufgrund einer möglichst geringen Streuung der Antworten zu legitimieren. Auch in diesem Zusammenhang ist die Frage nach der Richtigkeit oder nach dem Wahrheitsgehalt der Aussagen nicht primär. Im Zentrum des Interesses steht die Homogenität der Antworten. Diese lässt sich methodisch relativ einfach ermitteln (vgl. dazu Greatorex/Dexter 2000). Anders ist die Situation bei Delphi-Befragungen, die sich der Vorhersage beziehungsweise der genaueren Bestimmung eines unsicheren Sachverhalts angenommen haben (Typ 2). Bei diesem Typ ist in der Tat die Frage zentral, inwieweit die Experten mit ihren Urteilen zur Klärung des jeweiligen Problems beigetragen haben. Entsprechend können Strategien zur Evaluation entwickelt und eingesetzt werden. Delphi-Befragungen zur Ermittlung der Expertenansichten über einen diffusen Sachverhalt (Typ 3) verfolgen ein doppeltes Anliegen: Erstens die Qualifizierung der im Verlauf der Studie abgegebenen Urteile und zweitens zugleich die Abbildung des (sich verändernden) finalen Meinungsbildes der Expertengruppe. Das Delphi-Design soll hier dazu beitragen, gezielt Denkprozesse auszulösen und dadurch im weiteren Verlauf der Befragung eine Verbesserung der ursprünglichen Urteile zu veranlassen. Hauptanliegen ist dann jedoch eine adäquate Abbildung der Expertenurteile. Für die Beurteilung der Qualität der Messung können die üblichen methodischen Kriterien wie Reliabilität und Validität (vgl. Schnell/Hill/Esser 2000:139ff., Häder 2009) herangezogen werden. Im Rahmen der Evaluation wird mit geeigneten Mitteln zu

Evaluation

193

prüfen sein, ob sich die Urteile in der letzten Welle gegenüber der ersten Befragungswelle tatsächlich auch verbessert haben. 11.2

Evaluation aufgrund vorhergesagter Ereignisse

Es wurde gezeigt, dass jeder Typ der Delphi-Befragung ein eigenes Ziel verfolgt und danach bewertet werden muss, inwieweit dieses Ziel erreicht worden ist. Wenn es darum geht – wie beim Typ 2 – ein Ereignis möglichst exakt vorherzusagen, bietet es sich an, die vorhergesagten Ereignisse mit denen zu vergleichen, die tatsächlich eingetreten sind. Vier Beispiele sollen dazu aufgeführt werden: 1.

2.

Eben diesem Ziel waren die Delphi-Befragungen zu den Preisprognosen in Obstbaugebieten mit extremer Preisunsicherheit (vgl. Janssen 1977) verpflichtet. Der Delphi-Ansatz wurde dazu benutzt, um wöchentlich kurzfristige Preisprognosen in Obstbaugebieten mit extremer Preisunsicherheit, das heißt zu Beginn einer Saison, zu erstellen. Diese Befragungsreihe bietet sich besonders für eine Evaluation an. Es ergab sich dabei beispielsweise nach drei Befragungswellen ein erwarteter Preis von 120,00 DM / dt für eine bestimmte Sorte Äpfel. Der tatsächliche Preis der Äpfel lag dann schließlich bei 122,90 DM / dt ( + 2,4 Prozent). Die Differenz zwischen dem aufgrund einer Delphi-Befragung erwarteten Preis und dem tatsächlich realisierten war unter relativ stabilen Marktbedingungen noch geringer. Hier wurden für eine anderen Obstsorte beispielsweise 56,00 DM / dt als Erwartung geschätzt, während der tatsächlich realisierte Preis bei 55,80 DM / dt ( - 0,4 Prozent) lag (vgl. Janssen 1977). Diese Befunde stellten die Anwender voll zufrieden und sprechen damit für ein gutes Funktionieren der benutzten Vorhersagestrategie. Große Unterschiede im Erfolg beim Einsatz von Delphi in Abhängigkeit vom zu prognostizierenden Gegenstand beziehungsweise Gebiet sind jedoch bei einer anderen Studie aufgefallen. Hier wurden Prognosen über Entwicklungen auf bestimmten Gebieten des öffentlichen Lebens den dann tatsächlich eingetretenen Innovationen gegenübergestellt. Das Ergebnis dieser Überprüfung lautete: „Die Unterschiede zwischen den einzelnen Gebieten sind allerdings erheblich. In den Bereichen Medizin und Informationstechnik sowie in der Landwirtschaft und sogar im Umweltschutz, des Weiteren beim Fachgebiet Kultur und Technik sowie in der Stadtentwicklung überwiegen die eher richtigen Schätzungen. Hierbei ist allerdings zu beachten, dass der Anteil der vollrealisierten Innovationen im Bereich des Umweltschutzes klein und bei der Stadtentwicklung Null ist. ... Besonders ungünstig war die Vorschau für Energie und Verkehr.” (BMFT

194

Evaluation 1

1993:75). Insgesamt fällt das Fazit der Autoren zum Funktionieren des DelphiAnsatzes dann jedoch positiv aus. In einem völlig anderen Zusammenhang kommen Snyder-Halpern und Kollegen (2000) ebenfalls auf ein interessantes Ergebnis. Dabei ging es um die Bestimmung des erforderlichen Umfangs der Expertengruppe für eine DelphiBefragung. Für eine relativ kleine Expertenpopulation ergab sich folgendes Resultat: „Research evidence suggests that correlations in excess of 0.7 can be produced between panel and true score with 11 member panels” (Martino 1983). In einer Delphi-Studie von 1976 sollte eine bestimmte Entwicklung im USBundesstaat Hawaii für zwei verschiedene Zeiträume, erstens bis 1991 (15 Jahre) und zweitens bis 2006 (30 Jahre) prognostiziert werden. 1991 erfolgte eine Überprüfung der Ergebnisse. Fünf Ereignisse waren demnach korrekt vorhergesagt worden, vier nicht. Die nicht korrekten Vorhersagen hatten allerdings nach Ansicht der Autoren Gründe, die nicht direkt mit der Delphi-Methode zusammenhängen (wie zum Beispiel die überraschende Energiekrise, die in den 1970er Jahren eintrat). Die Schlussfolgerung war insgesamt ein „support to the hypothesis that Delphi technique is a valid technique for long-range forecasting” (Ono/Wedemeyer 1994:291).

3.

4.

Insgesamt ist damit eine gewisse Zufriedenheit bei den hier aufgeführten Anwendern dieses Delphi-Ansatzes zu konstatieren. In einer Reihe von Fällen ließen sich die interessierenden Sachverhalte mit ausreichender Sicherheit vorher bestimmen. Jedoch ist der Ablauf der Prognosefrist die Voraussetzung, um den Delphi-Ansatz auf diese Weise bewerten zu können. 11.3

Evaluation mithilfe von Almanachfragen

Wenn es im Rahmen von Delphi-Befragungen darum geht, einen Sachverhalt möglichst exakt vorherzusagen (Typ 2), so bietet sich für die Evaluation dieses Ansatzes auch die Nutzung von Almanachfragen an. Almanachfragen sind Fragen, zu denen es eine konkrete (richtige) Antwort gibt. Für die Evaluation von Delphi ist es selbstverständlich Voraussetzung, dass diese Antwort nur dem Monitoring-Team bekannt ist. Die Nutzung von Almanachfragen hat den Vorteil, dass im Unterschied zum gerade (Abschnitt 11.2) behandelten Vorgehen eine Einschätzung der Leistungsfähigkeit von Delphi sofort möglich wird. Die Leistungsfähigkeit des Delphi-Ansatzes wird dabei aufgrund des Vergleichs zwischen den durch die Expertengruppe geschätzten Ergebnissen und den „wahren Werten” beurteilt. Eine gewisse methodische Unsicherheit besteht bei dieser Vorgehensweise darin, dass die Bearbeitung von Almanachfragen selbst wiederum eigene Besonderheiten besitzt und damit nicht ohne 1

Weitere Evaluationsbemühungen sind aus der deutschen Sozialforschung nicht bekannt. Hier wird die Delphi-Methode im Unterschied zu den USA offenbar mit erheblichem Zutrauen und zugleich fast blindem Vertrauen angewandt.

Evaluation

195

weiteres davon ausgegangen werden kann, dass die bei der Schätzung von Almanachfragen ablaufenden Prozesse denen bei herkömmlichen Delphi-Aufgaben völlig gleichen. Am bekanntesten sind jene Tests geworden, über die Dalkey (vgl. 1969) berichtet und bei denen zum Beispiel die Zahl der Offiziere in einer Armee ermittelt werden sollte. Die Befunde dieser Studien zeigen immerhin eine deutliche Annäherung an den wahren Wert (vgl. auch Albach 1970, Becker 1974, Geschka 1977, Häder 1996). Über zwei ähnliche Experimente mit der Delphi-Methode berichten Häder und Häder (1994b) sowie Häder, Häder, und Ziegler (1995). Dabei sollten von den Teilnehmern die Antwortverteilungen für unterschiedlich skalierte Fragen aus einer bestimmten Bevölkerungsbefragung geschätzt werden. Diese waren den Teilnehmern bis dahin nicht bekannt. Beide Tests waren durch folgende Aspekte charakterisiert: ĺ Die Schätzung betraf jeweils die Antwortverteilungen aus einer Shell-Jugendstudie von 1992 (vgl. Apel 1992). Im Rahmen dieser Studie wurden N = 4.005 Personen befragt. Bei den Teilnehmern an der Shell-Studie handelt es sich um Personen im Alter zwischen 13 und 29 Jahren. Das Design erhebt den Anspruch, repräsentativ für die Bundesrepublik Deutschland zu sein. ĺ Das Ziel beider methodischer Tests bestand darin, bestimmte Antwortverteilungen mithilfe des Delphi-Ansatzes zu ermitteln. Dazu wurde die Befragung in beiden Fällen über drei Wellen geführt. ĺ Am ersten Test waren 20 Mitarbeiter des ehemaligen Zentrums für Umfragen, Methoden und Analysen (ZUMA) in Mannheim beteiligt, am zweiten Test nahmen Medizinstudenten des ersten Studienjahres der Universität Marburg (32 Personen) teil. ĺ Die Aufgabe der Testpersonen bestand darin, in 58 Einzelaufgaben die Ergebnisse verschiedener Fragetypen (vierstufig skaliert, Alternativfragen, Mittelwerte siebenstufiger Skalen und fünfstufig skalierte Skalen) aus der genannten ShellJugendstudie zu schätzen. ĺ Die Tests verfolgten das Ziel, methodische Erfahrungen beim Umgang mit der Delphi-Technik zu sammeln, deren Funktionieren zu studieren und Hinweise für die Evaluation des Ansatzes zu finden. Im Folgenden wird eine kurze Übersicht zu den Ergebnissen der Tests gegeben. Als erstes wurde ermittelt, ob es zwischen den Delphi-Runden zu einer Verringerung des Schätzfehlers gekommen ist. Als Schätzfehler wird hier der Abstand zwischen dem wahren Wert von dem im Verlauf der Delphi-Befragung ermittelten Wert bezeichnet. Von einer Verringerung des Schätzfehlers wird dann gesprochen, wenn sich im Verlauf der Delphi-Befragung dieser Abstand reduziert hat. Die Ergebnisse des am ZUMA veranstalteten Tests zeigen (vgl. Häder/Häder 1994b:44ff.):

196

1.

2. 3.

Evaluation

Es ist nach drei Befragungsrunden generell besser möglich, Aussagen über die Antwortverteilungen in der Originalstudie zu treffen als bei einem nur einmaligen Versuch. Die zusammengefassten Gruppenergebnisse sind von höherer Qualität als die nur isolierten Schätzungen einzelner Experten. Es ließ sich demonstrieren, dass die Form der Antwortverteilungen in den ursprünglichen Daten keinen generellen Einfluss auf den Erfolg solcher Schätzungen hat.

Die Ergebnisse des zweiten, an der Universität Marburg veranstalteten Tests, sind in Tabelle 11 enthalten (vgl. Häder/Häder/Ziegler 1995). Tabelle 11:

Fehlerverringerung (Verringerung des Abstandes zwischen dem zu schätzenden Wert und dem tatsächlichen Wert) Aufgabentyp

Zahl der Aufgaben

Erfolgsquote (in %)

Vierstufige Skalen

10

90

Alternativantworten

8

37

Mittelwertschätzung (siebenstufig)

36

61

Mittelwertschätzung (fünfstufig)

2

100

fünfstufige Skalen

2

50

Gesamt

58

63

In einem weiteren Schritt wird analysiert, inwieweit der zu schätzende Wert – oder der „wahre Wert“ – in der letzten Befragungsrunde tatsächlich auch getroffen worden ist. Dazu wird untersucht, ob mindestens ein Teilnehmer den wahren Wert richtig vorhergesagt hat beziehungsweise, ob der wahre Wert von den Schätzungen der Gruppe überdeckt wird. Das Ergebnis des Tests an der Universität Marburg zeigt die Tabelle 12.

Evaluation

197

Tabelle 12: Ergebnis: Treffgenauigkeit (Wahrer Wert wird von den Schätzungen überdeckt) Aufgabentyp

Zahl der Aufgaben

Erfolgsquote (in Prozent)

10

50

Alternativantworten

8

100

Mittelwertschätzung (siebenstufig)

36

89

Mittelwertschätzung (fünfstufig)

2

0

Fünfstufige Skalen

2

100

Gesamt

58

79

Vierstufige Skalen

In diesem Zusammenhang ist ein Zwischenbefund interessant: Offenbar konnten bestimmte Aufgabentypen von den Testteilnehmern besonders gut und andere dagegen weniger befriedigend geschätzt werden. Dies ist ein Hinweis darauf, dass Delphi-Befragungen lediglich unter noch näher zu fixierenden Voraussetzungen valide Resultate zu erbringen vermögen. Zugleich zeigt sich, dass mithilfe von Almanachfragen generelle Urteile über das Funktionieren des Delphi-Ansatzes nur unter Vorbehalt getroffen werden können. Um das Gesamtergebnis der Tests besser bewerten zu können, werden nun die Kriterien Fehlerverringerung und Treffgenauigkeit kombiniert. Im Ergebnis sind vier Erfolgstypen ermittelt worden. Das Resultat zeigt Tabelle 13. Tabelle 13:

Erfolgstypen und deren Auftreten bei einem Test: Kombination von Fehlerverringerung und Treffgenauigkeit Treffgenauigkeit

Fehlerverringerung

Innerhalb des Ranges

Außerhalb des Ranges

Ja

Erfolg

Spezifischer Erfolg

53 Prozent

12 Prozent

Unspezifischer Erfolg

Misserfolg

28 Prozent

7 Prozent

Nein

Von „Erfolg“ wird gesprochen, wenn sich im Verlauf der Befragung sowohl der Fehler der Gruppenschätzung verringert hat als auch der wahre Wert nach der letzten Befragungsrunde von den Schätzungen überdeckt wird. Dementsprechend wird von „Misserfolg“ gesprochen, wenn dies jeweils nicht der Fall ist. Mit einem „spezifischen Erfolg“ einer Delphi-Befragung haben wir es zu tun, wenn sich im Verlauf der Erhebung der Fehler zwar verringert hat, jedoch der wahre Wert von den finalen

198

Evaluation

Schätzungen nicht überdeckt wird. In diesem Fall war das Delphi-Design zwar erfolgreich, da es zur Fehlerverringerung beigetragen hat, jedoch wiederum nicht erfolgreich genug, um den wahren Wert zu treffen. Schließlich wird von einem „unspezifischen Erfolg“ gesprochen, wenn zwar der wahre Wert überdeckt wird, sich im Verlauf der Delphi-Befragung der Fehler jedoch erhöht hat. Hier wäre das DelphiDesign nicht erforderlich gewesen, um zu einer Schätzung zu gelangen, die den wahren Wert abdeckt. Die in Tabelle 13 außerdem enthaltenen Prozentangaben geben Auskunft über die Häufigkeit des Auftretens der einzelnen Typen bei dem an der Universität Marburg durchgeführten Test. Vor allem die folgenden Erkenntnisse gilt es hervorzuheben: 1. Obwohl sich die am Test beteiligten Studenten weder durch besondere Erfahrungen mit empirisch-sozialwissenschaftlichen Untersuchungen noch durch eine tiefergehende Kenntnis statistischer Verteilungen auszeichnen, ist es fast allen gelungen, die Qualität der Schätzungen von Welle zu Welle zu verbessern. Dies lässt sich insbesondere daran zeigen, dass für die Gesamtheit der Testteilnehmer bei allen drei Aufgabentypen von der ersten über die zweite bis zur dritten Welle eine Annäherung an die „wahren Werte“ stattgefunden hat. Dies deutet darauf hin, dass die eingangs (Abschnitt 3.3) erwähnten Denkprozesse tatsächlich zu einer höheren Qualität der finalen Schätzung führen, als dies bei einer nur einmaligen Urteilsabgabe zu erwarten ist. Dabei wird unterstellt, dass im Laufe der Aufgabenbearbeitung immer mehr Kontextwissen für die Problemlösung einbezogen wird, was sich in der Konstruktion immer hochwertigerer mentaler Modelle niederschlägt. Für diese Annahme spricht zum Beispiel, dass unter den vorgegebenen möglichen Orientierungshilfen für die Schätzungen in der zweiten und dritten Welle am häufigsten bei entsprechenden Nachfragen angegeben wurde, nochmals über den Inhalt der Aufgaben nachgedacht zu haben. Damit hat sich gezeigt, dass das Delphi-Design zu einem differenzierten Erkenntnisprozess während der Aufgabenbearbeitung (hervorgerufen durch wiederholte mentale Auseinandersetzung mit der inhaltlichen Aufgabenstellung sowie den Rückmeldungen) führt, der positiven Einfluss auf die Qualität der Ergebnisse hat. 2. Wie gut die Schätzungen der letzten Welle absolut sind, hängt wesentlich von der generellen Eignung der Experten, das heißt ihrer Sachkompetenz schon zu Beginn der Delphi-Studie ab. In dieser Beziehung – und dies war bei der Auswahl von Medizinstudenten des ersten Studienjahres als Testteilnehmer im Unterschied zu den damaligen ZUMA-Mitarbeitern auch nicht anders zu erwarten – war das Expertengremium nicht optimal zusammengesetzt. Das Teilziel des Tests – nachzuweisen, dass eine wiederholte Urteilsabgabe bei unsicherem Wissen zu einer höheren Qualität des Urteils führt – konnte jedoch mit den Studenten eindeutig erreicht werden.

Evaluation

199

3. Ein weiteres interessantes Testergebnis besteht darin, dass die verschiedenen Aufgabentypen mit unterschiedlichem Erfolg absolviert wurden. So sind die finalen Punktschätzungen zu den Wichtigkeitsurteilen (Mittelwertschätzungen) insgesamt von höherer Qualität als die Verteilungsschätzungen, die Fragen zum Zeitbewusstsein (Schätzung der Ergebnisse von vier- und fünfstufigen Skalen) betrafen. Die Frage, inwiefern hier eine Regelmäßigkeit vermutet werden kann, der zufolge es möglicherweise einfacher ist, Punktschätzungen abzugeben, kann allerdings aufgrund dieser Testanordnung nicht untersucht werden. 4. Weitere Anhaltspunkte liefert hierzu ein Aufgabensplitt, der im Test vorgenommen wurde. Dieser wird im Folgenden kurz dargestellt. Der Splitt sah für den einen Teil der Teilnehmer vor, dass sie die Ergebnisse fünfstufiger Skalen als Mittelwert schätzen. Die andere Hälfte der Teilnehmer hatte die Aufgabe, die Randverteilungen dieser Skala zu schätzen. Im Ergebnis zeigt sich, dass nur bei einem Aufgabentyp – bei der Schätzung von Mittelwerten – die befragten Studenten dazu in der Lage sind, Mehrheitsmeinungen richtig wiederzugeben. Differenziertere Auskünfte über relativ feine Abstufungen dieses Urteils gelingen ihnen jedoch nicht. Die kompliziertere Schätzung von einzelnen Skalenpunkten übersteigt zumindest die Kompetenz der an diesem Test beteiligten Studenten. So wird tatsächlich nur ein Meinungsklima (vgl. Noelle-Neumann 1989) wahrgenommen und nicht etwa detaillierte Meinungsdifferenzierungen. Differenziertere, über eine Widergabe des Meinungsklimas (auf dem Niveau von Mittelwerten) hinausgehende Urteile sind zumindest von Experten ohne statistische Grundkenntnisse auch nicht zu erwarten gewesen. Zusammenfassend ist zu vermerken: Die Delphi-Methode hat sich – unabhängig vom Grad der Kompetenz der befragten Experten – bewährt, um latent vorhandenes Wissen zu aktivieren beziehungsweise zu reproduzieren. Es konnte gezeigt werden, dass es durch das Delphi-Design zur Auslösung eines Erkenntnisprozesses kommt. So gelang selbst bei Aufgaben (vierstufige Verteilungsschätzungen), die die methodische und inhaltliche Kompetenz der Testteilnehmer offenbar überstiegen, eine Verringerung des Schätzfehlers von der ersten zur dritten Welle. 11.4

Begründung der Funktionsweise von Delphi-Befragungen mithilfe kognitionspsychologischer Tests

Beide bisher in den Abschnitten 11.2 und 11.3 behandelten Konzepte zur Evaluation des Delphi-Ansatzes gingen davon aus, dass die Delphi-Befragung dazu genutzt werden soll, um einen bestimmten (unklaren) Sachverhalt möglicht exakt vorherzusagen. Weiter vorn (Abschnitt 2.4) wurde jedoch gezeigt, dass die mit DelphiBefragungen zu bearbeitenden Ziele weitaus vielfältiger sind. Um das Funktionieren des Delphi-Ansatzes auch für andere Ziele zu kontrollieren, muss deshalb ein differenzierterer Ansatz gewählt werden. Ein solcher wird nun demonstriert.

200

Evaluation

Delphi-Befragungen versuchen das latente Wissen von Experten zu aktivieren. Um die bei den Experten während der Bewertung unsicherer Sachverhalte ablaufenden kognitiven Prozesse deutlich zu machen, wurden in einem Experiment spezielle kognitive Nachfragetechniken eingesetzt. Zugleich dienten diese Tests dazu, die Urteile von Experten denen gegenüber zu stellen, die von ausgesprochenen Nichtexperten abgegeben worden waren (vgl. Häder/Rexroth 1998b, Häder 2000c, Faulbaum/Prüfer/Rexroth 2009). Den Ausgangspunkt für die Tests bildeten die Überlegungen von Sudman, Bradburn und Schwarz (1996) zu den kognitiven Aspekten bei der Beantwortung von Survey-Fragen. Danach müssen die Zielpersonen: 1. Die Frage verstehen (comprehension and interpretation process). 2. Im Gedächtnis nach relevanter Information suchen (retrieval-process) und eventuell ein früheres Urteil erinnern. 3. Dann muss eine Antwort erarbeitet werden (judgment-formation). 4. Sie müssen diese Antwort in eine Skala einpassen. 5. Eventuell muss die Antwort editiert werden, zum Beispiel aufgrund der Tendenz, eine sozial erwünschte Antworten geben zu wollen (editing-process). Das Ziel der Tests bestand darin, die Art und Weise, in der Experten bei einer Delphi-Befragung über diese fünf Schritte zu ihren Antworten gelangen, offen zu legen. Mithilfe gezielter Nachfragen (Probings) wurde geprüft, in welchen Denkschritten Experten Prognoseaufgaben lösen. Dazu diente eine Zusatzstudie, die ergänzender Bestandteil einer Delphi-Befragung zum Thema „Demographische Veränderungen – Zukünftige Anforderungen und Strategien im Handwerk“ war (vgl. auch Abschnitt 7.7.4). In zwei Wellen wurden in der Hauptstudie in den Jahren 1997 und 1998 insgesamt 387 Experten befragt, in der methodischen Zusatzstudie wurden zehn Personen (Experten und Laien) einbezogen. Das Frageprogramm der methodischen Zusatzstudie bestand aus einem vierseitigen, von den Teilnehmern im Beisein eines Interviewers auszufüllenden schriftlichen Fragebogen mit 34 Einzelfragen. Die inhaltliche Aufgabe bestand darin, detaillierte Veränderungen im deutschen Handwerk bis zum Jahre 2010 zu schätzten. Zusätzlich wurde ein kognitives Instrument eingesetzt, in dem gezielte Nachfragen an die Teilnehmer gestellt wurden. In der Zusatzstudie wurde das gleiche Feed-back wie in der Studie zum Handwerk in Deutschland gegeben. Bei der Zusatzstudie befanden sich Interviewer und Befragte im gleichen Raum. Die Antworten wurden auf Tonband mitgeschnitten. Anschließend wurden diese etwa 12 Stunden Mitschnitte verschriftet. Zwei typische Nachfragen lauteten zum Beispiel: ĺ Haben Sie bei der Beantwortung der Fragen eher geraten oder haben Sie aufgrund konkreten Wissens geantwortet? [Falls nicht geraten:] Was waren das für Kenntnisse, die Ihnen zur Verfügung standen?

Evaluation

201

ĺ Welche Rolle spielten die Rückmeldungen bei Ihren Einschätzungen? Eine ausführliche Darstellung des Untersuchungsdesigns findet sich bei Häder und Rexroth (1998b). Die Analyse der Antworten wurde dann aufgrund der folgenden Kriterien vorgenommen: 1. Verfügen die Teilnehmer über Wissen zu denjenigen Aspekten, von denen die vorherzusagende Entwicklung abhängt? Solches Wissen kann in Form von expliziten oder impliziten Theorien vorhanden sein. 2. Haben die Teilnehmer (genaues) Wissen zum Ausgangsniveau beziehungsweise zu den Anfangsbedingungen der unabhängigen Größen? 3. Welche Randbedingungen berücksichtigen die Teilnehmer bei ihren Überlegungen? 4. Welche Zusammenhänge (Context Effects) berücksichtigen die Teilnehmer bei ihren Vorhersagen? 5. Wie viel Eingebung schließt die Vorhersage ein? 6. Auf welche Weise ziehen die Teilnehmer das Feed-back in Betracht? In der folgenden Übersicht (vgl. Abbildung 9) werden diese Kriterien nochmals als Graphik dargestellt. Dieser Darstellung liegt das wissenschaftstheoretische Modell für Prognosen nach Carl G. Hempel und Paul Oppenheim (1948) – im mittleren Kästchen dargestellt – zugrunde. Abbildung 9: Kriterien für die Analyse Inspiration (5)

Feed-back (6)

Explizite und implizite Theorien (1)

Zusätzliche Bedingungen (3)

Anfangsbedingungen (2)

Kontext Effekte (4)

Explanandum

Zusammenfassend sind in den Gesprächen die folgenden Ergebnisse ermittelt worden, wobei zur besseren Illustration der Befunde einige Auskünfte zitiert werden sollen: 0.

Zunächst kannten einige Experten andere Prognosen zum Handwerk in Deutschland. In diesem Fall gaben die Experten keine Schätzungen im Sinne des wissenschaftstheoretischen Modells ab, sondern replizierten lediglich die Ergebnisse der ihnen bekannten Prognosen. Folgt man der Argumentation von Gigeren-

202

1.

Evaluation

zer und Kollegen (1991, vgl. Abschnitt 3.3), so haben wir es hier nicht mit propabilistischen Modellen, sondern mit lokalen mentalen Modellen zu tun. Es wurde in den Gesprächen nicht über explizite, sondern nur über einige implizite Theorien berichtet. Im Rahmen der Tests wurden von den Experten keine expliziten Theorien berichtet, die das Muster „Wenn A vorliegt, dann tritt B ein.“ Aufweisen. Solche Theorien liegen zu dem hier untersuchten Gebiet, dem Handwerk in Deutschland, offenbar nicht vor. Allerdings wurde stattdessen eine Reihe von impliziten Theorien zu Rate gezogen. Dies sollen folgende Beispiele zeigen: 1a) Die Teilnehmer prüfen, ob es möglich ist, Extrapolationen der gegenwärtigen Trends vorzunehmen. Vorausgesetzt, es liegt Wissen über vorangegangene Entwicklungen vor, so besteht prinzipiell die Möglichkeit, diese Entwicklungen fortzuschreiben. Ob eine solche Extrapolation jedoch tatsächlich zulässig ist, hängt wieder von verschiedenen Bedingungen ab. In den folgenden Äußerungen wurde die Idee von Extrapolationen aufgegriffen. Interessant ist dabei, dass auch die Bedingungen für den Einsatz von Extrapolationen mit bedacht wurden. Experte, ID09: „Bei der Frage 1.1 nahm ich an, dass es weiterhin sehr wahrscheinlich ist, dass wir ein Arbeitskräfteüberangebot haben. Einfach, weil man die Aktualität fortschreiben kann, weil ich nicht davon ausgehe, dass der Euro zu einer erheblichen Entlastung des Arbeitsmarktes beiträgt.“ Experte ID08: „Ich glaube nicht, dass die Entwicklung wie in den letzten Jahren weitergeht. ... Ich bin schon lange davon überzeugt, dass die 610 Mark ... irgendwo eine Grenzlinie darstellen. ... Jetzt ist die Grenze erreicht. ... Damit ist das etwas aus den Fugen geraten.“ 1b) Die Teilnehmer nutzen Analogieschlüsse. Dabei werden bereits bekannte Entwicklungen auf den zu prognostizierenden Bereich übertragen, wie etwa im folgenden Gesprächsausschnitt die Situation im Bäckerhandwerk auf das gesamte Handwerk: Experte ID01: „Sonntagsarbeit ... der Dienstleistungsgedanke ... wird zunehmen. Denke ich doch. Da hoffe ich, dass wir irgendwann einmal amerikanische Verhältnisse kriegen. Was nicht heißen soll, dass amerikanische Verhältnisse in allen Bereichen gut sind. In dem Bereich aber denke ich doch schon. Wie man ja auch sieht im Bäckerhandwerk zum Beispiel.“ 1c) Die Teilnehmer nutzen Wissen über den „allgemeinen Charakter“ des deutschen Handwerks. Sie verfügen über konkrete Leitbilder, die aufgrund der bisherigen Entwicklung des Handwerks zustande gekommen sind. Daraufhin werden deduktiv prognostische Aussagen begründet, wie etwa in diesen beiden Situationen:

Evaluation

2.

203

Interviewer: „Haben Sie bei den einzelnen Einschätzungen geraten, oder haben Sie da konkrete Hinweise zur Verfügung, an denen Sie sich orientiert haben?“ Experte ID09: „Konkretes Wissen nicht, aber es ist natürlich ein in mir steckendes Leitbild, das von einer zunehmenden Flexibilisierung in der Wirtschaft ausgeht. Da sind viele Fragen, die mit diesem Leitbild automatisch eine gewisse Antwort implizieren.“ Experte ID11: „Die Frage ist wirklich schwer zu beantworten, wie das Handwerk reagieren wird. Das Handwerk reagiert auf solche Entwicklungen immer sehr zurückhaltend. Das Handwerk ist ja irgendwo erzkonservativ und deswegen müsste man hier sehr vorsichtig sein ...“ 1d) Die Teilnehmer gehen von einem Vorausgruppenkonzept aus. Solche Vorausgruppen nehmen die allgemein zu erwartenden Entwicklungen bereits heute „im Kleinen“ vorweg. In der folgenden Bemerkung wird eine solche Vorausgruppe bestimmt: Experte ID11: „Wenn man solche Fragen gestellt bekommt, denkt man in erster Linie an die Bereiche, die im Handwerk besonders stark vertreten sind ... einmal der Bau als Marktführer oder als Konjunkturindikator und zum zweiten der KFZ-, Metallbereich ... Man denkt weniger an Randgruppen, zum Beispiel Damen- oder Herrenschneider.“ 1e) Für Vorhersagen werden Kosten-Nutzen-Überlegungen angestellt. Danach ist ein bestimmtes Verhalten dann in der Zukunft zu erwarten, wenn sich die Akteure einen ausreichenden Nutzen versprechen. Dies wird beispielsweise in der folgenden Äußerung deutlich. Interessant ist dabei auch, dass dieses Modell wiederum nur für einen bestimmten Kreis, hier für junge Unternehmer, herangezogen wird. Experte ID01: „Da ist wieder meine Erfahrung ..., dass eigentlich immer weniger Unternehmer sich unbedingt in Arbeitgeberverbänden organisieren wollen. Weil inzwischen wird einfach gefragt ... was bringt mir das? Wenn man dann teilweise sagen muss, das bringt mir recht wenig, im Gegenteil, es engt mich sogar ein, in Form von Einzelverträgen, dann glaube ich, wird einfach mehr nach den Kosten-Nutzen gefragt. Und dann sehen es zumindest junge Unternehmer, dass die Kosten bei weitem den Nutzen überwiegen.“ Neben expliziten und impliziten Theorien über den Prognosegegenstand ist ein exaktes Wissen über die Ausgangsbedingungen eine weitere Voraussetzung für eine erfolgreiche Prognose. Die gegenwärtige Situation im Handwerk ist den Teilnehmern gut bekannt. Sie vermag die Grundlage für die Prognosen zu geben. Experte ID01: „Wir hatten früher, weil ich mache auch die Konjunkturstatistik für die Handwerkskammer, wir hatten früher 30 Prozent der Betriebe,

204

3.

4.

5.

Evaluation

die waren eher gut, 30 Prozent waren mittendrin, auch sowohl was Wirtschafts- und Ertragslage anging, und ein Drittel war eben im unteren Bereich. Das war völlig normal. Und inzwischen haben wir aber keinen mittleren Betrieb mehr. Wir haben nur noch gute oder schlechte.“ Der Erfolg von Prognosen hängt wesentlich davon ab, ob dabei zusätzliche Bedingungen und Kontexteffekte einbezogen wurden. Es ist einleuchtend, dass etwa Entwicklungen auf dem internationalen Rohstoffmarkt auch Relevanz für das deutsche Handwerk besitzen. Vor allem besonders wünschenswerte Entwicklungen sowie die entsprechenden finanziellen Voraussetzungen fanden bei den Teilnehmern Beachtung. So argumentiert beispielsweise ein Experte folgendermaßen: Experte ID08: „Frage F denke ich, wird in sehr starkem Umfang eine Kostenfrage sein. Wenn es finanzierbar ist: ja; wenn es nicht finanzierbar ist: nein. Aber ich denke, es ist nicht finanzierbar.“ Da es nicht möglich ist, für eine bestimmte Prognose neben den entsprechenden Theorien auch alle Anfangsbedingungen exakt zu bestimmen und zugleich die relevanten Kontexteffekte sowie die zusätzlichen Bedingungen zu berücksichtigen, wird eine gewisse Intuition stets erforderlich sein. Die Teilnehmer antworten in einer Reihe von Fällen auch aufgrund von Eingebung oder einfach – wie einige es nannten – „aus dem Bauch heraus“. Der Delphi-Ansatz verspricht sich nicht zuletzt aus der Bekanntgabe der Gruppenergebnisse im Feed-back eine Verbesserung der folgenden Urteile. Für die Experten stellt es offenbar jedoch ein Problem dar, die Beachtung des Feed-back bei der Antwortfindung zuzugeben. Bei einer genaueren Betrachtung des Antworttrends ist jedoch zu erkennen, dass sich die Teilnehmer sehr wohl an den Rückmeldungen orientiert haben. So ließ sich statistisch eine deutliche Korrelation ermitteln zwischen den rückgemeldeten Werten und den Schätzungen in der zweiten Welle. Die folgende Äußerung erscheint typisch für die Haltung der Teilnehmer: Interviewer: „Wie sehr haben Sie sich an den Rückmeldungen der anderen Teilnehmer orientiert?” Experte (ID08): „Ich habe versucht, mich nicht von anderen irritieren zu lassen.”

Die Resultate dieser Probings zusammenfassend sollen folgende Ergebnisse besonders hervorgehoben werden: ĺ Als wichtige Voraussetzung für erfolgreiche Prognosen gilt in der Wissenschaftstheorie das Wissen um Kausalzusammenhänge. Auf solche Kenntnisse sind die Probings jedoch nicht gestoßen. Ein Grund dafür mag sein, dass Wissen dieser Art auf dem betreffenden Gebiet faktisch kaum oder gar nicht existiert. Trotzdem

Evaluation

ĺ ĺ

ĺ

ĺ

205

ließen sich aufgrund der Nachfragen implizite Annahmen extrahieren (vgl. 1a bis 1e), die die Experten ihren Urteilen zugrunde gelegt haben. Die relativ simple Strategie, gegenwärtige Entwicklungen in die Zukunft zu verlängern, wird von den Experten recht vorsichtig gehandhabt. So werden dabei zumindest bestimmte intervenierende Randbedingungen mitgedacht. Überraschend war, dass von den Experten bestritten wird, sich am Feed-back zu orientieren. Hier sind weitere Forschungen notwendig. Erklärtes Ziel des DelphiAnsatzes ist es schließlich, eine aktive kognitive Auseinandersetzung der Experten mit dem Feed-back zu erreichen. Dazu konnte in den Probings allerdings kein Beispiel gefunden werden. Lediglich eine unbewusste Orientierung an den Rückmeldungen ließ sich anhand der Daten nachweisen. Hier wurde offenbar das Potenzial von Delphi-Befragungen nicht wie erwartet genutzt. Eine andere Erklärung wäre, dass die ausdrücklich als Experten in die Studie aufgenommenen Teilnehmer es aufgrund psychologischer Dispositionen ablehnen, die Orientierung am Feed-back gegenüber dem Interviewer zuzugeben. Insgesamt trugen die Ergebnisse jedoch zur weiteren Legitimation des DelphiAnsatzes bei. So zeigt sich, dass hinter den Antworten der Experten teilweise komplexe kognitive Prozesse stehen. Die Aussage „Das habe ich einfach geraten.“ bleibt bei den Probings die Ausnahme. So kann man davon ausgehen, dass die Experten Wissen aktivieren, welches die zu prognostizierenden Ereignisse einer Klärung näher bringen. Bei der kognitiven Bearbeitung des Prognoseproblems haben sich zwischen Experten und Nichtexperten sowohl deutliche Differenzen als auch einige Gemeinsamkeiten gezeigt. Auch diese Hinweise sind für das Verständnis des DelphiAnsatzes von Bedeutung. Von Experten und von Nichtexperten formal ähnlich absolvierte Denkoperationen bei Prognosen sind: -

-

die Nutzung von zum Beispiel durch Berufs- oder Alltagserfahrung umschriebenen Intuitionen; dies trifft jedoch stärker für die Nichtexperten zu, die Suche nach Extrapolationsmöglichkeiten gegenwärtiger Trends, wobei lediglich von den Experten die möglichen Grenzen solcher Strategien mitbedacht werden, die Beachtung der Realisierungschancen möglicher Entwicklungen vor allem unter dem Kosten-Nutzen-Aspekt.

Die Spezifik des Expertendenkens bei Prognosen besteht dagegen in folgendem: -

Nutzung von Information aus bereits vorliegenden und den Experten bekannten Prognosen, Erstellen von Analogieschlüssen, Benutzung von Vorausgruppenkonzepten,

206

Evaluation

-

Konstruktion und „Befragung“ von Leitbildern, die über das Untersuchungsobjekt existieren, Berücksichtigung bestimmter externer Entwicklungen.

-

Nicht zuletzt haben die Ergebnisse gezeigt, dass es noch Forschungsbedarf gibt, um hinreichend zuverlässige Aussagen über das kognitive Zustandekommen der Urteile zur subjektiven Sicherheit von Schätzungen zu treffen. Eine Verallgemeinerung dieser ersten Befunde ist hier nicht beabsichtigt. Forschungsarbeiten mit einer solchen Orientierung sind von Interesse für die Veranstalter und Nutzer von DelphiStudien, für die Evaluation von Expertenratings und nicht zuletzt auch für die Umfrageforschung generell. In Abbildung 10 werden die Ergebnisse des Tests zusammengefasst dargestellt. Abbildung 10: Schematische Zusammenfassung der Ergebnisse Inspiration

Explizite Theorien, Implizite Theorien ĺ Extrapolationen ĺ Kosten / Nutzen ĺ Andere Prognosen ĺ Analogien ĺ Vorausgruppen

Zusätzliche Bedingungen Kontext-Effekte aus: ĺ Politik ĺ Technik ĺ Industrie ĺ ...

Bedingungen

Feed-back Legende:

11.5

? Nicht gefunden

Explanandum bei allen Teilnehmern

nur bei Experten

Vergleich von Delphi-Befragungen mit anderen Ansätzen

Neben den verschiedenen empirischen Tests zur Evaluation einzelner Aspekte des Delphi-Ansatzes, wie sie etwa in den drei vorangegangenen Abschnitten behandelt wurden, finden sich auch Veröffentlichungen, in denen eine Legitimation des Delphi-Ansatzes gegenüber anderen Methoden thematisiert wird. Kritiker merkten in Bezug auf die Leistungsfähigkeit der Delphi-Methode wiederholt an, dass den bekannten Vorteilen von Delphi-Befragungen gegenüber Gruppendiskussionen beziehungsweise Brainstorming – als da sind:

Evaluation

„1. 2. 3.

207

das Vorhandensein dominierender Persönlichkeiten in der Gruppe das Vorhandensein irrelevanter Informationen und Kommunikation das Vorhandensein eines Gruppenzwanges zur Konformität” (Albach 1970:18) –

auch gravierende Nachteile gegenüberstünden. Dazu zählen zum Beispiel der Konsensdruck durch das Feed-back und ein zu starres Befragungsschema. DelphiBefragungen würden deshalb keineswegs zu besseren Ergebnissen führen als beispielsweise Gruppendiskussionen. In verschiedenen Experimenten wurde deshalb die Leistungsfähigkeit von Delphi im Vergleich zu Gruppendiskussionen empirisch untersucht. Parenté und Anderson-Parenté (vgl. 1987) kommen bei einem solchen Test zum Beispiel zu dem Ergebnis: „Nevertheless, the general trend is toward more valid judgments over iteration”. Ihr Experiment zeigt, dass Delphi bessere kurzfristige Vorhersagen erbringt, als dies im Ergebnis von Gruppenbefragungen der Fall ist (vgl. auch Riggs 1983:93). Bei Almanachfragen ergibt sich jedoch in anderen Tests ein entgegengesetztes Resultat (vgl. Brockhoff 1975): Hier sollen Gruppendiskussionen leistungsfähiger sein als der Delphi-Ansatz. Die Ergebnisse dieser allerdings nicht sehr zahlreichen Experimente zusammenfassend ist einzuschätzen, dass das Delphi-Design sich bisher gegenüber anderen Verfahren, insbesondere der Gruppendiskussion, nicht in jedem Fall als die überlegene Technik erwiesen hat. Insgesamt erscheint die Diskussion Delphi-Befragungen versus Gruppendiskussion jedoch noch relativ wenig fortgeschritten (vgl. Abschnitt 4.1). Es fehlen Einschätzungen darüber, unter welchen Randbedingungen die beiden Methoden jeweils zum gewünschten Erfolg führen. So sind die Besonderheiten des jeweiligen Forschungsgegenstandes und die Struktur der Expertengruppe weitere Aspekte, die für das Gelingen einer Expertenbefragung wesentlich sein dürften und die bei der Diskussion um die Entscheidung zwischen Delphi-Befragung oder Gruppendiskussion stärker berücksichtigt werden sollten. Auch dürfte die eingeführte Typologisierung von Delphi-Befragungen einen Beitrag dazu leisten, um sich zunächst stärkere Klarheit über das Anliegen der Befragung zu verschaffen und darauf aufbauend dann abzuwägen, über welche methodischen Alternativen bei der Konzipierung der Studie nachgedacht werden kann. So ist die bisherige Konfrontation zwischen Delphi-Befragungen und Gruppendiskussionen zu wenig differenziert ausgetragen worden. Fruchtbarer sollte dagegen die Erörterung der Frage sein, ob Delphi-Befragungen oder Gruppendiskussionen eher dazu geeignet sind, um 1. Ideen zu aggregieren, 2. einen diffusen Sachverhalt zu bestimmen, 3. die Ansichten von Experten zu qualifizieren und zu ermitteln oder um 4. Konsens zwischen den Teilnehmern zu erzeugen.

208

11.6

Evaluation

Tests mithilfe eines manipulierten Feed-backs

Abschließend wird in diesem Zusammenhang über einen besonderen Test berichtet, der indirekt ebenfalls zur Evaluation des Delphi-Ansatzes beitragen kann. Dabei werden das Feed-back über die Gruppenleistung bewusst manipuliert und danach die dadurch provozierten Folgen beobachtet. Als erste untersuchten R.F. Cyphert und W.L. Gant (vgl. 1970, 1971) das Problem der Manipulation von Delphi-Befragungen über ein gezielt verändertes Feedback in einem Experiment. Eine als wenig wichtig eingestufte Vorgabe wurde manipuliert und den Experten nach der ersten Welle in der Rückinformation als angeblich höher bewertet rückgemeldet. Tatsächlich folgten die Experten dieser Manipulation zunächst, indem sie das entsprechende Item in der nächsten Runde nun ebenfalls als bedeutsamer einschätzten. Trotzdem gelangte diese Vorgabe nach Abschluss aller Delphi-Runden schließlich nicht unter die zehn wichtigsten. Die Teilnehmer sind also wieder von der durch Manipulation erzeugten Haltung abgewichen. M. Scheibe, M. Skutsch und J. Schofer (vgl. 1975) gaben den bei einer DelphiBefragung zu Almanachfragen teilnehmenden Experten nach der ersten Runde ebenfalls eine falsche Rückmeldung und beobachteten dann, ob sich die Experten stärker an dieser manipulierten Rückmeldung orientierten oder ob sie dieses gefälschte Feed-back ignorieren und sich (trotzdem) dem wahren Wert annähern würden. Auch ihr Ergebnis spricht für die Delphi-Methode: Die Experten ließen sich in ihren Urteilen zwar zunächst von der (manipulierten) Rückmeldung beeinflussen, bewegten sich jedoch in der folgenden Welle in ihren Schätzungen wieder stärker auf den wahren Wert zu als nach der ersten Welle. Dieses häufig zitierte Experiment zeigt, dass bei den Experten im Spannungsfeld zwischen Konsens und Gruppenzwang auf der einen Seite und der Orientierung an leistungsfähigen individuellen Cues auf der anderen Seite, letzteres dominieren kann und eine Annäherung an den wahren Wert durchaus möglich ist. Mit anderen Worten: Die Experten folgen dem Feed-back nicht blind, sondern verarbeiten dieses kritisch. Nelson (vgl. 1978) beleuchtete – unter einem etwas anderen Vorzeichen – die Möglichkeiten und Folgen einer massiven, über alle Runden einer Delphi-Befragung erfolgten Manipulation des Feed-backs2. Dabei wurde eine fakten- sowie eine werteermittelnde Delphi-Befragung betrachtet. Es stellte sich bei diesem Test heraus, dass die permanente Manipulation des Feed-back zu einer starken Instabilität der Ergebnisse führte, wobei diese Tendenz bei der faktenermittelnden Delphi-Befragung noch stärker war als bei der werteermittelnden Befragung.

2

Gordon Welty berichtet ebenfalls über eine Manipulation des Feed-backs während der gesamten Studie. Die in den verschiedenen Publikationen dazu geschilderten Befunde (vgl. 1971a, 1971b, 1972a, 1972b, 1973) sind jedoch unübersichtlich und widersprüchlich.

Evaluation

209

Zu einem versehentlich falschen Feed-back kam es in der Mini-Delphi Studie des Fraunhofer-Instituts für Systemtechnik und Innovationsforschung von 1995. Infolge eines technischen Fehlers wurde die Gruppenmeinung nicht korrekt rückgemeldet. Im Ergebnis korrigierten eine Reihe von Teilnehmern ihre Schätzungen in Richtung auf das falsche Feed-back. Interessant ist jedoch, dass sich Experten mit besonders hoher Expertise nicht von der Rückmeldung beeindrucken ließen und an ihren Meinungen festhielten (vgl. Cuhls/Breiner/Grupp 1995, Blind/Cuhls 2001). Der kognitionspsychologisch interessante Hintergrund von Manipulationen des Feed-backs ist die Vermutung, die Teilnehmer an einer Delphi-Befragung würden sich bei ihren Schätzungen in den Folgerunden lediglich am Feed-back und nicht beziehungsweise zu wenig am wahren Wert orientieren. Nun überrascht es tatsächlich nicht, wenn sich die Schätzungen in der auf eine Manipulation folgenden Runde nicht (weiter) in Richtung auf den wahren Wert bewegen. Die Rückmeldung wird als eine zusätzliche Orientierungshilfe bei der Beurteilung von Sachverhalten benutzt, zu denen nur unvollständiges Wissen vorliegt. Damit kann nicht erwartet werden, dass ein manipulierte Feed-back von den Experten völlig ignoriert wird − es sei denn, die Experten würden sich gegenseitig als nicht kompetent einschätzen. Alle beschriebenen Experimente haben aber gezeigt, dass das Feed-back bei den Teilnehmern lediglich eine zusätzliche Erkenntnisstütze darstellt, die mit anderen in Verbindung gebracht wird. Damit kann immerhin nicht davon ausgegangen werden, dass ab der zweiten Runde eine Bewegung der Gruppenmeinung ausschließlich in Richtung auf die (manipulierte) Rückmeldung erfolgt. Es verdient weiter hervorgehoben zu werden, dass es kompetenteren Experten gelingt, die eigene Fachkenntnis korrekt einzuschätzen und folglich ein unrichtiges Feed-back zu ignorieren.

12

Methodenforschung zu Delphi-Befragungen

Abschließend wird in diesem Kapitel gezeigt, auf welchen Gebieten derzeit vor allem ein methodischer Forschungsbedarf für Delphi-Befragungen besteht. In den vorangegangenen Abschnitten wurde bereits an verschiedenen Stellen ein solcher Bedarf angedeutet. Es kann einleitend konstatiert werden, dass Delphi-Befragungen in letzter Zeit nicht nur verstärkt genutzt werden, sondern auch häufig im Mittelpunkt verschiedener methodischer Forschungsbemühungen stehen. Dies stellt eine relativ neue Entwicklung dar und lässt auf eine generelle Sensibilisierung gegenüber dem DelphiAnsatz schließen. Insgesamt sollen vier Forschungsgebiete besonders hervorgehoben werden: Forschungen zu einzelnen Design-Aspekten von Delphi-Befragungen Noch immer gilt, dass zahlreiche Modifikationen, die bei Delphi-Befragungen vorgenommen werden, ohne eine ausreichende methodische Begleitung bleiben. Solche Modifikationen betreffen etwa die Anzahl der zu rekrutierenden Teilnehmer, die Zahl der Befragungswellen, die benutzten Fragetypen, die Gestaltung des Feed-backs sowie weitere Aspekte. Eine stärkere Sensibilisierung gegenüber methodischen Problemen weiterhin vorausgesetzt, sollten solche Modifikationen besser dokumentiert und mit geeigneten Methoden evaluiert werden. Plädiert wird hier nicht für einen Verzicht auf methodische Innovationen, sondern für die Beobachtung der durch solche Designmodifikationen erzeugten Wirkungen. Völlig unbefriedigend ist gegenwärtig auch der Forschungsstand in Bezug auf die Standardisierung des Designs von Delphi-Befragungen. Es wurde vielfach gezeigt, dass bei Delphi-Befragungen ein relativ großzügiger Umgang mit Modifikationen des (ursprünglichen) Delphi-Designs zu beobachten ist. Allerdings fehlt es an Wissen darüber, welche Einflüsse aus der Abänderung des klassischen Delphi-Designs auf die Ergebnisse der Befragung ausgehen. Ein strengeres Regelwerk, vergleichbar etwa mit den Richtlinien für das Vorgehen bei postalischen Befragungen, wäre mittelfristig zu erarbeiten. 2. Forschungen zu den kognitiven Prozessen, die bei der Beantwortung von Delphi-Fragen ablaufen Interessant und vielversprechend ist die weitere Erkundung der kognitiven Prozesse, die ablaufen, wenn die Experten nach einer Antwort auf die Fragen suchen, die ihnen in einer Delphi-Studie gestellt worden sind. Die Aufklärung des Umgangs mit unsicherem Wissen ist jedoch nicht nur für die Evaluation des Delphi-Ansatzes von Interesse. 1.

212

Methodenforschung

Das Wissen über diese kognitiven Prozesse kann auch bei der DesignEntwicklung für eine Delphi-Studie hilfreich sein. Mithilfe entsprechender Erkenntnisse könnte beispielsweise eine gezieltere Zusammenstellung der Expertengruppe erfolgen. Auch würde dies eine wichtige Unterstützung bei der Interpretation der Ergebnisse bedeuten. 3. Forschungen zu Delphi-Befragungen im Internet Erfahrungen zum Internet als Vermittlungsmedium von Delphi-Befragungen liegen derzeit ebenfalls nur wenige vor. Die publizierten Hinweise sind zunächst noch relativ sporadisch. Hinzu kommt eine beträchtliche Dynamik, in der sich das Internet einschließlich der erforderlichen Software weiterentwickelt, sodass die Möglichkeiten und Grenzen von über das Internet vermittelten DelphiBefragungen ständig überarbeitet werden müssen. In diesem Kontext sind auch neuere Forschungsergebnisse, beispielsweise zur computervermittelten Kommunikation, für den Delphi-Ansatz zu adaptieren. 4. Forschungen zur Evaluation der Ergebnisse von Delphi-Befragungen Die häufige Nutzung von Delphi-Befragungen ist noch keine ausreichende Garantie dafür, dass der Ansatz adäquat funktioniert. Es wird zu prüfen sein, ob die jeweils mit der Nutzung von Delphi-Befragungen verknüpften Erwartungen mithilfe der benutzten Strategie eingelöst werden können. Es geht bei der Evaluation weiterhin vor allem darum, den Zusammenhang zwischen den verschieden Designelementen und der Qualität der Ergebnisse der Befragung aufzudecken. Die in den entsprechenden Abschnitten vorgestellten Ansätze zur Evaluation basieren zumeist auf einer nur geringen Fallzahl, sodass eine Generalisierung der Befunde problematisch wäre. Eine systematische Weiterführung beziehungsweise Replikation vorliegender Evaluationsbemühungen mit dem Ziel, verallgemeinerbare Ergebnisse zu finden, wäre zu begrüßen. Aufschlüsse zur Evaluation können auch über eine Studie des Zusammenhangs zwischen dem Grad an subjektiver Sicherheit, mit dem die Experten ihre Urteile abgeben, auf der einen Seite und der Bereitschaft der Experten zur Korrektur ihrer Urteile auf der anderen Seite gewonnen werden. Der Delphi-Ansatz geht davon aus, dass die Experten zumindest einen groben Eindruck darüber besitzen, wie sicher die von ihnen gefällten Urteile sind. Dementsprechend kann dann angenommen werden, dass sich das Gruppenergebnis von Welle zu Welle verbessern wird. Unsichere Urteile werden in den Folgewellen korrigiert und sichere reproduziert. Weitgehend unklar ist jedoch noch, welche weiteren Determinanten eine Korrektur der Urteile beziehungsweise ein Orientieren am rückgemeldeten Gruppenergebnis bewirken oder auch verhindern. Auch die Rolle, welche solche Merkmale wie Herkunft, Profession, Geschlecht, Alter und weitere Persönlichkeitsmerkmale der Experten bei der Konstituierung ihrer Urteile spielt, ist noch weiter aufzudecken. In der Einstellungsforschung ist das Vorhandensein eines Einflusses von Persönlichkeitsmerkmalen

Methodenforschung

213

auf das Antwortverhalten unstrittig. Bei Delphi-Befragungen finden die Persönlichkeitsmerkmale der Teilnehmer bisher jedoch kaum Beachtung, wenn es um die Zusammenstellung der Expertengruppe und die Interpretation der Ergebnisse geht. Forschungen zum Delphi-Ansatz finden teilweise am Schnittpunkt zu anderen Wissensgebieten statt. Es können somit Synergieeffekte erwartet werden. Dies gilt beispielsweise für das Forschungsgebiet Wissensmanagement1. Hier geht es darum, in weltweit agierenden Unternehmen Wissen als bislang vernachlässigte Ressource aufzuspüren. Dabei spielt nicht nur explizites, sondern vor allem auch implizites Wissen eine Rolle. Das Wissensmanagement versucht nun – ähnlich wie auch der Delphi-Ansatz – dieses Wissen zu strukturieren und für Entscheidungen zur Verfügung zu stellen.

1

Weitere Informationen finden sich unter der folgenden URL: http://www.ewf-solutions.com/de/presse/printjobpilot.htm

Literatur

A Aderman, D.; Brehm, S.S.: On the Recall of Initial Attitudes Following Counterattitudinal Advocacy: An Experimental Reexamination. In: Personality and Social Psychology Bulletin, 2 (1976) 1, S. 59 - 62. Aichholzer, G.: Innovative Elemente des österreichischen Technologie-Delphi. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 67 - 94. Albach, H.: Informationsgewinnung durch strukturierte Gruppenbefragung. In: Zeitschrift für Betriebswirtschaft, 40 (1970) Ergänzungsheft, S. 11 - 26. Albrecht, H.: Gefährliche Liaison. In: DIE ZEIT, Nr. 25 vom 15. Juni 2000, S. 43. Alemann, H.v.: Der Forschungsprozeß: Eine Einführung in die Praxis der empirischen Sozialforschung. Stuttgart: Teubner 1984. Altschuld, J.W.; Thomas, P.M.: Considerations in the Application of a Modified Screen Test for Delphi Survey Data. In: Evaluation Review, 15 (1991) 2, S. 179 - 188. Ammon, U.: Delphi-Befragungen. In: Kühl, St.; Strodtholz, P.; Taffentshofer, A. (Hrsg.): Quantitative Methoden der Organisationsforschung: Ein Handbuch. Wiesbaden: VS Verlag für Sozialwissenschaften 2006, S. 115 – 138. Annen, E.: Neue Herausforderungen. In: Marketing & Kommunikation, (1997) 4, S. 66 - 67. Apel, H. (Hrsg.): Jugend '92: Lebenslagen, Orientierungen und Entwicklungsperspektiven im vereinigten Deutschland. Opladen: Leske und Budrich 1992. Armbruster, H.; Erceg, P.J.; Pandza, K.; Dreher, C.: Managing Knowledge in Manufacturing: Results of a Delphi Study in European Manufacturing Industry. In: International Journal of Foresight and Innovation Policy, 3(2007) 3, S. 256 - 276. Aronson, E.; Turner, J.; Carlsmith; J.: Communicator Credibility and Communication Discrepancy as Determinats of Opinion Change. In: Journal of Abnormal Social Psychology, 67 (1963) 1, S. 31 - 36. Assenmacher, W.: Deskriptive Statistik. Berlin Heidelberg: Springer 1996. Atteslander, P.: Methoden der empirischen Sozialforschung. Berlin New York: de Gruyter 1984. B Baier, E.; Kimpeler, S.; von Oertzen, J.: Veränderungen der Arbeitswelt bis zum Jahr 2020: Durch den Einsatz von Informations- und Kommunikationstechnologien. In: Zeitschrift für wirtschaftlichen Fabrikbetrieb, 101 (2006) 11, S. 670 - 674. Bardecki, M.J.: Participants’ Response to the Delphi Method: An Attitudinal Perspective. In: Technological Forecasting and Social Change, 25 (1984) 3, S. 281 - 292. Barsalou, L.W.: The Instability of Graded Structure: Implications for the Nature of Concepts. In: Neisser, U. (Hrsg.): Concepts and Conceptual Development: Ecological and Intellectual Factors in Categorization. Cambridge: University Press 1987, S. 101 - 140. Barsalou, L.W.: Intraconcept Similarity and Its Implications for Interconcept Similarity. In: Vosniadou, S.; Ortony, A. (Hrsg.): Similarity and Analogical Reasoning. Cambridge: Cambridge University Press 1989, S. 76 - 121. Batinic, B.; Bosnjak, M.: Psychologische Fragebogenuntersuchungen im Internet. In: Batinic; B. (Hrsg.): Internet für Psychologen. Göttingen: Hogrefe 1997a, S. 288 – 317.

216

Li tera tu r

Batinic, B.; Bosnjak, M.: Zugangswege zum Internet. In: Batinic; B. (Hrsg.): Internet für Psychologen. Göttingen: Hogrefe 1997b, S. 7 – 14. Beck, K.; Glotz, P.; Vogelsang, G.: Die Zukunft des Internet: Internationale Delphi-Befragung zur Entwicklung der Online-Kommunikation. Konstanz: uvk Medien 2000. Beck, K.; Raulfs, A.: Computer als Medium der Medienintegration: Ergebnisse und Erfahrungen einer internationalen online / offline-Delphi-Befragung. In: Reips, U.-D.; Batinic, B.; Bandilla, W.; Bosnjak, M.; Gräf, L., Moser, K.; Werner, A. (Hrsg.): Aktuelle Online-Forschung: Trends, Techniken, Ergebnisse. Hürth: Deutsche Gesellschaft für Online-Forschung 1999. (http://dgof.de/tband99/title.html) Becker, D.: Analyse der Delphi-Methode und Ansätze zu ihrer optimalen Gestaltung. InauguralDissertation zur Erlangung der Würde eines Doktors der Wirtschaftswissenschaften der Universität Mannheim 1974. Beckers, T.; de Boers, C.: De Delphi-methode: technocratie versus democratie? In: Planning, methodiek en toepassing, 2 (1977), S. 26 - 27. Belson, W.A.: The Design and Understanding of Survey Questions. Aldersthot, England: Gower 1981. Belson, W.A.: Validity in Survey Research. Aldershot, England: Gower 1986. Berger, V.F.: Effects of Repression and Acquiescence Response Set on Scales of Authoritarianism and Dogmatism. University of Oklahoma 1967. Berghofer, D.E.: An Application of the Delphi Technique to Educational Planning. In: The Canadian Administrator, 10 (1971), S. 25 - 28. Bernstein, G.; Cetron, M.: SEER: A Delphi Approach Applied to Information Processing. In: Technological Forecasting, 1 (1969) 1, S. 33 - 54. Beuer-Krüssel, M.; Krumpal, I.: Der Einfluss von Häufigkeitsformaten auf die Messung von subjektiven Wahrscheinlichkeiten. In: methoden daten analysen. Zeitschrift für empirische Sozialforschung, 3 (2009) 1, S. 31 – 57. BIBB: Leistungsbeschreibung zum Vorhaben “Delphi-Erhebung zur Identifikation von Forschungsund Entwicklungsaufgaben in der beruflichen Aus- und Weiterbildung”. Arbeitspapier der AGBFN Forschungsdelphi des Bundesinstituts für Berufsbildung. Bonn Berlin: BIBB 2000. Binsbergen, P.A.; de Boer, H.F.; Maassen, P.A.M.: Delphi: van orakel naar methode? In: Delphi: methode of Mode. SISWO pub. 327. Amsterdam 1988a, S. 35 - 46. Binsbergen, P.A.; de Boer, H.F.: Hoger Onderwijs in de jaren ‘90. Twente: CSHOB 1988b, S. 16 39. Blind, K.; Cuhls, K.: Der Einfluss der Expertise auf das Antwortverhalten in Delphi-Studien: Ein empirischer Test theoretischer Hypothesen. In: ZUMA-Nachrichten, 25 (2001) 49, S. 57 - 80. Blohm, H.; Steinbuch, K. (Hrsg.): Technische Prognosen in der Praxis. Düsseldorf: VDI-Verlag 1972. BMFT (Hrsg.): Deutscher Delphi-Bericht zur Entwicklung von Wissenschaft und Technik im Auftrag des Bundesministeriums für Forschung und Technologie (BMFT). Bonn: BMFT 1993. Bodenhausen, G.V.; Wyer, R.S.: Social Cognition and Social Reality: Information Acquisition and Use in the Laboratory and the Real World. In: Hippler, H.-J.; Schwarz, N.; Sudman, S. (Hrsg.): Social Information Processing and Survey Methodology. New York: Springer 1987, S. 6 - 41. Bodzenta, E.; Reuer, C.; Speiser, I.: Strukturverbesserung für Wien. Wien Köln Graz: Bühlau 1983. Böhme, G.: Bildung als Widerstand. In: DIE ZEIT, Nr. 38 vom 16. September 1999, S. 51. Bohnsack, R.: Rekonstruktive Sozialforschung: Einführung in Methodologie und Praxis qualitativer Forschung. Opladen: Leske und Budrich 1999. Böltken, F.: Auswahlverfahren: Eine Einführung für Sozialwissenschaftler. Stuttgart: Teubner 1976. Borg, I.: Some Basic Concepts of Facet Theory. In: Lingoes, J.C. (Hrsg.): Geometric Representations of Relational Data. Ann Arbor, MI: Mathesis Press 1977, S. 65 – 102.

Literatur

217

Borg, I.: Grundlagen und Ergebnisse der Facettentheorie. Bern Göttingen Toronto Seattle: Verlag Hans Huber 1992. Bortz, J.: Lehrbuch der Statistik für Sozialwissenschaftler. Berlin: Springer 1985. Brase, G.L.; Cosmides, L.; Tooby, J.: Individuation, Counting, and Statistical Inference: The Role of Frequency and Whole-Object Representations in Judgment Under Uncertainty. In: Journal of Experimental Psychology: General, 127 (1998) 1, S. 3 – 21. Braun, M.: Einstellung oder Meinung? Änderung der Interpretation von Items im Zuge des sozialen Wandels und ihre Konsequenzen für die interkulturell vergleichende Sozialforschung. In: Mohler, P.Ph.; Lüttinger, P. (Hrsg.): Querschnitt: Festschrift für Max Kaase. Mannheim: ZUMA 2000, S. 47 - 71. Breuer, Ch.: Herausforderungen für das Sportmanagement im beginnenden 21. Jahrhundert. In: Klein, M. (Hrsg.): Guter Sport in schlechter Gesellschaft? Heilsversprechen, Legitimationskrisen und strukturelle Probleme des Sports nach dem Ende des 21. Jahrhunderts. Erfurt: Universität Erfurt 2000, S. 142 – 165. Bright, J.: A Brief Introduction to Technological Forecasting: Concepts and Exercises. Austin: Permaquid Press 1972. Brockhaus, W.L.; Mickelsen, J.F.: An Analysis of Prior Delphi Applications and Some Observations on its Future Applicability. In: Technological Forecasting and Social Change, 10 (1977) 1, S. 103 – 110. Brockhoff, K.: The Performance of Forecasting Groups in Computer Dialogue and Face to Face Diskussions. In: Linstone, H.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass.: Addison-Wesley 1975, S. 291 – 321. Brockhoff, K.: Delphi-Prognosen im Computerdialog: Experimentelle Erprobung und Auswertung kurzfristiger Prognosen. Tübingen: J. C. Mohr 1979. Bronner, R.; Matiaske, W.; Stein, F.A.: Anforderungen an Spitzen-Führungskräfte: Ergebnisse einer Delphi-Studie. In: Zeitschrift für Betriebswirtschaft, 61 (1991) 11, S. 1227 - 1242. Brooks, K.W.: Delphi Technique: Expanding Applications. In: North Central Association Quarterly, 53 (1979) 3, S. 377 - 385. Brosi, W.; Krekel, E.M.; Ulrich, J.G.: Delphi als ein Planungsinstrument der Berufsbildungsforschung? Erste Ergebnisse einer BIBB-Studie. In: Berufsbildung in Wissenschaft und Praxis, 28 (1999) 6, S. 11 - 16. Brown, C.A.: The Opt-in/Opt-out Feature in a Multi-Stage Delphi Method Study. In: International Journal Social Research Methodology, 10 (2007) 2, S. 135-144. Brown, A.; Heller, F.: Usefulness of Group Feedback Analysis as a Research Method: Its Application to a Questionnaire Study. In: Human Relations, 34 (1981) 2, S. 141 - 156. Brown, B.; Cochran, S.; Dalkey, N.: The Delphi Method II: Structure of Experiments. RM-5957PR. Santa Monica, Ca.: RAND Corporation 1969. Brown, B.; Helmer, O.: Improving the Reliability of Estimates Obtained from a Consensus of Experts. P-2986. Santa Monica, Ca.: RAND Corporation 1964. Bruckmann, G. (Hrsg.): Langfristige Prognosen: Möglichkeiten und Methoden der Langfristprognostik komplexer Systeme. Würzburg: Physica-Verlag 1977. Brukmajster, D.; Hampel, J.; Renn, O.: Energy Technology Roadmap and Stakeholders’ Perspective: Establishment of Social Criteria for Energy Systems. Stuttgarter Beiträge zur Risiko- und Nachhaltigkeitsforschung Nr.6. Stuttgart: Universität Stuttgart 2007. Bühl, A.; Zöfel, P.: SPSS Version 10: Einführung in die moderne Datenanalyse unter Windows. München: Addison-Wesley 2000. Bull, H.P. (Hrsg.): Fünf Jahre direkte Bürgerbeteiligung in Hamburg – unter Berücksichtigung von Berlin und Bremen. Hamburg: Landeszentrale für Politische Bildung und Senatsamt für Bezirksahngelegenheiten 2001. http://www.hamburg.de/contentblob/72130/data/hans-peter-bull-

218

Litera tu r

hrsg-)-fuenf-jahre-direkte-buergerbeteiligung-in-hamburg-unter-beruecksichtigung-von-berlinund-bremen-lzpb-hamburg-2001.pdf Busch, H.: Praktische Erfahrungen mit der Delphi-Methode. In: Analysen und Prognosen, (1972), S. 23 - 25. C Cames, M.; Anger, N.; Böhringer, Ch.; Harthan, R.O.; Schneider, L.; Sonneberger, St.; Scheffler, M.; Gores, S.; Grashof, K.; Cook, V.: Langfristige Perspektiven von CDM (Clean Development Mechanism) und JI (Joint Implementation). Dessau: Umweltbundesamt 2007. Cannel, C.; Kalton, G.; Fowler, F.: Techniques for Diagnosing Cognitive and Affective Problems in Survey Questions. Ann Arbor: The University of Michigan, Survey Centre, Institute for Social Research 1985. Carver, C.S.; Scheier, M.F.: Attention and Self-regulation: A Control Theory Approach to Human Behavior. New York: Springer 1981. Cattell, R.B.: The Screen Test for the Number of Factors. In: Multivariate Behavioral Research, 1 (1966) 2, S. 245 - 276. Chai, D.X.: Future of Leisure: A Delphi Application. In: Research Quarterly, 48 (1977) 3, S. 518 524. Cho, Y.Y.; Jeong, G.H.; Kim, S.H.: A Delphi Technological Forecasting Approach Using a SemiMarkov Concept. In: Technological Forecasting and Social Change, 40 (1991) 3, S. 273 - 287. Coates, J.F.: In Defence of Delphi: A Review of Delphi Assessment, Expert Opinion, Forecasting and Group Process by H. Sackman. In: Technological Forecasting and Social Change, 7 (1975) 2, S. 193 - 194. Cochran, S.W.: The Delphi Method: Formulating and Refining Group Judgements. In: Journal of Human Sciences, 2 (1983) 2, S. 111 - 117. Conrad, E.M.: Gedächtnis und Wissenspräsentation: Aspekte der Abbildungsleistung kognitionspsychologischer und filmsemiotischer Modelle: Ein Impuls zum Paradigmenwechsel. Hildesheim: Olms 1993. Converse, J.M.; Presser, S.: Survey Questions: Handcrafting the Standardized Questionnaire. Beverly Hills: Sage 1986. Cosmides, L.; Tooby, J.: Are Humans Good Intuitive Statisticians After All? Rethinking Some Conclusions from the Literature on Judgment under Uncertainty. In: Cognition, 58 (1996) 1, S. 1 – 73. Cuhls, K.: Wie kann ein Foresight-Prozess in Deutschland organisiert werden? Gutachten. Düsseldorf: Friedrich-Ebert-Stiftung 2000. Cuhls, K.; Blind, K.; Grupp, H.: Delphi ´98 Studie zur globalen Entwicklung von Wissenschaft und Technik. Karlsruhe: Fraunhofer Institut für Systemtechnik und Innovationsforschung 1998. Cuhls, K.; Breiner, S.; Grupp, H.: Delphi-Bericht 1995 zur Entwicklung von Wissenschaft und Technik – Mini-Delphi. Karlsruhe: Fraunhofer-Institut für Systemtechnik und Innovationsforschung 1995. Cuhls, K.; Kimpeler, S.: Delphi-Report: Zukünftige Informations- und Kommunikationstechniken. FAZIT Schriftenreihe Forschungsbericht Band 10. Stuttgart: MFG-Stiftung Baden-Württemberg 2008. Cuhls, K.; von Oertzen, J.; Kimpeler, S.: Zukünftige Informationstechnologie für den Gesundheitsbereich. FAZIT Schriftenreihe Forschungsbericht Band 6. Stuttgart: MFG-Stiftung BadenWürttemberg 2007. Cunha, A.; Swinbank, A.: Exploring the Determinants of CAP Reform: A Delphi Survey of Key Decision-Makers. In: Journal of Common Market Studies, 47 (2009), 2, S. 235 - 261.

Literatur

219

Cyphert, F.R.; Gant, W.L.: The Delphi Technique: A Tool for Collecting Opinions. In: Teacher Education. J. E. Teacher Ed., 11 (1970) 3, S. 417 - 425. Cyphert, F.R.; Gant, W.L.: The Delphi Technique: A Case Study. Phi Delta Kappan, 52 (1971) 5, S. 272 - 273. D Dahl, R.A.: Democracy and its Critics. New Haven: Yale Univ. Press 1989. Dalkey, N.C.: The Delphi Method: An Experimental Study of Group Opinion. RM 5888-PR. Santa Monica, Ca.: RAND Corporation 1969. Dalkey, N.C.; Brown, B.; Cochran, S.: The Delphi Method III: Use of Self Ratings to Improve Group Estimates. Santa Monica: United States Air Force Project RAND 1969. Dalkey, N.C.; Helmer, O.: An Experimental Application of the Delphi Method to the Use of Experts. In: Management Science, 9 (1963) 3, S. 458 - 467. Daniéls, J.J.M.C.; Duijzer, G.: Discussie. Siswo symposiumverlag no. 327. Amsterdam 1988, S. 81 - 95. Davis, J.A.: General Social Survey, 1972 - 1980: Cumulative Codebook. Chicago: National Opinion Research Centre 1980. Delbecq, A.L.; Van de Ven, A.; Gustafson, D.: Group Techniques for Program Planning: A Guide to Nominal Group and Delphi Processes. Glenview, Ill: Scott, Foresman and Company 1975. D’Hondt, T; Kenis, D.: A Client-Server Architecture for Groupwork: Initial Findings on the Suitability of State-of-the-Art Computing Environments for Cross-Disciplinary Group Dynamics. In: Proceedings of Apple European University Consortium Bruges, Apple Belgium, Brussels 1992, S. 6 - 9. Dichtl, E.; Müller, S.: Die Herausforderungen für die Markenartikelindustrie: Ergebnisse einer Delphi-Befragung. In: Lebensmittelzeitung, 44 (1992) 47, S. 85 - 86 (Teil 1); 48, S. 65 - 67 (Teil 2); 49, S. 74 - 75 (Teil 3). Diekmann, A.: Empirische Sozialforschung: Grundlagen, Methoden, Anwendungen. Reinbeck bei Hamburg: rowohlts enzyklopädie 1999. Dillman, D.A.: Mail and Telephon Surveys: The Total Design Method. New York: Wiley 1978. Dillman, D.A.: Mail and Other Self-Administrated Questionnaires. In: Rossi, P.H. et al. (Hrsg.): Handbook of Survey Research. New York: Academic Press 1983, S. 359 - 378. Dillman, D.A.: Mail and Internet Surveys: The Tailored Design Method. New York Weinheim: Wiley 2000. Drilling, M.: Nicht-standardisierte Befragungsmethoden in der Delphi-Technik: Vorläufige Schlüsse aus einem Projekt im universitären Bildungsbereich. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 161 - 187. Drobnick, R.: Political Risk Analysis for Canada and Mexico. In: Technological Forecasting and Social Change, 26 (1984) 4, S. 315 - 353. Duffield, Ch.: The Delphi Technique: A Comparison of Results Obtained Using two Expert Panels. In: International Journal of Nursing Studies, 30 (1993) 3, S. 227 - 237. Duttke, St.: Mentale Modelle: Konstrukte des Wissens und Verstehens. Göttingen Stuttgart: Verlag für angewandte Psychologie 1994. E Engel, U.; Reinecke, J.: Panelanalyse: Grundlagen – Techniken – Beispiele. Berlin New York: de Gruyter 1994.

220

Litera tur

Erffmeyer, R.C.; Erffmeyer, E.S.; Lane, I.M.: The Delphi Technique: An Empirical Evaluation of the Optimal Number of Rounds. In: Group and Organization Studies, 11 (1986) 1-2, S. 120 – 128. Erffmeyer, R.C.; Lane, I.M.: Quality and Acceptance of an Evaluative Task: The Effects of Four Group Decision-Making Formats. In: Group and Organization Studies, 9 (1984) 4, S. 509 - 529. Evans, J.S.; Handley, S.J.; Perham, N.; Over, D.E.; Thompson, V.A.: Frequency versus Probability Formats in Statistical Word Problems. In: Cognition 77 (2000) 3, S. 197 – 213. F Falke, Ch.; Krüger, M.: Nutzen der Delphi-Methode: Analyse der Methodik und Nutzung im Unternehmen. Diplomarbeit, Studiengang Wirtschaftswissenschaft an der Fachhochschule Düsseldorf 2000. Faulbaum, F.; Prüfer, P.; Rexroth, M.: Was ist eine gute Frage: Die systematische Evaluation der Fragenqualität. Wiesbaden: VS Verlag für Sozialwissenschaften 2009. Festinger, L.: A Theory of Social Comparison Processes. In: Human Relations, 7 (1954) 2, S. 117 140. Fink, A.; Schlake, O.; Siebe, A.: Erfolg durch Szenario-Management: Prinzip und Werkzeuge der strategischen Vorausschau. Frankfurt am Main New York: Campus-Verlag 2001. Fischer, G.W.: When Oracles Fail: A Comparision of Four Procedures for Aggregating Subjective Probability Forecasts. In: Organizational Behavior and Human Performance, 28 (1981) 1, S. 96 110. Fishkin, J.: Democracy and Deliberation: New directions for Democratic Reform. New Haven, Conn.: Yale University Press 1991. Florian, M.: Das Ladenburger „TeleDelphi“: Nutzung des Internets für eine Expertenbefragung. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 195 - 216. Franzmann, G.; Wagner, M.: Heterogenitätsindizes zur Messung der Pluralität von Lebensformen und ihre Berechnung in SPSS. In: ZA-Information, (1999) 44, S. 75 - 95. Friedrichs, J.: Methoden der empirischen Sozialforschung. Opladen: Westdeutscher Verlag 1990. G Gabb, J.; Balen, R.; Gibbs, G.: Victoria Climbié Inquiry Data Corpus Project: Using the Delphi Method in Multidisciplinary Child Protection Research. In: The British Journal of Social Work, 36 (2006) 4, S. 577 - 596. Gabler, S.; Hoffmeyer-Zlotnik, J.H.P. (Hrsg.): Stichproben in der Umfrageforschung. Opladen: Westdeutscher Verlag 1997. Galinat, W.; Borg, I.: On Symbolic Temporal Information: Beliefs about the Experience of Duration. In: Memory & Cognition, 15 (1987) 4, S. 308 – 317. Gellner, W.; Schmöller, M.: Neue Patienten – Neue Ärzte? Ärztliches Selbstverständnis und ArztPatienten-Beziehung im Wandel. Baden-Baden: Nomos 2008. Geschka, H.: Delphi. In: Bruckmann, G. (Hrsg.): Langfristige Prognosen: Möglichkeiten und Methoden der Langfristprognostik komplexer Systeme. Würzburg Wien: Physica-Verlag 1977, S. 24 – 44. Gewald, K.: Die Delphi-Methode als Instrument technischer Prognosen: Praktische Erfahrungen. In: Blohm, H.; Steinbuch, K. (Hrsg.): Technische Prognosen in der Praxis: Methoden, Beispiele, Probleme. Düsseldorf: VDI-Verlag 1972, S. 13 - 18. Gigerenzer, G.: The Psychology of Good Judgment: Frequency Formats and Simple Algorithms. In: Medical Decision Making, 16 (1996) 3, S. 273 – 280.

Literatur

221

Gigerenzer, G.: Ecological Intelligence: An Adaption for Frequencies. In: Cummins, D.D.; Allen, C. (Hrsg.): The Evolution of Mind. New York: Oxford University Press 1998, S. 9 – 29. Gigerenzer, G.: Adaptive Thinking: Rationality in the Real World. New York: Oxford University Press 2000. Gigerenzer, G.; Hoffrage, U.; Kleinbölting, H.: Probabilistic Mental Models: A Brunswikian Theory of Confidence. In: Psychological Review, 98 (1991) 4, S. 506 - 528. Gisholt, O.: Marketingprognosen unter besonderer Berücksichtigung der Delphi-Methode. Bern Stuttgart: Haupt 1976. Goodman, C.M.: The Delphi Technique: A Critique. In: Journal of Advanced Nursing, 12 (1987) 6, S. 729 - 734. Gordon, T.J.; Helmer, O.: Report on a Long Range Forecasting Study. P-2982. Santa Monica, Ca.: RAND Corporation 1964. Gottschalck, F.: Arbeitszeit im Jahr 2020: Ergebnisse einer Delphi-Studie zur zukünftigen Ausgestaltung der Arbeitszeit in Deutschland. Hamburg: Verlag Dr. Kovac 2008. Grau, I.; Mueller, U.; Ziegler, A.: Die Verzerrung durch das Vorwissen der Befragten: Die Rolle impliziter Theorien. In: ZUMA-Nachrichten, 24 (2000) 47, S. 20 – 35. Greatorex, J.; Dexter, T.: An accessible analytical approach for investigating what happens between the rounds of a Delphi study. In: Journal of Advanced Nursing, 32 (2000) 4, S. 10161024. Gries, W.H.: The CONVAIR Foresight Exercise in Information Communication Technology and Implications for the Foresight Process. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 33 - 42. Grupp, H.: Der Delphi-Report: Innovationen für unsere Zukunft. Stuttgart: Deutsche Verlagsanstalt 1995. Grupp, H.; Blind, K.; Cuhls, K.: Analyse von Meinungsdisparitäten in der Technikbewertung mit der Delphi-Methode. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 43 - 66. Grupp, H.; Breiner, S.; Cuhls, K.: Technology Foresight Using a Delphi Approach: A JapaneseGerman Cooperation. In: R & D Management, 24 (1994) 2, S. 141 - 153. H Häder, M.: Zur Evaluation der Delphi-Technik: Eine Ergebnisübersicht. ZUMA-Arbeitsbericht 96/02. Mannheim: ZUMA 1996. Häder, M.: Die Zukunft des Mobilfunks: Facettentheoretisch gestützte Strukturierung einer DelphiStudie. In: Mohler, P.Ph.; Lüttinger, P. (Hrsg.): Querschnitt: Festschrift für Max Kaase. Mannheim: ZUMA 2000a, S. 99 - 148. Häder, M.: Subjektiv sicher und trotzdem falsch? Methodische Ergebnisse einer Delphi-Studie zur Zukunft des Mobilfunks. In: ZUMA-Nachrichten, 24 (2000b) 46, S. 89 - 116. Häder, M.: Und wie kommen Sie darauf? Probings zu den kognitiven Prozessen bei der Beantwortung von Prognosefragen in einer Delphi-Studie. In: Häder, M.; Häder, S. (Hrsg.): Die DelphiTechnik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000c, S. 179 - 194. Häder, M.: Mobilfunk verdrängt Festnetz. ZUMA-Arbeitsbericht 00/04. Mannheim: ZUMA 2000d. Häder, M.: Die Delphi-Methode. In: Bröchler, St.; Schützeichel, R. (Hrsg.): Politikberatung. Stuttgart: Lucius & Lucius 2008, S. 33 – 46.

222

Li tera tu r

Häder, M.: Der Datenschutz in den Sozialwissenschaften: Anmerkungen zur Praxis sozialwissenschaftlicher Erhebungen und Datenverarbeitung in Deutschland. Working Paper No. 90. Berlin: Rat für Sozial- und Wirtschaftsdaten 2009. http://www.ratswd.de/download/RatSWD_WP_2009/RatSWD_WP_90.pdf Häder, M.: Empirische Sozialforschung: Eine Einführung. Wiesbaden: VS Verlag für Sozialwissenschaften 2009. Häder, M.; Häder, S.: Die Grundlagen der Delphi-Methode: Ein Literaturbericht. ZUMAArbeitsbericht 94/02. Mannheim: ZUMA 1994a. Häder, M.; Häder, S.: Ergebnisse einer experimentellen Studie zur Delphi-Methode. ZUMAArbeitsbericht 94/05. Mannheim: ZUMA 1994b. Häder, M.; Häder, S.: Delphi und Kognitionspsychologie: Ein Zugang zur theoretischen Fundierung der Delphi-Methode. In: ZUMA-Nachrichten, 19 (1995) 37, S. 8 - 34. Häder, M.; Häder, S.: Die Delphi-Methode als Gegenstand methodischer Forschungen. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 11 - 31. Häder, M.; Häder, S.; Ziegler, A.: Punkt- versus Verteilungsschätzung: Ergebnisse eines Tests zur Validierung der Delphi-Methode. ZUMA-Arbeitsbericht 95/05. Mannheim: ZUMA 1995. Häder, M.; Kretzschmar, G.: Mit welcher Zukunft darf die Dresdner Frauenkirche rechnen? In: Pastoral-Theologie. Monatszeitschrift für Wissenschaft und Praxis in Kirche und Gesellschaft, 94 (2005a) 9, S. 330-340. Häder, M.; Kretzschmar, G.: Die ‚Religion’ der Dresdner Frauenkirche: Empirische Befunde zur Bindung an ein schillerndes Phänomen. In: International Journal of Practical Theology, 9 (2005b) 1, S. 4-24. Häder, M.; Rexroth, M.: Beobachtungen im Rahmen einer Delphi-Studie: Fallbeschreibungen, 1. Welle. ZUMA-Technischer Bericht 97/09. Mannheim: ZUMA 1997. Häder, M.; Rexroth, M.: Beobachtungen im Rahmen einer Delphi-Studie: Fallbeschreibungen, 2. Welle. ZUMA-Technischer Bericht 98/04. Mannheim: ZUMA 1998a. Häder, M.; Rexroth, M.: Erfassung kognitiver Aspekte des Antwortverhaltens in einer DelphiStudie. ZUMA-Arbeitsbericht 98/06. Mannheim: ZUMA 1998b. Hammer, Th.; Siegrist, D.: Protected Areas in the Alps: The Success Factors of Nature-based Tourism and the Challenge for Regional Policy. In: Gaia. Ökologische Perspektiven für Wissenschaft und Gesellschaft, 17 (2008) Sonderheft Protected Areas and Biodiversity Conservation, S. 152 160. Hasse, J.: Bildstörung: Windenergien und Landschaftsästhetik: Wahrnehmungsgeographische Studien zur Regionalentwicklung. Hrsg. v. Krüger, R., Bibliotheks- und Informationssystem der Universität Oldenburg 1999. Hasson, F.; Keeney, S.; McKenna, H.: Research Guidelines for the Delphi Survey Technique. In: Journal of Advanced Nursing, 32 (2000) 4, S. 1008 – 1015. Havas, A.: Foresight in a Small Country in Transition: Preliminary Lessons of the Hungarian Technology Foresight Programme. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 95 - 108. Heberlein, Th.A.; Baumgartner, R.: Factors Affecting Response Rates to Mailed Questionnaires: A Quantitative Analysis of the Published Literature. In: American Sociological Review, 43 (1978) 3, S. 447 - 462. Helmer, O.: Delphi and Causal Cross-Impact Analysis: Problems in Future Research. In: Future, 9 (1977), S. 17 - 31. Helmer, O.; Rescher, N.: On the Epistemology of the Inexact Sciences. Report R-353. Santa Monica, Ca.: RAND Corporation 1960.

Literatur

223

Hennings, U.; Hüber, R.P.O.; Stanke, F.: Delphi-Befragungen über zukünftige Einsatzmöglichkeiten für Roboter. In: Blohm, H.; Steinbuch, K. (Hrsg.): Technische Prognosen in der Praxis: Methoden, Beispiele, Probleme. Düsseldorf: VDI-Verlag 1972. Henry-Huthmacher, Ch.; von Wilamowitz-Moellendorff, U.: Deutschland im Umbruch: DelphiStudie 2004/2005: Befragung ausgewählter Expertinnen und Experten über die Zukunft Deutschlands. Sankt Augustin: Konrad-Adenauer-Stiftung 2005. Heublein, U.; Schwarzenberger, A.: Studiendauer in zweistufigen Studiengängen: Ein internationaler Vergleich. Kurzinformation HIS A2/2005. Hannover: HIS 2005. Hippler, H.-J.; Schwarz, N.; Noelle-Neumann, E.: Response Order Effects in Dichotomous Questions: The Impact of Administration Mode. ZUMA-Arbeitsbericht 89/17. Mannheim: ZUMA 1989. Hippler, H.-J.; Seidel, K.: Schriftliche Befragung bei allgemeinen Bevölkerungsstichproben: Untersuchungen zur Dillmanschen Total Design Method. In: ZUMA-Nachrichten, (1985) 16, S. 39 56. Hitch, P.J.; Murgatroyd, J.D.: Professional Communications in Cancer Care: A Delphi Survey of Hospital Nurses. In: Journal of Advanced Nursing, 8 (1983) 5, S. 413 - 422. Hoffrage, U.; Lindsey, S.; Hertwig, R.; Gigerenzer, G.: Communicating Statistical Information. In: Science, 290 (2000) 5500, S. 2261-2262. Hofstätter, P.R.: Zur Dialektik der Gruppenleistung. In: Kölner Zeitschrift für Soziologie und Sozialpsychologie, 8 (1956) 4, S. 608 - 622. Horx, M.: Zur Entwicklungsdynamik von Terrorismus und Extremismus: Pre-Crime-Forschung im Terrorismus-Umfeld: Eine Näherung. In: Kemmesies, U. (Hrsg.): Terrorismus und Extremismus: der Zukunft auf der Spur: Beiträge zur Entwicklungsdynamik von Terrorismus und Extremismus: Möglichkeiten und Grenzen einer prognostischen Empirie. Neuwied: Luchterhand 2006, S. 151-161. Hummel, R.; Götzenbrucker, G.: Wenig lernen - alles können: Empirische Ergebnisse zur Entwicklung von Multimediaberufen in Österreich. In: SWS Rundschau, 37 (1997) 2 Sonderband zur Informations- und Kommunikationsgesellschaft, S.191 – 204. Huy, Ch.; Schneider, S.: Instrument für die Erfassung der physischen Aktivität bei Personen im mittleren und höheren Erwachsenenalter: Entwicklung, Prüfung und Anwendung des "GermanPAQ-50+". In: Zeitschrift für Gerontologie und Geriatrie, 41 (2008) 3, S. 208 - 216. I infas: BIBB-Forschungsdelphi: Zwischenbericht anlässlich der Beiratssitzung. Bonn 2001. infas; DIW: Demografischer Wandel und Mobilität: Ergebnisbericht. Grundlagenstudie für das Bundesministerium für Verkehr-, Bau- und Wohnungswesen. Bonn 2005. IZT: EurEnDel: Technology and Social Visions for Europe’s Energy Future: A Europe-Wide Delphi Study: Final Report. 2004. J Jäger, R.S.; Riebel, J.: Kompetenzen von Schulanfängern: Was sollten Schulanfänger können? Landau: Zentrum für empirische pädagogische Forschung (zepf) 2006. Janssen, H.: Quotation of Expected Equilibrium-Prices of Apples in the Lake Constance Region. In: Acta Horticulturae, (1972) 40, S. 161 – 169. Janssen, H.: Die Notierung von geschätzten Gleichgewichtspreisen: Ein Beitrag zur Preisstabilisierung auf dem Obstmarkt. Schr. Ges. Wi. So. Landbau Band 13. München Bern Wien: BLVVerlag 1976, S. 379 – 392. Janssen, H.: Application of the Delphi Method to Short-Range Price Predictions on the Fruit Market. In: Acta Horticulturae, (1978) 77, S. 223 - 230.

224

Literatur

Jeenah, M.S.: Foresight in South Africa. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 109 - 114. Jillson, I.A.: The National Drug-Abuse Policy Delphi: Progress Report and Findings to Date. In: Linstone, H.A.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass.: Addison-Wesley 1975, S. 124 – 159. Jones, Ch.G.: A Delphi Evaluation of Agreement between Organizations. In: Linstone, H.A.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass.: Addison-Wesley 1975, S. 160 – 167. Judd, R.C.: Forecasting to Consensus Gathering: Delphi Grows Up to College Needs. In: College and University Business, 53 (1972) 1, S. 35 - 38. K Kaase, M. (Hrsg.): Qualitätskriterien der Umfrageforschung: Denkschrift. Berlin: Akademie Verlag 1999. Kahneman, D.; Tversky, A.: On the Psychology of Prediction. In: Psychological Review, 80 (1973) 4, S. 237 – 251. Kaplan, A.; Skogstad, A.L.; Girshick, M.A.: The Prediction of Social and Technological Events. In: Public Opinion Quarterly, 14 (1950) 1, S. 93 - 110. Kaufmann, H.-J.: Methoden der technologischen Vorschau im Dienste der Forschungsplanung industrieller Unternehmen unter besonderer Berücksichtigung der Delphi-Methode. InauguralDissertation Universität Mannheim 1972. Kaynak, E.; Bloom, J.; Leibold, M.: Using the Delphi Technique to Predict Future Tourism Potential. In: Marketing Intelligence & Planning, 12 (1994) 7, S. 18 - 29. Kaynak, E.; Macauley, J.A.: The Delphi Technique in the Measurement of Tourism Market Potential. In: Tourism Management, 5 (1984) 2, S. 87 - 101. Keeney, S.; Hasson, F.; McKenna, H.: Consulting the Oracle: Ten Lessons from Using the Delphi Technique in Nursing Research. In: Journal of Advanced Nursing Research, 53 (2006) 2, S. 205-212. Kenis, D.: Improving Group Decisions: Designing and Resting Techniques for Group Decision Support Systems Applying Delphi Principles. Universiteit Utrecht 1995. Kenis, D.; Bollaert, L.: MacPolicy: A Group Decision Support System. In: Revue des systémes de décision, 1 (1992) 2-3, S. 305 - 318. Kenis, D.; Verhaegen, L.: The MacPolicy Project: Developing a Group Decision Support System Based on the Delphi Method. In: Bots, P.W.G.; Sol, H.G.; Traunmüller, R. (Hrsg.): Decision Support in Public Administration. Amsterdam: Elsevier Science Publishers 1993, S. 159 - 170. Kinast, K.: Interne und Externe Wirkungszusammenhänge in Geschäftsbeziehungen. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 133 - 160. Kirchhoff, S.; Kuhnt, S.; Lipp, P.; Schlawin, S.: Machen wir doch einen Fragebogen. Opladen: Leske und Budrich 2000. Kirsch, A.: Delphi via Internet: Eine Expertenbefragung zu Trauma und Trauma(re)konstruktion. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 217 - 234. Klages, H.: Brainstorming, Delphi I und Delphi II. In: Zentrum Berlin für Zukunftsforschung e.V. (Hrsg.): Methoden der Prioritätsbestimmung III: Methoden zur Proritätsbestimmung der Staatsaufgaben, vor allem im Forschungs- und Entwicklungsbereich. Schriftenreihe Forschungsplanung 5. Bonn: Leopold 1971.

Literatur

225

Köhler, G.: Methodik und Problematik einer mehrstufigen Expertenbefragung. In: HoffmeyerZlotnik, J.H.P. (Hrsg.): Analyse verbaler Daten: Über den Umgang mit qualitativen Daten. Opladen: Westdeutscher Verlag 1992, S. 318 – 332. Köhler, H.: Zur Prognosegenauigkeit der Delphi-Methode: Zugleich eine kritische Besprechung von Horst Albach „Informationsgewinnung durch strukturierte Gruppenbefragung“. In: Zeitschrift für Betriebswirtschaft, 48 (1978), S. 53 - 60. König, R.: Handbuch der empirischen Sozialforschung. Stuttgart: Enke 1992. König, W.; v. Poblotzki, A.; Heinzl, A.: Die zentralen Forschungsgegenstände der Wirtschaftsinformatik in den nächsten zehn Jahren. Frankfurt am Main: Johann-Wolfgang-Goethe-Universität Frankfurt, Institut für Wirtschaftsinformatik 1997. (http://www.wi-frankfurt.de/publikationenNeu/DiezentralenForschungsgegenstae.html ) Krause, D.E.; Thornton, G.C.: Kulturelle Vielfalt und Assessment-Center. In: ZFO – Zeitschrift Führung und Organisation, 76 (2007) 4, S. 223-230. Krause, R.: Trauma und Erinnerung. In: Persönlichkeitsstörungen: Theorie und Therapie, 3 (1999) 1, S. 36 – 44. Krauß-Leichert, U.; Schmidt, R. (Hrsg.): Dokumentarische Kompetenz in der Multimedia-Branche: Eine Hamburger Delphi-Studie. Potsdam: Verlag für Berlin-Brandenburg 1997. Kreutz, H.: Soziologie der empirischen Sozialforschung. Stuttgart: Enke 1972. Kromrey, H.: Empirische Sozialforschung: Modelle und Methoden der Datenerhebung und Datenauswertung. Opladen: Leske und Budrich 1998. Krüger, U.M.: Die Antizipation und Vorbereitung von Innovationen: Entwicklung und Anwendung eines kommunikationsstrategischen Konzeptes unter besonderer Berücksichtigung der DelphiTechnik. Dissertation Universität Köln 1975. Kühn, R.; Jucken, H.: Die Werbung im Markt von morgen. Glattbrugg: Verband der SW 1988. Kühne, E.; Liebl, K.: Subventionsbetrug unter besonderer Berücksichtigung der Unternehmenskriminalität in der EU-25 sowie den Beitrittskandidatenländern Bulgarien und Rumänien: Eine europaweite Synopse. Projektantrag. Rothenburg: Hochschule der Sächsischen Polizei 2006. Kullaj, E.: Organic Farming Policies for a Sustainable Development of Rural Albania. In: EstOvest, 38 (2007) 3, S. 7 - 44. Küllmer, M.: Die Umgestaltung der europäischen Streitkräfte: Politik, Wirtschaft und Technologie. Baden-Baden: Nomos 2008. L Lamnek, S.: Gruppendiskussion: Theorie und Praxis. Weinheim: Beltz Psychologie-Verlag-Union 1998. Lanford, H.W.: Technological Forecasting Methodologies: A Synthesys. New York: American Management Association, Inc. 1972. Lang, N.: Die Zukunft der Buchbranche in der Informations- und Wissensgesellschaft: Eine DelphiStudie. New Book Economy, BIS. Berlin: IBA, Internat. Media & Book Agency 2000. Langewitz, O.: Die Filmgesellschaft: Die Entwicklung einer kommunikationssoziologischen Austauschtheorie am Beispiel interdependenter Kommunikationen zwischen Akteuren im Filmsystem. Göttingen: Cuvillier Verlag 2008. Linsky, A.S.: Stimulating Responses to Mailed Questionnaires: A Review. In: Public Opinion Quarterly, 39 (1975) 1, S. 82 - 101. Linstone, H.A.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass: Addison-Wesley 1975. Lippman-Hand, A.; Fraser, F.C.: Genetic Counselling: Provision and Reception of Information. In: American Journal of Medical Genetics, 3 (1979) 2, S. 113 – 127.

226

Literatur

Loos, P.; Schäffer, B.: Das Gruppendiskussionsverfahren: Theoretische Grundlagen und empirische Anwendung. Opladen: Leske und Budrich 2001. Loveridge, D.; Georghiou, L.; Nedeva, M.: United Kingdom Technology Foresight Programme Delphi Survey. University of Manchester 1995. Ludlow, J.: Delphi Inquiries and Knowledge Utilization. In: Linstone, H.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass.: Addison-Wesley 1975, S. 102 – 123. M Maassen, P.A.M.; van Vught, F.A.A.: Dupliek. Naar de toekomst van het hogeronderwijs? In: Tijdschrift voor Hoger Onderwijs, 3 (1984) 1, S. 34 - 36. Makridakis, S.; Wheelwright, St.C.: The Delphi Approach. In: Dies.: Forecasting: Methods and Applications. Santa Barbara New York Toronto: John Wiley & Sons 1978. Mangold, W.: Gegenstand und Methode des Gruppendiskussionsverfahrens. Frankfurt am Main: Europäische Verlagsanstalt 1960. Mangold, W.: Gruppendiskussion. In: König, R. (Hrsg.): Handbuch der empirischen Sozialforschung. Band 2. Stuttgart: Enke 1973, S. 228 – 259. Martino, J.P.: The Lognormality of Delphi Estimates. In: Technological Forecasting, 1 (1970a) 4, S. 355 - 358. Martino, J.P.: The Precision of Delphi-Forecasting. In: Technological Forecasting and Social Change, 1 (1970b) 3, S. 292 – 299. Martino, J.P.: Technological Forecasting for Decisionmaking. New York: American Elsevier Publishing Company 1972. Martino, J.P.: Technological Forecasting for Decision Making. 2nd ed. New York: Elesevier Science Publishing 1983. Martino, J.P.: Thirty Years of Change and Stability. In: Technological Forecasting and Social Change, 62 (1999) 1 -2, S. 13 – 18. Meier, U.: Delphi: Vorausschau auf Wissenschaft und Technik. In: Neue Züricher Zeitung, Nr. 214 vom 15. September 1999, S. 71. Merton, R.K.: The Unanticipated Consequences of Purposive Social Action. In: American Sociological Review, 1 (1936) 6, S. 894 – 904. Merton, R.K.; Kendell, P.L.: The Focused Interview. In: American Journal of Sociology, 51 (1946) 6, S. 541 – 557.. Merton, R.K.; Kendell, P.L.: Das fokussierte Interview. In: Hopf, Ch.; Weingarten, E. (Hrsg.): Qualitative Sozialforschung. Stuttgart: Klett-Cotta 1979, S. 171 – 204.. Mettler, P.H.; Baumgartner, Th.: Partizipation als Entscheidungshilfe: PARDIZIPP – ein Verfahren der (Langfrist-)Planung und Zukunftsforschung. Opladen: Westdeutscher Verlag 1997. Mitroff, I.I.; Turoff, M.: Philosophical and Methodological Foundations of Delphi. In: Linstone, H.A.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass: Addison-Wesley Company 1975, S. 17 – 36. MMB: Szenarien für die eUniversity 2011: Experten prognostizieren eine deutliche Zunahme von neuen Computer-Lernformen an Hochschulen. MMB-Trendmonitor II/2006. Essen: MMB Institut für Medien- und Kompetenzforschung 2006. MMB: Learning Delphi – Weiterbildung und Digitales Lernen heute und in drei Jahren. MMBTrendmonitor I/2008. Essen: MMB Institut für Medien- und Kompetenzforschung 2008. Mohler, P.Ph.; Porst, R.: Pretest und Weiterentwicklung von Fragebogen: Einführung in das Thema. In: Statistisches Bundesamt (Hrsg.): Pretest und Weiterentwicklung von Fragebogen. Schriftenreihe Spektrum Bundesstatistik Band 9. Stuttgart: Metzler-Poeschel 1996, S. 7 – 15.

Literatur

227

Mulgrave, N.W.; Ducanis, A.J.: Propensity to Change Responses in a Delphi Round as a Function of Dogmatism. In: Linstone, H.A.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass.: Addison-Wesley 1975, S. 288 - 290. Mullen, K.D.; Gold, R.S.: Wellness Construct Delineation: A Delphi Study. In: Helth Education Research: Theory & Practice, 3 (1988) 4, S. 353 - 366. Murry, J.W. Jr.; Hammons, J.O.: Delphi: A Versatile Methodology for Conducting Qualitative Resarch. In: The Review of Higher Education, 8 (1995) 4, S. 424 - 436. N Nedeva, M.; Georghiou, L.; Loveridge, D.; Cameron, H.: The Use of Co-Nomination to Identify Expert Participants for Technology Foresight. In: R & D Management, 26 (1996) 2, S. 155 – 168. Nelson, B.W.: Statistical Manipulation of Delphi Statements: Its Success and Effects on Convergence and Stability. In: Technological Forecasting and Social Change, 12 (1978) 1, S. 41 - 60. Neubert, S.: Neue Bio- und Gentechnologie in der Landwirtschaft: Ergebnisse einer DelphiExpertenbefragung. Münster-Hiltrup: Landwirtschaftsverlag 1991. NISTEP: The Fifth Technology Forecast Survey: Future Technology in Japan. NISTEP Report No. 25. Tokyo:. National Institute of Science and Technology Policy (NISTEP) 1993. NISTEP: The Siyth Technology Forecast Survey: Future Technology in Japan Toward The Year 2025.Fourth Policy-Oriented Research Group. NISTEP Report No. 52. Tokyo: National Institute of Science and Technology Policy (NISTEP) Science and Technology Agency 1997. NISTEP; Tekes: Foresight for Our Future Society: Cooperative project between NISTEP (Japan) and Tekes (Finland). NISTEP Policy Study No. 14/Tekes Review 242/2009. Helsinki: Tekes 2009. Noelle-Neumann, E.: Öffentliche Meinung: Die Entdeckung der Schweigespirale. Frankfurt am Main Berlin: Ullstein 1989. Nolting, H.-D. et al.: Perspektive 2020: Gesundheit als Chance. 5. Studie zur Zukunft des Gesundheitswesens. Neuss: Janssen-Cilag GmbH 2009. Novakowski, N.; Wellar, B.: Using the Delphi Technique in Normative Planning Research: Methodological Design Consideration. In: Environment and Planning A, 40 (2008) 6, S. 1485 – 1500. O Oksenberg, L.; Cannell, Ch.; Kalton, G.: New Strategies for Pretesting Survey Questions. In: Journal of Official Statistics, 7 (1991) 3, S. 349 – 365. Ono, R.; Wedemeyer, D.J.: Assessing the Valididy of the Delphi Technique. In: Futures, 26 (1994) 3, S. 289 - 304. Opp, K.-D.: Methodologie der Sozialwissenschaften: Einführung in Probleme ihrer Theorienbildung und praktischen Anwendung. Opladen: Westdeutscher Verlag 1999. Overbury, R.E.: Technological Forecasting: A Criticism of the Delphi Technique. In: Long Range Planning, 1 (1969) 4, S. 76 - 77. P Parenté, F.J.; Anderson-Parenté, J.K.: Delphi Inquiry System. In: Wright, G.; Ayton, P. (Hrsg.): Judgmental Forecasting. New York: John Wiley & Sons 1987, S. 129 – 157. Pelka, B.: Künstliche Journalisten: Kann Künstliche Intelligenz Selektion im kommunikationswissenschaftlichen Sinn übernehmen. In: Neubert, K.; Scherer, H. (Hrsg.): Die Zukunft der Kommunikationsberufe: Ausbildung, Berufsfelder, Arbeitsweisen. Konstanz: UVK 2004, S. 205 – 207.

228

Literatur

Pfohl, H.-Ch.; Freichel, St.L.K.: Deregulierung des europäischen Straßengüterverkehrsmarktes: Auswirkungen auf die Logistikkette mit besonderer Berücksichtigung kleiner und mittlerer Logistikunternehmen in der Bundesrepublik Deutschland. Teil I: Ergebnisse einer schriftlichen Expertenbefragung mittels Delphi-Technik. Teil II: Ergebnisse einer Unternehmensbefragung. Arbeitspapiere zur Logistik Nr. 10 u. Nr. 11. Technische Universität Darmstadt 1990. Pollock, F.: Gruppenexperiment: Ein Studienbericht. Frankfurt am Main: Europäische VerlagsAnstalt 1955. Porst, R.: Im Vorfeld der Befragung: Planung, Fragebogenentwicklung, Pretesting. ZUMAArbeitsbericht 98/02. Mannheim: ZUMA 1998. Porst, R.: Praxis der Umfrageforschung. Stuttgart: Teubner 1985, 2000. Postmes, T.: Social Influence in Computer-Mediated Communication. Unpublished dissertational thesis. Amsterdam: Universiteit van Amsterdam 1997. Price, C.R.: Conferencing via Computer: Cost Effective Communication for the Area of Forced Choise. In: Linstone, H.A.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass.: Addison-Wesley 1975, S. 497 – 516. Prognos; Infratest Burke Sozialforschung: Delphi-Befragung 1996/1998 "Potentiale und Dimensionen der Wissensgesellschaft - Auswirkungen auf Bildungsprozesse und Bildungsstrukturen". Integrierter Abschlußbericht. Bonn: Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie 1998. Prüfer, P.; Rexroth, M.: Verfahren zur Evaluation von Survey-Fragen. ZUMA-Arbeitsbericht Nr. 96/05. Mannheim: ZUMA 1996. Prüfer, M.; Rexroth, M.: Zwei-Phasen-Pretesting. In: Mohler, P.Ph.; Lüttinger, P. (Hrsg,): Querschnitt: Festschrift für Max Kaase. Mannheim: ZUMA 2000, S. 203 – 219. R Race, K.E.H.; Planek, Th.W.: Modified Screen Test: Further Considerations on Its Application to Delphi Study Data. In: Evaluation Review, 16 (1992) 2, S. 171 - 183. Rauch, W.: The Decision Delphi. In: Technological Forecasting and Social Change, 15 (1979) 3, S. 159 - 169. Reicher, S.D.; Levine, M.: Deindividuation, Power Relations between Groups and the Expression of Social Identity 1: The Effects of Visibility to the Outgroup. In: British Journal of Social Psychology, 33 (1994a) 2, S. 145 - 163. Reicher, S.D.; Levine, M.: On the Consequences of Deindividuation Manipulation for the Strategic Communication of Self: Identifiability and the Presentation of Social Identity. In: European Journal of Social Psychology, 24 (1994b) 4, S. 511 - 512. Reicher, S.D.; Spears, R.; Postmes, T.: A Social Identity Model of Deindividuation Phenomena. In: European Review of Social Psychology, 6 (1995), S. 161 - 198. Reichert, A.: Trainerkompetenzen in der Wissensgesellschaft: Eine empirische Untersuchung zur Professionalisierung von Trainern im quartären Bildungssektor. Frankfurt am Main: Peter Lang 2008. Reichertz, P.; Schwarz, B.: DIMDINET-Delphi Studie. Forschungsbericht ID 80-Information und Dokumentation. Hannover: Medizinische Hochschule Hannover 1980. Reid, N.G.: The Delphi Technique: Its Contribution to the Evaluation of Professional Practice. In: Ellis, R. (Hrsg.): Professional Competence and Quality Assurance in the Caring Professions. New York: Chapman and Hall 1988, S. 230 – 262. Reinmann-Rothmeier, G.; Mandl, H.: Wissensmanagement: Eine Delphi-Studie. Forschungsbericht Nr. 90. München: Ludwig-Maximilians-Universität, Lehrstuhl für Empirische Pädagogik und Pädagogische Psychologie 1998.

Literatur

229

Remhof, St.: Auswanderung von Akademikern aus Deutschland: Gründe, Auswirkungen und Gegenmaßnahmen. Marburg: Tectum 2008. Richey, J.S.; Mar, B.W.; Horner, R.R.: The Delphi Technique in Environmental Assessment. In: Journal of Environmental Management, 21 (1985) 2, S. 135 - 159. Riggs, W.E.: The Delphi Technique: An Experimental Evaluation. In: Technological Forecasting and Social Change, 23 (1983) 1, S. 89 - 94. Rokeach, M.: Beliefs, Attitudes, and Values: A Theory of Organization and Change. Philadelphia: Jossey-Boss 1969. Rosenthal, R.: Experimental Effects in Behavioral Research. New York: Appleton 1966. Ross, M.: Relation of Implicit Theories to the Construction of Personal Histories. In: Psychological Review, 96 (1989) 2, S. 341 - 357. Rowe, G.; Wright, G.; Bolger, F.: Delphi: A Reevaluation of Research and Theory. In: Technological Forecasting and Social Change, 39 (1991) 3, S. 235 - 251. Rowlands, D.G.: Technological Forecasting and the Delphi-Technique: A Reply. In: Long-RangePlanning, 2 (1969) 2, S. 78 – 79. Ruler, B.v.; Vercic, D.: Communication Management Across Europe: A Developing Research Field. In: Raupp, J.; Klewes, J. (Hrsg.): Quo vadis Public Relations? Auf dem Weg zum Kommunikationsmanagement: Bestandsaufnahmen und Entwicklungen. Wiesbaden: VS Verlag für Sozialwissenschaften 2004, S. 238 - 250. S Sackman, H.: A Delphi Critique. Lexington, Massachusetts: Lexington Books 1975. Salancik, J.R.: Assimilation of Aggregated Inputs into Delphi Forecasts: A Regression Analyses. In: Technological Forecasting and Social Change, 5 (1973) 3, S. 243 - 248. Salancik, J.R.; Wenger, W.; Helfer, E.: The Construction of Delphi Event Statements. In: Technological Forecasting and Social Change, 3 (1971) 1, S. 65 - 73. Saliger, E.; Kunz, C.: Zum Nachweis der Effizienz der Delphi-Methode. In: Zeitschrift für Betriebswirtschaft, 51 (1981), S. 470 - 480. Sassenberg, K.: Sehen und gesehen werden: Normorientierung unter Anonymität. Dissertation zur Erlangung des Doktorgrades der Mathematisch-Naturwissenschaftlichen Fakultäten der GeorgAugust-Universität zu Göttingen 1999. Sassenberg, K.; Kreutz, St.: Online Research und Anonymität. In: Batinic, B.; Werner, A.; Gräf, L.; Bandilla, W. (Hrsg.): Online Research: Methoden, Anwendungen und Ergebnisse. Göttingen Bern Toronto Seattle: Hogrefe Verlag für Psychologie 1999. Scane, A.: Key Areas of Cognitive Psychology: A Historical Perspective. In: Gardiner, M.; Christie, B. (Hrsg.): Applying Cognitive Psychology to User Interface Design. Chichester: Wiley 1987, S. 57 – 82. Scheele, S.: Reality Construction as a Product of Delphi Interaction. In: Linstone, H.A.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass.: AddisonWesley 1975, S. 37 - 71. Scheibe, M.; Skutsch, M.; Schofer, J.: Experiments in Delphi Methodology. In: Linstone, H.A.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass.: Addison-Wesley 1975, S. 262 - 287. Scheuch, M.: Neue Informationstechnologien und ihre Auswirkungen auf die Demokratietheorie. Magisterarbeit, Technischen Hochschule Darmstadt, Institut für Politikwissenschaft 1999. Schnabel, U.: Das Expertendilemma. In: Die ZEIT, Nr. 25 vom 15. Juni 2000, S. 41. Schnell, R.; Hill, P.B.; Esser, E.: Methoden der empirischen Sozialforschung. München: Oldenburg 2000.

230

Literatur

Schöllhammer, H.: Die Delphi-Methode als betriebliches Prognose- und Planungsverfahren. In: Zeitschrift für betriebswirtschaftliche Forschung, 22 (1970) 2, S. 128 - 137. Schulz, M.; Renn, O.: Das Gruppendelphi: Konzept und Fragebogenkonstruktion. Wiesbaden: VS Verlag für Sozialwissenschaften 2009. Schuman, H.: The Random Probe: A Technique for Evaluation the Validity of Closed Questions. In: American Sociological Review, 31 (1966) 1, S. 218 - 222. Schuman, H.; Presser, S.: Questions and Answers in Attitude Surveys. New York: Acedemic Press 1981. Schwarz, N.: Assimilation und Kontrast in der Urteilsbildung: Implikationen für Fragereihenfolgeeffekte. In: ZUMA-Nachrichten, 15 (1991) 29, S. 70 - 86. Schwarz, N.: Theorien konzeptgesteuerter Informationsverarbeitung. In: Frey, D.; Irle, M. (Hrsg.): Theorien der Sozialpsychologie. Band 3. Bern: Huber 1993, S. 269 - 291. Schwarz, N.; Bless, H.: Assimilation and Contrast Effects in Attitude Measurement. In: Advances in Consumer Research, 19 (1992), S. 72 – 77. Schwarz, N.; Strack, F.: The Survey Interview and the Logic of Conversation: Implications for Questionnaire Construction. ZUMA-Arbeitsbericht 88/03. Mannheim: ZUMA 1988. Schwarz, N.; Strack, F.; Hippler, H.-J.: Kognitionspsychologie und Umfrageforschung: Themen und Befunde eines interdisziplinären Forschungsgebiets. ZUMA-Arbeitsbericht 90/07. Mannheim: ZUMA 1990. Schwarz, N.; Sudman, S.: Context Effects in Social and Psychological Research. New York: Springer 1992. Seeger, Th.: Die Delphi-Methode: Expertenbefragungen zwischen Prognose und Gruppenmeinungsbildungsprozessen: Überprüft am Beispiel von Delphi-Befragungen im Gegenstandsbereich Information und Dokumentation. Freiburg: HochschulVerlag, Dissertation 1979. Seeger, Th.; Wersig, G.: Bundesrepublik Deutschland: Ergebnisse einer Delphi-Befragung über zukünftige Entwicklungen im Bibliotheks-, Informations- und Dokumentationswesen. In: Rauch, W.; Wersig, G. (Hrsg.): Delphi-Prognose in Information und Dokumentation: Untersuchungen über zukünftige Entwicklungen des Bibliotheks-, Informations- und Dokumentationswesens in der Bundesrepublik Deutschland und in Österreich. Beiträge zur Informations- und Dokumentationswissenschaft Folge 12. München: Saur 1978, S. 21 – 114. Seuring, St.: Informationsbedarfe beim Outsourcing: Eine empirische Analyse von Informationsbedarfen zur Steuerung des Outsourcing-Dienstleisters. In: ZFO – Zeitschrift Führung und Organisation, 77 (2008) 1, S. 24-31. Skeries, S.: Kritische Erfolgsfaktoren für die Ex-Post-Evaluation von Forschungsprojekten am Beispiel der Sozial- und Wirtschaftswissenschaften: Konzeption und Durchführung einer Delphi-Expertenbefragung. Hamburg: Verlag Dr. Kovac 2006. Snyder-Halpern, R.; Bagley Thompson, Ch.; Schaffer, J.: Comparison of Mailed vs. Internet Applications of the Delphi-Technique in Clinical Informatics Research. Proceedings of the 2000 American Medical Informatics Association (AMIA) Fall Symposium. Los Angeles 2000. Spears, R.; Lea, M.: Panacea or Panopticon? The Hidden Power in Computer-mediated Communication. In: Communication Research, 21 (1994) 4, S. 427 - 459. Spears, R.; Lea, M.; Lee, S.: De-individuation and Group Polarisation in Computer-Mediated Communication. In: British Journal of Social Psychology, 29 (1990) 2, S. 121 - 134. Spiegel, B.L.: Evaluating a Proposed Telecommunications Service: Some Research Methods Used. In: Sociological Practice, 6 (1987) 2, S. 125 - 148. Spöhring, W.: Qualitative Sozialforschung. Stuttgart: Teubner 1989. Stock, J.; Wolff, H.; Kuwan, H.; Waschbüsch, E.: Potentiale und Dimensionen der Wissensgesellschaft: Auswirkungen auf Bildungsprozesse und Bildungsstrukturen: Delphi-Befragung 1997/1998 im Auftrag des Bundesministeriums für Bildung, Wissenschaft, Forschung und

Literatur

231

Technologie. Vorgelegt von Prognos AG, Basel, und Infratest Burke Sozialforschung GmbH & Co. München 1998a. Stock, J.; Wolff, H.; Kuwan, H.; Waschbüsch, E.: Delphi-Befragung 1996/1998 „Potentiale und Dimensionen der Wissensgesellschaft – Auswirkungen auf Bildungsprozesse und Bildungsstrukturen“. Integrierter Abschlussbericht .München Basel 1998b. Strack, F.: Urteilsheuristiken. In: Frey, D.; Irle, M. (Hrsg.): Theorien der Sozialpsychologie. Band 3. Bern: Huber 1985, S. 239 - 267. Stratmann, B.: Stadtentwicklung in globalen Zeiten: Lokale Strategien, städtische Lebensqualität und Globalisierung. Basel: Birkhäuser, Reihe Stadtforschung aktuell 1999. Stratmann, B.: Die Delphi-Methode in der sozialwissenschaftlichen Stadtforschung: Eine Illustration am Beispiel einer Studie zu den Olympischen Spielen in Sydney im Jahr 2000. In: Häder, M.; Häder, S. (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen und innovative Anwendungen. Opladen: Westdeutscher Verlag 2000, S. 115 - 132. Strauss, H.J.; Zeigler, L.H.: The Delphi Technique and Its Uses In Social Science Research. In: The Journal of Creative Behavior, 9 (1975) 4, S. 253 - 259. Sudman, S.; Bradburn, N.M.: Asking Questions. San Francisco: Jossey-Bass 1983. Sudman, S.; Bradburn, N.M.; Schwarz, N.: Thinking About Answers: The Application of Cognitive Processes to Survey Methodology. San Francisco: Jossey-Bass Publ. 1996. T Tajfel, H.: Differentiation Between Groups: Studies in the Social Psychology of Intergroup Relations. London: Academic Press 1978. Türk, K.: Gruppenentscheidungen: Sozialpsychologische Aspekte der Organisation kollektiver Entscheidungsprozesse. In: Zeitschrift für Betriebswirtschaft, 43 (1973), S. 295 - 322. Turner, J.C.: Towards a Cognitive Redefinition of the Group. In: Tajfel, H. (Hrsg.): Social Identity and Intergroup Relations. Cambrigde: Cambridge University Press 1982, S. 15 – 40. Turner, J.C.; Hogg, M.A.; Oakes, P.J.; Reicher, S.D.; Wetherell, M.S. (Hrsg.): Rediscovering the Social Group: A Self-Categorization Theory. New York, NY: Blackwell 1987. Turoff, M.: The Design of a Policy Delphi. In: Technological Forecasting and Social Change, 2 (1970) 2, S. 149 - 171. Turoff, M.: The Policy Delphi. In: Linstone, H.; Turoff, M. (Hrsg.): The Delphi Method: Techniques and Applications. London Reading, Mass.: Addison-Wesley 1975, S. 84 - 100. Tversky, A.; Kahneman, D.: Extensional versus Intuitive Reasoning: The Conjunction Fallacy in Probability Judgment. In: Psychological Review, 90 (1983) 4, S. 293 – 315. U Uhl, N.P.: Using the Delphi Technique in Institutional Planning. In: New Directions for Institutional Research, 10 (1983) 1, S. 81 - 94. V Varga, K.: The Delphi Consultation on the Occasion of Hungary's Accession to the European Union: The Consultation of Hungarian Sociologists on the State of the Nation: Remarks toward Value-Rational Foundations for a National Strategy. In: Angewandte Sozialforschung: Zeitschrift für Mitteleuropa, 24 (2006) 3/4, S. 155-174. Vielhaber, A.; Müller, H. et al.: Fernreisen 2005: Delphi-Studie in Deutschland, Österreich und der Schweiz. Bern: Studienkreis für Tourismus und Entwicklung e.V. 1997. Vowe, G.; Opitz, St.; Dohle, M.: Medienpolitische Weichenstellungen in Deutschland: Rückblick und Vorausschau. In: Medien & Kommunikationswissenschaft, 56 (2008) 2, S. 159 - 186.

232

Literatur

W Warr, M.: The Accuracy of Public Beliefs About Crime. In: Social Forces, 59 (1980) 2, S. 456 – 470. Wechsler, W.: Delphi-Methode: Gestaltung und Potential für betriebliche Prognoseprozesse. München: Florenz 1978. Weidenmann, B.: Psychologische Prozesse beim Verstehen von Bildern. Bern: Hans Huber 1988. Weischenberg, S.; Altmeppen, K.-D.; Löffelholz, M.; unter Mitarbeit von Pater, M.: Die Zukunft des Journalismus: Technologische, ökonomische und redaktionelle Trends. Opladen: Westdeutscher Verlag 1994. Weishaupt, K.: Freier Zugang und Qualität – kein Widerspruch! Etablierte Strukturen des Wissenschaftssystems behindern die Durchsetzung von Open Access. Forschung Aktuell 04/2009. Gelsenkirchen: Institut für Arbeit und Technik 2009. Wellar, B.: Walking Security Index Variables: Initial Specification. Interim Report 5. Carleton, Ottawa: University of Ottawa and Region of Ottawa 1999. Welty, G.A.: A Critique of Some Long-Range Forecasting Developments. In: Bulletin of the International Statistical Institute, 54 (1971a), S. 403 - 408. Welty, G.A.: A Critique of the Delphi-Technique. In: Proceedings of the American Statistical Association, (1971b), S. 377 - 382. Welty, G.A.: Problems of Selecting Experts for Delphi Exercises. In: Acad. Manage. Journal, 15 (1972a) 1, S. 121 - 124. Welty, G.A.: A Selection and Deflection of Expertise in Delphi Exercises. Joint ORSA-TIMS Meeting. Atlantic City 1972b. Welty, G.A.: Platon and Delphi. In: Future, 5 (1973) 3, S. 281 - 286. Westhaus, M.; Seuring, St.: Konzepte - Strategien – Trends: Zum Begriff des Supply Chain Controlling: Ergebnisse einer Delphi-Studie. In: Logistik Management, 7 (2005) 2, S. 40-51. Whyte, D.N.B.: Key Trends and Issues Impacting Local Government Recreation and Park Administration in the 1990s. Dissertation an der Indiana University 1992. Wilder, D.A.: Some Determinants of the Persuasive Power of In-Group and Out-Group: Organization of Information and Attribution of Interdependence. In: Journal of Personality and Social Psychology, 59 (1990) 6, S. 1202 - 1213. Williams, P.L.; Webb, Ch.: The Delphi Technique: A Methodological Discussion. In: Journal of Advanced Nursing, 19 (1994) 1, S. 180 - 186. Wissenschaftsrat (Hrsg.): Thesen zur künftigen Entwicklung des Wissenschaftssystems in Deutschland. Drs. 4594/00. Berlin: Wissenschaftsrat 2000. Witte, E.; Senn, J.: Der Werbemarkt der Zukunft: Eine Delphi-Prognose. In: Zeitschrift für Betriebswirtschaft, 53 (1983) 7, S. 1042 – 1051. Wittenberg, R.; Cramer, H.: Datenanalyse mit SPSS für Windows: Handbuch für computerunterstützte Datenanalyse. Stuttgart: Lucius & Lucius, UTB für Wissenschaft 2000. Woudenberg, F.: An Evaluation of Delphi. In: Technological Forecasting and Social Change, 40 (1991) 2, S. 131 - 150. WZB; infas: Evaluation der Maßnahmen zur Umsetzung der Vorschläge der Hartz-Kommission: Modul 1a Neuausrichtung der Vermittlungsprozesse. Bericht 2006 für das Bundesministerium für Arbeit und Soziales. Berlin Bonn 2006. Y Young, S.J.: Perceived Liability and Risk Management Trends and Issues Impacting the Delivery of Recreational Sports Programs into the 21 st Century. Dissertation an der Indiana University 1998. Young, S.J.; Jamieson, L.M.: Delivery Methodology of the Delphi: A Comparison of Two Approaches. In: Journal of Park and Recreation Administration, 19 (2001) 1, S. 42 – 58.

Literatur

233

Z Zapf, W.: Sozialberichterstattung in der Bundesrepublik Deutschland. In: ZUMA-Nachrichten, 23 (1999) 45,S. 23 - 31. Zimolong, B.; Rohrmann, B.: Entscheidungshilfetechnologie. In: Frey, D.; Graf Hoyos, C.; Stahlberg, D. (Hrsg.): Angewandte Psychologie. Weinheim: Psychologie Verlags Union 1988, S. 624 - 646. Zoski, K.W.: Research Needs in Educational Technology for the 1990s: A Delphi Study. PhD. Diss., University of Toledo 1989. Zoski, K.W.; Jurs, St.: Priority Determination in Surveys: An Application of the Screen Test. In: Evaluation Review, 14 (1990) 2, S. 214 - 219. Zoski, K.W.; Jurs, St.: Applications for the Modified Screen Test Revisited. In: Evaluation Review, 15 (1991) 2, S. 189 - 190. Zukünftige Technologien Consulting der VDI Technologiezentrum GmbH: Nanotechnologie als wirtschaftlicher Wachstumsmarkt: Innovations- und Technikanalyse. Zukünftige Technologien Nr. 53. Düsseldorf: Zukünftige Technologien Consulting der VDI Technologiezentrum GmbH 2004.

Anhang: Auswahl von Delphi-Studien

Der folgende Abschnitt möchte einen Überblick zu den vielfältigen Anwendungen des Delphi-Designs in der Praxis geben. Dazu wurde eine Recherche in „wiso“ benutzt. „Wiso“ bietet nach eigenen Angaben das „umfassendste Angebot deutschsprachiger Literatur für die Wirtschafts- und Sozialwissenschaften. … Die Kooperation mit bedeutenden Verlagen und wissenschaftlichen Instituten ermöglicht ein einmaliges Portfolio an Qualitätsinhalten1.“ Eine undifferenzierte Such nach „Delphi“ ergibt hier 5.036 Treffer. Deshalb war eine Präzisierung der Recherche angezeigt. Die Einschränkung erfolgt erstens auf den deutschsprachigen Raum sowie zweitens auf den Zeitraum ab dem Jahr 2004. Zusätzlich wurde sicher gestellt, dass mit „Delphi“ tatsächlich auch die hier behandelte Bedeutung gemeint ist. Nun wurden die folgenden Treffer ermittelt: Zur besseren Übersicht wird eine Einteilung nach den inhaltlich angestrebten Erkenntnissen: Delphi-Studie aus dem Bereich Politik 1. Stakeholder-Delphi-Studie mit Entscheidungsträgern zu den Determinanten der GAP (Gemeinsame Agrarpolitik)-Reform der EU; für nähere Informationen siehe Cunha/Swinbank (2009). 2. Delphi-Studie zur Umgestaltung der europäischen Streitkräfte um Entwicklungsalternativen der Sicherheits-, Verteidigungs- und Rüstungspolitik sowie der Rüstungsindustrie in Europa zu ermitteln und darzustellen; für Details siehe Küllmer (2008). 3. Experten aus vier Kontinenten erstellen beim europäischen Energie-DelphiProjekt EurEnDel Prognosen für 2030; mehr unter: IZT (2004). 4. Delphi-Konsultation ungarischer Soziologen anlässlich des EU-Beitritt Ungarns, Einzelheiten sind veröffentlicht bei Varga (2006). 5. Delphi-Studie zu nachhaltiger landwirtschaftlicher Entwicklung in Albanien; zu Hinweisen siehe Kullaj (2007). 6. Methodenplurale Prognose unter Nutzung der Delphi-Technik zur Entwicklung von Terrorismus und Extremismus; Horx (2006). 7. Delphi-Studie 2004/2005 Deutschland im Umbruch, Zukunftstrends aus den weit reichenden Folgen für Politik, Wirtschaft und Gesellschaft, veröffentlicht in Henry-Huthmacher/Wilamowitz-Moellendorff (2005).

1

Vgl.:http://www.wiso-net.de/r_info/ueber_wiso.html?nav=ueber&WID=928326860009-31421_3 (aufgerufen am 30. 06.2009).

236

8.

9.

Anhang

Delphi-Studie im Rahmen der Evaluation der Umsetzung der Vorschläge der Hartz-Kommission im Auftrag des Bundesministerium für Wirtschaft und Arbeit; siehe dazu: WZB und infas (2006). Von der Friedrich-Ebert-Stiftung geförderte Delphi-Studie „Vision SachsenAnhalt 20xx“ soll einen Entwurf für eine zukunftsgerechte Landespolitik im Zeithorizont 2020 erstellen.

Studien aus dem Bereich Wirtschaft beziehungsweise Betriebswirtschaft 10. Delphi-Studie unter Mitarbeitern der Unternehmensberatung Accenture zum Informationsbedarf beim Outsourcing, für Ergebnisse siehe Seuring (2008). 11. Delphi-Studie mit Experten aus dem deutschen Filmsystem, mit Geschäftsführern von Filmförderinstitutionen, Produktionsfirmen, Filmwissenschaftlern und so weiter zur Entwicklung der Filmwirtschaft bis zum Jahr 2015, vgl.: Langewitz (2008). 12. Delphi-Studie zur Entwicklung der Arbeitszeit in den Zeiträumen bis 2010, 2015 sowie 2020, dargestellt bei Gottschalck (2008). 13. Delphi-Studie mit 28 Experten aus fünf Ländern und drei Kontinenten zu international einsetzbaren Assessment-Center-Verfahren, siehe dazu: Krause; Thornton (2007). 14. Delphi-Studie zum Wissensmanagement in der Europäischen Industrie, Informationen dazu bei Armbruster/Erceg/Pandza/Dreher (2007). 15. Delphi-Studie zur Veränderung der Arbeitswelt bis 2020 mit dem Schwerpunkt auf der zukünftigen Nutzung von Informations- und Kommunikationstechnologien, siehe dazu Baier/Kimpeler/von Oertzen (2006). 16. Delphi-Studie mit einer Analyse des Ist-Zustands und antizipierter SollAnforderungen zur Personalentwicklung und zu organisationalem Lernen in Non-Profit-Organisationen2 17. Die Delphi-Studie der Universität Bielefeld zu Kompetenzentwicklungsmodellen in der betrieblichen Praxis verfolgt das Ziel, auf der Basis der Befragungsergebnisse ein Kompetenzentwicklungsmodell zu entwickeln. 18. Delphi-Studie mit Stakeholdern zur Entwicklung von sozialen Kriterien (sozialen Indikatoren) für Energiesysteme; für Details vgl.: Brukmajster/Hampel/ Renn (2007). 19. Delphi-Studie zu Subventionsbetrug und Unternehmerqualität, durchgeführt von der Hochschule der Sächsischen Polizei, siehe: Kühne/Liebl (2006). 20. Delphi-Studie des Lehrstuhls und Seminars für Allgemeine Betriebswirtschaftslehre, Personalwesen und Arbeitswissenschaft der Universität Mannheim zur

2

Vgl. dazu: http://www-campus.uniregensburg.de/edu2/index.php?option=com_content&task=view&id=28&Itemid=60&lang=de

Anhang

21. 22.

23. 24.

25.

26.

27.

28.

29.

30.

3 4 5

237

Entwicklung des Arbeitsmarktes in Mannheim und der Metropolregion RheinNeckar3. Delphi-Studie zum heterogenen Verständnis des Begriffs des Supply Chain Controlling, zu Einzelheiten vgl.: Westhaus/Seuring (2005). Delphi-Studie in der Bundesrepublik, Neuseeland und Australien zum Forschungsgebiet Management Communications, sie analysiert sowohl international komparatistisch als auch interdisziplinär den Status des Forschungsfeldes. Delphi-Studie des Studienkreises für Tourismus und Entwicklung e.V.4 zur Entwicklung von Fernreisen. Delphi-Studie im Auftrag des Bundesministerium für Bildung und Forschung zu Nanotechnologien als wirtschaftlicher Wachstumsmarkt; vgl. Zukünftige Technologien Consulting der VDI Technologiezentrum GmbH (2004). Delphi-Studie im Rahmen des Leonardo-Programms der EU zu Unternehmertum zugunsten benachteiligter Menschen in Italien, Portugal, Deutschland mit dem Ziel, den Unternehmergeist für benachteiligte Personengruppen zu fördern. Delphi-Studie der Universität Trier sowie des Büros für TechnikfolgenAbschätzung beim Deutschen Bundestag – im Auftrag des Deutschen Bundestages – zu Zukunftstrends im Tourismus5. Delphi-Studie zur Situation der Public Relations in Europa einschließlich eines zukunftsweisenden Ansatzes für das Kommunikationsmanagement; vgl. Ruler/ Vercic (2004). Delphi-Studie des ifo Instituts für Wirtschaftsforschung im Auftrag des Sächsischen Staatsministerium für Wirtschaft und Arbeit im Rahmen des Sächsischen Mittelstandsbericht 2005/06. Delphi-Studie der Uni Bern zu Erfolgsfaktoren des Naturtourismus und der Regionalpolitik in geschützten Gebieten in den Alpen, vgl.: Hammer/Siegrist (2008). Delphi-Studie zur personellen und interkulturellen Diversität in Beratungsorganisationen, es geht um innovative Konzepte der Personal- und Organisationsentwicklung in Beratungsunternehmen (IPOB).

Vgl. dazu: http://oechsler.bwl.uni-mannheim.de/forschung/drittmittel/index.html aufgerufen am 30.06.2009. Vgl. dazu: http://www.studienkreis.org/deutsch/forschung/main_forsch.html aufgerufen am 30.06.2009. Vgl. dazu: http://www.tab.fzk.de/de/projekt/zusammenfassung/ab101.htm aufgerufen am 30.06.2009.

238

Anhang

Delphi-Studien, die dem Bereich Bildung und Erziehung zugeordnet werden können 31. Delphi-Studie zu kognitiven, sozialen und motorischen Kompetenzen von Schulanfängern, weitere Informationen: Jäger/Riebel (2006). 32. Delphi-Studie zu Trainerkompetenzen und in der Wissensgesellschaft erforderlichen Strategien: näheres bei Reichert (2008). 33. Delphi-Studie zur Didaktik im Biologieunterricht, zum Wissenstransfer in Biologie, Veranstalter: Abteilung Didaktik der Biologie der Biologischen Fakultät der Uni Göttingen. 34. Learning Delphi 2008 auf der CeBit zum digitalen Lernen mit 53 Experten. Vgl.: MMB I (2008). 35. Delphi-Studie zu Trainerkompetenzen in der Wissensgesellschaft, eine empirische Untersuchung des Lehrstuhls für Wirtschaftspädagogik der Universität Rostock zur Professionalisierung von Trainern im quartären Bildungssektor 36. Delphi-Studie zu Qualitätsstandards in der Lehrerausbildung wobei es vor allem um die Fähigkeiten der Berufsschullehrperson, professionelle LehrLernarrangements zu schaffen geht. 37. Delphi-Studie im Rahmen der Evaluation der Konzeptentwicklung zur Bildungsoffensive Elbinsel in Hamburg, um dort die baulichen Maßnahmen mit einer Verbesserung des Bildungsangebots zu unterstützen. 38. Delphi-Studie des MMB-Instituts für Medien- und Kompetenzforschung zu Computer-Lernformen an Hochschulen; mehr in: MMB II (2006). 39. Delphi-Befragung zu Hochschulen im demografischen Wandel in Sachsen im Auftrag des sächsischen Staatsministerium für Wissenschaft und Kunst6. 40. Delphi-Studie des Hochschul-Informations-System GmbH zur Studiendauer in zweistufigen Studiengängen im internationalen Vergleich, vgl.: Heublein/ Schwarzenberger (2005). 41. Delphi-Studie der Universität Jena zur Entwicklung von Kerncurricula für die Lehrerbildung zur strukturellen Verknüpfung von Aus- und Weiterbildung. 42. Delphi-Studie zum Kinderschutz, zu näheren Informationen vgl.: Gabb/Balen/ Gibbs (2006). 43. Interkulturelle Delphi-Studie zu Kompetenzen für globales Denken und Handeln in der Weltgesellschaft7.

6 7

Vgl.dazu: http://www.tu-dresden.de/phfis/delphi/ aufgerufen am 30.06.2009. Vgl.: dazu: http://www.leuphana.de/institute/infu/forschung/qualifizierungsarbeiten/dissertationmarco-rieckmann.html aufgerufen am 30.06.2009

Anhang

239

Auf den Bereich Medien zielende Informationsgewinnung mittels DelphiBefragungen 44. Delphi-Studie zu medienpolitschen Weichenstellungen beziehungsweise zu Entscheidungen, die als medienpolitische Weichenstellungen in den letzten 60 Jahren und in den kommenden zehn Jahren verstanden werden können, vgl.: Vowe/Opitz/Dohle (2008). 45. Online Delphi-Studie mit cirka 1.000 Autoren zu Open-Access-Zeitschriften, vgl.: Weishaupt (2009). 46. Delphi-Studie zur Identifikation von Forschungs- und Entwicklungsfeldern bei zukünftigen Informations- und Kommunikationstechniken, vgl.: Cuhls/Kimpeler (2008). Delphi-Studien zum Gesundheitswesen 47. Delphi-Studie zur Zukunft des deutschen Gesundheitssystems von JanssenCilag, einer Tochtergesellschaft des Healthcare-Konzerns Johnson & Johnson, vgl.: Nolting und Kollegen (2009). 48. Delphi-Studie zur Entwicklung einer schizophreniespezifischen Skala8 zur Ermittlung der Lebensqualität erkrankter Personen. 49. Delphi-Studie zur Modellentwicklung zur Messung von Gesundheitskompetenz9 um Aufschluss über die innere Struktur und die Zusammensetzung der Gesundheitskompetenz zu geben. 50. Delphi-Studie zum Arzt-Patient-Verhältnis, um zu ermitteln, wie das Verhältnis von Arzt und Patient idealerweise gestaltet sein müsste, um ein patientenorientiertes Gesundheitssystem möglich zu machen, vgl.: Gellner/Schmöller (2008). 51. Delphi-Studie zu zukünftiger Informationstechnologie für den Gesundheitsbereich, vgl.: Cuhls/v. Oertzen/Kimpeler (2007). 52. Delphi-Studie zur Messbarkeit der "De facto"- Compliance kardiovaskulärer Leitlinien und ihrer Determinanten10 der Universität Köln. 53. Delphi-Studie im Rahmen der Weiterentwicklung der "Visitation von Rehabilitationseinrichtungen" der Universität Freiburg im Auftrag von der Bundesversicherungsanstalt für Angestellte. 54. Delphi-Studie zu Pflege- und Behandlungsprozessen vom Deutschen Institut für angewandte Pflegeforschung e.V. mit dem Ziel der Entwicklung und Erpro8

9 10

Vgl. dazu: http://www.uniklinikumgiessen.de/psychiat/forschung/arbeitsgr/sozialpsych/agsoz_proj.html#sozpsych13 (aufgerufen am 1.07.2009) vgl. dazu: http://www.ewi-psy.fu-berlin.de/einrichtungen/arbeitsbereiche/eval-qsqm/forschung/Aktuelle_Projekte/index.html#gesund (aufgerufen am 1.07.2009) vgl. dazu: http://www.pmvforschungsgruppe.de/content/02_forschung/02_c_versorgungsf_02.htm (aufgerufen am 1.07.2009)

240

Anhang

bung von Steuerungselementen und Beratungsangeboten institutionsübergreifender Pflege- und Behandlungsprozesse. 55. Delphi-Studie zu einem Instrument für die Erfassung der physischen Aktivität bei Personen im mittleren und höheren Erwachsenenalter, vgl.: Huy/Schneider (2008). 56. Delphi-Studie der Universität Tübingen zur diagnostischen Kompetenz Sozialer Arbeit, in der das diagnostische Fallverstehen als zentrale Handlungskompetenz verstanden wird. Studien im Bereich der Demographie 57. Delphi-Studie zur Auswanderung von Akademikern, untersucht werden die Gründe, die Akademiker zur Auswanderung aus Deutschland bewegen und welche Auswirkungen dieser Brain Drain hat, vgl.: Remhof (2008). 58. Delphi-Studie zum Demographischen Wandel und Mobilität im Auftrag des Bundesministerium für Verkehr, Bau- und Wohnungswesen, vgl.: Infas; DIW (2005). Delphi-Studien mit vorrangig wissenschaftlicher Zielsetzung 59. Delphi-Studie zur Entwicklung von integrierten Teststrategien zur Chemikalienbewertung mit dem Ziel, integrierte Teststrategien für die Chemikalienbewertung zu entwickeln11. 60. Delphi-Studie zur Zukunft der Sozial- und Geisteswissenschaften12 mit Expertenworkshops im Rahmen eines groß angelegten internationalen Projektes. 61. Delphi-Studie zu Erfolgsfaktoren von Ex-post-Facto-Evaluationen von Forschungsprojekten, Ziel ist die Entwicklung kritischer Erfolgsfaktoren für die Evaluation von Forschungsprojekten, vgl.: Skeries (2006). 62. Delphi-Studie zur wissenschaftlichen Information und Systemreaktion, zur Analyse des Prozesses der Wissensgenerierung, Ergebnisvermittlung sowie der Wahrnehmung und Verarbeitung gezielt eingebrachter Information.13 63. Delphi-Studie zur Stärkung der internationalen Wettbewerbsfähigkeit von KMU, es geht um die bedürfnisgerechten Versorgung kleiner und mittlerer Unternehmen (KMU) mit Finanzdienstleistungen14.

11 12

13 14

Vgl. dazu: http://www.dialogik-expert.de/de/forschung/forschungsbereiche.htm (aufgerufen am 1.07.2009. Vgl. dazu: http://www.zeppelinuniversity.de/frameblast_de.php?url=/deutsch/lehrstuehle/kulturwissenschaften/kulturwissenschaf ten_profil.php (aufgerufen am 1.07.2009) Vgl. dazu: http://www.wup.wi.tum.de/forschung/projekte/wissinreak/ (aufgerufen am 1.07.2009) Vgl. dazu: http://www.ibi.de/kmufinanz (aufgerufen am 1.07.2009)

Anhang

64. 65. 66.

241

Delphi-Befragung zu projektbezogenen Mechanismen des Kyoto-Protokolls, vgl.: Cames et al. (2007). Delphi-Studie zum Ausbau erneuerbarer Energien im Auftrag des Bundesumweltministeriums15 Delphi-Studie zu erneuerbaren Energien in Afrika.

Weitere Studien mit unterschiedlichen Inhalten 67. Delphi-Studie zur Zukunft der Dresdener Frauenkirche, vgl.: Häder/Kretzschmar (2005a, 2005b). 68. Delphi-Studie zu künstlichen Journalisten in der Prognosen zur künftigen Bedeutung der Künstlichen Intelligenz für die Themenfelder der Kommunikationswissenschaft aufgestellt, vgl.: Pelka (2004).

15

Vgl. dazu: http://www.wupperinst.org/de/projekte/proj/index.html?projekt_id=166&bid=43&searcha rt=projekt_uebersicht (aufgerufen am 1.07.2009)

Personenregister

Adermann, D. 49 Aichholzer, G. 20, 66, 84, 98, 119, 123, 125, 187 Albach, H. 15, 24, 41, 59, 67, 195, 207 Albrecht, H. 94 Altschuld, J.W. 188 Ammond, U. 16 Anderson-Parenté, J.K. 57, 96, 207 Annen, E. 68 Apel, H. 195 Armbruster, H. 236 Aronson, E. 95 Assenmacher, W. 119 Atteslander, P. 60 Baier, E. 236 Balen, R. 238 Bardecki, M.J. 19, 20, 22, 48, 93, 136, 158, 159 Barsalou, L.W. 49 Batinic, B. 163 Baumgartner, R. 123 Baumgartner, Th. 35, 36, 108 Beck, K. 69, 113, 164, 167 Becker, D. 25, 96, 195 Beckers, T. 39 Belson, W.A. 141 Berger, V.F. 49, 93 Berghofer, D.E. 69 Bergmann, D. 51 Bernstein, G. 156 Beuer-Krüssel, M. 54, 131

Binsbergen, P.A. 39 Bless, H. 161 Blind, K. 16, 29, 59, 66, 94, 105, 113, 126, 129, 136, 152, 209 Blohm, H. 67 Bloom, J. 20 Bodenhausen, G.V. 49 Bodzenta, E. 157 Böhme, G. 27 Bohnsack, R. 56 Bolger, F. 21 Bollaert, L. 163 Böltken, F. 102 Borg, I. 88, 90, 178, 180, 182 Bortz, J. 100, 105 Bosnjak, M. 163 Bradburn, N.M. 125, 139, 200 Brase, G.L. 54 Braun, M. 126 Brehm, S.S. 49 Breiner, S. 15, 21, 66, 94, 96, 97, 105, 126, 209 Breuer, Ch. 130, 153, 154 Bright, J. 72 Brockhaus, W.L. 86 Brockhoff, K. 57, 163, 207 Bronner, R. 74 Brooks, K.W. 96 Brosi, W. 33, 36, 98, 104 Brown, A. 68 Brown, B. 15 Brown, C.A. 157

244

Bruckmann, G. 67 Brukmajster, D. 236 Bühl, A. 176 Bull, H.P. 63 Busch, H. 150 Cames, M. 240 Cannell, Ch. 144 Carver, C.S. 53 Cattell, R.B. 188 Cetron, M. 156 Chai, D.X. 70 Cho, Y.Y. 85, 189 Coates, J.F. 22, 23 Cochran, S.W. 15, 22, 96 Conrad, E.M. 45 Converse, J.M. 139 Cosmides, L. 54 Cramer, H. 176 Cuhls, K. 15, 16, 21, 29, 33, 34, 59, 66, 94, 96, 97, 105, 113, 120, 125, 126, 129, 136, 152, 157, 159, 209, 239 Cunha, A. 235 Cyphert, R.F. 208 Dahl, R.A. 63 Dalkey, N.C. 15, 19, 20, 40, 96, 105, 154, 187, 195 Daniél, J.J.M.C. 39 Davis, J.A. 125 De Boer, C. 39 De Boer, H.F. 39 Delbecq, A.L. 19, 20, 96 Dexter, T. 158, 192 D’Hondt, T. 72, 163 Dichtl, E. 26 Diekmann, A. 125, 161 Dillman, D.A. 122, 123, 125 Domitian 14 Dohle, M. 239

Anhang

Dreher, C. 236 Drilling, M. 157 Drobnick, R. 71 Ducanis, A.J. 48, 136 Duffield, Ch. 19, 20, 23, 74, 82, 93, 96, 156 Duijzer, G. 39 Duttke, St. 44, 45 Einstein, A. 28, 29 Engel, U. 157 Erceg, P.J. 236 Erfffmeyer, E.S. 23 Erffmeyer, R.C. 19, 20, 23, 121 Esser, E. 60, 125, 192 Evans, J.S. 54 Falke, Ch. 14, 39, 85, 98 Faulbaum, F. 139, 141, 200 Festinger, L. 51 Fink, A. 28 Fischer, G.W. 58 Fishkin, J. 63 Florian, M. 164, 166, 169 Franzmann, G. 119 Fraser, F.C. 54 Freichel, S.L.K. 26 Friedrichs, J. 125, 157 Gabb, J. 238 Gabler, S. 92 Galinat, W. 178 Gant, W.L. 208 Gates, B. 28 Gellner, W. 239 Georghiou, L. 66, 94, 97, 127, 129, 135, 137 Geschka, H. 15, 25, 195 Gewald, K. 25, 67 Gibbs, G. 238 Gigerenzer, G. 46, 54, 201

Anhang

Gisholt, O. 85, 156 Glotz, P. 69, 113, 164, 167 Gold, R.S. 70 Goodman, C.M. 20, 22, 74, 148 Gordon, T.J. 15 Gottschalk, F. 236 Götzenbrucker, G. 70 Grau, I. 48 Greatorex, J. 158, 192 Gries, W.H. 35 Grupp, H. 14, 15, 16, 21, 29, 59, 66, 94, 96, 97, 105, 113, 126, 129, 136, 152, 187, 209 Gustafson, D. 19, 20 Häder, M. 16, 21, 25, 43, 48, 65, 69, 85, 88, 94, 106, 111, 119, 121, 127, 136, 138, 142, 143, 152, 153, 155, 156, 157, 171, 175, 177, 187, 189, 192, 195, 196, 200, 201, 241 Häder, S. 11, 16, 21, 25, 43, 48, 65, 121, 138, 157, 187, 195, 196 Hadrian 14 Hammer, Th. 237 Hammons, J.O. 19, 20, 22, 74, 93, 112, 121 Hampel, J. 236 Hasse, J. 16, 32, 36, 53, 95, 96, 100, 101, 137, 149, 156 Hasson, F. 82, 150 Havas, A. 66, 164 Heberlein, Th.A. 123 Hegel, G.W.F. 40 Heller, F. 68 Helmer, O. 15, 19, 20, 189 Hempel, C.G. 201 Hennings, U. 67, 153

245

Henry-Huthmacher, Ch. 235 Heublein, U. 238 Hill, P.B. 60, 125, 192 Hippler, H.-J. 49, 123 Hitch, P.J. 74 Hoffmeyer-Zlotnik, J.H.P. 92 Hoffrage, U. 46, 53, 54 Hoffstätter, P.R. 42 Horner, R.R. 23 Horx, M. 235 Hüber, R.P.O. 67, 153 Hummel, R. 70 Huy, Ch. 240 Jäger, R.S. 238 Jamieson, L.M. 164, 165, 167 Janssen, H. 32, 33, 36, 68, 120, 193 Jeenah, M.S. 66 Jeong, G.H. 189 Jillson, L.A. 71 Jobs, St. 28 Jones, Ch.G. 71 Jucken, H. 85 Judd, R.C. 22 Jurs, St. 188 Kaase, M. 161 Kahneman, D. 53, 54 Kalton, G. 144 Kant, I. 40 Kaplan, A. 14 Kaufmann, H.-J. 15 Kaynak, E. 20, 21, 23, 70, 121 Keeney, S. 82, 150, 151 Kendell, P.L. 55 Kenis, D. 25, 72, 149, 163 Kennedy, J.F. 103 Kim, S.H. 189 Kimpeler, S. 236, 239 Kinast, K. 187

246

Kirchhoff, S. 125 Kirsch, A. 73, 127, 164, 165, 169 Klages, H. 15 Kleinbölting, H. 46 Köhler, G. 19 Köhler, H. 41, 42, 67 König, R. 25 König, W. 67 Krause, D.E. 236 Krause, R. 73 Krauß-Leichert, U. 71 Krekel, E.M. 33, 36, 98, 104 Kretzschmar, G. 241 Kreutz, H. 24 Kreutz, St. 51, 53 Kromrey, H. 122, 139 Krüger, U.M. 14, 39, 85, 98, 151 Krumpal. I. 54, 131 Kühn, R. 85 Kühne, E. 236 Kullaj, E. 235 Küllmer, M. 235 Kunz, Ch. 15, 25, 42, 67 Kuwan, H. 67 Lamnek, S. 55 Lane, I.M. 23, 121 Lanford, H.W. 121 Lang, N. 69 Langewitz, O. 236 Lea, M. 51 Lee, S. 51 Leibniz, G.W. 40 Leibold, M. 20 Levine, M. 51 Liebl, K. 236 Linsk, A.S. 124 Linstone, H.A. 15, 19, 22, 23, 24, 25, 65, 72, 121, 163 Lippman-Hand, A. 54 Little, A.D. 83

Anhang

Locke, J. 40 Loos, P. 55, 56 Loveridge, D. 35, 66, 94, 97, 127, 129, 135, 137, 186 Ludlow, J. 71 Luskin, R. 63 Maassen, P.A.M. 39 Macaulay, J.A. 20 Mandl, H. 86 Mangold, W. 55 Mar, B.W. 23 Martino, J.P. 26, 33, 48, 150, 194 Matiaske, W. 74 McKenna, H. 82, 150 Meier, U. 27 Menze, L. 11 Merton, R.K. 30, 55 Mettler, P.H. 35, 36, 108 Mickelsen, J.F. 86 Mitroff, I.I. 39, 40 Mohler, P.Ph. 139 Mulgrave, N.W. 49, 136 Mullen, K.D. 70 Müller, H. 70 Müller, St. 26 Mueller, U. 48 Murgatroyd, J.D. 74 Murry, J.W. 19. 20, 22, 74, 93, 112, 121 Nedeva, M. 66, 94, 97, 127, 129, 135, 137 Nelson, B.W. 48, 93, 136, 151, 208 Neubert, S. 157 Noelle-Neumann, E. 47, 49, 199 Nolting, H.-D. 239 Novakowski, N. 26, 77, 80, 93 Oksenberg, L. 144

Anhang

Olsen, K. 28 Ono, R. 21, 69, 74, 156, 194 Opitz, St. 239 Opp, K.-D. 30 Oppenheim, P. 201 Overbury, R.E. 27 Pandza, K. 236 Parenté, F. 57, 96, 207 Pelka, B. 241 Pfohl, H.-Ch. 26 Planek, Th.W. 70, 188 Plica, Mathias 111 Pollock, F. 55 Porst, R. 124, 125, 125, 139 Postmes, T. 51 Presser, St. 125, 139 Price, C.R. 163 Prüfer, P. 49, 50, 139, 141, 200 Race, K.E.H. 70, 188 Rauch, W. 26 Raulfs, A. 164 Reicher, S.D. 51 Reichert, A. 238 Reichertz, P. 71 Reid, N.G. 74 Reinecke, J. 157 Reinmann-Rothmeier, G. 86 Remhof, St. 240 Renn, O. 25, 236 Rescher, N. 15 Rexroth, M. 49, 50, 119, 139, 141, 142, 143, 200, 201 Richey, J.S. 19, 20, 21, 23, 73, 93, 156 Riebel, J. 238 Riggs, W.E. 20, 21, 57, 156, 207 Rockeach, M. 93 Rohrmann, B. 44, 48 Rosenthal, R. 30

247

Ross, M. 48 Rowe, G. 21, 22, 58, 93, 112 Rowlands, D.G. 21 Ruler, B.v. 237 Sackman, H. 22 Salancik, J.R. 44 Saliger, E. 15, 25, 42, 67 Sassenberg, K. 51, 53 Scane, A. 44 Schaffer, J. 164 Schäffer, B. 55, 56 Scheele, S. 40 Scheibe, M. 119, 120, 208 Scheier, M.F. 53 Scheuch, M. 63 Schlake, O. 28 Schmidt, R. 71 Schmöller, M. 239 Schnabel, U. 94 Schneider, S. 240 Schnell, R. 60, 125, 192 Schofer, J. 208 Schöllhammer, H. 15 Schulz, M. 25 Schuman, H. 125, 141 Schwarz, B. 71 Schwarz, N. 47, 49, 125, 161, 200 Schwarzenberger, A. 238 Seeger, Th. 15, 26, 41, 86 Seidel, K. 123 Senn, J. 67 Seuring, St. 236, 237 Siebe, A. 28 Siegrist, D. 237 Singer, P. 40 Skeries, S. 240 Skutsch, M. 208 Slovic, P. 131 Snyder-Halpern, R. 99, 123, 164, 169, 194

248

Spears, R. 51 Spiegel, B.L. 68, 93 Spöhring, W. 25 Stahnke, F. 67, 153 Stein, F.A. 74 Steinbuch, K. 67 Stock, J. 67 Strack, F. 45, 49, 125 Stratmann, B. 68 Strauss, H. 26 Sudman, S. 49, 125, 139, 200 Swinbank, 235 Tajfel, H. 51 Theodosius 14 Thomas, Ph.M. 188 Thompson, Ch.B. 164 Thornton, G.C. 236 Timmer, J. 28 Tooby, J. 54 Türk, K. 42 Turner, J.C. 51, 52 Turoff, M. 15, 19, 22, 23, 24, 25, 26, 39, 40, 65, 71, 72, 121, 163 Tversky, A. 53, 54 Uhl, N.P. 22 Ulrich, J.G. 33, 36, 98, 104

Anhang

Wagner, M. 119 Warr, M. 131 Waschbüsch, E. 67 Watson, Th.J. 28 Webb, Ch. 74, 96 Wechsler, W. 67, 98, 151, 156 Wedemeyer, D.J. 21, 69, 74, 156, 194 Weidemann, B. 44 Weischenberg, S. 72 Weishaupt, K. 239 Wellar, B. 26, 33, 77, 80, 93 Welty, G. 208 Wersing, G. 86 Westhaus, St. 237 Whyte, D.N.B. 167 Wilder, D.A. 52 Wilkinson, J. 72 Williamowitz-Moellendorff, U. 235 Williams, P.L. 74, 96 Witte, E. 67 Wittenberg, R. 176 Wolff, H. 67 Woudenberg, F. 91, 96 Wright, G. 21 Wright, W. 28 Wyler, R.S. 49 Young, S.J. 164, 165, 167

van de Ven, A. 19, 20 van Vught, F.A.A. 39 Varga, K. 235 Vercic, D. 237 Verhaegen, L. 163 Vielhaber, A. 70 Vogelsang, G. 69, 113, 164, 167 von Alemann, H. 125 von Oertzen, J. 236, 239 Vowe, G. 239

Zapf, W. 9, 10 Zeigler, H.L. 26 Ziegler, A. 48, 121, 138, 157, 196, 195 Zimolog, B. 44, 48 Zöfel, P. 176 Zoski, K. 73, 188