Umfrageforschung: Herausforderungen und Grenzen

Martin Weichbold · Johann Bacher · Christof Wolf (Hrsg.) Umfrageforschung

Österreichische Zeitschrift für Soziologie Sonderheft 9/2009 Herausgeber: Vorstand der Österreichischen Gesellschaft für Soziologie: Christian Fleck, Monika Kronberger, Sonja Laubichler, Beate Littig, Johanna Muckenhuber, Joachim Nemella, Harald Rohracher, Katharina Scherke

Martin Weichbold Johann Bacher Christof Wolf (Hrsg.)

Umfrageforschung Herausforderungen und Grenzen

Österreichische Zeitschrift für Soziologie Vierteljahresschrift der Österreichischen Gesellschaft für Soziologie 34. Jahrgang, Sonderheft 9, Juni 2009 Herausgeber: Vorstand der Österreichischen Gesellschaft für Soziologie: Christian Fleck, Monika Kronberger, Sonja Laubichler, Beate Littig, Johanna Muckenhuber, Joachim Nemella, Harald Rohracher, Katharina Scherke. Redaktion: Eva Buchinger, Hubert Eichmann, Eva Flicker, Johanna Hofbauer, Lorenz Lassnigg, Heinz-Jürgen Niedenzu, Franz Ofner, Dieter Reicher, Martin Weichbold, Angelika Wetterer, Meinrad Ziegler. Redaktionssprecher: Franz Ofner (Universität Klagenfurt, [email protected]), Meinrad Ziegler (Universität Linz, [email protected]) und Heinz-Jürgen Niedenzu für die eingehenden Manuskripte (Universität Innsbruck, [email protected]). Rezensionsredakteur: Dieter Reicher, (Universität Graz, [email protected]) Redaktionelle Zuschriften bitte nur an die Redaktion senden. Unverlangt eingesandte Rezensionsexemplare können nicht zurückgeschickt werden. VS Verlag für Sozialwissenschaften | GWV Fachverlage GmbH Abraham-Lincoln-Straße 46 | 65189 Wiesbaden | www.vs-verlag.de Geschäftsführer: Dr. Ralf Birkelbach (Vors.), Albrecht F. Schirmacher Gesamtleitung Anzeigen: Thomas Werner Gesamtleitung Produktion: Christian Staral Gesamtleitung Vertrieb: Gabriel Göttlinger Leserservice: Martin Gneupel, Telefon (06 11) 78 78-151; Telefax (06 11) 78 78-423; E-Mail: [email protected] Marketing: Ronald Schmidt-Serrière M.A.,Telefon (06 11) 78 78-2 80; Telefax (06 11) 78 78-4 40; E-mail: [email protected] Anzeigenleitung: Yvonne Guderjahn, Telefon (06 11) 78 78-155; Telefax (06 11) 78 78-4 30; E-mail: [email protected] Anzeigendisposition: Monika Dannenberger, Telefon (06 11) 78 78-1 48; Telefax (06 11) 78 78-4 43; E-mail: [email protected] Es gilt die Sammelpreisliste vom 01. 01. 2009. Produktion/Layout: Frieder Kumm, Telefon (06 11) 78 78-1 75; Telefax (06 11) 78 78-4 68; E-mail: [email protected] Bezugsbedingungen 2009: Jährlich erscheinen 4 Hefte. Jahresabonnement / privat (print+online) € 65,–; Jahresabonnement / privat (nur online) € 39,–; Jahresabonnement / Bibliotheken/Institutionen (nur print) € 117,–; Jahresabonnement Studenten/Emeritus (print+online) – bei Vorlage einer Studienbescheinigung € 29,–. Alle Print-Preise zuzüglich Versandkosten. Alle Bezugspreise und Versandkosten unterliegen der Preisbindung. Kündigungen der Abonnements müssen spätestens 6 Wochen vor Ablauf des Bezugszeitraumes schriftlich mit Nennung der Kundennummer erfolgen. © VS Verlag für Sozialwissenschaften | GWV Fachverlage GmbH, Wiesbaden 2009 VS Verlag für Sozialwissenschaften ist Teil der Fachverlagsgruppe Springer Science+Business Media. Alle Rechte vorbehalten. Kein Teil dieser Zeitschrift darf ohne schriftliche Genehmigung des Verlages vervielfältigt oder verbreitet werden. Unter diesen Vorbehalt fällt insbesondere die gewerbliche Vervielfältigung per Kopie, die Aufnahme in elektronischen Datenbanken und die Vervielfältigung auf CD-ROM und allen anderen elektronischen Datenträgern. Satz: Laudenbach, Sigmundsgasse 14, A-1070 Wien Druck und buchbinderische Verarbeitung: Krips b.v., Meppel Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier. Printed in the Netherlands ISSN 1011-0070 Gedruckt mit Unterstützung des Bundesministeriums für Wissenschaft und Forschung in Wien GESIS – Leibniz-Institut für Sozialwissenschaften Stiftungs- und Förderungsgesellschaft der Paris-Lodron-Universität Salzburg Linzer Hochschulfonds (LHF) ISBN 978-3-531-16319-2

Inhaltsverzeichnis Martin Weichbold, Johann Bacher, Christof Wolf Herausforderungen und Grenzen der Umfrageforschung. Zur Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

9

Methodeneffekte

Tino Schlinzig, Götz Schneiderat Möglichkeiten zur Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk. Zum Potenzial von Warmkontakt und randomisierter Geburtstagsauswahl . . . . . . . . . . . .

21

Michael Häder, Mike Kühne, Tino Schlinzig Mode-Effekte bei telefonischen Befragungen über Festnetz und Mobilfunk: Auswirkungen auf die Datenqualität . . . . . . . . . . . . . . . . .

45

Julia Simonson Klassenzimmerbefragungen von Kindern und Jugendlichen: Praktikabilität, Potentiale und Probleme einer Methode . . . . . . . . . . .

63

Monika Taddicken Methodeneffekte von Web-Befragungen: Soziale Erwünschtheit vs. Soziale Entkontextualisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 2

Computerbasierte Befragungen

Joachim Gerich Multimediale Elemente in der Computerbasierten Datenerhebung. Der Einfluss Auditiver und Visueller Elemente auf das Antwortverhalten in Befragungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 Albert Greinöcker Der Einsatz visueller Analogskalen (VAS) in Online-Befragungen . . . 131 Jörg Blasius, Maurice Brandt Repräsentativität in Online-Befragungen . . . . . . . . . . . . . . . . . . . . . . . 157

3

Stichproben

Sabine Häder, Matthias Ganninger, Siegfried Gabler Die Stichprobenziehung für den European Social Survey: Prinzipien und Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 Folkert Aust, Helmut Schröder Sinkende Stichprobenausschöpfung in der Umfrageforschung – ein Bericht aus der Praxis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 Volker Hüfken Teilnahme am ISSP „Bürger und Staat 2004“ und „Nationale Identität 2003“. „Drop-off“-Erhebungen im Rahmen der Allgemeinen Bevölkerungsbefragung (ALLBUS) 2004 . . . . . . . . . . . . . . . . . . . . . . . 213 Siegfried Gabler, Sabine Häder Die Kombination von Mobilfunk- und Festnetzstichproben in Deutschland . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 Johann Bacher Analyse komplexer Stichproben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 4

Spezielle Zielgruppen und ihre Inklusion

Bettina Stadler Die Befragung von MigrantInnen in Stichprobenerhebungen . . . . . . . 275 Wolfgang Aschauer Besonderheiten und Problemlagen der quantitativen Befragung bei MigrantInnen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293 Angela Wroblewski Berücksichtigung der Situation von Personen mit gesundheitlichen Beeinträchtigungen in Umfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 Marek Fuchs Item-Nonresponse in einer Befragung von Alten und Hochbetagten. Der Einfluss von Lebensalter und kognitiven Fähigkeiten . . . . . . . . . . 333 6

5

Herausforderungen der Großforschung

Anja Kettner, Michael Stops Europäische Betriebsbefragungen über offene Stellen: Ist das Gleiche wirklich gleich? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 Michael Ruland, Marcel Raab, Benno Schönberger, Hans-Peter Blossfeld, Dirk Hofäcker, Sandra Buchholz, Paul Schmelzer GlobalIndex – Ein soziologischer Ansatz zur Messung von Globalisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 Christof Wolf, Paul Lüttinger Verteilung von Proxy-Interviews im deutschen Mikrozensus . . . . . . . 395

6

Alternative Befragungstechniken

Stefanie Eifler, Daniela Thume, Rainer Schnell Unterschiede zwischen subjektiven und objektiven Messungen von Zeichen öffentlicher Unordnung („Signs of Incivility“) . . . . . . . . . 415 Georgios Papastefanou Ambulatorisches Assessment: Eine Methode (auch) für die Empirische Sozialforschung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443 Henrik Kreutz Fortschritte bei der Auflösung der ceteris-paribus-Klausel: Was leistet die Quasi-experimentelle Frageform im Vergleich zu Vignetten? Eine methodologische Erörterung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469 Andreas Quatember Neue Entwicklungen bei statistischen Methoden zur Verringerung von Falschantworten und Antwortausfällen bei heiklen Themen . . . . 499

7

7

Methodologische Grundfragen

Reinhard Bachleitner, Wolfgang Aschauer Zur Situationsspezifität von Raum, Zeit und Befindlichkeit in der Umfrageforschung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515 Markus Pausch Eurobarometer und die Konstruktion eines europäischen Bewusstseins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539 Martin Weichbold Zur Bestimmung und Sicherung der „Qualität“ von Umfragen . . . . . . 553

Autorinnen und Autoren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571

8

Martin Weichbold, Johann Bacher, Christof Wolf

Martin Weichbold, Johann Bacher, Christof Wolf

Herausforderungen und Grenzen der Umfrageforschung. Zur Einleitung Vor mehr als einem halben Jahrhundert wagte René König die Prophezeiung, dass „das Interview in seinen verschiedenen Formen doch immer der Königsweg der praktischen Sozialforschung bleiben“ (1952, 27) werde. Die empirische Sozialforschung befand sich in Europa damals „in der Gründungsphase“ (Weischer 2004, 37), und die Situation ist mit jener von heute nur schwer vergleichbar. Dennoch scheint die Prognose von König noch immer Gültigkeit zu haben. Die Nachfrage nach Daten aus der Markt- und Sozialforschung ist enorm gewachsen und heute auch ein wichtiger ökonomischer Faktor. Das Umsatzvolumen für (kommerzielle) Markt- und Sozialforschung in Deutschland für 2007 wird auf mehr als 2 Milliarden Euro geschätzt1, davon macht die Umfrageforschung nach wie vor den Löwenanteil aus. Doch es wäre zu kurz gegriffen, nur quantitative Indikatoren für die Entwicklung der Umfrageforschung zu sehen, in den letzten Jahren haben sich auch die Rahmenbedingungen geändert, unter denen Sozialforschung heute stattfindet, aber auch die Methode selbst hat sich weiter entwickelt. Betrachtet man die Rahmenbedingungen, so ist zunächst festzustellen, dass die Anforderungen an die Umfrageforschung anders geworden sind: Ergebnisse müssen in immer kürzerer Zeit vorliegen, zumal auch ökonomische oder politische Entscheidungen rascher getroffen werden. Nationalstaatliche Grenzen werden in einem zusammenwachsenden Europa immer öfter irrelevant, und so muss auch die Umfrageforschung zusehends international und vergleichend arbeiten (vgl. Pfau-Effinger & Sakac Magdalenic & Wolf, 2009). Dabei wandeln sich die Gesellschaft(en) in Europa beständig. Neben demografischen Änderungen (wie gesellschaftliche Alterung, Migration oder Änderungen in den Lebensformen und Haushaltsstrukturen) sind es Phänomene wie zunehmende Mobilität oder eine abnehmende Bereitschaft zur Teilnahme an Umfragen (vgl. Kaase 1999, 28), die hier neue Herausforderungen schaffen. 9

Martin Weichbold, Johann Bacher, Christof Wolf

Veränderungen betreffen aber nicht zuletzt die Methode selbst. In den letzten Jahren und Jahrzehnten sind neue Befragungsformen entstanden. König bezog sich in seinen Ausführungen auf das persönliche Interview (heute würde man sagen: das Face-to-face-Interview), das in der Zwischenzeit vom Telefoninterview überflügelt wurde – zumindest was die Häufigkeit seiner Anwendung betrifft.1 Die voranschreitende Nutzung von Mobiltelefonen bringt es mit sich, dass hierbei insbesondere die Auswahlverfahren wieder zu überdenken sind. Seit einigen Jahren haben sich zudem, trotz mancher ungeklärter Fragen (etwa zur Repräsentativität), Onlinebefragungen etabliert. Generell ist die Entwicklung der empirischen Sozialforschung durch eine Technisierung und insbesondere Computerisierung geprägt (vgl. Weichbold 2005, 55). Der Einsatz von Computern als Befragungsinstrument ist nur ein letzter Schritt, auch alle anderen Phasen empirischer Sozialforschung, von der Konzeption über die Stichprobenziehung bis hin zur Datenanalyse erfolgen computergestützt, was neue Möglichkeiten mit sich bringt, aber auch eine gewisse Determination bedeutet. Besonders deutlich wird diese Veränderung im Bereich der Datenanalyse. Mit dem Computereinsatz sind neue Analyseformen wie etwa Clusteranalysen, komplexe Strukturgleichungsmodelle oder multivariate Analysen kategorialer Daten nicht nur möglich geworden, mit dem Ausmaß ihrer Anwendung werden sie auch zu Standards der Datenanalyse (vgl. Scheuch 1999, 10). Neue Forschungsdesigns bringen neue Perspektiven; Netzwerkanalysen, eine stärkere Berücksichtigung der zeitlichen Perspektive (Paneldaten, Ereignisanalysen) oder eine zunehmende Flut an prozessproduzierten Daten betreffen die Umfrageforschung zwar nicht im engeren Sinne, markieren aber relevante Entwicklungen in ihrem Umfeld (vgl. Weischer 2004, 415). Auch wenn die Befragung nach wie vor als ,Königsweg‘ der empirischen Sozialforschung gelten mag, bilden die skizzierten Veränderungen immer wieder neue Herausforderungen. Diese betreffen nicht nur die Praxis der Umfrageforschung, sondern insbesondere auch die Methodenforschung. Die Grenzen der Umfrageforschung sind dabei nicht starr, sondern verändern sich; aber wie alle Methoden hat auch die Umfrageforschung ihre Grenzen. Der vorliegende Band vereint ausgewählte Beiträge von zwei einschlägigen Tagungen, die 2008 stattgefunden haben, nämlich jener der Sektion ,Methoden der Empirischen Sozialforschung‘ der Deutschen Gesellschaft für Soziologie und jene der Sektion ,Soziologische Methoden und Forschungsdesigns‘ der österreichischen Gesellschaft für Soziologie. Nicht nur 10

Herausforderungen und Grenzen der Umfrageforschung. Zur Einleitung

am Umfang des Buches wird die Vielfalt der Herausforderungen für die Umfrageforschung sichtbar, auch die abgehandelten Themen zeigen die Breite der Fragestellungen und geben einen Einblick in die aktuelle Diskussion und den Forschungsstand. Bereits im ersten Block Methodeneffekte wird eine zentrale Fragestellung angesprochen: Welchen Einfluss hat die Entscheidung für eine bestimmte Befragungsform auf die Ergebnisse? Angesichts neuer Erhebungsformen (z. B. Onlinebefragungen) oder modifizierter Befragungsbedingungen hat diese Frage besondere Aktualität. Die ersten beiden Beiträge greifen diese Thematik für Telefonbefragungen, konkret für die aktuelle Problematik von Mobilfunkbefragungen auf. Tino Schlinzig und Götz Schneiderat gehen der Frage nach, wie sinkenden Ausschöpfungsraten begegnet werden kann. Dabei untersuchen sie die Teilnahmebereitschaft an Mobilfunkbefragungen und zeigen, dass eine Vorankündigung per SMS die Teilnahmebereitschaft erhöhen kann. Zudem überprüfen sie die Praktikabilität und die Effekte eines neuen Auswahlverfahrens auf Haushaltsebene – der randomisierten Geburtstagsauswahl – für Festnetzbefragungen. Michael Häder, Mike Kühne und Tino Schlinzig untersuchen Mode-Effekte bei Festnetz- und Mobilfunkbefragungen anhand von Item-Nonresponse und Erinnerungsfragen und kommen zum Schluss, dass unter Berücksichtigung bestimmter Umstände beide Verfahren durchaus parallel eingesetzt werden können. Eine andere Methode stellt Julia Simonson vor, nämlich die vor allem für die Befragung von Kindern und Jugendlichen eingesetzte Klassenzimmerbefragung. Besondere Aufmerksamkeit schenkt die Autorin dabei Fragen der Datengüte, konkret der Validität und der sozialen Erwünschtheit beim Antwortverhalten. Schließlich beschäftigt sich Monika Taddicken in ihrem Beitrag mit Methodeneffekten von Web-Befragungen im Vergleich zu schriftlicher Befragung bzw. CATI. Die festgestellten Effekte interpretiert sie dabei als Folge der eingeschränkten Kommunikationskanäle bei der computervermittelten Kommunikation im Spannungsfeld zwischen sozialer Erwünschtheit und sozialer Entkontextualisierung. Die Beiträge des zweiten Blocks, Computerbasierte Befragungen, beschäftigen sich mit den Möglichkeiten und Grenzen, die Befragungen am Computer und dabei vor allem Online-Befragungen bieten. Joachim Gerich zeigt die Möglichkeiten und Folgen der Einbindung multimedialer Elemente in der Datenerhebung. Er vergleicht den Einsatz auditiver und visueller Elemente in der computergestützten Befragung mit ,konventionellen‘ Onlinebefragungen, wobei er eine Verbesserung der Datenqualität feststellt und diese mit der höheren Zahl an Kommunikationskanälen bzw. 11

Martin Weichbold, Johann Bacher, Christof Wolf

,Social Cues‘ begründet. Albert Greinöcker präsentiert die Ergebnisse seiner Experimente mit unterschiedlichen Gestaltungsformen von Skalenfragen (und dabei insbesondere visueller Analogskalen), wobei nicht nur Unterschiede im Antwortverhalten untersucht werden, sondern über das Abbruchverhalten, die Messung von Antwortdauern sowie die Bewertung der verschiedenen Formen durch die Befragten auch deren Einsatz in der Praxis evaluiert wird. Einem zentralen Einwand gegen Online-Befragungen, nämlich der fehlenden Repräsentativität, widmen sich Jörg Blasius und Maurice Brandt. Sie schlagen für Online-Panels vor, nicht wie bisher oft üblich, Daten nachträglich zu gewichten, sondern eine geschichtete Stichprobe zu ziehen, und untermauern ihren Vorschlag durch einen Vergleich mit ALLBUS-Daten. In den fünf Beiträgen des dritten Blocks geht es um Stichproben. Sabine Häder, Matthias Ganninger und Siegfried Gabler fragen, wie die bestmögliche Stichprobe für eine allgemeine Bevölkerungsumfrage in Europa aussieht, und stellen den im European Social Survey gewählten Ansatz dar. Die AutorInnen argumentieren, dass die optimale Stichprobenstrategie für einen länderübergreifenden Survey nicht in der Wahl des gleichen Stichprobenplanes in jedem Land bestehen kann, sondern in der Wahl der für jedes Land besten Zufallsstichprobe. Der Beitrag zeigt, wie die durch unterschiedliche Stichprobendesigns entstehenden Unterschiede in den Auswahlwahrscheinlichkeiten durch Design-Gewichte ausgeglichen und wie aus diesen vergleichbare „effektive“ Stichprobenumfänge berechnet werden können. Die internationale Perspektive wird ergänzt durch einen intertemporalen Vergleich, den Folkert Aust und Helmut Schröder vorlegen. Sie untersuchen das Phänomen sinkender Ausschöpfungsquoten in der Umfrageforschung. Dazu können sie auf einen Fundus von 132 Studien zurückgreifen, die infas – Institut für angewandte Sozialwissenschaft in Bonn seit den 1990er Jahren im Bereich Sozialforschung durchgeführt hat. Die Autoren untersuchen, ob tatsächlich ein Rückgang der Ausschöpfung beobachtet werden kann und mit welchen Merkmalen der Studien die Ausschöpfungsquote variiert. Wie so häufig zeigen die Ergebnisse ein differenziertes Bild: So bestätigt sich zwar insgesamt der Befund rückläufiger Ausschöpfungsquoten, allerdings zeigt sich auch, dass dies insbesondere für allgemeine Bevölkerungsumfragen gilt, während bei Erhebungen in spezifischen Zielgruppen nach wie vor eine gute Ausschöpfung realisiert werden kann. Mit der Teilnahme an Befragungen beschäftigt sich auch Volker Hüfken. Er untersucht am Beispiel des deutschen Teils des International Social Survey Programmes (ISSP) die Bereitschaft, sog. Drop-off-Fragebögen zu beantworten, also Fragebögen, die dem Befragten im Anschluss an ein 12

Herausforderungen und Grenzen der Umfrageforschung. Zur Einleitung

Face-to-face-Interview ausgehändigt werden. Seine Analysen belegen u. a., dass der Item-nonresponse in der vorangegangenen Face-to-face-Befragung ein guter Prädiktor für die Nichtbeantwortung des Drop-off-Fragebogens ist. Einer ganz anders gearteten Fragestellung gehen Sabine Häder und Siegfried Gabler nach. Sie stellen sich die Frage, wie angesichts einer tendenziell sinkenden Abdeckung der Bevölkerung mit Festnetzanschlüssen und einer entsprechenden Zunahme von Personen, die ausschließlich über einen mobilen Telefonanschluss erreicht werden können, zukünftig Zufallsstichproben für telefonische Befragungen realisiert werden können. Sie zeigen in ihrem Beitrag, wie zwei Stichprobenrahmen, einer für Telefonnummern aus dem Festnetz, einer für Telefonnummern mobiler Anschlüsse, miteinander verbunden werden können. Der letzte Beitrag aus dem Block Stichproben bezieht sich nicht auf die Datenerhebung, sondern auf die Auswertung von Daten. Johann Bacher stellt in seinem Beitrag dar, wie die Eigenschaften der in der Praxis ganz überwiegend verwendeten „komplexen“ Stichprobenverfahren – also Abweichungen von einfachen Zufallsauswahlen – bei der Analyse von Daten, genauer bei der statistischen Inferenz, angemessen berücksichtigt werden können. Da die Verwendung der bis heute üblichen Standardverfahren bei Abweichungen von der Annahme einfacher Zufallsauswahlen zu Fehlschlüssen führen kann, geht es nicht einfach nur um statistische Finesse. Bacher zeigt, wie die heute in gängigen Standardstatistikprogrammen zur Verfügung stehenden Verfahren zur Berücksichtigung des Stichprobendesigns praktisch eingesetzt werden können. Der Frage, welche Probleme bei der Befragung von spezifischen Zielgruppen auftreten und wie diese gelöst werden können, widmen sich die Beiträge des vierten Blocks. Die bis vor einigen Jahren noch oft gepflegte Praxis, Personen ohne ausreichende Deutschkenntnisse aus Untersuchungen einfach auszuschließen, wird zunehmend als problematisch wahrgenommen. Von daher ist es verständlich, dass versucht wird, MigrantInnen in Umfragen einzubeziehen, auch wenn sie keine ausreichenden Deutschkenntnisse haben. Welche Anforderungen sich aus dieser Zielsetzung ergeben, erörtert Bettina Stadler am Beispiel des österreichischen Mikrozensus. Aufgrund bisheriger Erfahrungen vertritt sie die These, dass keine neuen zusätzlichen Probleme auftreten, dass aber die bekannten Probleme von Umfragen besonders deutlich sichtbar werden, wie eine sorgfältige Definition der Grundgesamtheit, die Frageformulierung und die Gestaltung der Interviewsituation. Der Beitrag von Wolfgang Aschauer geht von einer etwas anderen Ausgangssituation aus. Basis seines Beitrages ist eine Befragung von ZuwanderInnen mit Problemen am Arbeitsmarkt. Dabei untersucht er die 13

Martin Weichbold, Johann Bacher, Christof Wolf

Schwierigkeiten und Besonderheiten, die bei der Befragung von MigrantInnen auftreten können und kommt zum Vorschlag, speziell zugeschnittene Forschungsdesigns zu entwickeln. Mit der Erfassung der Situation von Personen mit gesundheitlichen Beeinträchtigungen (Behinderungen, chronischen Krankheiten oder sonstigen gesundheitlichen Beeinträchtigungen) im Rahmen von standardisierten Umfragen setzt sich der Beitrag von Angela Wroblewski auseinander. Eine besondere Herausforderung sieht sie dabei neben der Frage nach Zugangsbarrieren für bestimmte Gruppen von behinderten oder gesundheitlich beeinträchtigten Personen in der adäquaten Erfassung der Formen der Beeinträchtigungen, insbesondere aufgrund des hohen Anteils von Mehrfachbeeinträchtigungen. Dabei spielt auch das Wording für die Akzeptanz der Befragung eine besondere Bedeutung. Auf einen speziellen Aspekt der Datenqualität konzentriert sich schließlich in diesem Block der Beitrag von Marek Fuchs. Untersucht wird das Auftreten von ItemNonresponse bei Befragungen von Alten und Hochbetagten. Datenbasis ist die Berliner-Altersstudie (BASE). Die Analysen bestätigen die Ergebnisse anderer Studien dahingehend, dass mit dem Alter der Item-Nonresponse steigt. An der oft vertretenen These, dass der Alterseffekt primär durch ein rückläufiges Arbeitsgedächtnis erklärt werden kann, sind nach den Ergebnissen von Fuchs aber Zweifel angebracht. Der fünfte Block widmet sich spezifischen Herausforderungen der Großforschung, wo man vor der Notwendigkeit steht, Daten aus unterschiedlichen Erhebungskontexten miteinander zu kombinieren. Anja Kettner und Michael Stopps weisen in ihrem Beitrag auf ein großes Problem der international vergleichenden Forschung hin: Gleich bezeichnete Größen, z. B. ,Arbeitslosigkeit‘ oder ,Bruttosozialprodukt‘, werden in verschiedenen Ländern unterschiedlich definiert und operationalisiert. Am Beispiel der europäischen Statistik zur Anzahl und Struktur offener Stellen zeigen die Autoren, dass die von Eurostat veröffentlichten Angaben für Vergleiche nationaler Arbeitsmärkte und nationaler Arbeitsmarktpolitiken derzeit kaum geeignet sind. Ihre Analyse zeigt, dass nicht nur die statistischen Definitionen und die eingesetzten Methoden beträchtlich zwischen Ländern variieren, sondern auch die Qualität der erhobenen Daten. Indem die Autoren detailliert beschreiben, wo die Unterschiede zwischen Ländern liegen, leisten sie gleichzeitig einen entscheidenden Beitrag zur Harmonisierung der Datengewinnung, Datenaufbereitung und Datenanalyse für den Gegenstandsbereich „offene Stellen“. Einen anderen Aspekt von Großforschung thematisieren Sandra Buchholz, Michael Ruland, Benno Schönberger, Hans-Peter Bloßfeld, Dirk Hofäcker und Marcel Raab. Sie sehen eine der wesentlichen Herausforderungen bei der Analyse international vergleichender Umfrage14

Herausforderungen und Grenzen der Umfrageforschung. Zur Einleitung

daten in der angemessenen Integration länderübergreifender Makrotrends, und hier insbesondere von Prozessen länderübergreifenden sozialen Wandels („Globalisierung“). In ihrem Beitrag berichten die Autoren über die Konstruktion eines Globalisierungsindex, der als Zeitreihe auf Länderebene verfügbar ist, und zeigen, wie er als Kontextmerkmal mit Daten aus der Umfrageforschung kombiniert werden kann. Aber auch innerhalb einer Erhebung kann es notwendig sein, unterschiedliche Daten zu kombinieren: Bei Befragungen werden mitunter Fremdauskünfte durch nahe stehende Personen eingeholt. So können z. B. sowohl im deutschen als auch im österreichischen Mikrozensus andere Haushaltsmitglieder Auskünfte über nicht anwesende Haushaltsmitglieder geben. Ein Rückgriff auf Fremdauskünfte kann auch im Fall der Nichtbefragbarkeit, z. B. aufgrund von Krankheit, erforderlich sein. Ob diese Fremdauskünfte, die als Proxy-Interviews bezeichnet werden, zu Antwortverzerrungen führen, behandeln Paul Lüttinger und Christof Wolf in ihrem Beitrag am Beispiel des deutschen Mikrozensus. Sie gehen der Frage nach, wer bzw. für wen Fremdauskünfte gegeben werden. Dabei zeigen sich systematische Muster, die nahe legen, dass systematische Verzerrungen auftreten können. Alternative Befragungstechniken behandelt der sechste Block. Basis des Beitrages von Stefanie Eifler, Daniela Thume und Rainer Schnell ist das DEFECT-Projekt. Hauptziel dieser Studie war die empirische Untersuchung von Standardfehlern bei komplexen Stichproben. Inhaltlich wurden kriminalsoziologische Aspekte erfasst. In der Analyse wird auf zwei Datenquellen zurückgegriffen, nämlich Befragungs- und Beobachtungsdaten der Wohnumgebung. Untersucht wird, wie Unterschiede in diesen beiden Datenquellen erklärt werden können, wobei sich zeigt, dass verschiedene Formen der Viktimisierung dafür verantwortlich sind. Georgios Papastefanou gibt in seinem Beitrag einen systematischen Überblick über die Einsatzmöglichkeiten von ambulatorischem Assessment in der empirischen Sozialforschung. Ziel des ambulatorischen Assessments ist die objektive Erfassung von Befindens- und Verhaltensdaten durch den Einsatz von technischen Hilfsmitteln. Dadurch sollten Probleme der retrospektiven Befragung vermieden werden. In der empirischen Sozialforschung existieren bereits erste Anwendungsbeispiele, über die der Autor ebenfalls informiert. Henrik Kreutz stellt in seinem Beitrag die von ihm in den 1970er Jahren entwickelte quasi-experimentelle Befragungsmethode dar. Sie ist der Vignettentechnik ähnlich, unterscheidet sich von dieser aber elementar. Jede Person beantwortet alle Vignetten und zu jeder Vignette werden unterschiedliche Reaktionen erfasst. Dadurch ist es möglich, für jede Person eine individuelle Varianzanalyse durchzuführen, die eine Trennung von Situation und Verhal15

Martin Weichbold, Johann Bacher, Christof Wolf

tensabsichten ermöglicht. Besonderes Gewicht wird auf Interaktionseffekte von Person und Situation gelegt. Das Verfahren ermöglicht die Bestimmung homogener Teilpopulationen. Dargestellt wird auch eine Möglichkeit, Ambivalenzen sinnvoll zu untersuchen. Eine bisher wenig beachtete, statistisch aber reizvolle Methode für heikle Fragen zeigt Andreas Quatember in seinem Beitrag auf, nämlich die Methode von randomisierten Fragedesigns. Dabei zieht der Befragte nach einem vorgegebenen Designplan eine Frage – im einfachen Fall: „Gehören Sie der Gruppe A an?“ oder „Gehören Sie nicht der Gruppe A an?“ – und beantwortet diese. Dem Interviewer/der Interviewerin ist die Frage nicht bekannt, so dass ein Rückschluss auf das Verhalten oder auf Merkmale der befragten Person nicht möglich ist. Es ist also maximale Anonymität gegeben. Der Autor stellt von ihm vorgenommene Weiterentwicklungen der Methode dar und behandelt die Frage nach optimalen Befragungsdesigns. Die Beiträge im siebenten und letzten Block dieses Bandes beschäftigen sich mit methodologischen Grundfragen der Umfrageforschung. Reinhard Bachleitner und Wolfgang Aschauer fragen, inwieweit Umfrageergebnisse von der Situation, genauer von Raum, Zeit und Befindlichkeit der beteiligten Personen abhängen. Um das zu zeigen, präsentieren die Autoren ein Analyseraster, das nicht auf die Analyse soziodemographischer und sozioökonomischer Einflüsse auf die Antwortwahl abzielt, sondern mögliche Einflüsse für die getroffene Antwortentscheidung auf der Situationsebene erfasst. Das Ziel der Untersuchung ist, zu einer Theorie der Befragung beizutragen, die auf Grundlage der Frame-Selektion-Theorie (Esser, 2006) die Ergebnisse der Bias-Forschung umfassend integriert. Markus Pausch geht es in seinem Beitrag um die Funktion des Eurobarometers für die Schaffung eines europäischen Bewusstseins. Der Fokus des Beitrags liegt daher weniger auf den methodischen Details des Eurobarometers, sondern auf den für die politische Debatte relevanten Interpretationen und den Veröffentlichungen der Europäischen Kommission. Im abschließenden Beitrag geht Martin Weichbold der Frage nach, wie die Qualität einer Umfrage beurteilt werden kann. Dabei werden unterschiedliche Ansätze diskutiert, die in der Konzeption von Qualität und in der Umsetzung dieser Konzeption differieren. Der Autor stellt verschiedene Kataloge von Qualitätskriterien vor und zeigt, dass sich diese mit dem Konzept des Total Survey Error, das inhaltliche und prozessorientierte Qualitätskonzeptionen verbindet, integrieren lassen. Unser Dank gilt allen, die zum Gelingen dieses Bandes beigetragen haben. Für die finanzielle Unterstützung danken wir dem Bundesministerium für Wissenschaft und Forschung in Wien, GESIS – Leibniz-Institut für Sozialwis16

Herausforderungen und Grenzen der Umfrageforschung. Zur Einleitung

senschaften, der Stiftungs- und Förderungsgesellschaft der Paris-LodronUniversität Salzburg sowie dem Linzer Hochschulfonds (LHF). Besonderer Dank für die tatkräftige und kompetente Unterstützung bei den redaktionellen Arbeiten gebührt Frau Heidemarie Pöschko sowie Frau Sonja Schinwald, die auch die Tagung in Salzburg in hervorragender Weise organisatorisch betreut hat.

Anmerkung 1

Quelle: Arbeitskreis deutscher Sozial- und Marktforschungsinstitute,www.adm-ev.de/ zahlen.html.

Literatur Esser, H. (2006). Affektuelles Handeln: Emotionen und das Modell der Frame-Sektion. In Schützeichel, R. (Hg.), Emotionen und Sozialtheorie. Disziplinäre Ansätze (143–174). Frankfurt am Main: Campus. Kaase, M. (Hg.) (1999). Deutsche Forschungsgemeinschaft: Qualitätskriterien der Umfrageforschung. Quality Criteria for Survey Research. Berlin: Akademie Verlag. König, R. (1952). Praktische Sozialforschung. In Ders. (Hg.), Das Interview. Formen Technik Auswertung. Köln: Kiepenheuer & Wietsch. Pfau-Effinger B., & Sakac Magdalenic, S., & Wolf, C. (Hg.) (2009). International vergleichende Sozialforschung. Ansätze und Messkonzepte unter den Bedingungen der Globalisierung. Wiesbaden: VS Verlag. Scheuch, E. K. (1999). Die Entwicklung der Umfrageforschung in der Bundesrepublik Deutschland in den siebziger und achtziger Jahren. ZUMA-Nachrichten, 45, 7–22 Weischer, C. (2004). Das Unternehmen ,Empirische Sozialforschung‘. Strukturen, Praktiken und Leitbilder der Sozialforschung in der Bundesrepublik Deutschland. München: Oldenbourg. Weichbold, M. (2005). Touchscreen-Befragungen. Neue Wege in der empirischen Sozialforschung. Frankfurt am Main: Lang.

17

1 Methodeneffekte

Tino Schlinzig, Götz Schneiderat

Tino Schlinzig, Götz Schneiderat

Möglichkeiten zur Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk Zum Potenzial von Warmkontakt und randomisierter Geburtstagsauswahl Zusammenfassung Telefoninterviews nehmen mit einem Anteil von etwa 41 Prozent an allen Befragungen in der Markt- und Sozialforschung eine bedeutsame Stellung im sozialwissenschaftlichen Methodenarsenal ein. Die Vorzüge dieses Modes gegenüber beispielsweise postalischen Befragungen sind in der Literatur hinlänglich besprochen worden. Allerdings haben Telefoninterviews ähnlich wie andere Modes mit dem Problem sinkender Ausschöpfungsquoten zu kämpfen. Insbesondere die Zunahme der über Telefon geführten kommerziellen Verkaufsgespräche leistet diesem Trend bei Befragungen über das Festnetz Vorschub. Im Folgenden werden zwei Möglichkeiten vorgestellt, dem Trend rückläufiger Responseraten entgegenzuwirken. Die Daten hierzu entstammen zwei Vorstudien und der Haupterhebung eines von der Deutschen Forschungsgemeinschaft (DFG) geförderten Projekts zu Möglichkeiten einer parallelen CATIBefragung über Festnetz und Mobilfunk. Insgesamt wurden hierfür bundesweit knapp 3.500 Personen zufällig befragt. Zentral für dieses Projekt waren auch die Fragen nach möglichen Mode-Effekten (vgl. Häder & Kühne & Schlinzig in diesem Band) und der Ergründung eines Dual-Frame-Approaches zur Stichprobenziehung bei gleichzeitiger Nutzung von telefonischen Befragungen über das Festnetz und über den Mobilfunk (vgl. Gabler & Häder in diesem Band). Der vorliegende Beitrag referiert zum einen die Ergebnisse zur Wirkung eines Warmkontakts via Ankündigungs-SMS bei Befragungen über das Mobilfunknetz und zum anderen das Potenzial eines neuen Auswahlverfahrens auf Haushaltsebene bei Festnetzbefragungen als Alternative zu Last-/Next-Birthday-Methode und Kish-Selection-Grid. Die Befunde zeigen, dass der für die Befragung über Mobilfunk realisierte Warmkontakt und die für die Befragung auf Festnetz eingesetzte Randomisierte Geburtstagsauswahl (RGA) praktikabel sind und die Teilnahme an Telefonumfragen steigern können.

21

Tino Schlinzig, Götz Schneiderat

Abstract Possibilities to Improve Response Rates in Landline and Mobile Telephone Surveys On Effects of Prior Notices and an Alternative Within Household Respondent Selection Technique In empirical social science and market research, up to 41 per cent of all surveys are conducted via telephone. There is a broad corpus of literature that extensively discusses the advantages of this mode. However, interviews conducted by telephone as well as other modes are faced with declining response rates. Especially increasing numbers of commercial surveys and sales via telephone promote this trend. This article focuses on the potential of two instruments to increase response rates. For one thing a split ballot was deployed to examine effects of warm contacts in a mobile phone survey and for another thing alternatively to last-/next-birthday-method and kish-selection-grid a new withinhousehold respondent selection-method was introduced in a telephone survey conducted via landline. Data collected in a project financed by the German Research Foundation (DFG) concerned with telephone interviews conducted both by landline and mobile phone provide evidence that both instruments mentioned above do have the potential to increase response rates. This approach investigated a dual-frame-design (see Gabler & Häder this volume). Respondents were contacted both via mobile phone and landline. Altogether – pre-studies and main study – about 3.500 interviews could be realised. Furthermore the project focused on possible mode effects by parallel using of telephone surveys via landline phones and mobile phones (see Häder & Kühne & Schlinzig this volume).

1 Einleitung und Problemstellung Verschiedenste gesellschaftliche Akteure stützen ihre Argumentationen und Interventionen auf Daten aus sozialwissenschaftlichen Erhebungen. Dabei wird fast jede zweite Studie (etwa 41%) im Bereich der Marktforschung und Sozialwissenschaft über das Telefon realisiert.1 Die Güte dieser Daten ist daher von zentraler Bedeutung. Sie ergibt sich unter anderem aus der Qualität der realisierten Stichprobe. Als ein Indikator hierfür gilt die Höhe der Ausschöpfung als Anteil der erreichten Stichprobe am Nettoansatz (Bruttoausschöpfung). Umso problematischer ist, dass die Responseraten differenziert nach eingesetztem Mode in den letzten Jahren sinken (vgl. Curtin & Presser & Singer 2005; Däubler 2002; de Heer 1999; Schnell 1997). Besonders von Interesse ist hierbei der Anteil systematischer Ausfälle, die zu einer Verzer22

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk

rung der Stichprobe führen können. Die Qualität, insbesondere von Befragungen der Allgemeinbevölkerung, leidet neben dem Anteil an nicht erreichbaren Personen sowie Personen, die nicht in der Lage sind, an einer Befragung teilzunehmen, unter einem zunehmenden Anteil von Kontaktierten, die eine Teilnahme verweigern (Non-Response). Etliche Ansätze versuchen dieser Entwicklung etwas entgegenzusetzen. So untersuchten unter anderem Blasius und Reuband (1995) das Ausschöpfung steigernde Potenzial verschieden häufiger Kontaktversuche. Hüfken (2000) diskutierte in seinem Beitrag die Konsequenzen von Kalt- und Warmkontakten für das Kooperationsverhalten. Den in den Einleitungstexten genannten Auftraggeber variierten Meier und Kollegen (2005) und reicherten diese in einem Split durch eine einfach zu beantwortende Eingangsfrage an und erreichten darüber eine signifikante Steigerung der Teilnahme. Aus der Methodendiskussion um Telefonumfragen ist bekannt (vgl. exemplarisch Meier et al. 2005; Fuchs 1994), dass die Entscheidung der Befragten, an einer Umfrage teilzunehmen, in der ersten Phase des Interviews – in der des ersten Kontaktes – fällt. Wurde in ein Interview eingewilligt, ist eine Verweigerung eher unwahrscheinlich. Große Bedeutung kommt daher Strategien zu, welche die kritische Phase zu entschärfen, Verweigerungen zu vermeiden und damit die Ausschöpfung potenziell zu erhöhen vermögen. Zwei Möglichkeiten wurden im Rahmen des hier vorgestellten DFG-Projekts erprobt. Eine mögliche Strategie stellt die vor der Erhebung versandte Ankündigung der Untersuchung dar. Üblicherweise werden hierzu ein paar Tage vor den ersten Kontaktversuchen postalisch Informationsschreiben versandt. Die neben der Befragung über Festnetz parallel erfolgte Befragung über Mobilfunk bot hierzu allerdings technisch die Möglichkeit, neue Wege zu gehen und zur Ankündigung der Studie Textmitteilungen (SMS) über Handy an potentielle Befragte zu versenden (vgl. Steeh & Buskirk & Callegaro 2007; Steeh & Piekarski 2008, 439 ff.). Der dabei eingesetzte Split sollte die Frage beantworten, ob und falls ja, in welchem Ausmaß sich Unterschiede hinsichtlich der Responseraten durch den Einsatz eines solchen Warmkontaktes bei den beiden Handy-Substichproben ergeben und wie dies ggf. zu erklären ist. Eine weitere Strategie, von der vermutet werden kann, dass sie die prekäre Einstiegssituation zu entschärfen und darüber hinaus die Ausschöpfung tendenziell zu erhöhen vermag, stellt eine alternative Methode zur Auswahl der Zielperson auf Haushaltsebene dar. Erstmalig eingesetzt wurde die von Siegfried Gabler (GESIS-Mannheim) entwickelte sogenannte ,Randomisierte Geburtstagsauswahl‘ (RGA). Diese berührt einen Problemkreis, der innerhalb der Methodendiskussion um Telefonumfragen über das Festnetz be23

Tino Schlinzig, Götz Schneiderat

kannt ist, nämlich die Auswahl auf Haushaltsebene bei Zufallsstichproben (vgl. Gaziano 2005; Salmon & Nicols 1983; Kish 1949, 1965; Troldahl & Carter 1964). Die bisher bekannten Verfahren, Last- und Next-Birthday-Methode sowie Kish-Selection-Grid u. a., sind stichprobentheoretisch problematisch vor allem für Surveys, die in regelmäßigen Abständen in gleichen Zeiträumen Erhebungen durchführen. Darüber hinaus provozieren sie Verweigerungen der kontaktierten Personen. Den Befragten wird der Hintergrund einer zusätzlichen Auswahl auf Haushaltsebene offenbar nicht deutlich bzw. werden Nachfragen des Interviewers nach Haushaltsinterna – etwa nach der Anzahl der Personen im Haushalt, deren Alter und dergleichen – von den Kontaktierten als Zumutung betrachtet (vgl. Fuchs 1994, 167). Diese Problematik kann die RGA sicherlich nicht gänzlich ausräumen. Ihr entscheidender Vorteil ist jedoch, dass sie unterschiedliche Inklusionswahrscheinlichkeiten der Stichprobenelemente besser ausgleicht als bisher verwendete Methoden. Dieser Aspekt ist für die folgende Diskussion jedoch von untergeordneter Bedeutung. Im Fokus dieses Artikels steht vielmehr die Frage, ob dieses auf den ersten Blick komplexe Verfahren praktisch einsetzbar ist, d. h. mehr Abbrüche befördert oder gar eine Ausschöpfung steigernde Wirkung entfalten kann. Letzteres ist wahrscheinlich, wenn davon ausgegangen wird, dass vergleichsweise komplexe Eingangsfragen eher stimulierend als abschreckend auf die Befragten wirken und die Bindung der Kontaktierten an die Interaktion mit dem Interviewer steigern.

2 Untersuchung Die hier vorgestellten Ergebnisse entstammen dem von der Deutschen Forschungsgemeinschaft (DFG) von 2006 bis 2008 geförderten und durch den Lehrstuhl für Methoden der empirischen Sozialforschung der Technischen Universität Dresden in Zusammenarbeit mit der GESIS-Mannheim ausgeführten Projekt ,Telefonbefragungen in der Allgemeinbevölkerung über das Mobilfunknetz‘ (vgl. Häder & Häder 2009). Ausgangspunkt ist die seit 2003 rückläufige Ausstattung der Haushalte mit Festnetzanschlüssen in Deutschland, während der Anteil der exklusiven Mobilfunknutzer steigt (vgl. Glemser 2007, 11). Dieser Anteil wurde beim ersten Treffen der Arbeitsgruppe Mobilsample im Jahre 2005 auf sieben bis acht Prozent geschätzt (vgl. Mobilsample 2005). Eine aktuelle Erhebung im Rahmen des EUROBAROMETER (2008) weist bereits einen Anteil von 11 Prozent aus.2 Erfahrungen aus anderen europäischen Ländern, etwa aus Finnland (61 Prozent) oder der 24

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk

Tschechischen Republik (64 Prozent), lassen vermuten, dass sich in Deutschland die Verdrängung des Festnetzes zugunsten der mobilen Telekommunikation in Zukunft eher beschleunigen wird. Die Aussagekraft von Bevölkerungsumfragen, deren Ergebnisse ausschließlich über das Festnetz gewonnen werden, muss daher immer mehr infrage gestellt werden. Ausgehend von dieser Problematik beschäftigt sich dieses Projekt mit der Möglichkeit, Telefonbefragungen in einem Mixed-Mode-Ansatz aus Mobilfunkund Festnetzanschlüssen durchzuführen und damit ein entsprechendes Design zu ergründen. Dies berührt verschiedene Problemkreise. Neben der Konstruktion eines geeigneten Auswahlrahmens für Handynummern, der im Gegensatz zum Festnetzanschluss nicht auf ein Listenverzeichnis aufbauen kann, und der Analyse von Modeeffekten zwischen Mobilfunk- und Festnetzbefragungen (vgl. hierzu die Beiträge von Gabler & Häder und Häder & Kühne & Schlinzig in diesem Band sowie eine detaillierte Darstellung bei Häder & Häder 2009) wendeten sich die Untersuchungen dem Problem sinkender Ausschöpfungsquoten bei Telefonumfragen zu.

2.1 Theoretischer Ausgangspunkt Etliche Untersuchungen haben Maßnahmen zum Gegenstand, welche die Bereitschaft der kontaktierten Personen zur Teilnahme an Befragungen beeinflussen sollen (vgl. Groves et al. 2006, 2004). Neben beispielsweise der Rolle der Thematik der Untersuchung, dem Einfluss des Auftraggebers, der Bedeutung von Kontaktzeiten, der Anzahl der Kontaktversuche und dem Einfluss geschulter Interviewerinnen und Interviewer ist bekannt, dass eine vorab getätigte schriftliche Ankündigung einer Studie die Teilnahmebereitschaft der Befragten zu beeinflussen vermag (vgl. Schneiderat & Schlinzig 2009; Steeh & Buskirk & Callegaro 2007; Mann 2005; Goldstein & Jennings 2002; Hüfken 2000, 11 ff.; Friedrichs 2000, 171 ff.; Frey & Kunz & Lüschen 1990; Groves & Snowden 1987; Dillman & Gallegos & Frey 1976). Die Teilnahme an einer Befragung und die Verweigerung lassen sich im Sinne der sozialen Austauschtheorie als Orientierung an individuellen Nutzen und Kosten modellieren (vgl. Gouldner 1960). Die Entscheidungsfindung für eine Handlungsalternative wird hierbei durch einen Ausgleich von Individualnutzen im Austausch der Akteure begriffen. Gleichsam wird das Teilnahmeverhalten der Befragten auch hierbei als ein Abwägungsprozess konzeptualisiert zwischen wahrgenommenen Vorteilen, Kosten und der Erwartung, dass längerfristig der Nutzen die Kosten übersteigt (vgl. Dillman 1991, 2000). Ziel muss daher sein, die wahrgenommenen Kosten zu verringern 25

Tino Schlinzig, Götz Schneiderat

und den erwarteten Nutzen zu steigern. Einen gangbaren Weg stellt dabei die Stärkung des Vertrauens der Befragten in die Erhebung und den Auftraggeber und das Angebot, auf zusätzliche Informationen bereits vor der Befragung zurückgreifen zu können, dar. Die Ankündigung einer Studie mittels Übermittlung einer SMS an die potentiellen Befragten als positiver, nichtmonetärer Anreiz vermag dies zu leisten. Der Vorkontakt und die Möglichkeit, weitere umfassende Informationen zu erhalten, können eine reziproke Verpflichtung seitens der Zielpersonen evozieren. Zu erwarten ist, dass die Kontaktierten der Bitte der Interviewerinnen und Interviewer um Teilnahme an der betreffenden Studie eher nachkommen, als dies ohne einen Warmkontakt der Fall wäre. Zudem kann eine Ankündigungs-SMS die Teilnahme an einer Befragung insofern begünstigen, als dass bei dem Kontaktversuch durch eine Interviewerin oder einen Interviewer – und damit verknüpft die Nennung des ausführenden Instituts und des Titels der Studie – die vorab erhaltenen und dadurch memorierten Informationen durch die Kontaktierten aktualisiert werden. Anderseits ist die Teilnahme an einer Befragung nicht in jedem Falle an bewusst geführte Abwägungsprozesse gebunden. Aufgrund der kurzen Einleitungsphase eines telefonischen Interviews wird bei der Informationsverarbeitung durch die Befragten schnell und effizient auf Urteilsheuristiken zurückgegriffen (Stroebe & Jonas & Hewstone 2002, 147). Die Wahrscheinlichkeit der Anwendung solcher Heuristiken ist auch in der Tendenz begründet, sich konsistent zu verhalten (vgl. Meier et al. 2005, 41). Das Abschlagen der Bitte um ein Interview nachdem bereits Fragen beantwortet wurden, würde ein inkonsistentes Verhalten bedeuten. Meier und Kollegen (2005) haben sich diesen Fakt zu Nutze gemacht, indem sie Einleitungstexten leicht zu beantwortende Fragen hinzufügten. Es ist zu erwarten, dass die Beantwortung dieser Frage zu Beginn des Interviews das Commitment an die Teilnahme erhöhen kann, sodass weniger Personen verweigern (vgl. ebd., 50). Ein solches Verhalten könnte durch die Befragten auch dann gezeigt werden, wenn bereits in der Kontaktphase des Interviews eine kleine, kognitiv vergleichsweise anspruchsvolle Aufgabe durch die kontaktierten Personen gelöst wird, wie dies bei der Ermittlung der Zielperson auf Haushaltsebene für Befragungen über das Festnetz notwendig ist. Gemäß der Theorie rationalen Handelns entscheiden sich Akteure in bestimmten Situationen für eine Handlungsoption, wenn – verglichen zu anderen Handlungsmöglichkeiten – die Kosten dieser, die sich ihrerseits aus Transaktions- und Opportunitätskosten zusammensetzen, relativ geringer ausfallen als der vermutete Nutzen (vgl. Esser 1986, 41). Diese Kalkulation fällt bei vielen Personen denkbar knapp aus, was zur Konsequenz hat, dass 26

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk

diese Personen hinsichtlich ihrer Teilnahme indifferent sind und diese unter anderem von externen Faktoren abhängig machen. Neben der Erfüllung von Höflichkeitsnormen gegenüber dem Anrufenden sowie der höheren Bereitschaft, wissenschaftlichen Auftraggebern von Telefonumfragen Auskunft zu geben, steigern vor allem Abwechslung und neuartige Erfahrungen das Interesse an Befragungen (vgl. Esser 1986, 39). Anders als bei Festnetzbefragungen ist bei der Befragung über Handy mit geringerem Unit-Non-Response zu rechnen. Diese Annahme scheint insofern nahe liegend, als dass Befragungen über das Mobilfunknetz – abgesehen von Werbeanrufen des eigenen Mobilfunkanbieters – eher selten vorkommen, wie unsere Ergebnisse weiter unten zeigen können. Ein Over-Surveying und damit eine gewisse Sättigung, wie es aus Befragungen über das Festnetz bekannt ist, kann hier zunächst ausgeschlossen werden. Es ist zu vermuten, dass die Bitte um ein Interview via Handy ein gewisses Überraschungsmoment in sich birgt. Telefonbefragungen über das Handy sind vergleichsweise neu und versprechen damit einen Grad an Exklusivität und Verbindlichkeit seitens der befragenden Forschungseinrichtung. Hinzukommt, dass Mobilfunknummern in den aller wenigsten Fällen in öffentlich einsehbaren Listen eingetragen und damit zugänglich sind. In der Regel werden Handynummern durch die Nutzerinnen und Nutzer selbst an Dritte weitergereicht, d. h. die anrufenden Teilnehmerinnen und Teilnehmer sind zumeist bekannt. Insofern ist auch der Anruf einer unbekannten Interviewerin beziehungsweise eines unbekannten Interviewers – zumindest bisher – eher die Ausnahme und daher für die Angerufene oder den Angerufenen unerwartet. Es ist zu vermuten, dass das Interesse der Zielpersonen an der Umfrage durch dieses ,Versprechen‘ auf Abwechslung und Neuigkeit befördert wird und damit (zur Zeit) zu höheren Ausschöpfungen führen kann.

2.2 Studiendesign des DFG-Projektes Die diesem Artikel zugrunde liegenden Daten speisen sich außerdem aus zwei Vorstudien mit Pretest-Charakter. Die beiden Vorstudien, die von Oktober 2006 bis Juni 2007 im Feld waren, beschränkten sich ausschließlich auf bundesweite Befragungen über das Festnetz (Vorstudie 1: n = 920 und Vorstudie 2: n = 399). Für die Hauptstudie wurden im Telefonlabor des Zentrums für Sozialwissenschaftliche Methoden der Technischen Universität Dresden (ZSM) parallel über Mobilfunk und das Festnetz CATI-Interviews geführt. Die Interviews wurden sowohl für die beiden Vorstudien als auch für die Hauptstudie vorwiegend durch Studierende der Technischen Univer27

Tino Schlinzig, Götz Schneiderat

sität Dresden durchgeführt.3 Bevor die Studie ins Feld ging, erhielten die Interviewerinnen und Interviewer durch Personal des ZSM eine umfangreiche Schulung zur Durchführung von Telefoninterviews mit dem CATISystem. Die Befragten der Hauptstudie wurden für diese Dual-Frame-Erhebung aus zwei verschiedenen Auswahlrahmen rekrutiert (vgl. Gabler & Häder in diesem Band; Häder & Gabler & Heckel 2009). Die Ziehung der Stichprobe für die Festnetzbefragung erfolgte auf der Grundlage des an der GESISMannheim entwickelten und in der Literatur als Gabler-Häder-Design bekannten Auswahlrahmens für Telefonstichproben (vgl. Gabler & Häder 2002; Gabler & Häder 1999). Für die Entwicklung einer Handystichprobe wurde ein modifiziertes RDD-Design eingesetzt (vgl. Häder & Gabler & Heckel 2009). Insgesamt konnten im Rahmen der Haupterhebung 1.009 Interviews über Festnetz und 1.162 Befragungen über Mobilfunk realisiert werden.

2.3 Die eingesetzten Instrumente Um die ausschöpfungssteigernde Wirkung eines Warmkontaktes bei Mobilfunkbefragungen auszuloten, wurden im Voraus SMS-Textnachrichten an einen Teil der Nummern des Samples versandt. Die Prüfung der Praktikabilität und Wirkung eines neu entwickelten Auswahlverfahrens zur Bestimmung der Zielperson auf Haushaltsebene der Festnetzstichprobe erfolgte mittels eines Splits über die Feldzeit der Vorstudien und der Hauptstudie des DFG-Projekts hinweg.

Mixed-Mode-Ansatz Bekannt ist, dass je nach eingesetztem Mode unterschiedliche Ausschöpfungsraten erzielt werden können (vgl. Fuchs 2002; Porst 1998, 17; Schnell 1997; Fuchs 1994). Wenngleich der parallele Einsatz von Mobilfunk und Festnetz für bundesweite Befragungen im Rahmen dieses Projektes primär zur Lösung von Noncoverage- und Sampling-Errors (vgl. Gabler & Häder in diesem Band) und zur Ergründung möglicher Mode-Effekte (vgl. Häder & Kühne & Schlinzig in diesem Band) eingesetzt wurde, galt es mit diesem Mixed-Mode auch mögliche Differenzen hinsichtlich des Response-Verhaltens der Befragten zu ergründen. 28

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk

Warmkontakt Studien zur Steigerung der Ausschöpfung konnten zeigen, dass – im Unterschied zu ,kalt‘ kontaktierten Personen – signifikant mehr Personen an der Befragung teilnehmen, wenn diese im Voraus durch eine Ankündigung über das Forschungsvorhaben und den bevorstehenden Kontaktversuch informiert wurden (vgl. Goldstein & Jennings 2002; Hüfken 2000; Frey & Kunz & Lüschen 1990; Dillman & Callegos & Frey 1976). Inwiefern die durch einen Vorkontakt erzielte Ausschöpfungssteigerung mit einer Erhöhung der Datenqualität einhergeht, steht auf einem anderen Blatt (vgl. Stoop 2005; Hüfken 2000, 11 ff.) und kann an dieser Stelle nicht weiter diskutiert werden. Ein postalischer Vorabkontakt im Rahmen von Telefonumfragen setzt voraus, dass die Adressen der Elemente des Samples bekannt sind. Das angewandte Design für Festnetzstichproben nach Gabler & Häder (2002, 1999) bietet diese Möglichkeit nicht bzw. nur für einen Teil der im Auswahlrahmen enthaltenen Nummern. Auch das genutzte RDD-Verfahren im Falle der Mobilfunkstichprobe erlaubt keinen Zugang zu den Adressdaten der potentiellen Befragten. Allerdings bot sich hier die Möglichkeit, im Voraus via SMS (Short Message Service) über die Studie zu informieren. Eingesetzt wurde ein Split, bei dem etwa 2/3 der Mobilfunknummern des Samples eine solche Ankündigung erhielten. Der Wortlaut der SMS folgte diesem Text: Das Institut für Soziologie der Technischen Universität Dresden wird Sie bald zum Mobilfunk befragen und dankt vorab für Ihre Teilnahme. www.tu-dresden.de/ handy. Die Mitteilungen waren auf 160 Zeichen begrenzt. Der Versand der SMS wurde über einen Internet-Dienstleister realisiert. Als Absenderkennung wurde eine Mobilfunknummer übermittelt. Dies bot den kontaktierten Personen die Möglichkeit, Anmerkungen und Fragen zurückzusenden. Die Ankündigung der Studie gab der Zielperson zudem die Gelegenheit, sich über die angegebene URL vor der eigentlichen Erhebung mit zusätzlichen Informationen auseinander zu setzen.4 Dort konnten Interessierte weiterführende Hinweise zur Stichprobenziehung, zu den Zielen, zum Thema der Befragung, zur Projektleitung und Kontaktdaten für eventuelle Nachfragen erhalten. Die Teilnahme konnte vor diesem Hintergrund insofern im Voraus abgewogen werden. Dies kann sich vorteilhaft auf die Bereitschaft zur Teilnahme auswirken. Genauso so gut kann jedoch eine solche Abwägung auch zuungunsten der Teilnahme ausfallen. So bietet eine Ankündigung für die potenziellen Befragten auch die Möglichkeit, Kontaktversuche abzuwehren und die Teilnahme an einer Umfrage zu verweigern. Dies wird insbesondere dann möglich, wenn die Telefonnummer der anrufenden Interviewerin oder des anrufenden Interviewers übermittelt wird, wie im Fall der hier diskutier29

Tino Schlinzig, Götz Schneiderat

ten Studie geschehen (Rufnummernübermittlung)5. Allerdings lässt sich vermuten, dass die Kontaktierten eine Teilnahme eher selten aufgrund der identifizierten Rufnummer verweigern (vgl. hierzu auch Curtin & Presser & Singer 2005, 92). Zudem sind die übermittelte Nummer der Ankündigungs-SMS und die der Interviewerin oder des Interviewers nicht identisch. Insofern konnte dieses Problem umgangen werden. Unklar bleibt jedoch, ob alle per SMS angesprochenen Handys technisch in der Lage waren, die versandten SMS anzuzeigen. Dies konnte im Rahmen der hier besprochenen Studie nicht eruiert werden. Die Übertragungsberichte des SMS-Providers hierzu sind in Teilen widersprüchlich. Der Erhalt der Textnachricht konnte ausschließlich durch die Nachfrage der Interviewerin oder des Interviewers verifiziert werden.6 Die Interviewerinnen und Interviewer waren vor den Erhebungen über den Versand der SMS informiert. Allerdings erhielten sie vor den eigentlichen Interviews keine Informationen darüber, ob die zu kontaktierende Person bereits durch die Ankündigung über den bevorstehenden Anruf im Bilde war. Insofern kann vermutet werden, dass die Verbesserung der Teilnahmebereitschaft der Respondentinnen und Respondenten nicht auf ein verändertes Verhalten der Interviewerinnen und Interviewer zurückzuführen ist. Dem Vorteil einer möglichen Ausschöpfungssteigerung stehen allerdings auch Kosten gegenüber. Der Preis pro SMS betrug in alle deutschen Netze 0,08 EUR. Bei einer Anzahl von 14.060 versandten SMS bedeutet das Mehrkosten in Höhe von etwa 1.125,– EUR. Ins Verhältnis gesetzt mit postalischen Vorankündigungen, fällt die Bilanz wiederum zugunsten des SMS-Versands aus. Für den Versand einer solchen Kurznachricht spricht zudem ihr Potenzial, den Handy-Auswahlrahmen um Rufnummern zu verringern, die aufgrund des Übertragungsberichtes zweifelsfrei als ,nicht geschaltet‘ identifiziert werden können (vgl. auch Steeh & Piekarski 2008; Steeh et al. 2007). Dies würde schlussendlich die Effizienz von Umfragen über Mobilfunk positiv beeinflussen, da weniger Kontaktversuche ins Leere verlaufen und damit weniger Versuche auf ein realisiertes Interview entfallen würden. Hierzu besteht allerdings noch Forschungsbedarf (vgl. Häder et al. 2009).

Randomisierte Geburtstagsauswahl Bei der verwandten Festnetzstichprobe handelt es sich zunächst um eine Haushaltsstichprobe. Auf Ebene der kontaktierten Haushalte muss die Zielperson in der Einleitungsphase des Interviews ermittelt werden, da Kontaktperson und Zielperson nicht notwendigerweise identisch sein müssen. Alternativ zu den gängigen Verfahren wurde in der Hauptstudie des Projektes 30

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk

ein neues Verfahren erprobt, die Randomisierte Geburtstagsauswahl (RGA) (vgl. Schneiderat & Schlinzig 2009). Hierbei werden die Kontaktpersonen in der Screeningphase der Interviews zunächst darum gebeten, anzugeben, welche Person in dem betreffenden Haushalt vor bzw. nach einem randomisierten Geburtsdatum, welches der Telefonnummer im Sample zufällig zugeordnet wurde, als letztes oder als nächstes Geburtstag hat.7 Diese Abfrage hat einen entscheidenden Vorteil. Bei der Last- oder Next-Birthday-Methode haben etliche Personen der Grundgesamtheit keine positive Auswahlwahrscheinlichkeit. Eine Zufallsauswahl innerhalb des Haushalts ist damit nicht mehr gegeben. Dies ist insbesondere von Bedeutung für Studien wie dem European Social Survey (ESS), die in einem bestimmten Zyklus zu einem sich wiederholenden Zeitraum Befragungen durchführen. Eine mögliche Lösung wäre die Variation der Frage, wer als nächster Geburtstag hat oder als letzter Geburtstag hatte. In einem Zweipersonenhaushalt wäre hierüber die Zufälligkeit der Auswahl hergestellt. Anders sieht es jedoch bei Haushalten mit mehr als zwei Mitgliedern aus. Von denen hätten wiederum nur zwei eine positive Auswahlwahrscheinlichkeit. Mit der RGA hat zumindest jede Person im Haushalt eine positive Wahrscheinlichkeit, in die Auswahl zu gelangen. Die auf den ersten Blick recht aufwändige Prozedur lässt vermuten, dass die kontaktierten Personen bereits in der besonders prekären Einleitungsphase des Interviews ihre Teilnahme verweigern. Von Interesse dürften daher mögliche Differenzen in den Ausschöpfungen zwischen der in den Vorstudien verwendeten Last-Birthday-Methode und der RGA sein. Unterschiede können auch im direkten Vergleich zwischen Vor- und Hauptstudie beobachtet werden. Leider liegen an dieser Stelle keine Erkenntnisse darüber vor, inwiefern auf Grundlage dieses Verfahrens zum einen zuverlässige Angaben durch die Befragten gemacht worden sind und zum anderen die Auswahl korrekt verstanden wurde. Hierzu besteht noch Forschungsbedarf. Denkbar wäre es, hierzu Informationen über die Zusammensetzung der Haushalte mit den durch die Zielpersonen angegebenen Daten zu vergleichen (vgl. hierzu Fuchs 1994, 167).

3 Ergebnisse Im Folgenden werden die Befunde zur Kooperationsbereitschaft beim Warmkontakt und der Randomisierte Geburtstagsauswahl dargestellt. Die Kooperationsbereitschaft stellt nach Koch (1997) nur eine Art von Non-Response dar. Bei den Analysen soll davon ausgegangen werden, dass die ver31

Tino Schlinzig, Götz Schneiderat

wendeten Verfahren Warmkontakt durch SMS und Randomisierte Geburtstagsauswahl nur Einfluss auf den persönlichen Kontakt zwischen Interviewerin oder Interviewer und Kontaktperson bzw. Zielperson haben, nicht aber auf die anderen Arten der systematischen Ausfälle (mangelnde) Erreichbarkeit und Befragungsfähigkeit.8 Wie bereits diskutiert, stellen die ersten Sekunden des Telefonates den stärksten Indikator für die Teilnahme am Interview bzw. den Abbruch dar. Während die Zielperson durch die Ankündigungs-SMS schon vorinformiert ist, kann die Randomisierte Geburtstagsauswahl die Bereitschaft der Kontaktperson sensibilisieren und möglicherweise eher den Zugang zur Zielperson eröffnen. Aus den oben genannten Gründen werden daher die Erreichbarkeit und die Befragungsfähigkeit bei den Darstellungen der Befunde nicht berücksichtigt. Ein Einwand gegen dieses Vorgehen wäre, dass Personen, nachdem sie die SMS bekommen haben, die Dresdner Vorwahl recherchieren (unsere Rufnummer wurde bei der Befragung übermittelt) und nach der Zustellung der SMS ankommende Anrufe mit der besagten Vorwahl wegdrücken, nicht abnehmen oder das Gerät ganz ausschalten. Diese Annahme findet sich aber in unseren Daten nicht bestätigt.

Warmkontakt Die Ankündigung der Befragung per SMS wurde jeweils am Vortag eines Erhebungstags an 1.000 Telefonnummern versendet, die dann ins CATI-System eingespielt und abtelefoniert wurden. Durch diese Methode wurde ein zeitnaher Anrufversuch ermöglicht. Falls die Person nicht erreichbar war, ist die Telefonnummer entsprechend den Dispositionsvorgaben im System administriert worden (Wiedervorlage oder Ablage). Wie aus der Tabelle 1 ersichtlich, steigert die SMS-Ankündigung die Kooperationsbereitschaft um etwa 7,5 Prozent. Insofern unterscheiden sich diese Befunde von denen, die bei Steeh und Piekarski (2008) diskutiert werden. Es wurde auch untersucht, wie lange die Kontaktaufnahme dauert, also die Zeit, die zwischen der Begrüßung am Telefon und dem Start des Interviews vergeht. Die Dauer der Kontaktaufnahme ist im Mittel bei den Personen, die eine Ankündigungs-SMS erhalten haben, um etwa 10 Sekunden gegenüber dem Kaltkontakt kürzer. Die vergleichsweise lange Kontaktaufnahme im Festnetz kann mehrere Aspekte haben. Ein wichtiger Grund könnte in der dem Interview vorgeschalteten Haushaltsauswahlstufe liegen. 32

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk

Tabelle 1: Kooperationsbereitschaft mit und ohne SMS-Ankündigung in der Hauptstudie (Angaben in Prozent) und Dauer der Kontaktphase (Mittelwerte) Zugangsmode

Handy

Handy mit SMS

Festnetz

Kooperationsbereit Nicht kooperationsbereit

34,90 65,10

42,25 57,75

29,50 70,50

n gesamt

1.189

1.768

3.420

Dauer der Kontaktphase Mittelwerte in Sekunden

49,73

38,68

87,37

Die Qualität einer jeden sozialwissenschaftlichen Erhebung ist die Frage nach einer möglichst genauen Abbildung der Gesamtpopulation. Damit anhand der erhobenen Daten Rückschlüsse auf und zuverlässige Aussagen über die Grundgesamtheit der untersuchten Population gemacht werden können, sollte die Zufallsstichprobe die Grundgesamtheit in allen Merkmalen möglichst adäquat abbilden. Ziel des Dual-Frame-Ansatzes aus Festnetz und Handystichprobe ist es, die Grundgesamtheit besser abzubilden als mit nur einer Substichprobe. Im Folgenden wird aber nur der Split mit und ohne Ankündigungs-SMS in der Handysubstichprobe gegenüber den Referenzdaten Mikrozensus 2006 dargestellt, nicht die Kombination beider Substichproben, die erwartungsgemäß eine bessere Abbildung der Gesamtpopulation hat (Befunde hierzu in Graeske & Kunz 2009). Tabelle 2: Randverteilungen demographischer Variablen im Mikrozensus 2006 und in der Hauptstudie bei Split mit und ohne Ankündigungs-SMS (in Prozent)

Geschlecht Weiblich Männlich n

Mikrozensus 2006

Handy

Handy mit SMSAnkündigung

Festnetz

51,2 48,8 70.786

42,4 57,6 415

41,8 58,2 747

57,8 42,2 1.009

33

Tino Schlinzig, Götz Schneiderat

Alter 16–19 Jahre 20–29 Jahre 30–39 Jahre 40–49 Jahre 50–59 Jahre 60–69 Jahre 70+ n Schulabschluss Hauptschulabschluss (8. Klasse) POS/Realschule (10. Klasse) Fachabitur/ Abitur ohne allgemeinen Schulabschluss n

5,9 15,3 17,1 20,4 16,4 15,3 15,5 66.819

6,5 26,9 19,9 26,2 15,8 8,5 2,6 386

3,3 25,7 22,9 26,2 16,2 6,3 2,8 717

4,7 14,6 18,0 23,6 17,6 15,0 11,3 951

42,8 28,6 25,2

17,1 30,9 51,3

18,4 39,0 41,4

21,2 33,2 45,0

3,4 68.082

0,8 392

1,3 713

0,7 912

Familienstand verheiratet, mit Ehepartner/in zusammenlebend verheiratet, von Ehepartner/in getrennt lebend ledig geschieden verwitwet n

53,3

42,2

42,8

55,2

2,1 29,3 7,1 8,2 70.786

2,4 43,0 9,8 2,7 377

3,5 43,1 9,4 1,1 712

1,7 26,8 8,4 7,9 1.063

1 Person 2 Personen 3 Personen 4 Personen 5 und mehr Personen n

22,0 36,9 18,6 15,7 6,7 70.786

19,4 29,2 21,8 21,5 8,0 376

20,1 32,4 19,8 18,0 10,3 716

16,8 35,1 21,0 16,5 10,6 1.063

Gewichteter Datensatz; ohne: Schüler, keine Angabe, weiß nicht.

Während hier keine Alters- und Geschlechtsunterschiede zwischen den Teilpopulationen warmer und kalter Erstkontakt festzustellen sind, unterscheiden sich die Teilpopulationen bei Schulabschluss und Haushaltsgröße. Dabei wird bei Warmkontakt die Grundgesamtheit hinsichtlich des Merkmales Schulabschluss und Haushaltsgröße etwas besser abgebildet. 34

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk

Randomisierte Geburtstagsauswahl Die Randomisierte Geburtstagsauswahl wurde erstmalig auf der Mobilsample-Tagung der GESIS in Mannheim am 21. 11. 2006 vorgestellt. Von den dort vertretenen akademischen und kommerziellen Sozialforscherinnen und Sozialforschern wurde vehemente Kritik an der Implementierung dieses Auswahlverfahrens geübt. Auch wenn die RGA aus statistischen Motiven begründbar sei, könne sie aber weder Interviewer/innen noch Befragten zugemutet werden, so die einhellige Diskussionsmeinung. Im Zeitraum vom 13. November 2006 bis zum 29. Januar 2007 wurde im Rahmen des DFG-Projekts eine erste Vorstudie, eine bundesweite Befragung von 940 Personen über das Festnetz, durchgeführt. Insgesamt konnten 920 vollständige Interviews realisiert werden. Ab Januar 2007 wurde testweise der Split von RGA und Last-Birthday implementiert, so dass für die folgenden Analysen nur ein Teil der Daten der ersten Vorstudie zur Verfügung stehen. Der Split9 sollte Lerneffekte bei der Rekrutierung von Interviews ausschließen und uns zuverlässige Daten liefern, ob diese neue Haushaltsauswahl überhaupt praktikabel ist.10 Zunächst zeigt sich, dass weder die Interviewerinnen und Interviewer noch die Befragten besondere Probleme mit der neuen Haushaltsauswahl hatten. Dies spiegelt sich dann auch in den Daten wider. Überraschenderweise schien die neue Methode sogar zu einer besseren Ausschöpfung zu führen, wie die Steigerung von knapp 2 Prozentpunkten in Tabelle 3 belegt. Auch wenn die Steigerung bei den Fallzahlen nicht signifikant ist, führt die Randomisierte Geburtstagsauswahl nicht, wie zuvor befürchtet, zum zahlenmäßigen Einbruch bei den Interviews. Tabelle 3: Kooperationsbereitschaft bei Split Last-Birthday und RGA (Vorstudie 1)

Zugangsmode: Festnetz

Kein Split 13. 11. bis 18. 12. 2006

Split (50 : 50) 4. 1. 2007 bis 29. 1. 2007

Last-Birthday

Last-Birthday

RGA

Kooperationsbereit Nicht kooperationsbereit

28,10 71,90

28,32 71,68

30,20 69,80

n gesamt

2.327

452

457

Ungewichteter Datensatz

35

Tino Schlinzig, Götz Schneiderat

Der Kontaktperson wird in der Einleitung eine kognitiv anspruchsvollere Frage gegenüber dem Last-Birthday-Verfahren gestellt. Bei Last-Birthday muss sie vom gegenwärtigen Zeitpunkt zurückdenken, während sie bei dem gestellten willkürlich über das Jahr verteilten Datum, die Geburtstage und -monate aller Haushaltsmitglieder gedanklich durchgehen und dann die jeweilige Zielperson ermitteln muss. Durch die aufwendigere Informationssuche wird die Kontaktperson länger beschäftigt und kann weniger schnell das Telefonat abbrechen. Somit wird die Interaktion über die ersten kritischen Sekunden gehalten. Gleichzeitig hat die komplexere Geburtstagsfrage eine Tür öffnende Funktion (Foot-in-the-door technique). Die Kontaktperson wird aufgewertet und vermittelt eher den Zugang zur Zielperson. In diesem Zusammenhang stellt sich die Frage, ob sich die Daten innerhalb der RGA verändern, wenn die Kontaktperson gleich die Zielperson ist oder wenn die Kontaktperson nur vermittelt, selbst aber nicht am Interview teilnehmen darf. Die Daten zeigen, dass es keine Rolle spielt, ob die Zielperson die Kontaktperson ist oder nicht. Kontrolliert man Geschlecht und Alter hinsichtlich unterschiedlicher Ausschöpfung bei der Randomisierten Geburtstagsauswahl und der Last-Birthday-Auswahl, zeigen sich keine signifikanten Veränderungen. Auch bei der Bildung unterscheiden sich die Merkmale zwischen den Auswahlmethoden nicht signifikant, bei der RGA sind die Haupt- und Realschüler besser abgebildet und bei der Last-Birthday-Methode die Abiturienten. Als Referenz dient jeweils der Mikrozensus. Tabelle 4: Randverteilungen demographischer Variablen im Mikrozensus 2006 und in der Vorstudie 1 bei Last-Birthday und RGA (in Prozent)

Mikrozensus 2006

Kein Split 13. 11. bis 18. 12. 2006

Split (50 : 50) 4. 1. 2007 bis 29. 1. 2007

Last-Birthday

Last-Birthday

RGA

Geschlecht Weiblich

51,2

59,9

60,0

57,3

Männlich

48,8

40,1

40,0

42,7

70.786

669

140

131

n Alter

36

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk

16–19 Jahre 20–29 Jahre 30–39 Jahre 40–49 Jahre 50–59 Jahre 60–69 Jahre 70+ n

Schulabschluss Hauptschulabschluss (8. Klasse) POS/ Realschule (10. Klasse) Fachabitur/Abitur ohne allgemeinen Schulabschluss n

5,9 15,3 17,1 20,4 16,4 15,3 15,5 66.819

6,1 18,6 18,5 18,6 14,4 12,5 11,3 639

4,4 14,0 17,6 19,1 22,8 8,1 14,0 136

2,4 13,7 21,8 21,0 17,7 14,5 8,9 124

42,8

18,9

20,0

19,5

28,6 25,2

33,1 46,5

26,9 50,8

42,4 35,6

3,4 68.082

1,5 593

2,3 130

2,5 118

Familienstand verheiratet, mit Ehepartner/in zusammenlebend verheiratet, von Ehepartner/in getrennt lebend ledig geschieden verwitwet n

53,3

44,7

50,0

44,9

2,1 29,3 7,1 8,2 70.786

3,9 36,3 8,0 7,2 640

0,0 36,6 3,7 9,7 134

10,2 30,7 8,7 5,5 127

1 Person 2 Personen 3 Personen 4 Personen 5 und mehr Personen n

22,0 36,9 18,6 15,7 6,7 70.786

27,3 32,5 16,1 17,3 6,6 639

29,1 29,9 21,6 14,2 6,7 136

22,8 41,7 21,3 9,4 3,9 126

Ungewichteter Datensatz; ohne: Schüler, keine Angabe, weiß nicht.

37

Tino Schlinzig, Götz Schneiderat

4 Diskussion Warmkontakt Ankündigungen haben Ausschöpfung steigernde Wirkung, so auch in der hier vorgestellten Studie. Den Gesprächen zwischen Interviewer/innen und Befragten in der Kontaktphase war zu entnehmen, dass viele Befragte bereits informiert waren, sich die Internetseite zum Projekt angesehen hatten oder es beabsichtigten. Aber durch die Ankündigung, so die Erfahrung unserer Interviewerinnen und Interviewer, waren auch die Argumente für Verweigerung bereits im Vorfeld zurechtgelegt. Es ist zu vermuten, dass die Entscheidung für Teilnahme und Nichtteilnahme reflektierter als beim Kaltkontakt sind. Dies wurde aber nicht getestet. Vorab getätigte Versuche, eine solche finanziell vergleichsweise günstige Lösung für das Festnetz zu realisieren, scheiterten. Vor allem die begrenzten technischen Möglichkeiten der meisten (älteren) Telefonapparate sprachen gegen den Einsatz eines solchen Instruments, da in diesem Fall der Empfang der Kurzmitteilungen über eine computererzeugte Sprachausgabe erfolgt. Die Qualität dieser Ausgabe ist zum jetzigen Stand nicht zufrieden stellend. Anders bei moderneren SMS-fähigen Endgeräten: Diese ermöglichen die Übertragung und den Empfang von Kurzmitteilungen in Textform. Mit steigendem Verbreitungsgrad dieser Technologien könnte es sich hierbei um einen gangbaren Weg für den Warmkontakt bei Telefonstudien über Festnetz handeln. Nachdem man bei telefonischen Befragungen bedingt durch den Auswahlrahmen weder Vorabbriefe noch materielle Incentives per Post mehr verschicken kann, bieten die neuen Kommunikationstechnologien wieder bessere Möglichkeiten für die Umfragepraxis. Die SMS ist im Mobilfunk flächendeckend verbreitet. Multimedia Messaging Service (MMS) und Bezahlsysteme am Handy können zukünftig bei telefonischen Befragungen den Warmkontakt ggf. gekoppelt mit kleinen monetären Incentives zu verbessern helfen. Mobilfunkbefragungen erreichen nach den derzeitigen Erkenntnissen höhere Ausschöpfungen als die Festnetzbefragungen (siehe Tabelle 1). Dies hat mehrere Gründe; neben der Möglichkeit des Warmkontaktes ist besonders der Überraschungsmoment hervorzuheben: Da es in Deutschland bisher kaum Umfragen über das Mobilfunknetz gab, wird diese Art der Kontaktaufnahme nicht sofort abgewehrt, sondern eher mit Erstaunen und positiver Resonanz quittiert. Schließlich entfällt im Handybereich die nicht ganz unproblematische Haushaltsauswahl. 38

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk

Randomisierte Geburtstagsauswahl Ausgangspunkt war die von Siegfried Gabler entwickelte Haushaltsauswahl. Da statistische Erwägungen für den Einsatz sprechen, jedoch die Praktikabilität von Experten stark bezweifelt wurde, zielte der Split in der Vorstudie 1 auf den Vergleich beider Auswahlverfahren, d. h. auf die erwartete Verschlechterung der Ausschöpfung, nicht aber auf eine möglicherweise signifikante Verbesserung. Daher lässt sich mit Hilfe von 273 Interviews noch kein Nachweis einer Verbesserung der Ausschöpfung durch den Einsatz der RGA führen. Ein Split mit entsprechend größeren Fallzahlen müsste dies weiterverfolgen. Auch wenn die Randomisierte Geburtstagsauswahl bei diesem Test zu keiner signifikanten Steigerung der Ausschöpfung führte, hat sie jedoch neben den auswahltheoretischen Erwägungen auch praktische Vorzüge. Sie ist als neue Auswahlmethode eine Abwechslung für die Interviewerinnen und Interviewer, die jeweils den Einleitungstext immer neu anpassen müssen, und stellt eine Aufwertung für die Kontaktperson (kognitiv anspruchsvoller) dar. Sie ist, so die Erwartung, durch das Nachdenken weniger auf Verweigerung eingestimmt. Auch in der Vorstudie 2 und in der Hauptstudie konnte die Randomisierte Geburtstagsauswahl erfolgreich nun als alleinige Auswahlmethode angewendet werden.

Anmerkungen 1 2

3

Laut ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e. V. In der Hauptstudie wurden 14,5 Prozent exklusive Mobilfunknutzerinnen beziehungsweise Mobilfunknutzer ermittelt, die aber zum Teil über eine virtuelle Festnetznummer, wie sie von mehreren Mobilfunkanbietern vermarktet wird, erreichbar sind, so dass der Anteil von Personen, die auch über über keine Festnetznummer erreichbar sind, bei 11,7 Prozent liegt. Für die Vorstudien I und II telefonierten ausschließlich Studierende der Soziologie unentgeltlich im Rahmen eines Methodenpraktikums. An der Vorstudie I waren insgesamt 46 Interviewer/innen beteiligt. 27 davon waren weiblich und 19 männlich. Die Vorstudie II wurde von 22 Interviewer/innen bestritten – 15 Frauen und 7 Männer. Die Interviewerpopulationen der Vorstudien und der Hauptstudien waren bis auf wenige Ausnahmen rein personell nicht identisch. Für die Hauptstudie wurden sowohl Studierende verschiedener Fachrichtungen als auch bereits graduierte Soziologinnen und Soziologen und universitätsexterne Interviewerinnen und Interviewer rekrutiert. Insgesamt telefonierten hierfür entgeltlich 26 Frauen und 8 Männer. 27 davon befanden sich noch im Studium. Ein Interviewer hatte gerade sein Abitur abgelegt. Drei Frauen waren bereits im Fach Soziologie diplomiert. Der Interviewerstab war über die gesamte Feldzeit betrachtet häufig personellen Wechseln unterworfen.

39

Tino Schlinzig, Götz Schneiderat

4

5

6 7

8

9

10

40

Zum einen ist dies darauf zurückzuführen, dass etliche studentische Interviewerinnen und Interviewer kurzfristig ihre Tätigkeit aufgrund zeitlicher Engpässe aufgeben mussten. Zum anderen war für die Gruppe der Nicht-Studierenden die Höhe der Entlohnung (4,– EUR/Std. + 2,– EUR/Interview) maßgeblich. Etwa ein Drittel der Interviewerinnen und Interviewer der Hauptstudie gab an, erste Erfahrungen mit Telefoninterviews gesammelt zu haben. Über den Erfahrungsgrad der Interviewerinnen und Interviewer der Vorstudien liegen keine Informationen vor. Alle drei Interviewergruppen wurden gleichermaßen vor den Erhebungen und während der Feldzeit durch Mitarbeiter und studentische Hilfskräfte des Lehrstuhls geschult. Die Ausgabe der Zugriffsstatistiken der Seiten weisen für die Feldzeit allerdings einen zu vernachlässigenden Traffic aus. Insofern würde eine Ausschöpfungssteigerung weniger für die weiterführenden Informationen selbst sprechen, als vielmehr für die Möglichkeit, diese abzurufen, und damit auf den vertrauensbildenden Charakter dieser Option. Den Interviewerplätzen im CATI-Labor sind jeweils einzelne Apparatenummern zugeordnet. Rückrufe durch Befragte wurden automatisch an die Supervisorin oder den Supervisor weitergeleitet. Die Wiedervorlage der Telefonnummern der Samples erfolgte nicht stringent an ein und dieselbe Interviewerin beziehungsweise an ein und denselben Interviewer, sondern an den jeweils nächst freien Interviewerplatz. Insofern ist es möglich, dass bei mehrmaligen Kontaktversuchen verschiedene Nummern auf dem Display der kontaktierten Personen erscheinen. Allein die Vorwahl für Dresden (0351) bleibt konstant. Dies würde eine Identifikation des befragenden Instituts für die Kontaktierten erleichtern und eine Verweigerung ggf. begünstigen. Indikator im Fragebogen: Haben Sie vor dieser Befragung eine Ankündigungs-SMS erhalten, die über unsere Studie informiert? Einleitungstext der Hauptstudie über Festnetz: Guten Tag/Abend, mein Name ist . . . Ich rufe von der Technischen Universität Dresden an. Die Universität führt eine wissenschaftliche Befragung zum Thema Telefoniergewohnheiten durch und Ihr Haushalt wurde dafür zufällig ausgewählt. Es dauert nur wenige Minuten. Wegen des Prinzips der Zufallsauswahl müsste ich diejenige Person in Ihrem Haushalt befragen, die [randomisiert] vor/nach dem TT.MM. als letztes/als nächstes Geburtstag hat und mind. 16 Jahre alt ist. Sind Sie das? Einleitungstext der Vorstudie I – Split (50–50) Last-Birthday und RGA über Festnetz: Guten Abend, mein Name ist . . . Ich rufe von der Technischen Universität Dresden an. Die Universität führt eine wissenschaftliche Befragung zum Thema Telefoniergewohnheiten durch und Ihr Haushalt wurde dafür zufällig ausgewählt. Es dauert nur wenige Minuten. Wegen des Prinzips der Zufallsauswahl müsste ich diejenige Person in Ihrem Haushalt befragen, die als letztes bzw. [randomisiert] vor/nach dem TT.MM. als letztes/ als nächstes Geburtstag hat und mind. 16 Jahre alt ist. Sind Sie das? Eine differenzierte Ausschöpfungsübersicht kann hier aus Platzgründen nicht gegeben werden. Die Ausschöpfung zur Vorstudie findet sich bei: Schneiderat & Schlinzig 2009 und zur Hauptstudie bei: Häder & Häder & Graeske & Kunz & Schneiderat 2009. Alle Telefonnummern ab Januar 2006 wurden zufällig geteilt (50% Last-Birthday/ 50% als letztes oder nächstes + randomisierte Geburtstage) und der Interviewerin beziehungsweise dem Interviewer mit dem Einleitungstext eingespielt. Falls der Test nicht funktioniert, würde die RGA nicht in der Hauptstudie angewendet werden. Aus: unveröffentlichtes Protokoll zur Tagung Mobilsample.

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk

Literatur AAPOR Cell Phone Task Force (2008). Guidelines and considerations for survey researchers when planning and conducting RDD and other telephone surveys in the U. S. with respondents reached via cell phone numbers. New Orleans: 63th Annual Conference. AAPOR (2006). Standard definitions: Final dispositions of case codes and outcome rates for surveys. 4th edition. Lenexa, Kansas: AAPOR. ADM Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e. V. (2008). Zahlen über den Markt für Marktforschung, Ausgabe 3/2008. Abgerufen am 03.11.2008, Website: http://www.adm-ev.de/zahlen.html. Blasius, J., & Reuband, K.-H. (1995). Telefoninterviews in der empirischen Sozialforschung: Ausschöpfungsquoten und Antwortqualität. ZA-Informationen, 37, 64–87. Curtin, R., & Presser, S., & Singer, E. (2005). Changes in telephone survey nonresponse over the past quarter century. Public Opinion Quarterly, 69(1), 87–98. Däubler, T. (2002). Nonresponseanalysen der Stichprobe F des SOEP. Abgerufen am 22.04.2008, von DIW Materialien Berlin Website: http://www.diw-berlin.de/documents/publikationen/73/38830/diw_rn02-05-15.pdf. de Heer, W. (1999). International response trends: Results of an international survey. Journal of Official Statistics, 15(2), 129–142. Deutschmann, M., & Häder, S. (2002). Nicht-Eingetragene in CATI-Surveys. In S. Gabler & S. Häder (Hg.), Telefonstichproben. Innovative Entwicklungen und Anwendungen in Deutschland (68–84). Münster: Waxmann. Dillman, D. A. (1991). The design and administration of mail surveys. Annual Review of Sociology, 17(1), 225–249. Dillman, D. A. (2000). Mail and internet surveys. The tailored design method. New York: Wiley. Dillman, D. A., & Callegos, J. G., & Frey, J. H. (1976). Reducing refusal rates for telephone interviews. Public Opinion Quarterly, 40(1), 66–78. Esser, H. (1986). Über die Teilnahme an Befragungen. ZUMA-Nachrichten, 18, 38–47. Eurobarometer (2008). E-Communications Household Survey. Special Eurobarometer 293/Wave 68.2 – TNS opinion & social. Abgerufen am 30.06.2008, Website: http:// ec.europa.eu/public_opinion/archives/ebs/ebs_293_full_en.pdf. Frey, J. H., & Kunz, G., & Lüschen G. (1990). Telefonumfragen in der Sozialforschung. Opladen: Leske + Budrich. Friedrichs, J. (2000). Effekte des Versands des Fragebogens auf die Antwortqualität bei einer telefonischen Befragung. In V. Hüfgen (Hg.), Methoden der Telefonumfragen (171–182). Wiesbaden: Westdeutscher Verlag. Fuchs, M. (1994). Umfrageforschung mit Telefon und Computer. Weinheim: Psychologie Verl. Union.

41

Tino Schlinzig, Götz Schneiderat Fuchs, M. (2002). Eine CATI-Umfrage unter Handy-Nutzern. Methodische Erfahrungen aus einem Vergleich mit einer Festnetzstichprobe. In S. Gabler & S. Häder (Hg.), Telefonstichproben. Methodische Innovationen und Anwendungen in Deutschland (121–137). Münster: Waxmann. Gabler, S., & Häder, S. (1999). Erfahrungen im Aufbau eines Auswahlrahmens für Telefonstichproben in Deutschland. ZUMA-Nachrichten, 44, 45–61. Gabler, S., & Häder, S. (2002). Idiosyncrasies in telephone sampling – The case of Germany. International Journal of Public Opinion Research, 14(3), 339–345. Gaziano, C. (2005). Comparative analysis of within-household respondent selection techniques. Public Opinion Quarterly, 69(1), 124–157. Glemser, A. (2007). Mobilfunknutzung in Deutschland. Eine Herausforderung für die Stichprobenbildung in der Markt- und Sozialforschung. In S. Gabler & S. Häder (Hg.), Mobilfunktelefonie – Eine Herausforderung für die Umfrageforschung. ZUMA-Nachrichten Spezial, 13, 7–24. Goldstein, K. M., & Jennings, M. K. (2002). The effect of advance letters on cooperation in a list sample telephone survey. Public Opinion Quarterly, 66(4), 608–617. Gouldner, A. W. (1960). The norm of reciprocity: A preliminary statement. American Sociological Review, 25(2), 161–178. Graeske, J., & Kunz, T. (2009). Stichprobenqualität der Cella-Studie unter Berücksichtigung der Mobile-onlys. In M. Häder & S. Häder (Hg.), Telefonumfragen über das Mobilfunknetz. Wiesbaden: VS Verlag, 57–70. Groves, R. M., & Snowden, C. (1987). The effects of advance letters on response rates in linked telephone surveys. In American Statistical Association (Ed.), Proceedings of the survey research methods section (633–638). Alexandria, VA: American Statistical Association. Groves, R.M., & Fowler, F. Y. Jr., & Couper, M., & Lepkowsky, J. M., & Singer, E., & Tourangeau, R. (2004). Survey Methodology. New Jersey: Wiley. Groves, R. M., & Couper, M. P., & Presser, S., & Singer, E., & Tourangeau, R., & Acosta, G. P., & Nelson, L. (2006). Experiments in producing non-response bias. Public Opinion Quarterly, 70(5), Special Issue 2006, 720–736. Häder, M., & Häder, S. (Hg.) (2009). Telefonumfragen über das Mobilfunknetz. Wiesbaden: VS Verlag. Häder, S., & Häder, M., & Graeske, J., & Kunz, T., & Schneiderat, G. (2009). Realisierung der Stichprobe. In M. Häder & S. Häder (Hg.), Telefonumfragen über das Mobilfunknetz. Wiesbaden: VS Verlag, 71–82. Häder, S., & Gabler, S., & Heckel, C. (2009). Stichprobenziehung für die CELLA-Studie. In M. Häder & S. Häder (Hg.), Telefonumfragen über das Mobilfunknetz. Wiesbaden: VS Verlag, 21–49. Hüfken, V. (2000). Kontaktierung bei Telefonumfragen. In: V. Hüfken (Hg.), Methoden in Telefonumfragen (11–31). Opladen: Leske + Budrich.

42

Erhöhung der Teilnahmebereitschaft bei Telefonumfragen über Festnetz und Mobilfunk Kish, L. (1949). A procedure for objective respondent selection within the household. Journal of American Statistical Association, 44, 380–387. Kish, L. (1965). Survey sampling. New York: John Wiley & Sons. Koch, A. (1997). Teilnahmeverhalten beim ALLBUS 1994. Soziodemographische Determinanten von Erreichbarkeit, Befragungsfähigkeit und Kooperationsbereitschaft. Kölner Zeitschrift für Soziologie und Sozialpsychologie, 49(1), 98–122. Mann, Ch. B. (2005). Do advance letters improve preelection forecast accuracy? Public Opinion Quarterly, 69(4), 561–571. Meier, G., & Schneid, M., & Stegemann, Y., & Stiegler, A. (2005). Steigerung der Ausschöpfungsquote von Telefonumfragen durch geschickte Einleitungstexte. ZUMANachrichten, 57, 37–56. Mitteilung über die Gründung der Arbeitsgruppe MOBILSAMPLE (2005). ZUMA-Nachrichten, 56, 111–116. Abgerufen am 22.09.2005, Website: http://www.gesis.org/Publikationen/Zeitschriften/ZUMA_Nachrichten/documents/pdfs/56/13_gabler.pdf. Porst, R. (1998). Im Vorfeld der Befragung. Planung, Fragebogenentwicklung, Pretesting. ZUMA-Arbeitsberichte, 98/02. Salmon, C.T., & Nicols, J.S. (1983). The next-birthday method of respondent selection. Public Opinion Quarterly, 47(2), 270–276. Schneiderat, G., & Schlinzig, T. (2009). Teilnahmebereitschaft und Teilnahmeverhalten bei Telefonumfragen der Allgemeinbevölkerung über das Mobilfunknetz. In M. Häder & S. Häder (Hg.), Telefonumfragen über das Mobilfunknetz. Wiesbaden: VS Verlag, 83–97. Schnell, R. (1997). Non-Response in Bevölkerungsumfragen. Opladen: Leske + Budrich. Statistisches Bundesamt Wiesbaden (2007). Abgerufen am 12.03.2007, Website: https:// www-genesis.destatis.de. Steeh, C., & Buskirk, T. D., & Callegaro, M. (2007). Using text messages in U. S. mobile phone survey. Field Methods, 19(1), 59–75. Steeh, C., & Piekarski, L. (2008). Accomodating new technologies: Mobile and VoIP communication. In J. L. Lepokowski (Ed.), Advances in telephone survey methodology (423–448). Hoboken, New Jersey: John Wiley & Sons. Stroebe, W., & Jonas, K., & Hewstone, M. (2002). Sozialpsychologie: Eine Einführung. 4. Auflage. Berlin: Springer. Troldahl, V., & Carter, R. (1964). Random selection of respondents within households in phone surveys. Journal of Marketing Research, 1(2), 71–76.

43

Michael Häder, Mike Kühne, Tino Schlinzig

Michael Häder, Mike Kühne, Tino Schlinzig

Mode-Effekte bei telefonischen Befragungen über Festnetz und Mobilfunk: Auswirkungen auf die Datenqualität Zusammenfassung Der Artikel schildert ausgewählte Ergebnisse eines Projektes, bei dem es um die Implementierung von Mobilfunkbefragungen in das sozialwissenschaftliche Methodenarsenal geht. Dazu wurde ein Mixed-Mode-Design mit gleichzeitiger Nutzung von telefonischen Befragungen über das Festnetz und über den Mobilfunk entwickelt und bei etwa 2.100 Personen umgesetzt. Der Fokus des Artikels liegt auf der Suche nach Mode-Effekten. Als Grundlage wird ein kognitionspsychologisches Paradigma zur Erklärung des Antwortverhaltens bei Befragungen herangezogen. Mode-Effekte werden vor allem mit Hilfe von Item-Non-Response sowie mittels Erinnerungsfragen aufzuspüren versucht. Aber auch die Anwesenheit Dritter während der Befragung sowie die Nähe des erfragten Sachverhalts zur Befragungssituation finden Beachtung. Es zeigt sich schließlich, dass eine parallele Anwendung beider Modes nicht zu unüberbrückbaren Differenzen im Antwortverhalten der Zielpersonen führen.

Abstract Mode Effects in Telephone Surveys via Landline Phones and Mobile Phones: Effects on the Quality of Data The article presents selected results of a project that dealt with the establishment of mobile phone surveys as a data gathering method in social science. For that purpose a mixed-mode design was developed that implied parallel use of telephone surveys via landline phones and mobile phones. About 2.100 people participated. The article focuses on mode effects. A paradigm of cognition psychology was used as the basis to explain response behaviour in surveys. The authors attempt to discover mode effects with the help of item-non-response and memory questions. The presence of a third person during the survey as well as the similarity between question content and question mode of a survey are considered by the authors. Results show that the parallel use of both modes does not lead to insurmountable differences in the response behaviour of the target group.

45

Michael Häder, Mike Kühne, Tino Schlinzig

1 Einleitung und Fragestellung1 Telefonische Befragungen, die Mobilfunknutzerinnen und Mobilfunknutzer ausschließen, sind inzwischen nicht mehr dazu geeignet, empirische Aussagen zur Allgemeinbevölkerung der Bundesrepublik zu liefern (vergleiche dazu auch die Beiträge von S. Häder & Gabler und von Schlinzig & Schneiderat in diesem Band sowie die zusammenfassende Darstellung bei Häder & Häder 2009). Diese Tatsache sowie die zahlreichen Möglichkeiten, die telefonische Interviews nach wie vor bieten, führten zu dem Versuch, Befragungen auch über das Mobilfunknetz im sozialwissenschaftlichen Methodenarsenal zu implementieren. Dazu kommt ein Mixed-Mode-Ansatz zum Einsatz. Eng mit dieser neuen Strategie verbunden ist die Frage nach der Vergleichbarkeit der mit zwei unterschiedlichen Instrumenten gewonnenen Daten. Es ist bereits seit längerem bekannt, dass zwei Befragungen, die sich an dieselbe Grundgesamtheit richten und die dabei dieselben Frageformulierungen benutzen, nicht zwingend auch zu denselben Befunden führen müssen, vor allem dann, wenn sie sich verschiedener Erhebungsmodes bedienen. Dies wurde erstmals bei einer Untersuchung festgestellt, bei der 44 Prozent der Respondentinnen und Respondenten bei einem persönlichmündlichen Interview ihre Gesundheit als „exzellent“ einschätzten. Dem stehen nur 37 Prozent der Befragten gegenüber, die diese Antwort im Rahmen eines telefonischen Interviews gaben. Noch geringer war dieser Wert – mit nur 30 Prozent – bei den postalischen Befragungen (vergleiche Hochstim 1967). Die Problematik der Mode-Effekte wurde bisher vor allem in Bezug auf persönlich-mündliche, telefonische, postalische und für über das Internet abgewickelte Befragungen diskutiert. Mittlerweile existieren für diese Erhebungsverfahren zahlreiche Befunde – vergleiche unter anderem Srinivasan & Hanway (1999), Dillman (2000, 217 ff.), Tourangeau & Smith (1996), Groves et al. (2004), Christian & Dillman & Smyth (2008), Béland & St-Pierre (2008, 298 f.) Tucker & Lepkowski (2008, 6 ff.) sowie zahlreiche weitere Arbeiten. Inwieweit sich Unterschiede in den Daten zwischen telefonischen Befragungen über das Festnetz und über den Mobilfunk innerhalb eines Mixed-Mode-Designs mit ansonsten identischen Instrumenten erwarten lassen, ist jedoch ein noch weitgehend unbearbeitetes Problem. Bei Mixed-Mode-Erhebungen stellt sich konkret die Frage, ob sich Unterschiede im Antwortverhalten als Folge von unterschiedlichen Bedingungen bei der Datenerhebung zwischen den verwendeten Verfahren ergeben. Da46

Mode-Effekte bei telefonischen Befragungen über Festnetz und Mobilfunk

mit stellt sich weiterhin die Frage, welche Mode-Effekte bei der parallelen telefonischen Befragung über das Festnetz und über den Mobilfunk vermutet werden können. Es wird also zu untersuchen sein, welche Unterschiede zwischen den beiden Modes, vermittelt über welche Instanzen, zu welchen Unterschieden im Antwortverhalten der Zielpersonen führen. Der vorliegende Beitrag nimmt auf der Basis von Ergebnissen eines Mixed-Mode-Designs verschiedene Analysen vor (weitere Befunde finden sich bei Häder & Kühne 2009, 165 ff.). Dazu ist den Zielpersonen ein identischer Fragebogen sowohl über das Festnetz als auch über den Mobilfunk präsentiert worden. Bevor die Studie sowie ausgewählte empirische Ergebnisse dargestellt und diskutiert werden, soll beschrieben werden, aufgrund welcher Aspekte mit dem Auftreten von Mode-Effekten gerechnet werden kann und ebenso, welche Aspekte gegen ein solches Auftreten sprechen.

2 Vergleich der beiden Modes Unter Berücksichtigung der aktuellen Trends in der Nutzung von Telefonen – unter anderem ist ein steigender Anteil an Haushalten zu verzeichnen, die ausschließlich über ein Mobilfunktelefon zu erreichen sind und über keinen Festnetzanschluss verfügen (Glemser 2007) – müssen in Ergänzung zu Festnetzbefragungen auch Befragungen über Mobilfunk geführt werden, um einen möglichst großen Teil der Bevölkerung erreichen zu können. Allerdings sind damit, wie oben bereits angesprochen, unter Umständen Modeeffekte verbunden. Modeeffekte zwischen den Befragungen am Festnetz bzw. per Mobilfunk waren bisher kaum Gegenstand empirischer Forschung. Grundlage für einen systematischen Zugang zur Analyse der Modeeffekte sind insbesondere die spezifischen Unterschiede und Gemeinsamkeiten beider Modes, die im Folgenden kurz dargestellt werden.

2.1 Unterschiede in der Datenerhebung Einschränkungen in der Vergleichbarkeit von Daten, die mit unterschiedlichen Erhebungsmodes gewonnen wurden, waren bereits häufiger Gegenstand der Umfrageforschung. Für Unterschiede insbesondere zwischen Festnetz- und Mobilfunkbefragungen existieren bisher allerdings kaum empirische Befunde. Die Analyse dieser Mode-Effekte stellt deshalb momentan ein noch weitgehend unerforschtes Feld dar (vergleiche Tucker & Lepkowski 47

Michael Häder, Mike Kühne, Tino Schlinzig

2008, 19 f.). Prospektiv lassen sich einige unterschiedliche Voraussetzungen für die Befragungen benennen: • Festnetz- und Mobilfunkbefragungen können jeweils in unterschiedlichen räumlichen und sozialen Umgebungen stattfinden. Dies stellt zunächst nur eine Möglichkeit dar, da Mobilfunkbefragungen prinzipiell auch in der Wohnung der Zielperson erfolgen können. Denkbar und wahrscheinlich ist jedoch, dass die Zielpersonen am Mobilfunktelefon in sehr verschiedenen Räumen beziehungsweise Umgebungen erreicht werden. • Bei beiden Modes muss mit unterschiedlichen technischen Voraussetzungen für die Kommunikation gerechnet werden. So dürften Festnetzbefragungen in der Regel technisch ohne Probleme vonstatten gehen. Bei Mobilfunkbefragungen sind beispielsweise Probleme mit der Netzabdeckung (relevant vor allem bei Befragungen während Auto- und/oder Zugfahrten), mit der Energieversorgung des Mobilfunkgerätes und mit der Sprachqualität nicht völlig unwahrscheinlich. • Auch die Erreichbarkeit der Zielperson unterscheidet sich danach, ob diese über das Festnetz oder über den Mobilfunk kontaktiert worden ist. Während ein Festnetzkontakt die Zielperson in der Regel nur zuhause erreichen kann, ist es prinzipiell weltweit möglich, jemanden auf seinem Mobiltelefon zu kontaktieren. • Die Auswahl der Zielperson im Haushalt kann bei den Befragungen über das Festnetz randomisiert erfolgen (zum Beispiel mit Hilfe der Last-BirthdayMethode). Bei der Mobilfunkbefragung wird die kontaktierte Person auch um eine Teilnahme an der Befragung gebeten. Hier sind Kontakt- und Zielperson identisch. Die fehlende Randomisierung in der Kontaktphase bei der Befragung über Mobilfunk könnte ebenfalls zu Unterschieden zwischen den Modes führen. • Die Grundgesamtheit, aus der die Stichprobe für beide Modes gezogen wurde, ist unter Umständen nicht völlig identisch. Befragungen über das Festnetz richten sich an Personen, die in Privathaushalten leben. Bei Mobilfunkbefragungen können beispielsweise auch Anstaltsbewohnerinnen und Anstaltsbewohner befragt werden. Auch dies kann allerdings wiederum zu Effekten führen.

2.2 Gemeinsamkeiten in der Datenerhebung Neben den Unterschieden bei der Nutzung beider Modes lässt sich eine Reihe von Argumenten anführen, die für eine relativ gute Vergleichbarkeit der Ergebnisse sprechen. Dies gilt vor allem vor dem Hintergrund von 48

Mode-Effekte bei telefonischen Befragungen über Festnetz und Mobilfunk

Mode-Effekten, die bei telefonischen, postalischen und persönlich-mündlichen Befragungen zu erwarten sind. Folgende Prämissen lassen vermuten, dass die Unterschiede zwischen telefonischen Befragungen über das Festnetz und über den Mobilfunk nicht allzu groß ausfallen: • Dieselben Interviewerinnen und Interviewer werden sowohl für die Befragung über das Festnetz als auch über den Mobilfunk eingesetzt. Sie können damit – anders als etwa bei telefonischen versus persönlich-mündlichen Befragungen – als Quelle für unterschiedliche Effekte ausgeschlossen werden. • Beide Modes unterliegen den gleichen Supervisionsprinzipien im Labor. Alle Interviews werden vom gleichen Erhebungsinstitut durchgeführt. • Effekte, die durch unterschiedliche Sponsoren auf das Teilnahme- und/ oder auf das Antwortverhalten wirken können, sind damit zu negieren. • Der Fragebogen ist in beiden Modes identisch. Die Indikatoren werden den Zielpersonen jeweils in der gleichen Reihenfolge präsentiert. Es besteht für sie beispielsweise nicht die Möglichkeit, den Fragebogen zunächst durchzublättern und sich über die verschiedenen Fragestellungen vorab zu informieren. • Die Bemühungen, potenziell ausgewählte Personen zur Teilnahme an einem Interview zu bewegen, sind in beiden Modes nahezu identisch. Für mögliche Rückrufe und für die erforderlichen Konvertierungsversuche gelten jeweils dieselben Regeln in den beiden Modes. • Die Feldzeit ist in beiden Modes ebenfalls nahezu identisch. Unterschiede durch den besonderen Einfluss zwischenzeitlicher tagespolitischer Ereignisse auf nur einen der beiden Modes sind deshalb äußert unwahrscheinlich. • Schließlich handelt es sich um nur einen Kommunikationskanal, über den alle Befragungen abgewickelt wurden. Unter Berücksichtigung der genannten Aspekte sowie auf der Basis einer größtmöglichen Standardisierung können Unterschiede zwischen den beiden Modes zwar nicht völlig ausgeschlossen werden, jedoch ist zu erwarten, dass deren Umfang begrenzt ist. Daraus ergibt sich wiederum eine größere Vergleichbarkeit der erhobenen Daten sowie nicht zuletzt eine Legitimation des gesamten Ansatzes.

2.3 Unterschiede im Antwortverhalten Die bereits genannten Unterschiede zwischen telefonischen Befragungen über den Mobilfunk und über das Festnetz ziehen möglicherweise Mechanismen nach sich, die auf das Antwortverhalten der Zielpersonen wirken 49

Michael Häder, Mike Kühne, Tino Schlinzig

können. Es besteht mittlerweile Konsens darüber, dass Befragte vier Schritte durchlaufen, um eine geschlossene Frage zu beantworten: das Verstehen der Frage, das Abrufen der für die Beantwortung der Frage notwendigen Informationen aus dem Gedächtnis, das Beurteilen der abgerufenen Informationen und das Kommunizieren des Ergebnisses der Urteilsbildung anhand der Selektion einer der vorgegebenen Antwortoptionen (vergleiche zum Beispiel Sudman & Bradburn & Schwarz 1996; Schwarz 2008, 374 ff.). Allerdings verweisen zahlreiche empirische Befunde darauf, dass es neben diesem idealen Phasenmodell auch alternative Modelle zur Beschreibung der Antwortgenerierung gibt (Tourangeau & Rips & Rasinski 2005). Vor dem Hintergrund der Komplexität des Antwortprozesses und des damit für die Zielperson verbundenen Aufwands erscheint es unrealistisch, dass die Befragten tatsächlich stets alle Schritte der Antwortgenerierung für jede Frage eines Fragebogens durchlaufen. Das Auftreten von Response-Sets wie beispielsweise Zustimmungstendenzen und die Tendenz zur Wahl der Mittelkategorie deuten auf sogenannte Abkürzungen bei der Antwortfindung hin (Tourangeau 2005, 254). Zur Beschreibung und Erklärung eben dieser Abkürzungen schlagen Krosnick und Alwin (1987) im Rückgriff auf das psychologische Modell paralleler Verarbeitungswege (Petty & Cacioppo 1986; Chaiken & Yaacov 1999) das Konzept des Optimizing beziehungsweise des Satisficing vor. Während beim Optimizing alle erforderlichen Schritte für die Bildung einer Antwort unternommen werden, kommt es beim Satisficing bei den Zielpersonen zu einer nur oberflächlichen, kognitiven Bearbeitung der Frage. Dies hat wiederum einen Einfluss auf die Qualität der Antwort. Die Hypothese liegt nahe, dass vor allem bei ungünstigen Bedingungen im Umfeld der Zielperson infolge von Zeitdruck oder bei technischen Problemen solche Satisficing-Strategien eingesetzt werden. Insgesamt lässt sich beim Satisficing im Vergleich zum Optimizing eine geringere Datenqualität aufgrund einer höheren Anfälligkeit beispielsweise gegenüber Kontexteffekten erwarten. Es ist deshalb unter anderem mit folgenden Effekten zu rechnen: • Vor allem wenn es darum geht, Mode-Effekte beim Einsatz von persönlich-mündlichen und telefonischen Befragungen zu diskutieren, werden Unterschiede in den Erinnerungsleistungen und damit in der Antwortqualität thematisiert (vergleiche Noelle-Neumann, & Petersen 2000, 183 ff.). Aber auch in diesem Kontext ist nicht auszuschließen, dass es beispielsweise aufgrund einer stärkeren Ablenkung durch die Umgebung bei Mobilfunkbefragungen oder durch die Anwesenheit Dritter zu schlechteren Erinnerungsleistungen kommen kann. 50

Mode-Effekte bei telefonischen Befragungen über Festnetz und Mobilfunk

• Zu Item-Non-Response kann es – ähnlich wie bei anderen Befragungsmodes – auch bei telefonischen Befragungen kommen, wenn sich die Zielpersonen noch keine Meinung zu einem Sachverhalt gebildet haben und den weniger aufwendigen Weg des Satisficing vorziehen. Als Ursachen für Item-Non-Response gelten: ein ungenügendes Verständnis des Anliegens der jeweiligen Frage, fehlende Informationen bei den Zielpersonen, um eine Antwort zu generieren, ein Mangel an Motivation, um entsprechende Informationen aus dem Gedächtnis abzurufen (vergleiche Krosnick 2002) oder auch schlicht ein Fehler der Interviewerin oder des Interviewers, die beziehungsweise der eventuell vergessen hat, der Zielperson eine Frage zu stellen. Folgt man beispielsweise Groves und Kollegen, so kann auch das Phänomen der sozialen Erwünschtheit zum Item-Non-Response führen (vergleiche Groves et al. 2004, 189). 3 Forschungsfrage Da Mobilfunkbesitzer potentiell häufiger in komplizierten Situationen um ein Interview gebeten werden, liegt die Vermutung nahe, dass sie bei der Antwortfindung häufiger zu Satisficing-Strategien greifen. Insofern sind bei Personen, die über den Mobilfunk befragt wurden, schwächere Erinnerungsleistungen, höhere Quoten von Item-Non-Response sowie eine stärkere Ablenkung durch die Anwesenheit Dritter während des Interviews zu erwarten beziehungsweise zumindest nicht auszuschließen. Außerdem lässt sich vermuten, dass unter Verwendung von Satisficing-Strategien bei der Antwortfindung Kontexteffekte stärker wirken. Das sollte unter anderen dazu führen, dass Einstellungsfragen mit einem direkten Bezug (zum Beispiel zur Mobilfunknutzung oder zum Handykauf) systematisch anders beantwortet werden als Fragen ohne direkten Bezug zum Sachverhalt (zum Beispiel Einstellungsfragen zum Freizeitverhalten, zu Hobbys oder allgemeiner Zufriedenheit).

4 Empirische Untersuchung Grundlage der hier vorgestellten Ergebnisse ist das durch die Deutsche Forschungsgesellschaft geförderte Projekt „Telefonbefragungen in der Allgemeinbevölkerung über das Mobilfunknetz“. Innerhalb dieses Projektes wurde sowohl über das Festnetz als auch über den Mobilfunk eine Umfrage zum 51

Michael Häder, Mike Kühne, Tino Schlinzig

Thema „Telefoniergewohnheiten“ durchgeführt (das Projekt wird ausführlich dargestellt in Häder & Häder 2009). Ein Schwerpunkt des Projekts war die Analyse von Modeeffekten bei Mobilfunk- und Festnetzbefragungen. Im Mittelpunkt stand dabei die Analyse von Unterschieden des Antwortverhaltens von Personen, die am Festnetz oder die via Mobilfunk befragt wurden (eine Beschreibung dieser Befunde geben Häder & Kühne 2009, 165 ff.). Zur Beantwortung der Fragestellung wurden diverse Split-Ballots in beiden Modes benutzt, um mögliche Effekte ausmachen zu können. Einige davon wurden aus in der Literatur bekannten Arbeiten entlehnt. Die Bemühungen gingen prinzipiell dahin, ein Design zu entwickeln, dass es erlaubt, sowohl das Vorhandensein als auch die Stärke möglicher Effekte zwischen den beiden Modes aufzudecken.

4.1 Erhebungsdesign und Stichprobe Beide Befragungen erfolgten mit Hilfe des CATI-Systems am Sozialwissenschaftlichen Methodenzentrum der Technischen Universität Dresden mit denselben Interviewerinnen und Interviewern und den gleichen Supervisionsprinzipien. Die Nummernfolgen der zu kontaktierenden Personen wurden auf dem gleichen Weg rekrutiert. Auch die Feldzeit der Datenerhebung war für beide Modes nahezu identisch. Es wurden schließlich 1.009 zufällig ausgewählte Personen über das Festnetz und 1.162 Respondenten über den Mobilfunk mit den gleichen Instrumenten befragt. Grundlage der Stichprobenziehung für die Befragung über das Festnetz war das Gabler-Häder-Design (Gabler & Häder 1998). Für die Auswahl der Teilnehmerinnen und Teilnehmer für die Mobilfunkbefragung wurde ein modifiziertes RDD-Verfahren verwendet (siehe dazu Hädler & Gabler & Heckel 2009, 21 ff.).

4.2 Operationalisierung Die Beantwortung der Forschungsfragen erfolgt erstens über das Abfragen von vergangenen Ereignissen, zweitens mit Hilfe der Auswertung der aufgetretenen Antwortverweigerung und drittens anhand von Unterschieden im Antwortverhalten zwischen den Modes bei Fragen mit und ohne Nähe zum Sachverhalt Mobilfunk. Zusätzlich wird kontrolliert, inwieweit die Anwesenheit Dritter einen Einfluss auf die Befunde hat. Dabei sind die folgenden Wege eingeschlagen worden. 52

Mode-Effekte bei telefonischen Befragungen über Festnetz und Mobilfunk

Erinnerungsleistung: Um die Erinnerungsleistungen der Zielpersonen in beiden Modes zu vergleichen, wurde folgendes an die Methode des Paraphrasing angelehnte Vorgehen praktiziert: Die Personen wurden zu neun verschiedenen Aspekten befragt.2 Sie sollten jeweils angeben, ob sie diese entweder als verzichtbar oder als unverzichtbar ansehen. Jedes Item wurde einzeln abgefragt. Um das für Telefonbefragungen typische Response-Set des Recency-Effektes zu neutralisieren, wurde die Reihenfolge der neun Items permutiert. Im Anschluss an diese neun Fragen wurden die Befragten gebeten, sich zu erinnern und diejenigen der neun Aspekte zu nennen, an die sich noch erinnern können. Die Erinnerungsleistung beträgt damit im Maximum neun und im Minimum null. Item-Non-Response: Item-Non-Response wurde ebenfalls anhand dieser neun Fragen gemessen. Wurde von den Befragten explizit keine Angabe gemacht oder auf die weiß-nicht-Kategorie3 ausgewichen, ging die Antwort als Item-Non-Response in die Auswertung ein. Der Index für den Item-Non-Response beträgt damit ebenfalls im Maximum neun und im Minimum null.4 Nähe zum Thema Mobilfunk: Um den Bezug zum Thema variieren zu können, wurde auf die Items der Erinnerungsleistung zurückgegriffen. Dabei wird allen Items außer v18_5 kein direkter Bezug unterstellt. Differenzen im Antwortverhalten zwischen den Modes sollten sich also nur bei dem Item mit der Frage zum Handykauf (v18_5) ergeben. Anwesenheit Dritter: Es wurde erfragt, ob sich andere Personen während der Befragung in unmittelbarer Nähe der jeweils befragten Person befanden. Außerdem wurde erhoben, ob es sich bei diesen Personen um Verwandte, Freunde und Bekannte oder Fremde gehandelt hat. Diese Differenzierung wird in den folgenden Analysen keine weitere Beachtung finden. Es wird nur unterschieden, ob Dritte während der Befragung anwesend waren (dichotom: ja oder nein).

5 Ergebnisse 5.1 Deskriptive Darstellung zur Erinnerungsleistung In Tabelle 1 werden die deskriptiven Ergebnisse zur Erinnerungsleistung dargestellt. Für jedes Item ist aufgeführt, wie viele der befragten Personen sich je Mode an die einzelnen Aspekte erinnern konnten. Am häufigsten wurde sich in beiden Modes an den Sachverhalt erinnert, ein neues Auto kaufen zu können. Am seltensten konnten sich die Befragten an die Frage er53

Michael Häder, Mike Kühne, Tino Schlinzig

innern, ob sie es für verzichtbar oder unverzichtbar halten, finanzielle Rücklagen für das Alter schaffen zu können. Tabelle 1: Erinnerungsleistungen der Befragten (in Prozent) Fragegegenstand . . .

Festnetz

Mobilfunk

Wie oft erinnert (n)

Wie oft erinnert (n)

Zweiwöchige Urlaubsreise pro Jahr

59,1

(619)

56,3

(633)

Abgenutzte Möbel durch neue ersetzen zu können

50,8

(532)

52,1

(585)

Markenartikel kaufen zu können

28,2

(295)

31,6

(355)

Bei Lebensmitteln auf Qualität und nicht auf den Preis achten zu können

47,5

(497)

44,5

(500)

Ein neues Handy zu kaufen

58,9

(616)

62,9

(707)

Finanzielle Rücklagen für das Alter schaffen zu können

16,6

(173)

14,7

(165)

Einmal im Jahr Verwandte/ Bekannte zum Essen einladen zu können

55,0

(576)

62,8

(706)

Ein neues Auto kaufen zu können

62,8

(657)

68,0

(764)

Hobbys ausüben zu können

15,7

(164)

19,4

(218)

5

gewichteter Datensatz

Insgesamt wurde sich im Durchschnitt an vier erfragte Sachverhalte erinnert (Mittelwert = 4,1). 120 Personen konnten sich an keinen der Sachverhalte erinnern und fünf der 2.171 Personen erinnerten sich an alle abgefragten Aspekte. Es wurde auch erfasst, ob Personen andere als die genannten Sachverhalte anführten. Insgesamt haben sieben Personen mindestens einen Aspekt genannt, der nicht Gegenstand der vorangegangenen neun Fragen war. 128 Personen haben diese Frage komplett verweigert.

5.2 Deskriptive Darstellung des Item-Non-Response Eine Übersicht zum Auftreten von Item-Non-Response bei dieser Fragebatterie veranschaulicht die Tabelle 2. 54

Mode-Effekte bei telefonischen Befragungen über Festnetz und Mobilfunk

Tabelle 2: Item-Non-Response bei den Fragen zu verzichtbaren und unverzichtbaren Dingen im Leben (in Prozent) Fragegegenstand . . .

Festnetz

Mobilfunk

Item-NR (n)

Item-NR (n)

Zweiwöchige Urlaubsreise pro Jahr

1,1

(11)

0,9

(10)

Abgenutzte Möbel durch neue ersetzen zu können

1,8

(19)

2,8

(31)

Markenartikel kaufen können

1,8

(19)

1,7

(20)

Bei Lebensmitteln auf Qualität und nicht auf den Preis achten zu können

4,0

(42)

4,9

(55)

Ein neues Handy zu kaufen

0,3

(3)

0,8

(9)

Finanzielle Rücklagen für das Alter schaffen zu können

2,0

(21)

1,5

(17)

Einmal im Jahr Verwandte/ Bekannte zum Essen einladen zu können

0,4

(4)

1,1

(12)

Ein neues Auto kaufen zu können

1,8

(19)

1,7

(20)

Hobbys ausüben zu können

0,7

(7)

1,1

(13)

gewichteter Datensatz

Am häufigsten fehlen die Antworten auf das Item „bei Lebensmitteln auf Qualität und nicht auf den Preis achten zu können“ in beiden Modes. Im Durchschnitt wurde eine der neun Fragen verweigert (der Mittelwert beträgt 1,3 und der Median liegt bei 1). Insgesamt werden sowohl bei der Erinnerungsleistung als auch beim Item-Non-Response Unterschiede zwischen den Modes sichtbar. Insgesamt erscheint der Anteil an Verweigerungen am Mobilfunk etwas höher.

5.3 Effekte des Erhebungsmodes auf die Erinnerungsleistung Es ist anzunehmen, dass es Unterschiede im Teilnahmeverhalten zwischen beiden Erhebungsmodes gibt. Damit muss weiterhin in Rechnung gestellt werden, dass Unterschiede zwischen den Modes nicht aufgrund eines tat55

Michael Häder, Mike Kühne, Tino Schlinzig

sächlichen Mode-Effekts entstehen, sondern auf die unterschiedliche Struktur der Befragten zurückzuführen sind. Damit ist es erforderlich, eine Kontrolle solcher Größen mit Hilfe multivariater Verfahren vorzunehmen. Als Kontrollvariablen finden Alter, Geschlecht und Bildung6 als klassische soziodemographische Variablen sowie die Anwesenheit Dritter in den Modellen Berücksichtigung. Erinnerungsleistung In einem Modell werden verschiedene Indikatoren zur Kontrolle des Befundes zur Erinnerungsleistung herangezogen, unter anderem auch die Anwesenheit Dritter während der Befragung (siehe Tabelle 3). Tabelle 3: Ergebnisse einer linearen Regression zur Erklärung der Anzahl erinnerter Gegenstände aus den vorangegangenen neun Fragen, unstandardisierte Regressionskoeffizienten (standardisierte Regressionskoeffizienten7) Konstante Modus (RK = Festnetz) Anwesenheit Dritter (RK = Dritte anwesend) Bildungsjahre Geschlecht (RK = männlich) Alter

3,52*** –0,04 –0,01 0,10 (0,18)*** 0,42*** –0,03 (–0,27)***

R2 n

0,1 2.071

* p = 0,1, ** p = 0,05, *** p = 0,01; gewichteter Datensatz

Wie zu sehen ist, besitzt der Modus keine Erklärungskraft für die Anzahl der erinnerten Aspekte aus den vorangegangenen Fragen. Die Erinnerungsleistungen werden lediglich vom Alter, der Bildung – dies ist bis hierhin kaum eine Überraschung – und dem Geschlecht (Frauen zeigen eine bessere Erinnerungsleistung!) beeinflusst. Auch die Anwesenheit Dritter bleibt – als zunächst kritisch bewerteter Umgebungsindikator – ohne eine signifikante Wirkung. Grundlegende mit der Mobilfunkbefragung gegenüber der Festnetzbefragung einhergehende Probleme – wie sie eingangs nicht ausgeschlossen werden konnten – sind damit auch an dieser Stelle nicht empirisch festzustellen gewesen. 56

Mode-Effekte bei telefonischen Befragungen über Festnetz und Mobilfunk

Man muss davon ausgehen, dass bei einem Verzicht auf Mobilfunkbefragungen ein bestimmter Personenkreis (vor allem jüngere und höher gebildete Personen) für sozialwissenschaftliche Umfragen gar nicht oder nicht mehr ohne weiteres erreicht werden könnten (Glemser 2007). Weiterhin muss man in Rechnung stellen, dass gerade dieser Personenkreis bei einer Umfrage besondere Erinnerungsleistungen zu vollbringen in der Lage ist. Dies schließlich würde bedeuten, dass der Umfrageforschung bei einem (weiter andauernden) Verzicht auf Mobilfunkbefragungen eine besonders attraktive Subpopulation verloren ginge. Item-Non-Response Ein ähnliches Vorgehen wird nun bei der näheren Betrachtung des ItemNon-Response‘ gewählt. Die Ergebnisse werden in Tabelle 4 gezeigt. Tabelle 4: Ergebnisse einer linearen Regression (Beta) zur Erklärung der Häufigkeit des Item-Non-Response bei neun ausgewählten Indikatoren, unstandardisierte Regressionskoeffizienten (standardisierte Regressionskoeffizienten) Konstante

0,03

Modus (RK = Festnetz)

0,03

Anwesenheit Dritter (RK = Dritte anwesend)

–0,01

Bildungsjahre

0,01 (0,02)

Geschlecht (RK = männlich)

–0,12***

Alter

0,01 (0,10)***

R

0,01

2

n

2.071

* p = 0,1, ** p = 0,05, *** p = 0,01; gewichteter Datensatz

Die Beta-Koeffizienten signalisieren, dass bei den Mobilfunkbefragungen – unter der Kontrolle weiterer Indikatoren – nicht mit mehr Non-Response zu rechnen ist als bei den Festnetzbefragungen. Die Anwesenheit Dritter bleibt ebenfalls ohne einen Effekt. Ein gewisser Effekt geht vom Alter aus: Die NonResponserate steigt mit dem Alter an. Auch das Geschlecht zeigt eine Wirkung (Frauen beantworten die Fragen vollständiger). 57

Michael Häder, Mike Kühne, Tino Schlinzig

5.4 Einstellungsfragen mit und ohne direkten inhaltlichen Bezug An dieser Stelle erscheint im Rahmen der Suche nach Mode-Effekten noch ein anderer Aspekt nennenswert. So könnte die im Moment der Befragung ausgeführte Tätigkeit – bei den Mobilfunkbefragungen das augenblickliche Handytelefonieren – einen Einfluss auf das Antwortverhalten haben, wenn sich der Gegenstand der Frage mehr oder weniger direkt auf eben diese Tätigkeit bezieht. Es wird also im Mobilfunkmodus wiederum ein Kontexteffekt nicht ausgeschlossen, der bewirkt, dass sich aufgrund der momentanen Tätigkeit an jene Informationen stärker beziehungsweise vorrangig erinnert wird, die mit der eben ausgeübten Tätigkeit in Verbindung stehen. Dies betrifft in unserem Zusammenhang die Vorgabe „ein neues Handy zu kaufen“ (v18_5). Dass sich ein solcher Effekt ebenfalls am Festnetz ergibt, kann nicht ausgeschlossen werden. Allerdings ist davon auszugehen, dass aufgrund der „traditionellen“ Telefonbefragung über das Festnetz ein solcher Effekt eher gering ist. Mithilfe eines Regressionsmodells wird überprüft, ob an dieser Stelle ein solcher Einfluss vorliegt. Alle anderen acht Vorgaben besitzen einen solchen Bezug nicht, weshalb auch kein Einfluss erwartet wird. Das Ergebnis zeigt Tabelle 5. Tabelle 5: Ergebnisse binär logistischer Regressionen – Exp(B) – zur Erklärung des Antwortverhaltens bei Einstellungs-Items mit und ohne inhaltlichen Bezug zum Mobilfunk Variablen

8

V18_1 V18_2 V18_3 V18_4 V18_5 V18_6 V18_7 V18_8 V18_9

Konstante

0,81

0,58

0,61

0,84

0,50

2,39

1,07

0,76

4,78**

Mode

0,97

1,04

0,99

0,90

1,60** 1,02

1,01

0,89

0,86

Bildungsjahre

1,04** 0,95** 0,94** 1,09*** 0,90*** 1,08** 1,01

0,95*** 1,07**

Geschlecht

0,82

0,82*

0,95

0,70** 1,07

0,62*** 1,40*

0,87

0,94

1,01

1,16

0,86

0,97

1,04

1,35**

1,00

1,01** 1,01*

1,01** 1.00

1,00

1.00

1,01*

0,97***

0,01

0,04

0,02

0,00

0,02

0,05

Anwesenheit Dritter Alter

0,01

Nagelkerkes R

2

0,02

0,90

0,05

0,90

1,35**

n: 2.171 * p = 0,1, ** p = 0,05, *** p = 0,01; gewichteter Datensatz

Tatsächlich tritt an dieser Stelle der erwartete Effekt auf: Bei der Einstellungsfrage, die einen direkten Bezug zur gegenwärtigen Tätigkeit der be58

Mode-Effekte bei telefonischen Befragungen über Festnetz und Mobilfunk

fragten Person aufweist (v18_5), tritt auch ein Mode-Effekt auf. Bei allen anderen Einstellungsfragen kann kein solcher Einfluss nachgewiesen werden. Weiterhin ist interessant, dass bei der Anwesenheit Dritter lediglich in einem Fall ein Effekt aufgetreten ist. Dieser Effekt wirkt allerdings unabhängig vom Erhebungsmodus. Mit anderen Worten: Hier hat die Anwesenheit dritter Personen sowohl bei der Festnetzbefragung als auch bei der Mobilfunkbefragung eine Wirkung auf das Antwortverhalten.

6 Diskussion Der Anteil an Personen, die telefonisch ausschließlich über Mobilfunk erreichbar sind, ist in den letzten Jahren stark gestiegen. Der Anteil dieser Gruppe an Mobilfunknutzerinnen und Mobilfunknutzern führte zu dem Versuch, telefonische Befragungen ebenfalls über den Mobilfunk durchzuführen. Eng verbunden mit der Befragung über den Mobilfunk ist die Frage nach der Vergleichbarkeit der Daten mit Befragungen, die über das Festnetz geführt wurden. In dieser Arbeit wurden Ergebnisse eines solchen MixedMode-Designs vorgestellt. Zunächst lassen sich anhand des empirischen Materials durchaus Unterschiede zwischen den Modes ausmachen. Diese kommen aber – das zeigen die multivariaten Analysen – vor allem aufgrund des Einflusses von Drittvariablen zustande. Diese – und nicht etwa wahre Mode-Effekte – können dann für Unterschiede im Antwortverhalten verantwortlich gemacht werden. Die Erinnerungsleistung wird vom Mode nicht signifikant beeinflusst. Die Stärke der Erinnerung an abgefragte Sachverhalte ist in dem vorgestellten Modell von Alter, Geschlecht und Bildung abhängig. Bei der Analyse des Item-Non-Response ergeben sich neben Alters- und Geschlechtseffekten ebenfalls keine Mode-Effekte. Personen, die am Handy befragt wurden, verweigerten bei den analysierten Fragen genauso häufig wie Personen, die am Festnetz befragt wurden. Nicht unerwartet wurde ein Zusammenhang zwischen dem Inhalt einer Frage und dem Befragungsmode sichtbar, wenn sich die Einstellungsfrage auf den Mobilfunk bezog. Aus einigen Ergebnissen ergibt sich weiterer Forschungsbedarf. Einstellungsfragen ohne Bezug zur Thematik Mobilfunk erwiesen sich beispielsweise als resistent gegenüber dem Einfluss der Erhebungsmodi. Etwas anders sahen die Ergebnisse bei Fragen aus, die – mehr oder weniger direkt – das Thema Mobiltelefonieren aufgriffen. Hierzu besteht auch aus theoreti59

Michael Häder, Mike Kühne, Tino Schlinzig

scher Sicht noch ein gewisser Erklärungsbedarf. Die gesamte Befundlage kann aber prinzipiell die Bemühungen bestärken, telefonische Befragungen über das Mobilfunknetz in das sozialwissenschaftliche Methodenarsenal aufzunehmen. Zu Beginn des zugrunde liegenden Projektes war es weitgehend unklar, ob telefonische Befragungen über den Mobilfunk überhaupt einen sozialwissenschaftlich gangbaren Weg darstellen könnten. Aufgrund verschiedener Überlegungen schien hier Skepsis durchaus angebracht zu sein. Diese Befürchtungen können in dieser Pauschalität nun als widerlegt angesehen werden. Die Befunde unserer Studie belegen, dass telefonische Befragungen auch über den Mobilfunk durchaus zu einem probaten sozialwissenschaftlichen Instrument entwickelt werden können.

Anmerkungen 1 2

3

4

5

6 7

8

60

Wir danken den Herausgebern und einem anonymen Gutachter für die konstruktive Kritik und die hilfreichen Anmerkungen. Im Einzelnen wurden abgefragt v18_1: eine zweiwöchige Urlaubsreise pro Jahr, v18_2: abgenutzte Möbel durch neue ersetzen zu können, v18_3: Markenartikel kaufen zu können, v18_4: bei Lebensmitteln auf Qualität und nicht auf den Preis achten zu können, v18_5: ein neues Handy zu kaufen, v18_6: finanzielle Rücklagen für das Alter schaffen zu können, v18_7: einmal im Jahr Verwandte/Bekannte zum Essen einladen zu können, v18_8: ein neues Auto kaufen zu können sowie v18_9: Hobbys ausüben zu können. Die Kategorie „weiß nicht“ wurde den Zielpersonen bei keiner Frage als Antwortoption explizit angegeben. Erst wenn die Befragten keine substantielle Antwort geben konnten oder wollten, wurde diese Option offeriert. Die Antwortoption „weiß nicht“ wurde während der Befragung nicht explizit als potentielle Antwortoption angeboten, aber bei Nennung durch die Befragten als „weiß nicht“ codiert. Die Untersuchungsanlage der Studie macht eine Designgewichtung der Daten erforderlich, unter anderem zum Ausgleich der unterschiedlichen Inklusionswahrscheinlichkeiten. Diese ist im Einzelnen beschrieben bei Häder & Häder. Die Bildung wurde über die absolvierten Bildungsjahre operationalisiert. Ob weitere Personen außer den Befragten anwesend waren, wurde bei der Erhebung ermittelt. Die standardisierten Regressionskoeffizienten werden nur für die metrischen Variablen ausgewiesen. Die Interpretation für dichotome Variablen wäre statistisch nicht sinnvoll, da Dummy-Variablen nicht um eine Standardabweichung erhöht werden können. Die Aufschlüsselung der Variablennamen befindet sich in der Fußnote 2.

Mode-Effekte bei telefonischen Befragungen über Festnetz und Mobilfunk

Literatur Béland, Y., & St-Pierre, M. (2008). Mode effects in the Canadian community health survey: A comparision of CATI and CAPI. In J. M. Lepkowski et al. (Eds.), Advances in telephone survey methodology (297–314). New York: John Wiley & Sons. Chaiken, S., & Yaacov, T. (1999). Dual-process theories in social psychology. New York: Guilford Press. Christian, L. M., & Dillman, D. A., & Smyth, J. D. (2008). The effects of mode and format on answering to scalar questions in telephone and web surveys. In J. M. Lepkowsky et al. (Eds.), Advances in telephone survey methodology (250–274). New York: John Wiley & Sons. Dillman, D. A. (2000). Mail and internet survey: The tailored design method. New York: John Wiley & Sons. Glemser, A. (2007). Mobilfunknutzung in Deutschland. Eine Herausforderung für die Stichprobenbildung in der Markt- und Sozialforschung. In S. Gabler & S. Häder (Hg), Mobilfuntelefonie – Eine Herausforderung für die Umfrageforschung. Spezialband 13 (25–37). Mannheim: GESIS-ZUMA. Groves, R. M., & Fowler, F. Y. Jr., & Couper, M., & Lepkowsky, J. M., & Singer, E., & Tourangeau, R. (2004). Survey methodology. New York: John Wiley & Sons. Häder, S., & Gabler, S. (1998). Ein neues Stichprobendesign für telefonische Umfragen in Deutschland. In S. Gabler & S. Häder & J. H. P. Hoffmeyer-Zlotnik (Hg.), Telefonstichproben in Deutschland (69–88). Opladen: Westdeutscher Verlag. Häder, M., & Häder, S. (Hg.) (2009). Telefonbefragungen über das Mobilfunknetz. Theoretisches Konzept, Design und Umsetzung einer neuen Strategie zur Datenerhebung. Wiesbaden: VS Verlag für Sozialwissenschaften. Häder, M., & Kühne, M. (2009). Mode-Effekte. In M. Häder & S. Häder (Hg.), Telefonbefragungen über das Mobilfunknetz. Theoretisches Konzept, Design und Umsetzung einer neuen Strategie zur Datenerhebung (165–251). Wiesbaden: VS Verlag für Sozialwissenschaften. Häder, S., & Gabler, S., & Heckel, C. (2009). Der Auswahlrahmen. In M. Häder & S. Häder (Hg.), Telefonbefragungen über das Mobilfunknetz. Theoretisches Konzept, Design und Umsetzung einer neuen Strategie zur Datenerhebung (21–49). Wiesbaden: VS Verlag für Sozialwissenschaften. Hochstim, J. R. (1967). A critical comparison of three strategies of collecting data from households. Journal of the American Statistical Association, 62, 976–989. Krosnick, J., & Alwin, D. F. (1987). An evaluation of a cognitive theory of response-order effects in survey measurement. Public Opinion Quarterly, 51, 201–219. Noelle-Neumann, E., & Petersen, T. (2000). Das halbe Instrument, die halbe Reaktion. Zum Vergleich von Telefon- und Face-to-Face Umfragen. In V. Hüfken (Hg.), Methoden in Telefonumfragen (183–200). Opladen: Westdeutscher Verlag. Petty, R. E., & Cacioppo, J. T. (1986). Communication and persuasion: Central and peripheral routes to attitude change. New York: Springer.

61

Michael Häder, Mike Kühne, Tino Schlinzig Schwarz, N. (2008). The psychology of survey response. In W. Donsbach & M. W. Traugott (Eds.), The SAGE handbook of public opinion research (374–387). California: Sage. Srinivasan, R., & Hanway, S. (1999). A new kind of survey mode difference: Experimental results from a test of inbound voice recognition and mail surveys. St. Pete Beach, Florida: Meeting of the American Association for Public Opinion Research. Sudman, S., & Bradburn, N. M., & Schwarz, N. (1996). Thinking about answers: The application of cognitive processes to survey methodology. San Francisco: Jossey-Bass. Tourangeau, R., & Rips, L. J., & Rasinski, K. (2005). The psychology of survey response. Cambridge: Cambridge University Press. Tourangeau, R., & Smith, T. (1996). Asking sensitive questions: The impact of data collection, question format, and question context. Public Opinion Quarterly, 60, 275–304. Tucker, C., & Lepkowski, J. M. (2008). Telephone survey methods: Adapting to change. In J. M. Lepkowsky et al. (Eds.), Advances in telephone survey methodology (3–26). New York: John Wiley & Sons.

62

Julia Simonson

Julia Simonson

Klassenzimmerbefragungen von Kindern und Jugendlichen: Praktikabilität, Potentiale und Probleme einer Methode* Zusammenfassung Thema des Beitrags ist die Methode der Klassenzimmerbefragung bei Kindern und Jugendlichen. Einleitend werden zunächst einige Besonderheiten von Klassenzimmerbefragungen im Vergleich zu anderen Befragungsformen betrachtet. Im Anschluss daran wird mit der KFN-Schüler/innenbefragung 2005 eine Beispielstudie vorgestellt, anhand derer zwei zentralen Punkten der Datengüte nachgegangen wird: der Validität von Befragtenangaben am Beispiel von Schulnoten sowie dem Ausmaß sozial erwünschten Antwortverhaltens.

Abstract Classroom Surveys among Children and Adolescents: Practicability, Potentials, and Problems of a Survey Method This paper deals with the method of classroom surveys among children and adolescents. Introductory, some distinctive features of classroom surveys in comparison to other survey modes are considered. Subsequently, with the KFN School Survey 2005 an example is presented and two key points of data quality are examined: First, the validity of the answers of respondents exemplified by school grades and second, the extent of social desirability.

1 Einleitung Von Klassenzimmerbefragungen spricht man in der Regel, wenn mehrere Personen, die sich wie eine Schulklasse in einem Raum befinden, simultan an einer Befragung teilnehmen (Planck 1959). Meist werden die Befragungen schriftlich durchgeführt, aber auch computergestützte Varianten sind prinzi63

Julia Simonson

piell möglich. Anwesend ist normalerweise eine Person, die Fragebögen verteilt, die Befragung anleitet, Ausfüllhinweise gibt und für Rückfragen zur Verfügung steht. Die Klassenzimmerbefragung kann damit als Hybridform zwischen schriftlicher und mündlicher Befragung angesehen werden, wobei die Gemeinsamkeiten mit der schriftlichen Befragung überwiegen und sie deswegen häufig auch als Unterform von dieser verstanden wird. Ihr besonderes Potential entfalten Klassenzimmerbefragungen bei der Befragung von Gruppen, die sich ohnehin an einem Ort befinden bzw. leicht zu einem solchen eingeladen werden können, wie Schulklassen, Seminarteilnehmer/innen in Universitäten oder Mitarbeiter/innen in Abteilungen eines Unternehmens.1 Häufig wird die Methode zur Befragung von Kindern und Jugendlichen und hier insbesondere zur Erforschung von Jugenddelinquenz und -gewalt eingesetzt (Baier & Pfeiffer & Windzio & Rabold 2006; Fuchs 1997; Fuchs & Lamnek & Lüdtke 1996; Mansel 2001; Mansel & Hurrelmann 1998; Oberwittler & Blank & Köllisch & Naplava 2001; Steffgen & Russon 2003; Tillmann & Holler-Nowitzki & Holtappels & Meier & Popp 1999). Einzelne methodische Aspekte dieser Erhebungsform wurden dabei zwar mehrfach thematisiert (so z. B. von Köllisch & Oberwittler 2004; Kreuzer & Görgen & RömerKlees & Schneider 1992; Naplava & Oberwittler 2002; Oberwittler & Naplava 2002), in den einschlägigen Lehrbüchern zur empirischen Sozialforschung sowie zu Befragungen wird die Methode allerdings allenfalls am Rande erwähnt (z. B. Diekmann 1998; Schnell & Hill & Esser 2005; Scholl 2003). Im folgenden Beitrag sollen zunächst einige Besonderheiten von Klassenzimmerbefragungen bei Kindern und Jugendlichen im Vergleich zu anderen Befragungsformen betrachtet werden. Im Anschluss daran wird mit der vom Kriminologischen Forschungsinstitut Niedersachsen (KFN) 2005 durchgeführten Schüler/innenbefragung eine Beispielstudie vorgestellt, anhand derer mit der Validität von Befragtenangaben sowie dem Ausmaß sozial erwünschten Antwortverhaltens zwei zentralen Punkten der Datengüte nachgegangen wird.

2 Methodische Besonderheiten von Klassenzimmerbefragungen bei Kindern und Jugendlichen Ein Vorteil von Klassenzimmerbefragungen gegenüber anderen Befragungsformen ist zunächst die gute Erreichbarkeit der Kinder und Jugendlichen: Wird die Befragung während der Schulzeit durchgeführt, können in der Regel alle am Befragungstag anwesenden Schüler/innen angesprochen wer64

Klassenzimmerbefragungen von Kindern und Jugendlichen

den. D. h., auch sonst schwer erreichbare Gruppen, wie Kinder oder Jugendliche aus bildungsfernen Familien, können befragt werden (Oberwittler & Naplava 2002). Durch die simultane Befragung mehrerer Schüler/innen ergeben sich darüber hinaus hohe Einsparpotentiale hinsichtlich Zeit und Kosten. Als ein weiterer Vorzug sind die in der Regel verhältnismäßig hohen Ausschöpfungsquoten zu nennen, da die Motivation der Schüler und Schülerinnen während der Schulzeit an einer Befragung teilzunehmen verständlicherweise deutlich höher ist als wenn die Befragung in der Freizeit stattfindet. Kosten und Nutzen von Teilnahme bzw. Verweigerung verteilen sich damit grundsätzlich anders als bei vielen anderen Befragungsformen: Während z. B. bei haushaltsbasierten Befragungen aus Sicht der Befragten durch die zur Verfügung gestellte freie Zeit Kosten der Teilnahme anfallen, entstehen bei Klassenzimmerbefragungen eher Kosten durch die Nichtteilnahme, da diese in der Regel nicht nur gegen die Erwartungen des/der Interviewers/ in, sondern auch die der Lehrkraft und Mitschüler/innen durchgesetzt werden muss (Oberwittler & Naplava 2002). Schul- und Klassenlisten ermöglichen die Ziehung mehrstufiger Zufallsauswahlen. Darüber hinaus besteht die Möglichkeit, neben den Informationen der Schüler/innen auch Informationen über die Schule oder die Klasse durch Lehrkräfte oder andere Befragungspersonen zu erheben und diese später mit den Schüler/innendaten zu verknüpfen. Natürlich sind diese Vorzüge nicht ohne gleichzeitige Einschränkungen zu haben: Zu berücksichtigen ist zunächst, dass Befragungen im Schulkontext in der Regel vorab von den zuständigen Kultusministerien genehmigt werden müssen. Auch für die Benachrichtigung bzw. Erlaubnis der Eltern ist eine gewisse Zeit einzuplanen. Darüber hinaus ist es zwar möglich, die Stichprobengröße aufgrund der Befragung ganzer Klassen bei ähnlichem Kostenaufwand gegenüber anderen Befragungsvarianten deutlich zu steigern, allerdings muss damit auch die Clusterung der Daten in Kauf genommen werden. Wird diese bei der Analyse nicht berücksichtigt, kann es durch falsch geschätzte Standardfehler zu verzerrten Ergebnissen, insbesondere bei der Interpretation von Signifikanztests, kommen (vgl. z. B. Snijders & Bosker 1999). Durch den Einsatz von Mehrebenenmodellen oder speziellen Routinen für komplexe Auswahlen, wie sie mittlerweile in einigen Statistikprogrammen wie z. B. Stata implementiert sind, lässt sich dieses Problem aber weitgehend lösen. Ein Problem können mit dem Zugang verbundene selektive Ausfälle von Befragungspersonen sein. Auch wenn durch Klassenzimmerbefragungen an Schulen generell eine hohe Befragtenzahl erreicht werden kann und die 65

Julia Simonson

Ausschöpfungsquote meist höher als bei anderen Befragungsformen ist, werden nur diejenigen Schüler und Schülerinnen angesprochen, die am Befragungstag die Schule besuchen. Wer häufig krank ist oder oft die Schule schwänzt, gelangt also mit geringerer Wahrscheinlichkeit in die Stichprobe. Gerade wenn es wie im später vorgestellten Beispiel um abweichende Verhaltensweisen von Schülern/innen geht, ist der Ausfall der letzteren Gruppe jedoch problematisch, da Schuleschwänzen zum einen selbst eine Form niedrigschwelligen abweichenden Verhaltens darstellt, dessen Ausmaß in der Stichprobe damit unterschätzt werden dürfte, und andererseits nachweislich mit anderen Formen jugendlicher Devianz korreliert ist. Notwendig ist also eine Überprüfung des Anteils der durch Schwänzen ausfallenden Personen und – bei hohem Ausfall – eine Nachbefragung derselben, sofern davon ausgegangen wird, dass die zu untersuchenden Sachverhalte mit Schuleschwänzen korrelieren. Weitere Einschränkungen ergeben sich aus der Befragungssituation, die Raum für von der Anwesenheit einer Lehrkraft und Mitschülern/innen ausgehende Effekte bietet. Durch die gleichzeitige Befragung mehrerer Personen kann im Vergleich zur Einzelbefragung eine Beschränkung der Anonymitätswahrnehmung gegeben sein. Diese Problematik kann durch das Auseinandersetzen der Befragten oder das Aufstellen von Sichtblenden (z. B. Schulranzen), zwar entschärft werden,2 ganz lösen lässt es sich wohl aber nicht, so dass insbesondere bei heiklen Fragen sozial erwünschte Antworten oder Antwortverweigerungen möglich sind (Beebe & Harrison & McRea & Anderson & Kerson 1998; Oberwittler & Naplava 2002). Allerdings deuten bisherige Befunde (Köllisch & Oberwittler 2004; Naplava & Oberwittler 2002; Oberwittler & Naplava 2002) darauf hin, dass Prävalenzraten selbstberichteter Delinquenz bei Klassenzimmerbefragungen höher ausfallen als bei persönlich-mündlichen Interviews, soziale Erwünschtheit also eine vergleichsweise geringe Rolle spielt. Ausgehend von den dargestellten Überlegungen soll im folgenden Erfahrungsbericht auf der Grundlage der KFN-Schüler/innenbefragung zwei zentralen Punkten der Datengüte nachgegangen werden. Zum einen wird untersucht, inwieweit die Angaben der Schüler/innen als valide gewertet werden können. Hierfür werden Angaben zu den Schulnoten von Viertklässlern/innen den Angaben ihrer Lehrkräfte gegenübergestellt. Zum anderen wird überprüft, in welchem Maße sozial erwünschtes Antwortverhalten ein Problem darstellt.

66

Klassenzimmerbefragungen von Kindern und Jugendlichen

3 Die KFN-Schüler/innenbefragung: Anlage und Durchführung der Befragung Das KFN führt seit 1998 wiederholt Befragungen von Schülern und Schülerinnen durch, um Informationen über das Ausmaß und die Struktur devianten Verhaltens zu gewinnen. Auch im Jahre 2005 wurden Kinder (Viertklässler/innen, N = 6.142) und Jugendliche (Neuntklässler/innen, N = 17.021) befragt. Dabei wurden unterschiedliche ländliche und städtische Gebiete Deutschlands sowie ein Bundesland (Thüringen) einbezogen (Baier & Pfeiffer & Windzio & Rabold 2006; Baier & Rabold & Pfeiffer & Windzio 2006). Dieses Vorgehen bietet die Möglichkeit, Vergleiche zwischen den einbezogenen Gebieten zu ziehen. Da diese allerdings nicht im Rahmen einer Zufallsauswahl gezogen wurden, sind über die Gebiete hinaus, also z. B. auf Bundesebene, keine verallgemeinernden Aussagen möglich.3 Da für das Aufzeigen methodischer Besonderheiten ebenso wie für den Nachweis genereller Zusammenhänge keine repräsentative Stichprobe zwingend ist, erscheint diese Einschränkung im vorliegenden Fall jedoch vernachlässigbar. Innerhalb der Befragungsgebiete wurden entweder auf der Basis von Schullisten nach Schulformen geschichtete, zweistufige Klumpenauswahlen (1. Stufe: Schulen, 2. Stufe: Klassen) gezogen, oder es erfolgte eine Vollerhebung. Im Rahmen der Befragungen in den vierten Klassen wurden in Dortmund, Kassel, München, Oldenburg, Peine, Stuttgart und Thüringen Klumpenstichproben und in Schwäbisch-Gmünd, Soltau-Fallingbostel, Belm und Wallenhorst Vollerhebungen, bezogen auf die neunte Jahrgangsstufe in Dortmund, München, Stuttgart und Thüringen Klumpenstichproben, in Kassel, Oldenburg, Peine, Schwäbisch-Gmünd, Soltau-Fallingbostel und Lehrte Vollerhebungen angestrebt. In Lehrte wurde nur in neunten Klassen, in Belm und Wallenhorst nur in vierten Klassen erhoben. Die Erhebungen fanden von Februar bis April 2005 statt. Die Befragung wurde im Klassenverband in standardisierter Weise durch eine geschulte Interviewperson durchgeführt. Um eine möglichst anonyme Erhebungssituation zu schaffen, wurden die Befragten – wenn möglich – auseinander gesetzt. Darüber hinaus wurde auf die Freiwilligkeit der Teilnahme und die Anonymität der Befragung hingewiesen. Alle Schüler/innen bekamen einen schriftlichen Fragebogen (neunte Klasse: 27 Seiten, vierte Klasse: 16 Seiten). In den neunten Klassen wurden die ersten fünf Seiten des Fragebogens von der Interviewperson nacheinander als Overhead-Folie aufgelegt, die Fragen laut vorgelesen und den Jugendlichen jeweils Zeit gegeben, die Fragen für sich zu beantworten. Die restlichen Seiten sollten sie dann alleine ausfüllen. 67

Julia Simonson

In den vierten Klassen wurden alle Seiten des Fragebogens als Folie aufgelegt und die Fragen laut vorgelesen. Die Kinder bekamen dabei jeweils im Anschluss an eine Frage genügend Zeit zum Ausfüllen. Insgesamt nahm die Befragung in beiden Jahrgangsstufen durchschnittlich zwei Schulstunden in Anspruch. In der Regel war der Klassenlehrer oder die Klassenlehrerin während der Befragung anwesend, hielt sich jedoch zurück und griff nur ein, wenn es zu Disziplinproblemen kam. Darüber hinaus sollten die Lehrkräfte einen speziellen Lehrer/innenfragebogen ausfüllen, in dem u. a. nach nicht anwesenden Schülern/innen und Charakteristika der Schule gefragt wurde. Einsicht in die ausgefüllten Schüler/innenfragebögen bekamen die Lehrkräfte nicht. Hauptthemen der Befragung waren abweichende Verhaltensweisen, Opfererfahrungen, Freizeitgestaltung, Medienkonsum sowie die schulische Einbindung. Da es bei allen Fragen auch darum ging, möglichen Ursachen nachzugehen, wurden außerdem Fragen zum Erziehungsverhalten der Eltern, zur Herkunft und zum Bildungsniveau der Eltern sowie zu Persönlichkeitseigenschaften und Einstellungen in die Fragebögen aufgenommen. Insbesondere bei dem in vierten Klassen eingesetzten Fragebogen wurde auf eine kindgemäße Formulierung der Fragen und Antwortvorgaben geachtet. Um das Ausmaß sozial erwünschter Antworttendenzen abschätzen zu können, wurde in den Fragebogen der neunten Klassen eine Kurzskala zur Messung sozialer Erwünschtheit integriert. Tabelle 1 gibt einen Überblick über die Ausfälle und Rückläufe. Der Anteil der Absagen von Schulen bzw. Klassen ist bei beiden Befragungen mit jeweils über 15% recht hoch. Allerdings kann vermutet werden, dass diese Absagen nicht zu inhaltlichen Verzerrungen führen, da die Nichtteilnahme nicht von den Befragten selbst ausging. Ausschlaggebend waren meist organisatorische Gründe (Überschneidungen mit Projektwochen, Prüfungen, Klassenfahrten, Pflichtpraktika etc.), die nicht systematisch mit den Befragungsinhalten zusammenhängen. Diese Ausfälle wurden somit als stichprobenneutral gewertet. Problematischer scheinen die Ausfälle durch am Befragungstag abwesende Schüler/innen, da diese sich unter Umständen systematisch von den Anwesenden unterscheiden. Hier sind die Anteile in beiden Klassenstufen annähernd gleich groß. Die gleichzeitige Befragung der Lehrkräfte ergab, dass jene bei etwa jedem/r zehnten fehlenden Schüler/in angaben, dass es sich um ein unentschuldigtes Fehlen handelte. Die Verzerrung dürfte also eher gering sein. Einen deutlichen Unterschied zwischen beiden Befragungen gibt es bei den Teilnahmeverweigerungen. Hier ist der Anteil in den 68

Klassenzimmerbefragungen von Kindern und Jugendlichen

vierten Klassen, bei denen die Eltern anders als in den neunten Klassen explizit der Befragung zustimmen mussten, deutlich höher. Der Ausfall durch nicht verwertbare Fragebögen ist bei beiden Klassenstufen sehr gering. Insgesamt konnten in beiden Klassenstufen sehr hohe Ausschöpfungsquoten erreicht werden. Tab01 Tabelle 1: Rücklaufquoten 4. Klasse

Personen

9. Klasse

Anteil an Anteil an Bruttostich- bereinigter Bruttostichprobe (in %) probe (in %)

Personen

Anteil an Anteil an Bruttostich- bereinigter Bruttostichprobe (in %) probe (in %)

Bruttostichprobe

8.568

100,00

–

22.572

100,00

–

Absagen von Klassen/Schulen

1.334

15,57

–

3.436

15,22

–

Bereinigte Bruttostichprobe

7.234

84,43

100,00

19.136

84,78

100,00

am Befragungstag abwesende Schüler/innen

624

7,28

8,63

1.727

7,65

9,02

Teilnahmeverweigerung (Eltern/ Schüler/innen)

462

5,39

5,97

283

1,25

1,48

6

0,07

0,08

105

0,47

0,55

6.142

71,69

84,90

17.021

75,41

88,95

Nicht verwertbare Fragebögen Nettostichprobe

Eine hohe Ausschöpfungsquote ist allerdings noch keine hinreichende Bedingung für eine unverzerrte Stichprobe. Zu fragen ist darüber hinaus, ob die Stichprobe die Grundgesamtheit in relevanten Merkmalen, z. B. hinsichtlich der besuchten Schulformen abbilden kann. In Tabelle 2 ist die Verteilung der befragten Neuntklässler/innen auf die unterschiedlichen Schulformen den Anteilen gegenübergestellt, die laut Angaben der Schulämter die jeweilige Schulform besuchen. Da sich die vorhandenen Schulformen zwischen den westdeutschen Befragungsgebieten und dem einzigen ostdeutschen Befragungsgebiet Thüringen stark unterscheiden, werden diese an dieser Stelle gesondert aufgeführt.4 Deutlich wird, dass die in der Stichprobe erreichte Verteilung auf die Schulformen die Verteilung in der Grundgesamtheit jeweils relativ gut widerspiegelt. Schüler/innen von Gesamt69

Julia Simonson

schulen sind in beiden Gebieten leicht überrepräsentiert, wohingegen Gymnasiasten/innen in den Stichproben etwas schwächer vertreten sind, als es eigentlich zu erwarten wäre. Tab02 Tabelle 2: Verteilung der Neuntklässler/innen auf Schulformen in Stichprobe und Grundgesamtheit (in %) Westdeutsche Befragungsgebiete

Thüringen

SP

GG

SP

GG

Hauptschule Realschule Gymnasium Gesamtschule Haupt- und Realschule/Regelschule Schule in freier Trägerschaft

20,60 24,24 27,55 14,82 4,61 8,17

22,71 23,89 30,60 11,51 2,72 8,57

– – 31,21 4,41 62,32 2,06

– – 33,59 2,48 61,46 2,47

N

14.301

28.418

2.720

27.524

SP: Nettostichprobe, GG: Grundgesamtheit

Sowohl bei den Viert- als auch bei den Neuntklässlern/innen konnte eine annähernde Gleichverteilung der Geschlechter innerhalb der Stichproben erreicht werden (Viertklässler: 49,84% Jungen, Neuntklässler: 49,29% Jungen). Das durchschnittliche Alter entspricht mit 10,32 bzw. 15,09 Jahren dem für die einbezogenen Jahrgangsstufen erwartbaren Alter.

4 Validität der Angaben der Viertklässler/innen am Beispiel der Schulnoten Im Folgenden soll die Gültigkeit der Angaben anhand der von den Viertklässlern/innen angegebenen Schulnoten überprüft werden. Da in der vierten Klasse für alle Kinder die Schulnoten des letzten Zeugnisses in den Fächern Deutsch, Mathematik, Sachkunde und Sport sowohl aus der Perspektive der Kinder als auch der Lehrkräfte erhoben wurden, ergibt sich die Möglichkeit des direkten Vergleichs beider Angaben. Unterstellt wird, dass die Angaben der Lehrkräfte korrekt sind, da diesen bereits im Vorfeld der Befragung mitgeteilt wurde, dass sie die Noten der Schüler/innen in den angege70

Klassenzimmerbefragungen von Kindern und Jugendlichen

benen Schulfächern berichten sollten und daher ein Klassenbuch, Notenverzeichnis oder Ähnliches dabei haben sollten. Im Ergebnis sind die Übereinstimmungen in allen vier Fächern relativ hoch.5 Bezogen auf die Deutschnote gab es zu 85,84% Übereinstimmungen zwischen den Angaben der Lehrer/innen und Kinder. Selbst wenn man die zufällig deckungsgleichen Angaben berücksichtigt, ist noch eine hohe Übereinstimmung zu verzeichnen (Cohens Kappa: 0,80).6 9,91% der Schüler/innen geben eine bessere Deutschnote an, 4,25% eine schlechtere. Insgesamt 1,11% „verschätzen“ sich um mehr als eine Note nach oben oder unten. Ganz ähnlich ist das Bild im Fach Mathematik. Hier gab es zu 87,88% Übereinstimmungen (Kappa: 0,83), 8,89% der Schüler/innen gaben eine bessere Note an, 3,23% eine schlechtere. Auch hier wich bei 1,11% die selbst angegebene Note um mehr als eine ganze Note von der Angabe der Lehrer/innen ab. In den Fächern Sachkunde und Sport gab es 84,34% bzw. 88,10% Übereinstimmungen (Kappa: 0,77 bzw. 0,81), 10,39% (7,91%) der Schüler/innen gaben bessere Note an, 5,27% (3,99%) eine schlechtere. 1,29% (0,79%) „verschätzen“ sich um mehr als eine Note. Die Ergebnisse zeigen zwar, dass es insgesamt ein hohes Maß an Übereinstimmungen gibt, diese aber offenbar nicht zufällig sind. Wäre dies der Fall, müssten in etwa gleich viele Kinder bessere bzw. schlechtere Schulnoten berichten. Tatsächlich werden aber von den Kindern häufiger bessere Noten angegeben. Zu fragen ist, ob sich Kinder, die bessere Schulnoten berichten, systematisch von anderen unterscheiden. Im Rahmen multivariater logistischer Mehrebenenmodelle wurde überprüft, wie sich verschiedene Eigenschaften der Kinder auf die Wahrscheinlichkeit, eine bessere Schulnote zu berichten, auswirken.7 Dabei werden zwei Annahmen geprüft. Versteht man das Berichten besserer Schulnoten als eine Form sozial erwünschten Antwortverhaltens, so kann vermutet werden, dass insbesondere Personen mit Anerkennungsdefiziten zum Berichten besserer Noten neigen. Angenommen werden kann, dass Kinder, die bereits Deprivationserfahrungen wegen ihrer ethnischen oder sozialen Herkunft machen mussten, aufgrund daraus resultierender Anerkennungsdefizite eher anfällig für sozial erwünschte Antworten sind. Eine Voraussetzung ist allerdings, dass die Befragten bereits bestimmte Normen hinsichtlich der sozialen Erwünschtheit internalisiert haben (Reinecke, 1991). Angenommen wird, dass Kinder höher gebildeter Eltern schulbezogene Leistungsnormen in stärkerem Maße internalisiert haben und daher eher bessere Noten angeben. Als Indikator für die Bildung der Eltern wurde in die vorliegenden Modelle eine auf der Grundlage der Lehrer/inneneinschätzung gebildete Variable einbezogen, die angibt, ob die Eltern über eine niedrige (unter 71

Julia Simonson

zehn Jahre Schulbesuch) oder höhere Bildung verfügen. Da nicht für alle Kinder solche Lehrer/inneneinschätzungen vorliegen, ist der Ausfall durch fehlende Werte hier mit 23,3% sehr hoch.8 Als Indikator für den sozialen Status wurde die aus Schüler/innenangaben generierte Information einbezogen, ob derzeit mindestens ein Elternteil von Arbeitslosigkeit betroffen ist. Tab03 Tabelle 3: Erklärungsmodell für das Berichten besserer Schulnoten (binär logistisches Mehrebenenmodell, abgebildet: Effektkoeffizienten eb) Deutsch

Mathematik

Sachkunde

Sport

Note der Lehrkraft (z) Geschlecht: männlich ethnische Herkunft: türkisch ehemalige Sowjetunion andere deutsch Alter in Jahren (z) positive Schuleinstellung (z) Arbeitslosigkeit der Eltern niedrige Bildung der Eltern

2,71*** 1,05

2,65*** 1,84***

4,10*** 1,02

3,61*** 1,25†

0,73 0,99 0,98 Ref. 0,92 1,17* 0,82 0,92

0,79 1,28 1,04 Ref. 0,97 1,07 0,74 1,04

0,72 0,78 0,93 Ref. 0,92 1,12† 0,90 1,07

0,95 1,18 1,01 Ref. 1,19 0,97 1,15 0,91

Varianz Ebene 2 Pseudo R2 (Maddala) Ni (Schüler/innen) Nj (Klassen)

0,40 0,07 4.458 273

0,38 0,08 4.470 273

0,63 0,10 4.405 271

0,46 0,06 4.424 272

abhängige Variable: Berichten besserer Schulnote (1 = ja, 0 = nein), z: am Klassenmittelwert zentriert, unter Kontrolle der Erhebungsgebiete, *** signifikant p<0,001, ** signifikant p<0,01, * signifikant p<0,05, † signifikant p<0,1

Zusätzlich wurde die von der Lehrkraft vergebene Note im betreffenden Fach zur Kontrolle eines Deckeneffekts einbezogen, da es für Kinder mit sehr guten Leistungen schwierig bis unmöglich ist, eine noch bessere Note anzugeben. Darüber hinaus besteht für Kinder mit einer guten Note eine geringere „Notwendigkeit“, diese im Fragebogen nochmals zu „verbessern“. Erwartungsgemäß geht von der Note ein deutlicher positiver Effekt aus, d. h., die Wahrscheinlichkeit, eine bessere Note anzugeben, ist für Kinder, die von der Lehrkraft eine schlechte (= hohe) Note bekommen haben, höher. Signifikante positive Effekte sind darüber hinaus in Mathematik und Sport für 72

Klassenzimmerbefragungen von Kindern und Jugendlichen

das Geschlecht festzustellen: Jungen berichten hier mit größerer Wahrscheinlichkeit eine bessere Schulnote, was darauf zurückzuführen sein könnte, dass diese Fächer bei Jungen einen höheren Stellenwert haben als bei Mädchen. Der Status der Eltern sowie die ethnische Herkunft haben dagegen ebenso wie das Alter keinen signifikanten Einfluss. Einen signifikanten positiven Effekt in den Fächern Deutsch und Sachkunde hat das Vorhandensein einer positiven Einstellung der Schule gegenüber, was sich über den Rückgriff auf internalisierte Normen erklären lässt: Nur wenn die Schule (und damit auch die schulische Leistung) als etwas Positives angesehen wird, besteht ein Anreiz, diesbezüglich sozial erwünscht zu antworten. Zugleich könnte sich hierin eine Strategie zur Dissonanzreduktion niederschlagen: Eine positive Schuleinstellung bei gleichzeitigem Ausbleiben guter Noten erzeugt ein Spannungsverhältnis, welches durch das Korrigieren der Note nach oben verringert wird (Baier & Pfeiffer & Windzio & Rabold 2006, 93). Insgesamt lassen sich somit hinsichtlich des Berichtens besserer Schulnoten lediglich für das Geschlecht sowie für eine positive Schuleinstellung inhaltlich interpretierbare Effekte berichten. Allerdings wirken diese nicht auf alle betrachteten Fächer gleichermaßen.

5 Soziale Erwünschtheit in der Befragung der neunten Klassen Als soziale Erwünschtheit wird gemeinhin die Tendenz von Befragten bezeichnet, Angaben zum eigenen Verhalten oder eigene Meinungen in Richtung auf (vermeintlich) sozial erwartete Verhaltensweisen oder Meinungen zu verzerren. Befragte geben also Antworten, die ihnen gesellschaftlich akzeptabel erscheinen (Mühlenfeld 2004, 28). Dieses Verhalten kann sowohl persönlichkeits- als auch situationsbezogen erklärt werden (Schnell & Hill & Esser 2005, 355) und tritt insbesondere bei normativ aufgeladenen Themen auf, bei denen angenommen wird, dass die wahrheitsgemäße Preisgabe eines Verhaltens oder einer Einstellung zu missbilligenden Reaktionen führen kann (Stocké 2004). Zur Messung sozial erwünschter Antworttendenzen wurden verschiedene Skalen entwickelt. Eine erste eindimensionale Skala zur Überprüfung sozialer Erwünschtheit stammt von Edwards (1957), eine weitere von Crowne und Marlowe (1960). In Anlehnung an die gekürzte deutsche Version letzterer Skala (Lück & Timaeus 1969) wurde 1980 vom ZUMA eine Kurzform mit vier Items entwickelt, die auch im ALLBUS 1980 verwendet 73

Julia Simonson

wurde. Wie in der ausführlichen Skala werden dabei die im Sinne der Skala positiven Antworten aufsummiert; der resultierende Wert soll Aufschluss über den Grad der sozialen Erwünschtheit geben, wobei ein eindimensionales Konstrukt unterstellt wird.9 An der Reliabilität und Validität dieser Skala wurde allerdings mehrfach Kritik geübt. Winkler, Kroh und Spiess (2006) ermittelten eine sehr geringe interne Konsistenz der Skala (Cronbachs Alpha = 0,31) sowie eine mittlere Inter-Item-Korrelation von nur 0,11. Zudem deuteten Faktorenanalysen der Autoren darauf hin, dass die Items eher zwei Dimensionen abbilden, es sich somit nicht um ein eindimensionales Konstrukt handelt.10 Es ist also durchaus fraglich, ob die Skala ein geeignetes Instrument zur Erfassung sozialer Erwünschtheit ist. Sehr wenige Hinweise gibt es darüber hinaus zur Eignung der Skala für jugendliche Befragte. Aufgrund ihrer Kürze wurde die auf die vier Items „Ich sage immer, was ich denke“, „Ich bin manchmal ärgerlich, wenn ich meinen Willen nicht bekomme“, „Ich bin immer gewillt, einen Fehler, den ich mache, auch zuzugeben“, „Ich habe gelegentlich mit Absicht etwas gesagt, was die Gefühle des anderen verletzen könnte“ basierende Skala dennoch im Rahmen der KFN-Befragung verwendet. Tabelle 4 zeigt, dass das Ausmaß sozial erwünschter Antworttendenzen bei den befragten Jugendlichen geringer ist als in der zum Vergleich herangezogenen ALLBUS-Erhebung.11 Dennoch weisen auch in der vorliegenden Befragung fast 10% ein deutliches (vier Items) und etwa 60% ein mittleres (zwei Items) bis stärkeres (drei Items) sozial erwünschtes Antwortverhalten auf. Tabelle 4: Ausmaß sozial erwünschten Antwortverhaltens

Ausmaß des sozial erwünschten Antwortverhaltens kein (kein Item sozial erwünscht beantwortet) gering (ein Item sozial erwünscht beantwortet) mittel (zwei Items sozial erwünscht beantwortet) stärker (drei Items sozial erwünscht beantwortet) stark (vier Items sozial erwünscht beantwortet) Gesamt

74

Befragung der zum Vergleich: neunten Klassen ALLBUS 1980 2005 %

%

6,85 23,06 34,68 25,67 9,74

1,46 13,40 40,03 32,89 12,22

100,00 N = 16.968

100,00 N = 2.955

Klassenzimmerbefragungen von Kindern und Jugendlichen

Welche Jugendlichen sind nun besonders anfällig für sozial erwünschtes Antwortverhalten? Denkbar ist, dass höher gebildete Personen bzw. Personen mit höherem Reflexionsvermögen eher über die soziale Erwünschtheit ihrer Antworten reflektieren und in der Folge auch ihre Antworten eher an dieser vermuteten Norm ausrichten. Andererseits wäre möglich, dass Jugendliche, die bereits Deprivationserfahrungen aufgrund ihrer Herkunft erleben mussten, vermittelt über ein höheres Anerkennungsbedürfnis stärker zu sozial erwünschtem Antwortverhalten neigen. Im Folgenden werden zunächst einige bivariate Zusammenhänge zwischen soziodemographischen Charakteristika und sozial erwünschtem Antwortverhalten dargestellt, bevor anschließend multivariate Modelle zur Erklärung des Antwortverhaltens diskutiert werden.12 Da die meisten Daten, die über die Schüler/innen vorliegen, auf Selbstaussagen der Befragten beruhen, ergibt sich ein Problem: So ist bei einem Zusammenhang größer als null zwischen positiv konnotierten Merkmalen und sozial erwünschtem Antwortverhalten nicht zweifelsfrei auszuschließen, dass auch die fraglichen Variablen sozial erwünscht beantwortet wurden, und der Zusammenhang gerade dadurch zustande kommt bzw. verstärkt wird. Gleiches gilt vice versa für negativ belegte Eigenschaften oder Verhaltensweisen. In einem ersten Schritt werden daher zunächst Merkmale einbezogen, von denen angenommen wird, dass sie mit großer Wahrscheinlichkeit wahrheitsgemäß berichtet werden (Geschlecht, ethnische Herkunft, Alter) bzw. die durch externe Quellen abgesichert sind (Schulform der besuchten Schule). Tabelle 5 weist für alle einbezogenen Merkmale einen hochsignifikanten, aber schwachen Zusammenhang mit dem Ausmaß sozial erwünschten Antwortverhaltens aus (p<0,001, Cramérs V: 0,03–0,07). Zu erkennen ist, dass Mädchen etwas häufiger ein mittleres und stärkeres sozial erwünschtes Antwortverhalten aufweisen als Jungen.13 Darüber hinaus neigen ältere Jugendliche eher zu sozial erwünschtem Antwortverhalten. Ein weiterer Zusammenhang lässt sich hinsichtlich der ethnischen Herkunft feststellen. Hier sind es insbesondere türkischstämmige sowie südeuropäische Jugendliche, die häufig in starkem Maße sozial erwünscht antworten. Hinsichtlich der besuchten Schulform lässt sich feststellen, dass an Gymnasien am wenigsten und an Hauptschulen am häufigsten sozial erwünscht geantwortet wird. Die Schüler/innen an Real- und Gesamtschulen liegen hinsichtlich ihres Antwortverhaltens dazwischen. Tab05

75

Julia Simonson

Tabelle 5: Bivariate Zusammenhänge zwischen Soziodemographie und sozial erwünschtem Antwortverhalten stärkeres/starkes mittleres sozial kein/geringes sozial erwünschtes erwünschtes sozial erwünschtes Antwortverhalten Antwortverhalten Antwortverhalten % % %

N

Gesamt

29,91

34,68

35,41

16.968

Geschlecht (V: 0,03***): weiblich männlich

28,51 31,37

35,67 33,68

35,81 34,94

8.592 8.357

Alter (V: 0,05***): bis 15 Jahre über 15 Jahre

31,03 26,35

34,82 34,22

34,15 39,43

12.903 4.038

ethnische Herkunft (V: 0,06***): deutsch eh. Sowjetunion osteuropäisch türkisch eh. Jugoslawien südeuropäisch andere

31,27 26,27 35,25 20,92 24,52 21,48 26,09

34,76 37,00 34,35 32,94 36,77 32,22 33,94

33,97 36,73 30,40 46,14 38,71 46,30 39,96

13.129 727 556 1.257 465 270 548

Schulform (V: 0,07***): Hauptschule Realschule Gymnasium Gesamtschule

23,51 29,81 33,46 29,34

33,21 34,37 35,91 34,28

43,29 35,82 30,63 36,38

2.927 6.014 5.798 2.229

V: Cramérs V, *** signifikant p<0,001

Zu vermuten ist, dass sich die betrachteten bivariaten Zusammenhänge überlagern. So könnte der Zusammenhang zwischen ethnischer Herkunft und sozial erwünschtem Antwortverhalten teilweise darauf zurückzuführen sein, dass ausländische Jugendliche verstärkt auf Hauptschulen zu finden sind. Sowohl der Effekt der ethnischen Herkunft als auch der Schulform könnten aber auch durch Hintergrundmerkmale wie das kulturelle und soziale Kapital im Elternhaus hervorgerufen werden. Um dieser Frage nachzugehen, wurden die betrachteten Merkmale im Rahmen einer ordinalen logistischen Mehrebenenregression simultan einbezogen (vgl. Tabelle 6). Zu76

Klassenzimmerbefragungen von Kindern und Jugendlichen

sätzlich wurden in Modell 1 das Bildungsniveau der Eltern (mindestens ein Elternteil hat Abitur) und in Modell 2 mit dem Ausmaß der Risikosuche, des Temperaments und der Impulsivität drei Dimensionen mangelnder Selbstkontrolle einbezogen.14 In den multivariaten Modellen bestätigen sich in der Tendenz die bereits in der bivariaten Betrachtung offensichtlich gewordenen Zusammenhänge. Darüber hinaus findet man einen schwachen negativen Effekt der elterlichen Bildung: Jugendliche, die aus einem vergleichsweise hoch gebildeten Elternhaus stammen, neigen mit geringerer Wahrscheinlichkeit zu einem stärker sozial erwünschten Antwortverhalten. Für die Risikosuche lässt sich kein Effekt feststellen. Hohe Werte auf der Temperaments- und Impulsivitätsskala verringern dagegen die Wahrscheinlichkeit eines stark sozial erwünschten Antwortverhaltens. Insgesamt weisen die Ergebnisse darauf hin, dass eher diejenigen Schüler und Schülerinnen, die über ein geringeres eigenes und elterliches Bildungsniveau verfügen und nicht aus Deutschland stammen, anfällig für ein sozial erwünschtes Antwortverhalten sind. Die eingangs getroffene Annahme, dass es eher die höher Gebildeten sind, die sozial erwünscht antworten, kann somit nicht bestätigt werden. Tab06 Tabelle 6: Einflussfaktoren sozial erwünschten Antwortverhaltens (ordinal logistisches Mehrebenenmodell, abgebildet: Effektkoeffizienten eb) Modell 0

Modell 1

Modell 2

Alter in Jahren (z) Geschlecht: männlich Bildung der Eltern: Abitur

– – –

1,07** 0,89*** 0,96

1,09*** 0,89*** 0,95

ethnische Herkunft: eh. Sowjetunion osteuropäisch türkisch eh. Jugoslawien südeuropäisch andere deutsch

– – – – – – –

1,16† 0,87 1,42*** 1,13 1,50** 1,22* Ref.

1,15† 0,94 1,54*** 1,19† 1,60*** 1,19† Ref.

Schulform: Gymnasium Realschule Gesamtschule Hauptschule

– – – –

0,65*** 0,80*** 0,79*** Ref.

0,63*** 0,78*** 0,77*** Ref.

77

Julia Simonson

mangelnde Selbstkontrolle: Risikosuche (z) Temperament (z) Impulsivität (z) Konstante Schwelle T1 Konstante Schwelle T2 Konstante Schwelle T3 Konstante Schwelle T4

– – – –2,64*** –0,86*** 0,63*** 2,29***

– – – –2,95*** –1,16*** 0,33*** 2,00***

1,00 0,64*** 0,91*** –3,09*** –1,24*** 0,34*** 2,08***

Varianz Ebene 2:

0,06

0,03

0,04

R2

– 14.335 776

0,01 14.335 776

0,09 14.335 776

(Maddala) Pseudo Ni (Schüler/innen) Nj (Klassen)

abhängige Variable: sozial erwünschtes Antwortverhalten, z: am Klassenmittelwert zentriert, *** signifikant p<0,001, ** signifikant p<0,01, * signifikant p<0,05, † signifikant p<0,1

Die Vermutung, dass Personen die aufgrund ihrer Herkunft mit Deprivationserfahrungen zu kämpfen haben, verstärkt sozial erwünscht antworten, wird durch die Ergebnisse dagegen (zumindest in Hinsicht auf die ethnische Herkunft) bestätigt. Wobei natürlich nicht ausgeschlossen werden kann, dass hierfür auch andere Mechanismen als der unterstellte (wie z. B. kulturelle Prägungen) eine Rolle spielen könnten. Abschließend soll noch einmal überprüft werden, inwieweit das Ausmaß sozial erwünschten Antwortverhaltens mit den Selbstangaben zu delinquentem Verhalten korrespondiert. Tabelle 7 verdeutlicht, dass es einige Unterschiede insbesondere zwischen den stark sozial erwünscht Antwortenden und den anderen Gruppen gibt, die Zusammenhänge insgesamt jedoch eher gering sind (Cramérs V: 0,04 bis 0,09). Festzustellen ist, dass Jugendliche, die ein starkes sozial erwünschtes Antwortverhalten aufweisen, jeweils zu geringeren Anteilen angeben, innerhalb der letzten Monate eine Körperverletzung, Vandalismus oder einen Ladendiebstahl begangen zu haben bzw. ohne Fahrschein in öffentlichen Verkehrsmitteln oder ohne Führerschein Auto gefahren zu sein als andere. Zu vermuten ist, dass die hier gefundenen Zusammenhänge zumindest teilweise auch Effekte der sowohl das abweichende Verhalten als auch das sozial erwünschte Antwortverhalten beeinflussenden soziodemografischen Faktoren sind. Allerdings blieb auch in (hier nicht vorgestellten) Erklärungsmodellen zu unterschiedlichen Formen devianten Verhaltens, in denen sowohl sozial erwünschtes Antwortverhalten als auch soziodemografische 78

Klassenzimmerbefragungen von Kindern und Jugendlichen

Eigenschaften einbezogen werden, ein schwacher, aber signifikanter Einfluss sozialer Erwünschtheit bestehen, so dass zumindest von einem leichten Zusammenhang auszugehen ist. Über die Frage, inwieweit sich bei anderen Erhebungsformen stärkere oder schwächere Zusammenhänge zwischen sozialer Erwünschtheit und abweichenden Verhaltensweisen zeigen, kann hier aufgrund mangelnder Vergleichszahlen nur spekuliert werden. Bisherige Befunde (Köllisch & Oberwittler 2004; Naplava & Oberwittler 2002; Oberwittler & Naplava 2002) deuten aber darauf hin, dass Prävalenzraten selbstberichteter Delinquenz bei Klassenzimmerbefragungen höher ausfallen als bei persönlich-mündlichen Interviews, was als Hinweis auf geringere Effekte sozialer Erwünschtheit bei ersteren verstanden werden kann. Tab07 Tabelle 7: Zusammenhänge zwischen sozial erwünschtem Antwortverhalten und abweichendem Verhalten (Spaltenprozente)

mind. einmal in den letzten 12 Monaten getan (Mehrfachnennungen): Körperverletzung (V: 0,06***) Vandalismus (V: 0,09***) Ladendiebstahl (V: 0,07***) Schwarzfahren (V: 0,09***) Fahren ohne Führerschein (V: 0,04***)

kein/geringes starkes sozial mittleres sozial sozial erwünschtes erwünschtes erwünschtes Antwortverhalten Antwortverhalten Antwortverhalten Nmin = 4.893

Nmin = 5.644

Nmin = 5.782

17,43 18,00 18,73 66,75

16,29 16,10 17,94 64,79

12,13 10,70 12,84 57,11

22,48

22,77

18,94

V: Cramérs V, *** signifikant p<0,001

6 Abschließende Betrachtung Im vorliegenden Beitrag wurden Besonderheiten von Klassenzimmerbefragungen bei Kindern und Jugendlichen im Vergleich zu anderen Befragungsformen betrachtet. Im Anschluss daran wurde mit der KFN-Schüler/innenbefragung 2005 eine Beispielstudie vorgestellt, anhand derer zwei zentrale Punkte der Datengüte untersucht wurden: Zum einen wurde die Validität der Angaben zu den Schulnoten von Viertklässlern/innen überprüft, zum anderen wurde dem Ausmaß sozial erwünschten Antwortverhaltens nachgegangen. 79

Julia Simonson

Ein Vorteil der Klassenzimmerbefragung bei Kindern und Jugendlichen liegt in der deutlichen Einsparung von Zeit und Kosten gegenüber anderen Befragungsvarianten. Darüber hinaus ermöglichen Schul- und Klassenlisten die Ziehung mehrstufiger Zufallsauswahlen. Schließlich sind Jugendliche und Kinder deutlich leichter zur Teilnahme an einer Befragung zu motivieren, wenn diese während der Schulzeit stattfindet, was sich in deutlich höheren Ausschöpfungsquoten im Vergleich zu anderen Befragungsformen niederschlägt. Zugleich sind aber auch einige Nachteile zu benennen: So reduziert die mit der Stichprobenziehung unweigerlich verbundene Klumpung die effektive Stichprobengröße. Zu berücksichtigen sind darüber hinaus nicht nur Interviewer- und Interviewerinneneffekte, sondern auch durch die Anwesenheit von Mitschüler/innen und Lehrer/innen möglicherweise hervorgerufene Antwortverzerrungen. Anhand der vom KFN durchgeführten Befragungen konnte gezeigt werden, dass die Angaben der Schülerinnen und Schüler der vierten Klassen zu deren Schulnoten überwiegend als zuverlässig betrachtet werden können. Zwar berichteten mehr Schüler eine bessere als eine schlechtere Schulnote; das Risiko hierfür scheint allerdings nur wenig systematisch mit anderen Befragteneigenschaften zu variieren. In den neunten Klassen wurde der Problematik sozial erwünschten Antwortverhaltens mit Hilfe einer Kurzskala nachgegangen. Hier zeigte sich, dass immerhin ein Drittel der Befragten ein stärkeres oder starkes sozial erwünschtes Antwortverhalten aufwiesen. Darüber hinaus konnten Zusammenhänge der sozialen Erwünschtheit sowohl mit soziodemografischen Charakteristika als auch mit Formen der selbst berichteten Delinquenz aufgezeigt werden. Die Möglichkeit der Verzerrung der Angaben zu sensitiven Themen, wie sie bei Fragen zur Delinquenz unzweifelhaft gegeben sind, durch sozial erwünschte Antworttendenzen sollte bei der Interpretation der Ergebnisse daher immer bedacht werden. Dennoch sollten die Effekte sozial erwünschten Antwortverhaltens nicht überbewertet werden, da die gefundenen Zusammenhänge nur schwach und teilweise auch durch soziodemografische Merkmale zu erklären sind. Darüber hinaus sind sozial erwünschte Antworttendenzen natürlich kein „Privileg“ von Klassenzimmerbefragungen. Bisherige Ergebnisse, wie z. B. die von Köllisch und Oberwittler (2004) sowie Oberwittler und Naplava (2002) aufgezeigten höheren Prävalenzraten selbst berichteter Delinquenz bei Klassenzimmerbefragungen im Vergleich zu Haushaltsbefragungen weisen vielmehr darauf hin, dass erstere zumindest im Vergleich zu mündlichen Befragungen hinsichtlich sozialer Erwünschtheitseffekte einen Vorteil bieten. 80

Klassenzimmerbefragungen von Kindern und Jugendlichen

Stellt man abschließend die mit Klassenzimmerbefragungen verbundenen Potentiale den Problemfeldern gegenüber, so lässt sich feststellen, dass diese Form der Befragung bei Kindern und Jugendlichen durchaus eine sinnvolle (und daher auch häufig eingesetzte) Alternative zu anderen Methoden der Datenerhebung darstellt. Anmerkungen *

Für hilfreiche Anmerkungen danke ich Susann Rabold, Judith Werther, Johann Bacher sowie dem/r Verfasser/in des anonymen Gutachtens. 1

2

3

4

5 6

7

8

Generell ist es natürlich auch möglich, andere Personen im Rahmen von Klassenzimmerbefragungen zu interviewen, allerdings entfallen dann einige der spezifischen Vorteile der Klassenzimmerbefragung. So erscheint es wenig sinnvoll, eine bevölkerungsrepräsentative Stichprobe von Personen erst schriftlich oder telefonisch zu einer Klassenzimmerbefragung einzuladen und dann im Rahmen einer solchen zu befragen. Hier wäre eine schriftlich-postalische oder telefonische Befragung sicherlich erfolgversprechender. Allerdings birgt auch dieses Vorgehen wieder eine Gefahr in sich, wenn nämlich durch die so entstehende Klassenarbeitsatmosphäre der Eindruck entsteht, es handele sich bei der Befragung um einen Test, bei dem richtige und falsche Antworten möglich seien. Dies könnte dann wiederum zu einer erhöhten Tendenz, sozial erwünschte Antworten zu geben, führen. Solche verallgemeinernden Aussagen lassen sich erst auf der Basis der 2007/08 vom KFN durchgeführten bundesweit repräsentativen Schülerbefragung treffen (vgl. Baier & Pfeiffer & Simonson & Rabold 2009). Auch zwischen den westdeutschen Bundesländern gibt es Unterschiede hinsichtlich der vorhandenen Schulformen. Auf eine ausführliche Darstellung der Verteilungen wird an dieser Stelle jedoch verzichtet. Sie ist nachzulesen in Baier & Pfeiffer & Windzio & Rabold 2006. Schulen in freier Trägerschaft wurden nicht einbezogen, da hier überwiegend keine Notenvergabe erfolgte; Notenangaben mit Dezimalstellen wurden gerundet. Cohens Kappa ist ein häufig genutztes statistisches Maß für die Interrater-Reliabilität der Einschätzungen von Beurteilern (Cohen 1960). Bei kompletter Übereinstimmung nimmt Kappa theoretisch einen Wert von 1 an, positive Werte unter 1 geben das Ausmaß der überzufälligen Übereinstimmungen an, bei negativen Werten ist die tatsächliche Übereinstimmung kleiner als eine zufällige Übereinstimmung. Allerdings wird Kappa auch kritisch diskutiert, da es mit der jeweils gegebenen Randverteilung variiert und in Einzelfällen auch bei relativ geringer Übereinstimmung hohe Werte aufweist (vgl. z. B. Lantz & Nebenzahl 1996; Feinstein & Cicchetti 1990; Cicchetti & Feinstein 1990). Alle Mehrebenenmodelle wurden mit der in Stata implementierten Prozedur gllamm berechnet (vgl. Rabe-Hesketh & Skrondal 2005). Für ein umfangreiches Erklärungsmodell ohne Mehrebeneneinbezug vgl. Baier & Pfeiffer & Windzio & Rabold 2006, 91. Dieser Ausfall scheint zumindest für die vorliegende Fragestellung unmaßgeblich zu sein: Modelle, die ohne Einschluss dieser Variablen und damit auf der Grundlage ei-

81

Julia Simonson

9

10

11

12

13

14

ner höheren Fallzahl berechnet wurden, unterschieden sich hinsichtlich der Effekte der anderen einbezogenen Variablen nicht substanziell von den vorliegenden. Darüber hinaus konnten zwischen Kindern mit und ohne Angabe zur Bildung der Eltern keine signifikanten Unterschiede hinsichtlich zentraler Variablen wie Geschlecht und Arbeitslosigkeit der Eltern festgestellt werden. Lediglich bei der ethnischen Herkunft war ein geringer Unterschied derart zu finden, dass deutsche Kinder etwas häufiger einen fehlenden Wert in der Bildungsvariablen aufwiesen. Eine zweidimensionale Skala zur Messung sozialer Erwünschtheit mit den Dimensionen Selbst- und Fremdtäuschung stammt von Paulhus (1984); eine deutschsprachige Kurzversion für das SOEP entwickelten darauf aufbauend Winkler, Kroh und Spiess (2006). Auch in der vorliegenden Stichprobe ist die Reliabilität der Skala äußerst gering (Cronbachs Alpha: 0,25), so dass stark bezweifelt werden muss, dass die hier verwendete Skala tatsächlich einen einzigen Faktor sozialer Erwünschtheit abbildet. Auf der Grundlage der vier einbezogenen Items ließ sich allerdings auch keine sinnvolle Zwei-Faktoren-Lösung finden, so dass hier trotz aller Vorbehalte eine eindimensionale Struktur unterstellt wird. Dabei muss eigentlich die unterschiedliche Altersstruktur in beiden Erhebungen berücksichtigt werden. Für den ALLBUS konnte auf der Grundlage einer Regressionsanalyse ein schwacher negativer Effekt des Alters nachgewiesen werden. Für die im Rahmen der KFN-Befragung untersuchte Altersgruppe von durchschnittlich 15-Jährigen wäre somit eigentlich ein noch höheres Ausmaß sozial erwünschten Antwortverhaltens zu erwarten als in der ALLBUS-Gesamtstichprobe. Für die bivariate Betrachtung wurden zur anschaulicheren Darstellbarkeit aus den Werten der Kurzskala drei Kategorien gebildet: „kein/geringes sozial erwünschtes Antwortverhalten“ (kein oder ein Item sozial erwünscht beantwortet), „mittleres sozial erwünschtes Antwortverhalten“ (zwei Items sozial erwünscht beantwortet) und „starkes sozial erwünschtes Antwortverhalten“ (drei oder vier Items sozial erwünscht beantwortet). Für die Berechnung der multivariaten Modelle wurde dagegen die ursprüngliche Skala verwendet. Auf der Grundlage des Allbus 1980 ist dagegen festzustellen, dass weibliche Befragte seltener mittel (39,8%) oder stark (43,3%) sozial erwünscht antworten als männliche Befragte (40,3% bzw. 47,2%). Eine Beschreibung der Skalen ist in Baier & Pfeiffer & Windzio & Rabold 2006, 160 zu finden.

Literatur Baier, D., & Pfeiffer, C., & Windzio, M., & Rabold, S. (2006). Schülerbefragung 2005: Gewalterfahrungen, Schulabsentismus und Medienkonsum von Kindern und Jugendlichen. Abschlussbericht über eine repräsentative Befragung von Schülerinnen und Schülern der 4. und 9. Jahrgangsstufe. Hannover: KFN. Baier, D., & Pfeiffer, C., & Simonson, J., & Rabold, S. (2009). Jugendliche in Deutschland als Opfer und Täter von Gewalt: Erster Forschungsbericht zum gemeinsamen Forschungsprojekt des Bundesministeriums des Inneren und des KFN (KFN-Forschungsbericht Nr. 107). Hannover: KFN.

82

Klassenzimmerbefragungen von Kindern und Jugendlichen Baier, D., & Rabold, S., & Pfeiffer, C., & Windzio, M. (2006). Schülerbefragung 2005: Gewalterfahrungen, Schulabsentismus und Medienkonsum von Kindern und Jugendlichen in Thüringen. Abschlussbericht über eine repräsentative Befragung von Schülerinnen und Schülern der 4. und 9. Jahrgangsstufe. Hannover: KFN. Beebe, T., & Harrison, P., & McRea, J., & Anderson, R., & Kerson, J. (1998). An evaluation of computer-assisted self-interviews in a school setting. Public Opinion Quarterly, 62, 623–632. Cicchetti, D. V., & Feinstein, A. R. (1990). High agreement but low kappa: II. Resolving the paradoxes. Journal of Clinical Epidemiology, 43(6), 551–558. Cohen J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37–46. Crowne, D. P., & Marlowe, D. (1960). New scale of social desirability independent of psychopathology. Journal of Consulting Psychology, 24, 349–354. Diekmann, A. (1998). Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen (4. Auflage). Reinbek: Rowohlt. Edwards, A. L. (1957). The social desirability variable in personality assessment and research. New York: Dryden. Feinstein, A. R., & Cicchetti, D. V. (1990). High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, 43(6), 543–549. Fuchs, M. (1997). Ausländische Schüler und Gewalt an Schulen. Ergebnisse einer Lehrerund Schülerbefragung. In H. G. Holtappels & W. Heitmeyer & W. Melzer & K.-J. Tillmann (Hg.), Forschung über Gewalt an Schulen. Erscheinungsformen und Ursachen, Konzepte und Prävention (119–136). Weinheim: Juventa. Fuchs, M., & Lamnek, S., & Lüdtke, J. (1996). Schule und Gewalt. Realität und Wahrnehmung eines sozialen Problems. Opladen: Leske + Budrich. Köllisch, T., & Oberwittler, D. (2004). Wie ehrlich berichten männliche Jugendliche über ihr delinquentes Verhalten? Kölner Zeitschrift für Soziologie und Sozialpsychologie, 56, 708–735. Kreuzer, A., & Görgen, T., & Römer-Klees, R., & Schneider, H. (1992). Auswirkungen unterschiedlicher methodischer Vorgehensweisen auf die Ergebnisse selbstberichteter Delinquenz. Monatsschrift für Kriminologie und Strafrechtsreform 75(2/3), 91–104. Lantz, C. A., & Nebenzahl, E., (1996). Behavior and interpretation of the kappa statistic: Resolution of the two paradoxes. Journal of Clinical Epidemiology, 49(4), 431–434. Lück, H. E., & Timaeus, E. (1969). Skalen zur Messung Manifester Angst (MAS) und sozialer Wünschbarkeit (SDS-E und SDS-CM). Diagnostica, 15, 134–141. Mansel, J., & Hurrelmann, K. (1998). Aggressives und delinquentes Verhalten Jugendlicher im Zeitvergleich. Befunde der Dunkelfeldforschung aus den Jahren 1988, 1990 und 1996. Kölner Zeitschrift für Soziologie und Sozialpsychologie, 50(1), 78–109. Mansel, J. (2001). Angst vor Gewalt: Eine Untersuchung zu jugendlichen Opfern und Tätern. Weinheim: Juventa.

83

Julia Simonson Mühlenfeld, H.-U. (2004). Der Mensch in der Online-Kommunikation. Zum Einfluss webbasierter, audiovisueller Fernkommunikation auf das Verhalten von Befragten. Wiesbaden: DUV. Naplava, T., & Oberwittler, D. (2002). Methodeneffekte bei der Messung selbstberichteter Delinquenz von männlichen Jugendlichen. Ein Vergleich zwischen schriftlicher Befragung in der Schule und mündlicher Befragung im Haushalt. Monatsschrift für Kriminologie und Strafrechtsreform, 85(6), 401–423. Oberwittler, D., & Naplava, T. (2002). Auswirkungen des Erhebungsverfahrens bei Jugendbefragungen zu ,Heiklen‘ Themen – Schulbasierte Schriftliche Befragung und Haushaltsbasierte Mündliche Befragung im Vergleich. ZUMA-Nachrichten, 51, 49–75. Oberwittler, D., & Blank, T., & Köllisch, T., & Naplava, T. (2001). Soziale Lebenslagen und Delinquenz von Jugendlichen. Ergebnisse der MPI-Schülerbefragung 1999 in Freiburg und Köln. Freiburg: Iuscrim. Paulhus, D. L. (1984). Two-component models of social desirable responding. Journal of Personality and Social Psychology, 46(3), 598–609. Planck, U. (1959). Zur Methode der Klassenzimmerbefragung. Zeitschrift für Markt- und Meinungsforschung, 2, 511–516. Rabe-Hesketh, S., & Skrondal, A. (2005). Multilevel and longitudinal modeling using stata. College Station, Texas: Stata Press. Reinecke, J. (1991). Interviewer- und Befragtenverhalten. Theoretische Ansätze und methodische Konzepte. Opladen: Westdeutscher Verlag. Schnell, R., & Hill, P. B., & Esser, E. (2005). Methoden der empirischen Sozialforschung (7. Auflage). München: Oldenbourg. Scholl, A. (2003). Die Befragung. Sozialwissenschaftliche Methode und kommunikationswissenschaftliche Anwendung. Konstanz: UVK. Snijders, T., & Bosker, R. (1999). Multilevel analysis. An introduction to basic and advanced multilevel modelling. London: Sage. Steffgen, G., & Russon, C. (2003). Luxembourg: First official Steps to deal with violence in school. In P. Smith (Ed.), Violence in schools. The response in Europe (49–64). London: Routledge. Stocké, V. (2004). Entstehungsbedingungen von Antwortverzerrungen durch soziale Erwünschtheit. Ein Vergleich der Prognosen der Rational-Choice Theorie und des Modells der Frame-Selektion. Zeitschrift für Soziologie, 33, 303–320. Tillmann, K.-J., & Holler-Nowitzki, B., & Holtappels, H. G., & Meier, U., & Popp, U. (1999). Schülergewalt als Schulproblem. Verursachende Bedingungen, Erscheinungsformen und pädagogische Handlungsperspektiven. Weinheim: Juventa. Winkler, N., & Kroh, M., & Spiess, M. (2006). Entwicklung einer deutschen Kurzskala zur zweidimensionalen Messung von sozialer Erwünschtheit. DIW-Diskussionspapier Nr. 579. Berlin.

84

Monika Taddicken

Monika Taddicken

Methodeneffekte von Web-Befragungen: Soziale Erwünschtheit vs. Soziale Entkontextualisierung Zusammenfassung Die Bedeutung der Online-Forschung hat seit ihrer Entstehung stetig zugenommen. Jedoch können Potenziale einer neuen Befragungsmethode erst dann vorbehaltlos ausgeschöpft werden, wenn die Methodenforschung ,ihre Arbeit gemacht hat‘. Dazu bedarf es sowohl theoretischer als auch empirischer Analysen darüber, welchen Einfluss die Verwendung der Web-Befragung auf die Güte der so erhobenen Daten hat. Insbesondere erscheint eine Betrachtung der potenziellen Methodeneffekte von Web-Befragungen notwendig. Dabei handelt es sich um eine Unterart der Messfehler, die durch die Verwendung einer bestimmten Befragungsmethode verursacht werden. Sie stellen insofern die bedeutsamste Form potenzieller Messfehler dar, als dass es sich um eine systematische und der Methode immanente Fehlerquelle handelt. Um Methodeneffekte zu evaluieren, ist auf die der Befragungsmethode zugrunde liegende Kommunikationsform abzustellen. Im Falle der Web-Befragung ist dies die computervermittelte Kommunikation. Diese verfügt über relativ wenige Kommunikationskanäle, so dass insbesondere visuelle und auditive Informationen kaum bzw. überhaupt nicht übertragen werden. Diese Reduktion der übertragenen Informationen beeinflusst die Wahrnehmung der Kommunikationssituation. So kommt es zu einer verminderten sozialen Präsenz, aber erhöhten ,perzipierten Anonymität‘. Dadurch können einerseits offenere und ehrlichere Antworten der Probanden in der Befragung erwartet werden. Die Effekte der sozialen Erwünschtheit werden minimiert. Insofern ist die Web-Befragung insbesondere für sensible Fragestellungen vorteilhaft. Andererseits sind auch negative Auswirkungen zu befürchten. So kann eine verminderte Orientierung der Probanden an sozialen Werten und Normen in der Befragungssituation angenommen werden. Diese möglichen methodischen Einflüsse werden als ,Effekte der sozialen Entkontextualisierung‘ bezeichnet.

85

Monika Taddicken

In diesem Beitrag wird ein empirischer Methodenvergleich vorgestellt, der den Nachweis der bislang unbeachteten Effekte der sozialen Entkontextualisierung erbringt. Die Ergebnisse des Vergleichs zeigen, dass Probanden in einer WebBefragung tatsächlich weniger an der sozialen Norm ,Ablehnung von Ladendiebstahl‘ orientiert geantwortet haben als in einer telefonischen oder postalischen Befragung. Es wird diskutiert, inwiefern die Effekte der sozialen Entkontextualisierung das Gegenstück der Effekte der sozialen Erwünschtheit bilden.

Abstract Mode Effects of Web Surveys: Social Desirability vs. Social De-Contextualisation The significance of online research has steadily increased since its beginnings. But full potentials of a new interview technique cannot be tapped implicitly until method research “has completed its job”. Therefore, theoretical as well as empirical analysis about the influences exerting on the quality of data, collected by the means of a web survey, is necessary. Especially a treatment of the potential mode effects of web surveys is needed. Mode effects represent a sub-category of measurement errors which are caused by the utilization of a certain interview technique. It is insofar the most important form of measurement errors as it is a matter of systematic and intrinsic error source of the mode. For evaluating mode effects, the underlying communication mode of the interview is substantial. In case of the web survey, this is the computer-mediated communication. Here, a limitation of communication channels, in particular the disappearance of visual and auditory information, involves a reduced social presence, but increased ‘perceived anonymity’ of the communicators. On the one hand, more open and honest responses in interviews are the consequence. The effects of social desirability are minimized. Thus, the web survey is beneficial for sensitive questions. On the other hand, negative effects must be feared: A lower orientation of respondents regarding social values and norms in the situation of web surveys than in other modes can be suspected. These potential effects are called the ‘effects of social de-contextualisation’. This article presents an empirical mode comparison which approves that these effects actually exist. It will show that respondents of a web survey answered less orientated at a social norm regarding the rejection of shop lifting than in telephone or postal surveys. It will be discussed if the effects of social de-contextualisation can be seen as the counterpart of the effects of social desirability.

86

Methodeneffekte von Web-Befragungen

1 Problemstellung Die Bedeutung der Online-Forschung hat seit ihrer Entstehung stetig zugenommen. Dabei hat sich in den vergangenen Jahren insbesondere die WebBefragung etabliert. So ist inzwischen mehr als jedes vierte Interview, das von deutschen Markt- und Sozialforschungsinstituten durchgeführt wird, eine Web-Befragung (vgl. ADM 2008). Die Potenziale einer neuen Befragungsmethode können aber erst dann vorbehaltlos ausgeschöpft werden, wenn die Methodenforschung ,ihre Arbeit gemacht hat‘. Dazu bedarf es sowohl theoretischer als auch empirischer Analysen darüber, welchen Einfluss die Verwendung der Web-Befragung auf die Güte der so erhobenen Daten hat. Die Qualität von Daten der Umfrageforschung bemisst sich nach ihrem Fehleranteil insgesamt. Fehler können auf verschiedenen Stufen und Ebenen des Befragungsprozesses entstehen. In der methodologischen Forschung werden diese Fehlerquellen unter dem Label ,Total Survey Error‘ zusammengefasst (vgl. Költringer 1993, 4; Biemer & Lyberg 2003, 35; Groves et al. 2004, 49). Dieses Konzept berücksichtigt sowohl Fehler auf Ebene der Repräsentativität der Daten als auch Fehler auf Ebene der Messung der Daten (vgl. Groves et al. 2004, 48). Während – v. a. in der Anfangszeit der OnlineForschung – die Frage der mangelnden Repräsentativität von Web-Befragungen umfangreich diskutiert wurde, wurde die Frage der Messfehler eher vernachlässigt. Dieses Versäumnis ist nachzuholen. Insbesondere scheint eine Betrachtung der potenziellen Methodeneffekte (,Mode Effects‘) von Web-Befragungen notwendig. Dabei handelt es sich um eine Unterart der Messfehler (,Measurement Error‘), die durch die Verwendung einer bestimmten Befragungsmethode verursacht wird. Sie stellt insofern die bedeutsamste Form von Messfehlern dar, als dass es sich um eine systematische und der Methode immanente Fehlerquelle handelt (vgl. Fiske 1982, 78; Cote & Buckley 1987, 315). Aus diesem Grund setzt dieser Beitrag hier an. Eine Beschäftigung mit den Methodeneffekten von Web-Befragungen erfolgt dabei sowohl auf theoretischer als auch auf empirischer Ebene.

2 Der Begriff des Methodeneffekts Ein Methodeneffekt entsteht durch die Verwendung einer bestimmten Befragungsmethode. Er kann bezeichnet werden als „Auswirkung der Datenerhebungsmethode auf die Ergebnisse der Messung“ (Schnell et al. 2005, 160). 87

Monika Taddicken

Eine präzisere Definition findet sich in der Literatur nicht. Dies ist – auch im Hinblick auf die Abgrenzung zu anderen Messfehlern – problematisch. Grundsätzlich ist bei der Analyse von Methodeneffekten auf die Charakteristika der jeweiligen Befragungsmethode abzustellen (vgl. Groves et al. 2004, 146). Da eine Befragung eine systematische, zielgerichtete und kontrollierte Kommunikation mit klar definierten Frager- und Antworterrollen ist, ist die der Befragung zugrunde liegende Kommunikationsform wesentlich (vgl. Sudman et al. 1996, 55). Aus diesem Grund ist die Analyse der jeweiligen Kommunikationsmethode fundamental. Dabei ist v. a. auf die Art und Anzahl der vorhandenen Kommunikationskanäle abzustellen (vgl. Fuchs 2003, 22 f.; Groves et al. 2004, 141–145). Die in einer Kommunikation zur Verfügung stehenden Kanäle determinieren, welche Informationen übertragen werden. Dadurch wird bestimmt, wie reichhaltig die kommunizierten Botschaften sind. Die Grundlage aller Kommunikationsformen bildet die Sprache, die auch als Textkanal bezeichnet wird. Hierüber findet der überwiegende Teil der Verständigung und Bedeutungsvermittlung statt. Doch auch nicht-sprachliche Elemente einer Kommunikation dienen dem (bewussten und unbewussten) Informationsaustausch. Diese para- oder nonverbalen Botschaften können prinzipiell über alle fünf menschlichen Sinne vermittelt werden. So bestehen neben dem inhaltlichen Textkanal weiterhin ein visueller Kanal, ein auditiver, taktiler, olfaktorischer Kanal sowie gustatorischer Kanal. Aus der Anzahl verfügbarer Kommunikationskanäle lässt sich der Grad der ,sozialen Präsenz‘ einer Kommunikationssituation ableiten. Soziale Präsenz bezeichnet das Gefühl, dass andere Personen in eine gemeinsame kommunikative Interaktion involviert sind, die ,Salienz‘ der Kommunikationspartner (vgl. Short et al. 1976, 65). Dieses Konstrukt ist hier bedeutsam, da die Wahrnehmung der Kommunikations- bzw. Befragungssituation durch den Probanden entscheidend für sein Antwortverhalten ist. Die gefühlte Anwesenheit ist umso stärker, je intensiver eine Kommunikation verläuft, aber auch umso mehr Kommunikationskanäle verwendet werden (vgl. Short et al. 1976, 65). Short et al. messen den nonverbalen Kommunikationskanälen eine hohe Bedeutsamkeit bei. Sie argumentieren, dass die Kommunikation umso vertrauter und unmittelbarer ablaufen kann, je mehr Kanäle verwendet werden. Damit berücksichtigen sie sowohl die physische als auch die psychische Distanz in einer Kommunikation (vgl. Short et al. 1976, 72 f.). Ebenfalls lässt sich aus der Anzahl der Kommunikationskanäle – in Verbindung mit dem Konstrukt der sozialen Präsenz – die subjektiv wahrgenommene Anonymität ableiten. Auch bezüglich der Anonymität ist auf die Perspektive des Probanden abzustellen; relevant ist nicht, wie anonym eine 88

Methodeneffekte von Web-Befragungen

Befragung tatsächlich stattfindet, sondern wie anonym sie vom Befragten wahrgenommen wird. Insofern kann hierfür auch der Begriff der ,perzipierten Anonymität‘ verwendet werden. Diese beeinflusst unmittelbar, wie frei sich der Proband in seinem Antwortverhalten fühlt. Sie hängt stark von der gefühlten Anwesenheit anderer, also von der sozialen Präsenz ab (vgl. Weisband/Atwater 1999, 633; Mühlenfeld 2004, 60): Sofern eine niedrige soziale Präsenz gegeben ist, also auch die Vertrautheit und Unmittelbarkeit einer Kommunikationssituation niedrig ist, ist das subjektive Empfinden der Kommunikationspartner, ,für sich‘ und nicht-identifizierbar zu sein, hoch. Insgesamt sind damit drei Merkmale von zur Befragung eingesetzten Kommunikationsformen identifiziert worden, die eine nähere Beschäftigung mit den jeweilig verursachten Methodeneffekten erlauben. Somit lassen sich Methodeneffekte konkret definieren als Effekte in Befragungen, die durch die jeweilige Anzahl an verwendeten Kommunikationskanälen und dem dadurch entstehenden Grad an sozialer Präsenz und subjektiv wahrgenommener bzw. perzipierter Anonymität das Antwortverhalten der Probanden beeinflussen (vgl. ausführlich Taddicken 2008a). Damit ist es nun möglich, sich auf theoretischer Ebene mit den Methodeneffekten von Web-Befragungen zu beschäftigen.

3 Methodeneffekte der Web-Befragung 3.1 Web-Befragung als computervermittelte Kommunikation Der Web-Befragung liegt die computervermittelte Kommunikation, kurz: cvK zugrunde. Diese kann definiert werden als Kommunikation, „bei der mindestens zwei Individuen in einer nicht Face-to-face-Situation durch die Anwendung eines oder mehrerer computerbasierter Hilfsmittel miteinander in Beziehung treten“ (Köhler 2003, 18 f.). Die cvK umfasst eine Vielzahl verschiedener online-, aber auch offline-Kommunikationen (vgl. Beck 2006, 29). Die Web-Befragung ist nur eine dieser zahlreichen Formen, in denen cvK auftreten kann, hier jedoch die relevante. Die Web-Befragung kann als eine asynchrone Form der cvK bezeichnet werden, die zeitverzögert abgerufen wird und monologische Inhalte aufweist.1 Sie findet folglich zeitlich ungebunden statt. Zudem besteht eine räumliche Ungebundenheit der Kommunikatoren. Die Kommunikatoren treffen nicht körperlich aufeinander. Dies hat Auswirkungen auf die Verfügbarkeit der Kommunikationskanäle. So können in der cvK, wie sie in der 89

Monika Taddicken

Web-Befragung verwendet wird, lediglich der Textkanal und eingeschränkt der visuelle Kanal genutzt werden. Es werden zwar das Wort und damit der Kommunikationsinhalt visualisiert, visuelle Informationen über die Kommunikationspartner (z. B. Gestik, Mimik, Blickverhalten, Körperhaltung) und deren Umgebung werden jedoch nicht übertragen. Damit entfällt auch die Vermittlung von (unbewussten) Gefühlsregungen.2 Im Vergleich zu den anderen Kommunikationsformen (persönlich, telefonisch, schriftlich) verfügt die cvK insgesamt über die geringste Anzahl an Kommunikationskanälen. Sie bildet in der Bandbreite der Kommunikationsformen das eine Extrem, während die persönliche Kommunikation, in der alle Kommunikationskanäle verwendet werden können3 (vgl. Pürer 2003, 65), das andere Extrem darstellt. Weiterhin besteht ein deutlicher Unterschied zur telefonischen Kommunikation, bei der der auditive Kanal zur Verfügung steht. Über diesen werden gleichfalls emotionale Hinweise gesendet und empfangen (z. B. Lachen, Räuspern, ironische Stimmführung). Im Vergleich zur schriftlichen Kommunikation mangelt es der cvK (lediglich) am taktilen Kanal, sodass auch hierüber (z. B. durch die Wahl eines besonderen Papiers oder Schreibgeräts) keine Informationen vermittelt werden. Insofern kann eine Rangfolge der Kommunikationsformen hinsichtlich der Anzahl verfügbarer Kommunikationskanäle bestimmt werden: 1. persönliche Kommunikation, 2. telefonische Kommunikation, 3. schriftliche Kommunikation und schließlich 4. computervermittelte Kommunikation. Der Abstand zur persönlichen, aber auch zur telefonischen Kommunikation ist dabei stärker ausgeprägt als die Differenz zwischen schriftlicher und computervermittelter Kommunikation. Wie beschrieben beeinflusst dies auch die beiden weiteren hier relevanten Merkmale der sozialen Präsenz und der perzipierten Anonymität. Analog der Einordnung hinsichtlich der verfügbaren Kommunikationskanäle ist die cvK in Bezug auf die soziale Präsenz die Kommunikationsform mit dem geringsten Ausmaß. Der Unterschied zwischen schriftlicher und computervermittelter Kommunikation ist hier jedoch nicht allzu stark ausgeprägt. Allerdings erfordert das Lesen am Bildschirm eine höhere kognitive Anstrengung als das Lesen von Schriftstücken (vgl. Fuchs 2000, 72). So ist für die cvK ein gewisses Maß an Konzentration auf Monitor, Tastatur und Maus notwendig. Insofern kann das papierbasierte Lesen auch unproblematischer in verschiedenen sozialen Settings erfolgen als das Lesen am Bildschirm. Damit verbunden ist die perzipierte Anonymität, die bei geringer sozialer Präsenz stark ausgeprägt ist. In der cvK wird dieser Effekt dadurch verstärkt, dass hier keine realen Personen aufeinander treffen, sondern vielmehr „mediale Präsentationen des Selbst“ (Höflich 1999, 147). Es handelt sich um 90

Methodeneffekte von Web-Befragungen

konstruierte Identitäten, die keine sensorischen Prüfungen erlauben. Somit besteht eine gewisse Unverbindlichkeit der Selbstdarstellung (vgl. ebd. 148 ff.). Das führt dazu, dass Fehlverhalten kaum sanktioniert werden kann. Dies gilt sowohl für direkte Sanktionen, die in anderen Kommunikationsformen häufig nonverbal ablaufen (z. B. durch Kopfschütteln, böse Blicke, Androhung körperlicher Gewalt), als auch für zeitlich verzögerte Sanktionen, da es an Wissen über den zu Sanktionierenden (z. B. seine äußere Erscheinung, Postadresse) fehlt. Insofern kann für die cvK angenommen werden, dass eine relativ hohe perzipierte Anonymität gegeben ist. Zusammenfassend ist festzuhalten, dass in der cvK im Vergleich zu anderen Kommunikationsformen die Anzahl der Kommunikationskanäle z. T. drastisch reduziert ist und dass dies eine vergleichsweise niedrige soziale Präsenz und eine relativ hohe perzipierte Anonymität bedingt. Welche Folgen sich daraus für die Erhebungsmethode Web-Befragung ergeben, wird nachfolgend behandelt.

3.2 Folgen für die Web-Befragung Aus den vorgestellten Eigenarten der cvK ergeben sich eine Reihe an Konsequenzen für die Umfrageforschung. Diese betreffen z. B. die konkrete Umsetzung einer Befragung oder die Eignung für komplexe Untersuchungsgegenstände. In diesem Beitrag geht es jedoch um die Frage, welche methodischen Effekte bedingt werden. Für eine Befragungssituation sind eine geringe soziale Präsenz und eine hohe perzipierte Anonymität zunächst vorteilhaft. Das Antwortverhalten der Probanden bleibt unbeeinflusst von der (physischen, verbalen oder auch nur gefühlten) Anwesenheit eines Interviewers oder Forschers. Betrachtet man als Gegensatz das persönliche Interview als Befragungsmethode mit der höchsten sozialen Präsenz und der geringsten perzipierten Anonymität, so fällt auf, dass dieses aufgrund eben dieser Eigenschaften unter einer Vielzahl von Fehlerquellen leidet. Beispielhaft sind hier Antwortverweigerungen, Zustimmungstendenzen und insbesondere Effekte der sozialen Erwünschtheit zu nennen, die v. a. durch die Sorge über die soziale Bewertung der gegebenen Antworten bedingt werden. Diese Sorge ist bei einer nur geringen Wahrnehmung anderer in die Befragungssituation involvierter Personen und einer gleichzeitigen hohen perzipierten Anonymität und damit Folgenlosigkeit von (Antwort-)Verhalten gering ausgeprägt. Es kommt zu einem Zustand verminderter Bewertungsangst, der auch als ,Enthemmung‘4 bezeichnet werden kann (vgl. Joinson 1998, 44; Sassenberg 1999, 10). Die91

Monika Taddicken

ser enthemmte Zustand bedingt einen Effekt der Selbst-Enthüllung, nämlich eine erhöhte Offenheit bzw. Auskunftsbereitschaft über persönliche und private Informationen (vgl. z. B. Levine et al. 1989; Locke & Gilbert 1995; Joinson 2001). Dadurch können offenere und ehrlichere Antworten in einer Befragung erhoben werden. Verzerrungen als Folge sozialer Bewertungsmechanismen bzw. deren Befürchtung werden aufgehoben. Hier besteht somit ein ausgesprochen positiver Effekt der Methode Web-Befragung. Eine Reihe von Forschungsergebnissen bestätigt, dass die Web-Befragung geringere Effekte der sozialen Erwünschtheit generiert (z. B. Mühlenfeld 2004; Duffy et al. 2005). Entsprechend der abgestuften Rangfolge hinsichtlich der Kriterien soziale Präsenz und perzipierte Anonymität sind dabei die Unterschiede zwischen der Web-Befragung und der persönlichen, aber auch der telefonischen Befragung am größten. Dagegen zeigen sich bei Vergleichen der Web-Befragung mit der schriftlichen Befragung unregelmäßige Ergebnisse. So finden einige Autoren keine unterschiedlichen Grade an sozialer Erwünschtheit (vgl. z. B. Booth-Kewley et al. 1992; Hancock & Flowers 2000; Fuchs 2003), andere weisen sogar höhere Effekte sozialer Erwünschtheit in der Web-Befragung nach (z. B. Lautenschlager & Flaherty 1990; Rosenfeld et al. 1996). Somit zeigt sich zwar insgesamt auch empirisch die Vorteilhaftigkeit der Web-Befragung bezüglich sozialer Erwünschtheit, jedoch ist zu beachten, dass dies v. a. im Vergleich zu den ,persönlicheren‘ Befragungsmethoden persönlich und telefonisch gilt (vgl. umfassend Taddicken 2008b, 2008c). Daneben ist allerdings auch ein negativer Effekt zu befürchten. Diese Befürchtung kann auf den Ansatz der reduzierten sozialen Kontexthinweise von Sproull & Kiesler (1986, 1991) zurückgeführt werden. Im Mittelpunkt steht hier die mit der Reduktion verfügbarer Kommunikationskanäle einhergehende drastische Minderung von Informationen über die Kommunikationspartner und die gemeinsame Kommunikationssituation, sog. ,sozialer Kontexthinweise‘. Die Reduktion derartiger sozialer Kontexthinweise hat nicht nur Einfluss auf die Reichhaltigkeit der übertragbaren Informationen, sondern gleichfalls auf eine Vielzahl an psychischen Zuständen und Prozessen. So konstatieren Sproull/Kiesler, dass sich der Aufmerksamkeitsfokus der Kommunikatoren verschiebt, nämlich weg von den wenig(er) präsenten Kommunikationspartnern hin zum Ziel der Kommunikation bzw. auf die eigene Person. Es kommt somit zu einer stärkeren Ich-Fokussierung der Kommunikatoren (vgl. Sproull & Kiesler 1986, 405). Ebenfalls verringert sich die soziale Orientierung (vgl. Kiesler et al. 1984, 1123). Dabei argumentieren die Autoren nicht direkt, jedoch analog mit dem Zustand der Enthemmung (vgl. Siegel et al. 1986, 182). Sie ziehen daraus insgesamt die Schlussfolge92

Methodeneffekte von Web-Befragungen

rung, dass die soziale Konformität der Kommunikatoren generell geringer ist und dass enthemmte, nonkonforme Verhaltensweisen nicht nur ermöglicht, sondern sogar bedingt werden (vgl. Sproull & Kiesler 1986, 1497 f.; Siegel et al. 1986: 182 f.). Es muss somit befürchtet werden, dass die Orientierung der Probanden an sozialen Werten und Normen in der Situation einer Web-Befragung schwächer ist als in alltäglichen Situationen und auch als in anderen Befragungen. Sollte dies der Fall sein, wäre somit zum einen fraglich, inwieweit die erhobenen Antworten auf das soziale Alltagshandeln übertragbar wären, und zum anderen, wie vergleichbar die Ergebnisse mit denen anderer Befragungsmethoden wären. In Anlehnung an Kiesler/Sproull werden diese potenziellen Effekte als ,Effekte der sozialen Entkontextualisierung‘ bezeichnet (vgl. Taddicken 2008a). Bislang ist jedoch nicht empirisch nachgewiesen, ob derartige Effekte in Web-Befragungen auftreten. Die empirische Prüfung der Existenz erfolgt im nächsten Teil.

4 Empirischer Methodenvergleich: Design Um zu überprüfen, ob in Web-Befragungen Effekte der sozialen Entkontextualisierung auftreten, bedarf es eines empirischen Methodenvergleichs. Auf Basis der obigen Überlegungen zur Rangfolge der Kommunikationsformen und entsprechenden Befragungsmethoden erscheint es sinnvoll, diesen nicht – wie üblich – auf einen Vergleich mit einer anderen Methode zu beschränken, sondern mindestens zwei Alternativmethoden zur Web-Befragung zu integrieren. Aus diesem Grund wird hier die Web-Befragung mit der telefonischen und der schriftlichen Befragung5 verglichen. Dadurch werden die einzelnen Abstufungen hinsichtlich der Kommunikationskanäle und entsprechend der sozialen Präsenz und perzipierten Anonymität berücksichtigt. Für die Umsetzung des empirischen Methodenvergleichs wird das Test-Retest-Design gewählt, also die zweimalige Befragung derselben Probanden. Um den Test-Retest-Ansatz mit drei Befragungsmethoden zu realisieren, werden zwei verschiedene Experimentalgruppen gebildet: ,CATI vs. Web‘ und ,Schrift vs. Web‘. Die Probanden werden jeweils zweimal befragt, einmal mittels einer Web-Befragung und einmal telefonisch oder schriftlich. Um Reihenfolgeeffekte auszuschließen, werden die Gruppen gesplittet, sodass die eine Hälfte zunächst per Web befragt wird und die andere Hälfte zunächst mit der Alternativmethode. Zusätzlich wird eine Kontrollgruppe eingeführt, die 93

Monika Taddicken

zweimal online befragt wird. Um Erinnerungseffekten vorzubeugen, wird mit vier bis fünf Wochen ein vergleichsweise langer zeitlicher Abstand zwischen den beiden Befragungen gewählt (vgl. van Meurs, & Saris 1989, 146). Für die Operationalisierung wird ein Instrument zur Messung der Normintensität von Diekmann (1980) verwendet. Anhand von acht Items wird geprüft, inwieweit normabweichendes Verhalten anderer Personen von den Probanden akzeptiert wird (vgl. Diekmann 1980, 2004). Das Instrument lässt sich auf verschiedene inhaltliche Gegenstandsbereiche anpassen. Hier wird die ,Ablehnung von Ladendiebstahl‘ gewählt, weil es sich dabei um eine allgemeine soziale Norm handelt. Abgefragt werden die acht Items mittels einer fünfstufigen Ratingskala (,stimme stark zu‘ bis ,lehne stark ab‘).6 Diekmann dokumentiert die Güte des Instruments mit der Split-Half-Reliabilität, diese ist mit rel = .90 sehr hoch (vgl. Diekmann 1980, 61). Die auf das verwendete Instrument angepassten Forschungshypothesen lauten: H1: In Web-Befragungen werden Verletzungen der Norm ,Ablehnung von Ladendiebstahl‘ stärker geduldet als in telefonischen Befragungen. H2: In Web-Befragungen werden Verletzungen der Norm ,Ablehnung von Ladendiebstahl‘ stärker geduldet als in schriftlichen Befragungen. Die Teilnehmer der Studie wurden über ein kommerzielles Online-AccessPanel rekrutiert.7 Insgesamt registrierten sich 799 Interessierte, die zufällig, also unabhängig von methodischen Vorlieben der Teilnehmer, auf die Experimentalgruppen verteilt wurden. Beide Befragungswellen wurden von 585 Probanden durchlaufen. Personen, die nur an einer Befragung teilgenommen haben, wurden nicht berücksichtigt.8 Weiterhin wurden Ausreißer anhand von Mahalanobis D2 eliminiert. Es wurde eine Netto-Stichprobe von n = 563 erreicht. Diese ist zu 43% männlich und zu 57% weiblich. Es ist darauf hinzuweisen, dass mit der hier realisierten Stichprobe kein Anspruch auf Repräsentativität erhoben werden kann und soll. Im Folgenden werden die Ergebnisse vorgestellt.

5 Empirischer Methodenvergleich: Ergebnisse Für eine Bewertung der Ergebnisse sind zunächst die mittleren Antwortdifferenzen zwischen den jeweils verglichenen Befragungsmethoden zu betrachten. Grundsätzlich wäre zu erwarten, dass nur sehr geringe Mittelwertdifferenzen auftreten, da dieselben Personen mit demselben Instrument befragt wurden. Da jedoch befürchtet wird, dass in der Web-Befragung Effekte 94

Methodeneffekte von Web-Befragungen

der sozialen Entkontextualisierung zu einer geringeren Normintensität der Probanden in der Befragungssituation führen, werden signifikante Unterschiede vermutet. Tabelle 1 bestätigt diese Vermutung und zeigt, dass im Vergleich CATI vs. Web insgesamt eine sehr signifikante Mittelwertdifferenz besteht. Es gilt, dass die gemessene Normintensität der Probanden umso geringer war, je kleiner die Antwortwerte sind. Damit ist zu erkennen, dass die Normintensität insgesamt in der Web-Befragung sehr signifikant geringer war als in der telefonischen Befragung. Tabelle 1: Mittelwertdifferenz der Summenindices im Vergleich CATI vs. Web Methode

N

MW

SD

CATI

201

32,61

4,724

Web

201

31,69

5,331

Δ MW

T

Sig.

0,92

2,993

0,003

Betrachtet man die Mittelwertdifferenzen der einzelnen Items, so zeigt sich, dass drei der acht Items über signifikant verschiedene Mittelwerte verfügen (ni3, ni6, ni8) (vgl. Tab. 2). Die Unterschiede bei ni6 und ni8 weisen auf eine geringere Normintensität im Web hin. Dagegen wurde das Item ni3 am Telefon weniger normintensiv beantwortet. Diese Auffälligkeit kann vermutlich darauf zurückgeführt werden, dass ni3 eine Fakteneinschätzung verlangt, während die anderen Items eher auf eine Bewertung von Verhaltensweisen abzielen (vgl. Itemliste im Anhang). Tabelle 2: Mittelwertdifferenzen einzelner Items im Vergleich CATI vs. Web Variable

ni1 ni2 ni3 ni4 ni5 ni6 ni7 ni8

N

205 205 201 205 205 205 205 203

Δ MW

Δ SD

CATI – Web

CATI – Web

0,088 0,141 –0,179 0,117 0,156 0,176 0,068 0,192

1,185 1,190 1,228 1,127 1,345 1,150 0,849 1,168

T

Sig.

1,061 1,702 –2,068 1,487 1,662 2,187 1,152 2,344

0,290 0,090 0,040 0,139 0,098 0,030 0,251 0,020 95

Monika Taddicken

Insgesamt aber zeigen sich die befürchteten Tendenzen der geringeren Normintensität im Web. Auch im Vergleich der Web-Befragung mit der schriftlichen Befragung werden diese Tendenzen sichtbar. So zeigt der Mittelwertvergleich der Summenindices wiederum, dass in der Web-Befragung eine sehr signifikant geringere Normintensität der Probanden bestanden hat (vgl. Tab. 3). Tabelle 3: Mittelwertdifferenz der Summenindices im Vergleich Schrift vs. Web Methode

N

MW

SD

Schrift

233

32,38

5,443

Web

233

31,68

5,727

Δ MW

T

Sig.

0,70

3,182

0,002

Auch auf Ebene der einzelnen Items bestätigt sich dieses Bild. Die Items ni1, ni5 und ni7 weisen signifikante Differenzen auf, die jeweils eine geringere Ablehnung von Ladendiebstählen in der Web-Befragung zeigen (vgl. Tab. 4). Tabelle 4: Mittelwertdifferenzen einzelner Items im Vergleich Schrift vs. Web Variable

ni1 ni2 ni3 ni4 ni5 ni6 ni7 ni8

N

233 233 233 233 233 232 233 233

Δ MW

Δ SD

CATI – Web

CATI – Web

0,129 0,060 0,021 0,060 0,167 0,094 0,146 0,017

0,965 0,874 1,161 0,869 1,092 0,798 0,796 0,793

T

Sig.

2,036 1,050 0,282 1,056 2,340 1,805 2,798 0,330

0,043 0,295 0,778 0,292 0,020 0,072 0,006 0,741

Damit zeigt sich also auch im Vergleich Schrift vs. Web, dass sich die Befürchtung einer (situationalen) geringeren Normbindung im Web bestätigt. Um die Größenordnung der festgestellten Antwortdifferenzen zwischen den einzelnen Befragungsmethoden und damit ihre empirische Relevanz besser beurteilen zu können, wird außerdem für alle Mittelwertvergleiche 96

Methodeneffekte von Web-Befragungen

das Effektmaß ,Cohen’s d‘ berechnet.9 Cohen’s d ermöglicht neben den Aussagen über einen statistisch signifikanten Zusammenhang die Einschätzung der Größe eines aufgetretenen Effekts und seiner Bedeutsamkeit (vgl. Biemer 1988, 276). Cohen selbst hat für eine Einschätzung der Effektstärken folgende Klassifizierung vorgenommen: Ein kleiner Effekt liegt bei d = 0,2, ein mittlerer Effekt bei d = 0,5 und ein großer Effekt bei d = 0,8 vor (vgl. Cohen 1988, 25). Da es sich bei Methodeneffekten jedoch um systematische Effekte handelt, wird in der Literatur ein nennenswerter Effekt bereits ab d = 0,1 angenommen (vgl. Carini et al. 2003, 9 f., 11 ff.). Wird diese Klassifizierung auf die vorliegenden Daten angewendet, zeigt sich das in Tabelle 5 dargestellte Ergebnis: In beiden Experimentalgruppen bestehen mehrere beachtenswerte Effektstärken. Dies gilt sowohl jeweils für die Indices als auch für die Mittelwertdifferenzen einzelner Items. Tabelle 5: Effektstärken der Mittelwertdifferenzen Skala/Item Normintensität ni1 ni2 ni3 ni4 ni5 ni6 ni7 ni8

Cohens d CATI – Web Schrift – Web 0,183 0,075 0,112 0,116 0,129 0,113 0,184 0,083 0,367

0,125 0,112 0,049 0,015 0,063 0,132 0,117 0,168 0,016

Damit kann abschließend festgehalten werden, dass den eingangs formulierten Forschungshypothesen, dass in Web-Befragungen Verletzungen der Norm ,Ablehnung von Ladendiebstahl‘ stärker geduldet werden als in telefonischen Befragungen (H1) bzw. als in schriftlichen Befragungen (H2), zugestimmt werden muss. Es haben sich jeweils signifikante Mittelwertdifferenzen gezeigt, die eine geringere Normintensität in der Web-Befragung bestätigen. Dabei handelt es sich um zwar vergleichsweise geringe Differenzen, die jedoch als beachtenswert einzustufen sind.

97

Monika Taddicken

6 Diskussion und Fazit Insgesamt hat der vorgestellte empirische Methodenvergleich damit bestätigt, dass tatsächlich Effekte der sozialen Entkontextualisierung im Web bestehen, zumindest für den Bereich der Normintensität hinsichtlich der Ablehnung von Ladendiebstählen. In der Web-Befragung wurde jeweils weniger an dieser sozialen Norm orientiert geantwortet als am Telefon oder in der schriftlichen Befragung. Dabei bilden die Effekte der sozialen Entkontextualisierung quasi das Gegenstück zu den Effekten der sozialen Erwünschtheit: Die Ursache beider Fehlerquellen liegt in einer ,unnatürlichen‘ Orientierung an gesellschaftlichen Maßstäben. Soziale Erwünschtheiten entstehen dadurch, dass soziale Werte und Normen in der Befragung stärker beachtet werden als im alltäglichen Handeln, was zu Verzerrungen der Antworten in Richtung gesellschaftliche Wunschvorstellung führt (vgl. Zerbe & Paulhus 1987, 250). Dagegen sorgen Effekte der sozialen Entkontextualisierung für eine verminderte Beachtung sozialer Werte und Normen. Insofern sind diese beiden Fehlerquellen nicht unabhängig voneinander. Grundsätzlich könnten die hier aufgetretenen Effekte sozialer Entkontextualisierung also gleichbedeutend sein mit der Abwesenheit sozialer Erwünschtheiten, was bessere Ergebnisse der Web-Befragung bedeuten würde. Gegen diese Annahme sprechen v. a. zwei Aspekte: Erstens fragt die verwendete Skala zur Erfassung der Normintensität nicht das eigene Verhalten ab, sondern die Einschätzung genereller Verhaltensweisen. Die Antworten sind daher nicht so stark beeinflusst von möglichen Tendenzen der Probanden, sich selber gut darstellen zu wollen. Zweitens wurde dargelegt, dass niedrigere Effekte der sozialen Erwünschtheit in Web-Befragungen v. a. gegenüber den intervieweradministrierten und wesentlich sozial präsenteren Methoden persönlich und telefonisch gegeben sind. Dagegen sind die Unterschiede zur selbstadministrierten und damit ähnlicheren Methode schriftliche Befragung geringer (vgl. Kap. 3.1, außerdem grundlegend Tourangeau & Smith 1996). Für die Effekte der sozialen Entkontextualisierung hat sich hingegen gezeigt, dass sowohl im Vergleich zur telefonischen als auch zur schriftlichen Befragung eine verminderte Normintensität anzunehmen ist. Es ist zu vermuten, dass sich die Effekte der sozialen Erwünschtheit und der sozialen Entkontextualisierung in unterschiedlichen Phasen des Informationsverarbeitungsprozesses der Probanden auswirken. Dieser Prozess kann prinzipiell in vier verschiedene Phasen unterteilt werden: 1. Frage 98

Methodeneffekte von Web-Befragungen

interpretieren, 2. Meinung generieren, 3. Antwort formatieren, 4. Antwort formulieren (vgl. Strack & Martin 1987, 125 ff.; Atteslander 1991, 136; Sudman et al. 1996, 58). Die Effekte der sozialen Erwünschtheit beeinflussen v. a. die Phasen der Antwortformatierung und -formulierung (vgl. Strack & Martin 1987, 138 f.; Sudman et al. 1996, 74 f.). Dagegen ist anzunehmen, dass sich die Effekte der sozialen Entkontextualisierung bereits früher auf die kognitive Verarbeitung auswirken, nämlich auf der Stufe der Meinungsgenerierung. Hier findet das Abgleichen des Fragegegenstands mit Werten und Normen des Probanden statt (vgl. Strack & Martin 1987, 136). Welche Standards dabei als relevant bzw. nicht relevant angesehen werden, hängt zum einen davon ab, welche aktiviert sind (z. B. aufgrund häufiger und/oder zeitnaher Verwendung), zum anderen vom gegebenen Kontext (vgl. Strack & Martin 1987, 134 ff.; Sudman et al. 1996, 59 ff.). Im Falle der Web-Befragung führt dieser – wie ausgeführt – zu einer situativ verminderten Orientierung an soziales Normen. Insgesamt verursachen die Effekte sozialer Entkontextualisierung moderate Antwortdifferenzen, trotzdem dürfen diese systematischen Verzerrungen nicht außer Acht gelassen werden. So bleibt offen, inwiefern diese Effekte auch die Erhebung anderer inhaltlicher Fragestellungen beeinflussen. Dies muss zukünftig überprüft werden. Dabei ist nicht nur an verwandte Konstrukte wie Werthaltungen zu denken, sondern gleichfalls an soziale Einstellungen bzw. Verhaltensabsichten. Inwiefern die hier angenommene erhöhte Ich-Fokussierung der Probanden im Web auch vorteilhaft für die empirische Sozialforschung sein kann, bleibt dabei zunächst offen. Hinsichtlich dieser Studie bleibt fraglich, welchen Einfluss die Rekrutierung von Online-Access-Panel-Mitgliedern auf die vorgestellten Ergebnisse gehabt hat. Ob die Web-Befragungshistorie der Probanden hier eher zu einer Schwächung oder Verstärkung von Methodeneffekten geführt hat oder keinen Einfluss gehabt hat, kann an dieser Stelle nicht beantwortet werden. Es hat sich somit gezeigt, dass akuter Forschungsbedarf besteht. Die hier vorgelegte Studie kann ,nur‘ der Anfang der empirischen Forschung in dieser Richtung sein. Es wird insgesamt deutlich, dass die methodische Grundlagenforschung zur Web-Befragung noch lange nicht als abgeschlossen erklärt werden darf.

99

Monika Taddicken

Anmerkungen 1 2 3 4 5 6 7

8 9

Andere Formen der Online-Forschung, z. B. Online-Focus-Groups, sind hier nicht angesprochen. Sofern diese nicht symbolisch über ,Emoticons‘ visualisiert werden. Wenngleich der gustatorische Kanal allenfalls beim Küssen bedeutsam ist. Der Begriff der Enthemmung wird hier wertfrei verwendet. Die schriftliche Befragung wird dabei als postalische Befragung umgesetzt. Der Eingangstext hierzu lautete: „Nun geht es um die Zustimmung zu einigen Aussagen zum Thema Ladendiebstahl.“ Die Studie wurde dabei als universitäres Projekt vorgestellt. Als Incentivierung für den insgesamt etwa achtminütigen Fragebogen wurde ein Gewinnspiel mit Sachpreisen angeboten. Die Rücklaufquoten der einzelnen Experimentalgruppen waren jeweils vergleichbar hoch (annähernd 75%). Es bezeichnet die Differenz zwischen den Mittelwerten zweier Stichproben dividiert durch die Wurzel aus der mittleren Varianz (vgl. Cohen 1988, 44).

Literatur ADM (2008). Zahlen über den Markt für Marktforschung. Ausgabe 2/2008. Abgerufen am 06.06.2008, Website: http://www.adm-ev.de/. Atteslander, P. (1991). Methoden der empirischen Sozialforschung. Berlin: Walter de Gruyter. Beck, K. (2006). Computervermittelte Kommunikation im Internet. München: Oldenbourg. Biemer, P. P. (1988). Measuring data quality. In R. M. Groves & P. P. Biemer & L. E. Lyberg & J. T. Massey & W. L. Nicholls & J. Waksberg (Eds.), Telephone survey methodology (273–282). New York: Wiley. Biemer, P. P., & Lyberg, L. E. (2003). Introduction to survey quality. Hoboken: Wiley. Booth-Kewley, S., & J. E. Edwards & P. Rosenfeld (1992). Impression management, social desirability, and computer-administration of attitude questionnaires: Does the computer make a difference? Journal of Applied Psychology, 77(4), 562–566. Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81–105. Carini, R. M., & Hayek, J. C., & Kuh, G. D., & Kennedy, J., M., & Ouimet, J. A. (2003). College student responses to web and paper surveys: Does mode matter? Research in Higher Education, 44(1), 1–19. Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum.

100

Methodeneffekte von Web-Befragungen Cote, J. A., & M. R. Buckley (1987). Estimating trait, method, and error variance: Generalizing across 70 construct validation studies. Journal of Marketing Research, 24(3), 315–318. Diekmann, A. (1980). Die Rolle von Normen, Bezugsgruppen und Sanktionen bei Ladendiebstählen. Forschungsbericht Nr. 156 des Instituts für Höhere Studien, Wien. Diekmann, A. (2004). Normintensität. In A. Glöckner-Rist (Hg.), ZUMA-Informationssystem. Elektronisches Handbuch sozialwissenschaftlicher Erhebungsinstrumente. ZIS Version 8.00. Mannheim. Duffy, B., & Smith, K., & Terhanian, G., & Bremer, J. (2005). Comparing data from online and face-to-face surveys. International Journal of Market Research, 47(6), 615–639. Fiske, D. W. (1982). Convergent – discriminant validation in measurements and research strategies. In D. Brinberg & L. H. Kidder (Eds.), Forms of validity in research (77–93). San Francisco: Jossey-Bass. Fuchs, M. (2000). Interviewsituation in computergestützten Befragungen – zur Wirkung von Technologie-Effekten. In Statistisches Bundesamt (Hg.), Neue Erhebungsinstrumente und Methodeneffekte. Spektrum Bundesstatistik, Band 15 (71–92). Stuttgart: Metzler-Poeschel. Fuchs, M. (2003). Kognitive Prozesse und Antwortverhalten in einer Internet-Befragung. Österreichische Zeitschrift für Soziologie, 4, 19–45. Groves, R. M., & Fowler, F. J., Jr., & Couper, M. P., & Lepkowski, J. M., & Singer, E., & Tourangeau, R. (2004). Survey methodology. Hoboken: Wiley. Hancock, D. R., & Flowers, C. P. (2000). Social desirability responding on world wide web and paper-administered surveys. Annual Proceedings of Selected Research and Development Papers Presented at the National Convention of the Association for Educational Communications and Technology, 1–2, 173–179 (ERIC Document Reproduction Service No. EJ 626735). Höflich, J. R. (1999). ,Sex, Lügen und das Internet‘ – Identität und Glaubwürdigkeit in computervermittelten Beziehungen. In P. Rössler & W. Wirth (Hg.), Glaubwürdigkeit im Internet. Fragestellungen, Modelle, empirische Befunde (141–156). München: Fischer. Joinson, A. N. (1998): Causes and implications of disinhibited behavior on the internet. In J. Gackenbach (Ed.), Psychology and the Internet. Intrapersonal, interpersonal, and transpersonal implications (43–60). Burlington: academic press. Joinson, A. N. (2001). Self-disclosure in computer-mediated communication: The role of self-awareness and visual anonymity. European Journal of Social Psychology, 31, 177–192. Kiesler, S., & Siegel, J., & McGuire, T. (1984). Social psychological aspects of computermediated communication. American Psychologist, 39(10), 1123–1134. Köhler, T. (2003). Das Selbst im Netz. Die Konstruktion sozialer Identität in der computervermittelten Kommunikation. Wiesbaden: Westdeutscher Verlag. Költringer, R. (1993). Gültigkeit von Umfragedaten. Wien: Böhlau.

101

Monika Taddicken Lautenschlager, G. J., & Flaherty, V. L. (1990). Computer administration of questions: More desirable or more social desirability? Journal of Applied Psychology, 75(3), 310–314. Levine, S., & Ancill, R. J., & Roberts, A. P. (1989). Assessment of suicide risk by computerdelivered self-rating questionnaire: Preliminary findings. Acta Psychiatrica Scandinavica, 80(3), 216–220. Locke, S. D., & Gilbert, B. O. (1995). Method of psychological assessment, self-disclosure, and experiential differences: A study of computer, questionnaire, and interview assessment formats. Journal of Social Behavior and Personality, 10, 255–263. Mühlenfeld, H.-U. (2004). Der Mensch in der Online-Kommunikation. Zum Einfluss webbasierter, audiovisueller Fernkommunikation auf das Verhalten von Befragten. Wiesbaden: VS Verlag. Pürer, H. (2003). Publizistik- und Kommunikationswissenschaft. Ein Handbuch. Konstanz: UTB Wissenschaft. Rosenfeld, P., & Booth-Kewley, S., & Edwards, J. E., & Thomas, M. D. (1996). Responses on computer surveys: Impression management, social desirability, and the Big Brother syndrome. Computers in Human Behavior, 12(2), 263–274. Sassenberg, K. (1999). Sehen und gesehen werden: Normorientierung unter Anonymität. Lengerich: Pabst Science Publishers. Schnell, R., & Hill, P. B., & Esser, E. (2005). Methoden der empirischen Sozialforschung. München: Oldenbourg. Siegel, J., & Dubrovsky, V., & Kiesler, S., & McGuire, T. W. (1986). Group processes in computer-mediated communication. Organizational Behaviour and Human Decision Processes, 37, 157–187. Short, J., & Williams, E., & Christie, B. (1976). The social psychology of telecommunications. London: Wiley. Sproull, L., & Kiesler, S. (1986). Reducing social context cues: Electronic mail in organizational communication. Management Science, 32(11), 1492–1512. Sproull, L., & Kiesler, S. (1991). Two-level perspective on electronic mail in organizations. Journal of Organizational Computing, 2(1), 125–134. Strack, F., & Martin, L. L. (1987). Thinking, judging, and communicating: A process account of context effects in attitude surveys. In H.-J. Hippler & N. Schwarz & S. Sudman (Eds.), Social information processing and survey methodology (123–148). New York: Springer. Sudman, S., & Bradburn, N. M., & Schwarz, N. (1996). Thinking about answers: The application of cognitive processes to survey methodology. San Francisco: Jossey-Bass. Taddicken, M. (2008a). Methodeneffekte bei Web-Befragungen: Einschränkungen der Datengüte durch ein ,reduziertes Kommunikationsmedium‘?. Köln: Halem. Taddicken, M. (2008b). Die Bedeutung von Methodeneffekten der Online-Befragung in der empirischen Sozialforschung: Zusammenhänge zwischen computervermittelter Kommunikation und erreichbarer Datengüte. In N. Jackob & H. Schoen & T. Zerback (Hg.), Sozialforschung im Internet. Methodologie und Praxis der Online-Befragung. In Druck.

102

Methodeneffekte von Web-Befragungen Taddicken, M. (2008c). Über die Bedeutung des Effekts sozialer Erwünschtheit in der Web-Befragung. GfK Jahrbuch, 2, 136–155. Tourangeau, R., & Smith, T. W. (1996). Asking sensitive questions. The impact of data collection mode, question format and question context. Public Opinion Quarterly, 60(2), 275–304. van Meurs, A & Saris, W. E. (1989). Memory effects in MTMM studies. In W. E. Saris & A. van Meurs (Eds.), Evaluation of measurement instruments by meta-analysis of multitrait multimethod studies (134–146). Amsterdam: Royal Netherlands Academy of Arts and Sciences. Weisband, S., & Atwater, L. (1999). Evaluating self and others in electronic and face-toface groups. Journal of Applied Psychology, 84(4), 632–639. Zerbe, W. J., & Paulhus, D. L. (1987). Socially desirable responding in organizational behavior: A reconception. Academy of Management Review, 12(2), 250–264.

103

Monika Taddicken

Anhang

Itemliste Normintensität Item

Itemformulierung

ni1

Die Unternehmen verdienen so viel, dass es gar nicht ins Gewicht fällt, wenn einmal etwas gestohlen wird.

ni2

Es ist durchaus verständlich, wenn jemand, der zu den sozial schlechter gestellten Bevölkerungsschichten zählt, einen Ladendiebstahl begeht.

ni3 (n)

In unserer Wohlstandsgesellschaft gibt es niemanden mehr, der so arm ist, dass er stehlen muss.

ni4

Es wird so viel Geld für Werbung ausgegeben, dass es gar nichts mehr ausmacht, wenn man in einem Geschäft mal etwas ‚mitgehen‘ lässt.

ni5

Bei den heutigen Preisen muss man sich nicht wundern, wenn Leute Ladendiebstähle begehen.

ni6

Bei den Gewinnen der Unternehmen ist Ladendiebstahl kein Verbrechen mehr.

ni7

Wenn Leute arbeitslos oder in der Ausbildung sind und ab und zu etwas ‚mitgehen‘ lassen, sollte man schon mal ein Auge zudrücken.

ni8 (n)

Wer einen Ladendiebstahl begeht, müsste eigentlich ein schlechtes Gewissen haben.

(n) = negative Formulierung Quelle: Diekmann 1980: 10.

104

2 Computerbasierte Befragungen

Joachim Gerich

Joachim Gerich

Multimediale Elemente in der Computerbasierten Datenerhebung Der Einfluss Auditiver und Visueller Elemente auf das Antwortverhalten in Befragungen Zusammenfassung Die Entwicklungen im Bereich der computerbasierten Erhebungsmethoden haben in den letzten Jahrzehnten zu einer Ausdifferenzierung möglicher Erhebungsarten geführt. Insbesondere durch die Nutzung multimedialer Elemente besteht die Möglichkeit, ein unterschiedliches Ausmaß an „Human Interfaces“ unter Ausnutzung verschiedener Kommunikationskanäle in Erhebungsinstrumenten zu kombinieren. Der Frage, welche Auswirkungen diese multimedialen Elemente auf das Antwortverhalten haben, wird im Rahmen dieses Beitrages anhand der Ergebnisse zweier Methodenexperimente nachgegangen. Erste Ergebnisse legen nahe, dass die Datenqualität in selbstadministrierten Erhebungen durch die Nutzung von „Human Interfaces“ verbessert werden könnte.

Abstract Multimedia Features in Computer Based Data Collection The Influence of Auditory and Visual Features on Response Behavior in Surveys Developments of computer based methods have brought a more diverse spectrum of data collection modes within the recent decades. Especially the implementation of multimedia elements allows the inclusion of human interfaces to a different extent, facilitated by the combination of various communication channels. The question, in which way response behavior is affected by these multimedia features, is focused by means of two experimental studies. First results suggest improved data quality with the implementation of human interfaces.

107

Joachim Gerich

1 Einleitung In den vergangenen Jahrzehnten ist eine zunehmende Diversifizierung von Erhebungsmethoden zu beobachten. Neben verschiedenen Entwicklungspfaden beschreiben Groves et al. (2004, 140) eine „Evolution“ der SurveyTechnologie vom Ausgangspunkt der Face-to-Face-Befragung hin zu unterschiedlichen Techniken der selbstadministrierten Befragung (SAQ). Beginnend mit der Papier-und-Bleistift-Variante wurden durch die Nutzung von Computern zur Datenerhebung und den verfügbaren technischen Möglichkeiten zur Implementierung multimedialer Elemente verschiedene Formen computerbasierter SAQ’s entwickelt. Damit erweiterte sich der Entwicklungsstrang von textbasierten CASI1-Befragungen zu Audio-unterstützten (A-CASI) bis hin zu Video-gestützten (V-CASI) Computer-Befragungen. Durch diese Entwicklungen wurde die ursprüngliche Dichotomie von Interviewer- versus Selbstadministration durch ein breites Spektrum möglicher Erhebungsformen in Kombination unterschiedlicher Kommunikationskanäle und unter Nutzung verschiedener „Human Interfaces“ (z. B. menschliche Stimme oder Videoaufnahmen) aufgelöst. Dabei stellt sich zunehmend die Frage, welche Auswirkungen auf das Antwortverhalten mit diesen neuen Möglichkeiten verbunden sind und inwiefern sich Forschungserkenntnisse, welche sich auf die ursprüngliche Dichotomie von Interviewer- und Selbstadministration bezogen, auf neuere Entwicklungen anwenden lassen (Cassell & Miller 2007 betiteln dazu beispielsweise ihren Beitrag mit „Is it selfadministration if the computer gives you encouraging looks?“). Als Argumente, welche für die Anwendung einer Face-to-Face-Befragung angeführt werden, gelten u. a. das höhere Ausmaß an Situationskontrolle und Unterstützungsmöglichkeiten (z. B. Erläuterung von Frageinhalten und Antwortmöglichkeiten, Entlastung der Befragten durch InterviewerInnen). Weiterhin wird vermutet, dass durch die soziale Interaktionssituation Aufmerksamkeit und Befragungsmotivation gesteigert und daher Satisficingstrategien2 reduziert werden können, was zuweilen unter dem Konzept des Rapports subsumiert wird (Cassell & Miller 2007; Groves et al. 2004; Dykema et al. 1997; Sproull et al. 1996). Als Argumente gegen Anwendung einer Face-to-Face-Befragung (und damit in der Regel Argumente zur Durchführung von SAQ) werden soziale Einflüsse der InterviewerInnen auf das Antwortverhalten (d. h. Interviewereffekte aufgrund der Variabilität im Verhalten der InterviewerInnen, wahrgenommener Personenmerkmale der InterviewerInnen oder einfach aufgrund sozialer Präsenz), aber auch die Beeinträchtigung der kognitiven Bearbeitung der Fragen aufgrund der Fremd108

Multimediale Elemente in der Computerbasierten Datenerhebung

steuerung des Interviewprozesses angeführt (De Leeuw et al. 2003; Krysan & Couper 2003; Dillman 2000; Tourangeau & Smith 1996; Sudman & Bradburn 1974). In einer Reihe bisheriger Untersuchungen konnte bei der Anwendung von CASI- und insbesondere A-CASI-Methoden eine verbesserte Datenqualität (z. B. höhere Antwortbekennung, geringere Wünschbarkeit, geringeres Ausmaß an Item-Nonresponse) im Vergleich zu Paper & Pencil sowie Faceto-Face festgestellt werden (De Leeuw 2002; De Leeuw et al. 1995). Als Hauptgrund dafür wird neben technischen Gründen (z. B. automatisierte Antwortkontrolle und Filtersteuerung) die, im Vergleich zur Papierbefragung, nochmals erhöhte Privatheit der Erhebungssituation (höhere Selbstaufmerksamkeit bei gleichzeitig geringerem Umgebungseinfluss) angeführt (O’Reilly et al. 1994; Weisband & Kiesler 1996; De Leeuw et al. 1997; Nicholls et al. 1997; Turner et al. 1998; Richman et al. 1999; Schneider & Edwards 2000; Hewitt 2002). Zu Erweiterung von CASI-Befragungen durch Videoelemente gibt es bisher noch wenige Untersuchungen (Gerich 2008; Fuchs & Funke 2008, 2007 im Rahmen von Web-Befragungen). In den beiden nachfolgend dargestellten Methodenexperimenten sollen insbesondere die Eigenschaften von V-CASI im Kontrast zu anderen Erhebungsformen untersucht werden. Einerseits ist die sukzessive Erweiterung selbstadministrierter Erhebungen durch Audio- und Videoelemente mit einer Wiedereinführung sozialer Präsenz (Social Cues) in SAQ’s verbunden. Entsprechend den oben angeführten Argumenten könnte durch ein höheres Ausmaß an Social Cues die soziale Präsenz wiederum erhöht werden und damit „virtuelle“ Interviewereffekte auftreten (Couper 2005; Nass et al. 1997; Sproull et al. 1996; Walker et al. 1994). Auf der anderen Seite könnte vermutet werden, dass durch die „Natürlichkeit“ der Kommunikationssituation auf Grund eines stärkeren Ausmaßes an Social Cues die Motivation der Befragten und die Konzentration auf den Frage- und Antwortprozess unterstützt wird (Joinson et al. 2007). D. h., dass die Befragten bei den – im Zuge der Beantwortung der Fragen nötigen – kognitiven Leistungen (wie comprehension, retrieval, judgement, formatting, vgl. Tourangeau et al. 2000) besser unterstützt werden und daher die Wahrscheinlichkeit der Antwortverzerrung aufgrund von Satisficing reduziert wird. Ähnliche Argumente werden auch von Sproull et al. (1996) und Walker et al. (1994) vorgebracht. Weiterhin kann angeführt werden, dass mit zusätzlicher Medienerweiterung die Anzahl der simultan angebotenen Kommunikationskanäle erhöht wird (Channel Richness). Aus kommunikationstheoretischer Sicht wäre daher ebenfalls anzunehmen, dass bei höherer Channel Richness die Aufmerksamkeit und das Frageverständnis zunehmen und die Datenqualität 109

Joachim Gerich

aufgrund geringerem Satisficing erhöht wird (Gerich 2008; Groves et al. 2004; Daft & Lengel 1986). Andere Autoren argumentieren allerdings dagegen, dass – abhängig von personalen Merkmalen – redundant dargebotene multimodale Informationen auch kontraproduktiv für die kognitive Verarbeitung sein können, wenn diese z. B. als unnötige zusätzliche Unterstützung interpretiert werden (Schnotz & Kürschner 2007). Im Folgenden werden die Ergebnisse zweier Methodenexperimente präsentiert. In beiden Experimenten wurden die Auswirkungen der Variation der eingesetzten Kommunikationskanäle und der sozialen Elemente in Befragungen auf bestimmte Aspekte der Datenqualität untersucht. Einerseits beinhaltet dies die grundsätzliche Frage nach Mode-Unterschieden, wenn sich die Erhebungsarten nach dem Ausmaß der eingesetzten Kommunikationskanäle und der Social Cues unterscheiden. Zum anderen sollte die Frage beantwortet werden, in welche Richtung die Datenqualität durch eine Erhöhung der Kommunikationskanäle und der Social Cues beeinflusst wird. Als Aspekt der Datenqualität wird im ersten Experiment das Ausmaß der Antworteditierung durch soziale Wünschbarkeit fokussiert. Im zweiten Experiment wird die Beurteilung der Datenqualität anhand des konkreten Phänomens der Genderdifferenzen bei der Angabe der Anzahl der SexualpartnerInnen vorgenommen.

2 Experiment I Im Rahmen dieses Methodenexperiments soll untersucht werden, in welcher Weise Einflüsse sozialer Wünschbarkeit auf das Antwortverhalten durch den Einsatz unterschiedlicher Kommunikationskanäle und sozialer Elemente in Erhebungen moderiert werden. Das Ausmaß sozialer Wünschbarkeit wird dabei in dreifacher Weise betrachtet. Einerseits anhand des Verteilungsvergleiches direkter Messungen mittels Wünschbarkeitsskala. Andererseits anhand des Verteilungsvergleiches indirekter Messung in Form heikler Fragen (Ausmaß der selbstberichteten Normabweichung), indem davon ausgegangen wird, dass unter dem Einfluss sozialer Wünschbarkeit auf das Antwortverhalten Underreporting zu beobachten ist. Weiterhin wird das Ausmaß der „Social Desirability Contamination“ (Ganster et al. 1983) nach Erhebungsarten überprüft. Damit ist das Ausmaß des Einflusses sozialer Wünschbarkeit auf die Messung und die Assoziation substantieller Variablen gemeint. Wenn beispielsweise die Assoziation zweier Variablen untersucht wird, deren Messungen beide durch 110

Multimediale Elemente in der Computerbasierten Datenerhebung

soziale Wünschbarkeit beeinflusst werden, so ist die beobachtete Korrelation der beiden interessierenden Variablen zu einem bestimmten Anteil durch ihre gemeinsam geteilte Varianz in sozialer Wünschbarkeit begründet. Im Rahmen dieses Experiments soll das Ausmaß dieser Kontaminierung als Funktion der Anzahl der sozialen Elemente bzw. als Funktion der Anzahl der Kommunikationskanäle der eingesetzten Erhebungsmethoden analysiert werden. Als theoretischer Rahmen der Prüfung der Kontaminierung wird die Kontroll-Theorie nach Gottfredson & Hirschi (1990) herangezogen.3 Entsprechend der Kontroll-Theorie wird angenommen, dass das Ausmaß der Normabweichung mit geringer Selbstkontrolle der Personen steigt. Mangelnde Selbstkontrolle wird dabei als Persönlichkeitseigenschaft aufgefasst „that increases the likelihood that individuals will be unable to resist the easy, immediate gratification that crime and analogous behavior seductively, and almost ubiquitously, present in everyday life“ (Pratt & Cullen 2000, 932). Die erwartete Beziehung zwischen Selbstkontrolle und Normabweichung wurde in zahlreichen Untersuchungen bestätigt (Metaanalysen von Pratt & Cullen 2000 bzw. für den deutschsprachigen Raum Bentrup et al. 2001). Es wird jedoch angenommen, dass beide Variablen (Normabweichung und Selbstkontrolle) durch soziale Wünschbarkeit beeinflusst werden. Zur Prüfung des Ausmaßes der Wünschbarkeits-Kontaminierung wird daher die Auswirkung unterschiedlicher Datenerhebungsmethoden hinsichtlich sozialer Wünschbarkeit als Kontrollvariable im Rahmen der Assoziation von Selbstkontrolle und Normabweichung untersucht. Von höherer Kontaminierung wird dann ausgegangen, wenn ein Einfluss sozialer Wünschbarkeit auf Normabweichung festzustellen ist bzw. der partielle Einfluss von Selbstkontrolle auf Normabweichung durch die Kontrolle sozialer Wünschbarkeit reduziert wird. Im Sinne der Grundfrage des vorliegenden Beitrages wird ein geringeres Ausmaß an Kontaminierung und eine stärkere substanzielle Assoziation zwischen Selbstkontrolle und Normabweichung als höhere Datenqualität bezeichnet.

2.1 Methode Drei Skalen (selbst berichtete Normabweichung, Selbstkontrolle und Skala zur Erfassung sozialer Wünschbarkeit4) wurden bei einem Convenience Sample von 350 Studierenden der Universität Linz erhoben. Die Erhebung wurde in einem zentralen öffentlichen Bereich des Universitätscampus (Aufenthaltsräume in der Nähe der Universitäts-Cafeteria) durchgeführt. 111

Joachim Gerich

Rund 52% der Befragten waren männlich, das Durchschnittsalter betrug 24,11 Jahre (SD = 3,92). Die RespondentInnen wurden anhand von Zufallszahlen einer von sieben Erhebungsarten zugeteilt (selbstadministrierte Paper & Pencil-Befragung [PP], Face-to-Face-Befragung [FTF], textbasierte CASI-Befragung [Text-CASI], audio-unterstützte CASI-Befragung ohne Text [A-Only CASI], audio-unterstützte CASI-Befragung mit Text [A-CASI], Video-unterstützte CASI-Befragung ohne Text [V-Only CASI] und Video-unterstützte CASI-Befragung mit Text [V-CASI]). Die Gestaltung der CASI-Instrumente unterscheidet sich bis auf die unterschiedlichen Medienelemente nicht. Eine ausführliche Beschreibung der Erhebungsinstrumente ist in Gerich (2008) dargestellt. In allen Audio- und Videoversionen wurde dieselbe weibliche Interviewerin eingesetzt. Die Experimentalgruppen unterscheiden sich weder signifikant nach dem Alter (F[6,341] = 0,643; p = 0,696) noch nach dem Geschlecht (χ2[6] = 4,017; p = 0,674). Diese sieben Erhebungsarten unterscheiden sich nach der Anzahl der verwendeten Kommunikationskanäle (Text-, Audio- und Videokanal) und nach der Anzahl der eingesetzten sozialen Elemente (auditive Elemente, d. h. menschliche Stimme, visuelle Elemente, d. h. virtuelle oder reale Sichtbarkeit der InterviewerInnen und Elemente [non-]verbaler Feedbackmöglichkeiten, d. h. reale Interaktionsmöglichkeit). tab01 Tabelle 1: Klassifikation der Erhebungsformen Erhebungsart (n = 50)

Anzahl Kommunikationskanäle

Anzahl an Social Cues

PP

1 (Text)

0

T-CASI

1 (Text)

0

A-Only CASI

1 (Audio)

1 (auditiv)

A-CASI

2 (Audio & Text)

1 (auditiv)

V-Only CASI

2 (Video & Audio)

2 (auditiv & visuell)

V-CASI

3 (Video, Audio & Text)

2 (auditiv & visuell)

FTF

2 (Video & Audio)

3 (auditiv, visuell & non-verbales Feedback)

Tabelle 1 zeigt die Klassifikation der sieben Erhebungsarten nach der Anzahl einbezogener Kommunikationskanäle und sozialer Elemente. Die Anzahl der Kommunikationskanäle korreliert zwar mit der Anzahl an Social Cues, 112

Multimediale Elemente in der Computerbasierten Datenerhebung

da soziale Elemente nur durch zusätzliche Kommunikationskanäle einbezogen werden können. Die Klassifikationen sind jedoch nicht redundant, da der Textkanal nicht notwendigerweise mit den übrigen Kanälen kombiniert werden muss. Da beispielsweise die FTF-Befragung ohne schriftliche Unterstützung durchgeführt wurde, weist diese zwar das höchste Ausmaß an sozialen Elementen auf, beinhaltet durch den fehlenden Text jedoch nur zwei Kommunikationskanäle.

2.2 Ergebnisse Tabelle 2 zeigt die Mittelwerte der direkten (Scores der Wünschbarkeitsskala) und indirekten Messung (Ausmaß der selbstberichteten Normabweichung) sozialer Wünschbarkeit getrennt nach der Klassifikation der Erhebungsarten (Social Cues und Anzahl der Kommunikationskanäle). tab02 Tabelle 2: Mittelwerte, Standardabweichung (in Klammern) und Korrelation für soziale Wünschbarkeit und Normabweichung getrennt nach dem Ausmaß der Social Cues und der Anzahl an Kommunikationskanälen Wünschbarkeit Mittelwert (SD)

Norm. abweichung Mittelwert (SD)

Korrelation

0

2,56 (0,38)

0,35 (0,17)

–0,56**

1

2,58 (0,40)

0,33 (0,16)

–0,46**

2

2,56 (0,41)

0,35 (0,15)

–0,35**

3

2,62 (0,44)

0,33 (0,15)

–0,18

Kommunikationskanäle 1

2,58 (0,39)

0,35 (0,17)

–0,55**

2

2,59 (0,41)

0,32 (0,15)

–0,28**

3

2,53 (0,40)

0,39 (0,16)

–0,39**

Klassifikation der Erhebungsarten Social Cues

Wünschbarkeit: Mittlerer Summenscore (1–4), höhere Ausprägungen korrespondieren mit stärkerer Tendenz zu sozialer Wünschbarkeit. Normabweichung: Mittlerer Summenscore selbstberichteten normabweichenden Verhaltens (0–1), höhere Ausprägungen korrespondieren mit stärkerer Normabweichung.

113

Joachim Gerich

Die Ergebnisse zeigen keine signifikanten Differenzen bei Wünschbarkeitsscores und Normabweichung (ausgenommen Anova für Normabweichung nach Kommunikationskanälen: p = 0,016). Darüber hinaus ist bezüglich der Wünschbarkeitsscores und der Normabweichung weder hinsichtlich der Anzahl der Kommunikationskanäle noch hinsichtlich der Social Cues ein monotoner Zusammenhang ersichtlich. Es kann somit auf Basis der Verteilungsvergleiche weder hinsichtlich der Channel-Richness noch hinsichtlich des Ausmaßes der sozialen Elemente in den Befragungsformen ein systematischer Einfluss im Sinne einer Erhöhung oder Reduzierung sozial wünschbarer Antworten bzw. des Underreportings von Normabweichungen festgestellt werden. Anders stellt sich jedoch das Bild bezüglich der Wünschbarkeits-Kontaminierung dar. In Tabelle 2 sind auch die Korrelationen zwischen Wünschbarkeit und Normabweichung getrennt nach dem Ausmaß der Social Cues bzw. der Kommunikationskanäle dargestellt. Insgesamt kann bestätigt werden, dass das Ausmaß der selbstberichteten Normabweichung mit höherer sozialer Wünschbarkeit abnimmt (die Korrelation für das Gesamtsample beträgt r = –0,42). Weiterhin kann anhand der Interaktionseffekten festgestellt werden, dass die Korrelation zwischen Wünschbarkeit und Normabweichung mit dem Ausmaß der Social Cues und der Anzahl an Kommunikationskanälen variiert. Es ist sowohl die Interaktion von Wünschbarkeit und Social Cues (p = 0,001) als auch die Interaktion von Wünschbarkeit mit der Anzahl der Kommunikationskanäle (p = 0,026) signifikant. Es kann zudem in Tabelle 2 festgestellt werden, dass die Stärke des Zusammenhanges zwischen Wünschbarkeit und Normabweichung monoton mit der Anzahl der Social Cues der Erhebungsarten abnimmt. Obwohl die Korrelation zwar auch mit der Anzahl der Kommunikationskanäle variiert (die stärkste Korrelation ist bei den rein textbasierten Erhebungsarten zu beobachten), ist wiederum keine systematisch monotone Abnahme der Korrelation bei höherer Anzahl an Kommunikationskanälen festzustellen. Die Ergebnisse legen somit nahe, dass die Wünschbarkeits-Kontamination mit höherem Ausmaß sozialer Elemente in Befragungen reduziert wird. Die Ergebnisse sprechen in geringerem Ausmaß für die Gültigkeit der Annahme, dass die Wünschbarkeits-Kontaminierung mit der Anzahl an einbezogenen Kommunikationskanälen reduziert werden kann. In Tabelle 3 sind – entsprechend den Annahmen der Kontrolltheorie – die Ergebnisse einer linearen Regression für Normabweichung mit den Prädiktoren Selbstkontrolle und Geschlecht sowie sozialer Wünschbarkeit und Lebensalter als Kontrollvariablen dargestellt. tab03 114

Multimediale Elemente in der Computerbasierten Datenerhebung

Tabelle 3: Regression hinsichtlich Normabweichung getrennt nach Erhebungsmethoden6 PP

FTF

T-CASI

A-only

A-CASI

V-only

V-CASI

Gesamt

Wünschbarkeit

–0,52** (–0,61)

0,07 (–0,18)

–0,46** (–0,53)

–0,48** (–0,54)

–0,30° (–0,38)

–0,13 (–0,31)

–0,22 (–0,39)

–0,30** (–0,42)

Selbstkontrolle

–0,20 (–0,41)

–0,26° (–0,17)

–0,11 (–0,36)

–0,14 (–0,38)

–0,19 (–0,21)

–0,46** (–0,55)

–0,43** (–0,51)

–0,23** (–0,36)

Geschl. (männl.)

0,04

0,61**

0,10

–0,10

0,20

–0,02

0,10

0,11*

Alter

–0,14

–0,06

–0,13

–0,15

–0,17

–0,10

0,18

–0,08°

2

0,41**

0,37**

0,30**

0,34**

0,22*

0,29**

0,33**

0,23**

2

0,21**

<0,01

0,15**

0,17**

0,07°

0,01

0,04

0,07**

49

49

49

49

48

46

45

335

R

R (W) n

Standardisierte Regressionskoeffizienten (OLS). °: p < 0,10, *: p < 0,05, **: p < 0,01 Bivariate Korrelationen in Klammern R2(W): Partielles R2 durch soziale Wünschbarkeit

Für die Gesamtstichprobe zeigt sich erwartungsgemäß ein signifikanter Einfluss von Selbstkontrolle (höheres Ausmaß an selbstberichteter Normabweichung bei geringerer Selbstkontrolle) und ein moderater Einfluss des Geschlechts (Männer berichten häufiger Normabweichungen als Frauen). Wie schon aus den bivariaten Zusammenhängen zu erwarten, ist ein signifikanter Wünschbarkeitseinfluss zu beobachten. Nachdem die bivariate Korrelation zwischen Selbstkontrolle und Normabweichung r = 0,36 beträgt, reduziert sich der direkte Einfluss der Selbstkontrolle bei Kontrolle der Wünschbarkeitsscores. Es zeigt sich somit wie erwartet, dass ein Teil des Zusammenhanges zwischen Selbstkontrolle und Normabweichung durch deren gemeinsame Korrelation mit sozialer Wünschbarkeit zu erklären ist (der Anteil der erklärten Streuung der Normabweichung durch Selbstkontrolle beträgt im bivariaten Fall 0,13 und unter Kontrolle der Wünschbarkeit 0,05). Betrachtet man die Regressionsmodelle getrennt nach den Erhebungsmethoden, zeigen sich allerdings – unter einschränkender Berücksichtigung der geringeren Fallzahlen – deutliche Unterschiede. Die höchste erklärte Gesamtvarianz wird im Rahmen der Paper & Pencil-Befragung erreicht, die jedoch zu mehr als die Hälfte auf den Einfluss sozialer Wünschbarkeit zurückzuführen ist. Kontrastierend dazu ist im Rahmen der FTF-Befragung der geringste Einfluss sozialer Wünschbarkeit zu beobachten. Die Stärke des Einflusses der Selbstkontrolle bewegt sich hier in der Größenordnung des Gesamtsamples. Der höchste Erklärungsanteil geht jedoch von einem überdimensionalen Geschlechter-Effekt aus. Der partielle Einfluss von Selbst115

Joachim Gerich

kontrolle erreicht nur im Rahmen der beiden Videobefragungen das Signifikanzniveau von p < 0,05 (der Einfluss sozialer Wünschbarkeit ist hier nicht signifikant). Umgekehrt zeigt sich bei Text-CASI und den beiden Audio-gestützten CASI-Befragungen ein geringerer (nicht signifikanter) Einfluss von Selbstkontrolle und stärkere Einflüsse von Wünschbarkeit. Die Mode-Unterschiede hinsichtlich des Einflusses sozialer Wünschbarkeit können bestätigt werden: Die Interaktion von Erhebungsmethode und Sozialer Wünschbarkeit ist hinsichtlich der Normabweichung mit p = 0,024 signifikant. Die Interaktion von Selbstkontrolle und Erhebungsarten ist jedoch nicht signifikant (p = 0,708). Werden die Erhebungsarten nach der Anzahl der Social Cues bzw. der Anzahl an Kommunikationskanälen kategorisiert, so zeigt sich für beide eine signifikante Interaktion mit sozialer Wünschbarkeit (p[Social Cues × Wünschbarkeit] = 0,001, p[Kommunikationskanäle × Wünschbarkeit] = 0.024). Die Erhöhung von R2 ist jedoch im Falle der Social Cues höher (ΔR2 = 0,028) als im Falle der Anzahl der Kommunikationskanäle (ΔR2 = 0,012). Der Interaktionseffekt von Selbstkontrolle und Social Cues wie auch jener von Selbstkontrolle und Anzahl an Kommunikationskanälen ist nicht signifikant.

2.3 Diskussion Auf der Basis von Verteilungsvergleichen der direkten und indirekten Messung sozial wünschbarer Antworten zeigen sich kaum Hinweise für ModeUnterschiede. Daher sind auch keine Hinweise dafür zu finden, dass das Ausmaß der sozialen Wünschbarkeit durch die Anzahl der in die Erhebung einbezogenen Kommunikationskanäle oder auch durch das Ausmaß der sozialen Elemente in der Erhebung beeinflusst wird. Insbesondere unter Berücksichtigung der geringen Fallzahl je Erhebungsart ist dieses Ergebnis von daher nicht überraschend, als einerseits auch in zahlreichen anderen Untersuchungen entweder keine Mode-Unterschiede festgestellt oder nur geringe Effektstärken berichtet werden (vgl. Booth-Keweley et al. 2007). Die Prüfung der Wünschbarkeits-Kontamination zeigt jedoch im Rahmen dieser Untersuchung deutliche Hinweise dafür, dass die Video-basierten Erhebungsarten den übrigen dahingehend überlegen scheinen, als hier der stärkste Einfluss von Selbstkontrolle bei gleichzeitig geringem Wünschbarkeits-Bias zu beobachten ist. Weiterhin zeigen sich Hinweise dafür, dass die Wünschbarkeits-Kontamination mit dem Einbezug von Elementen menschlicher Kommunikation reduziert werden kann. Allerdings ist zu berücksichtigen, dass offensichtlich Unterschiede zwischen virtuellen und realen Inter116

Multimediale Elemente in der Computerbasierten Datenerhebung

viewerInnen bestehen. Der überdimensionale Geschlechtereffekt in der Face-to-Face-Befragung ist vermutlich dadurch erklärbar, dass die eingesetzten InterviewerInnen überwiegend weiblich waren und daher von einem geschlechtsspezifischen InterviewerInneneffekt auszugehen ist. Für die Hypothese der Channel-Richness, wonach die Wünschbarkeits-Kontamination durch den Einbezug möglichst unterschiedlicher Kommunikationskanäle reduziert werden könnte, zeigen sich auf der Basis der vorliegenden Untersuchung jedoch keine eindeutigen Hinweise. Es ist allerdings anzumerken, dass die vorliegende Untersuchung klarerweise einen explorativen Charakter aufweist. Eine Verallgemeinerung der Ergebnisse ist nicht nur durch die relativ geringe Stichprobengröße und die spezifische Befragtenpopulation beschränkt. Obwohl auf eine größtmögliche Vergleichbarkeit der Erhebungsinstrumente geachtet wurde, ist die Differenz der Erhebungsarten nach Anzahl der Kommunikationskanäle und Social Cues selbstverständlich auch mit anderen Eigenschaften konfundiert. Beispielsweise ist zu berücksichtigen, dass in den hier präsentierten Analysen etwaige Auswirkungen der Computerisierung der Erhebung, der Verwendung von Kopfhörern (im Rahmen der auditiv unterstützten CASI-Befragungen) oder spezifische Eigenschaften der (konstanten) virtuellen Interviewerin nicht gesondert berücksichtigt wurden.

3 Experiment II In einem zweiten Experiment wurde die Videobefragung detaillierter fokussiert, indem eine weibliche und ein männlicher (virtuelle/r) Interviewer/in im Rahmen der CASI-Befragung eingesetzt wurde. Diese beiden Erhebungsformen wurden zu einer rein textbasierten CASI-Befragung als Referenzmethode kontrastiert. Die zentralen Fragen der Untersuchung richteten sich einerseits wiederum darauf, inwiefern das Antwortverhalten durch die Einführung sozialer Elemente in Form virtueller InterviewerInnen beeinflusst wird. Zudem sollten durch die Variation des Geschlechtes der virtuellen InterviewerInnen mögliche virtuelle Gender-of-Interviewer-Effekte kontrolliert werden. Der Aspekt der Datenqualität wird anhand der Frage nach der (lebenszeitlich bezogenen) Anzahl an SexualpartnerInnen untersucht. Bei der Frage nach der Anzahl an SexualpartnerInnen handelt es sich zunächst um eine Kategorie sensitiver Fragen. Infolge dessen ist bei diesen Fragen (aufgrund des Eindringens in die Privatsphäre der RespondentInnen) mit Antwortverweigerungen oder verzerrten Antworten zu rechnen (z. B. 117

Joachim Gerich

Groves et al 2004, 224 f.; Catania et al. 1996; Tourangeau & Smith 1996). Zum anderen handelt es sich um eine Kategorie der biografischen Faktfragen, welche sich auf bestimmte Ereignisse bezieht, deren korrekte Beantwortung durch Gedächtnisleistungen (Vergessen) beschränkt ist, jedoch jedenfalls mit erhöhten kognitiven Anforderungen verbunden ist, da neben der Aufgabe des Erinnerns auch das Zählen oder Schätzen der Anzahl erforderlich ist. In Abhängigkeit unterschiedlicher Faktoren, insbesondere der Zeitspanne, auf welche sich die zu erinnernden Ereignisse beziehen, ist daher bei diesen Fragen mit Antwortfehlern zu rechnen (Tourangeau et al. 2000). Im Besonderen ist allerdings bei der Frage nach der lebenszeitlichen Anzahl an Sexualpartnern über verschiedenste Studien unterschiedlicher Stichproben und Kulturen hinweg eine Genderdiskrepanz der Antworten festzustellen, in dem Frauen im Vergleich zu Männern in der Regel im Durchschnitt eine geringere Anzahl an SexualpartnerInnen angeben (Wiedermann 1997; Catania 1996; Wadsworth et al. 1996). Setzt man geschlossene Populationen voraus (d. h. heterosexuelle Sexualkontakte finden zwischen Personen statt, die sich in derselben betrachteten Population befinden), dann sollte das Verhältnis der durchschnittlichen Sexualkontakte von Männern und Frauen dem Verhältnis des Anteils von Frauen und Männern in der Population entsprechen (Wadsworth et al. 1996). In den meisten Untersuchungen ist jedoch die Genderdiskrepanz der durchschnittlichen Anzahl der angegebenen SexualpartnerInnen größer, als auf der Basis der Geschlechterverteilung zu erwarten wäre. Erklärungsversuche für diese Genderdiskrepanz beziehen sich einerseits auf Sampling- und andererseits auf Responseaspekte. Zu den Sampling-basierten Erklärungen zählt das Problem, dass Stichproben in der Regel keine geschlossenen Populationen abbilden. Es ist daher die Möglichkeit zu berücksichtigen, dass Personen eines bestimmten Geschlechtes mehr SexualpartnerInnen aus einer Personengruppe akkumulieren, welche in der Stichprobe unterrepräsentiert oder nicht inkludiert ist (Brown & Sinclair 1999; Wiedermann 1997). Im Rahmen Response-basierter Erklärungen der Gender-Differenz wird unter anderem angeführt, dass Männer und Frauen unterschiedliche gesellschaftliche Erwartungen hinsichtlich akzeptierter Normen sexuellen Verhaltens wahrnehmen (Jonason & Fisher 2008; Schmitt 2005). Damit verbunden wird ein kultureller „Double-Standard“ begründet, gemäß dem vermutet wird, dass Frauen eher zu sexuellem Underreporting und Männer stärker zu Overreporting tendieren (Catania et al. 1996; Wadsworth et al. 1996; Wiedermann 1997). Weiterhin scheinen unterschiedliche Recall-Leistungen bzw. unterschiedliche Recall118

Multimediale Elemente in der Computerbasierten Datenerhebung

Strategien als Ursache der Genderdiskrepanzen plausibel, da mit kürzerer Zeitspanne (z. B. Anzahl der SexualpartnerInnen innerhalb des letzten Jahres im Vergleich zu Lebenszeit) die Genderdiskrepanz tendenziell verringert wird (Brown & Sinclair 1999; Wadsworth et al. 1996). Es könnte daher vermutet werden, dass Männer eher zur groben Schätzung tendieren (und daraus folgend eine höhere Anzahl angeben), während Frauen häufiger die Strategie des Zählens zur Beantwortung anwenden (Wiedermann 1997). In den nachfolgenden Analysen soll untersucht werden, ob bzw. inwiefern die Genderdiskrepanz durch die Einführung sozialer Elemente im Rahmen einer selbstadministrierten Befragung beeinflusst wird. Aufgrund der Randomisierung der Befragten auf die unterschiedlichen Erhebungsarten werden mögliche Unterschiede im Ausmaß der Genderdiskrepanz als Response-basierte Effekte interpretiert. Auch in diesem Experiment sind unterschiedliche Hypothesen formulierbar. Einerseits stellten Tourangeau & Smith (1996) fest, dass eine Reduktion der Genderdiskrepanz bei der Erhebung mittels CASI und Audio-CASI im Vergleich zu einer Face-to-Face-Befragung zu beobachten ist. Ihre Schlussfolgerung lautet: „Men appear to report more sex partners and women fewer sex partners when they must report their answers to an interviewer“ (Tourangeau & Smith 1996, 301), wobei sie diesen Effekt der höheren Tendenz zu Selbstpräsentation zuschreiben. Wenn virtuelle InterviewerInnen vergleichbare Auswirkungen auf die Selbstpräsentation ausüben, wie dies bei realen InterviewerInnen der Fall zu sein scheint, dann ist für die Video-gestützte CASI-Befragung im Vergleich zur Text-basierten CASI-Befragung tendenziell eine größere Genderdiskrepanz zu erwarten. Wenn andererseits für virtuelle InterviewerInnen keine oder geringe InterviewerInnen-Effekte erwartet werden und dagegen stärker die kognitive Unterstützung und Motivation der RespondentInnen durch zusätzliche soziale Komponenten der Kommunikation betont werden, sind geringere Genderdiskrepanzen bei Video- im Vergleich zu Text-CASI zu erwarten. Weiterhin soll mit diesem Experiment untersucht werden, inwiefern „virtuelle“ Gender-of-Interviewer-Effekte im Rahmen der Video-Befragung zu beobachten sind. Gender-of-Interviewer-Effekte – speziell bei Fragen nach dem Sexualverhalten – wurden im Rahmen verschiedener Untersuchungen dahingehend festgestellt, dass Interviews mit geschlechtsgleichen Kombinationen von RespondentInnen und InterviewerInnen zu geringerem Underreporting bei Frauen und geringerem Overreporting von Männern führen (vgl. Catania et al 1996).

119

Joachim Gerich

3.1 Methode Die Daten zu dieser Untersuchung wurden grundsätzlich in gleicher Weise wie in Experiment I anhand eines Convenience Samples bei 300 Studierenden der Universität Linz erhoben. Im Unterschied zu Experiment I wurden männliche und weibliche RespondentInnen jeweils hinsichtlich der drei CASI-Erhebungen (Video-CASI mit weiblicher Interviewerin, Video-CASI mit männlichem Interviewer und Text-CASI) getrennt voneinander randomisiert. Dadurch ist ein gleiches Geschlechterverhältnis in allen Erhebungsarten fixiert, die Zuteilung zu den drei Erhebungsarten erfolgte dennoch zufällig (Tabelle 4). Das Lebensalter der Befragten beträgt im Durchschnitt 23,84 Jahre (SD = 3,93). Die Befragten der drei Experimentalgruppen unterscheiden sich nicht signifikant hinsichtlich dem Lebensalter (F[2, 295] = 0,099; p = 0,906). tab04 Tabelle 4: Design Experiment II Erhebungsart CASI Video weiblich CASI Video männlich CASI Text Gesamt

Geschlecht der RespondentInnen weiblich männlich Gesamt 50 50 50

50 50 50

100 100 100

150

150

300

Die Frage nach der Anzahl an lebenszeitlichen Sexualkontakten lautete: „Mit wie vielen Personen hattest Du bisher in Deinem Leben sexuelle Kontakte?“5. Auf diese offene Frage gaben vier Personen eine Anzahl größer als 100 an (darunter beispielsweise eine Angabe mit 999). Diese Angaben wurden in der Analyse nicht berücksichtigt. Die Verteilung der restlichen Angaben zeigt – wie zu erwarten – Häufungspunkte bei runden Zahlenangaben (z. B. 10, 15, 20). Eine letzte Häufung (fünf Personen) ist bei der Angabe von 30 SexualpartnerInnen zu beobachten. Die Ausprägung 40 wurde nicht genannt. Es wurden daher zur Vermeidung von Ausreißern nur Angaben kleiner 40 berücksichtigt, wodurch weitere zwei Angaben (46 und 80) aus der Analyse ausgeschlossen wurden.6 Weitere zehn Personen gaben keine Antwort auf die Frage nach der Anzahl der SexualpartnerInnen. Empirischen Hinweisen für die Gültigkeit des kulturellen Doppelstandards als Ursache von Genderdifferenzen bei der Angabe der Anzahl der SexualpartnerInnen wurde anhand der Korrelationen mit den Scores einer 120

Multimediale Elemente in der Computerbasierten Datenerhebung

Wünschbarkeitsskala (selbe Operationalisierung wie in Experiment I) nachgegangen. Die Hypothese, wonach Genderdifferenzen daraus resultieren, dass die beiden Geschlechter unterschiedliche Antwortstrategien (zählen versus schätzen) bei der Beantwortung der Frage anwenden, wurde anhand der Antwortzeiten auf die Frage nach der Anzahl der SexualpartnerInnen untersucht. Da davon auszugehen ist, dass die kognitive Beanspruchung aufgrund der Notwendigkeit des Erinnerns und des Zählens mit der Anzahl der angegebenen SexualpartnerInnen steigt, ist im Vergleich zu einer Strategie des groben Schätzens eine höhere positive Korrelation zwischen der Anzahl der angegebenen PartnerInnen und der Dauer bis zur Beantwortung der Frage zu erwarten. Da alle drei Erhebungsarten computerbasiert sind, konnten die Antwortzeiten (Latenzzeiten) durch das Erhebungsprogramm für jede Frage als Zeitdifferenz zwischen dem Erscheinen der Frage und der ersten gegebenen Antwort ermittelt werden.

3.2 Ergebnisse Die Geschlechter-Diskrepanz in der Angabe der Anzahl bisheriger SexualpartnerInnen wird auch im Rahmen der vorliegenden Untersuchung auf der Basis des Gesamtsamples bestätigt: Frauen geben im Durchschnitt 5,28 (SD = 5,68) Sexualpartner, Männer im Durchschnitt 8,38 (SD = 7,75) Sexualpartnerinnen an. Die Mittelwertsdifferenz ist mit p < 0,001 signifikant, die Korrelation zwischen Geschlecht und der Anzahl angegebener SexualpartnerInnen beträgt r = 0,23 (Cohen’s d = 0,46)7. In Abbildung 1 sind die durchschnittlichen Angaben zu SexualpartnerInnen getrennt nach Erhebungsart und Geschlecht der RespondentInnen dargestellt. abb01 Die Geschlechterdiskrepanz ist in allen Erhebungsarten – allerdings in unterschiedlicher Stärke – ersichtlich. Die Differenz ist in der textbasierten Erhebungsart deutlich stärker ausgeprägt (signifikante Mittelwertsdifferenz, Korrelation zwischen Geschlecht und der Anzahl angegebener SexualpartnerInnen r = 0,33 bzw. d = 0,70) als in den beiden Videobefragungen (Video-weiblich r = 0,18 bzw. d = 0,35 und Video-männlich r = 0,14 bzw. d = 0,28). Die Unterschiede nach Erhebungsart sind jedoch weder bei Männern noch bei Frauen signifikant (Anova für männliche Befragte: F[2, 136] = 0,885; p = 0,415; für weibliche Befragte: F[2, 142] = 0,719; p = 0,489). Ebenfalls erweist sich die Geschlechterdifferenz, beurteilt anhand der Interaktion von Geschlecht und Erhebungsart, hinsichtlich der Anzahl der angegebenen SexualpartnerInnen als nicht signifikant. 121

Joachim Gerich

Abbildung 1: Durchschnittliche Anzahl an SexualpartnerInnen nach Befragungsart und Geschlecht der RespondentInnen10 10.0 9.0

9.50 (8.39) 8.20 (7.80)

8.0 7.0 6.0 5.0

7.40 (6.99) r=0.18 d=0.35 p=0.096 n=92

r=0.14 d=0.28 p=0.163 n=95

r=0.33 d=0.70 p=0.001 n=97

RespondentInnen weiblich

5.71 (6.41)

5.67 (4.89)

4.0

männlich 4.49 (5.66)

3.0 2.0 1.0 0.0 Video weiblich

Video männlich

Text

Mittelwerte, Standardabweichungen in Klammern. r = Punkt-Biserale Korrelation, p = Signifikanz der Mittelwertsdifferenz, d = Cohen’s d, n = Anzahl gültiger Fälle.

Entsprechend den Annahmen des kulturellen „Double-Standards“ wurde nach Geschlecht getrennt überprüft, ob die Angabe zur Anzahl der SexualpartnerInnen mit den Scores der Wünschbarkeitsskala korreliert. Gemäß der Hypothese des „Double-Standards“ wäre bei männlichen Respondenten eine positive, bei weiblichen Respondentinnen eine negative Korrelation mit sozialer Wünschbarkeit zu erwarten. Die Korrelation erweist sich allerdings bei beiden Geschlechtern als nicht signifikant (p > 0,5). Dagegen finden sich Hinweise für die Unterstützung der Hypothese der unterschiedlichen kognitiven Recall-Leistung nach Geschlecht bei der Beantwortung der Frage. Da davon auszugehen ist, dass die kognitive Beanspruchung aufgrund der Notwendigkeit des Erinnerns und des Zählens mit der Anzahl der angegebenen SexualpartnerInnen steigt, ist eine positive Korrelation zwischen der Anzahl der angegebenen PartnerInnen und der Dauer bis zur Beantwortung der Frage zu erwarten. Für das Gesamtsample (Männer und Frauen gemeinsam) beträgt die Korrelation zwischen Antwortzeit und Anzahl der angegebenen SexualpartnerInnen r = 0,15 122

Multimediale Elemente in der Computerbasierten Datenerhebung

(p = 0,012). Getrennt nach dem Geschlecht der RespondentInnen berechnet, beträgt die Korrelation bei Frauen r = 0,21 (p = 0,013), bei Männern ist die Korrelation nicht signifikant (r = 0,08; p = 0,338). Es zeigen sich jedoch keine wesentlichen Differenzen der Korrelationen zwischen Antwortzeiten und Anzahl an angegeben SexualpartnerInnen zwischen den einzelnen Erhebungsarten. Weiterhin ist weder bei Frauen noch bei Männern eine signifikante Interaktion zwischen Erhebungsart und Antwortzeit zu beobachten.

3.3 Diskussion Zusammenfassend kann festgehalten werden, dass Mode-Unterschiede bezüglich der Genderdiskrepanz auf der Basis einer Interaktion von Geschlecht und Erhebungsart hinsichtlich der Sexualkontakte nicht bestätigt werden können. Dennoch ist ersichtlich, dass Genderdiskrepanzen je nach Erhebungsart in unterschiedlicher Stärke zu beobachten sind: Während in der textbasierten Erhebungsart eine starke und signifikante Genderdifferenz besteht, ist diese bei den beiden Videobasierten Erhebungsformen in deutlich geringerer Stärke und nicht signifikant festzustellen. Die vorliegenden Ergebnisse legen daher nahe, dass das Ausmaß der Genderdiskrepanzen in Bezug auf die Anzahl der angegebenen SexualpartnerInnen zumindest teilweise durch einen Response-Bias hervorgerufen wird, da das beobachtete unterschiedliche Ausmaß der Genderdiskrepanzen nach Erhebungsart aufgrund der Randomisierung kaum durch Sampling-basierte Erklärungen begründbar ist. Für die Annahme des kulturellen Doppel-Standards (wonach es für Frauen sozial erwünschter wäre, weniger Sexualpartner, für Männer hingegen mehr Sexualpartnerinnen anzugeben), lassen sich in der vorliegenden Untersuchung auf Basis der Korrelationen der Angaben mit der Tendenz zu sozialer Wünschbarkeit keine Hinweise finden. Damit können auch keine Hinweise dafür gefunden werden, dass das unterschiedliche Ausmaß der Genderdiskrepanzen je Erhebungsmodus aus einem unterschiedlichen Ausmaß der Wünschbarkeitsbeeinflussung nach Erhebungsart resultiert. Die Ergebnisse der Korrelationsanalyse der Antwortzeiten mit der Anzahl der SexualpartnerInnen sprechen grundsätzlich für die Annahme, dass Genderdiskrepanzen aus einem unterschiedlichen Ausmaß an kognitiven Recall-Leistungen (oder einem unterschiedlichem Ausmaß der Motivation dazu) resultieren bzw. dass Frauen die zeitintensivere Strategie des Zählens und Männer die kürzere Strategie des Schätzens anwenden. Die Unter123

Joachim Gerich

schiede der Genderdiskrepanzen nach Erhebungsart lassen sich damit jedoch nicht erklären. Die Ergebnisse legen weiterhin nahe, dass die Auswirkungen von virtuellen InterviewerInnen mit jenen von realen InterviewerInnen auf das Antwortverhalten hinsichtlich der Angabe der SexualpartnerInnen nicht vergleichbar sind. Obwohl im Rahmen des vorliegenden Experiments kein direkter Vergleich mit einer Face-to-Face-Befragung durchgeführt wurde, so ist dennoch festzuhalten, dass die Genderdiskrepanz bei virtuellen InterviewerInnen im Vergleich zu einer rein textbasierten selbstadministrierten Befragung geringer und jedenfalls nicht höher ausfällt. Auch hinsichtlich jener in anderen Untersuchungen festgestellten Gender-of-Interviewer-Effekte zeigen sich für virtuelle InterviewerInnen in der vorliegenden Untersuchung kaum Hinweise. Zwar zeigen sich bei der Befragung mit männlichem Interviewer etwas geringere Genderdiskrepanzen als in der Befragung mit weiblicher Interviewerin, das Ausmaß dieser Unterschiede ist jedoch gering.

4 Schlussfolgerungen Neuere Entwicklungen im Bereich der Erhebungsmethoden führen zu einer zunehmenden Auflösung der Dichotomie von Interviewer- versus Selbstadministration zugunsten eines breiten Spektrums an Erhebungsmethoden, welche sich hinsichtlich eines mehrdimensionalen Kontinuums unterscheiden. Vorliegende Ergebnisse zeigen erste Anhaltspunkte dafür, dass V-CASI geeignet scheint, Vorzüge von Face-to-Face- und selbstadministrierten Befragungen zu kombinieren. Die Ergebnisse beider Experimente legen nahe, dass V-CASI im Vergleich zu traditionellen Erhebungsmethoden zu einer Verbesserung der Datenqualität beitragen kann. Auf Basis der vorliegenden Ergebnisse wird als Grund dafür angenommen, dass durch Elemente menschlicher Kommunikation (und weniger durch zusätzliche Kommunikationskanäle) die Motivation zur Beantwortung und die – zur Beantwortung von Fragen nötigen – kognitiven Prozesse unterstützt werden. Dagegen finden sich in den vorliegenden Untersuchungen keine Hinweise für „virtuelle“ InterviewerInneneffekte. Nachdem jedoch – insbesondere im Rahmen von Experiment II – noch ungeklärte Fragen zu den genaueren Mechanismen der Mode-Unterschiede bestehen, sind diese Schlussfolgerungen als vorläufig zu bezeichnen. Weiterer Forschungsbedarf ist darüber hinaus nötig, als die Generalisierbarkeit der vorliegenden Untersuchungsergebnisse 124

Multimediale Elemente in der Computerbasierten Datenerhebung

selbstverständlich aus mehreren Gründen beschränkt ist. Einschränkungen ergeben sich einerseits aus der Art der Stichprobenziehung (beide Untersuchungen wurden anhand von Convenience Samples durchgeführt), der geringen Stichprobengrößen und der spezifischen Population (Studierende). Weiterhin ist aufgrund der Begrenzung der realisierbaren Anzahl an Experimentalbedingungen zu berücksichtigen, dass die virtuellen InterviewerInnen nicht variiert wurden und daher spezifische Personeneigenschaften dieser ausgewählten Personen wesentliche Auswirkungen auf Befragungsergebnisse haben können. Anmerkungen 1

2

3

4

5

6

CASI ist die Abkürzung für computer assisted self administered questionnaires. Obwohl auch Web-Befragungen selbstadministrierte Computerbefragungen darstellen, wird der Begriff in der Regel (und auch in diesem Beitrag) als Bezeichnung von offline durchgeführten Erhebungen verwendet. Mit Satisficing (Krosnick 1991) sind „Abkürzungen“ gemeint, bei denen die RespondentInnen nicht alle nötigen kognitiven Stufen des Antwortprozesses durchlaufen, welche für eine valide Antwort nötig wären. Der inhaltliche Rahmen in Form der Kontroll-Theorie wurde dabei weitgehend beliebig gewählt. Das Auswahlkriterium betraf einerseits die einfache Operationalisierbarkeit und die weitgehend abgesicherte Gültigkeit der Annahmen. Andererseits musste der inhaltliche Rahmen so gewählt werden, dass mit Einflüssen sozialer Wünschbarkeit zu rechnen ist. Sieben Items der Deutschen Selbstkontroll-Skala (Seipel 2004) mit den Subskalen temper und risk-seeking, Wünschbarkeitsskala bestehend aus 13 Items der deutschen Lügenskala (Ling 2004) und vier Items einer Kurzform der Crown-Marlowe Scale (Lück & Timaeus 2004), selbstberichtete Normabweichung bestehend aus zehn Items wie z. B. Konsum illegaler Drogen, Ladendiebstahl oder Vandalismus (Johnson et al. 2004). Das Erhebungsinstrument bestand aus insgesamt 52 Items (inklusive demografischer Fragen) mit konstanter Reihenfolge (Wünschbarkeitsskala – Normabweichung – Selbstkontrolle). Das Erhebungsinstrument bestand aus insgesamt 49 Items (inklusive demografischer Fragen). Die Frage nach der Anzahl der Sexualkontakte wurde als Frage 33 gestellt. Obwohl die Frage nicht explizit auf heterosexuelle Kontakte bezogen ist, wird dies vereinfacht angenommen. Es kann jedoch davon ausgegangen werden, dass homosexuelle Kontakte – insbesondere bei jüngeren Personen – für beide Geschlechter annähernd gleich verteilt sind (Butler 2005). Weiterhin ist anzumerken, dass durch die sehr allgemein gehaltene Frage die Möglichkeit besteht, dass Männer und Frauen unterschiedliche Definitionen von „Sexualkontakten“ zur Beantwortung heranziehen. Hinsichtlich der hier zentralen Frage der Mode-Unterschiede scheint es jedoch wenig wahrscheinlich, dass die Interpretation nach Erhebungsarten variiert. Es wurde auch eine alternative Analyse durchgeführt, bei der die Extremwerte mit der Ausprägung 40 ersetzt wurden. Die Ergebnisse werden davon nur unwesentlich beeinflusst.

125

Joachim Gerich 7

Die Signifikanz der Genderdifferenzen wurden in den hier präsentierten Analysen generell anhand des t-test für unabhängige Stichproben berechnet. In Fällen signifikanter Varianzheterogenität wird die korrigierte Signifikanz berichtet. Als Effektstärke der Genderdifferenz kann einerseits die Korrelation nach Pearson verwendet werden, welche hier im Falle eines dichotomen unabhängigen Merkmals auch als Punkt-Biserale Korrelation bezeichnet wird (Nunnally 1978, 120). Die Signifikanz der Korrelation ist identisch mit der des gewöhnlichen t-tests. Alternativ wird die Effektstärke anhand Cohen’s d berichtet. Für den (hier zutreffenden) Fall gleichverteilter Ausprägungen des dichotomen Merkmals kann Cohen’s d auch aus der Korrelation durch d = 2 * r/(1 – r2)1/2 errechnet werden (Cohen 1988, 23).

Literatur Bentrup, Ch., & Hegeler, M., & Porr, Ch. (2001). Self-Control und kriminelles Handeln. In S. Eifler & S. Schmitt & Ch. Bentrup & M. Hegeler & I. Pessara & Ch. Porr & M. Ratzka (Hg.), Gelegenheitsstrukturen und Kriminalität. Bielefeld: Universität Bielefeld. Booth-Keweley, S., & Gerald E. L., & Miyoshi D. K. (2007). Social desirability effects on computerized and paper-and-pencil questionnaires. Computers in Human Behavior, 23, 463–477. Brown, N. R., & Sinclair, R. C. (1999). Estimating number of lifetime sexual partners: Men and women do it differently. The Journal of Sex Research, 36(3), 292–297. Butler, A. C. (2005). Gender differences in the prevalence of same-sex sexual partnering: 1988–2002. Social Forces, 84(1), 417–446. Cassell, J., & Miller P. (2007). Is it self-administration if the computer gives you encouraging looks? In F. G. Conrad & M. F. Schober (Eds.), Envisioning the survey interview of the future (161–178). New York: John Wiley. Catania, J. A., & Binson, D., & Canchola, J., & Pollack, L. M., & Hauck, W., & Coates, T. J. (1996). Effects of interviewer gender, interviewer choice, and item wording on responses to questions concerning sexual behavior. Public Opinion Quarterly, 60(3), 345–375. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. New Jersey: Erlbaum. Couper, M. P. (2005). Technology Trends in Survey Data Collection. Social Science Computer Review, 23(4), 486–501. Daft, R. L., & Lengel, R. H. (1986). Organizational information requirements, media richness and structural design. Management Science, 32(5), 554–571. De Leeuw, E. (2002). The Effect of Computer-Assisted Interviewing on Data Quality: A Review of the Evidence. In J. Blasius & J. Hox & E. de Leeuw & P. Schmidt (Eds.), Social Science Methodology in the New Millenium. (CD-ROM), Opladen: Leske + Budrich. De Leeuw, & E., Hox, J., & Kef, S. (2003). Computer-assisted self-interviewing tailored for special populations and topics. Field Methods, 15, 1–29.

126

Multimediale Elemente in der Computerbasierten Datenerhebung De Leeuw, E., & Hox J., & Kef S., & Van Hattum M. (1997). Overcoming the Problems of Special Interviews on Sensitive Topics: Computer Assisted Self-Interviewing Tailored for Young Children and Adolescents. Sequim, WA: Sawtooth Software Conference Proceedings. De Leeuw, E., & Hox J., & Snijkers G. (1995). The effect of computer-assisted interviewing on data quality: A review. Journal of the Market Research Society, 37(4), 325–44. Dillman, D. A. (2000). Mail and Internet surveys: The tailored design method. New York: John Wiley. Dykema, J., & Lepkowski, J. M., & Blixt, S. (1997). The effect of interviewer and respondent behavior on data quality: Analysis of interaction coding in a validation study. In L. Lyberg & P. Biemer & M. Collins & E. DeLeeuw & C. Dippo & N. Schwarz & D. Trewin (Eds.), Survey measurement and process quality (221–248). New York: John Wiley. Fuchs, M., & Funke, F. (2008). Die Video-unterstützte Online-Befragung: Soziale Präsenz, soziale Erwünschtheit und Underreporting sensitiver Informationen. In N. Jackob & H. Schoen & T. Zerback (Hg.), Sozialforschung im Internet: Methodologie und Praxis der Online-Befragung. Wiesbaden: VS Verlag (in Druck). Fuchs, M., & Funke, F. (2007). Multimedia Web surveys: Results from a field experiment on the use of audio and video clips in Web surveys. In M. Trotman et al. (Eds.), The challenges of a changing world. Proceedings of the fifth international conference of the association for survey computing (63–80). Berkeley: ASC. Ganster, D. C., & Hennessey H. W., & Luthans F. (1983). Social desirability response effects: Three alternative models. Academy of Management Journal, 26(2), 321–331. Gerich, J. (2008). Real or virtual? Response behavior in video-enhanced self-administered computer interviews. Field Methods (in Druck). Gottfredson, M. R., & Hirschi, T. (1990). A general theory of crime. Stanford, CA: Stanford University Press. Groves, R. M., & Fowler, F. J., & Couper M. P., & Lepkowski, J. M., & Singer E., & Tourangeau, R. (2004). Survey methodology. Hoboken, New Jersey: John Wiley & Sons. Hewitt, M. (2002). Attitudes Toward Interview Mode and Comparability of Reporting Sexual Behavior by Personal Interview and Audio Computer-Assisted Self-Interviewing. Analyses of the 1995 National Survey of Family Growth. Sociological Methods & Research, 31(1), 3–26. Johnson, J. G., & Wilke A., & Weber E. U. (2004). Beyond a trait view of risk-taking: A domain-specific scale measuring risk perceptions, expected benefits, and perceived-risk attitude in German-speaking populations. Polish Psychological Bulletin, 35(3), 153–163. Joinson, A. N., & Woodley, A., & Reips, U. D. (2007). Personalization, authentication and self-disclosure in self-administered Internet surveys. Computers in Human Behavior, 23, 275–285. Jonason, P. K., & Fisher, T. D. (2008). The Power of Prestige: Why Young Men Report Having more Sex Partners than Young Women. Sex Roles (in Druck).

127

Joachim Gerich Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5, 213–236. Krysan, M., & Couper M. P. (2003). Race in the Live and the Virtual Interview: Racial Deference, Social Desirability, and Activation Effects in Attitude Surveys. Social Psychology Quarterly, 66(4), 364–383. Ling, M. (2004). Lügen und Leugnen. In A. Glöckner-Rist (Hg.), ZUMA-Informationssystem. Elektronisches Handbuch sozialwissenschaftlicher Erhebungsinstrumente. ZIS Version 8.00. Mannheim: Zentrum für Umfragen, Methoden und Analysen. Lück, H., & Timaeus E. (2004). Soziale Erwünschtheit (SDS-CM). In A. Glöckner-Rist (Hg.), ZUMA-Informationssystem. Elektronisches Handbuch sozialwissenschaftlicher Erhebungsinstrumente. ZIS Version 8.00. Mannheim: Zentrum für Umfragen, Methoden und Analysen. Nass, C., & Moon Y., & Green N. (1997). Are Machines Gender Neutral? Gender-Stereotypic Responses to Computers with Voices. Journal of Applied Social Psychology, 27(10), 864–876. Nicholls, W. L. II, & Baker R. P., & Martin J. (1997). The Effect of New Data Collection Technologies on Survey Data Quality. In L. Lybert & P. Biemer & M. Collins & E. DeLeeuw & C. Dippo & N. Schwarz & D. Trewin (Eds.), Survey Measurement and Process Quality (221–248). New York: John Wiley. Nunnally, J. C. (1978). Psychometric Theory. New York: McGraw-Hill. O’Reilly, J. M., & Hubbard M. L., & Lessler J. T., & Biemer P. P., & Turner Ch. F. (1994). Audio and Video Computer-Assisted Self-Interviewing: Preliminary Tests of New Technologies for