Springer-Lehrbuch
Helge Toutenburg Christian Heumann
Induktive Statistik Eine Einführung mit R und SPSS
Vierte, überarbeitete und erweiterte Auflage Mit Beiträgen von Michael Schomaker und Malte Wißmann
123
Prof. Dr. Helge Toutenburg PD Dr. Christian Heumann Institut für Statistik der Universität München Akademiestraße 1 80799 München
[email protected] [email protected]
Die erste Auflage erschien bei Prentice Hall unter: H. Toutenburg, A. Fieger, C. Kastner: Induktive Statistik für Betriebs- und Volkswirte. Eine Einführung mit SPSS für Windows, ISBN 3-8272-9512-2
ISBN 978-3-540-77509-6
e-ISBN 978-3-540-77510-2
DOI 10.1007/978-3-540-77510-2 Springer-Lehrbuch ISSN 0937-7433 Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar. © 2000, 2005, 2008 Springer-Verlag Berlin Heidelberg Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965 in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Herstellung: LE-TEX Jelonek, Schmidt & Vöckler GbR, Leipzig Einbandgestaltung: WMX Design GmbH, Heidelberg Gedruckt auf s¨ aurefreiem Papier 987654321 springer.com
Vorwort der vierten Auflage
Auf Grund des Erfolges der ersten drei Auflagen wurde vom Springer-Verlag eine vierte Auflage angeregt, die insbesondere eine ausf¨ uhrlichere Darstellung von SPSS- Modulen und zus¨ atzlich eine Einf¨ uhrung in die Programmiersprache R beinhalten sollte. Die Autoren haben die dritte Auflage korrigiert und in einigen Kapiteln erweitert und zwei selbstst¨andige Kapitel zu SPSS und zu R aufgenommen. Analog zum Buch “Deskriptive Statistik” wurde ein einf¨ uhrendes Kapitel zum Thema “Fehlende Daten” eingef¨ ugt. Diese Erweiterung ist einmalig f¨ ur ein deutschsprachiges Lehrbuch der Statistik.
Helge Toutenburg Christian Heumann M¨ unchen, im November 2007
Vorwort der dritten Auflage
Unsere Zeit ist gepr¨ agt durch eine F¨ ulle von Informationen und Daten. Wir werden (an B¨ orsentagen) u ¨ ber Dollarkurs, Dow Jones und Dax informiert, erhalten Kenntnis von der durchschnittlichen Zahl der Zuschauer und der Torquote in der Fußball-Bundesliga, der Aufschlaggeschwindigkeit von Boris Becker, erfahren die Schwankungen in den Arbeitslosenzahlen und wissen, dass die Durchschnittstemperatur im April 2004 um soundsoviel Grad unter dem langj¨ ahrigen Mittel dieses Monats lag. Diese Angaben werden h¨ aufig grafisch aufbereitet in Form von Kurven oder Tabellen oder durch geeignete Maßzahlen wie Mittelwerte verdichtet. Darstellungen und Aufbereitungen dieser Art sind Gegenstand der deskriptiven Statistik, die auf die Beschreibung eines fest gegebenen Datenmaterials abzielt. Gegenstand der induktiven Statistik ist dagegen die Untersuchung von Daten, die als zuf¨ allige Stichprobe einer Grundgesamtheit entstammen. Die Stichprobenelemente k¨ onnen als Realisation eines Zufallsexperiments angesehen werden, d.h., die Werte der Stichprobenelemente sind nicht von vornherein bekannt. Ziel der induktiven Statistik ist es, durch geeignete Verfahren von der Stichprobe auf die Grundgesamtheit zu schließen und die Sicherheit der Schlussfolgerung abzusch¨ atzen, d.h., Wahrscheinlichkeiten f¨ ur die verschiedenen m¨ oglichen Folgerungen anzugeben. Dazu ben¨otigt man • • • •
Methoden und Gesetze der Wahrscheinlichkeitsrechnung, Regeln der Kombinatorik, geeignete Sch¨ atzmethoden f¨ ur unbekannte Parameter und statistische Entscheidungsregeln.
Die Wahrscheinlichkeitsrechnung liefert die formalen Grundlagen f¨ ur die Untersuchung von Gesetzm¨ aßigkeiten bei zuf¨ alligen Ereignissen. Die Herausbildung der Wahrscheinlichkeitsrechnung – auch als Mathematik des Zufalls bekannt – ist eng mit der Entwicklung der Naturwissenschaften, speziell seit dem 19. Jahrhundert, verbunden. Ausgehend von einem Briefwechsel zwischen Blaise Pascal (1623–1662) und Pierre de Fermat (1601–1665) im Jahr 1654, der der Beantwortung einiger Fragen u ucksspiele diente, entwickelten Christian Huygens (1629– ¨ber Gl¨ 1695), Jacob Bernoulli (1654–1705), Abraham de Moivre (1667–1754), Thomas Bayes (1702–1761) und einige andere diese Erkenntnisse weiter. Pierre
VIII
Vorwort
Simon Laplace (1749–1827) legte schließlich durch die Zusammenfassung der zu seiner Zeit bekannten Begriffe und Gesetze einen wichtigen Grundstein f¨ ur die heutige Wahrscheinlichkeitsrechnung. Dabei spielten auf Grund des Laplaceschen Wahrscheinlichkeitsbegriffes kombinatorische Regeln, die bereits von Jacob Bernoulli diskutiert wurden, eine wichtige Rolle. W¨ahrend sich die Wahrscheinlichkeitsrechnung selbst auch nach Laplace stetig weiterentwickelte – verbunden mit Namen wie Carl Friedrich Gauss (1777–1855), Simeon Denis Poisson (1781–1840), Auguste Bravais (1811–1863), William Searly Gosset (1876–1937), Ronald Aylmer Fisher (1890–1962) u.a. – wurden die Grundlagen der Wahrscheinlichkeitsrechnung kaum weiterentwickelt. Erst Andrej Nikolajewitsch Kolmogorov (1908–1987) gelang es nach Vorarbeiten anderer Mathematiker, ein Axiomensystem der Wahrscheinlichkeitsrechnung (Kolmogorov, 1933) aufzustellen, das bis heute die formal widerspruchsfreie Grundlage der Wahrscheinlichkeitsrechnung darstellt. Eine ausf¨ uhrliche Darstellung der Entstehungsgeschichte der Wahrscheinlichkeitsrechnung findet man etwa bei Menges (1968) oder Stigler (1986). Die Mathematische Statistik entwickelte sich (unter Verwendung von Methoden der Wahrscheinlichkeitsrechnung) aus der deskriptiven Statistik zu einer selbstst¨ andigen Disziplin, deren Anwendungsbereich zunehmend an Breite und Bedeutung gewinnt. Statistische Methoden werden heute in fast allen Gebieten von Medizin, Naturwissenschaften, Technik und Wirtschafts- und Sozialwissenschaften angewendet. Die Statistik ist zur charakteristischen ” Methode des modernen Wissenschaftsbetriebs geworden“ (Miethke, 1973). Trotz – oder gerade wegen – der Vielzahl der Anwendungsgebiete der Mathematischen Statistik sollte man jedoch stets darauf bedacht sein, dass man sich dessen, was man macht, noch bewußt ist, d.h., ... die mathematische ” Statistik ist kein Automat, in den man nur seinen Groschen hineinzustecken braucht, um sinnvolle Resultate zu erhalten. Vielmehr muß man sich in die Denkweise dieses Gebietes einleben, damit man die Anwendungsm¨oglichkeiten sehen lernt und in einem konkreten Fall das richtige Verfahren ausw¨ahlen kann.“ (Kreyszig, 1979). Statistische Methoden werden u ¨ berall dort eingesetzt, wo Versuchsergebnisse nicht beliebig oft und exakt reproduzierbar sind. Die Ursachen hierf¨ ur liegen in der nat¨ urlichen Variabilit¨ at der Versuchsobjekte oder in der Ver¨ anderung der Versuchs- und Meßbedingungen. Dabei k¨onnen sowohl kontrollierbare als auch unkontrollierbare Faktoren das Versuchsergebnis beeinflusssen. Damit ist es notwendig, geeignete Methoden anzugeben, mit deren Hilfe man aus derartigen Stichproben die interessierenden Parameter der Grundgesamtheit sch¨ atzen kann. Will man dar¨ uber hinaus auf Grund einer vorliegenden Stichprobe Aussagen u ¨ber die Grundgesamtheit oder einige ihrer Parameter treffen, so sind hierf¨ ur statistische Entscheidungsregeln notwendig, mit deren Hilfe Aussagen als richtig oder falsch eingestuft werden k¨ onnen, wobei dies nur mit einer gewissen Sicherheit m¨oglich ist.
Vorwort
IX
Auf Grund der Vielzahl der Problemstellungen, die aus den verschiedensten Anwendungsbereichen kommen, hat die Statistik eine Spezialisierung nach Anwendungsgebieten erfahren. Es gibt eine Reihe von relativ ¨ selbstst¨ andigen Disziplinen wie Okonometrie, Biometrie, Psychometrie usw. Hinzu kommt in j¨ ungster Zeit die Disziplin Computational Statistics, die sich mit speziellen rechenintensiven Methoden wie Resampling, iterativen Verfahren, Computergrafik usw. besch¨ aftigt. Eine ausf¨ uhrliche Darstellung zur Entwicklung der Statistik und ihrer Bedeutung f¨ ur die moderne Gesellschaft findet man in Rao (1995). C.R. Rao f¨ uhrt insbesondere aus: Ist die Statistik, so wie sie heutzutage erforscht und praktiziert wird, eine Wissenschaft, Technologie oder Kunst? Vielleicht ist sie ja eine Kombination von allen dreien. Sie ist eine Wissenschaft in dem Sinne, dass sie ihre eigene Identit¨at hat, mit einem großen Repertoire an Techniken, hergeleitet aus einigen Grundprinzipien. Diese Techniken k¨ onnen nicht auf eine routinem¨ aßige Art und Weise angewandt werden; der Anwender muß die n¨ otige Expertise erwerben, die richtige Technik in einer gegebenen Situation zu w¨ ahlen und, falls n¨ otig, Modifikationen vorzunehmen. Statistik spielt eine wesentliche Rolle in der Einf¨ uhrung empirischer Gesetze in den Geistes- und Sozialwissenschaften. Weiterhin gibt es philosophische Themen, die in Zusammenhang mit den Grundlagen der Statistik – der Art der Quantifizierung und des Ausdrucks der Unsicherheit – stehen, die unabh¨ angig von jedem Inhalt diskutiert werden k¨ onnen. Statistik ist also im weiteren Sinne eine separate Disziplin, wom¨ oglich eine Disziplin aller Disziplinen. Sie ist eine Technologie in dem Sinne, dass statistische Methodologie in jedes Betriebssystem eingebaut werden kann, um ein gew¨ unschtes Niveau und eine angestrebte Stabilit¨ at der Leistung zu erhalten, wie zum Beispiel in Qualit¨ atssicherungsprogrammen in der industriellen Produktion. Statistische Methoden k¨ onnen auch zum Kontrollieren, Reduzieren und Zulassen von Unsicherheit verwendet werden und dadurch die Effizienz individueller und institutioneller Bem¨ uhungen maximieren. Statistik ist auch eine Kunst, denn ihre Methodologie, die von induktiver Argumentation abh¨ angt, ist nicht v¨ ollig codifiziert oder frei von Kontroversen. Verschiedene Statistiker, die mit den gleichen Daten arbeiten, k¨ onnen zu verschiedenen Schl¨ ussen kommen. In der Regel steckt in gegebenen Daten mehr Information, als mittels der zur Verf¨ ugung stehenden statistischen Verfahren extrahiert werden kann. Die Zahlen ihre eigene Geschichte erz¨ ahlen zu lassen h¨angt von der Kunst und Erfahrung eines Statistikers ab. Dies macht Statistik zur Kunst ...
X
Vorwort Tabelle 0.1. Statistische Datenanalyse, entnommen aus Rao (1995)
Formulierung der Fragestellung
Techniken der Datensammlung
Historisch ver¨ offentlichtes Material
Versuchsplanung
Wie wird gemessen?
Daten
Begleitende Variablen
Kreuzuntersuchuung der Daten
Modellierung
Inferenzielle Datenanalyse
Stichprobenerhebungen
Expertenwissen
Anf¨angliche explorative Aufdeckungsanalyse (Aufdecken von Ausreißern, Fehlern, Bias, interne Konsistenz, externe Validierung, spezielle Charakteristika)
Spezifizierung (Kreuzvalidierung, wie verwendet man Expertenwissen und fr¨ uhere Resultate, Bayesansatz)
Testen von Hypothesen
Sch¨atzen (Punkt, Intervall)
Entscheidungsfindung
Metaanalyse
Zusammenfassende Statistiken
Grafische Darstellung
Orientierungshilfe f¨ ur zuk¨ unftige Untersuchungen
Es gibt eine Vielzahl deutschsprachiger B¨ ucher zur Statistik, wobei die Autoren unterschiedliche Schwerpunkte gesetzt haben—von der Darstellung spezifischer Lehrinhalte in ausgew¨ ahlten Fachdisziplinen (Statistik f¨ ur Soziologen, Wirtschaftswissenschaftler, Zahnmediziner etc.) bis hin zu ausgefeilten Methodensammlungen (Explorative Datenanalyse, Regressionsmodelle etc.) oder erweiterten Handb¨ uchern zu Standardsoftware.
Vorwort
XI
Das vorliegende Buch soll insbesondere den Stoff von Vorlesungen Stati” stik II f¨ ur Nebenfachstudenten“ abdecken und eine Verbindung zwischen den Methoden der induktiven Statistik und ihrer Umsetzung mit Standardsoft¨ ware – hier: SPSS f¨ ur Windows – herstellen, sowie als Lehr- und Ubungsmaterial (durch Einschluss von Aufgaben und Musterl¨osungen) die Ausbildung der Studenten unterst¨ utzen. Das Manuskript dieser 3. Auflage ist ein Produkt der mehrj¨ahrigen Erfahrung der AG Toutenburg in der Ausbildung der Nebenfachstudenten. Der Autor und seine Mitarbeiter –insbesondere Herr Dr. Andreas Fieger und Herr Dr. Christian Kastner– haben sich bem¨ uht, ihre Erfahrungen aus ¨ ¨ dem Lehr- und Ubungsbetrieb und die Erfahrungen der Leiter der Ubungsgruppen so umzusetzen, dass der Text den Anforderungen eines begleitenden ¨ Lehr- und Ubungsmaterials gerecht wird. Die Einbeziehung von SPSS soll den Weg zur modernen Arbeitsweise bei der Datenanalyse mit dem Computer ebnen. Das vorliegende Manuskript entstand auf Einladung des Springer–Verlags, Heidelberg. Herrn Dr. Werner M¨ uller ist f¨ ur seine Unterst¨ utzung zu danken. Ich w¨ urden mich freuen, wenn das Buch sein Ziel erreicht und die Studenten anspricht.
Helge Toutenburg
Inhaltsverzeichnis
Teil I. Wahrscheinlichkeitstheorie 1.
2.
Kombinatorik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Grundbegriffe der Kombinatorik . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3 Permutationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.1 Permutationen ohne Wiederholung . . . . . . . . . . . . . . . . . 1.3.2 Permutationen mit Wiederholung . . . . . . . . . . . . . . . . . . 1.4 Kombinationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4.1 Kombinationen ohne Wiederholung und ohne Ber¨ ucksichtigung der Reihenfolge . . . . . . . . . . . . . . . . . . . . . . . . . 1.4.2 Kombinationen ohne Wiederholung, aber mit Ber¨ ucksichtigung der Reihenfolge . . . . . . . . . . . . . . . . . . . . . . . . . 1.4.3 Kombinationen mit Wiederholung, aber ohne Ber¨ ucksichtigung der Reihenfolge . . . . . . . . . . . . . . . . . . . . . . . . . 1.4.4 Kombinationen mit Wiederholung und mit Ber¨ ucksichtigung der Reihenfolge . . . . . . . . . . . . . . . . . . . . . . . . . 1.5 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.6 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3 3 3 4 4 6 7
10 11 12
Elemente der Wahrscheinlichkeitsrechnung . . . . . . . . . . . . . . . 2.1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Zuf¨ allige Ereignisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3 Relative H¨ aufigkeit und Laplacesche Wahrscheinlichkeit . . . . . 2.4 Axiome der Wahrscheinlichkeitsrechnung . . . . . . . . . . . . . . . . . . 2.4.1 Folgerungen aus den Axiomen . . . . . . . . . . . . . . . . . . . . . . 2.4.2 Rechenregeln f¨ ur Wahrscheinlichkeiten . . . . . . . . . . . . . . 2.5 Bedingte Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5.1 Motivation und Definition . . . . . . . . . . . . . . . . . . . . . . . . . 2.5.2 Der Satz von Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6 Unabh¨ angigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.7 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13 13 14 17 19 19 21 21 21 23 27 30
7 9 10
XIV
Inhaltsverzeichnis
3.
Zuf¨ allige Variablen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Verteilungsfunktion einer Zufallsvariablen . . . . . . . . . . . . . . . . . . 3.3 Diskrete Zufallsvariablen und ihre Verteilungsfunktion . . . . . . 3.4 Stetige Zufallsvariablen und ihre Verteilungsfunktion . . . . . . . . 3.5 Erwartungswert und Varianz einer Zufallsvariablen . . . . . . . . . 3.5.1 Erwartungswert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.2 Rechenregeln f¨ ur den Erwartungswert . . . . . . . . . . . . . . . 3.5.3 Varianz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.4 Rechenregeln f¨ ur die Varianz . . . . . . . . . . . . . . . . . . . . . . . 3.5.5 Standardisierte Zufallsvariablen . . . . . . . . . . . . . . . . . . . . 3.5.6 Erwartungswert und Varianz des arithmetischen Mittels 3.5.7 Ungleichung von Tschebyschev . . . . . . . . . . . . . . . . . . . . . 3.5.8 kσ-Bereiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.6 Die Quantile, der Median und der Modalwert einer Verteilung 3.7 Zweidimensionale Zufallsvariablen . . . . . . . . . . . . . . . . . . . . . . . . 3.7.1 Zweidimensionale diskrete Zufallsvariablen . . . . . . . . . . . 3.7.2 Zweidimensionale stetige Zufallsvariablen . . . . . . . . . . . . 3.7.3 Momente von zweidimensionalen Zufallsvariablen . . . . . 3.7.4 Korrelationskoeffizient . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.8 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35 35 37 39 42 47 48 48 50 50 52 52 53 55 56 57 57 59 61 63 64
4.
Diskrete und stetige Standardverteilungen . . . . . . . . . . . . . . . . 4.1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Spezielle diskrete Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.1 Die diskrete Gleichverteilung . . . . . . . . . . . . . . . . . . . . . . . 4.2.2 Die Einpunktverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.3 Die Null-Eins-Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.4 Die hypergeometrische Verteilung . . . . . . . . . . . . . . . . . . 4.2.5 Die Binomialverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.6 Die geometrische Verteilung . . . . . . . . . . . . . . . . . . . . . . . 4.2.7 Die Poissonverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.8 Die Multinomialverteilung . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Spezielle stetige Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.1 Die stetige Gleichverteilung . . . . . . . . . . . . . . . . . . . . . . . . 4.3.2 Die Exponentialverteilung . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.3 Die Normalverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.4 Die zweidimensionale Normalverteilung . . . . . . . . . . . . . 4.4 Pr¨ ufverteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4.1 Die χ2 -Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4.2 Die t-Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4.3 Die F -Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
69 69 69 69 70 70 72 74 77 79 80 82 82 83 85 89 91 91 92 93 94
Inhaltsverzeichnis
5.
XV
Grenzwerts¨ atze und Approximationen . . . . . . . . . . . . . . . . . . . . 97 5.1 Die stochastische Konvergenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.2 Das Gesetz der großen Zahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 5.3 Der zentrale Grenzwertsatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 5.4 Approximationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.4.1 Approximation der Binomialverteilung durch die Normalverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 5.4.2 Approximation der Binomialverteilung durch die Poissonverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.4.3 Approximation der Poissonverteilung durch die Normalverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.4.4 Approximation der hypergeometrischen Verteilung durch die Binomialverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.5 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
Teil II. Induktive Statistik 6.
7.
Sch¨ atzung von Parametern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2 Allgemeine Theorie der Punktsch¨ atzung . . . . . . . . . . . . . . . . . . . 6.3 Maximum-Likelihood-Sch¨ atzung . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3.1 Das Maximum-Likelihood-Prinzip . . . . . . . . . . . . . . . . . . 6.3.2 Herleitung der ML-Sch¨ atzungen f¨ ur die Parameter der Normalverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4 Konfidenzsch¨ atzungen von Parametern . . . . . . . . . . . . . . . . . . . . 6.4.1 Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4.2 Konfidenzsch¨ atzung der Parameter einer Normalverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.5 Sch¨ atzen einer Binomialwahrscheinlichkeit . . . . . . . . . . . . . . . . . 6.6 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
109 109 110 112 112
Pr¨ ufen statistischer Hypothesen . . . . . . . . . . . . . . . . . . . . . . . . . . 7.1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2 Testtheorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.3 Einstichprobenprobleme bei Normalverteilung . . . . . . . . . . . . . . 7.3.1 Pr¨ ufen des Mittelwertes bei bekannter Varianz (einfacher Gauss-Test) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.3.2 Pr¨ ufung des Mittelwertes bei unbekannter Varianz (einfacher t-Test) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ur die Varianz . . . . . . . . . . 7.3.3 Pr¨ ufen der Varianz; χ2 -Test f¨ 7.4 Zweistichprobenprobleme bei Normalverteilung . . . . . . . . . . . . . 7.4.1 Pr¨ ufen der Gleichheit der Varianzen (F-Test) . . . . . . . . 7.4.2 Pr¨ ufen der Gleichheit der Mittelwerte zweier unabh¨angiger normalverteilter Zufallsvariablen . . . . . . . . . . . . . . . .
127 127 127 131
114 117 117 118 122 125
131 135 137 139 139 142
XVI
Inhaltsverzeichnis
7.5 7.6
7.7 7.8 8.
7.4.3 Pr¨ ufen der Gleichheit der Mittelwerte aus einer verbundenen Stichprobe (paired t-Test) . . . . . . . . . . . . . . . . Pr¨ ufen der Korrelation zweier Normalverteilungen . . . . . . . . . . Pr¨ ufen von Hypothesen u ¨ ber Binomialverteilungen . . . . . . . . . . 7.6.1 Pr¨ ufen der Wahrscheinlichkeit f¨ ur das Auftreten eines Ereignisses (Binomialtest f¨ ur p) . . . . . . . . . . . . . . . . . . . . 7.6.2 Pr¨ ufen der Gleichheit zweier Binomialwahrscheinlichkeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.6.3 Exakter Test von Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.6.4 McNemar-Test f¨ ur bin¨ aren Response . . . . . . . . . . . . . . . . Testentscheidung mit Statistik Software . . . . . . . . . . . . . . . . . . . Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Nichtparametrische Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2 Anpassungstests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2.1 Chi-Quadrat-Anpassungstest . . . . . . . . . . . . . . . . . . . . . . . 8.2.2 Kolmogorov–Smirnov–Anpassungstest . . . . . . . . . . . . . . . 8.3 Homogenit¨ atstests f¨ ur zwei unabh¨ angige Stichproben . . . . . . . . 8.3.1 Kolmogorov-Smirnov-Test im Zweistichprobenproblem 8.3.2 Mann-Whitney-U -Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.4 Homogenit¨ atstests im matched-pair Design . . . . . . . . . . . . . . . . 8.4.1 Vorzeichen-Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.4.2 Wilcoxon-Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.5 Matched-Pair Design: Pr¨ ufung der Rangkorrelation . . . . . . . . . 8.6 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
145 147 149 149 152 153 155 157 161 165 165 165 166 168 172 172 174 179 179 182 184 187
Teil III. Modellierung von Ursache–Wirkungsbeziehungen 9.
Lineare Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.1 Bivariate Ursache-Wirkungsbeziehungen . . . . . . . . . . . . . . . . . . . 9.2 Induktive univariate lineare Regression . . . . . . . . . . . . . . . . . . . . 9.2.1 Eigenschaften der Sch¨ atzfunktion b . . . . . . . . . . . . . . . . . 9.2.2 Hypothesentests f¨ ur den Parameter b . . . . . . . . . . . . . . . 9.3 Induktive multiple Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3.1 Beste lineare erwartungstreue Sch¨atzung von β . . . . . . 9.3.2 Sch¨ atzung von σ 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3.3 Klassische Normalregression . . . . . . . . . . . . . . . . . . . . . . . 9.3.4 Maximum-Likelihood-Sch¨ atzung . . . . . . . . . . . . . . . . . . . . 9.3.5 Pr¨ ufen von linearen Hypothesen . . . . . . . . . . . . . . . . . . . . 9.3.6 Pr¨ ufen der univariaten Regression . . . . . . . . . . . . . . . . . . 9.3.7 Konfidenzbereiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3.8 Vergleich von Modellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3.9 Kriterien zur Modellwahl . . . . . . . . . . . . . . . . . . . . . . . . . .
193 193 194 195 197 197 198 199 200 200 201 206 208 212 213
Inhaltsverzeichnis
XVII
9.3.10 Die bedingte KQ-Sch¨ atzung . . . . . . . . . . . . . . . . . . . . . . . 9.4 Ein komplexes Beispiel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.4.1 Normalverteilungsannahme . . . . . . . . . . . . . . . . . . . . . . . . 9.4.2 Schrittweise Einbeziehung von Variablen . . . . . . . . . . . . 9.4.3 Grafische Darstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.5 Kategoriale Einflussgr¨ oßen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.6 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
215 215 216 217 221 222 227
10. Varianzanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.2 Einfaktorielle Varianzanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.2.1 Darstellung als restriktives Modell . . . . . . . . . . . . . . . . . . 10.2.2 Zerlegung der Fehlerquadratsumme . . . . . . . . . . . . . . . . . 10.2.3 Sch¨ atzung von σ 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.2.4 Pr¨ ufen des Modells . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.3 Multiple Vergleiche von einzelnen Mittelwerten . . . . . . . . . . . . . 10.4 Rangvarianzanalyse – Kruskal-Wallis-Test . . . . . . . . . . . . . . . . . 10.5 Zweifaktorielle Varianzanalyse mit Wechselwirkung . . . . . . . . . 10.5.1 Definitionen und Grundprinzipien . . . . . . . . . . . . . . . . . . 10.5.2 Modellannahmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.6 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
231 231 232 235 237 239 240 243 246 250 250 254 262
11. Analyse von Kontingenztafeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1 Zweidimensionale kategoriale Zufallsvariablen . . . . . . . . . . . . . . 11.2 Unabh¨ angigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.3 Inferenz in Kontingenztafeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.3.1 Stichprobenschemata f¨ ur Kontingenztafeln . . . . . . . . . . . 11.3.2 ML-Sch¨ atzung bei Multinomialschema . . . . . . . . . . . . . . 11.3.3 Exakter Test von Fisher f¨ ur 2 × 2-Tafeln . . . . . . . . . . . . 11.3.4 Maximum-Likelihood-Quotienten-Test auf Unabh¨angigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.4 Differenziertere Untersuchung von I × J-Tafeln . . . . . . . . . . . . . 11.5 Die Vierfeldertafel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.6 Zweifache Klassifikation und loglineare Modelle . . . . . . . . . . . . . 11.7 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . .
265 265 267 268 268 270 273
12. Lebensdaueranalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12.1 Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12.2 Survivorfunktion und Hazardrate . . . . . . . . . . . . . . . . . . . . . . . . . 12.3 Kaplan-Meier-Sch¨ atzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12.4 Log-Rank-Test zum Vergleich von Survivorfunktionen . . . . . . . ¨ 12.5 Einbeziehung von Kovariablen in die Uberlebensanalyse ..... 12.5.1 Das Proportional–Hazard–Modell von Cox . . . . . . . . . . . ¨ 12.5.2 Uberpr¨ ufung der Proportionalit¨atsannahme . . . . . . . . . . 12.5.3 Sch¨ atzung des Cox–Modells . . . . . . . . . . . . . . . . . . . . . . . .
289 289 291 292 296 300 301 302 303
273 274 277 280 286
XVIII Inhaltsverzeichnis
¨ 12.5.4 Sch¨ atzung der Uberlebensfunktion unter dem Cox– Ansatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12.5.5 Einige Wahrscheinlichkeitsverteilungen f¨ ur die Verweildauer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12.5.6 Modellierung der Hazardrate . . . . . . . . . . . . . . . . . . . . . . . 12.6 Aufgaben und Kontrollfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13. Fehlende Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.1 Betrachtung eines einzelnen Merkmals . . . . . . . . . . . . . . . . . . . . 13.1.1 Behandlung fehlender Daten f¨ ur eine bin¨are Zufallsvariable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.1.2 Fehlende Daten bei einer univariat normalverteilten Zufallsvariable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.2 Betrachtung zweier Merkmale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.2.1 Zwei kategoriale Merkmale . . . . . . . . . . . . . . . . . . . . . . . .
304 304 306 309 311 314 314 321 321 323
Teil IV. Einf¨ uhrung in statistische Software 14. Einf¨ uhrung in SPSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.1 Grundaufbau des Programms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.1.1 Das Datenfenster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.1.2 Das Ausgabefenster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.1.3 Das Syntaxfenster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.2 Einige praktische Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.2.1 Wahrscheinlichkeitstheorie und die Erzeugung von Zufallszahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.2.2 Verwendung von statistischen Tests . . . . . . . . . . . . . . . . . 14.2.3 Modellierung von Ursache-Wirkungsbeziehungen . . . . .
329 329 330 331 332 333
15. Einf¨ uhrung in R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15.1 Installation und Grundaufbau des Programmpakets R . . . . . . . 15.1.1 R als u ¨berdimensionierter Taschenrechner . . . . . . . . . . . 15.1.2 Programmiersprache R . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15.1.3 Grafische F¨ ahigkeiten von R . . . . . . . . . . . . . . . . . . . . . . . 15.2 Einige praktische Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15.2.1 Wahrscheinlichkeitstheorie und die Erzeugung von Zufallszahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15.2.2 Verwendung von statistischen Tests . . . . . . . . . . . . . . . . . 15.2.3 Modellierung von Ursache–Wirkungsbeziehungen . . . . .
353 353 354 355 356 360
¨ A. L¨ osungen zu den Ubungsaufgaben ........................ A.1 Kombinatorik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.2 Elemente der Wahrscheinlichkeitsrechnung . . . . . . . . . . . . . . . . . A.3 Zuf¨ allige Variablen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
387 388 391 401
333 337 346
360 364 378
Inhaltsverzeichnis
A.4 Diskrete und stetige Standardverteilungen . . . . . . . . . . . . . . . . . A.5 Grenzwerts¨ atze und Approximationen . . . . . . . . . . . . . . . . . . . . . A.6 Sch¨ atzung von Parametern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.7 Pr¨ ufen statistischer Hypothesen . . . . . . . . . . . . . . . . . . . . . . . . . . A.8 Nichtparametrische Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.9 Lineare Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.10 Varianzanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.11 Analyse von Kontingenztafeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.12 Lebensdaueranalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
XIX
415 424 429 434 441 450 453 456 460
B. Tabellenanhang . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463 Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477 Sachverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
Teil I
Wahrscheinlichkeitstheorie
1. Kombinatorik
1.1 Einleitung Dieses Kapitel dient der Vorbereitung auf die Grundlagen der Wahrscheinlichkeitsrechnung in Kapitel 2. Klassische wahrscheinlichkeitstheoretische Probleme liefern beispielsweise die Gl¨ ucksspiele, die als Experiment mit zuf¨alligem Ergebnis aufgefaßt werden k¨ onnen. Hier ist man insbesondere daran interessiert, die Chancen f¨ ur gewisse Gewinnklassen auszurechnen. Chance wird dabei als das Verh¨ altnis der f¨ ur die spezielle Gewinnklasse g¨ unstigen Ergebnisse zu der Anzahl aller gleichm¨ oglichen Ergebnisse verstanden. Dieser Quotient ist die Grundlage der klassischen Definition der Wahrscheinlichkeit nach Laplace (vgl. Abschnitt 2.3). Wir haben somit die Menge aller m¨oglichen Ergebnisse und die darin enthaltene Menge der f¨ ur die spezielle Gewinnklasse g¨ unstigen Ergebnisse zu betrachten. Die Anzahl der Elemente einer Menge M wird als M¨ achtigkeit |M | der Menge M bezeichnet. Beispiel. Beim Roulette besteht die Menge der m¨oglichen Ergebnisse aus den Zahlen 0, . . . , 36 mit der M¨ achtigkeit 37. Die Gewinnklasse Rouge“ besteht ” aus den roten Zahlen, die M¨ achtigkeit dieser Menge ist 18. Da der M¨ achtigkeit von Mengen eine zentrale Bedeutung in der Wahrscheinlichkeitsrechnung zukommt, betrachten wir in den folgenden Abschnitten die grundlegenden Modelle und Fragestellungen der Kombinatorik, die sich mit der Berechnung von M¨ achtigkeiten besch¨aftigt. Dabei stehen die folgenden beiden Fragestellungen im Vordergrund: • Gegeben seien n Elemente. Auf wieviele Arten kann man sie anordnen? (Permutationen) • Auf wieviele Arten kann man m Elemente aus n Elementen ausw¨ahlen? (Kombinationen)
1.2 Grundbegriffe der Kombinatorik Als theoretische Grundlage f¨ ur das Gl¨ ucksspiel kann das Urnenmodell betrachtet werden. Man nehme eine Urne, in der sich n Kugeln befinden. Diese k¨ onnen – je nach Fragestellung – entweder alle verschieden sein, oder es
4
1. Kombinatorik
k¨onnen sich mehrere Gruppen von gleichartigen Kugeln in der Urne befinden. Als das Resultat des Ziehens von Kugeln aus der Urne erhalten wir eine Auswahl (Stichprobe) von Kugeln aus der Gesamtheit (Grundgesamtheit) aller in der Urne vorhandenen Kugeln. Wir unterscheiden dabei zwischen der ungeordneten und der geordneten Auswahl von Elementen. Definition 1.2.1. Eine Auswahl von Elementen heißt geordnet, wenn die Reihenfolge der Elemente von Bedeutung ist, anderenfalls heißt die Auswahl von Elementen ungeordnet. Beispiele. • geordnete Auswahl: – Einlauf der ersten drei Pferde beim Pferderennen mit Sieger, Zweitem, Drittem – Wahl eines Vorsitzenden und seines Stellvertreters in einem Sportverein • ungeordnete Auswahl – Ziehungsergebnis ‘6 aus 49’ (ohne Zusatzzahl) – qualifizierte Fußballmannschaften f¨ ur die Weltmeisterschaft 2006 ¨ Bei den obigen Beispielen will man sich eine Ubersicht u ¨ ber die Zahl der verschiedenen Auswahlm¨ oglichkeiten verschaffen, d. h., man fragt nach der Zahl der m¨ oglichen Einl¨ aufe der ersten drei Pferde bei z. B. acht Pferden im Wettbewerb, nach der Anzahl der m¨ oglichen Wahlausg¨ange in einem Sportverein, nach den verschiedenen Tippergebnissen beim Lotto, nach den verschiedenen Teilnehmerfeldern f¨ ur die Weltmeisterschaft 2006 usw.
1.3 Permutationen Definition 1.3.1. Gegeben sei eine Menge mit n Elementen. Jede Anordnung dieser Elemente in einer bestimmten Reihenfolge heißt Permutation dieser Elemente. Bei Permutationen k¨ onnen wir zwei F¨ alle unterscheiden: Sind alle n Elemente verschieden (also unterscheidbar), so spricht man von Permutationen ohne Wiederholung. Sind einige Elemente gleich, so handelt es sich um Permutationen mit Wiederholung. 1.3.1 Permutationen ohne Wiederholung Sind alle n Elemente verschieden, so gibt es n! verschiedene Anordnungen dieser Elemente.
(1.1)
1.3 Permutationen
5
Definition 1.3.2. Der Ausdruck n! heißt n Fakult¨ at und ist f¨ ur ganzzahliges n ≥ 0 wie folgt definiert: 1 f¨ ur n = 0 n! = (1.2) 1 · 2 · 3 · · · n f¨ ur n > 0 So ist beispielsweise
1! = 1 2! = 1 · 2 = 2
3! = 1 · 2 · 3 = 6 . Die Regel Es gibt n! Permutationen ohne Wiederholung“ u uft man ¨ berpr¨ ” ¨ leicht durch folgende Uberlegung. Bei n verschiedenen Elementen hat man n M¨ oglichkeiten, das erste Element zu w¨ ahlen. Hat man das erste Element festgelegt, so verbleiben f¨ ur die Wahl des zweiten Elements n − 1 M¨oglichkeiten, . . . , f¨ ur die Wahl des letzten Elements bleibt eine M¨oglichkeit. Im Urnenmodell entspricht dies dem Ziehen aller n Kugeln der Reihe nach. Beispiel 1.3.1. 3 Kinder stellen sich an einem Eisstand an. F¨ ur die Reihenfolge des Anstehens von Ulrike, Angela und Sabina gibt es 3! = 6 M¨oglichkeiten: (U, A, S), (A, S, U), (S, A, U) (U, S, A), (A, U, S), (S, U, A) urzt durch die Ziffern Beispiel 1.3.2. 4 Filialen einer Gesch¨ aftskette (abgek¨ 1, 2, 3 und 4) werden nach ihrem Jahresumsatz angeordnet. Es gibt daf¨ ur 4! = 24 verschiedene M¨ oglichkeiten. F¨ ur die Filiale mit dem h¨ochsten Umsatz gibt es 4 M¨ oglichkeiten. In der folgenden Auflistung sind die Gruppen mit gleich besetzter erster Position in Spalten nebeneinander angeordnet. Ist die erste Position festgelegt, verbleiben f¨ ur die zweite Position 3 M¨oglichkeiten. Ist diese bestimmt, verbleiben f¨ ur Position drei 2 M¨oglichkeiten. Mit der Festlegung der dritten (vorletzten) Position ist schließlich auch die letzte Position vier bestimmt. In der linken Spalte der folgenden Auflistung wird f¨ ur die erste Position Filiale 1 und f¨ ur die zweite Position zun¨ achst Filiale 2 gew¨ahlt. F¨ ur die dritte und vierte Position verbleiben damit die beiden Kombinationen 3, 4 und 4, 3. W¨ ahlen wir dann f¨ ur die zweite Position Filiale 3, so verbleiben die beiden Kombinationen 2, 4 und 4, 2. Bei Filiale 4 an Position zwei gibt es schließlich die beiden Kombinationen 2, 3 und 3, 2. Die weiteren Spalten werden analog gebildet. Filiale 1 mit h¨ ochstem Umsatz (1, 2, 3, 4) (1, 2, 4, 3) (1, 3, 2, 4) (1, 3, 4, 2) (1, 4, 2, 3) (1, 4, 3, 2)
··· ··· ··· ··· ··· ··· ···
Filiale 4 mit h¨ochstem Umsatz (4, 1, 2, 3) (4, 1, 3, 2) (4, 2, 1, 3) (4, 2, 3, 1) (4, 3, 1, 2) (4, 3, 2, 1)
6
1. Kombinatorik
1.3.2 Permutationen mit Wiederholung Sind nicht alle Elemente verschieden, sondern gibt es n1 gleichartige Elemente E1 , n2 gleichartige – aber von E1 verschiedene – Elemente E2 , . . ., und schließlich ns gleichartige – aber von E1 , . . . , Es−1 verschiedene – Elemente s Es , so haben wir folgende Struktur von insgesamt n = i=1 Elementen: Gruppe 1: n1 Elemente E1 Gruppe 2: n2 Elemente E2 .. .. . . Gruppe s: ns Elemente Es
Die Anzahl der m¨ oglichen (unterscheidbaren) Permutationen mit Wiederholung ist n! . (1.3) n1 ! n2 ! n3 ! · · · ns !
Intuitiv l¨ asst sich (1.3) wie folgt erl¨ autern: Es gibt n! verschiedene Anordnungen f¨ ur die n Elemente (vgl. (1.1)). Das Vertauschen von Elementen innerhalb einer Gruppe f¨ uhrt nicht zu unterschiedlichen Anordnungen. Daher d¨ urfen bei der Bestimmung der Gesamtzahl der Anordnungen die ni !, i = 1, . . . , s gleichen Anordnungen jeder Gruppe nicht gez¨ahlt werden. In der Urne liegen also nicht mehr n v¨ ollig verschiedene Kugeln, sondern es gibt nur noch s beispielsweise durch ihre Farbe unterscheidbare Kugelarten, wobei jede Kugelart mehrfach (ni -fach) in der Urne vorkommt. Es werden wieder alle Kugeln der Reihe nach aus der Urne gezogen. Beispiel 1.3.3. In einer Kartei, in der n = 10 Mitarbeiter verzeichnet sind, sind n1 = 4 Mitarbeiter Frauen und n2 = 6 M¨anner. Nach (1.1) gibt es 10! verschiedene Permutationen der Karteikarten. Ist bei einer solchen Anordnung nur wichtig, ob eine Karteikarte zu einer Frau (w) oder zu einem Mann (m) geh¨ ort, so sind dabei 4! Permutationen bez¨ uglich der Frauen und 6! Permutationen bez¨ uglich der M¨ anner nicht unterscheidbar. Also ist die Anzahl der (unterscheidbaren) Permutationen mit Wiederholung nach (1.3) gleich 10 · 9 · 8 · 7 · 6! 10 · 9 · 8 · 7 5040 10! = = = = 210 . 4! 6! 4! 6! 4! 24 Anmerkung. Der Quotient (1.3) wird uns in Abschnitt 4.2.8 im Zusammenhang mit der Multinomialverteilung wieder begegnen, er wird auch Multinomialkoeffizient genannt. Neben der eben beschriebenen Anordnung von n Elementen interessiert, insbesondere in der Stichprobenziehung, der Begriff der Kombination, den wir nun einf¨ uhren werden.
1.4 Kombinationen
7
1.4 Kombinationen Definition 1.4.1. Eine Auswahl von m Elementen aus einer Gesamtmenge von n (unterscheidbaren) Elementen (mit n ≥ m) heißt Kombination mter Ordnung aus n Elementen. F¨ ur Kombinationen gibt es vier Modelle, je nachdem, ob ein Element mehrfach ausgew¨ ahlt werden darf oder nicht (mit bzw. ohne Wiederholung) und ob die Reihenfolge der Anordnung der Elemente eine Rolle spielt oder nicht (mit bzw. ohne Ber¨ ucksichtigung der Reihenfolge). Eine wichtige Notationshilfe bei der Bestimmung der Anzahl von Kombinationen ist der Binomialkoeffizient. Definition 1.4.2. Der Binomialkoeffizient ist f¨ ur ganzzahlige n ≥ m ≥ 0 definiert als n! n . (1.4) = m! (n − m)! m (Der Binomialkoeffizient wird als
”
nu ¨ ber m“ oder
”
m aus n“ gelesen).
Es gilt n = 1 (als Definition) 0 n =n 1 n n = . m n−m 1.4.1 Kombinationen ohne Wiederholung und ohne Ber¨ ucksichtigung der Reihenfolge Die Anzahl der Kombinationen ohne Wiederholung und ohne Ber¨ ucksichtigung der Reihenfolge betr¨ agt n . (1.5) m Man stelle sich vor, die n Elemente werden in zwei Gruppen unterteilt: die Gruppe der ausgew¨ ahlten m = n1 Elemente und die Gruppe der nicht ausgew¨ ahlten restlichen n − m = n2 Elemente. Die Reihenfolge innerhalb der beiden Gruppen interessiert dabei nicht. Damit kann (1.5) mit (1.3) gleichgesetzt werden: n! n n! = . (1.6) = m! (n − m)! n1 ! n2 ! m
8
1. Kombinatorik
Beispiel 1.4.1. Aus n = 4 Buchstaben (a,b,c,d) lassen sich 4 4! =6 = 2! 2! 2 Paare (m = 2) von Buchstaben bilden, bei denen Wiederholungen (eines Buchstabens) nicht zugelassen sind und die Reihenfolge unber¨ ucksichtigt bleibt: (a,b)
(a,c) (b,c)
(a,d) (b,d) (c,d)
Beispiel 1.4.2. Aus n = 3 Mitgliedern (Christian, Thomas, Sandro) eines Vereins soll ein Vorstand aus m = 2 Mitgliedern ausgew¨ahlt werden. Die Reihenfolge spielt keine Rolle (ohne Ber¨ ucksichtigung der Reihenfolge), und es m¨ ussen zwei verschiedene Personen gew¨ ahlt werden (ohne Wiederholung). Die Anzahl der verschiedenen m¨ oglichen Vorst¨ande ist dann 3 3! = 3, = 2! · 1! 2 n¨ amlich (Christian, Thomas), (Christian, Sandro), (Thomas, Sandro). Beispiel 1.4.3. Die Ziehung ‘6 aus 49’ (ohne Zusatzzahl) ist eine Kombination 6. Ordnung (m = 6) aus n = 49 Elementen. Dabei wird keine Zahl wiederholt gezogen, und f¨ ur die Gewinnklasse spielt die Reihenfolge der Ziehung der Zahlen keine Rolle. Also liegt eine Kombination ohne Wiederholung und ohne Ber¨ ucksichtigung der Reihenfolge vor. Es gibt somit 43! · 44 · 45 · 46 · 47 · 48 · 49 49 49! = = 13983816 = 6! 43! 1 · 2 · 3 · 4 · 5 · 6 · 43! 6 (d. h. rund 14 Millionen) m¨ ogliche Ziehungsergebnisse. Beispiel 1.4.4. Beim Pferderennen gibt es die Wettart Dreiereinlauf“, bei ” der die ersten drei Pferde (mit Festlegung des Platzes) getippt werden. Ber¨ ucksichtigt man zun¨ achst die Reihenfolge nicht, so gibt es bei n = 20 Pferden 20 18 · 19 · 20 20! = = 1140 = 3 3! 17! 1·2·3 verschiedene Ergebnisse f¨ ur die ersten drei Pferde (ohne Ber¨ ucksichtigung ihrer Reihenfolge).
1.4 Kombinationen
9
1.4.2 Kombinationen ohne Wiederholung, aber mit Ber¨ ucksichtigung der Reihenfolge Sollen zwei Kombinationen, die genau dieselben m Elemente enthalten, aber in verschiedener Anordnung, als verschieden gelten, so spricht man von Kombination mit Ber¨ ucksichtigung der Reihenfolge. Die Anzahl der Kombinationen ohne Wiederholung, aber unter Ber¨ ucksichtigung der Reihenfolge betr¨agt n n! = m! . (1.7) m (n − m)! Die Ber¨ ucksichtigung der Anordnung der m Elemente erh¨oht also die Anzahl der Kombinationen um den Faktor m! (vgl. (1.5)), d. h. um die Kombinationen, die vorher als gleich galten. Wir ziehen aus der Urne also m verschiedene Kugeln ohne Zur¨ ucklegen, halten aber die Reihenfolge fest, in der sie gezogen wurden. Beispiel 1.4.5. Ber¨ ucksichtigt man bei der Dreiereinlaufwette die Reihenfolge der ersten drei Pferde, so gibt es bei n = 20 gestarteten Pferden 20! = 18 · 19 · 20 = 6840 (20 − 3)! verschiedene Ergebnisse, also (vgl. Beispiel 1.4.4) 6 = 3! mal mehr m¨ogliche Ergebnisse als ohne Ber¨ ucksichtigung der Rangfolge der ersten drei Pferde. Beispiel 1.4.6. Wird die Reihenfolge (Vorsitzender, Stellvertreter) bei der Wahl eines Vorstandes aus m = 2 Personen bei n = 3 Mitgliedern ber¨ ucksichtigt, so gibt es 3 3! = · 2! = 6 2 (3 − 2)! verschiedene Vorst¨ ande, n¨ amlich
(Christian, Thomas) (Thomas, Christian) (Sandro, Christian)
(Christian, Sandro) (Thomas, Sandro)
(Sandro, Thomas)
Beispiel 1.4.7. Man w¨ ahle aus n = 4 verschiedenen Buchstaben a, b, c, d genau m = 2 verschiedene Buchstaben aus, wobei die Reihenfolge zu ber¨ ucksichtigen ist. Wir erhalten als Anzahl 4 4! = · 2! = 12 . 2 2! Die Kombinationen lauten: (a,b) (b,a) (c,a) (d,a)
(c,b) (d,b)
(a,c) (b,c) (d,c)
(a,d) (b,d) (c,d)
10
1. Kombinatorik
1.4.3 Kombinationen mit Wiederholung, aber ohne Ber¨ ucksichtigung der Reihenfolge L¨ asst man zu, dass Elemente mehrfach in der Kombination auftreten, so spricht man von Kombination mit Wiederholung. Die Anzahl der Kombinationen mit Wiederholung, aber ohne Ber¨ ucksichtigung der Reihenfolge betr¨ agt n+m−1 (n + m − 1)! . (1.8) = m! (n − 1)! m
Im Vergleich zum Fall der Kombinationen ohne Wiederholung (1.5) vergr¨ oßert sich die Menge, aus der ausgew¨ ahlt wird, um m − 1 Elemente. Im Urnenmodell entspricht dies dem Ziehen mit Zur¨ ucklegen, aber ohne Ber¨ ucksichtigung der Reihenfolge. Beispiel 1.4.8. Aus n = 4 verschiedenen Buchstaben (a,b,c,d) lassen sich 3! · 4 · 5 4+2−1 5 5! = = 10 = = 2! 3! 1 · 2 · 3! 2 2 Paare (m = 2) von Buchstaben bilden, bei denen Wiederholungen (eines Buchstabens) zugelassen sind und die Reihenfolge unber¨ ucksichtigt bleibt: (a,a)
(a,b) (b,b)
(a,c) (b,c) (c,c)
(a,d) (b,d) (c,d) (d,d)
Beispiel 1.4.9. Wenn wir zulassen, dass ein Vereinsmitglied bei der Vorstandswahl zwei Posten besetzt, gibt es bei n = 3 Mitgliedern 3+2−1 4 4! = = =6 2 2 2! 2! m¨ ogliche Zweiervorst¨ ande ohne Ber¨ ucksichtigung der Reihenfolge: (Christian, Christian)
(Christian, Thomas) (Thomas, Thomas )
(Christian, Sandro) (Thomas, Sandro) (Sandro, Sandro)
1.4.4 Kombinationen mit Wiederholung und mit Ber¨ ucksichtigung der Reihenfolge Die Anzahl der Kombinationen mit Wiederholung und mit Ber¨ ucksichtigung der Reihenfolge betr¨ agt (1.9) nm . In diesem Modell gibt es f¨ ur jede der m Auswahlstellen n m¨ogliche Elemente. ¨ Ubertragen auf das Urnenmodell heißt das, dass in jedem Zug eine Kugel ausgew¨ ahlt und danach wieder zur¨ uckgelegt wird, und dass zus¨atzlich die Reihenfolge in der Ziehung von Interesse ist.
1.5 Zusammenfassung
11
Beispiel 1.4.10. Aus n = 4 Buchstaben lassen sich 42 = 16 Paare (m = 2) von Buchstaben bilden, bei denen Wiederholungen (eines Buchstabens) zugelassen sind und die Reihenfolge ber¨ ucksichtigt wird: (a,a) (b,a) (c,a) (d,a)
(a,b) (b,b) (c,b) (d,b)
(a,c) (b,c) (c,c) (d,c)
(a,d) (b,d) (c,d) (d,d)
Beispiel 1.4.11. In einem Verein mit m = 3 Mitgliedern gibt es 32 = 9 Zweier-Vorst¨ ande, wenn Doppelbesetzung (Wiederholung) zugelassen ist und bei den unterscheidbaren Paaren die Reihenfolge ber¨ ucksichtigt wird. Durch die Ber¨ ucksichtigung der Reihenfolge erh¨ oht sich die Zahl der verschiedenen Vorst¨ ande um 3 (vgl. Beispiel 1.4.9): (Christian, Christian) (Thomas, Christian) (Sandro, Christian)
(Christian, Thomas) (Thomas, Thomas) (Sandro, Thomas)
(Christian, Sandro) (Thomas, Sandro) (Sandro, Sandro)
Beispiel 1.4.12 (W¨ urfelwurf ). Beim viermaligen W¨ urfeln gibt es bei jedem Wurf 6 M¨ oglichkeiten, also insgesamt 64 = 1296 verschiedene Wurfserien, von (1, 1, 1, 1) bis (6, 6, 6, 6).
1.5 Zusammenfassung Die in diesem Kapitel vorgestellten kombinatorischen Regeln zur Berechnung der M¨ achtigkeit von Mengen sind nochmals in Tabelle 1.1 zusammengefaßt. Tabelle 1.1. Regeln der Kombinatorik ohne Wiederholung Permutationen Kombinationen ohne Reihenfolge Kombinationen mit Reihenfolge
n! ! n m ! n m! m
mit Wiederholung n! n1 ! · · · ns ! n+m−1 m nm
!
12
1. Kombinatorik
1.6 Aufgaben und Kontrollfragen Aufgabe 1.1: Welche kombinatorischen Regeln kennen Sie? Erkl¨aren Sie die Unterschiede zwischen diesen Regeln. Aufgabe 1.2: a) Wieviele 8-stellige Kontonummern gibt es, die nicht mit der Ziffer 0 beginnen? b) Wieviele 8-stellige Kontonummern gibt es, die nicht mit der Ziffer 0 beginnen und bei denen keine Ziffer mehrfach vorkommt? Aufgabe 1.3: Gegeben seien f¨ unf Buchstaben a,b,c,d und e. Wieviele der m¨ oglichen Permutationen dieser f¨ unf Buchstaben beginnen mit einem e? Wieviele beginnen mit der Folge cb? Aufgabe 1.4: Wieviele verschiedene Motorradkennzeichen der Art ‘RA-153’ lassen sich aus 26 Buchstaben und neun Ziffern herstellen? Aufgabe 1.5: Eine Hockeybundesliga bestehe aus zw¨olf Mannschaften. In einer Saison spielt jede Mannschaft gegen jede andere ein Hin- und R¨ uckspiel. Wieviele Spiele finden insgesamt w¨ ahrend einer Saison statt? Aufgabe 1.6: Bei einer Party mit zehn G¨ asten k¨ ußt zur Begr¨ ußung jeder jeden. Wieviele K¨ usse gibt es dann? Aufgabe 1.7: Bei der Leichtathletik WM sind 22 Athleten mit den Startnummern 1 bis 22 f¨ ur den 100-Meter-Lauf der M¨anner gemeldet. Wieviele M¨ oglichkeiten gibt es f¨ ur die Besetzung des Siegerpodestes, wenn die Pl¨atze 1,2 und 3 nicht unterschieden werden? Aufgabe 1.8: In einem Tischtennis-Verein mit zw¨olf Aktiven wird eine Rangliste f¨ ur die erste Mannschaft (Pl¨ atze 1 bis 6) festgelegt. Wieviele M¨oglichkeiten gibt es? Aufgabe 1.9: Vier W¨ urfel werden gleichzeitig geworfen. a) Wieviele Ergebnisse mit vier verschiedenen Augenzahlen gibt es? b) Wieviele Ergebnisse mit h¨ ochstens drei gleichen Augenzahlen gibt es? Aufgabe 1.10: Ein W¨ urfel wird dreimal hintereinander geworfen. a) In wievielen F¨ allen ist der erste Wurf eine 6“? ” b) In wievielen F¨ allen ist die Augenzahl im dritten Wurf gerade? c) In wievielen F¨ allen ist der erste und der dritte Wurf eine 3“? ” Aufgabe 1.11: Wieviele m¨ ogliche Partien gibt es, in denen ein Skatspieler onige und 2 Damen hat? unter seinen 10 Karten 3 K¨
2. Elemente der Wahrscheinlichkeitsrechnung
2.1 Einleitung Ziel jeder wissenschaftlichen Untersuchung ist es, bei beobachteten Zusammenh¨ angen, Effekten oder Trends zu pr¨ ufen, ob diese beobachteten Effekte systematischer Art oder zuf¨ allig sind. Dazu werden statistische Verfahren und Schlussweisen eingesetzt. Ein Verst¨ andnis des Zufallsbegriffs ist dabei notwendige Voraussetzung. Aus dem t¨ aglichen Leben kennen wir viele Beispiele, in denen der Begriff wahrscheinlich“ eine Rolle spielt, wobei wir dies oft mit der relativen ” H¨aufigkeit des Auftretens eines Ereignisses gleichsetzen: • die Wahrscheinlichkeit f¨ ur das Auftreten einer 6“ beim einmaligen W¨ urfeln ” ist 1/6, • die Wahrscheinlichkeit f¨ ur das Ereignis Wappen“ beim einmaligen Werfen ” einer M¨ unze ist 1/2. Diese Aussagen lassen sich u ufen, sofern nur eine hinreichend große ¨ berpr¨ Beobachtungsreihe vorliegt. Beim W¨ urfeln erwartet man, dass bei h¨aufigen Wiederholungen die relative H¨ aufigkeit jeder Augenzahl gegen 1/6 strebt. Statistische Erhebungen sind mit einem Experiment vergleichbar, dessen Ergebnis vor seiner Durchf¨ uhrung nicht bekannt ist. Versuche oder Experimente, die bei Wiederholungen unter gleichen Bedingungen zu verschiedenen Ergebnissen f¨ uhren k¨ onnen, heißen zuf¨ allig. Beispiele. Zuf¨ alliges Experiment Werfen eines W¨ urfels Befragen eines Studenten Einsatz von Werbung Auswahl eines Mitarbeiters
M¨ ogliche Ergebnisse Augenzahl z (z = 1, 2, . . . , 6) Semesteranzahl T (T = 1, 2, . . .) Umsatz¨ anderung x (in%) (x = 0, ±1, ±2, . . .) Verdienstgruppe i (i = I, II, III)
14
2. Elemente der Wahrscheinlichkeitsrechnung
2.2 Zuf¨ allige Ereignisse Ein zuf¨ alliges Ereignis ist eine Menge von Ergebnissen {ω1 , . . . , ωk } eines Zufallsexperiments. Man sagt, das zuf¨ allige Ereignis A = {ω1 , . . . , ωk } tritt ein, wenn mindestens eines der zuf¨ alligen Ereignisse {ωi } eingetreten ist. Ereignisse, die nur aus der einelementigen Menge {ωi } bestehen, heißen Elementarereignisse. Mit anderen Worten, ein Elementarereignis ist ein ucken Ereignis, das sich nicht als Vereinigung mehrerer Ergebnisse ωi ausdr¨ l¨ asst. Der Ereignisraum oder Grundraum Ω ist die Menge aller Elementarereignisse. Beispiel 2.2.1 (W¨ urfelwurf ). Beim einmaligen Werfen eines W¨ urfels sind die m¨ oglichen Ergebnisse die Augenzahlen 1, . . . , 6. Damit besteht der Ereignisraum aus den Elementarereignissen ω1 = 1“, ω2 = 2“,. . ., ω6 = 6“: ” ” ” Ω = {1, . . . , 6}. Das Ereignis A = {ω2 , ω4 , ω6 } tritt ein, falls eines der Elementarereignisse ω2 , ω4 oder ω6 eingetreten ist. In diesem Fall ist A das zuf¨ allige Ereignis gerade Augenzahl beim einmaligen W¨ urfeln“. ” Beim zweifachen W¨ urfelwurf sind die Elementarereignisse ω1 , . . . , ω36 die Paare (1, 1) bis (6, 6). Damit hat Ω die Gestalt {(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (1, 6) (2, 1), (2, 2), ... (2, 6) Ω= .. .. . . (6, 1), ... (6, 5), (6, 6)} Das unm¨ ogliche Ereignis ∅ ist das Ereignis, das kein Elementarereignis enth¨ alt. Das sichere Ereignis ist die Menge Ω = {ω1 , . . . , ωn } aller Elementarereignisse. Das sichere Ereignis tritt in jeder Wiederholung des Zufallsexperiments ein. Beispiele. • f¨ ur das sichere Ereignis: – Die gezogene Zusatzzahl bei Lotto ‘6 aus 49’ ist eine Zahl von 1 bis 49. – Beim Einsatz von Werbung in einer Kaufhauskette ver¨andert sich der Umsatz positiv oder der Umsatz bleibt gleich oder der Umsatz ver¨andert sich negativ. • f¨ ur das unm¨ ogliche Ereignis: – Die gezogene Zahl z = −1, z = 5.5 oder z = 51 bei der Ziehung im Lotto ‘6 aus 49’. – Gerade Augenzahl in beiden W¨ urfen und ungerade Augensumme“ beim ” zweifachen W¨ urfelwurf. Das Komplement¨ arereignis A¯ ist das Ereignis, das genau dann eintritt, wenn A nicht eintritt.
2.2 Zuf¨ allige Ereignisse
15
Beispiele. • F¨ ur das zuf¨ allige Ereignis A: gerade Zahl gew¨ urfelt“ ist das komple” ¯ ungerade Zahl ment¨ are Ereignis A: gew¨ urfelt“. ” • Beim M¨ unzwurf ist Wappen“ das zu Zahl“ komplement¨are Ereignis. ” ” Wie bereits erw¨ ahnt, kann man bei Zufallsexperimenten an einem Elementarereignis ωi interessiert sein oder auch an einem zusammengesetzten Ereignis A = {ω2 , ω5 , . . .}. Da zuf¨ allige Ereignisse Mengen von Elementarereignissen sind, sind folgende Mengenoperationen von Interesse, die in den Abbildungen 2.1 und 2.2 veranschaulicht werden. A∩B
A∪B
A¯
A\B
Das zuf¨ allige Ereignis A ∩ B ist die Durchschnittsmenge aller Elementarereignisse aus A und B. Das Ereignis A und B“ tritt ” genau dann ein, wenn sowohl A als auch B eintreten. Beispiel W¨ urfel: A = {ω2 , ω4 , ω6 } (gerade Zahl), B = {ω3 , ω6 } (durch 3 teilbar), A ∩ B = {ω6 } (gerade und durch 3 teilbar). Das zuf¨ allige Ereignis A ∪ B ist die Vereinigungsmenge aller Elementarereignisse aus A und B, wobei gemeinsame Elementarereignisse nur einmal aufgef¨ uhrt werden. Das Ereignis A oder ” B“ tritt genau dann ein, wenn mindestens eines der beiden Ereignisse A oder B eintritt. Beispiel W¨ urfel: A = {ω2 , ω4 , ω6 } (gerade Zahl), B = {ω3 , ω6 } (durch 3 teilbar), A ∪ B = {ω2 , ω3 , ω4 , ω6 } (gerade oder durch 3 teilbar). Das zuf¨ allige Ereignis A¯ enth¨ alt alle Elementarereignisse aus Ω, die nicht in A vorkommen. Das zu A komplement¨are Ereignis Nicht-A“ oder A quer“ tritt genau dann ein, wenn A nicht ein” ” tritt. Beispiel W¨ urfel: A = {ω2 , ω4 , ω6 } (gerade Zahl), A¯ = {ω1 , ω3 , ω5 } (ungerade Zahl). Das zuf¨ allige Ereignis A\B enth¨ alt alle Elementarereignisse aus A, die nicht gleichzeitig in B enthalten sind. Das Ereignis A aber ” nicht B“ oder A minus B“ tritt genau dann ein, wenn A aber ” ¯ nicht B eintritt. Es gilt A\B = A ∩ B Beispiel W¨ urfel: A = {ω2 , ω4 , ω6 } (gerade Zahl), B = {ω3 , ω6 } (durch 3 teilbar), A\B = {ω2 , ω4 } (gerade, aber nicht durch 3 teilbar).
Anmerkung. Folgende Schreibweisen sind ebenfalls u ¨ blich: A+B AB A−B
f¨ ur f¨ ur f¨ ur
A∪B A∩B A\B
Betrachten wir ein Ereignis A, so sind folgende Zusammenh¨ange von Interesse:
16
2. Elemente der Wahrscheinlichkeitsrechnung
A
B
A
B
Abb. 2.1. A ∪ B und A ∩ B
A
B
A
A¯
Abb. 2.2. A\B und A¯ = Ω\A
A∪A=A A∪Ω =Ω A∪∅=A A ∪ A¯ = Ω
A∩A=A A∩Ω =A A∩∅=∅ A ∩ A¯ = ∅
Definition 2.2.1. Zwei zuf¨allige Ereignisse A und B heißen unvereinbar oder disjunkt, falls ihr gleichzeitiges Eintreten unm¨oglich ist, d.h., falls A ∩ B = ∅ gilt. Damit gilt nat¨ urlich insbesondere, dass A und A¯ disjunkt sind.
Beispiel (Einfacher W¨ urfelwurf ). Die zuf¨ alligen Ereignisse ungerade Augen” zahl“ A = {ω1 , ω3 , ω5 } und gerade Augenzahl“ B = A¯ = {ω2 , ω4 , ω6 } sind ” disjunkt. Wir k¨ onnen einen zuf¨ alligen Versuch durch die Menge der Elementarereignisse Ω = {ω1 , . . . , ωn } oder durch Mengen von zuf¨alligen Ereignissen A1 , . . . , Am (m ≤ n) beschreiben, die folgender Definition gen¨ ugen. Definition 2.2.2. Die zuf¨alligen Ereignisse A1 , . . . , Am bilden ein vollst¨andiges System bzw. eine vollst¨ andige Zerlegung von Ω genau dann, wenn A1 ∪ A2 ∪ · · · ∪ Am = Ω und Ai ∩ Aj = ∅
(f¨ ur alle i = j).
Beispiel (Einmaliger W¨ urfelwurf ). Die Elementarereignisse ω1 , . . . , ω6 bilden in jedem Fall ein vollst¨ andiges System. Weitere m¨ogliche vollst¨andige Systeme sind z.B.:
2.3 Relative H¨ aufigkeit und Laplacesche Wahrscheinlichkeit
17
• A1 = {ω1 , ω3 , ω5 } A2 = {ω2 , ω4 , ω6 } • A1 = {ω1 } A2 = {ω2 , . . . , ω6 } • A1 = {ω1 , ω2 , ω3 } A2 = {ω4 , ω5 , ω6 }. Anmerkung. Vollst¨ andige Systeme von Ereignissen spielen in der Maßtheorie, auf die hier nicht weiter eingegangen wird, eine wichtige Rolle. Dabei kann ein vollst¨ andiges System beliebig definiert werden, solange Definition 2.2.2 eingehalten wird, es sollte jedoch stets der Grundsatz so grob wie m¨oglich ” und so fein wie n¨otig“ eingehalten werden. Beim Umgang mit Mengen von zuf¨ alligen Ereignissen A1 , . . . , Am sind die folgenden Rechenregeln hilfreich. Definition 2.2.3 (DeMorgansche Regeln). F¨ ur beliebige Ak ⊂ Ω gilt
und
Ak
(2.1)
k∈K
k∈K
Ak .
(2.2)
Ak =
Ak =
k∈K
k∈K
F¨ ur zwei Teilmengen Ai ⊂ Ω und Aj ⊂ Ω ergibt sich aus obigen Regeln Ai ∪ Aj = Ai ∩ Aj und Ai ∩ Aj = Ai ∪ Aj .
2.3 Relative H¨ aufigkeit und Laplacesche Wahrscheinlichkeit Ein zuf¨ alliger Versuch wird durch die Angabe der m¨oglichen Versuchsausg¨ ange beschrieben (Augenzahlen 1 bis 6 beim W¨ urfelwurf). Dar¨ uber hinaus ist eine Quantifizierung der Versuchsergebnisse von Interesse. Die Quantifizierung mit Hilfe der relativen H¨ aufigkeit zielt auf die Absch¨atzung der Realisierungschancen eines Versuchsergebnisses ab. Man betrachtet deshalb einen zuf¨ alligen Versuch mit den m¨ oglichen Ergebnissen A1 , A2 , . . . , Am , der n-fach unabh¨ angig wiederholt wird, und registriert die absoluten H¨aufigkeiten ni = n(Ai ) der Ereignisse Ai . Beispiel 2.3.1 (M¨ unzwurf ). Beim Werfen einer M¨ unze sind die zuf¨alligen (Elementar-) Ereignisse A1 : Wappen“ und A2 : Zahl“ m¨oglich. Die Anzahl ” ” der Wiederholungen sei n = 500. In 300 F¨ allen sei A1 und in 200 F¨allen A2 geworfen worden, d.h. es ist n1 = n(A1 ) = 300 und n2 = n(A2 ) = 200.
18
2. Elemente der Wahrscheinlichkeitsrechnung
Die relative H¨ aufigkeit fi = f (Ai ) eines zuf¨alligen Ereignisses Ai bei n Wiederholungen berechnet sich gem¨ aß fi = f (Ai ) =
ni , n
wobei • fi = f (Ai ) die relative H¨ aufigkeit eines Ereignisses Ai , • ni = n(Ai ) die absolute H¨ aufigkeit eines Ereignisses Ai und • n die Anzahl der Versuchswiederholungen ist. F¨ ur das obige Beispiel gilt also: f1 = f (A1 ) =
300 = 0.6 , 500
f2 = f (A2 ) =
200 = 0.4 . 500
Anmerkung. Es zeigt sich, dass die relative H¨aufigkeit f (A) f¨ ur hinreichend großes n unter gewissen Voraussetzungen eine Stabilit¨at aufweist in dem Sinne, dass f (A) gegen einen f¨ ur das Ereignis A typischen Wert strebt (vgl. Kapitel 5). Diese Konstante werden wir als Wahrscheinlichkeit des Ereignisses A bezeichnen, die Schreibweise ist P (A). Beispiel. Man erwartet beim wiederholten M¨ unzwurf, dass die relative H¨aufigkeit f (Wappen) gegen 0.5 strebt, sofern der Wurf sehr oft wiederholt wird. Voraussetzung bleibt jedoch, dass die Versuchsbedingungen konstant gehalten werden. Einen der H¨ aufigkeitsinterpretation sehr ¨ ahnlichen Ansatz stellt der Laplacesche Wahrscheinlichkeitsbegriff dar. Ein Laplace-Experiment ist ein Zufallsexperiment mit einer endlichen Ergebnismenge, bei dem alle Ergebnisse gleichwahrscheinlich sind. Die Wahrscheinlichkeit eines beliebigen zuf¨alligen Ereignisses ist dann wie folgt definiert: Definition 2.3.1. Der Quotient P (A) =
Anzahl der f¨ ur A g¨ unstigen F¨alle |A| = |Ω| Anzahl der m¨oglichen F¨alle
(2.3)
wird als Laplace-Wahrscheinlichkeit bezeichnet (hierbei ist |A| die Anzahl der Elemente von A und |Ω| die Anzahl der Elemente von Ω). Die M¨ achtigkeiten |A| und |Ω| in der Laplaceschen Wahrscheinlichkeitsdefinition k¨ onnen mit Hilfe der in Kapitel 1 eingef¨ uhrten kombinatorischen Regeln bestimmt werden. Anmerkung. Die Laplacesche Wahrscheinlichkeitsdefinition verwendet den Begriff Wahrscheinlichkeit“ in den Annahmen, genauer in der Forderung ” der Gleichwahrscheinlichkeit der Ergebnisse“. Damit ist diese Definition aus ” logischen Gr¨ unden nicht haltbar, da sie den Begriff Wahrscheinlichkeit“ mit ” sich selbst erkl¨ art.
2.4 Axiome der Wahrscheinlichkeitsrechnung
19
2.4 Axiome der Wahrscheinlichkeitsrechnung Die relative H¨ aufigkeit, die Laplacesche Wahrscheinlichkeit und andere Ans¨ atze (vgl. z. B. R¨ uger, 1996) zur Definition des Begriffs Wahrscheinlichkeit“ ” sind zwar anschaulich und nachvollziehbar, eine formale Grundlage bietet jedoch erst das Axiomensystem der Wahrscheinlichkeitsrechnung von A.N. Kolmogorov (1933): Axiom 1: Jedem zuf¨ alligen Ereignis A eines zuf¨ alligen Versuchs ist eine Wahrscheinlichkeit P (A) zugeordnet, die Werte zwischen 0 und 1 annehmen kann: 0 ≤ P (A) ≤ 1. Axiom 2: Das sichere Ereignis hat die Wahrscheinlichkeit 1: P (Ω) = 1. Axiom 3: Sind A1 und A2 disjunkte Ereignisse, so ist P (A1 ∪ A2 ) = P (A1 ) + P (A2 ). Anmerkung. Axiom 3 gilt f¨ ur drei oder mehr disjunkte Ereignisse analog und wird als Additionssatz f¨ ur disjunkte Ereignisse bezeichnet. Beispiele. • Beim einmaligen M¨ unzwurf sind die Ereignisse A1 : Wappen“ und A2 : ” Zahl“ m¨ oglich. A1 und A2 sind disjunkt. Das zuf¨allige Ereignis A1 ∪ A2 : ” Wappen oder Zahl“ hat dann die Wahrscheinlichkeit ” P (A1 ∪ A2 ) = P (A1 ) + P (A2 ) = 1/2 + 1/2 = 1. • Beim einmaligen W¨ urfeln hat jede Zahl die gleiche Wahrscheinlichkeit P (1) = P (2) = · · · = P (6) = 1/6. Die Wahrscheinlichkeit, eine gerade Zahl zu erhalten, ist also P ( gerade Zahl“) = P (2) + P (4) + P (6) = 1/6 + 1/6 + 1/6 = 1/2. ” 2.4.1 Folgerungen aus den Axiomen Wir wissen bereits, dass A ∪ A¯ = Ω (sicheres Ereignis) gilt. Da A und A¯ disjunkt sind, gilt nach Axiom 3 die grundlegende Beziehung ¯ = P (A) + P (A) ¯ = 1. P (A ∪ A) Damit erhalten wir
20
2. Elemente der Wahrscheinlichkeitsrechnung
Folgerung 1: Die Wahrscheinlichkeit f¨ ur das zu A komplement¨are Ereignis A¯ ist ¯ = 1 − P (A). P (A) (2.4)
Diese Regel wird h¨ aufig dann benutzt, wenn die Wahrscheinlichkeit von A ¯ bekannt ist oder leichter zu berechnen ist als die von A.
Beispiel. Sei A = {ω6 }. Die Wahrscheinlichkeit, mit einem W¨ urfel die Augenzahl 6 zu werfen, betr¨ agt P (ω6 ) = 1/6. Dann ist die Wahrscheinlichkeit ¯ keine 6“ f¨ ur das Ereignis A: ” P ( keine 6“) = 1 − P (ω6 ) = 5/6. ” ¯ = ∅. Wenn A speziell das sichere Ereignis Ω ist, so gilt P (Ω) = 1 und Ω Setzen wir dies in (2.4) ein, so erhalten wir sofort Folgerung 2: Die Wahrscheinlichkeit des unm¨oglichen Ereignisses ∅ ist gleich Null: ¯ = 1 − P (Ω) = 0 . P (∅) = P (Ω)
Wir wollen nun die Wahrscheinlichkeit P (A1 ∪ A2 ) f¨ ur beliebige, nicht notwendigerweise disjunkte Ereignisse A1 und A2 bestimmen. Wir verwenden dazu folgende Zerlegungen in disjunkte Ereignisse: A1 = (A1 ∩ A2 ) ∪ (A1 ∩ A¯2 ) A2 = (A1 ∩ A2 ) ∪ (A¯1 ∩ A2 ) A1 ∪ A2 = (A1 ∩ A¯2 ) ∪ (A1 ∩ A2 ) ∪ (A¯1 ∩ A2 ) Da die Ereignisse (A1 ∩ A¯2 ), (A1 ∩ A2 ), (A¯1 ∩ A2 ) disjunkt sind, kann Axiom 3 angewandt werden: P (A1 ∪ A2 ) = P (A1 ∩ A¯2 ) + P (A1 ∩ A2 ) + P (A¯1 ∩ A2 ). Dies ist gleich P (A1 ) + P (A2 ) − P (A1 ∩ A2 ). Die doppelt gez¨ahlte Wahrscheinlichkeit P (A1 ∩ A2 ) ist also einmal abzuziehen. Dies ergibt
Folgerung 3: Die Wahrscheinlichkeit, dass von zwei Ereignissen A1 und A2 , die sich nicht notwendig gegenseitig ausschließen, mindestens eines eintritt, ist (2.5) P (A1 ∪ A2 ) = P (A1 ) + P (A2 ) − P (A1 ∩ A2 ).
Gleichung (2.5) wird als Additionssatz f¨ ur beliebige Ereignisse bezeichnet. Beispiel. In einem Skatblatt sind vier Farben mit je acht Karten enthalten. Die Wahrscheinlichkeit, zuf¨ allig gezogen zu werden, betr¨agt f¨ ur jede Karte 1/32. Es werde eine Karte zuf¨ allig gezogen. Damit gilt f¨ ur diese Karte z. B. P (Karo oder K¨ onig) = P (Karo) + P (K¨onig) − P (Karo-K¨onig) 4 1 11 8 + − = . = 32 32 32 32
2.5 Bedingte Wahrscheinlichkeit
21
Falls ein Ereignis A vollst¨ andig in einem Ereignis B enthalten ist (B hat also dieselben Elementarereignisse wie A plus m¨oglicherweise weitere), so ist die Wahrscheinlichkeit f¨ ur B mindestens so groß wie die von A: Folgerung 4: F¨ ur A ⊆ B gilt stets P (A) ≤ P (B). Der Beweis benutzt die Darstellung B = A ∪ (A¯ ∩ B) mit den disjunkten Mengen A und A¯ ∩ B. Damit gilt nach Axiom 3 und Axiom 1 P (B) = P (A) + P (A¯ ∩ B) ≥ P (A) . Folgerung 5: Sei A1 , . . . , An eine vollst¨ andige Zerlegung des Ereignisraums Ω in paarweise disjunkte Ereignisse Ai , i = 1, . . . , n (vgl. Definition 2.2.2). F¨ ur ein beliebiges Ereignis B gilt dann B = (B ∩ A1 ) ∪ (B ∩ A2 ) ∪ · · · ∪ (B ∩ An ), wobei die Ereignisse B ∩ Ai wiederum paarweise disjunkt sind. Die Anwendung von Axiom 3 ergibt P (B) =
n i=1
P (B ∩ Ai ).
(2.6)
2.4.2 Rechenregeln f¨ ur Wahrscheinlichkeiten ¨ Wir fassen die Axiome und die Folgerungen 1 bis 5 in der folgenden Ubersicht zusammen: (1)
0 ≤ P (A) ≤ 1
(2)
P (Ω) = 1
(3)
P (∅) = 0
(4)
¯ = 1 − P (A) P (A)
(5)
P (A1 ∪ A2 ) = P (A1 ) + P (A2 ) − P (A1 ∩ A2 )
(6)
P (A1 ∪ A2 ) = P (A1 ) + P (A2 ), falls A1 und A2 disjunkt sind P (B) = ni=1 P (B ∩ Ai ), falls Ai eine vollst¨andige Zerlegung bilden.
(7)
2.5 Bedingte Wahrscheinlichkeit 2.5.1 Motivation und Definition Wir betrachten nun die Situation, dass von zwei Ereignissen A und B z.B. das Ereignis A eine Vorinformation dahingehend liefert, dass sein Eintreten
22
2. Elemente der Wahrscheinlichkeitsrechnung
den m¨ oglichen Ereignisraum von B reduziert. Formal gesehen betrachten wir einen zuf¨ alligen Versuch mit n Elementarereignissen, d.h., es gelte Ω = allige Ereignisse A (mit nA Elementarereignissen) {ω1 , . . . , ωn }, und zwei zuf¨ und B (mit nB Elementarereignissen). Ferner enthalte das Ereignis A ∩ B nAB Elementarereignisse. Nach den bisherigen Regeln (vgl. z.B. (2.3)) gilt dann nB nAB nA , P (B) = , P (A ∩ B) = . P (A) = n n n Nach Realisierung des Versuchs sei bekannt, dass A eingetreten ist. Damit stellt sich die Frage, wie groß dann unter dieser Zusatzinformation die Wahrscheinlichkeit daf¨ ur ist, dass auch B eingetreten ist. Hierzu gehen wir von Ω zur reduzierten Menge A mit nA Elementen u ¨ ber. Nun gibt es unter den nA m¨ oglichen Ereignissen nur noch m f¨ ur B g¨ unstige Ereignisse. Bei diesen m Ereignissen ist immer auch A eingetreten, so dass m = nAB gilt. Die Laplace-Wahrscheinlichkeit ist dann P (A ∩ B) nAB /n m = . = nA nA /n P (A)
(2.7)
Dies f¨ uhrt zur folgenden Definition Definition 2.5.1. Sei P (A) > 0, so ist P (B|A) =
P (A ∩ B) P (A)
(2.8)
die bedingte Wahrscheinlichkeit von B unter der Bedingung, dass A eingetreten ist. Vertauschen wir die Rollen von A und B und sei P (B) > 0, so ist die bedingte Wahrscheinlichkeit von A unter der Bedingung, dass B eingetreten ist, gleich P (A ∩ B) . (2.9) P (A|B) = P (B) L¨ osen wir (2.8) und (2.9) jeweils nach P (A ∩ B) auf, so folgt Theorem 2.5.1 (Multiplikationssatz). F¨ ur zwei beliebige Ereignisse A und B gilt P (A ∩ B) = P (B|A)P (A) = P (A|B)P (B) . (2.10) Den Multiplikationssatz kann man auf mehr als zwei Ereignisse verallgemeinern: P (A1 ∩ A2 ∩ . . . ∩ Am ) = P (A1 )P (A2 |A1 )P (A3 |A1 ∩ A2 ) · · · P (Am |A1 ∩ · · · ∩ Am−1 ) . Durch Verwendung von (2.10) in (2.6) erh¨ alt man
2.5 Bedingte Wahrscheinlichkeit
23
Theorem 2.5.2 (Satz von der totalen Wahrscheinlichkeit). Bilden die Ereignisse A1 , . . . , Am eine vollst¨andige Zerlegung von Ω = ∪m i=1 Ai in paarweise disjunkte Ereignisse, so gilt f¨ ur ein beliebiges Ereignis B P (B) =
m
P (B|Ai )P (Ai ) .
(2.11)
i=1
2.5.2 Der Satz von Bayes Der Satz von Bayes untersucht den Zusammenhang zwischen P (A|B) und P (B|A). F¨ ur beliebige Ereignisse A und B mit P (A) > 0 und P (B) > 0 gilt mit (2.8) und (2.9) P (A ∩ B) P (A) P (A ∩ B) = P (B) P (A) P (B) P (B|A)P (A) . = P (B)
P (A|B) =
(2.12)
Bilden die Ai eine vollst¨ andige Zerlegung von Ω und ist B irgendein Ereignis, so gilt mit (2.11) und (2.12) P (B|Aj )P (Aj ) . P (Aj |B) = i P (B|Ai )P (Ai )
(2.13)
Die P (Ai ) heißen a-priori Wahrscheinlichkeiten , die P (B|Ai ) Modellwahrscheinlichkeiten und die P (Aj |B) a-posteriori Wahrscheinlichkeiten. Beispiel 2.5.1. F¨ ur ein Fotogesch¨ aft arbeiten zwei Labors. Eine Fotoarbeit wird zuf¨ allig ausgew¨ ahlt und auf ihre Qualit¨ at hin untersucht. Wir betrachten folgende zuf¨ allige Ereignisse: Ai (i = 1, 2) sei das zuf¨allige Ereignis Fo” toarbeit stammt aus Labor i“, B sei das zuf¨allige Ereignis Fotoarbeit ist ” einwandfrei“. Dann gilt Ω = A1 ∪ A2 mit A1 ∩ A2 = ∅. Wir setzen voraus P (A1 ) = 0.7 und P (A2 ) = 0.3 sowie P (B|A1 ) = 0.8, P (B|A2 ) = 0.9. Mit diesen Werten erhalten wir P (B) = P (B|A1 )P (A1 ) + P (B|A2 )P (A2 ) = 0.8 · 0.7 + 0.9 · 0.3 = 0.83 , P (B ∩ A1 ) = P (B|A1 )P (A1 ) = 0.8 · 0.7
= 0.56 , P (B ∩ A2 ) = P (B|A2 )P (A2 ) = 0.9 · 0.3 = 0.27 .
[nach (2.10)]
[nach (2.11)]
24
2. Elemente der Wahrscheinlichkeitsrechnung
Sei eine zuf¨ allig ausgew¨ ahlte Fotoarbeit einwandfrei. Wie groß ist die Wahrscheinlichkeit, dass diese Arbeit aus Labor 1 (bzw. aus Labor 2) stammt? 0.56 P (A1 ∩ B) = = 0.6747 P (B) 0.83 0.27 P (A2 ∩ B) P (A2 |B) = = = 0.3253 . P (B) 0.83 P (A1 |B) =
[nach (2.9)] ,
Sei eine zuf¨ allig ausgew¨ ahlte Fotoarbeit fehlerhaft. Die Wahrscheinlich¯ tritt ein) aus Labor 1 (bzw. Labor keit, dass eine fehlerhafte Arbeit (d.h. B ¯ 1 ) = 0.2 und P (B|A ¯ 2 ) = 0.1 f¨ 2) stammt, ist mit P (B|A ur Labor 1 ¯ 1 )P (A1 ) P (B|A ¯ ¯ 2 )P (A2 ) P (B|A1 )P (A1 ) + P (B|A 0.2 · 0.7 = = 0.8235 , 0.2 · 0.7 + 0.1 · 0.3
¯ = P (A1 |B)
[nach (2.12)]
und f¨ ur Labor 2 ¯ = P (A2 |B)
0.1 · 0.3 = 0.1765 . 0.2 · 0.7 + 0.1 · 0.3
¯ + P (A2 |B) ¯ = 1. Da A1 ∪ A2 = Ω ist, gilt P (A1 |B)
Beispiel 2.5.2. In einer Klinik wurden n = 200 Patienten auf eine bestimmte Krankheit untersucht. Das Ergebnis jeder Untersuchung wird durch die ¯ Patient ist nicht krank“ zuf¨ alligen Ereignisse B Patient ist krank“ bzw. B ” ” ausgedr¨ uckt. Gleichzeitig wurden die Patienten befragt, ob sie rauchen oder nicht. Dies ist durch die Ereignisse A1 Patient raucht“ und A2 Patient ” ” raucht nicht“ festgehalten. Die absoluten H¨ aufigkeiten f¨ ur die eintretenden Ereignisse findet man in folgender Tabelle: ¯ B B A1 40 60 100 A2 20 80 100 60 140 200 Mit Hilfe der H¨ aufigkeitsinterpretation der Wahrscheinlichkeit berechnen wir P (A1 ) = P (B) = ¯ = P (B) P (B ∩ A1 ) = P (B ∩ A2 ) =
100 = P (A2 ) 200 60 200 140 = 1 − P (B) 200 40 200 20 200
2.5 Bedingte Wahrscheinlichkeit
25
40/200 40 P (B ∩ A1 ) = = P (A1 ) 100/200 100 20/200 20 P (B ∩ A2 ) = = P (B|A2 ) = P (A2 ) 100/200 100
P (B|A1 ) =
Mit diesen Ergebnissen l¨ asst sich P (B) auch mit Hilfe des Satzes von der totalen Wahrscheinlichkeit (2.11) berechnen: P (B) = P (B|A1 )P (A1 ) + P (B|A2 )P (A2 ) = 0.40 · 0.50 + 0.20 · 0.50 = 0.30 . Beispiel 2.5.3. In zwei Werken werden Gl¨ uhbirnen hergestellt. 70% der Produktion werden in Werk 1 gefertigt und 30% in Werk 2. Bezeichnet Ai (i = 1, 2) das zuf¨ allige Ereignis Gl¨ uhbirne stammt aus Werk i“, so gilt ” P (A1 ) = 0.7 und P (A2 ) = 0.3. Weiter bezeichnen wir mit B das Ereignis Die hergestellte Gl¨ uhbirne ” erf¨ ullt eine vorgegebene Norm f¨ ur die Brenndauer“. Als Zusatzinformation u ute der Produktion in den Werken 1 und 2 steht uns zur Verf¨ ugung ¨ber die G¨ P (B|A1 ) = 0.83 und P (B|A2 ) = 0.65 (Werk 1 produziert mit einer Wahrscheinlichkeit von 0.83 normgerechte Gl¨ uhbirnen, Werk 2 mit einer Wahrscheinlichkeit von 0.65). Damit gilt P (B) = P (B|A1 )P (A1 ) + P (B|A2 )P (A2 ) = 0.83 · 0.7 + 0.65 · 0.3 = 0.776, d.h., die Wahrscheinlichkeit, bei zuf¨ alliger Auswahl aus der Gesamtproduktion eine normgerechte Gl¨ uhbirne zu erhalten, ist 0.776. Beispiel 2.5.4. In einem B¨ uro arbeiten vier Sekret¨arinnen, zu deren Aufgabe auch die Ablage von Akten geh¨ ort. Sei Ai (i = 1, . . . , 4) das zuf¨allige Ereignis Akte von Sekret¨ arin i abgelegt“. Damit ist Ω = A1 ∪· · ·∪A4 mit Ai ∩Aj = ∅ ” f¨ ur i = j. Es gelte Sekret¨ arin i t¨ atigt % der Ablagen Fehlerwahrscheinlichkeit
1 40 0.01
2 10 0.04
3 30 0.06
4 20 0.10
Gesucht sei nun die Wahrscheinlichkeit, dass eine falsch abgelegte Akte von der dritten Sekret¨ arin bearbeitet wurde. Definiere B das zuf¨allige Ereignis Akte wurde falsch abgelegt“, so gilt mit den Angaben aus obiger Tabelle: ” P (A1 ) = 0.40, P (A2 ) = 0.10,
P (B|A1 ) = 0.01, P (B|A2 ) = 0.04,
P (A3 ) = 0.30, P (A4 ) = 0.20,
P (B|A3 ) = 0.06, P (B|A4 ) = 0.10 .
26
2. Elemente der Wahrscheinlichkeitsrechnung
A1
0.4 A2 0.1
0.01 0.99
0.04 0.96
B
0.004
¯ B B
0.004
¯ B
Ω 0.3 A3 0.2
A4
0.06 0.94
0.10 0.90
B
0.018
¯ B B
0.020
¯ B
Abb. 2.3. Baumdiagramm f¨ ur Beispiel 2.5.4
Diese Wahrscheinlichkeiten lassen sich in einem Baumdiagramm (vgl. Abbildung 2.3) veranschaulichen. Damit erhalten wir nach dem Satz von der totalen Wahrscheinlichkeit zun¨ achst P (B) =
4
P (B|Ai )P (Ai )
i=1
= 0.01 · 0.40 + 0.04 · 0.10 + 0.06 · 0.30 + 0.10 · 0.20
= 0.046 .
Die Wahrscheinlichkeit f¨ ur das zuf¨ allige Ereignis B Akte falsch abgelegt“ ” betr¨ agt damit 0.046. F¨ ur die gesuchte Wahrscheinlichkeit P (A3 |B) gilt nach dem Satz von Bayes (vgl. (2.13)) P (B|A3 )P (A3 ) P (B) 0.06 · 0.30 = 0.046 = 0.391 .
P (A3 |B) =
2.6 Unabh¨ angigkeit
27
Die Wahrscheinlichkeit, dass eine falsch abgelegte Akte von Sekret¨arin 3 abgelegt wurde, ist 0.391. F¨ ur die Sekret¨ arinnen 1, 2 und 4 gilt analog 0.004 = 0.087 0.046 0.004 P (A2 |B) = = 0.087 0.046 0.020 = 0.435. P (A4 |B) = 0.046
P (A1 |B) =
2.6 Unabh¨ angigkeit Sind zwei zuf¨ allige Ereignisse A und B unabh¨ angig in dem Sinne, dass das Eintreten des Ereignisses B keinen Einfluss auf das Eintreten von A hat, so erwartet man, dass P (A|B) = P (A)
¯ = P (A) und P (A|B)
gilt. Mit (2.9) erhalten wir in dieser Situation P (A ∩ B) P (B) ¯ P (A ∩ B) ¯ . = = P (A|B) ¯ P (B)
P (A|B) =
(2.14)
Durch Umformen erhalten wir die zu (2.14) ¨ aquivalente Beziehung ¯ = P (A ∩ B)P ¯ (B) P (A ∩ B)P (B) ¯ (B) P (A ∩ B)(1 − P (B)) = P (A ∩ B)P ¯ + P (A ∩ B))P (B) P (A ∩ B) = (P (A ∩ B) P (A ∩ B) = P (A)P (B) .
(2.15)
Dies f¨ uhrt zur Definition der (stochastischen) Unabh¨angigkeit. Definition 2.6.1. Zwei zuf¨allige Ereignisse A und B heißen genau dann voneinander (stochastisch) unabh¨ angig, wenn P (A ∩ B) = P (A)P (B)
(2.16)
gilt, d.h., wenn die Wahrscheinlichkeit f¨ ur das gleichzeitige Eintreten von A und B gleich dem Produkt der beiden Einzelwahrscheinlichkeiten ist. Der Begriff der Unabh¨ angigkeit kann auf den Fall von mehr als zwei Ereignissen verallgemeinert werden.
28
2. Elemente der Wahrscheinlichkeitsrechnung
Definition 2.6.2. n Ereignisse A1 , . . . , An heißen (stochastisch) unabh¨angig, falls f¨ ur jede Auswahl Ai1 , . . . , Aim (m ≤ n) P (Ai1 ∩ · · · ∩ Aim ) = P (Ai1 ) · . . . · P (Aim )
(2.17)
gilt. Ein schw¨ acherer Begriff ist der Begriff der paarweisen Unabh¨angigkeit. Wenn die Bedingung (2.17) nur f¨ ur jeweils zwei beliebige Ereignisse (m = 2) erf¨ ullt werden muß, so heißen die Ereignisse paarweise unabh¨ angig. Der Unterschied zwischen paarweiser Unabh¨ angigkeit und stochastischer Unabh¨ angigkeit wird an folgendem Beispiel erl¨ autert. Beispiel 2.6.1. (aus Fisz, 1970) In einer Urne befinden sich vier Kugeln mit den aufgedruckten Zahlenkombinationen 110, 101, 011, 000. Es werde eine Kugel aus der Urne gezogen. Wir definieren dabei die folgenden Ereignisse: A1 : Die gezogene Kugel hat an der ersten Stelle eine Eins. A2 : Die gezogene Kugel hat an der zweiten Stelle eine Eins. A3 : Die gezogene Kugel hat an der dritten Stelle eine Eins. Da jedes dieser Ereignisse zwei g¨ unstige F¨ alle hat, gilt P (A1 ) = P (A2 ) = P (A3 ) =
1 2 = . 4 2
Das gemeinsame Auftreten aller drei Ereignisse ist jedoch unm¨oglich, da es keine Kugel mit der Kombination 111 gibt. Damit sind die drei Ereignisse nicht stochastisch unabh¨ angig, da gilt P (A1 )P (A2 )P (A3 ) =
1 = 0 = P (A1 ∩ A2 ∩ A3 ) . 8
Es gilt jedoch 1 = P (A1 )P (A2 ) , 4 1 P (A1 ∩ A3 ) = = P (A1 )P (A3 ) , 4 1 P (A2 ∩ A3 ) = = P (A2 )P (A3 ) , 4
P (A1 ∩ A2 ) =
so dass die drei Ereignisse paarweise unabh¨ angig sind. Beispiel 2.6.2 (Fortsetzung von Beispiel 2.5.2). Wir pr¨ ufen, ob die Ereignisse A1 : Patient raucht“ und B: Patient ist krank“ unabh¨angig sind. Wie wir ” ” bereits berechnet haben, ist P (A1 ∩ B) = 0.2 = 0.5 · 0.3 = P (A1 )P (B) . Damit sind die beiden Ereignisse nicht unabh¨angig.
2.6 Unabh¨ angigkeit
29
Beispiel 2.6.3. Drei Sch¨ utzen mit gleicher Treffsicherheit P ( Treffer“) = 0.4 ” schießen unabh¨ angig voneinander je einmal auf ein Ziel. Damit ist die Wahrscheinlichkeit f¨ ur 3 Treffer gleich (vgl. (2.17)) P ( Treffer“ ∧ Treffer“ ∧ Treffer“) = 0.43 = 0.064 . ” ” ” Die Wahrscheinlichkeit, dass nur der erste Sch¨ utze trifft, ist wegen der Wahrscheinlichkeit P ( kein Treffer“) = 0.6 und mit (2.17) gleich ” P ( Treffer“ ∧ kein Treffer“ ∧ kein Treffer“) = 0.4 · 0.62 = 0.144 . ” ” ” Man beachte den Unterschied zwischen der Wahrscheinlichkeit, dass ein bestimmter Sch¨ utze trifft P ( Treffer genau eines bestimmten Sch¨ utzens“) ” also z.B. P ( Treffer“ ∧ kein Treffer“ ∧ kein Treffer“) = 0.144 , ” ” ” der Wahrscheinlichkeit, dass ein beliebiger Sch¨ utze trifft P ( Treffer genau eines (beliebigen) Sch¨ utzen“) ” = P ( Treffer“ ∧ kein Treffer“ ∧ kein Treffer“) ” ” ” + P ( kein Treffer“ ∧ Treffer“ ∧ kein Treffer“) ” ” ” + P ( kein Treffer“ ∧ kein Treffer“ ∧ Treffer“) ” ” ” = 3 · 0.144 = 0.432 und der Wahrscheinlichkeit, dass mindestens ein Sch¨ utze trifft (vgl. (2.4)) P ( Treffer mindestens eines Sch¨ utzen“) = 1 − P ( kein Treffer“) ” ” = 1 − 0.63 = 0.784 . Anmerkung. Die Wahrscheinlichkeit P ( Treffer mindestens eines Sch¨ utzen“) ” ist u ¨ber das Gegenereignis P ( kein Treffer“) wesentlich einfacher zu berech” nen.
30
2. Elemente der Wahrscheinlichkeitsrechnung
2.7 Aufgaben und Kontrollfragen Aufgabe 2.1: Eine M¨ unze wird zweimal geworfen. Geben Sie die Elementarereignisse, das sichere Ereignis, ein unm¨ ogliches Ereignis und das Komplement¨ arereignis zum Ereignis A : Wappen im ersten Wurf“ an. ” Aufgabe 2.2: Sei Ω die Menge der ganzen Zahlen 0, 1, . . . , 25. Folgende Teilmengen von Ω seien gegeben: A = {1, 4, 8, 11} ,
B = {0, 1, 2, 5, 8, 9} ,
C = {5, 6, 7} .
Bestimmen Sie: a) b) c) d) e)
A ∩ B, A ∩ C, B ∩ C A ∪ B, A ∪ C A\B, B\A, A\C (A ∪ B) ∩ C (A ∩ B)\C .
urfel wird einmal geworfen. Wir definieren die zuf¨alligen Aufgabe 2.3: Ein W¨ Ereignisse A: B: C:
ungerade Zahl“ ” Zahl > 3“ ” Zahl 5 oder 6“ . ” Geben Sie an, bei welchen Wurfergebnissen a) B und C eintreten, aber nicht A, b) keines der genannten Ereignisse A, B, C eintritt, c) genau eines der drei Ereignisse A, B, C eintritt. Aufgabe 2.4: F¨ ur vier Mengen A, B, C, D, die eine vollst¨andige Zerlegung von Ω bilden, seien folgende Wahrscheinlichkeiten gegeben: P (A) =
7 1 1 1 1 , P (B) = , P (C) = , P (D) = , P (B ∪ C) = . 5 12 4 3 2
Warum w¨ urden diese Zahlenwerte gegen die Kolmogorovschen Axiome verstoßen? Aufgabe 2.5: Aus den Zahlen 1 bis 49 werden beim Zahlenlotto sechs verschiedene ausgew¨ ahlt. Wie groß ist die Wahrscheinlichkeit, dass ein Spieler a) b) c) d)
sechs Richtige genau f¨ unf Richtige keine Richtige h¨ ochstens zwei Richtige hat?
2.7 Aufgaben und Kontrollfragen
31
Aufgabe 2.6: In der gyn¨ akologischen Abteilung eines kleinen Krankenhauses wurden in einem Monat zw¨ olf Kinder geboren. Wie groß ist die Wahrscheinlichkeit daf¨ ur, dass mindestens zwei Kinder am gleichen Tag geboren wurden? (Annahme: Die Geburtsh¨ aufigkeit ist u ¨ ber den Monat gleichm¨aßig verteilt und der Monat hat 31 Tage.) Aufgabe 2.7: An einer Party nehmen sieben Ehepaare teil. Um die Stimmung etwas aufzulockern, werden f¨ ur ein Ratespiel drei M¨anner und drei Frauen zuf¨ allig ausgew¨ ahlt (z.B. mit Los). Wie groß ist die Wahrscheinlichkeit, dass sich unter den so bestimmten Personen mindestens ein Ehepaar befindet? Aufgabe 2.8: In einer Urne befinden sich acht gelbe und vier blaue Kugeln. a) Es werden gleichzeitig (zuf¨ allig) drei Kugeln gezogen. Wie groß ist die Wahrscheinlichkeit, dass es sich um zwei gelbe und eine blaue Kugel handelt? b) Eine Kugel wird zuf¨ allig gezogen und durch eine Kugel der anderen Farbe ersetzt. Nun mischt man den Inhalt der Urne erneut und zieht wieder zuf¨ allig eine Kugel. Wie groß ist die Wahrscheinlichkeit, dass dies eine blaue Kugel ist? Aufgabe 2.9: Aus drei Urnen U1 , U2 , U3 wird zuf¨allig eine Urne ausgew¨ahlt, wobei jede Urne dieselbe Wahrscheinlichkeit besitzt, in die Auswahl zu gelangen. Die drei Urnen enthalten weiße und schwarze Kugeln, wobei sich in Urne U1: zwei weiße und f¨ unf schwarze U2: vier weiße und vier schwarze U3: sieben weiße und vier schwarze Kugeln befinden. Aus der zuf¨ allig gew¨ ahlten Urne wird nun eine Kugel gezogen. a) Wie groß ist die Wahrscheinlichkeit, dass die gezogene Kugel weiß ist? b) Die gezogene Kugel ist schwarz. Wie groß ist die Wahrscheinlichkeit, dass sie aus Urne U2 stammt? Aufgabe 2.10: Ein B¨ acker ben¨ otigt f¨ ur die Herstellung seines Spezialbrotes vier verschiedene Mehlsorten, die er von vier Herstellern geliefert bekommt. Er kann sein Brot nur dann verkaufen, wenn alle vier Mehlsorten einwandfrei sind. F¨ ur die vier Mehlsorten gilt, dass sie mit einer Wahrscheinlichkeit von 0.1, 0.05, 0.2 bzw. 0.15 M¨ angel aufweisen. Wie groß ist die Wahrscheinlichkeit daf¨ ur, dass der B¨ acker sein Brot nicht verkaufen kann? Aufgabe 2.11: Ein W¨ urfel wird zweimal geworfen. Wir definieren die folgenden Ereignisse: A: Die Augenzahl im ersten Wurf ist gerade.“ ” B: Die Summe der Augenzahlen beider W¨ urfe ist ungerade.“ ” Sind die Ereignisse A und B stochastisch unabh¨angig?
32
2. Elemente der Wahrscheinlichkeitsrechnung
Aufgabe 2.12: Eine Großk¨ uche erh¨ alt von vier verschiedenen H¨andlern Gem¨ use. Dabei entfallen auf H¨ andler A und B jeweils 30%, auf H¨andler C 25% und auf H¨ andler D 15% der gesamten gelieferten Gem¨ usemenge. Es ist bekannt, dass bei H¨ andler C 7% der Lieferung verdorben sind. Bei den anderen drei H¨ andlern bel¨ auft sich der verdorbene Anteil des gelieferten Gem¨ uses jeweils auf nur 2%. a) Ein Koch w¨ ahlt zuf¨ allig eine Gem¨ usekiste aus. Wie groß ist die Wahrscheinlichkeit, dass deren Inhalt verdorben ist? ¨ b) Beim Offnen einer Kiste wird festgestellt, dass deren Inhalt verdorben ist. Wie groß ist die Wahrscheinlichkeit, dass diese Kiste von H¨andler A geliefert wurde? c) Wie groß ist die Wahrscheinlichkeit, dass eine Kiste verdorbenes Gem¨ use enth¨ alt, wenn bekannt ist, dass die Kiste von H¨andler B, C oder D geliefert wurde? Aufgabe 2.13: Ein Zufallsexperiment f¨ uhre zu den zwei m¨oglichen Ereignissen A und B. A und B seien stochastisch unabh¨angig. Es gilt P (B) = 0.5 und P (A ∩ B) = 0.2. Wie groß ist P (A ∪ B)? Aufgabe 2.14: In der Faschingszeit werden Autofahrer des Nachts h¨aufig zu Alkoholkontrollen gebeten. Erfahrungsgem¨ aß sind unter den kontrollierten Autofahrern 10% Alkohols¨ under“ (d.h. Autofahrer, deren Alkoholgehalt im ” Blut 0.5 Promille oder mehr betr¨ agt). Ein Schnelltest soll kl¨aren, ob der Alkoholgehalt im Blut des kontrollierten Autofahrers zu hoch ist. Dieser Test irrt sich bei Alkohols¨ undern mit einer Wahrscheinlichkeit von 30% (d.h. er zeigt negativ, obwohl der Alkoholgehalt im Blut zu hoch ist). Der Test irrt sich bei Autofahrern, die nicht zu den Alkohols¨ undern z¨ahlen, mit einer Wahrscheinlichkeit von 20% (d.h er zeigt positiv, obwohl der Alkoholgehalt im Blut nicht zu hoch ist). Ein Autofahrer wird kontrolliert. a) Wie groß ist die Wahrscheinlichkeit, dass der Alkoholtest positiv zeigt? b) Wie groß ist die Wahrscheinlichkeit, dass es sich um einen Alkohols¨ under handelt, obwohl der Alkoholtest negativ zeigt? Aufgabe 2.15: Ein Osterhase bemalt Ostereier, an einem Tag zwei Eier rot und jeweils ein Ei blau, gelb, gr¨ un und lila. Am Abend legt er in Fritzchens Osternest vier bemalte Eier. a) Der Osterhase legt lauter verschiedenfarbige Eier in das Nest. Wieviele M¨ oglichkeiten f¨ ur die Zusammensetzung des Osternestes gibt es? b) Der Osterhase w¨ ahlt die vier Eier f¨ ur das Nest zuf¨allig aus. i) Wie groß ist die Wahrscheinlichkeit, dass das Nest zwei rote Eier, ein blaues und ein lila Ei enth¨ alt? ii) Wie groß ist die Wahrscheinlichkeit, dass das Nest vier verschiedenfarbige Eier enth¨ alt?
2.7 Aufgaben und Kontrollfragen
33
c) Fritzchen findet in seinem Osternest zwei rote Eier, ein blaues und ein gelbes Ei. Er nimmt sich vor, von seinen Ostereiern immer nur h¨ochstens eines pro Tag zu verspeisen, und u ¨berlegt sich, in welcher Farbreihenfolge er dies tun soll. Wieviele M¨ oglichkeiten hat er daf¨ ur? Aufgabe 2.16: Zwei Fußballspieler schießen je einmal auf eine Torwand. Von Spieler A ist bekannt, dass er mit Wahrscheinlichkeit 0.4 ein Tor schießt, w¨ ahrend der Spieler B mit 0.5 trifft. Die Ergebnisse beider Spieler seien unabh¨ angig voneinander. a) Wie groß ist die Wahrscheinlichkeit, dass mindestens einer von beiden trifft? b) Wie groß ist die Wahrscheinlichkeit, dass genau einer von beiden trifft? c) Wie groß ist die Wahrscheinlichkeit, dass nur B trifft?
3. Zuf¨ allige Variablen
3.1 Einleitung Die Deskriptive Statistik beschreibt ein fest vorgegebenes Datenmaterial. Grundlage sind Merkmale bzw. Variablen, die an Untersuchungseinheiten erhoben werden. Diese Merkmale k¨ onnen qualitativ oder quantitativ sein. Die quantitativen Variablen k¨ onnen weiter unterschieden werden in diskrete und stetige Variablen, wobei die Einteilung durchaus fließend sein kann (vgl. z. B. Toutenburg und Heumann, 2006). In der Induktiven Statistik geht man im Gegensatz zur Deskriptiven Statistik von einem Zufallsexperiment aus (vgl. Kapitel 2). Dabei erweist es sich als zweckm¨ aßig, den m¨ oglichen Ergebnissen ωi eines Zufallsexperiments reelle Zahlen zuzuordnen. Diese Zuordnung kann als Abbildung X :Ω→R ωi → X(ωi ) = xi aufgefasst werden. Da das Ergebnis ωi des Zufallsexperiments innerhalb des Ereignisraumes ungewiss ist, u agt sich diese Ungewissheit auf das Er¨ bertr¨ gebnis xi dieser Abbildung. Deshalb nennt man diese Abbildung zuf¨allige Variable oder kurz Zufallsvariable. Der zuf¨ alligen Variablen X wird bei der Durchf¨ uhrung eines zuf¨alligen Versuchs in Abh¨ angigkeit von dessen Ergebnis ein bestimmter Wert zugeordnet – die Realisation xi von X. Zur Charakterisierung der Zufallsvariablen ben¨ otigen wir die Kenntnis aller m¨ oglichen Werte, die X annehmen kann. Die Menge dieser Werte heißt Zustandsraum S. Mathematisch exakt (vgl. z. B. M¨ uller, 1983) versteht man unter einer zuf¨ alligen Variablen X eine auf der Grundmenge Ω eines Wahrscheinlichkeitsraumes (Ω, A, P ) definierte Funktion, deren Werte in der Grundmenge S eines meßbaren Raumes (S,S) liegen. Dabei muß gelten (X muß eine meßbare Abbildung sein) X −1 (B) = {ω ∈ Ω : X(ω) ∈ B} ∈ A,
∀B ∈ S .
Durch die Zufallsvariable X wird dem meßbaren Raum (S,S) ein Wahrscheinlichkeitsmaß PX (Bildmaß) auf S mittels
36
3. Zuf¨ allige Variablen
PX (B) = P (X −1 (B)),
B∈S
zugeordnet. Wir definieren diese Begriffe nicht n¨aher (vgl. hierzu z. B. Bauer, 1991), sondern erl¨ autern den Hintergrund dieser mathematischen Definitionen wie folgt. Mit dem Konstrukt der Zufallsvariable k¨onnen Versuchsergebnisse, die zun¨ achst in qualitativer Form vorliegen ( Wappen“ oder Zahl“ beim M¨ unz” ” wurf, Augenzahl“ beim einmaligen W¨ urfelwurf etc.), durch reelle Zahlen ” ¨ verschl¨ usselt werden. Dies ist dann das formale Aquivalent zu den tats¨achlich durchgef¨ uhrten Zufallsexperimenten. Der einmalige M¨ unzwurf mit den m¨oglichen Ergebnissen Wappen“ oder Zahl“ wird ersetzt durch eine Zufallsvaria” ” ble X, die ebenfalls nur zwei Werte (z. B. 0 oder 1) annehmen kann. Dieselbe Variable beschreibt auch alle anderen zuf¨ alligen Versuche mit zwei m¨oglichen Ergebnissen (Geschlecht eines Neugeborenen: m¨annlich/weiblich, Ergebnis ei¨ nes Studenten bei einer Klausur: bestanden/nicht bestanden). Der Ubergang vom zuf¨ alligen Versuch zur Zufallsvariablen erm¨oglicht erst eine einheitliche mathematische Handhabung der statistischen Datenanalyse. Allgemein heißt eine Funktion X eine (reelle) Zufallsvariable, wenn ihre Werte reelle Zahlen sind und als Ergebnis eines zuf¨ alligen Versuchs interpretiert werden k¨onnen. ¨ Da die Werte der Zufallsvariablen das formale Aquivalent der zuf¨alligen Experimente darstellen, muß auch den Werten der Zufallsvariablen – den reellen Zahlen – eine Wahrscheinlichkeit zuzuordnen sein. Diese Wahrscheinlichkeit muß mit der Wahrscheinlichkeit der entsprechenden zuf¨alligen Ereignisse u ussen die Axiome der Wahrscheinlichkeitsrechnung ¨bereinstimmen, und es m¨ gelten. Beispiele. In Tabelle 3.1 sind Beispiele f¨ ur diskrete Zufallsvariablen angegeben. Es sind jeweils das zu Grunde liegende Zufallsexperiment und die dazugeh¨ origen Ereignisse sowie die Realisationen der Zufallsvariablen X angegeben. Tabelle 3.1. Beispiele f¨ ur diskrete Zufallsvariablen zuf¨ alliger Versuch
zuf¨ alliges Ereignis
Realisation der Zufallsvariablen X x=1 x=0
Einmaliger M¨ unzwurf
A1 : Wappen liegt oben A2 : Zahl liegt oben
Einmaliges W¨ urfeln (mit einem W¨ urfel)
Ai : Zahl i gew¨ urfelt (i = 1, . . . , 6)
x=i
Lebensdauer von Gl¨ uhbirnen
Ai : Lebensdauer betr¨ agt i Monate (i = 1, 2, . . .)
x=i
Im Gegensatz zu diesen Beispielen w¨ are die nachfolgend definierte Zufallsgr¨ oße X f¨ ur das Zufallsexperiment W¨ urfelwurf zwar mathematisch m¨oglich,
3.2 Verteilungsfunktion einer Zufallsvariablen
37
aber wenig sinnvoll, da die Verwendung von Dezimalzahlen anstelle der ganzzahligen Werte nur Verwirrung ausl¨ ost: ⎧ 0.3 ω1 = 1 ⎪ ⎪ ⎪ ⎪ 0.6 ω2 = 2 ⎪ ⎪ ⎨ 0.9 ω3 = 3 xi = f¨ ur 1.2 ω4 = 4 ⎪ ⎪ ⎪ ⎪ 1.5 ω ⎪ 5 =5 ⎪ ⎩ 1.8 ω6 = 6
3.2 Verteilungsfunktion einer Zufallsvariablen Neben den m¨ oglichen Werten der Zufallsvariablen X ben¨otigen wir zur statistischen Beschreibung von X die Angabe der Wahrscheinlichkeiten, mit denen die Werte x1 , x2 , . . . realisiert werden. Wir erinnern daran, dass bei einem zuf¨ alligen Versuch jedem m¨ oglichen zuf¨ alligen Ereignis A eine Wahrscheinlichkeit P (A) zugeordnet wurde. Nimmt die Zufallsvariable X den Wert xi an, so ist die Wahrscheinlichkeit daf¨ ur gegeben durch PX (X = xi ) = P ({ωi : X(ωi ) = xi }) Wir unterscheiden im Folgenden die beiden Wahrscheinlichkeitsmaße P und PX nicht mehr und schreiben in beiden F¨ allen P . Beispiel. Beim einmaligen M¨ unzwurf mit den zuf¨alligen Elementarereignissen Wappen“ und Zahl“ war P (ω1 ) = P (ω2 ) = 1/2. Die zugeordne” ” te Zufallsvariable X sei definiert durch ihre Werte X(ω1 ) = x1 = 0 und ur i = 1, 2. X(ω2 ) = x2 = 1 mit den Wahrscheinlichkeiten P (X = xi ) = 1/2 f¨ Eine Zufallsvariable X wird also durch ihre Werte xi und die zugeh¨origen Wahrscheinlichkeiten P (X = xi ) eindeutig beschrieben. Alternativ k¨onnen wir anstelle der Wahrscheinlichkeiten P (X = xi ) auch die kumulierten Wahrscheinlichkeiten P (X ≤ xi ) verwenden. Diese Darstellung ist – wie wir im Abschnitt 3.4 sehen werden – f¨ ur stetige Zufallsvariablen die einzig sinnvolle Darstellung. Dies f¨ uhrt zu folgender Definition. Definition 3.2.1. Die Verteilungsfunktion einer Zufallsvariablen X ist definiert durch F (x) = P (X ≤ x) = P (−∞ < X ≤ x) .
(3.1)
Die Verteilungsfunktion F (x) beschreibt die Verteilung von X eindeutig und vollst¨ andig. Sie ist schwach monoton wachsend, d.h., f¨ ur x1 ≤ x2 folgt
38
3. Zuf¨ allige Variablen
F (x1 ) ≤ F (x2 ). Die Werte einer Verteilungsfunktion F (x) liegen stets zwischen 0 und 1, was sich mit Hilfe der Rechenregeln f¨ ur Wahrscheinlichkeiten zeigen l¨ asst. D.h., es gilt 0 ≤ F (x) ≤ 1 und lim F (x) = 0
x→−∞
und
lim F (x) = 1 .
x→∞
(3.2)
Dies erm¨ oglicht einen alternativen Nachweis wann eine Funktion Verteilungsfunktion ist: Theorem 3.2.1. Eine reelle Funktion F (x) ist genau dann eine Verteilungsfunktion, wenn sie nicht fallend und mindestens rechtsstetig ist und wenn sie die Bedingungen (3.2) erf¨ ullt. Rechenregeln f¨ ur Verteilungsfunktionen Die Verteilungsfunktion F (x) = P (X ≤ x) erm¨oglicht es uns, die Wahrscheinlichkeit f¨ ur einzelne Werte oder Wertebereiche der Zufallsvariablen X zu berechnen. Wir geben im Folgenden die gebr¨auchlichen Rechenregeln an und erkl¨ aren kurz typische Anwendungen. F¨ ur einen Wert a der Zufallsvariablen X gilt per Definition P (X ≤ a) = F (a). Hieraus ergibt sich f¨ ur die Wahrscheinlichkeit X < a P (X < a) = P (X ≤ a) − P (X = a) = F (a) − P (X = a)
(3.3)
F¨ ur stetige Zufallsvariablen ist P (X = a) gleich 0, wie in (3.11) gezeigt wird. Daher hat (3.3) nur eine praktische Bedeutung f¨ ur diskrete Zufallsvariablen, wie wir noch sehen werden. Wir haben bereits in Kapitel 2 bei den Folgerungen aus den Axiomen der Wahrscheinlichkeitsrechnung gesehen, dass es aus rechentechnischen Gr¨ unden manchmal einfacher ist, eine Wahrscheinlichkeit u ¨ ber die Wahrscheinlichkeit des Gegenereignisses zu bestimmen. Analog k¨ onnen wir auch hier anstelle von P (X ≤ a) und P (X < a) die Wahrscheinlichkeiten P (X > a) und P (X ≥ a) der komplement¨aren Wertebereiche betrachten: P (X > a) = 1 − P (X ≤ a) = 1 − F (a) P (X ≥ a) = 1 − P (X < a) = 1 − F (a) + P (X = a)
(3.4) (3.5)
Weiterhin k¨ onnen wir Rechenregeln f¨ ur allgemeine Intervalle der Form (a; b), (a; b], [a; b) und [a; b] angeben. Diese werden meist dann ben¨otigt, wenn der Bereich einer Zufallsvariablen ein Ereignis charakterisiert. Betrachten wir den W¨ urfelwurf. Die Zufallsvariable X mit den Auspr¨agungen 1 bis 6 gibt die Augenzahl an. Wir wollen nun die Wahrscheinlichkeit f¨ ur mindestens eine 3 und h¨ ochstens eine 5 zu werfen bestimmen. Hierzu definieren wir uns zun¨achst folgende drei Ereignisse:
3.3 Diskrete Zufallsvariablen und ihre Verteilungsfunktion
39
A:X <3 mit P (A) = P (X < 3) = F (3) − P (X = 3), B:X≤5 mit P (B) = P (X ≤ 5) = F (5) C:3≤X ≤5 Diese Situation ist in Abbildung 3.1 dargestellt. Das Ereignis B tritt ein, wenn X < 3 (Ereignis A) oder 3 ≤ X ≤ 5 (Ereignis C) eintritt. Es gilt: B = A ∪ C. Da A und C disjunkt sind, gilt nach Axiom 3 P (B) = P (A ∪ C) = P (A) + P (C) . Stellen wir diese Formel um, so erhalten wir die gesuchte Wahrscheinlichkeit P (C) = P (B) − P (A) , d. h. P (3 ≤ X ≤ 5) = P (X ≤ 5) − P (X < 3) = F (5) − F (3) + P (X = 3) . bzw. allgemein P (a ≤ X ≤ b) = P (X ≤ b) − P (X < a) = F (b) − F (a) + P (X = a) .
(3.6)
Analog lassen sich die Rechenregeln f¨ ur die anderen Intervalle herleiten: P (a < X ≤ b) = F (b) − F (a)
(3.7)
P (a < X < b) = F (b) − F (a) − P (X = b) P (a ≤ X < b) = F (b) − F (a) − P (X = b) + P (X = a)
A:X<3
(3.8) (3.9)
B:X≤5 C:3≤X≤5 X
1
2
3
4
5
6
Abb. 3.1. Darstellung der Ereignisse A: X < 3, B: X ≤ 5 und C: 3 ≤ X ≤ 5 beim einfachen W¨ urfelwurf
3.3 Diskrete Zufallsvariablen und ihre Verteilungsfunktion Definition 3.3.1. Eine Zufallsvariable heißt diskret, wenn sie nur endlich viele (oder abz¨ahlbar unendlich viele) Werte x1 , . . . , xn mit den zugeh¨origen Wahrscheinlichkeiten p1 , . . . , pn annehmen kann.
40
3. Zuf¨ allige Variablen
Die Menge {x1 , . . . , xn } heißt Tr¨ ager von X. Es gilt n
pi = 1 .
(3.10)
i=1
Definition 3.3.2. Die Zuordnung P (X = xi ) = pi
i = 1, . . . , n
heißt Wahrscheinlichkeitsfunktion von X, sofern (3.10) erf¨ ullt ist. Damit hat die Verteilungsfunktion von X die Gestalt F (x) =
n i=1
1{xi ≤x} pi .
ur die Dies ist die Summe der Wahrscheinlichkeiten pi derjenigen Indizes i, f¨ xi ≤ x gilt. Die m¨ oglichen Werte xi einer diskreten Zufallsvariablen X heißen Sprungstellen und die Wahrscheinlichkeiten pi heißen Sprungh¨ ohen der Verteilungsfunktion F (x). Der Zusammenhang wird klar, wenn man sich das Bild der Verteilungsfunktion F (x) in Abbildung 3.2 ansieht. Nur an den Stellen xi erfolgt ein Sprung der Funktion und zwar um den Wert pi . Die Verteilungsfunktion einer diskreten Zufallsvariablen ist eine Treppenfunktion. Beispiel 3.3.1 (W¨ urfelwurf ). Die zuf¨ alligen Elementarereignisse beim einmaligen W¨ urfeln sind ωi : Zahl i gew¨ urfelt“ (i = 1, . . . , 6). Die Zufallsva” riable X kann die Werte x1 = 1, x2 = 2, . . . , x6 = 6 annehmen, wobei P (X = xi ) = 1/6 gilt. Dann hat die Verteilungsfunktion F (x) die Gestalt ⎧ 0 −∞ < x < 1 ⎪ ⎪ ⎪ ⎪ 1/6 1≤x<2 ⎪ ⎪ ⎪ ⎪ 2/6 2 ≤x<3 ⎨ ur 3≤x<4 F (x) = 3/6 f¨ ⎪ ⎪ 4/6 4≤x<5 ⎪ ⎪ ⎪ ⎪ 5/6 5 ≤x<6 ⎪ ⎪ ⎩ 1 6≤x<∞
Nehmen wir nun folgende Situation beim ‘Mensch ¨argere Dich nicht’ an: ein Spieler hat eine Figur mit noch einem freien Feld vor dem Ziel zu stehen. Da bereits eine Figur im vierten Feld im Zielbereich ist, darf er h¨ochstens eine 4 werfen um ziehen zu k¨ onnen. Die Wahrscheinlichkeit hierf¨ ur entspricht dem Wert der Verteilungsfunktion an der Stelle 4 F (4) = P (X ≤ 4) = P ({X = 1} ∪ {X = 2} ∪ {X = 3} ∪ {X = 4})
= P (X = 1) + P (X = 2) + P (X = 3) + P (X = 4) = 4/6 .
3.3 Diskrete Zufallsvariablen und ihre Verteilungsfunktion
41
F (x) 6/6 5/6 4/6 3/6 2/6 1/6
• ◦ 1
• ◦ 2
• ◦
• ◦
• ◦
• ◦
x 3
4
5
6
Abb. 3.2. Verteilungsfunktion beim einmaligen W¨ urfeln. ‘•’ charakterisiert einen eingeschlossenen Wert, ‘◦’ einen ausgeschlossenen Wert
Die Gegenwahrscheinlichkeit, d. h., dass er stehen bleiben muss, ist nach (3.4) P (X > 4) = 1 − P (X ≤ 4) = 1 − F (4) = 1 − 4/6 = 2/6 . Damit die Figur in den Zielbereich gelangt ben¨otigt der Spieler mindestens eine 2. Die Wahrscheinlichkeit daf¨ ur bestimmen wir mit (3.6) und erhalten P (2 ≤ X ≤ 4) = F (4) − F (2) + P (X = 2) = 4/6 − 2/6 + 1/6 = 3/6 .
Beispiel 3.3.2 (M¨ unzwurf ). Die diskrete Zufallsvariable X sei Anzahl der ” Ergebnisse Wappen beim dreimaligen Werfen einer M¨ unze“. Dann ist der Zustandsraum S von X gleich S = {0, 1, 2, 3}. Die Wurfergebnisse und ihre Wahrscheinlichkeiten sind Wurfergebnis (Z, Z, Z) (W, Z, Z) (Z, W, Z) (Z, Z, W ) (W, W, Z) (W, Z, W ) (Z, W, W ) (W, W, W )
xi 0
pi 1/8
1
3/8
2
3/8
3
1/8
Daraus erhalten wir die Verteilungsfunktion ⎧ 0 ⎪ ⎪ ⎪ ⎪ 1/8 ⎨ ur F (x) = 1/8 + 3/8 = 4/8 f¨ ⎪ ⎪ 4/8 + 3/8 = 7/8 ⎪ ⎪ ⎩ 1
x<0 0≤x<1 1≤x<2 2≤x<3 3 ≤ x.
42
3. Zuf¨ allige Variablen F (x)
pi
8/8 7/8
•
3/8 •
4/8
• ◦
◦
1/8 1/8 x 0
Abb. 3.3. M¨ unzwurf
1
2
3
• ◦ 0
◦ 1
x 2
3
Wahrscheinlichkeits- und Verteilungsfunktion beim dreimaligen
3.4 Stetige Zufallsvariablen und ihre Verteilungsfunktion Im Gegensatz zu den diskreten Zufallsvariablen, die nur endlich oder abz¨ahlbar viele Werte annehmen k¨ onnen, betrachten wir nun Zufallsvariablen mit u ahlbar vielen Werten. ¨berabz¨ Definition 3.4.1. Wir nennen eine Zufallsvariable X stetig, wenn eine nichtnegative Funktion f (x) existiert, die f¨ ur jedes reelle x die Beziehung
x f (t)dt F (x) = −∞
erf¨ ullt, wobei F (x) die Verteilungsfunktion der Zufallsvariablen X ist. f (x) heißt die Dichtefunktion (kurz: Dichte) von X. Theorem 3.4.1. Eine reelle integrierbare Funktion f (x) ist Dichtefunktion einer stetigen Zufallsvariablen X genau dann, wenn (1)f (x) ≥ 0 (Nichtnegativit¨at) (2)
∞
−∞
f (x)dx = limx→∞ F (x) = 1 (Normiertheit)
erf¨ ullt ist. Bei einer stetigen Verteilungsfunktion tritt die Integration u ¨ ber die Dichtefunktion f (t), deren Werte keine Wahrscheinlichkeiten darstellen, an die Stelle der Summation im Fall einer diskreten Zufallsvariablen. Die Beziehung zwischen Verteilungsfunktion und Dichte in Definition 3.4.1 l¨asst sich bei der Berechnung der Dichte bei gegebener Verteilungsfunktion ausn¨ utzen: durch Ableiten der Verteilungsfunktion erhalten wir die Dichte f (x) = F ′ (x) = d dx F (x). Theorem 3.4.2. Die Wahrscheinlichkeit daf¨ ur, dass eine stetige Zufallsvariable einen beliebigen Wert x0 annimmt, ist gleich Null: P (X = x0 ) = 0 .
(3.11)
3.4 Stetige Zufallsvariablen und ihre Verteilungsfunktion
43
Beweis: Wir betrachten ein Intervall (x0 − δ, x0 ] mit δ ≥ 0. Nach (3.7) gilt dann P (x0 − δ < X ≤ x0 ) = F (x0 ) − F (x0 − δ) und damit P (X = x0 ) = lim P (x0 − δ < X ≤ x0 ) δ→0
= lim [F (x0 ) − F (x0 − δ)] δ→0
= F (x0 ) − F (x0 ) = 0 . Daraus erkl¨ art sich die Tatsache, dass man in der praktischen Anwendung von stetigen Zufallsvariablen nur an Ereignissen der Gestalt X nimmt Werte ” zwischen a und b an“ und nicht an sogenannten Punktereignissen X = xi interessiert ist. Beispiele. • Bei der stetigen Zufallsvariablen X: Wartezeit eines Reisenden“ w¨are das ” Ereignis der Reisende wartet genau 17 Minuten und 35 Sekunden bis zum ” n¨ achsten Zug“ ohne Interesse. Vielmehr fragt man danach, wie groß die Wahrscheinlichkeit daf¨ ur ist, dass die Wartezeit z.B. zwischen 15 und 30 Minuten liegt. • Auf handels¨ ublichen abgepackten Waren wird das Normgewicht angegeben. Der K¨ aufer (und der Gesetzgeber) erwartet nat¨ urlich nicht, dass das angegebene Gewicht bis auf Milligramm genau eingehalten wird. Vielmehr geht man davon aus, dass gewisse Abweichungen (nach oben oder unten) vom Normgewicht innerhalb gewisser Grenzen mit vorgegebener Wahrscheinlichkeit m¨ oglich sind. Dieses Problem werden wir in Kapitel 6 ausf¨ uhrlich behandeln. Die Wahrscheinlichkeit daf¨ ur, dass eine stetige Zufallsvariable X z.B. in asst sich nach (3.6) bestimmen: einem Intervall [x1 , x2 ] liegt, l¨ P (x1 ≤ X ≤ x2 ) = F (x2 ) − F (x1 ) .
(3.12)
Da nach (3.11) die Wahrscheinlichkeiten f¨ ur die Endpunkte des Intervalls Null sind, ist es unerheblich, ob sie zu dem Intervall geh¨oren: [x1 , x2 ] oder nicht: [x1 , x2 ), (x1 , x2 ) oder (x1 , x2 ]. Gem¨ aß Abbildung 3.4 k¨ onnen wir die Wahrscheinlichkeit daf¨ ur, dass die Zufallsvariable Werte im Intervall [x1 , x2 ] annimmt, als Fl¨ache (Kurvenintegral) zwischen der Dichtefunktion f (x) und der x-Achse in den Grenzen aß (3.2) ist der Fl¨acheninhalt zwischen der x1 und x2 interpretieren. Gem¨ Dichtefunktion und der gesamten Abszissenachse gleich Eins, d.h., es gilt lim F (x) = 1. x→∞
Beispiel 3.4.1. Gegeben sei folgende Funktion ⎧ 0 x<0 ⎪ ⎪ ⎨ ax 0≤x≤1 f (x) = a(2 − x) 1<x≤2 ⎪ ⎪ ⎩ 0 x > 2.
44
3. Zuf¨ allige Variablen
F (x2 ) − F (x1 ) x1
x2
F (x2 )
F (x1 ) x x1
x2
Abb. 3.4. Grafische Darstellungen der Wahrscheinlichkeit P (x1 ≤ X ≤ x2 )
Wir suchen den Wert der Konstanten a, f¨ ur den die Funktion f (x) die Dichtefunktion der Zufallsvariablen X ist. Mit Hilfe der Normiertheitsbedingung aus Satz 3.4.1 bestimmen wir die Konstante a:
+∞ f (x)dx 1= −∞ 1
=
0
axdx + a
1
2
(2 − x)dx
2 1 2 x x2 = a + a 2x − 2 0 2 1 1 1 = a + a(4 − 2 − (2 − )) 2 2 = a.
Wir erhalten a = 1. Damit sind die Werte ax = x im Bereich 0 ≤ x ≤ 1 und a(2 − x) = (2 − x) im Bereich 1 < x ≤ 2 stets gr¨oßer oder gleich Null. f (x) ist also mit a = 1 eine Dichtefunktion. Beispiel 3.4.2. Eine S-Bahnlinie f¨ ahrt im 20-Minuten-Takt. Wir w¨ahlen als Zufallsvariable X Wartezeit in Minuten bis zur n¨achsten S-Bahn“. Der Wer” tebereich (Zustandsraum) von X ist also S = [0, 20]. Wir gehen davon aus, dass die Wartezeit auf dem Intervall [0, 20] gleichverteilt ist. Dann ergibt sich folgende Funktion
3.4 Stetige Zufallsvariablen und ihre Verteilungsfunktion
45
1
0
1
2
Abb. 3.5. f (x) aus Beispiel 3.4.1 mit a = 1
f (x) = Wir bestimmen k =
1 20
k 0
f¨ ur 0 ≤ x < 20 sonst .
mit Hilfe der Normiertheitsbedingung
1=
0
20
20
f (x)dx = [kx]0 = 20k .
1 Da 20 stets gr¨ oßer 0 ist, ist die Bedingung der Nichtnegativit¨at erf¨ ullt. Die Dichte lautet damit 1 f¨ ur 0 < x ≤ 20 f (x) = 20 0 sonst.
Die Verteilungsfunktion (vgl. Abbildung 3.6) erhalten wir gem¨aß
x
x 1 x 1 1 dt = [t]0 = x. f (t)dt = F (x) = 20 20 20 0 0
1
1/20
0
5
10
15
20
0
5
10
15
20
Abb. 3.6. Dichte- und Verteilungsfunktion von X Wartezeit“ ”
Beispiel 3.4.3. Sei folgende Funktion gegeben
46
3. Zuf¨ allige Variablen
f (x) =
ax f¨ ur 0 ≤ x ≤ 1 0 sonst.
Wir bestimmen die Konstante a so, dass f (x) eine Dichte ist. Um die Forde¨ rung der Nichtnegativit¨ at zu erf¨ ullen, muß a ≥ 0 gelten. Uber die Forderung der Normiertheit ermitteln wir den Wert von a 2 1
1 1 x 1= = a· = 1, axdx = a 2 0 2 0 also ist a = 2. Die Verteilungsfunktion erhalten wir durch Integration:
x F (x) = P (X ≤ x) = f (t)dt ⎧−∞ x<0 ⎨ 0 ur 0 ≤ x < 1 = x2 f¨ ⎩ 1 x ≥ 1, x da 0 2tdt = [t2 ]x0 = x2 ist. In Abbildung 3.7 sind die Dichte und die Verteilungsfunktion dargestellt. 2
1
1
0.5
0
1
0
1
Abb. 3.7. Dichte- und Verteilungsfunktion zu Beispiel 3.4.3
Analog zum diskreten Fall k¨ onnen mit Hilfe der Rechenregeln f¨ ur Verteilungsfunktionen die Wahrscheinlichkeiten f¨ ur Intervalle angegeben werden. So gilt z. B. f¨ ur die Wahrscheinlichkeit, dass X Werte gr¨oßer als 0.5 annimmt, P (X > 0.5) = 1 − P (X ≤ 0.5) = 1 − F (0.5)
= 1 − (0.5)2 = 1 − 0.25 = 0.75 . In Satz 3.4.2 wurde gezeigt, dass jede Punktwahrscheinlichkeit einer stetigen Zufallsvariablen den Wert Null hat. Damit gilt f¨ ur die Wahrscheinlichkeit, dass X Werte zwischen 0.1 und 0.6 annimmt nach (3.6) bis (3.9)
3.5 Erwartungswert und Varianz einer Zufallsvariablen
47
P (0.1 < X < 0.6) = P (0.1 ≤ X < 0.6) = P (0.1 < X ≤ 0.6) = P (0.1 ≤ X ≤ 0.6)
= F (0.6) − F (0.1) = (0.6)2 − (0.1)2 = 0.35 .
Umgekehrt kann man nat¨ urlich auch die Wahrscheinlichkeit f¨ ur ein Intervall vorgeben und die Intervallgrenzen bestimmen. Sei z.B. c so gesucht, dass X mit einer Wahrscheinlichkeit von 0.5 Werte annimmt, die gr¨oßer als c sind: P (X > c) = 0.5 , 1 − P (X ≤ c) = 1 − F (c) = 0.5 , F (c) = 0.5 . √ Mit F (x) = x2 ergibt sich aus F (c) = c2 = 0.5 schließlich c = 0.5 = 0.707. Diese Problemstellung wird uns sp¨ ater in den Kapiteln 6 und 7 wieder begegnen. Unabh¨ angigkeit zweier Zufallsvariablen Analog zur Definition der Unabh¨ angigkeit von zuf¨alligen Ereignissen (vgl. (2.16)) geben wir nun folgende Definitionen f¨ ur die Unabh¨angigkeit von Zufallsvariablen. Definition 3.4.2. Zwei Zufallsvariablen X und Y sind genau dann unabh¨ angig, wenn f¨ ur alle (zugelassenen) Bereiche A und B gilt P (X ∈ A, Y ∈ B) = P (X ∈ A)P (Y ∈ B) . F¨ ur diskrete Zufallsvariablen bestehen die zul¨ assigen Bereiche aus den Werten aume von X bzw. Y, f¨ ur stetige Zufallsvariablen xi bzw. yi der Zustandsr¨ bestehen die zul¨ assigen Bereiche aus Intervallen. Im Falle diskreter Zufallsvariablen k¨ onnen wir Definition 3.4.2 auch schreiben als: Zwei diskrete Zufallsvariablen X und Y sind genau dann unabh¨angig, wenn f¨ ur alle Paare (i, j) P (X = xi , Y = yj ) = P (X = xi )P (Y = yj )
(3.13)
gilt.
3.5 Erwartungswert und Varianz einer Zufallsvariablen Im vorangegangenen Abschnitt haben wir eine vollst¨andige Beschreibung einer Zufallsvariablen durch ihre Verteilungsfunktion F (x) oder durch ihre Dichtefunktion f (x) bzw. Wahrscheinlichkeitsfunktion P (X = xi ), i = 1, . . . , n im stetigen bzw. diskreten Fall kennengelernt. Weitere Informationen u ¨ ber eine Verteilung liefern sogenannte Maßzahlen oder Parameter einer Verteilung. Die beiden wichtigsten sind der Erwartungswert und die Varianz einer Zufallsvariablen.
48
3. Zuf¨ allige Variablen
3.5.1 Erwartungswert Der Erwartungswert E(X) ist ein Lageparameter. Er charakterisiert den Schwerpunkt einer Verteilung. Definition 3.5.1. Ist X eine diskrete Zufallsvariable mit den Werten x1 , . . ., xn und den zugeh¨origen Wahrscheinlichkeiten pi , so wird der Erwartungswert von X definiert als E(X) =
n
xi pi = x1 P (X = x1 ) + x2 P (X = x2 ) + . . . + xn P (X = xn ) .
i=1
(3.14) F¨ ur eine stetige Zufallsvariable X mit der Dichtefunktion f (x) wird der Erwartungswert von X definiert als
+∞ xf (x)dx . (3.15) E(X) = −∞
Anmerkung. Der Erwartungswert einer Zufallsvariablen wird h¨aufig mit μ = E(X) abgek¨ urzt. Er ist ein quantitativer Parameter der Verteilung von X. Umgangssprachlich heißt der Erwartungswert auch Mittelwert. Dieser Ausdruck darf jedoch nicht mit dem arithmetischen Mittel x ¯ verwechselt werden. Beispiel 3.5.1. Wir wollen nun den Erwartungswert der stetigen Zufallsvariablen aus Beispiel 3.4.1 bestimmen. Gem¨ aß (3.15) m¨ ussen wir hierzu das Integral u ¨ ber xf (x) berechnen. Da die Dichte nur im Bereich [0; 2] Werte gr¨ oßer als Null annimmt, reicht es aus, das Integral in diesem Bereich zu berechnen:
2
1
2 x · (2 − x)dx x · xdx + xf (x)dx = E(X) =
0
0
1
1 2 1 3 1 = x + x2 − x3 3 3 0 1 1 1 1 = − 0 + (4 − 8) − (1 − ) = 1 . 3 3 3
3.5.2 Rechenregeln f¨ ur den Erwartungswert Sind a und b beliebige Konstanten und ist X eine beliebige Zufallsvariable, so gilt: E(a) = a , E(bX) = b E(X) .
(3.16) (3.17)
3.5 Erwartungswert und Varianz einer Zufallsvariablen
49
Additivit¨ at des Erwartungswerts Sind X und Y zwei beliebige (nicht notwendig voneinander unabh¨angige) Zufallsvariablen, so gilt stets E(X + Y ) = E(X) + E(Y ) .
(3.18)
Die Beziehung (3.18) gilt analog f¨ ur mehr als zwei Zufallsgr¨oßen. Durch Kombination der Regeln (3.16) – (3.18) erh¨ alt man E(aX + bY + c) = a E(X) + b E(Y ) + c .
(3.19)
Beispiel 3.5.2 (W¨ urfelwurf ). Sei X die Zufallsvariable Augenzahl beim ein” maligen W¨ urfelwurf“ mit den Auspr¨ agungen 1, . . . , 6 und der in Beispiel 3.3.1 angegebenen Verteilungsfunktion. Damit erh¨ alt man f¨ ur den Erwartungswert nach (3.14): E(X) =
6
xi pi
i=1
= 1 · P (X = 1) + 2 · P (X = 2) + 3 · P (X = 3) + 4 · P (X = 4)
+ 5 · P (X = 5) + 6 · P (X = 6) 1 = (1 + 2 + 3 + 4 + 5 + 6) 6 = 21/6 = 3.5 .
Ein neuer W¨ urfel habe statt der Augenzahlen 1 bis 6 die Augenzahlen 10, 20, 30, 40, 50 und 60. Die entsprechende Zufallsvariable Y = 10X hat dann die Auspr¨ agungen 10, . . . , 60 und f¨ ur ihren Erwartungswert gilt: E(Y ) =
6
y i pi
i=1
= 10 · P (Y = 10) + 20 · P (Y = 20) + 30 · P (Y = 30) + 40 · P (Y = 40)
+ 50 · P (Y = 50) + 60 · P (Y = 60) 1 = (10 + 20 + 30 + 40 + 50 + 60) 6 = 10 · 21/6 = 10 E(X) .
Wirft man zwei W¨ urfel, so erh¨ alt man die beiden Zufallsvariablen X1 Au” genzahl beim ersten Wurf“ und X2 Augenzahl beim zweiten Wurf“. Damit ” erh¨ alt man als Erwartungswert f¨ ur die Zufallsvariable X = X1 + X2 Augen” summe beim zweifachen W¨ urfelwurf“ nach (3.18) E(X) = E(X1 + X2 ) = E(X1 ) + E(X2 ) = 3.5 + 3.5 = 7 .
50
3. Zuf¨ allige Variablen
3.5.3 Varianz Wir ben¨ otigen zur Charakterisierung einer Verteilung neben dem Erwartungswert noch eine Maßzahl, die etwas u ¨ ber die Konzentration der Verteilung aussagt. Eine solche Maßzahl ist die Varianz. Sie mißt die Konzentration der Verteilung um den Erwartungswert. Definition 3.5.2. Die Varianz einer Zufallsvariablen X ist definiert als Var(X) = E[X − E(X)]2 .
(3.20)
Anmerkung. Die Varianz heißt auch mittlere quadratische Abweichung der Variablen X von E(X) oder Dispersion oder zentrales Moment 2. Ordnung. urzt. Sie wird h¨ aufig mit σ 2 abgek¨ Bei einer diskreten Zufallsvariablen erhalten wir unter Verwendung von (3.14) n (xi − E(X))2 pi , (3.21) Var(X) = i=1
f¨ ur eine stetige Zufallsvariable gilt unter Verwendung von (3.15)
+∞ Var(X) = (x − E(X))2 f (x)dx .
(3.22)
−∞
Definition 3.5.3. Die (positive) Wurzel der Varianz heißt Standardabweichung. Beispiel 3.5.3. Wir wollen nun auch die Varianz der stetigen Zufallsvariablen aus Beispiel 3.4.1 bestimmen. Gem¨ aß (3.22) m¨ ussen wir hierzu das Integral u ¨ber (x − E(X))2 f (x) berechnen. Analog zur Berechnung des Erwartungswertes m¨ ussen wir das Integral nur im Bereich [0; 2] berechnen:
2
1
2 (x − 1)2 (2 − x)dx (x − 1)2 xdx + (x − 1)2 f (x)dx = Var(X) =
0
0
1
2 1 4 2 3 1 2 4 5 1 x − x + x + − x4 + x3 − x2 + 2x 4 3 2 4 3 2 0 1 1 4 5 1 4 5 1 2 1 = ( − + ) − 0 + (− 16 + 8 − 4 + 4) − (− + − + 2) 4 3 2 4 3 2 4 3 2 = 1/6 .
=
1
3.5.4 Rechenregeln f¨ ur die Varianz Sind a und b beliebige Konstanten, so gilt Var(aX) = a2 Var(X) ,
(3.23)
Var(b) = 0 , Var(aX + b) = a2 Var(X) .
(3.24) (3.25)
3.5 Erwartungswert und Varianz einer Zufallsvariablen
51
Theorem 3.5.1 (Verschiebungssatz der Varianz). Es gilt Var(X) = E(X 2 ) − [E(X)]2 .
(3.26)
Beweis: Sei E(X) = μ gesetzt, so gilt nach Definition (3.20) unter Verwendung der binomischen Formel und der Additivit¨at des Erwartungswertes Var(X) = E(X − μ)2
= E(X 2 − 2μX + μ2 ) = E(X 2 ) − 2μE(X) + E(μ2 )
= E(X 2 ) − 2μ2 + μ2 = E(X 2 ) − [E(X)]2 .
Theorem 3.5.2 (Additivit¨ at der Varianz bei Unabh¨ angigkeit). Sind X und Y unabh¨angige Zufallsvariablen, so gilt Var(X + Y ) = Var(X) + Var(Y ) .
(3.27)
Anmerkung. Satz 3.5.2 gilt analog auch f¨ ur mehr als zwei unabh¨angige Zufallsvariablen. Den Beweis geben wir mit dem allgemeineren Satz 3.7.1. Beispiel 3.5.4 (W¨ urfelwurf ). Sei X die Zufallsvariable Augenzahl beim ein” maligen W¨ urfelwurf“ mit den Auspr¨ agungen 1, . . . , 6. Die Varianz von X erh¨ alt man gem¨ aß (3.21): Var(X) =
6 i=1
(xi − 3.5)2 pi
= [(1 − 3.5)2 + (2 − 3.5)2 + (3 − 3.5)2 + (4 − 3.5)2 + (5 − 3.5)2 1 + (6 − 3.5)2 ] 6 = 17.5/6 = 2.92 . W¨ ahlt man den alternativen Ansatz (3.26), so berechnet man zun¨achst 2
E(X ) =
6
x2i pi =
i=1
= 12 P (X = 1) + 22 P (X = 2) + 32 P (X = 3) + 42 P (X = 4) + 52 P (X = 5) + 62 P (X = 6) 1 = (1 + 4 + 9 + 16 + 25 + 36) 6 = 91/6 . Damit erh¨ alt man dann f¨ ur die Varianz
52
3. Zuf¨ allige Variablen
Var(X) = E(X 2 ) − [E(X)]2 = 91/6 − (21/6)2 = 105/36 = 2.92 .
F¨ ur die Varianz der Zufallsvariable Augensumme beim zweifachen W¨ urfel” wurf“ gilt mit (3.27) Var(X) = Var(X1 ) + Var(X2 ) = 35/12 + 35/12 = 70/12 = 5.83 . 3.5.5 Standardisierte Zufallsvariablen F¨ ur statistische Vergleiche von zwei Zufallsvariablen X1 und X2 oder f¨ ur die Ableitung von Teststatistiken (Kapitel 7) oder Grenzwerts¨atzen (Kapitel 5) ist es zweckm¨ aßig, eine lineare Transformation der Variablen so durchzuf¨ uhren, dass die transformierte Variable den Erwartungswert 0 und die Varianz 1 besitzt. Eine solche Transformation heißt Standardisierung. Definition 3.5.4. Eine Zufallsvariable Y heißt standardisiert, falls E(Y ) = 0 und Var(Y ) = 1 gilt. Unter Verwendung der obigen Regeln k¨ onnen wir eine beliebige Zufallvariable X mit E(X) = μ und Var(X) = σ 2 wie folgt standardisieren: Y =
X − E(X) X −μ = . σ Var(X)
(3.28)
3.5.6 Erwartungswert und Varianz des arithmetischen Mittels Definition 3.5.5. Wir bezeichnen Zufallsvariablen X1 , . . . , Xn als i.i.d. (independently identically distributed), falls alle Xi dieselbe Verteilung besitzen und voneinander unabh¨angig sind. Seien X1 , . . . , Xn i.i.d. Zufallsvariablen mit E(Xi ) = μ und Var(Xi ) = σ 2 f¨ ur i = 1, . . . , n. Wir bilden daraus die Zufallsvariable n
¯= 1 X Xi . n i=1 Dann berechnen wir mit (3.18) f¨ ur die Zufallsvariable arithmetisches Mittel“ ” n ¯ = 1 E(X) E(Xi ) = μ . (3.29) n i=1
3.5 Erwartungswert und Varianz einer Zufallsvariablen
53
Mit (3.25) und wegen der Unabh¨ angigkeit der Xi gilt nach (3.27) ¯ = Var(X)
n σ2 1 . Var(X ) = i n2 i=1 n
(3.30)
Beispiel 3.5.5 (M¨ unzwurf ). Eine symmetrische M¨ unze, d.h., es gilt stets P ( Wappen“) = P ( Zahl“) = 21 , wird n mal unabh¨angig hintereinander ge” ” worfen. Das Ergebnis in jedem Wurf kann dabei durch die Zufallsvariable 0 Wappen“ Xi = f¨ ur ” , i = 1, . . . , n 1 Zahl“ ” ausgedr¨ uckt werden. Es gilt f¨ ur jedes Xi 1 1 1 +1· = 2 2 2 1 1 1 2 1 Var(Xi ) = (0 − ) · + (1 − )2 · 2 2 2 2 1 1 1 1 1 = · + · = . 4 2 4 2 4 ¯ = 1 n Xi (relative H¨aufigDamit erh¨ alt man f¨ ur die Zufallsvariable X i=1 n keit von Zahl“ bei n W¨ urfen) ” n ¯ = 1 E(X) 1/2 = 1/2 n i=1 E(Xi ) = 0 ·
und ¯ = Var(X)
n 1 1 1 = . 2 n i=1 4 4n
3.5.7 Ungleichung von Tschebyschev F¨ ur eine beliebige Zufallsvariable X kann man ohne Kenntnis der Verteilung die Wahrscheinlichkeit absch¨ atzen, mit der X außerhalb eines bestimmten, um den Erwartungswert μ symmetrischen Intervalls liegt. Theorem 3.5.3 (Ungleichung von Tschebyschev). Sei X eine beliebige Zufallsvariable mit E(X) = μ und Var(X) = σ 2 . Dann gilt P (|X − μ| ≥ c) ≤
Var(X) . c2
(3.31)
54
3. Zuf¨ allige Variablen
Beweis: Wir definieren zun¨ achst folgende diskrete Zufallsvariable Y : 0 falls |X − μ| < c Y = . (3.32) c2 falls |X − μ| ≥ c Die zugeh¨ origen Wahrscheinlichkeiten seien P (|X − μ| < c) = p1 , P (|X − μ| ≥ c) = p2 . Gem¨ aß der Definition der Zufallsvariablen Y gilt stets Y ≤ |X − μ|2 ,
(3.33)
da im Fall |X − μ|2 < c2 die Zufallsvariable Y den Wert y1 = 0 annimmt und somit Y ≤ |X − μ|2 ist. Im Fall |X − μ|2 ≥ c2 nimmt Y den Wert y2 = c2 an, und somit gilt ebenfalls Y ≤ |X − μ|2 . Aus (3.33) folgt also sofort E(Y ) ≤ E(X − μ)2 = Var(X) .
(3.34)
Andererseits gilt f¨ ur die diskrete Variable Y E(Y ) = 0 · p1 + c2 · p2 = c2 P (|X − μ| ≥ c) ,
(3.35)
so dass wir insgesamt c2 P (|X − μ| ≥ c) ≤ Var(X)
(3.36)
erhalten, woraus die Ungleichung von Tschebyschev folgt. Unter Verwendung ¯ = 1 − P (A), d. h. mit der Regel P (A) P (|X − μ| ≥ c) = 1 − P (|X − μ| < c) , erhalten wir die alternative Darstellung der Tschebyschev-Ungleichung P (|X − μ| < c) ≥ 1 −
Var(X) . c2
(3.37)
Anmerkung. Da die Tschebyschev-Ungleichung f¨ ur jede Zufallsvariable gilt, ist sie recht konservativ. Ist die Verteilung von X bekannt, so lassen sich wesentlich bessere Absch¨ atzungen gewinnen (vgl. Abschnitt 4.3.3). Beispiel 3.5.6. Sei X eine stetige Zufallsvariable mit E(X) = 5 und Var(X) = 2. Mit Hilfe der Tschebyschev-Ungleichung (3.37) kann man dann die Wahrscheinlichkeit daf¨ ur, dass X zwischen 5−2 = 3 und 5+2 = 7 liegt, absch¨atzen und erh¨ alt P (3 < X < 7) = P (|X − 5| < 2) ≥ 1 −
1 2 = . 4 2
3.5 Erwartungswert und Varianz einer Zufallsvariablen
55
Angenommen, wir haben n unabh¨ angige Zufallsvariablen X1 , . . . , Xn mit ¯ = 1/n n Xi . E(X) = 5 und Var(X) = 2 und bilden die Zufallsvariable X i=1 ¯ in dem Wie groß ist dann die Wahrscheinlichkeit, dass die Zufallsvariable X oben angegebenen Intervall liegt? ¯ = 5 und mit (3.30) gilt Var(X) ¯ = 2 und damit Mit (3.29) gilt E(X) n ¯ < 7) = P (|X ¯ − 5| < 2) ≥ 1 − P (3 < X
¯ 1 Var(X) =1− . 4 2n
Wir erhalten f¨ ur n = 10 ¯ < 7) ≥ 1 − P (3 < X und f¨ ur n = 100
1 = 0.95 20
¯ < 7) ≥ 1 − 1 = 0.995 . P (3 < X 200
3.5.8 kσ-Bereiche Wir wollen nun die Tschebyschev-Ungleichung f¨ ur interessante Spezialf¨alle der Konstanten c darstellen. Sei wieder Var(X) = σ 2 gesetzt. W¨ahlt man c = kσ, so hat (3.31) die Gestalt P (|X − μ| ≥ kσ) ≤
1 , k2
bzw. (3.37) hat die Gestalt P (|X − μ| < kσ) ≥ 1 −
1 . k2
(3.38)
Wir erhalten mit (3.38) f¨ ur k = 1, 2 bzw. 3: 1σ-Regel: P (μ − σ < X < μ + σ) ≥ 1 − 1 = 0 . Diese Aussage ist trivial, da die Wahrscheinlichkeit jedes zuf¨alligen Ereignisses ≥ 0 ist. 2σ-Regel: P (μ − 2σ < X < μ + 2σ) ≥ 1 −
3 1 = . 4 4
Die Wahrscheinlichkeit, dass eine beliebige Zufallsvariable X im 2σ-Bereich liegt, betr¨ agt mindestens 0.75. 3σ-Regel: P (μ − 3σ < X < μ + 3σ) ≥ 1 −
1 8 = . 9 9
Die Wahrscheinlichkeit, dass eine beliebige Zufallsvariable X im 3σ-Bereich liegt, betr¨ agt mindestens 0.88.
56
3. Zuf¨ allige Variablen
3.6 Die Quantile, der Median und der Modalwert einer Verteilung Neben dem Erwartungswert gibt es weitere Lokalisationsparameter wie den Median, den Modalwert oder die Quantile. Definition 3.6.1. Ein p-Quantil xp ist der Wert der Verteilungsfunktion, f¨ ur den gilt (3.39) F (xp ) = p (0 < p < 1) . Falls eine eindeutige L¨ osung xp existiert, dann ist xp also derjenige Wert einer Verteilung, der die Wahrscheinlichkeitsmasse so teilt, dass links von xp genau die Wahrscheinlichkeitsmasse p und rechts von xp genau die Wahrscheinlichkeitsmasse 1−p liegt. Wichtige Spezialf¨alle ergeben sich f¨ ur p = 1/4 (unteres Quartil), p = 1/2 (Median oder Zentralwert), p = 3/4 (oberes Quartil), vgl. Abbildung 3.8.
0.75 0.5 0.25 x x0.25
x0.5
x0.75
Abb. 3.8. Unteres Quartil, Median, oberes Quartil
Ist die Zufallsvariable X stetig, so besitzt (3.39) mindestens eine L¨osung. Falls die Verteilungsfunktion F (x) zus¨ atzlich streng monoton ist (d.h. aus x1 < x2 folgt F (x1 ) < F (x2 )), so ist das p-Quantil xp durch F (xp ) = p eindeutig bestimmt. Ist diese Voraussetzung verletzt – wie z.B. im Fall von diskreten Verteilungen – so wird als p-Quantil xp derjenige Wert genommen, f¨ ur den gilt F (xp ) ≥ p , F (x) < p
f¨ ur
x < xp .
In der induktiven Statistik spielen p- und (1 − p)-Quantile zu p = 0.025 und p = 0.05 insbesondere im Bereich der statistischen Tests eine wichtige Rolle. Dort stellen diese p-Werte Grenzen f¨ ur Irrtumswahrscheinlichkeiten dar, die die Grundlage f¨ ur Testentscheidungen bilden. Definition 3.6.2. Der Modalwert D einer Verteilung ist derjenige Wert, bei dem die Dichte bzw. Wahrscheinlichkeitsfunktion ihr Maximum hat.
3.7 Zweidimensionale Zufallsvariablen
57
Liegt nur ein Maximum vor, so heißt die Verteilung unimodal. In diesem Fall ist der Modalwert ein sinnvoller Lageparameter der Verteilung. Die Berechnung des Medians und des Modalwerts wird im Buch Deskriptive ” Statistik“ (Toutenburg und Heumann, 2006) f¨ ur diskretes X an Beispielen demonstriert. Abbildung 3.9 stellt diese Werte schematisch dar.
x D
x0.5 E(X)
Abb. 3.9. Modalwert D, Median x0.5 und E(X)
3.7 Zweidimensionale Zufallsvariablen Wir erweitern unsere bisherigen Betrachtungen dahingehend, dass wir nicht nur eine Zufallsvariable, sondern zwei Zufallsvariablen X und Y gleichzeitig untersuchen. Die Verteilung des Vektors (X, Y ) heißt zweidimensional. Beispiele. • • • •
Gewicht X und K¨ orpergr¨ oße Y eines Schulkindes, Geschwindigkeit X und Bremsweg Y eines Autos, Werbung X und Umsatzsteigerung Y einer Filiale, Dauer der Betriebszugeh¨ origkeit X und H¨ ohe der Gratifikation Y eines Mitarbeiters.
Die Zufallsvariablen X und Y k¨ onnen jeweils in allen Skalenarten vorliegen. Wir beschr¨ anken uns hier auf die F¨ alle X und Y diskret oder X und Y stetig. 3.7.1 Zweidimensionale diskrete Zufallsvariablen Wir setzen voraus, dass X die m¨ oglichen Auspr¨ agungen x1 , . . . , xI und analog Y die Auspr¨ agungen y1 , . . . , yJ habe. Die gemeinsame Wahrscheinlichkeitsfunktion sei P (X = xi , Y = yj ) = pij (i = 1, . . . , I, j = 1, . . . , J) J mit i=1 j=1 pij = 1. Die sogenannten Randverteilungen von X und Y erh¨ alt man durch Summation u ¨ ber alle Auspr¨agungen der jeweils anderen Variablen. I
58
3. Zuf¨ allige Variablen
Randverteilung von X Mit der Notation pi+ f¨ ur
J
j=1
P (X = xi ) =
pij erhalten wir
J
pij = pi+
i = 1, . . . , I .
I
pij = p+j
j = 1, . . . , J .
j=1
Es gilt
I
i=1
pi+ = 1.
Randverteilung von Y Analog erhalten wir P (Y = yj ) =
i=1
J Hier gilt j=1 p+j = 1. Die gemeinsame Verteilung legt also die (Rand-) Verteilungen der beiden Variablen X und Y fest. Die Umkehrung gilt im allgemeinen nicht, wie wir in Beispiel 3.7.1 demonstrieren werden. Analog zur bedingten Wahrscheinlichkeit lassen sich auch bedingte Verteilungen definieren. Bedingte Verteilung von X gegeben Y = yj Mit der Definition der gemeinsamen Verteilung und der Randverteilung ergibt sich f¨ ur die bedingte Verteilung von X gegeben Y = yj P (X = xi |Y = yj ) = pi|j =
pij p+j
i = 1, . . . , I .
Bedingte Verteilung von Y gegeben X = xi Analog zur bedingten Verteilung von X gegeben Y = yj erhalten wir P (Y = yj |X = xi ) = pj|i =
pij pi+
j = 1, . . . , J .
Die bedingten Verteilungen spielen insbesondere bei der Definition der Unabh¨ angigkeit eine wichtige Rolle, wie wir in Kapitel 11 noch sehen werden. Die gemeinsame Verteilung und die Randverteilungen lassen sich in einer sogenannten Kontingenztafel f¨ ur Wahrscheinlichkeiten zusammenfassen. Die gemeinsame Verteilung steht als Matrix mit Elementen pij im Inneren der Kontingenztafel, die Randverteilung von X bildet den rechten Rand, die Randverteilung von Y den unteren Rand.
3.7 Zweidimensionale Zufallsvariablen
Y
X
1 2 .. . I
1 p11 p21 .. .
2 p12 p22
... ... ...
J p1J p2J
pI1 p+1
pI2 p+2
... ...
pIJ p+J
59
p1+ p2+ .. . pI+ 1
Beispiel 3.7.1. In einem Zufallsexperiment werde zun¨achst eine M¨ unze geworfen und anschließend unabh¨ angig davon ein W¨ urfel. Damit erh¨alt man die zweidimensionale Zufallsvariable (X Ergebnis des M¨ unzwurfes“, Y Au” ” genzahl beim W¨ urfeln“), wobei X = 1 bei Wappen“ und X = 2 bei Zahl“ ” ” ist. Die gemeinsame Verteilung ergibt sich aufgrund der Unabh¨angigkeit als Produkt der beiden Randverteilungen. Die gemeinsame Verteilung und die Randverteilungen sind in der Kontingenztafel (Tabelle 3.2) dargestellt. Tabelle 3.2. Kontingenztafel bei Unabh¨ angigkeit von M¨ unz- und W¨ urfelwurf Y X
1 2 p+i
1 1/12 1/12 1/6
2 1/12 1/12 1/6
3 1/12 1/12 1/6
4 1/12 1/12 1/6
5 1/12 1/12 1/6
6 1/12 1/12 1/6
pi+ 1/2 1/2
Tabelle 3.3. Kontingenztafel bei Abh¨ angigkeit von M¨ unz- und W¨ urfelwurf Y X
1 2 p+j
1 2/12 0 1/6
2 2/12 0 1/6
3 2/12 0 1/6
4 0 2/12 1/6
5 0 2/12 1/6
6 0 2/12 1/6
pi+ 1/2 1/2
Ver¨ andert man das Zufallsexperiment in Abh¨angigkeit vom Ergebnis des M¨ unzwurfs dahingehend, dass bei Wappen“ die Zahlen 4 bis 6 durch die ” Zahlen 1 bis 3 auf dem W¨ urfel ersetzt werden und bei Zahl“ die Zahlen 1 ” bis 3 durch die Zahlen 4 bis 6, so erh¨ alt man die Tabelle 3.3 mit unver¨anderten Randverteilungen. Wie man sieht (vgl. Definition 3.4.2), sind dann die beiden Zufallsvariablen X und Y nicht mehr unabh¨ angig, da z.B. P (X = 1, Y = 4) = 0 = 1/2 · 1/6 = P (X = 1) · P (Y = 4) gilt. 3.7.2 Zweidimensionale stetige Zufallsvariablen Analog zur Definition der zweidimensionalen diskreten Zufallsvariablen geben wir folgende Definition.
60
3. Zuf¨ allige Variablen
Definition 3.7.1. Eine zweidimensionale zuf¨allige Variable (oder ein Zufallsvektor) (X, Y ) heißt stetig, falls es eine nichtnegative reelle Funktion fXY (x, y) gibt, so dass
y x P (X ≤ x, Y ≤ y) = fXY (x, y) dxdy (3.40) −∞
−∞
erf¨ ullt ist. Die Funktion FXY heißt gemeinsame Verteilungsfunktion, fXY (x, y) heißt die gemeinsame Dichte von (X, Y ). Mit der gemeinsamen Dichte fXY l¨asst sich – analog zur Bestimmung der Wahrscheinlichkeitsmasse von Intervallen [a, b] bei eindimensionalen Zufallsvariablen – die Wahrscheinlichkeitsmasse f¨ ur beliebige Rechtecke mit den Eckpunkten (x1 , y1 ), (x1 , y2 ), (x2 , y1 ), (x2 , y2 ) (vgl. Abbildung 3.10) bestimmen:
y2 x2 fXY (x, y) dxdy . P (x1 ≤ X ≤ x2 , y1 ≤ Y ≤ y2 ) = y1
x1
y2
y1 x1
x2
Abb. 3.10. Menge aller Punkte (X, Y ) mit (x1 ≤ X ≤ x2 , y1 ≤ Y ≤ y2 )
Analog zum diskreten Fall definiert man die beiden Randdichten
∞ fX (x) = fXY (x, y)dy , −∞
∞ fXY (x, y)dx , fY (y) = −∞
die dann die Randverteilungsfunktionen bestimmen:
x fX (t)dt , FX (x) = −∞
y fY (t)dt . FY (y) = −∞
3.7 Zweidimensionale Zufallsvariablen
61
Damit ist Definition 3.4.2 ¨ aquivalent mit: Zwei stetige Zufallsvariablen X und Y heißen unabh¨ angig genau dann, wenn fXY (x, y) = fX (x)fY (y)
(3.41)
f¨ ur alle x, y gilt. ¨ Die Ubertragung der bedingten Verteilung f¨ uhrt zum Begriff der bedingten Dichte f (x, y) f (x, y) und f (y|x) = f (x|y) = f (y) f (x) Analog lassen sich auch bedingte Verteilungsfunktionen definieren. Wir wollen dies jedoch hier nicht weiter vertiefen und verweisen an dieser Stelle auf Pruscha (1996) und Bauer (1991). 3.7.3 Momente von zweidimensionalen Zufallsvariablen Die zweidimensionale Zufallsvariable (X, Y ) mit der gemeinsamen Dichte fXY (x, y) im stetigen Fall bzw. mit der gemeinsamen Wahrscheinlichkeitsfunktion pij , i = 1, . . . , I, j = 1, . . . , J im diskreten Fall hat die jeweiligen Erwartungswerte und Varianzen der Randverteilungen von X bzw. Y :
Es ist also z.B. E(X) =
E(X) = μX ,
2 Var(X) = σX ,
E(Y ) = μY ,
Var(Y ) = σY2 .
∞
−∞
∞
xfXY (x, y)dydx =
E(X) =
∞
xfX (x)dx
−∞
−∞
bzw.
J I i=1 j=1
xi pij =
I
xi pi+
i=1
im diskreten Fall. Als Parameter der zweidimensionalen Verteilung definieren wir die Kovarianz von X und Y, die als Basis f¨ ur ein Maß (Korrelationskoeffizient) f¨ ur den linearen Zusammenhang von X und Y dient (vgl. (3.45)). Definition 3.7.2. Die Kovarianz von X und Y ist definiert als Cov(X, Y ) = E[(X − E(X))(Y − E(Y ))] . Die Erwartungswerte, Varianzen und die Kovarianz einer zweidimensionalen Verteilung faßt man zusammen zum Vektor der Erwartungswerte μX E(X) X = = E μY E(Y ) Y und zur Kovarianzmatrix 2 σX X Cov(X, Y ) = . V Y Cov(Y, X) σY2
62
3. Zuf¨ allige Variablen
Eigenschaften der Kovarianz Die Kovarianz ist symmetrisch in X und Y : Cov(X, Y ) = Cov(Y, X) . Ist speziell Y = X, so gilt Cov(X, X) = Var(X). Da der Erwartungswert ein linearer Operator ist (vgl. (3.18)), gilt Cov(X, Y ) = E[XY − E(X)Y − X E(Y ) + E(X) E(Y )] = E(XY ) − E(X) E(Y ) .
Dabei ist im stetigen Fall E(XY ) =
∞ −∞
∞
(3.42)
xyf (x, y)dxdy
−∞
bzw. im diskreten Fall E(XY ) =
J I
xi yj pij .
i=1 j=1
Sind X und Y unabh¨ angig, so gilt mit (3.41) E(XY ) = E(X) E(Y ) = μX μY und damit (vgl. (3.42)) Cov(X, Y ) = 0 .
(3.43)
Sind a, b, c, d beliebige reelle Zahlen, so gilt Cov(aX + b, cY + d) = ac Cov(X, Y ) . Theorem 3.7.1 (Additionssatz f¨ ur die Varianz). F¨ ur beliebige Zufallsvariablen X und Y gilt Var(X ± Y ) = Var(X) + Var(Y ) ± 2 Cov(X, Y ) . Beweis: Unter Verwendung der Definition der Varianz in (3.21), der Additivit¨ at des Erwartungswerts und der binomischen Formel erhalten wir (wir bezeichnen wieder E(X) und E(Y ) mit μX bzw. μY ) Var(X ± Y ) = E[(X ± Y ) − E(X ± Y )]2 = E[(X − μX ) ± (Y − μY )]2
= E(X − μX )2 + E(Y − μY )2 ± 2 E(X − μX )(Y − μY ) = Var(X) + Var(Y ) ± 2 Cov(X, Y ) .
Sind X und Y unabh¨ angig, so gilt nach (3.43) Cov(X, Y ) = 0 und damit Var(X ± Y ) = Var(X) + Var(Y ) .
(3.44)
Die Umkehrung dieser Aussage gilt im allgemeinen nicht. Gleichung (3.44) gilt analog f¨ ur mehr als zwei unabh¨ angige Zufallsvariablen.
3.7 Zweidimensionale Zufallsvariablen
63
3.7.4 Korrelationskoeffizient Auf der Basis der Kovarianz definieren wir als normiertes Maß f¨ ur die (lineare) Abh¨ angigkeit zwischen zwei Zufallsvariablen X und Y den Korrelationskoeffizienten. Definition 3.7.3. Der Korrelationskoeffizient von X und Y ist definiert durch Cov(X, Y ) . (3.45) ρ(X, Y ) = Var(X) Var(Y )
Es gilt stets −1 ≤ ρ(X, Y ) ≤ 1. Ist ρ(X, Y ) = 0, so heißen X und Y unkorreliert. Im Fall einer exakten linearen Abh¨angigkeit zwischen X und Y , d.h. im Fall von Y = aX + b mit a = 0, folgt Cov(X, Y ) = E[(X − μX )(Y − μY )]
= a E[(X − μX )(X − μX )] , = a Var(X) ,
Var(Y ) = a2 Var(X)
[vgl. (3.23)]
und damit im Fall a > 0 a a Var(X) =1. = ρ(X, Y ) = 2 |a| a Var(X) Var(X)
Im Fall einer exakten linearen Abh¨ angigkeit Y = aX + b mit a < 0 folgt analog ρ(X, Y ) = −1. Theorem 3.7.2. Sind X und Y unabh¨angig, so sind sie auch unkorreliert. Beweis: Seien X und Y unabh¨ angig, so gilt nach (3.43) Cov(X, Y ) = 0, so dass ρ(X, Y ) = 0 folgt. Anmerkung. Die Umkehrung gilt im allgemeinen nicht. Falls X und Y unkorreliert sind, so kann dennoch zwischen ihnen eine Abh¨angigkeit bestehen, die nicht linear ist.
64
3. Zuf¨ allige Variablen
3.8 Aufgaben und Kontrollfragen Aufgabe 3.1: Eine stetige Zufallsvariable X besitze folgende Verteilungsfunktion ⎧ f¨ ur x < 2 ⎨0 ur 2 ≤ x ≤ 4 F (x) = − 14 x2 + 2x − 3 f¨ ⎩ 1 f¨ ur x > 4 .
a) Man bestimme die Dichtefunktion der Zufallsvariablen X. b) Man bestimme den Erwartungswert E(X) und die Varianz Var(X). Aufgabe 3.2: Gegeben sei die Funktion 2x − 4 f¨ ur 2≤x≤3 f (x) = 0 sonst . a) Zeigen Sie, dass f (x) eine Dichtefunktion ist. b) Ermitteln Sie die zugeh¨ orige Verteilungsfunktion. Aufgabe 3.3: a) X sei eine stetige Zufallsvariable mit folgender Dichtefunktion: cx f¨ ur 1≤x≤3 f (x) = 0 sonst .
F¨ ur welchen Wert der Konstanten c ist die oben genannte Funktion tats¨ achlich eine korrekte Dichtefunktion? b) Setzen Sie den entsprechenden Wert f¨ ur c ein und bestimmen Sie P (X ≥ 2). Aufgabe 3.4: X sei eine stetige Zufallsvariable mit folgender Verteilungsfunktion: ⎧ f¨ ur x < 3 ⎨0 f¨ ur 3 ≤ x ≤ 8 F (x) = x−3 5 ⎩ 1 f¨ ur x > 8 .
a) Bestimmen Sie die Dichtefunktion von X. b) Welchen Wert besitzt P (X = 5)? c) Berechnen Sie P (5 ≤ X ≤ 7).
Aufgabe 3.5: Von einem gef¨ alschten W¨ urfel seien folgende Werte f¨ ur die Wahrscheinlichkeitsfunktion der Zufallsvariable X Augenzahl beim einma” ligen W¨ urfeln“ bekannt: 1 9 1 P (X = 2) = 9 1 P (X = 3) = 9
P (X = 1) =
3.8 Aufgaben und Kontrollfragen
65
2 9 1 P (X = 5) = 9 3 P (X = 6) = 9 Bestimmen Sie den Erwartungswert und die Varianz von X sowie den Erwartungswert der Zufallsvariablen Y = X1 . Vergleichen Sie die beiden Erwartungswerte. Aufgabe 3.6: Eine diskrete Zufallsvariable X kann nur die Werte 1, 3, 5, 7 ¨ annehmen. Uber X seien folgende Angaben bekannt: P (X = 4) =
k 1 3 5 7
P (X ≤ k) 0.1 0.5 0.7 1
Bestimmen Sie den Erwartungswert und die Varianz von X sowie den Erwartungswert der Zufallsvariablen X12 . Aufgabe 3.7: Ein roter und ein blauer W¨ urfel (ideale W¨ urfel) werden gleichzeitig geworfen. Die Zufallsvariable X bezeichne die Differenz zwischen der Augenzahl des blauen W¨ urfels und derjenigen des roten W¨ urfels, die Zufallsvariable Y die Summe der beiden Augenzahlen. a) Man bestimme die Wahrscheinlichkeits- und Verteilungsfunktion von X. b) Man berechne Erwartungswert und Varianz der Zufallsvariablen X. c) Berechnen Sie die Wahrscheinlichkeit daf¨ ur, dass die Summe der Augenzahlen des blauen und des roten W¨ urfels - mindestens 3 - h¨ ochstens 7 - h¨ ochstens 11 und mindestens 4 betr¨ agt. Aufgabe 3.8: Eine Zufallsvariable X heißt symmetrisch um eine Konstante c verteilt, falls f (c − x) = f (c + x) f¨ ur alle x gilt. Zeigen Sie, dass eine um c symmetrisch verteilte Zufallsvariable den Erwartungswert c besitzt: E(X) = c. Bemerkung: Wir setzen dabei voraus, dass der Erwartungswert von X existiert. Aufgabe 3.9: Sei X eine beliebige Zufallsvariable, die nur Werte gr¨oßer oder gleich Null annimmt, d.h. X ≥ 0. Zeigen Sie, dass dann E(X) ≥ 0 gilt. Aufgabe 3.10: Von einer stetigen Zufallsvariablen X sei nur bekannt, dass sie den Erwartungswert 15 und die Varianz 4 besitzt. a) Wie groß ist P (10 ≤ X ≤ 20) mindestens? b) Bestimmen Sie das kleinste, symmetrisch um 15 gelegene Intervall der Form [15 − c, 15 + c], in welches mit einer Wahrscheinlichkeit von mindestens 0.9 die Werte von X fallen.
66
3. Zuf¨ allige Variablen
Aufgabe 3.11: a) Eine symmetrische M¨ unze wird viermal geworfen. Geben Sie die Wahrscheinlichkeiten f¨ ur folgende Ereignisse an: A: Es tritt genau einmal Wappen auf“. ” B: Es tritt mindestens zweimal Wappen auf“. ” C: Es tritt h¨ochstens einmal Wappen auf“. ” b) Wie oft m¨ ußte die M¨ unze geworfen werden, um mit einer Wahrscheinlichkeit von mehr als 0.9 mindestens einmal Wappen zu erhalten? Aufgabe 3.12: Wir betrachten im Folgenden Telefongespr¨ache im Stadtbereich, welche h¨ ochstens 8 Minuten dauern und im Zeitraum von 9 bis 18 Uhr stattfinden. Bis zum 31.12.95 kostete ein solches Telefongespr¨ach 23 Pfennige. Zum 1.1.96 wurde die Geb¨ uhrenstruktur ge¨andert: Im Stadtbereich kostet ein Gespr¨ ach von bis zu 90 Sekunden Dauer nun 12 Pfennige, jeder weitere angefangene Zeittakt von 90 Sekunden kostet weitere 12 Pfennige. Die Wahrscheinlichkeitsverteilung der jetzigen Kosten X (in Pfennigen) f¨ ur ein solches Gespr¨ ach von h¨ ochstens 8 Minuten Dauer sei gegeben durch die folgende Tabelle: k P (X = k)
12
24
36
48
60
72
1 2
1 4
1 16
1 12
1 12
1 48
a) Berechnen Sie den Erwartungswert und die Varianz der Verteilung der jetzigen Kosten X eines solchen Gespr¨ aches. b) Ermitteln Sie die relative Preis¨ anderung f¨ ur ein solches Telefongespr¨ach, ¨ indem Sie die erwarteten Kosten vor und nach der Anderung der Geb¨ uhrenstruktur vergleichen. Die Dauer eines solchen Telefongespr¨ achs (in Sekunden) sei ausgedr¨ uckt durch eine Zufallsgr¨ oße Y . c) Bestimmen Sie die folgenden Wahrscheinlichkeiten P (Y ≤ 90) und P (Y > 180) d) Kann die erwartete Dauer E(Y ) eines solchen Telefongespr¨achs aus den erwarteten Kosten E(X) direkt abgeleitet werden? Begr¨ unden Sie Ihre Antwort. Aufgabe 3.13: X und Y seien zwei Zufallsvariablen in einem Zufallsexperiment, bei welchem nur 6 Ereignisse A1 , A2 , A3 , A4 , A5 , A6 eintreten k¨onnen. i P (Ai ) 1 0.3 2 0.1 3 0.1 4 0.2 5 0.2 6 0.1
Xi −1 2 2 −1 −1 2
Yi 0 2 0 1 2 1
3.8 Aufgaben und Kontrollfragen
67
a) Bestimmen Sie die gemeinsame Wahrscheinlichkeitsverteilung von X und Y sowie die jeweiligen Randverteilungen. b) Sind die beiden Zufallsvariablen unabh¨ angig? c) Bestimmen Sie die Wahrscheinlichkeitsverteilung von U = X + Y . Vergleichen Sie E(U ) mit E(X)+E(Y ) sowie Var(U ) mit Var(X)+Var(Y ). Aufgabe 3.14: Eine Urne enth¨ alt 8 Kugeln: 4 weiße, 3 schwarze und 1 rote. Die zwei Zufallsvariablen X und Y seien wie folgt definiert: ⎧ schwarze Kugel ⎨1 rote Kugel X = 2 falls im ersten Zug eine ⎩ 3 weiße Kugel ⎧ schwarze Kugel ⎨1 rote Kugel Y = 2 falls im zweiten Zug eine ⎩ 3 weiße Kugel gezogen wird. Beide Kugeln werden nacheinander und zuf¨allig gezogen.
a) F¨ ur welche Ziehungsart sind X und Y unabh¨angig, f¨ ur welche abh¨angig ? b) Bestimmen Sie f¨ ur den Fall, dass X und Y abh¨angig sind, die gemeinsame Wahrscheinlichkeitsverteilung, die Erwartungswerte E(X), E(Y ) sowie den Korrelationskoeffizienten ρ(X, Y ). Aufgabe 3.15: Zu einem Zufallsexperiment, bei dem sechs Ereignisse mit derselben Wahrscheinlichkeit eintreten k¨ onnen, geh¨oren zwei Zufallsvariablen X und Y . Pr¨ ufen Sie mit Hilfe der folgenden Tabelle, ob X und Y unkorreliert und unabh¨ angig sind. i P (ωi ) X(ωi ) Y (ωi ) 1 1/6 −1 −2 2 1/6 1 0 3 1/6 −1 1 1 2 4 1/6 5 1/6 −1 1 6 1/6 1 −2 Aufgabe 3.16: Eine faire M¨ unze wird dreimal hintereinander geworfen. F¨allt dreimal KOPF, so erh¨ alt Spieler A vom Spieler B 6 Euro. F¨allt zweimal KOPF, so erh¨ alt Spieler A vom Spieler B 4 Euro. Der Spieler A zahlt an den Spieler B 6 Euro, wenn einmal KOPF f¨ allt. Erscheint dreimal ZAHL, so braucht keiner der Spieler zu zahlen. Sei X der Gewinn bzw. Verlust des Spielers A. a) b) c) d)
Welche Werte kann X annehmen? Bestimmen Sie die Wahrscheinlichkeitsfunktion von X. Berechnen und zeichnen Sie die Verteilungsfunktion von X. Bestimmen Sie den erwarteten Gewinn von A.
4. Diskrete und stetige Standardverteilungen
4.1 Einleitung Wir haben in Kapitel 3 ganz allgemein Verteilungen von diskreten bzw. stetigen Zufallsvariablen und ihre Eigenschaften bzw. Parameter behandelt, ohne die Zufallsvariablen n¨ aher zu spezifizieren. Im Folgenden wollen wir die wesentlichen diskreten und stetigen Verteilungen vorstellen.
4.2 Spezielle diskrete Verteilungen 4.2.1 Die diskrete Gleichverteilung Die diskrete Gleichverteilung ist ebenso wie ihr stetiges Analogon eine der grundlegenden Verteilungen u ¨ berhaupt. Die diskrete Gleichverteilung geht von der Annahme aus, dass alle Auspr¨ agungen einer Zufallsvariablen gleichwahrscheinlich sind. Damit ist auch schon die folgende Definition gegeben. Definition 4.2.1. Eine diskrete Zufallsvariable X mit den Auspr¨agungen ur ihre Wahrscheinlichkeitsfunktion x1 , . . . , xk heißt gleichverteilt, wenn f¨ P (X = xi ) =
1 , k
∀i = 1, . . . , k
(4.1)
gilt. Diese Definition erinnert sehr stark an die Laplacesche Wahrscheinlichkeitsdefinition (2.3), bei der alle Elementarereignisse als gleichwahrscheinlich angesehen werden. Mit Hilfe der bekannten Rechenregeln f¨ ur den Erwartungswert und die Varianz einer Zufallsvariablen erhalten wir f¨ ur die diskrete Gleichverteilung mit den speziellen Auspr¨ agungen xi = i (i = 1, . . . , k) k+1 , 2 1 2 (k − 1) . Var(X) = 12 E(X) =
(4.2) (4.3)
70
4. Diskrete und stetige Standardverteilungen
Beispiel 4.2.1 (W¨ urfelwurf ). Wirft man einen unverf¨alschten W¨ urfel, so sind die Ergebnisse ‘1’ bis ‘6’ alle gleichwahrscheinlich, und damit ist die Zufallsvariable X Augenzahl beim einmaligen W¨ urfelwurf“ gleichverteilt mit der ” Wahrscheinlichkeitsfunktion P (X = i) =
1 , 6
∀i = 1, . . . , 6 .
F¨ ur den Erwartungswert und die Varianz von X gilt dann 6+1 = 3.5, 2 1 2 Var(X) = (6 − 1) = 35/12 . 12 E(X) =
F (x) 6/6 5/6 4/6 3/6 2/6 1/6
pi 1/6
x 1
2
3
4
5
6
• ◦ 1
• ◦ 2
• ◦
• ◦
• ◦
• ◦
x 3
4
5
6
Abb. 4.1. Wahrscheinlichkeitsfunktion und Verteilungsfunktion einer diskreten Gleichverteilung (einfacher W¨ urfelwurf)
4.2.2 Die Einpunktverteilung Definition 4.2.2. Eine Zufallsvariable X hat die Einpunktverteilung im Punkt a, wenn sie nur eine Auspr¨agung a mit P (X = a) = 1 besitzt, d.h. wenn 0 x
4.2 Spezielle diskrete Verteilungen
71
kann. Die Zufallsvariable wird durch ihre beiden m¨oglichen Werte und die zugeh¨ origen Wahrscheinlichkeiten beschrieben: P (X = x1 ) = p ,
P (X = x2 ) = 1 − p ,
(0 < p < 1) .
(4.4)
Wie bereits erw¨ ahnt, arbeitet man bei Klassifizierungsproblemen mit zwei m¨ oglichen Klassen (Alter u ¨ber 50/unter 50, Geschlecht m¨annlich/weiblich) h¨ aufig standardm¨aßig mit der Verschl¨ usselung x1 = 1 und x2 = 0. Man nennt eine Zufallsvariable X mit diesen Werten auch Indikatorvariable X = 1A . F¨ ur X = 1A hat (4.4) die Gestalt P (X = 1) = p ,
P (X = 0) = 1 − p ,
(0 < p < 1) .
(4.5)
Daraus resultiert die bekannte Null-Eins-Verteilung. Definition 4.2.3. Eine Zufallsvariable X heißt Null-Eins-verteilt, wenn sie die Wahrscheinlichkeitsfunktion p f¨ ur x = 1 P (X = x) = 1 − p f¨ ur x = 0 besitzt. Die Verteilungsfunktion der Null-Eins-Verteilung hat damit die Gestalt ⎧ ur x < 0 ⎨ 0 f¨ ur 0 ≤ x < 1 F (x) = 1 − p f¨ ⎩ 1 f¨ ur x ≥ 1 .
Wir berechnen den Erwartungswert der Null-Eins-Verteilung (vgl. (3.14)) E(X) = 1 · p + 0 · (1 − p) = p
(4.6)
und die Varianz (vgl. (3.21)) Var(X) = (1 − p)2 p + (0 − p)2 (1 − p) = p(1 − p) .
(4.7)
Die Kenntnis der Wahrscheinlichkeit p gen¨ ugt also zur vollst¨andigen Beschreibung der Null-Eins-Verteilung. Beispiel 4.2.2. Eine Urne mit Lotterielosen enthalte n = 500 Lose. Unter den 500 Losen befinden sich 400 ‘Nieten’-Lose und 100 ‘Gewinn’-Lose. Aus der Urne wird nun zuf¨ allig ein Los ausgew¨ ahlt. Wir setzen X:
¨ zuf¨ allige Anzahl der Nieten bei Uberpr¨ ufung eines Loses“. ”
Die Zufallsvariable X kann damit nur die Werte X = 1 (Los ist eine Niete) oder X = 0 (Los ist ein Gewinn) annehmen. Nach der klassischen Definition
72
4. Diskrete und stetige Standardverteilungen
der Wahrscheinlichkeit auf der Basis der relativen H¨aufigkeiten erhalten wir die beiden Einzelwahrscheinlichkeiten P (X = 1) =
400 = 0.8 = p 500
und
P (X = 0) =
100 = 0.2 = 1 − p . 500
Die Variable X hat nach (4.6) den Erwartungswert E(X) = 0.8 und nach (4.7) die Varianz Var(X) = 0.8 · (1 − 0.8) = 0.16 . F (x) •
1.0 pi 0.8 0.2
0.2 0
• ◦ 0
x 1
◦
x
1
Abb. 4.2. Wahrscheinlichkeitsfunktion und Verteilungsfunktion einer Null-EinsVerteilung mit p = 0.8
4.2.4 Die hypergeometrische Verteilung Die hypergeometrische Verteilung und die im n¨achsten Abschnitt zu behandelnde Binomialverteilung k¨ onnen als Verallgemeinerungen der Null-EinsVerteilung angesehen werden. Da dieser Zusammenhang jedoch insbesondere bei der hypergeometrischen Verteilung nicht trivial ist, benutzen wir zur Herleitung der hypergeometrischen Verteilung das bereits in Kapitel 1 verwendete Urnenmodell (vgl. auch R¨ uger, 1996; Schlittgen, 1993). In einer Urne befinden sich M N −M N
weiße Kugeln schwarze Kugeln Kugeln insgesamt.
Man zieht zuf¨ allig und ohne Zur¨ ucklegen n Kugeln. Wir definieren die folgende Zufallsvariable X : Anzahl der weißen Kugeln unter den n gezogenen Kugeln“. ” Hierbei gilt:
4.2 Spezielle diskrete Verteilungen
73
• Der Maximalwert von X ist entweder n (falls n ≤ M ) oder M (falls n > M ), also gleich min(n, M ). • Der Minimalwert von X ist entweder 0 (falls n ≤ N −M ) oder n−(N −M ) (falls n > N − M ), also insgesamt gleich max(0, n − (N − M )). • Die Reihenfolge der Ziehung spielt keine Rolle. • Die Anzahl der m¨ oglichen Ziehungen vom Umfang n aus N Kugeln beim Ziehen ohne Zur¨ ucklegen berechnet sich als N n (Kombination ohne Wiederholung ohne Ber¨ ucksichtigung der Reihenfolge). Seien nun x weiße Kugeln gezogen worden, so gibt es nach (1.5) M oglichx M¨ keiten, diese aus den insgesamt M weißen Kugeln auszuw¨ a hlen und analog N −M M¨ o glichkeiten f¨ u r die Auswahl der (n − x) gezogenen schwarzen Kun−x geln aus den insgesamt N − M schwarzen Kugeln. Damit gilt M N −M x
P (X = x) =
Nn−x
(4.8)
n
f¨ ur x ∈ {max(0, n − (N − M )), . . . , min(n, M )}.
Definition 4.2.4. Die Zufallsvariable X mit der Wahrscheinlichkeitsfunktion (4.8) heißt hypergeometrisch verteilt mit den Parametern n, M, N oder kurz X ∼ H(n, M, N ). F¨ ur den Erwartungswert und die Varianz von X gilt M , N M N −n M Var(X) = n 1− . N N N −1 E(X) = n
(4.9) (4.10)
Beispiel 4.2.3. In einer Urne seien N = 10 Kugeln, davon M = 6 weiße Kugeln und N − M = 4 schwarze Kugeln. Sei X: Anzahl der weißen Kugeln ” unter den n gezogenen Kugeln“. Dann gilt bei einer Ziehung ohne Zur¨ ucklegen vom Umfang n = 5: x ∈ {max(0, 5 − (10 − 6)), . . . , min(5, 6)} ∈ {1, 2, 3, 4, 5} . Wir erhalten 64
P (X = 1) = 1 104 = 5 6 4
P (X = 2) = 2103 = 5 6 4
P (X = 3) = 3 102 = 5
6·1 10! 5!5! 6! 2!4!
=
6 = 0.024 , 252
·4 60 = = 0.238 , 252 252 4! · 2!2! 120 = = 0.476 , 252 252
6! 3!3!
74
4. Diskrete und stetige Standardverteilungen
64
P (X = 4) = 4 101 = 5 6 4
P (X = 5) = 5 100 = 5
6! 4!2!
·4 60 = = 0.238 , 252 252
6 6·1 = = 0.024 , 252 252
F¨ ur den Erwartungswert erh¨ alt man E(X) = 5 ·
6 =3 10
und f¨ ur die Varianz 6 10 − 5 6 Var(X) = 5 · · 1− 10 10 10 − 1 2 = . 3
F (x) •
0.976 pi
•
0.738
0.476 0.238
0.262
0.024
x 0.024 0
1
2
3
4
5
0
•◦ 1
•
◦
◦ 2
3
•◦
◦
x 4
5
Abb. 4.3. Wahrscheinlichkeitsfunktion und Verteilungsfunktion der H(5,6,10)Verteilung
4.2.5 Die Binomialverteilung Beobachtet man in einem Zufallsexperiment ob ein bestimmtes Ereignis A eintritt oder nicht und wiederholt dieses Experiment n-mal unabh¨angig, so ist die Frage interessant, wie oft A in diesen n Wiederholungen eingetreten ist. Damit erh¨ alt man die Zufallsvariable X:
Anzahl der eingetretenen Ereignisse A bei n Wiederholungen“. ”
Beispiele. • Beim M¨ unzwurf sei das interessierende Ereignis A = Wappen“. Beim ” zehnmaligen Werfen besitzt die Zufallsvariable X die m¨oglichen Auspr¨ agungen k = 0, 1, . . . , 10.
4.2 Spezielle diskrete Verteilungen
75
¨ • In der Qualit¨ atskontrolle entnimmt man bei der Uberpr¨ ufung einer Lieferung von Gl¨ uhbirnen eine zuf¨ allige Auswahl von n = 20 Gl¨ uhbirnen und erh¨ alt die Zufallsvariable X Anzahl der funktionst¨ uchtigen Gl¨ uhbirnen“ ” mit den Auspr¨ agungen k = 0, 1, . . . , 20. Ein alternativer Zugang zur Binomialverteilung bietet sich wiederum u ¨ ber unser Urnenmodell. In der Urne befinden sich M weiße und N − M schwarze Kugeln. Es werden n Kugeln zuf¨ allig aus der Urne gezogen, jedoch im Gegensatz zum Urnenmodell der hypergeometrischen Verteilung wird jede gezogene Kugel wieder in die Urne zur¨ uckgelegt (Ziehen mit Zur¨ ucklegen). Gesucht ist die Wahrscheinlichkeit daf¨ ur, dass X = k (k = 0, 1, . . . n) ist, d.h., dass bei n Wiederholungen k-mal A und (n − k)-mal A¯ auftritt. Dabei ist es gleichg¨ ultig, bei welchen der n Versuche A oder A¯ auftritt, registriert wird nur die Gesamtzahl der Ergebnisse mit A. Diese Anzahl ist gleich dem Binomialkoeffizienten nk (vgl. Abschnitt 1.4.1). Die Wahrscheinlichkeit f¨ ur k-mal A und (n − k)-mal A¯ in n Wiederholungen ist dann n k (k = 0, 1, . . . , n) . (4.11) P (X = k) = p (1 − p)n−k k Dies folgt aus der Unabh¨ angigkeit der n Zufallsexperimente: P (A1 ∩ . . . ∩ Ak ∩ A¯k+1 ∩ . . . ∩ A¯n ) = pk (1 − p)n−k k
n−k
¯ deren und der Gleichwertigkeit aller n-Tupel mit k-mal A und (n − k)-mal A, Anzahl gleich nk ist.
Definition 4.2.5. Eine diskrete Zufallsvariable X mit der Wahrscheinlichkeitsfunktion (4.11) heißt Binomialvariable oder binomialverteilt mit den Parametern n und p, kurz X ∼ B(n; p).
F¨ ur zwei binomialverteilte Zufallsvariable gilt der folgende Additionssatz: Theorem 4.2.1. Seien X ∼ B(n; p) und Y ∼ B(m; p) und sind X und Y unabh¨angig, so gilt X + Y ∼ B(n + m; p) . (4.12) Anmerkung. Der Satz 4.2.1 l¨ asst sich nat¨ urlich auch auf mehr als zwei unabh¨ angige Zufallsvariablen verallgemeinern. Seien Xi unabh¨a ngige B(1; p)n verteilte Zufallsvariablen, so ist die Zufallsvariable X = i=1 Xi nach (4.12) B(n; p)-verteilt. Damit wird der Zusammenhang zwischen Null-EinsVerteilung und Binomialverteilung deutlich, d.h., die Binomialverteilung kann als Summe von identischen, unabh¨ angigen Null-Eins-Verteilungen aufgefaßt werden.
76
4. Diskrete und stetige Standardverteilungen
F¨ ur den Erwartungswert und die Varianz einer binomialverteilten Zufallsvariablen X gilt E(X) = np ,
(4.13)
Var(X) = np(1 − p) .
(4.14)
¨ Dies ergibt sich durch folgende Uberlegungen: Seien Xi (i = 1, . . . , n) unabh¨ angige B(1; p)-verteilte Zufallsvariablen, die jeweils eine Wiederholung des Zufallsexperiments asentieren. Dann l¨asst sich die Zufallsvariable X n repr¨ schreiben als X = i=1 Xi . Da der Erwartungswert additiv ist, gilt sofort nach (3.18) n n n p = np . E(Xi ) = Xi ) = E(X) = E( i=1
i=1
i=1
Da die Xi unabh¨ angig sind, gilt (vgl. (3.27)) n n n p(1 − p) = np(1 − p) . Var(Xi ) = Xi ) = Var(X) = Var( i=1
i=1
i=1
F¨ ur die Berechnung der Binomialwahrscheinlichkeit P (X = k) stehen Tabellen zur Verf¨ ugung (z.B. Vogel, 1995). F¨ ur hinreichend große Werte von n kann man die Binomial- durch die Normalverteilung approximieren (vgl. Kapitel 5). Anmerkung. Die hypergeometrische Verteilung H(n, M, N ) hat denselben Erwartungswert wie die Binomialverteilung B(n; M N ), aber eine um den FakM −n tor N kleinere Varianz als die B(n; )-Verteilung. F¨ ur wachsenden UmN −1 N fang N der Grundgesamtheit strebt dieser Faktor, den man als Endlichkeitskorrektur bezeichnet, gegen 1, d.h. f¨ ur Stichproben mit sehr großen Grundgesamtheiten verschwindet der Unterschied zwischen Ziehen ohne Zur¨ ucklegen und Ziehen mit Zur¨ ucklegen. F¨ ur großes N , M , und N − M und im Verh¨altaherung f¨ ur nis dazu kleines n gilt: H(n, M, N ) ≈ B(n, M N ), wobei diese N¨ n ≤ 0.1M und n ≤ 0.1(N − M ) zul¨ assig ist (vgl. Abschnitt 5.4.4.). Beispiel 4.2.4. In einer Urne seien wie in Beispiel 4.2.3 N = 10 Kugeln, davon M = 6 weiße und N − M = 4 schwarze. Wir ziehen – im Gegensatz zu Beispiel 4.2.3 – nun mit Zur¨ ucklegen. Die Zufallsvariable X = Anzahl der ” gezogenen weißen Kugeln bei Ziehen mit Zur¨ ucklegen“ ist binomialverteilt. M ur X ∼ B(5; 0.6) Ziehen wir n = 5 Kugeln, so erhalten wir mit p = N = 0.6 f¨ 5 P (X = 0) = 0.60 (1 − 0.6)5 = 0.010 0 5 P (X = 1) = 0.61 (1 − 0.6)4 = 0.077 1
4.2 Spezielle diskrete Verteilungen
P (X P (X P (X P (X
5 = 2) = 0.62 (1 − 0.6)3 2 5 = 3) = 0.63 (1 − 0.6)2 3 5 = 4) = 0.64 (1 − 0.6)1 4 5 = 5) = 0.65 (1 − 0.6)0 5
77
= 0.230 = 0.346 = 0.259 = 0.078 1.000 .
F¨ ur den Erwartungswert und die Varianz erhalten wir nach (4.13) und (4.14) E(X) = 5 · 0.6 = 3 ,
Var(X) = 5 · 0.6 · (1 − 0.6) = 1.2 . F (x) •
0.922
pi 0.346
•
0.663
• ◦
◦
0.230 •
0.317 0.078
0.087 x 0.010
0.010 0
1
2
3
4
5
• ◦ 0
• ◦ 1
◦
◦ 2
x 3
4
5
Abb. 4.4. Wahrscheinlichkeitsfunktion und Verteilungsfunktion der B(5; 0.6)Verteilung
4.2.6 Die geometrische Verteilung Gegeben sei ein Zufallsexperiment und ein Ereignis A mit P (A) = p, dessen Eintreten als Erfolg aufgefaßt werden kann. Das Zufallsexperiment wird so oft unabh¨ angig wiederholt, bis das Ereignis A zum ersten Mal eintritt. Im Gegensatz zur Binomialverteilung, bei der die Anzahl der Erfolge von Interesse ist, interessiert man sich bei der geometrischen Verteilung f¨ ur die Anzahl der notwendigen Versuche, bis man zum ersten Erfolg gelangt. Die entsprechende Zufallsvariable X Anzahl der Versuche, bis zum erstenmal das Ereignis A ” eintritt“ hat die Auspr¨ agungen k = 1, 2, . . . Beispiele. Beispiele f¨ ur derartige Zufallsvariablen X sind • Anzahl der M¨ unzw¨ urfe, bis zum erstenmal ‘Zahl’ erscheint“, ”
78
4. Diskrete und stetige Standardverteilungen
• „Anzahl der notwendigen Lottoziehungen, bis die Zahlenkombination 1, 3, 10, 12, 13, 45 gezogen wird“. Die Wahrscheinlichkeiten f¨ ur jede der k = 1, 2, . . . Auspr¨agungen der Zufallsvariablen X erh¨ alt man durch P (X = k) = p(1 − p)k−1
(4.15)
und damit die nachfolgende Definition. Definition 4.2.6. Eine Zufallsvariable X ist geometrisch verteilt mit dem Parameter p, wenn f¨ ur ihre Wahrscheinlichkeitsfunktion Gleichung (4.15) gilt. F¨ ur den Erwartungswert und die Varianz der geometrischen Verteilung erh¨ alt man dann 1 , p 1 1 Var(X) = −1 . p p E(X) =
Anmerkung. Die geometrische Verteilung h¨ angt wieder nur von p ab, die Anzahl der m¨ oglichen Realisationen einer geometrisch verteilten Zufallsvariablen ist jedoch im Gegensatz zu den anderen diskreten Verteilungen nicht beschr¨ ankt. Beispiel 4.2.5 (M¨ unzwurf ). Eine symmetrische M¨ unze werde solange geworfen, bis zum ersten Mal Zahl“ auftritt. Damit erh¨alt man f¨ ur die Wahr” scheinlichkeitsfunktion P (X = 1) = 0.5 P (X = 2) = 0.5(1 − 0.5) = 0.25
P (X = 3) = 0.5(1 − 0.5)2 = 0.125 P (X = 4) = 0.5(1 − 0.5)3 = 0.0625 ...
F¨ ur den Erwartungswert und die Varianz erh¨ alt man E(X) =
1 = 2, 0.5
(d. h., man ben¨ otigt im Mittel 2 W¨ urfe, bis zum ersten Mal Zahl“ auftritt), ” 1 1 Var(X) = − 1 = 2(2 − 1) = 2 . 0.5 0.5
4.2 Spezielle diskrete Verteilungen
79
F (x) pi 0.875 0.75
0.5
0.5 0.25
• •◦ ◦• ◦• • ◦• ◦ • ◦ • ◦ • ◦
0.125 x 1 2 3 4 5 6 7 8 9
◦ 1 2 3 4 5 6 7 8 9
x
Abb. 4.5. Wahrscheinlichkeitsfunktion und Verteilungsfunktion der geometrischen Verteilung mit p = 0.5
4.2.7 Die Poissonverteilung Ausgehend von zuf¨ alligen Ereignissen, die innerhalb eines Kontinuums (einer bestimmten Einheit) auftreten, definieren wir die Zufallsgr¨oße X : Anzahl der Ereignisse innerhalb eines Kontinuums“. ” Das Kontinuum kann dabei sowohl ein Zeitraum (Stunde, Minute usw.) als auch eine Strecke (Meter, Kilometer usw.) oder eine Fl¨ache sein. Beispiele. • • • • • •
Zahl Zahl Zahl Zahl Zahl Zahl
der der der der der der
Staubteile auf einem Kotfl¨ ugel beim Autolackieren, Totgeburten in einer Klinik in einem Jahr, Tippfehler auf einer Schreibmaschinenseite, Unwetter in einem Gebiet, Telefonanrufe in einer Stunde, Ausschussst¨ ucke in einer Produktion.
Im Folgenden beschr¨ anken wir uns auf Zeitintervalle. Dabei gelte: Die Wahrscheinlichkeit f¨ ur das Eintreten eines Ereignisses innerhalb eines Zeitintervalls h¨ angt nur von der L¨ ange des Intervalls, nicht jedoch von seiner Lage auf der Zeitachse ab. Die Wahrscheinlichkeit f¨ ur das Eintreten eines Ereignisses wird dann nur von der sogenannten Intensit¨ atsrate λ beeinflusst. Es gelte dar¨ uber hinaus, dass das Eintreten von Ereignissen in disjunkten Teilintervallen des Kontinuums unabh¨ angig voneinander ist. Dies f¨ uhrt zu folgender Definition. Definition 4.2.7. Eine diskrete Zufallsvariable X mit der Wahrscheinlichkeitsfunktion P (X = x) =
λx exp (−λ) x!
(x = 0, 1, 2, . . .)
heißt poissonverteilt mit dem Parameter λ > 0, kurz X ∼ P o(λ).
(4.16)
80
4. Diskrete und stetige Standardverteilungen
Es gilt E(X) = Var(X) = λ. Die Intensit¨ atsrate k¨ onnen wir damit interpretieren als die durchschnittliche Anzahl von Ereignissen innerhalb eines Kontinuums. Theorem 4.2.2 (Additionssatz). Sind X ∼ P o(λ1 ) und Y ∼ P o(λ2 ) und sind X und Y unabh¨angig, so gilt X + Y ∼ P o(λ1 + λ2 ) . Beispiel 4.2.6. In einer Autolackiererei werden Kotfl¨ ugel zun¨achst mit einer Grundierung und danach mit einem Deckglanzlack lackiert. Im Durchschnitt werden bei der Grundierung 4 Staubpartikel je Kotfl¨ ugel eingeschlossen (Zufallsvariable X), bei der Deckglanzlackierung 7 Staubpartikel (Zufallsvariable Y ). Wie groß ist die Wahrscheinlichkeit, nach der Grundierung auf einem Kotfl¨ ugel zwei Staubpartikel zu finden? λx exp(−λ) x! 42 = exp(−4) 2! = 0.146525 .
P (X = 2) =
Geht man davon aus, dass die Anzahl der eingeschlossenen Staubpartikel bei der Grundierung und der Deckglanzlackierung voneinander unabh¨angig sind, so findet man z.B. sechs eingeschlossene Staubpartikel auf einem komplett lackierten Kotfl¨ ugel mit einer Wahrscheinlichkeit von (λx + λy )x+y exp −(λx + λy ) (x + y)! 116 exp(−11) = 6! = 0.041095 .
P (X + Y = 6) =
Anmerkung. Die Poissonverteilung wird auch als die Verteilung seltener Ereignisse bezeichnet. Sie steht in engem Zusammenhang mit einer Binomialverteilung, bei der bei großer Anzahl von Wiederholungen die Wahrscheinlichkeit f¨ ur das Eintreten eines Ereignisses sehr klein ist (vgl. Kapitel 5). 4.2.8 Die Multinomialverteilung Im Gegensatz zu den bisherigen Verteilungen betrachten wir nun Zufallsexperimente, bei denen k disjunkte kEreignisse A1 , A2 , . . . , Ak mit den Wahrscheinlichkeiten p1 , p2 , . . . , pk mit i=1 pi = 1 eintreten k¨onnen (d.h., die Ai bilden
4.2 Spezielle diskrete Verteilungen
81
F (x) 0.195
• • •◦ ◦• ◦ • ◦ • ◦
pi
0.147
• ◦
0.629
• ◦
0.433 0.073 0.238 0.092 x 0.018
0.018 0 1 2 3 4 5 6 7 8 9 10
• ◦
• ◦ • ◦ ◦ 0 1 2 3 4 5 6 7 8 9 10
x
Abb. 4.6. Wahrscheinlichkeitsfunktion und Verteilungsfunktion der P o(4)Verteilung
eine vollst¨ andige Zerlegung von Ω). Wird der Versuch n-mal unabh¨angig wiederholt, so interessiert die Wahrscheinlichkeit des zuf¨alligen Ereignisses n1 -mal A1 , n2 -mal A2 , . . . , nk -mal Ak
mit
k
ni = n .
i=1
Sei Xi (i = 1, . . . k) die Zufallsvariable Ai beobachtet“ und X = (X1 , . . . , Xk ) ” der k-dimensionale Zufallsvektor. Definition 4.2.8. Der Zufallsvektor X = (X1 , . . . , Xk ) mit der Wahrscheinlichkeitsfunktion P (X1 = n1 , . . . , Xk = nk ) =
n! · pn1 · · · pnk k n1 !n2 ! · · · nk ! 1
(4.17)
heißt multinomialverteilt, kurz X ∼ M (n; p1 , . . . , pk ). Der Erwartungswert von X ist der Vektor E(X) = (E(X1 ), . . . , E(Xk )) = (np1 , . . . , npk ) . Die Kovarianzmatrix V (X) hat die Elemente npi (1 − pi ) f¨ ur i = j Cov(Xi , Xj ) = . ur i = j −npi pj f¨ Beispiel 4.2.7. Eine Urne enthalte 50 Kugeln, davon 25 rote, 15 weiße und 10 schwarze. Wir ziehen mit Zur¨ ucklegen, so dass bei jeder Ziehung die Wahragt. Anascheinlichkeit daf¨ ur, dass die Kugel rot ist, gleich p1 = 25 50 = 0.5 betr¨ log gilt f¨ ur die beiden anderen Wahrscheinlichkeiten p2 = 0.3 und p3 = 0.2. Wir f¨ uhren n = 4 unabh¨ angige Ziehungen durch. Die Wahrscheinlichkeiten f¨ ur die zuf¨ alligen Ereignisse 2 mal rot, 1 mal weiß, 1 mal schwarz“, 4 mal ” ”
82
4. Diskrete und stetige Standardverteilungen
rot, kein mal weiß, kein mal schwarz“und 3 mal rot, 1 mal weiß, kein mal ” schwarz“ sind 4! (0.5)2 (0.3)1 (0.2)1 = 0.18 2!1!1! 4! (0.5)4 = 0.0625 P (X1 = 4, X2 = 0, X3 = 0) = 4!0!0! 4! (0.5)3 · 0.3 = 0.15 . P (X1 = 3, X2 = 1, X3 = 0) = 3!1!0! P (X1 = 2, X2 = 1, X3 = 1) =
F¨ ur den Erwartungswertvektor erh¨ alt man E(X) = (4 · 0.5, 4 · 0.3, 4 · 0.2) = (2, 1.2, 0.8)
und f¨ ur die Kovarianzmatrix ⎛ ⎞ 4 · 0.5 · 0.5 −4 · 0.5 · 0.3 −4 · 0.5 · 0.2 V(X) = ⎝ −4 · 0.3 · 0.5 4 · 0.3 · 0.7 −4 · 0.3 · 0.2 ⎠ −4 · 0.2 · 0.5 −4 · 0.2 · 0.3 4 · 0.2 · 0.8 ⎛ ⎞ 1 −0.6 −0.4 = ⎝ −0.6 0.84 −0.24 ⎠ . −0.4 −0.24 0.64
Anmerkung. F¨ ur k = 2 geht die Multinomialverteilung in die Binomialverteilung u ucklegen. ¨ ber. Es handelt sich um Ziehen mit Zur¨
4.3 Spezielle stetige Verteilungen 4.3.1 Die stetige Gleichverteilung Analog zum diskreten Fall gibt es auch bei stetigen Zufallsvariablen die Gleichverteilung. Dabei lassen sich die f¨ ur den diskreten Fall gemachten Aussagen und Definitionen gr¨ oßtenteils u ¨ bertragen, wenn man die in Kapitel 3 dargestellten Zusammenh¨ ange zwischen diskreten und stetigen Zufallsvariablen ber¨ ucksichtigt. Definition 4.3.1. Eine stetige Zufallsvariable X mit der Dichte 1 f¨ ur a ≤ x ≤ b (a < b) f (x) = b−a 0 sonst heißt (stetig) gleichverteilt auf dem Intervall [a, b]. F¨ ur den Erwartungswert und die Varianz der stetigen Gleichverteilung gilt
4.3 Spezielle stetige Verteilungen
83
a+b , 2 (b − a)2 Var(X) = . 12 E(X) =
Beispiel 4.3.1. In Beispiel 3.4.2 hatten wir bereits eine Zufallsvariable X: Wartezeit in Minuten bis zur n¨ achsten Abfahrt einer S-Bahn“ betrachtet. ” Wir hatten dabei angenommen, dass die S-Bahnlinie im 20-Minuten-Takt f¨ ahrt. Die Zufallsvariable X ist also stetig gleichverteilt auf dem Intervall [0, 20]. 1
1/20
0
5
10
15
20
0
5
10
15
20
Abb. 4.7. Dichte- und Verteilungsfunktion der [0, 20]-Gleichverteilung
4.3.2 Die Exponentialverteilung Wir haben in Abschnitt 4.2.6 die geometrische Verteilung behandelt, die die Anzahl der unabh¨ angigen Versuche bis zum Eintreten eines Ereignisses beschreibt. Betrachten wir nun die (stetige) Wartezeit bis zum Eintreten eines Ereignisses. Die Forderung der Unabh¨ angigkeit der einzelnen Versuche wird hier durch folgende Forderung ersetzt: Die weitere Wartezeit ist unabh¨angig ” von der bereits verstrichenen Wartezeit“. Die Exponentialverteilung ist damit das stetige Analogon zur geometrischen Verteilung. Definition 4.3.2. Eine Zufallsvariable X mit der Dichte λ exp(−λx) f¨ ur x ≥ 0 f (x) = 0 sonst
(4.18)
heißt exponentialverteilt mit Parameter λ, kurz X ∼ expo(λ). Anmerkung. Man kann zeigen, dass die Voraussetzung der Unabh¨angigkeit der vergangenen von der zuk¨ unftigen Wartezeit notwendig und hinreichend f¨ ur das Vorliegen einer exponentialverteilten Zufallsvariablen ist. Der Erwartungswert einer exponentialverteilten Zufallsvariablen X ist E(X) =
1 , λ
84
4. Diskrete und stetige Standardverteilungen
f¨ ur die Varianz gilt
1 . λ2 Den Zusammenhang zwischen der Exponentialverteilung (Wartezeit zwischen zwei Ereignissen) und der Poissonverteilung (Anzahl der Ereignisse) dr¨ ucken wir in dem folgenden zentralen Satz aus: Var(X) =
Theorem 4.3.1. Die Anzahl der Ereignisse Y innerhalb eines Kontinuums ist poissonverteilt mit Parameter λ genau dann, wenn die Wartezeit zwischen zwei Ereignissen exponentialverteilt mit Parameter λ ist. Beispiel 4.3.2. Die Zufallsvariable X: Lebensdauer einer Gl¨ uhbirne einer ” Schaufensterbeleuchtung“ sei exponentialverteilt mit Parameter λ = 10. Damit gilt 1 10 1 Var(X) = 2 . 10 E(X) =
Die Zufallsvariable Y : Anzahl der ausgefallenen Gl¨ uhbirnen“ ist damit pois” sonverteilt mit dem Parameter λ = 10, d.h. E(Y ) = 10, Var(Y ) = 10. Betrachten wir als Kontinuum ein Jahr, so erhalten wir f¨ ur die erwartete Anzahl der ausgefallenen Gl¨ uhbirnen pro Jahr E(Y ) = 10 Gl¨ uhbirnen pro Jahr und f¨ ur die zu erwartende Wartezeit zwischen zwei Ausf¨allen E(X) = 1/10 Jahr = 36.5 Tage .
F (x)
f (x) 2
1
x
0 0
1
2
3
4
5
x
0 0
1
2
3
4
5
Abb. 4.8. Dichte- und Verteilungsfunktion der expo(10)-Verteilung
4.3 Spezielle stetige Verteilungen
85
4.3.3 Die Normalverteilung Die Normalverteilung ist die in der Statistik am h¨aufigsten verwendete stetige Verteilung. Der Begriff Normalverteilung wurde von C.F. Gauss gepr¨agt und zwar im Zusammenhang mit dem Auftreten zuf¨alliger Abweichungen der Messergebnisse vom wahren Wert bei geod¨atischen und astronomischen Messungen. Die zuf¨ alligen Abweichungen liegen symmetrisch um den wahren Wert. Definition 4.3.3. Eine stetige Zufallsvariable X mit der Dichtefunktion (x − μ)2 1 (4.19) f (x) = √ exp − 2σ 2 σ 2π heißt normalverteilt mit den Parametern μ und σ 2 , kurz X ∼ N (μ, σ2 ). F¨ ur die Momente einer normalverteilten Zufallsgr¨oße gilt E(X) = μ , Var(X) = σ 2 . Sind speziell μ = 0 und σ 2 = 1, so heißt X standardnormalverteilt, X ∼ N (0, 1). Die Dichte einer standardnormalverteilten Zufallsvariablen ist damit gegeben durch x2 1 φ(x) = √ exp(− ) . 2 2π Die Dichte einer Normalverteilung (Abbildung 4.9) hat ihr Maximum an der Stelle μ. Dies ist gleichzeitig der Symmetriepunkt der Dichte. Die Wendepunkte dieser Dichte liegen bei (μ − σ) und (μ + σ) (vgl. Abbildung 4.9). Je kleiner σ ist, desto mehr ist die Dichte um den Erwartungswert μ konzentriert. Je gr¨ oßer σ ist, desto flacher verl¨ auft die Dichte (vgl. Abbildung 4.10).
μ−σ
μ
μ+σ
Abb. 4.9. Dichtefunktion der N (μ, σ 2 ) Verteilung
Die Berechnung der Verteilungsfunktion
86
4. Diskrete und stetige Standardverteilungen
N (0, 0.5)
N (0, 1) N (0, 2)
0 Abb. 4.10. Dichten der Normalverteilungen N (0, 2), N (0, 1) und N (0, 0.5)
F (x) =
x
f (t)dt
−∞
einer normalverteilten Zufallsvariablen ist nicht mit elementaren Methoden m¨ oglich, so dass eine Tabellierung erforderlich wird. Dabei beschr¨anken wir uns auf die Standardnormalverteilung. Tabelle B.2 enth¨alt die Dichtefunktion φ(x), Tabelle B.1 die Verteilungsfunktion Φ(x) der N (0, 1)-Verteilung. Standardisierung einer N (μ, σ 2 )-verteilten Variablen
Es sei X ∼ N (μ, σ 2 ). Unter Verwendung der Standardisierungs-Transformation (vgl. (3.28)) erhalten wir Z=
X −μ ∼ N (0, 1) . σ
(4.20)
Dabei wird die Tatsache genutzt, dass eine lineare Transformation einer normalverteilten Variablen wieder zu einer normalverteilten Variablen f¨ uhrt. Eine N (0, 1)-verteilte Variable wird mit Z bezeichnet. Theorem 4.3.2 (Additionssatz). Seien X1 , . . . , Xn unabh¨angig und identisch verteilte Zufallsvariablen mit Xi ∼ N (μ, σ2 ), so gilt n i=1
Xi ∼ N (nμ, nσ 2 ) .
(4.21)
Rechenregeln f¨ ur normalverteilte Zufallsvariablen Es sei X ∼ N (μ, σ2 ). Die Wahrscheinlichkeit daf¨ ur, dass X Werte im Intervall [a, b] annimmt, ist
4.3 Spezielle stetige Verteilungen
P (a ≤ X ≤ b) = P
a−μ b−μ ≤Z≤ σ σ
die Wahrscheinlichkeit f¨ ur X ≤ b ist P (X ≤ b) = Φ
=Φ
,
b−μ σ
b−μ σ
−Φ
87
a−μ , σ (4.22)
und die Wahrscheinlichkeit f¨ ur X > a ist gleich 1 − P (X ≤ a), also gilt a−μ P (X > a) = 1 − P (X ≤ a) = 1 − Φ . (4.23) σ Anmerkung. F¨ ur die standardnormalverteilte Zufallsgr¨oße Z ∼ N (0, 1) gilt insbesondere wegen der Symmetrie der Dichte φ(x) bez¨ uglich 0 f¨ ur jeden Wert a Φ(−a) = 1 − Φ(a) . Damit gilt insbesondere Φ(0) = 0.5. Dieser Zusammenhang ist in Abbildung 4.11 dargestellt.
1 − Φ(a)
0.5
Φ(−a) x −a
0
+a
Abb. 4.11. Verteilungsfunktion der Standardnormalverteilung
Beispiel 4.3.3. Gegeben sei eine normalverteilte Variable X ∼ N (−2, 102 ). Die Wahrscheinlichkeit daf¨ ur, dass X Werte zwischen 0 und 5 annimmt, ist gem¨ aß (4.22) zu berechnen: 5 − (−2) 0 − (−2) P (0 ≤ X ≤ 5) = Φ −Φ 10 10 7 2 =Φ −Φ 10 10 = 0.758036 − 0.579260 = 0.178776 .
88
4. Diskrete und stetige Standardverteilungen
Die Wahrscheinlichkeit daf¨ ur, dass X nur Werte gr¨oßer als Null annimmt ist (nach (4.23)) 2 P (X > 0) = 1 − Φ = 1 − 0.579260 = 0.420740 . 10 Die Wahrscheinlichkeit, dass X Werte außerhalb des Intervalls [−5, 1] annimmt, d.h., dass X entweder kleiner als −5 oder gr¨oßer als 1 ist, ist P (X < −5 ∨ X > 1) = 1 − P (−5 ≤ X ≤ 1) 3 −3 = 1− Φ −Φ 10 10 3 −1 = 1 − 2Φ 10 = 2 − 2 · 0.617911 = 0.764178. Umgekehrt kann nat¨ urlich auch eine Zahl a so gesucht sein, dass X im Intervall (−2 − a, −2 + a) mit einer Wahrscheinlichkeit von z.B. 0.990 anzutreffen ist: −a X +2 a P (−2 − a ≤ X ≤ −2 + a) = P ≤ ≤ 10 10 10 a − 1 = 0.990 , = 2Φ 10 also gilt
a = 0.995 . 10 a Aus Tabelle B.1 lesen wir ab, dass 10 zwischen 2.57 und 2.58 liegen muß. a = 2.575862 und damit Lineare Interpolation der Tabellenwerte liefert 10 a = 25.75862. Φ
kσ-Regel f¨ ur die Normalverteilung F¨ ur die praktische Anwendung (z.B. bei Qualit¨atsnormen) gibt man h¨aufig die Streuungsintervalle (μ ± σ), (μ ± 2σ) und (μ ± 3σ) an, die 1σ-Bereich, 2σ-Bereich bzw. 3σ-Bereich heißen (vgl. Abschnitt 3.5.8). Sie dienen dem Vergleich von verschiedenen normalverteilten Zufallsvariablen. Wir wollen jetzt die Wahrscheinlichkeiten daf¨ ur bestimmen, dass eine N (μ, σ2 )-verteilte Variable Werte im 1σ-, 2σ- bzw. 3σ-Bereich um μ annimmt. Es gilt X −μ ≤ 1) σ = 2Φ(1) − 1
P (μ − σ ≤ X ≤ μ + σ) = P (−1 ≤
= 2 · 0.841345 − 1 = 0.682690 ,
4.3 Spezielle stetige Verteilungen
89
X −μ ≤ 2) σ = 2Φ(2) − 1
P (μ − 2σ ≤ X ≤ μ + 2σ) = P (−2 ≤
= 2 · 0.977250 − 1 = 0.954500 ,
X −μ ≤ 3) σ = 2Φ(3) − 1
P (μ − 3σ ≤ X ≤ μ + 3σ) = P (−3 ≤
= 2 · 0.998650 − 1
= 0.997300 .
Bei einer beliebigen N (μ, σ2 )-verteilten Zufallsvariablen liegen also bereits 68% der Wahrscheinlichkeitsmasse im einfachen Streubereich, 95% im zweifachen und 99.7% im dreifachen Streubereich. Vergleicht man diese Wahrscheinlichkeiten mit den nach der Tschebyschev-Ungleichung erhaltenen Absch¨ atzungen (vgl. Abschnitt 3.5.8), so sieht man den Informationsgewinn durch Kenntnis des Verteilungstyps Normalverteilung“ . ” Verteilung des arithmetischen Mittels normalverteilter Zufallsvariablen Sei eine Zufallsvariable X ∼ N (μ, σ2 ) gegeben. Wir betrachten eine Stichangigen und identisch N (μ, σ2 )-verteilten probe X = (X1 , . . . , Xn ) aus unabh¨ ¯ Variablen Xi . Es gilt dann f¨ ur das Stichprobenmittel X n
¯ = E(X) und ¯ = Var(X)
1 E(Xi ) = μ (Regel (3.29)) n i=1
n σ2 1 Var(Xi ) = 2 n i=1 n
(Regel (3.30)) .
Damit gilt dann insgesamt f¨ ur das Stichprobenmittel einer normalverteilten Zufallsvariablen (vgl. (4.21)) 2
¯ ∼ N (μ, σ ) . X n 4.3.4 Die zweidimensionale Normalverteilung Seien zwei Zufallsvariablen X1 ∼ N (μ1 , σ12 ) und X2 ∼ N (μ2 , σ22 ) gegeben und sei ρ der Korrelationskoeffizient, d.h. ρ = ρ(X1 , X2 ) =
Cov(X1 , X2 ) . σ1 σ2
90
4. Diskrete und stetige Standardverteilungen
Definition 4.3.4. Der Zufallsvektor (X1 , X2 ) besitzt die zweidimensionale Normalverteilung, falls die gemeinsame Dichte die Gestalt 1 × fX1 X2 (x1 , x2 ) = 2πσ1 σ2 1 − ρ2
1 1 exp − 2 1 − ρ2
x1 − μ1 σ1
2
x1 − μ1 x2 − μ2 + − 2ρ σ1 σ2
x2 − μ2 σ2
2 !
Dichte f(x1,x2) 0 0.05 0.1 0.15 0.2 0.25 0.3
hat.
2 1
2
1
0 x2
-1
-1
-2
0 x1
-2
Abb. 4.12. Dichte einer zweidimensionalen Normalverteilung
Im Fall ρ = 0 folgt " " 1 1 1 1 √ exp − 2 (x1 − μ1 )2 √ exp − 2 (x2 − μ2 )2 σ1 σ2 σ1 2π σ2 2π = fX1 (x1 )fX2 (x2 ) ,
fX1 X2 (x1 , x2 ) =
Die gemeinsame Dichte wird also zum Produkt der Randdichten, so dass angig sind (vgl. (3.41)). Damit haben wir folgenden Satz X1 und X2 unabh¨ bewiesen: Theorem 4.3.3. Zwei normalverteilte Zufallsvariablen sind genau dann unabh¨angig, wenn sie unkorreliert sind.
4.4 Pr¨ ufverteilungen
91
Anmerkung. Wie wir bereits gezeigt haben, gilt f¨ ur zwei beliebige Zufallsvaangigkeit die Unkorreliertheit folgt. riablen X1 , X2 nur, dass aus der Unabh¨ Die Umkehrung dieser Beziehung gilt nur f¨ ur normalverteilte Zufallsvariablen. Im Hinblick auf die sp¨ ateren Kapitel f¨ uhren wir hier zus¨atzlich die Matrixnotation f¨ ur die Normalverteilung ein. Dazu definieren wir den Vektor der Erwartungswerte und die Kovarianzmatrix X1 μ1 E =μ= X2 μ2 2 X1 σ1 ρσ1 σ2 V =Σ= ρσ1 σ2 σ22 X2 und erhalten f¨ ur die gemeinsame Dichte von (X1 , X2 ) 1 1 ′ −1 fX1 X2 (x1 , x2 ) = exp − (x − μ) Σ (x − μ) . 2 2π|Σ|1/2
4.4 Pru ¨ fverteilungen Aus der Normalverteilung lassen sich drei wesentliche Verteilungen – die sogenannten Pr¨ ufverteilungen – gewinnen. Diese Verteilungen werden z.B. zum Pr¨ ufen von Hypothesen u ¨ ber • die Varianz σ 2 einer Normalverteilung: χ2 -Verteilung, • den Erwartungswert einer normalverteilten Zufallsvariablen mit unbekannter Varianz bzw. zum Vergleich der Mittelwerte zweier normalverteilter Zufallsvariablen mit unbekannter, aber gleicher Varianz: t-Verteilung, • das Verh¨ altnis von Varianzen zweier normalverteilter Zufallsvariablen: F Verteilung eingesetzt (vgl. Kapitel 7). 4.4.1 Die χ2 -Verteilung Definition 4.4.1. Es seien Z1 , . . . , Zn n unabh¨angige und identisch n N (0, 1)verteilte Zufallsvariablen. Dann ist die Summe ihrer Quadrate i=1 Zi2 χ2 -verteilt mit n Freiheitsgraden. Die χ2 -Verteilung ist nicht symmetrisch. Eine χ2 -verteilte Zufallsvariable nimmt nur Werte gr¨ oßer oder gleich Null an. Die Quantile der χ2 -Verteilung sind in Tabelle B.3 f¨ ur verschiedene n angegeben. Theorem 4.4.1 (Additionssatz). Die Summe zweier unabh¨angiger χ2n verteilter bzw. χ2m -verteilter Zufallsvariablen ist χ2n+m -verteilt.
92
4. Diskrete und stetige Standardverteilungen
Als wesentliches Beispiel f¨ ur eine χ2 -verteilte Zufallsvariable ist die Stichprobenvarianz einer normalverteilten Grundgesamtheit zu nennen: n
2 SX
1 ¯ 2. (Xi − X) = n − 1 i=1
(4.24)
F¨ ur unabh¨ angige Zufallsvariablen Xi ∼ N (μ, σ2 ) (i = 1, . . . , n) gilt 2 (n − 1)SX ∼ χ2n−1 . σ2
(4.25)
F (x)
f (x) 2
χ21
1
χ22
χ21
χ25 χ22 χ25 x
0 0
1
2
3
4
x
0 0
1
2
3
4
Abb. 4.13. Dichte- und Verteilungsfunktion der χ21 -, χ22 und χ25 -Verteilung
Anmerkung. Der Nachweis, dass tats¨ achlich eine χ2n−1 -Verteilung vorliegt, d.h., dass (4.25) gilt, verwendet den Satz von Cochran (vgl. Satz 11.4.1). Die Zahl der Freiheitsgrade betr¨ agt n − 1, also Eins weniger als der Stichpro¯ nicht unabh¨angig sind. Wegen benumfang, da die Zufallsvariablen (Xi − X) n ¯ i=1 (Xi − X) = 0 besteht zwischen ihnen genau eine lineare Beziehung.
4.4.2 Die t-Verteilung
Definition 4.4.2. Sind X und Y unabh¨angige Zufallsvariablen, wobei X ∼ N (0, 1) und Y ∼ χ2n verteilt ist, so besitzt der Quotient X ∼ tn Y /n
(4.26)
eine t-Verteilung (Student-Verteilung) mit n Freiheitsgraden. In Tabelle B.4 sind die Quantile der t-Verteilung enthalten. Wird von einer N (μ, σ2 )-verteilten Zufallsvariablen X eine Stichprobe vom Umfang n realisiert, so bilden wir die Zufallsvariablen arithmetisches ¯ und Stichprobenvarianz S 2 , f¨ Mittel X ur die wir folgenden zentralen Satz X angeben.
4.4 Pr¨ ufverteilungen
93
F (x)
f (x) 0.5
1
t30 t5 t1 t5
t30
t1
x
0 -2
-1
0
1
x
0
2
-2
-1
0
1
2
Abb. 4.14. Dichte- und Verteilungsfunktion der t-Verteilung
Theorem 4.4.2 (Student (Gosset, 1908)). Sei X = (X1 , . . . , Xn ) mit iid. ¯ und S 2 unabh¨angig. Der folgende Quotient ist Xi ∼ N (μ, σ2 ), so sind X X tn−1 -verteilt ¯ − μ)√n ¯ − μ)√n (X (X ∼ tn−1 . =# SX 1 ¯ 2 i (Xi − X) n−1 4.4.3 Die F-Verteilung
Definition 4.4.3. Sind X und Y unabh¨angige χ2m bzw. χ2n -verteilte Zufallsvariablen, so besitzt der Quotient X/m ∼ Fm,n Y /n
(4.27)
die Fisher’sche F-Verteilung mit (m, n) Freiheitsgraden. Ist X eine χ21 -verteilte Zufallsvariable, so ist der Quotient F1,n -verteilt. Die Wurzel aus dem Quotienten ist dann tn -verteilt, da die Wurzel aus einer χ21 verteilten Zufallsvariablen N (0, 1)-verteilt ist. Dieser Zusammenhang wird h¨ aufig bei der automatisierten Modellwahl in linearen Regressionsmodellen (Kapitel 9) verwendet. Als wichtiges Anwendungsbeispiel sei die Verteilung des Quotienten der Stichprobenvarianzen zweier Stichproben vom Umfang m bzw. n von unbzw. Y ∼ abh¨ angigen normalverteilten Zufallsvariablen X ∼ N (μX , σ 2 ) n 1 1 m 2 2 2 ¯ N (μY , σ ) genannt: SX = m−1 i=1 (Xi − X) bzw. SY2 = n−1 i=1 (Yi − Y¯ )2 . F¨ ur das Verh¨ altnis beider Stichprobenvarianzen gilt (im Falle gleicher Varianzen σ 2 ) 2 SX ∼ Fm−1,n−1 . SY2 Anmerkung. Ist eine Zufallsvariable W nach Fm,n -verteilt, so ist 1/W nach Fn,m -verteilt. Deshalb sind die Tabellen der Fm,n -Verteilung im allgemeinen auf den Fall m ≤ n beschr¨ ankt (Tabellen B.5–B.8).
94
4. Diskrete und stetige Standardverteilungen f (x)
F (x)
1
F5,30 F5,10
1
F5,5
F5,30 F5,10 F5,5
x
0 0
1
2
3
4
x
0 0
1
2
3
4
Abb. 4.15. Dichte- und Verteilungsfunktion der F -Verteilung
4.5 Aufgaben und Kontrollfragen Aufgabe 4.1: In einer Multiple-Choice-Klausur werden zehn Fragen gestellt. Zu jeder Frage gibt es drei m¨ ogliche Antworten, von denen jedoch nur eine richtig ist. Wieviele richtige Antworten m¨ ussen zum Bestehen der Klausur mindestens gefordert werden, wenn die Wahrscheinlichkeit, die Klausur durch Raten zu bestehen, h¨ ochstens 0.05 betragen soll? Aufgabe 4.2: Ein Angler f¨ angt an einem kleinen Fischteich im Durchschnitt pro Stunde sechs Fische. Y bezeichne die Zahl der Fische, die in irgendeiner Stunde gefangen werden, X die Zeitspanne zwischen dem Fang zweier Fische in Minuten. a) Welche Verteilung kann man X und Y zuordnen? b) Bestimmen Sie E(X) und E(Y ). c) Wie groß sind P {Y = 2}, P {Y > 2}, P {X ≤ 20}? Aufgabe 4.3: Eine Maschine produziert Bandnudeln, deren L¨angen normalverteilt sind. Die durchschnittliche Nudell¨ ange kann eingestellt werden, jedoch betr¨ agt die Varianz unabh¨ angig davon immer 4. a) Wie groß ist die Wahrscheinlichkeit daf¨ ur, dass der eingestellte Wert μ = 50 mm um mehr als 3 mm unterschritten wird? b) Auf welchen Wert muß die durchschnittliche Nudell¨ange eingestellt werden, damit die produzierten Nudeln mit einer Wahrscheinlichkeit von 0.99 eine L¨ ange von h¨ ochstens 60 mm haben? Aufgabe 4.4: Leiten Sie den Erwartungswert und die Varianz f¨ ur die Null– Eins–Verteilung und die Binomialverteilung her. Aufgabe 4.5: Sei X ∼ P o(λ). Zeigen Sie: E(X) = λ und Var(X) = λ.
Aufgabe 4.6: X sei eine binomialverteilte Zufallsgr¨oße mit n = 10 und p = 14 . a) Bestimmen Sie die exakte Wahrscheinlichkeit, dass X um h¨ochstens 2 vom Erwartungswert abweicht. b) Sch¨ atzen Sie diese Wahrscheinlichkeit ab.
4.5 Aufgaben und Kontrollfragen
95
Aufgabe 4.7: Bei einem Experiment ist nur von Interesse, ob ein bestimmtes Ereignis A eintritt oder nicht. Das Experiment wird n mal unabh¨angig voneinander durchgef¨ uhrt. Es wird folgende Zufallsgr¨oße definiert: 1 falls Ereignis A im i-ten Versuch eintritt Xi = 0 falls Ereignis A im i-ten Versuch nicht eintritt
¯ = a) Bestimmen Sie Erwartungswert und Varianz der neuen Zufallsgr¨oße X 1 (X + X + · · · + X ). 1 2 n n ¯ mit einer Sicherheit von minb) Wie groß muß n mindestens sein, damit X destens 98% um h¨ ochstens 0.01 von der unbekannten Wahrscheinlichkeit p abweicht? Aufgabe 4.8: Eine Urne enth¨ alt M weiße und N − M schwarze Kugeln. Aus dieser Urne werden nacheinander und ohne Zur¨ ucklegen n Kugeln gezogen. a) Bestimmen Sie die Wahrscheinlichkeit, dass im ersten Zug eine weiße Kugel erscheint. b) Wie groß ist die Wahrscheinlichkeit daf¨ ur, im zweiten Zug eine weiße Kugel zu ziehen, wobei der erste Zug beliebig ist? c) Wie groß ist die Wahrscheinlichkeit daf¨ ur, im zweiten Zug eine weiße Kugel zu ziehen, wenn bereits im ersten Zug eine weiße Kugel gezogen wurde? d) Wie groß ist die Wahrscheinlichkeit, im i-ten Zug (i = 1, . . . , n) eine weiße Kugel zu ziehen, wobei die i − 1 vorhergehenden Z¨ uge beliebig sind? Aufgabe 4.9: Ein unverf¨ alschter W¨ urfel wird f¨ unfmal geworfen. X sei die Anzahl der W¨ urfe, bei denen eine Sechs erscheint.
a) Wie groß ist hier die Wahrscheinlichkeit, mindestens zwei Sechsen zu werfen? b) Wie groß ist der Erwartungswert von X? Aufgabe 4.10: In einer Schulklasse befinden sich 20 Sch¨ uler, denen es freigestellt ist, sich an einer Klassenfahrt zu beteiligen oder nicht. Aus vergangenen Jahren ist bekannt, dass etwa 70% der Sch¨ uler an den Fahrten teilnehmen. Wie groß ist die Wahrscheinlichkeit, dass die Klassenfahrt stattfindet, wenn dazu mindestens 10 Sch¨ uler teilnehmen m¨ ussen? Aufgabe 4.11: Zwei W¨ urfel werden viermal gleichzeitig geworfen. a) Wie groß ist die Wahrscheinlichkeit, dass dabei genau zweimal eine ungerade Augensumme auftritt? b) Bestimmen Sie die Wahrscheinlichkeit daf¨ ur, dass die Augensumme bei einem Wurf h¨ ochstens vier und bei den u urfen mindestens ¨ brigen drei W¨ acht betr¨ agt. Aufgabe 4.12: X sei eine N (2; 4)-verteilte Zufallsgr¨oße. Folgende Ereignisse seien definiert: A = {X ≤ 3}, B = {X ≥ −0.9}.
a) Bestimmen Sie P (A ∩ B). b) Bestimmen Sie P (A ∪ B).
96
4. Diskrete und stetige Standardverteilungen
Aufgabe 4.13: Z sei eine N (0; 1)-verteilte Zufallsgr¨oße. Wie groß muß eine positive Zahl c gew¨ ahlt werden, damit gilt: P (−c ≤ Z ≤ +c) = 0.97? Aufgabe 4.14: Flugg¨ aste kommen zuf¨ allig und unabh¨angig voneinander an den Sicherheitscheck eines Flughafens. Im Mittel kommen 10 Passagiere pro Minute an. a) Wie gross ist die Wahrscheinlichkeit, dass keine Passagiere in einer Minute ankommen? b) Wie gross ist die Varianz und die Standardabweichung? c) Wie gross ist die Wahrscheinlichkeit, dass h¨ochstens 2 Passagiere in einer Minute ankommen? d) Wie gross ist die Wahrscheinlichkeit, dass kein Passagier in 15 Sekunden ankommt. e) Wie gross ist die Wahrscheinlichkeit, dass mindestens 1 Passagier in 15 Sekunden ankommt.
5. Grenzwerts¨ atze und Approximationen
5.1 Die stochastische Konvergenz In diesem Kapitel wollen wir einige Grundbegriffe u ¨ ber das Verhalten von Folgen von Zufallsvariablen (Xn )n∈N einf¨ uhren, wenn n gegen ∞ strebt. Dazu ben¨ otigen wir den Begriff der stochastischen Konvergenz. Definition 5.1.1. Eine Folge (Xn )n∈N von Zufallsvariablen konvergiert stochastisch gegen 0, wenn f¨ ur beliebiges ǫ > 0 die Beziehung lim P (|Xn | > ǫ) = 0
n→∞
(5.1)
erf¨ ullt ist. Dies ist ¨ aquivalent zu limn→∞ P (|Xn | ≤ ǫ) = 1. Diese Konvergenz heißt auch Konvergenz nach Wahrscheinlichkeit. Wir weisen darauf hin, dass diese Definition nicht besagt, dass Xn gegen Null konvergiert (im klassischen Sinne der Analysis). Klassische Konvergenz w¨ urde bedeuten, dass man f¨ ur jedes ǫ ein endliches n = n0 so finden kann, dass |Xn | ≤ ǫ, ∀n > n0 gilt. Aus der Definition der stochastischen Konvergenz folgt lediglich, dass die ur n → ∞ gegen Null Wahrscheinlichkeit des zuf¨ alligen Ereignisses |Xn | > ǫ f¨ strebt. Sei Fn (t) die Verteilungsfunktion der Zufallsvariablen Xn . Dann bedeutet (5.1), dass f¨ ur jedes ǫ > 0 und f¨ ur n → ∞ P (Xn < −ǫ) = Fn (−ǫ) → 0
(5.2)
P (Xn > ǫ) = 1 − P (Xn ≤ ǫ) = 1 − Fn (ǫ) − P (Xn = ǫ) → 0
(5.3)
und
ur n → ∞ f¨ ur alle gilt. Da (5.1) f¨ ur jedes ǫ > 0 gilt, folgt P (Xn = ǫ) → 0 f¨ ǫ > 0. Somit wird (5.3) zu 1 − Fn (ǫ) → 0 , d. h., es gilt f¨ ur alle ǫ > 0
(5.4)
98
5. Grenzwerts¨ atze und Approximationen
Fn (ǫ) → 1 . Mit Hilfe der in Abschnitt 4.2.2 definierten Einpunktverteilung k¨onnen wir also folgendes Ergebnis formulieren (vgl. Fisz, 1970) Theorem 5.1.1. Eine Folge (Xn )n∈N von Zufallsvariablen konvergiert stochastisch gegen Null genau dann, wenn die Folge (Fn (x))n∈N ihrer Verteilungsfunktionen gegen die Verteilungsfunktion der Einpunktverteilung in jeder Stetigkeitsstelle dieser Funktion konvergiert. Gem¨ aß (5.1) konvergiert eine Folge (Xn )n∈N von Zufallsvariablen stochastisch gegen eine Konstante c, falls (Yn )n∈N = (Xn − c)n∈N stochastisch gegen Null konvergiert. Analog konvergiert eine Folge (Xn )n∈N stochastisch gegen eine Zufallsvariable X, falls (Yn )n∈N = (Xn − X)n∈N stochastisch gegen Null konvergiert.
5.2 Das Gesetz der großen Zahlen ¯ = 1 n Xi (arithmetisches Mittel) aus Wir haben f¨ ur die Zufallsvariable X i=1 n n i.i.d. Zufallsvariablen Xi mit E(Xi ) = μ und Var(Xi ) = σ 2 die grundle¯ = σ2 hergeleitet (vgl. (3.30)). Die Varianz von gende Eigenschaft Var(X) n ¯ nimmt also mit wachsendem n ab. Wir betrachten die TschebyschevX ¯ und verwenden den Index n zur Kennzeichnung Ungleichung (3.37) f¨ ur X ¯ n − μ)n∈N der n unabh¨ angigen Wiederholungen. Dann gilt f¨ ur die Folge (X 2 ¯ ¯ n − μ| < c) ≥ 1 − Var(Xn ) = 1 − σ . P (|X c2 nc2
(5.5)
F¨ ur jedes feste c ≥ 0 strebt die rechte Seite von (5.5) f¨ ur n → ∞ gegen Eins. Damit haben wir folgenden Satz bewiesen. Theorem 5.2.1 (Gesetz der großen Zahlen). Seien X1 , . . . , X n i.i.d. ¯ n = 1 n Xi Zufallsvariablen mit E(Xi ) = μ und Var(Xi ) = σ 2 und sei X i=1 n das arithmetische Mittel. Dann gilt ¯ n − μ| < c) = 1 , lim P (|X
n→∞
∀c ≥ 0 .
(5.6)
¯ n konvergiert stochastisch (nach Wahrscheinlichkeit) gegen μ. D. h. X Wir wenden dieses Gesetz auf unabh¨ angige Null-Eins-verteilte Variablen (vgl. (4.5)) an, d. h., wir w¨ ahlen die Zufallsvariablen (i = 1, . . . , n) 1 mit P (Xi = 1) = p Xi = 0 mit P (Xi = 0) = 1 − p . Damit ist E(Xi ) = p und Var(Xi ) = p(1 − p) (vgl. (4.6),(4.7)). Bilden wir ¯ n = 1 n Xi und ersetzen in (5.5) μ durch p und σ 2 durch p(1−p), wieder X i=1 n so gilt
5.3 Der zentrale Grenzwertsatz
¯ n − p| < c) ≥ 1 − p(1 − p) , P (|X nc2 und damit erhalten wir ¯ n − p| < c) = 1 lim P (|X
n→∞
99
(5.7)
∀c ≥ 0 .
¯ n ist die Zufallsvariable, die die relative H¨ X aufigkeit eines Ereignisses A bei n unabh¨ angigen Wiederholungen angibt. Anders ausgedr¨ uckt erhalten wir folgenden Satz. Theorem 5.2.2 (Satz von Bernoulli). Die relative H¨aufigkeit eines zuf¨alligen Ereignisses A in n unabh¨angigen Wiederholungen konvergiert stochastisch gegen die Wahrscheinlichkeit p des Ereignisses A. Dieser Satz ist die Grundlage f¨ ur die schon oft benutzte H¨aufigkeitsinterpretation der Wahrscheinlichkeit. Mit seiner Hilfe kann man f¨ ur vorgegebenes c und vorgegebene Sicherheitswahrscheinlichkeit 1−α den zum Erreichen von ¯ n − p| < c) ≥ 1 − α P (|X notwendigen Stichprobenumfang n absch¨ atzen. Aufl¨osen der Ungleichung (5.7) nach n liefert die Bedingung n≥
p(1 − p) . c2 α
Beispiel. Sei c = α = p = 0.1, so folgt n≥
0.1(1 − 0.1) = 90 . 0.12 0.1
Sei c = α = 0.1, p = 0.5, so folgt n≥
0.52 = 250 . 0.12 0.1
5.3 Der zentrale Grenzwertsatz Der zentrale Grenzwertsatz geh¨ ort zu den wichtigsten Aussagen der Wahrscheinlichkeitstheorie. Er gibt eine Charakterisierung der Normalverteilung ¨ als Grenzverteilung von Uberlagerungen einer Vielzahl unabh¨angiger zuf¨alliger Einzeleffekte. Der zentrale Grenzwertsatz existiert in zahlreichen Modifikationen. Wir beschr¨ anken uns hier auf folgenden Fall. Seien Xi (i = 1, . . . , n) i.i.d. Zufallsvariablen n mit E(Xi ) = μ und Var(Xi )= σ 2 . Dann besitzt die Zufallsvariable i=1 Xi den Erwartungs wert E( ni=1 Xi ) = nμ und die Varianz Var( ni=1 Xi ) = nσ 2 , so dass
100
5. Grenzwerts¨ atze und Approximationen
Yn =
n
Xi − nμ √ nσ 2
i=1
(5.8)
standardisiert ist, d. h., es gilt E(Yn ) = 0 und Var(Yn ) = 1. Yn heißt standardisierte Summe der X1 , . . . , Xn . Theorem 5.3.1 (Zentraler Grenzwertsatz). Seien Xi (i = 1, . . . , n) i.i.d. Zufallsvariablen mit E(Xi ) = μ und Var(Xi ) = σ 2 , (i = 1, . . . , n) und sei Yn die standardisierte Summe der Xi . Dann gilt f¨ ur die Verteilungsfunktion von Yn lim P (Yn ≤ y) = Φ(y), ∀y , n→∞
wobei Φ(y) die Verteilungsfunktion der Standardnormalverteilung ist. Satz 5.3.1 besagt, dass die standardisierte Summe Yn f¨ ur große n ann¨ahernd standardnormalverteilt ist: Yn ∼ N (0, 1) f¨ ur n → ∞ . n n Bilden wir die R¨ ucktransformation nach i=1 Xi gem¨aß (5.8), so ist i=1 Xi f¨ ur große n ann¨ ahernd N (nμ, nσ 2 )-verteilt n i=1
Xi ∼ N (nμ, nσ 2 ) .
¯n = Das arithmetische Mittel X σ2 N (μ, n ) verteilt
1 n
n
i=1
(5.9)
Xi ist somit f¨ ur große n ann¨ahernd 2
¯ n ∼ N (μ, σ ) . X n ¯ n stochastisch gegen Das Gesetz der großen Zahlen sagt also aus, dass X μ konvergiert, w¨ ahrend der zentrale Grenzwertsatz zus¨atzlich aussagt, dass ¯ n gegen die Grenzverteilung N (μ, σ2 ) konvergiert. die Verteilung von X n
5.4 Approximationen Wir haben zur Herleitung der Regeln der Kombinatorik und von einigen diskreten Verteilungen das Urnenmodell verwandt. In einer Urne seien insgesamt N Kugeln, davon M weiße und N −M schwarze. Aus der Urne werden zuf¨allig n Kugeln gezogen. Sei X die Zufallsvariable Anzahl der weißen Kugeln in der ” Ziehung“. Beim Ziehen mit Zur¨ ucklegen ist X binomialverteilt, beim Ziehen ohne Zur¨ ucklegen ist X hypergeometrisch verteilt (vgl. Abschnitte 4.2.4 und 4.2.5). Falls N , M und N − M sehr groß gegen¨ uber n sind, stimmen beide Verteilungen nahezu u ¨berein. Es macht dann also kaum einen Unterschied, ob man mit oder ohne Zur¨ ucklegen zieht. Wir wollen dies hier nicht beweisen (vgl. dazu z. B. R¨ uger, 1996), sondern uns vielmehr auf das Grenzverhalten der Binomialverteilung f¨ ur großes n konzentrieren.
5.4 Approximationen
101
5.4.1 Approximation der Binomialverteilung durch die Normalverteilung Betrachten wir n unabh¨ angige Null-Eins-verteilte Variablen Xi mit Erwartungswert E(Xi ) = p und Varianz Var(X n i ) = p(1 − p). Die daraus gebilXi besitzt den Erwartungswert dete binomialverteilte Zufallsvariable n i=1 n E( i=1 Xi ) = np und die Varianz Var( i=1 Xi ) = np(1 − p). Durch Anwendung von (5.9) ergibt sich f¨ ur großes n n i=1
Xi ∼ N (np, np(1 − p)) .
Daraus folgt sofort f¨ ur die relative H¨ aufigkeit (n groß) n 1 p(1 − p) Xi ∼ N p, . n i=1 n
(5.10)
(5.11)
Die Binomialverteilung B(n; p) kann also f¨ ur großes n durch die Normalverteilung approximiert werden: B(n; p) → N (np, np(1 − p))
(5.12)
Die N¨ aherung (5.12) ist f¨ ur np(1 − p) ≥ 9 hinreichend genau. Damit gilt f¨ ur X ∼ B(n; p) % $ x − np P (X ≤ x) ≈ Φ np(1 − p) bzw. mit der sogenannten Stetigkeitskorrektur $ % $ % b + 0.5 − np a − 0.5 − np P (a ≤ X ≤ b) ≈ Φ −Φ . np(1 − p) np(1 − p)
(5.13)
Beispiel. Von einer neuen Maschine sei bekannt, dass die von ihr hergestellten Produkte zu 90% den Qualit¨ atsanforderungen entsprechen. Bezeichnen wir mit A das Ereignis Produkt einwandfrei“, so gilt P (A) = 0.9 = p und ” ¯ = 0.1 = 1−p. damit P (A) Eine Kiste mit 150 St¨ ucken aus der neuen Produktion wurde gepr¨ uft, wovon k = 135 St¨ ucke als einwandfrei befunden wurden. Die Anzahl der einwandfreien St¨ ucke in der neuen Produktion ist eine binomialverteilte Zufallsvariable X mit np(1 − p) = 150 · 0.9 · 0.1 = 13.5. Damit ist die Approximation der Binomialverteilung durch die Normalverteilung gerechtfertigt, und wir erhalten z. B. 135 − 0.5 − 150 · 0.9 150 + 0.5 − 150 · 0.9 √ √ −Φ P (135 ≤ X ≤ 150) = Φ 150 · 0.9 · 0.1 150 · 0.9 · 0.1 = Φ(4.22) − Φ(−0.14) = 0.99934 − 0.44433 = 0.55501 .
102
5. Grenzwerts¨ atze und Approximationen
0 1 2 3 4 5 6 7 8 9 10
0
10
20
30
0
5
40
10
50
15
60
20
70
25
80
30
90
Abb. 5.1. Grafische Veranschaulichung des Zentralen Grenzwertsatzes. K = 100, K = 300 und K = 900fache Realisierung einer B(n, p)-verteilten Zufallsvariablen X (n = 10, 30, 90 und p = 0.3). Die Punkte repr¨ asentieren die Anzahl der Realisierungen von Xi = x (i = 1, . . . , K).
D. h. mit einer Wahrscheinlichkeit von rund 0.56 sind 135 oder mehr St¨ ucke der Produktion einwandfrei. Die erwartete Anzahl der qualitativ einwandfreien Produkte betr¨ agt E(X) = 150 · 0.9 = 135 und die Varianz Var(X) = 150 · 0.9 · 0.1 = 13.5 . Wir wollen nun noch die Approximation der Binomialverteilung durch die Normalverteilung grafisch veranschaulichen. Dazu wiederholen wir die Realisation einer B(n, p)-verteilten Zufallsvariablen X K–mal. In Abbildung 5.1 wird u aulen die H¨aufigkeit aufgetragen, ¨ ber der jeweiligen Anzahl Xi durch S¨ mit der dieses Ergebnis realisiert wurde. Die verwendeten Werte f¨ ur n und p waren n = 10, n = 30 und n = 90 und jeweils p = 0.3. Damit ergeben sich f¨ ur den Erwartungswert np die Werte np = 3, np = 9 und np = 27.
5.4 Approximationen
103
5.4.2 Approximation der Binomialverteilung durch die Poissonverteilung Die Regel np(1 − p) ≥ 9 besagt, dass f¨ ur Werte von p nahe Null (oder nahe Eins) n sehr groß sein muß, um die Approximation (5.10) zu sichern. Sei z. B. p = 0.01, so m¨ ußte n ≥ 9/(0.01 · 0.99) = 909.09 sein. F¨ ur extrem kleine Werte von p und große Werte von n approximiert man die Binomialverteilung durch die Poissonverteilung nach der Regel B(n; p) → P o(np) .
(5.14)
Diese Approximation ist f¨ ur p ≤ 0.1 und n ≥ 100 hinreichend genau. Die Approximation (5.14) heißt Grenzwertsatz von Poisson. Anmerkung. Einen Beweis von (5.14) findet man in R¨ uger (1996). 5.4.3 Approximation der Poissonverteilung durch die Normalverteilung Die Approximation der Poissonverteilung durch die Normalverteilung ergibt sich aus den beiden Approximationsm¨ oglichkeiten der Binomialverteilung. F¨ ur np(1 − p) ≥ 9 und p ≤ 0.1 sowie n ≥ 100, also λ = np ≥ 10, folgt aus der Approximation der Binomialverteilung durch die Normalverteilung und der Approximation der Binomialverteilung durch die Poissonverteilung die Approximation der Poissonverteilung durch die Normalverteilung, wenn wir zus¨ atzlich bedenken, dass f¨ ur kleines p die Approximation np ≈ np(1 − p) gilt: B(n; p) → P o(np) ,
B(n; p) → N (np, np(1 − p)) , also P o(np) → N (np, np(1 − p)) oder P o(λ) → N (λ, λ) . 5.4.4 Approximation der hypergeometrischen Verteilung durch die Binomialverteilung Wir haben in Kapitel 4 das Urnenmodell betrachtet, wobei unter insgesamt N Kugeln M weiße und N − M schwarze Kugeln waren. Es wurden n Kugeln gezogen. Die Zufallsvariable X : Anzahl der weißen Kugeln unter den n ” gezogenen Kugeln“ ist • bei Ziehen mit Zur¨ ucklegen binomialverteilt • bei Ziehen ohne Zur¨ ucklegen hypergeometrisch verteilt.
104
5. Grenzwerts¨ atze und Approximationen
H(n, M, N ) M, N → ∞ Faustregel n ≤ 0.1M N/M = p = const. n ≤ 0.1(N − M ) B(n; M/N ) p ≤ 0.1 n ≥ 100
B(n; p)
P o(np) p klein, so dass np ≈ np(1 − p)
np(1 − p) ≥ 9 N np, np(1 − p)
N (np, np) = N (λ, λ)
Abb. 5.2. Approximationen der einzelnen Verteilungen
Falls N , M und N − M sehr groß gegen¨ uber n sind, so ¨andern sich die Ziehungswahrscheinlichkeiten f¨ ur eine weiße Kugel bei Ziehen ohne Zur¨ ucklegen kaum, die Ziehungen sind n¨ aherungsweise unabh¨angig voneinander. Damit sind die Verteilungen von X in beiden Ziehungsmodellen nahezu gleich, d. h. die hypergeometrische Verteilung stimmt nahezu mit der Binomialverteilung u ur M → ∞ und N → ∞. Dann gilt ¨berein. Sei 0 < M N = p < 1 konstant f¨ H(n, M, N ) ≈ B(n;
M ) N
(Beweis: vgl. z. B. R¨ uger (1988), S.83). Als Faustregel f¨ ur N , M , N − M groß im Verh¨altnis zu n verwendet man die Bedingung n ≤ 0.1M und n ≤ 0.1(N − M ).
5.5 Aufgaben und Kontrollfragen
105
5.5 Aufgaben und Kontrollfragen Aufgabe 5.1: Wie lautet die Definition der stochastischen Konvergenz einer Folge {Xn }n∈N von Zufallsvariablen
a) gegen Null b) gegen eine Konstante c) gegen eine Zufallsvariable X?
Aufgabe 5.2: Wie lautet das Gesetz der großen Zahlen? Wie leitet man daraus den Satz von Bernoulli her? Aufgabe 5.3: Seien X1 , . . . , Xn i.i.d. Zufallsvariablen. Wie lautet die Grenz¯ verteilung der Zufallsvariablen arithmetisches Mittel X? Aufgabe 5.4: Wie groß ist die Wahrscheinlichkeit, dass beim 500-maligen Werfen eines W¨ urfels das Ergebnis gerade Zahl geworfen“ um h¨ochsten 25 ” von seinem Erwartungswert abweicht? Aufgabe 5.5: Ein Zufallsexperiment, in dem ein Ereignis A mit Wahrscheinlichkeit p = 0.5 eintritt, wird n-mal unabh¨ angig wiederholt. Wie groß muß n sein, so dass mit Wahrscheinlichkeit α = 0.01 die absolute Abweichung der ¯ n von p h¨ relativen H¨ aufigkeit X ochstens 0.1 ist? Aufgabe 5.6: Eine Maschine fertigt Produkte, die M¨angel mit einer Wahrscheinlichkeit von p = 0.2 aufweisen. In einer Stichprobe vom Umfang n = 100 wurden k = 10 fehlerhafte Produkte festgestellt. a) Wie groß ist die Wahrscheinlichkeit f¨ ur dieses Ergebnis? b) Mit welcher Wahrscheinlichkeit liegt der Ausschussanteil bei 100 Produkten zwischen 3% und 10%? Aufgabe 5.7: Sei X eine P o(32) verteilte Zufallsvariable. Berechnen Sie (unter Verwendung der Normalapproximation) folgende Wahrscheinlichkeiten: a) P (X ≤ 10), b) P (25 ≤ X ≤ 30), c) P (X ≥ 55).
Aufgabe 5.8: In einem Stadtbezirk einer bayerischen Stadt mit 10000 wahlberechtigten B¨ urgern werden Wahlen durchgef¨ uhrt. Zwei Tage vor den Wahlen werden 200 Wahlberechtigte f¨ ur die Erstellung einer Wahlprognose zuf¨allig ausgew¨ ahlt und nach ihrer bevorstehenden Wahlentscheidung befragt. Wenn davon ausgegangen wird, dass in diesem Stadtbezirk eine Pr¨aferenz von 40% f¨ ur die CSU besteht, wie groß ist dann die Wahrscheinlichkeit, dass sich unter den Befragten weniger als 35% f¨ ur die CSU aussprechen? Aufgabe 5.9: Aufgrund gewisser Erfahrungswerte kann davon ausgegangen werden, dass ca. 1% der Bev¨ olkerung an einer Krankheit leidet. Bestimmen Sie die Wahrscheinlichkeit, dass unter 1000 zuf¨allig ausgew¨ahlten Personen
a) mindestens drei b) genau vier kranke Personen sind.
106
5. Grenzwerts¨ atze und Approximationen
Aufgabe 5.10: In einer Kiste mit 20 Orangen befinden sich zwei verdorbene Orangen, die restlichen 18 Orangen sind einwandfrei. Nun werden zuf¨allig vier Orangen aus der Kiste genommen (ohne Zur¨ ucklegen). a) Wie groß ist die Wahrscheinlichkeit, dass unter den vier gew¨ahlten Orangen auch die zwei verdorbenen sind? b) Die Zufallsgr¨ oße X bezeichne die Anzahl der verdorbenen unter den ausgew¨ ahlten Orangen. Bestimmen Sie Erwartungswert und Varianz von X.
Teil II
Induktive Statistik
6. Sch¨ atzung von Parametern
6.1 Einleitung Wenn eine wissenschaftliche Untersuchung geplant und durchgef¨ uhrt wird, so geschieht das unter dem Aspekt, eine spezifische wissenschaftliche Hypothese zu u ufen. Obwohl eine Stichprobe nur ein kleiner Ausschnitt aus ¨ berpr¨ der Grundgesamtheit ist, m¨ ochte man die aus der Stichprobe gewonnenen Erkenntnisse m¨ oglichst verallgemeinern. Ein wesentliches Charakteristikum der statistischen Schlussweise (Inferenz) ist die Tatsache, dass die aus einer Stichprobe gezogenen Schlussfolgerungen im allgemeinen nicht fehlerfrei sind. Die statistische Induktion u ¨ ber die unbekannten Parameter der Grundgesamtheit wird also h¨aufig mit einer Evaluation (wie z.B. Pr¨ ufen von Hypothesen) verkn¨ upft sein. Die bisher vorgestellten Verteilungen f¨ ur die Beschreibung von Zufallsvariablen h¨ angen von Parametern ab (Erwartungswert μ, Varianz σ 2 , Wahrscheinlichkeit p der Null-Eins- und der Binomialverteilung), die unbekannt sind. Aus einer Stichprobe werden Maßzahlen (Stichprobenmittelwert x¯, aufigkeit k/n) ermittelt, die wir als Sch¨ atzStichprobenvarianz s2 , relative H¨ werte der Parameter μ, σ 2 , p der Grundgesamtheit bezeichnen. Beispiel. Die K¨ orpergr¨ oße X von dreij¨ ahrigen Kindern kann als normalverteilt gelten, X ∼ N (μ, σ2 ). Der Erwartungswert μ repr¨asentiert die mittlere (durchschnittliche) K¨ orpergr¨ oße der dreij¨ ahrigen Kinder. Aus einer Stichprobe ermittelt man den Wert von x ¯ (mittlere K¨orpergr¨oße der dreij¨ahrigen Kinder in der Stichprobe) als Sch¨ atzung des Parameters μ der dreij¨ahrigen Kinder der Bev¨ olkerung. Die konkreten Sch¨ atzwerte als Realisierungen von Zufallsvariablen – den Sch¨ atzungen – werden von Stichprobe zu Stichprobe verschieden sein, sie streuen um den unbekannten Parameter (im Beispiel μ). Je nachdem, ob nur ein einziger Zahlenwert als Sch¨atzgr¨oße oder ein Intervall angegeben wird, spricht man von einer Punktsch¨ atzung bzw. von einer Intervallsch¨ atzung (Konfidenzsch¨ atzung). Unter einer Stichprobe verstehen wir allgemein bei endlicher Grundgesamtheit eine zuf¨ allige Auswahl von n Elementen aus den N Elementen der Grundgesamtheit, analog zu den Urnenmodellen der vorangegangenen Kapitel. Bei einem Zufallsexperiment erh¨ alt man die Stichprobe durch n-fache
110
6. Sch¨ atzung von Parametern
Wiederholung des Experiments. Falls alle Xi unabh¨angig und identisch verteilt sind, bezeichnen wir X = (X1 , . . . , Xn ) als i.i.d. Stichprobe. Die Schreibweise X = (X1 , . . . , Xn ) bezeichnet die Stichprobe (als Zufallsgr¨oße), die Xi sind Zufallsvariablen. Nach Durchf¨ uhrung der Stichprobenziehung, d.h., nach Realisierung der Zufallsvariablen Xi in einem zuf¨alligen Versuch, erh¨alt man die konkrete Stichprobe x = (x1 , . . . , xn ) mit den realisierten Werten xi der Zufallsvariablen Xi . Anmerkung. Wenn wir von Stichprobe sprechen, meinen wir stets die i.i.d. Stichprobe. Bei endlicher Grundgesamtheit sichert man die i.i.d. Eigenschaft durch Ziehen mit Zur¨ ucklegen, bei Zufallsexperimenten durch geeignete Versuchspl¨ ane (i.i.d.: independently identically distributed).
6.2 Allgemeine Theorie der Punktsch¨ atzung Generell stellt sich das Problem der Sch¨ atzung von Parametern der Verteilung einer Zufallsvariablen X durch geeignete aus Stichproben ermittelte Maßzahlen. Im einparametrigen Fall ist es das Ziel der Punktsch¨atzung, den unbekannten Parameter θ mittels einer Stichprobe vom Umfang n zu sch¨atzen, d.h., eine Maßzahl zu finden, die m¨ oglichst gut“ mit dem zu sch¨atzenden ” Parameter u bereinstimmt. M¨ o glichst gut“ ist durch geeignete G¨ utekriterien ¨ ” n¨aher zu definieren. Im mehrparametrigen Fall tritt an die Stelle des Parameters θ der Parametervektor θ. Definition 6.2.1. Die Menge Θ, die alle m¨oglichen Werte des unbekannten Parameters θ enth¨alt, heißt Parameterraum. Definition 6.2.2. Sei θ ∈ Θ der unbekannte Parameter der Verteilung Fθ (X) und X = (X1 , . . . , Xn ) eine Stichprobe. Dann nennt man T (X) = T (X1 , . . . , Xn ) eine Sch¨ atzung (Sch¨atzfunktion) von θ. T (X) ist eine Zufallsvariable. F¨ ur die konkrete Stichprobe (x1 , . . . , xn ) ergibt sich der Sch¨atzwert θˆ = T (x1 , . . . , xn ) als beobachtete Realisation der Zufallsvariablen T (X). Definition 6.2.3. Eine Sch¨atzung T (X) des Parameters θ heißt erwartungstreu f¨ ur θ (unverzerrt, unverf¨alscht, unbiased), wenn gilt: Eθ (T (X)) = θ .
(6.1)
Im Falle Eθ (T (X)) = θ heißt die Sch¨atzung T (X) nicht erwartungstreu (verzerrt, verf¨alscht, biased). Anmerkung. Falls (6.1) f¨ ur alle θ ∈ Θ gilt, heißt die Sch¨atzung T (X) erwartungstreu (f¨ ur alle θ). Im Folgenden wird erwartungstreu stets in dieser Bedeutung verwendet.
6.2 Allgemeine Theorie der Punktsch¨ atzung
111
Die Differenz zwischen dem Erwartungswert Eθ (T (X)) der Sch¨atzung und dem zu sch¨ atzenden Parameter θ wird als Bias (Verzerrung) bezeichnet: biasθ (T (X); θ) = Eθ (T (X)) − θ. F¨ ur eine erwartungstreue Sch¨ atzung T (X) von θ gilt: biasθ (T (X); θ) = 0. Ein wichtiges Maß zur Beurteilung der G¨ ute einer Sch¨atzung ist der mittlere quadratische Fehler (Mean Square Error). Definition 6.2.4. Der Mean Square Error (MSE) einer Sch¨atzung T (X) ist definiert als 2 MSEθ (T (X); θ) = Eθ [T (X) − θ] . 2 Sei Varθ (T (X)) = Eθ [T (X) − Eθ (T (X))] die Varianz der Sch¨atzung T (X), so l¨ asst sich der MSE wie folgt darstellen:
2
MSEθ (T (X); θ) = Varθ (T (X)) + [biasθ (T (X); θ)] . Ist die Sch¨ atzung T (X) erwartungstreu, so stimmen ihre Varianz und ihr MSE u berein: ¨ biasθ (T (X); θ) = 0
⇔
MSEθ (T (X); θ) = Varθ (T (X)) .
Im mehrparametrigen Fall mit dem Parametervektor θ ist der MSE ein matrixwertiges G¨ utemaß. Der MSE liefert ein G¨ utekriterium zum Vergleich von Sch¨atzungen. Definition 6.2.5 (MSE-Kriterium). Seien T1 (X) und T2 (X) zwei alternative Sch¨atzungen des Parameters θ. Dann heißt die Sch¨atzung T1 (X) MSE-besser als T2 (X), wenn MSEθ (T1 (X); θ) ≤ MSEθ (T2 (X); θ)
∀θ
(6.2)
gilt und wenn es mindestens ein θ∗ ∈ Θ gibt mit
MSEθ (T1 (X); θ∗ ) < MSEθ (T2 (X); θ∗ ) .
(6.3)
Es ist nicht m¨ oglich, unter allen Sch¨ atzungen eine MSE-beste Sch¨atzung zu finden. Dies wird klar, wenn wir den konstanten Sch¨atzer T2 (X) = θ0 betrachten (θ0 ein beliebiger Parameterwert), f¨ ur den M SEθ0 (T2 (X); θ0 ) = 0 gilt. Damit existiert kein Sch¨ atzer, der die Bedingungen (6.2) und (6.3) erf¨ ullt; es existiert kein MSE-bester Sch¨ atzer schlechthin. Deshalb muß man die Klasse der zugelassenen Sch¨atzfunktionen einschr¨ anken. In der klassischen Sch¨ atztheorie beschr¨ankt man sich auf die Klasse der erwartungstreuen Sch¨ atzungen. Da im Fall von erwartungstreuen Sch¨ atzungen der MSE und die Varianz u uhrt die Suche nach ¨ bereinstimmen, f¨ einer MSE-besten Sch¨ atzung in der Klasse der erwartungstreuen Sch¨atzungen zur Auswahl derjenigen Sch¨ atzung mit der kleinsten Varianz.
112
6. Sch¨ atzung von Parametern
Definition 6.2.6. Eine erwartungstreue Sch¨atzung T (X) des Parameters θ heißt effizient bzw. UMVU-Sch¨atzung (Uniformly Minimum Variance Unbiased), wenn T (X) unter allen erwartungstreuen Sch¨atzungen f¨ ur θ die kleinste Varianz besitzt. Die effiziente Sch¨ atzung ist die beste Sch¨atzung (im Sinne kleinster Varianz) in der Klasse der erwartungstreuen Sch¨atzungen, nicht aber in der Klasse aller Sch¨ atzungen. Es kann verzerrte Sch¨atzungen geben, die einen kleineren MSE besitzen (zur Theorie der verzerrten Sch¨atzungen in linearen Modellen vgl. z.B. Toutenburg (2002a), Rao, Toutenburg, Shalabh und Heumann (2008)). Asymptotische G¨ utekriterien Ein schw¨ acheres G¨ utekriterium als die Erwartungstreue eines Sch¨atzers ist die asymptotische Erwartungstreue. Man betrachtet Sch¨atzungen T (X), die mit zunehmendem Stichprobenumfang n den Parameter θ genauer sch¨atzen. atzfolge f¨ ur Eine Menge von Sch¨ atzfunktionen (T(n) (X))n∈N heißt Sch¨ den unbekannten Parameter θ, wenn es zu jedem Stichprobenumfang n genau eine Sch¨ atzung T(n) (X) gibt. Definition 6.2.7. Eine Sch¨atzfolge (T(n) (X))n∈N f¨ ur den Parameter θ ist asymptotisch erwartungstreu, wenn f¨ ur jede zugelassene Verteilung mit dem Parameter θ gilt: lim Eθ (T(n) (X)) = θ
n→∞
∀θ .
Damit ist jeder erwartungstreue Sch¨ atzer auch asymptotisch erwartungstreu. Eine weitere asymptotische Eigenschaft ist die Konsistenz. Definition 6.2.8. Eine Sch¨atzfolge (T(n) (X))n∈N heißt konsistent f¨ ur θ, wenn die Folge T(n) (X) stochastisch gegen den wahren Parameter θ konvergiert: lim P (|T(n) (X) − θ| < ǫ) = 1 ∀ǫ > 0 . n→∞
Anmerkung. Die asymptotische Erwartungstreue und die Konsistenz sind relativ schwache Forderungen an einen Sch¨ atzer. Sie werden oft als Minimalanforderungen betrachtet.
6.3 Maximum-Likelihood-Sch¨ atzung 6.3.1 Das Maximum-Likelihood-Prinzip Ein wichtiges Konstruktionsprinzip zur Gewinnung der Parametersch¨atzung θˆ von θ ist das Maximum-Likelihood-Prinzip. Der mit dieser Methode
6.3 Maximum-Likelihood-Sch¨ atzung
113
gewonnene Maximum-Likelihood-Sch¨ atzer (ML-Sch¨atzer) zeichnet sich durch diverse G¨ uteeigenschaften aus. Sei (X1 , . . . , Xn ) eine i.i.d. Stichprobe der Zufallsvariablen X und sei f (x; θ) eine einparametrige Wahrscheinlichkeitsfunktion, falls X diskret ist, bzw. sei f (x; θ) eine einparametrige Dichte, falls X stetig ist. Die Menge {f (x; θ) : θ ∈ Θ} enth¨ alt alle zul¨ assigen Verteilungen der Zufallsvariablen X. Die gemeinsame Dichte bzw. gemeinsame Wahrscheinlichkeitsfunktion der Realisation x einer i.i.d. Stichprobe ist – wegen der Unabh¨angigkeit der Xi – das Produkt f (x; θ) = f (x1 , . . . , xn ; θ) =
n &
f (xi ; θ) .
i=1
Sie ist f¨ ur jeden festen Parameterwert θ eine Funktion der Realisation der Stichprobe. F¨ ur einen realisierten Stichprobenvektor x = (x1 , . . . , xn ) kann f (x; θ) nun umgekehrt als Funktion von θ aufgefaßt werden. Sie wird dann als Likelihood bzw. Likelihoodfunktion bezeichnet. Die Likelihoodfunktion von θ nach Beobachtung der Stichprobe x = (x1 , . . . , xn ) ist gegeben durch L(θ) = L(θ; x) =
n &
f (xi ; θ).
(6.4)
i=1
Durch Logarithmieren erh¨ alt man die Loglikelihoodfunktion l(θ) = ln L(θ) =
n
ln f (xi ; θ) ,
(6.5)
i=1
die mathematisch einfacher zu handhaben ist. Im mehrparametrigen Fall ist die Likelihoodfunktion bzw. Loglikelihoodfunktion eine Funktion des Parametervektors θ. Als Sch¨ atzung des Parameters θ wird derjenige Wert θˆ gew¨ahlt, f¨ ur den die Likelihoodfunktion auf Grund der beobachteten Stichprobe x = (x1 , . . . , xn ) am gr¨ oßten ist. Definition 6.3.1. Die Sch¨atzung θˆ = T (x) heißt Maximum-LikelihoodSch¨ atzung f¨ ur θ, wenn f¨ ur alle θ ∈ Θ bzw. gilt.
ˆ x) ≥ L(θ; x) L(θ;
(6.6)
ˆ x) ≥ l(θ; x) l(θ;
(6.7)
Beide Bedingungen sind gleichwertig, da die Logarithmierung eine streng monotone Transformation ist. Unter gewissen Voraussetzungen, die hier nicht n¨aher er¨ortert werden k¨ onnen (vgl. z.B. R¨ uger, 1996), gilt f¨ ur die ML-Sch¨atzung TML (X):
114
1. 2. 3. 4.
6. Sch¨ atzung von Parametern
Die Die Die Die
ML-Sch¨ atzung ML-Sch¨ atzung ML-Sch¨ atzung ML-Sch¨ atzung
ist ist ist ist
asymptotisch erwartungstreu. konsistent. asymptotisch normalverteilt. asymptotisch effizient.
Zur praktischen Gewinnung der ML-Sch¨ atzung muß die Maximierung der Likelihoodfunktion bzw. der Loglikelihoodfunktion durchgef¨ uhrt werden. 6.3.2 Herleitung der ML-Sch¨ atzungen f¨ ur die Parameter der Normalverteilung Die Zufallsvariable X sei normalverteilt N (μ; σ 2 ). Die Realisation (x1 , . . . , xn ) einer i.i.d. Stichprobe der Zufallsvariable X besitzt die Likelihoodfunktion n2 n 1 1 2 L(μ, σ ; x1 , . . . , xn ) = (xi − μ)2 ). (6.8) exp(− 2πσ 2 2σ 2 i=1 Die Loglikelihoodfunktion lautet damit l(μ, σ2 ) = −
n n n 1 (xi − μ)2 . ln 2π − ln σ 2 − 2 2 2 2σ i=1
(6.9)
1. Fall: μ unbekannt, σ 2 =σ02 bekannt Gesucht ist die ML-Sch¨ atzung f¨ ur den unbekannten Parameter μ bei bekannter Varianz σ02 . Im ersten Schritt wird (6.9) nach μ differenziert: n d n 1 x − μ) . l(μ, σ02 ) = 2 (xi − μ) = 2 (¯ dμ σ0 i=1 σ0
(6.10)
Durch Nullsetzen der ersten Ableitung erh¨ alt man: d l(μ, σ02 ) = 0 dμ
⇔
μ ˆ = x¯ .
(6.11)
Um festzustellen, ob es sich um ein Maximum handelt, muß das Vorzeichen der zweiten Ableitung an der Stelle μ = x¯ u uft werden: ¨ berpr¨ ' ' d2 n l(μ, σ02 )'' = − 2 < 0. (6.12) 2 (dμ) σ0 µ=¯ x
Damit lautet die ML-Sch¨ atzung f¨ ur μ
¯ TML (X) = X. Sie ist erwartungstreu: n
¯ = E(X)
1 E(Xi ) = μ . n i=1
6.3 Maximum-Likelihood-Sch¨ atzung
115
2. Fall: σ 2 unbekannt, μ = μ0 bekannt Gesucht ist die ML-Sch¨ atzung f¨ ur den unbekannten Parameter σ 2 bei bekanntem Erwartungswert μ0 . Im ersten Schritt wird (6.9) nach σ 2 differenziert: n d n 1 2 (xi − μ0 )2 . l(μ , σ ) = − + 0 dσ 2 2σ 2 2σ 4 i=1
(6.13)
Durch Nullsetzen der ersten Ableitung erh¨ alt man: d l(μ0 , σ 2 ) = 0 dσ 2
n
σ ˆ2 =
⇔
1 (xi − μ0 )2 . n i=1
(6.14)
Die Pr¨ ufung des Vorzeichens der zweiten Ableitung an der Stelle σ 2 = σ ˆ2 zeigt, dass es sich um ein Maximum handelt: n d2 n 2 2 (xi − μ0 )2 l(μ , σ ) = − 0 (dσ 2 )2 2(σ 2 )2 2(σ 2 )3 i=1 ' ' n 1 d2 2 ' l(μ , σ ) − 2 3 nˆ σ2 0 ' 2 2 = 2(ˆ 2 2 2 )2 (d σ ) σ (ˆ σ ) σ =ˆ σ n n − 2 2 = 2(ˆ σ 2 )2 (ˆ σ ) n =− < 0. 2(ˆ σ 2 )2
(6.15)
Damit lautet die ML-Sch¨ atzung f¨ ur σ 2 n
TML (X) =
1 (Xi − μ0 )2 , n i=1
die in diesem Fall (μ = μ0 bekannt) erwartungstreu ist. 3. Fall: μ unbekannt, σ 2 unbekannt Dies ist der f¨ ur die Praxis wesentliche – weil realistische – Fall, da er keine Vorkenntnis von μ = μ0 oder σ 2 = σ02 voraussetzt. ist die ML-Sch¨ atzung f¨ ur den unbekannten Parametervektor θ = Gesucht μ . Im ersten Schritt wird (6.9) partiell nach μ bzw. σ 2 differenziert: σ2 n 1 ∂ n l(θ) = 2 (xi − μ) = 2 (¯ x − μ) ∂μ σ i=1 σ
n ∂ n 1 (xi − μ)2 . l(θ) = − + ∂σ 2 2σ 2 2σ 4 i=1
116
6. Sch¨ atzung von Parametern
Durch Nullsetzen der ersten Ableitungen erh¨ alt man: n (¯ x − μ) = 0 σ2 n n 1 (xi − μ ˆ)2 = 0 − 4 2 2σ 2σ i=1
⇔
μ ˆ=x ¯
⇔
σ ˆ2 =
n
1 (xi − x ¯)2 . n i=1
¨ Nach Uberpr¨ ufung der Definitheit der Matrix der partiellen zweiten Ableiμ tungen ergibt sich als ML-Sch¨ atzung f¨ ur θ = σ2 ¯ X TML (X) = 1 n ¯ 2 . i=1 (Xi − X) n
¯ ist erwartungstreu und eine effiziente Sch¨atzung f¨ Anmerkung. X ur μ. F¨ ur 2 σ ˆ erhalten wir n−1 2 σ , E(ˆ σ2 ) = n
d.h., σ ˆ 2 ist nicht erwartungstreu, jedoch asymptotisch erwartungstreu. Durch n erh¨ alt man die erwartungstreue Sch¨atzfunkKorrektur mit dem Faktor n−1 tion (Stichprobenvarianz) n
2 = SX
1 ¯ 2, (Xi − X) n − 1 i=1
¯ und S 2 von der man zeigen kann, dass sie effizient ist. Außerdem sind X X unabh¨ angig. Beispiel 6.3.1. Eine Maschine bef¨ ullt Dosen mit einem bestimmten Produkt. Das F¨ ullgewicht X sei eine normalverteilte Zufallsvariable X ∼ N (μ, σ2 ), deren Parameter μ und σ 2 durch x¯ und s2 gesch¨atzt werden sollen. Aus den bef¨ ullten Dosen wurde eine Stichprobe vom Umfang n = 50 gezogen (Tabelle 6.1). Wir erhalten x ¯=
1 (991 + 1011 + . . . + 1002 + 984) = 998.90 50
als gesch¨ atztes mittleres F¨ ullgewicht. Die Stichprobenvarianz als Sch¨atzung der Varianz σ 2 der Verteilung betr¨ agt ) 1 ( (991 − 998.9)2 + (1011 − 998.9)2 + . . . + (984 − 998.9)2 50 − 1 = 79.23 .
s2 =
Mit SPSS erhalten wir die Ausgabe in Abbildung 6.1.
6.4 Konfidenzsch¨ atzungen von Parametern
117
Tabelle 6.1. F¨ ullgewichte xi der Dosen (in Gramm) xi 991 1011 1001 995 1001
1000 1000 1011 990 1005
993 990 994 981 1001
996 1000 1007 999 993
1007 1004 993 992 991
999 989 1001 1020 996
994 1002 1000 998 1017
1003 1008 989 1010 1008
989 1007 1016 1007 991
999 980 990 1002 984
Descriptive Statistics
N X Valid N (listwise)
50
Mean 998,9000
Std. Deviation 8,9014
Variance 79,235
50
Abb. 6.1. SPSS-Output zu Beispiel 6.3.1
6.4 Konfidenzsch¨ atzungen von Parametern 6.4.1 Grundlagen Eine Punktsch¨ atzung hat den Nachteil, dass kein Hinweis auf die Genauigkeit dieser Sch¨ atzung gegeben wird. Die Abweichung zwischen Punktsch¨atzung und wahrem Parameter (z.B. |¯ x − μ|) kann erheblich sein, insbesondere bei kleinem Stichprobenumfang. Aussagen u ¨ ber die Genauigkeit einer Sch¨atzung liefert die Konfidenzmethode. Bei ihr wird f¨ ur den unbekannten Parameter ein Zufallsintervall mit den Grenzen Iu (X) und Io (X) bestimmt, das den unbekannten Parameter θ (z.B. den Erwartungswert μ) mit vorgegebener Wahrscheinlichkeit von mindestens 1 − α u ¨berdeckt: Pθ (Iu (X) ≤ θ ≤ Io (X)) ≥ 1 − α .
(6.16)
Die Wahrscheinlichkeit 1 − α heißt Konfidenzniveau, Iu (X) heißt untere und Io (X) obere Konfidenzgrenze. Wir wollen noch einmal darauf hinweisen, dass die Intervallgrenzen Iu (X) und Io (X) als Funktionen der Stichproben Zufallsgr¨oßen sind. Damit kann ein Konfidenzintervall den Parameter θ u ¨ berdecken oder auch nicht u ¨ berdecken. Die Intervalle werden gerade so konstruiert, dass die Wahrscheinlichkeit f¨ ur ¨ die Uberdeckung des unbekannten Parameters mindestens (1 − α) betr¨agt. α dr¨ uckt das Risiko f¨ ur eine falsche Aussage (Nicht¨ uberdeckung) aus, das bei der Angabe eines Konfidenzintervalls f¨ ur θ eingegangen wird. Dieses Risiko muß vorher festgelegt werden. H¨aufigkeitsinterpretation: Wenn N unabh¨ angige Stichproben X(j) aus derselben Grundgesamtheit gezogen werden und dann jeweils Konfidenzintervalle
118
6. Sch¨ atzung von Parametern
der Form [Iu (X(j) ), Io (X(j) )] berechnet werden, so u ¨ berdecken bei hinreichend großem N etwa N (1 − α) aller Intervalle (6.16) das unbekannte, wahre θ. Anmerkung. Analog zur Theorie der Punktsch¨atzung k¨onnen auch bei Konfidenzsch¨ atzungen G¨ utekriterien angegeben werden. Wir verweisen hierzu auf die entsprechende Spezialliteratur. 6.4.2 Konfidenzsch¨ atzung der Parameter einer Normalverteilung Konfidenzsch¨ atzung f¨ ur μ (σ 2 = σ02 bekannt) 2 Gegeben sei eine i.i.d. Stichprobe der N (μ, σ )-verteilten Zufallsvariablen X. n 1 ¯ ur μ und konstruieren Wir verwenden die Punktsch¨ atzung X = n i=1 Xi f¨ ein Konfidenzintervall, das symmetrisch um μ liegen soll. Die Punktsch¨atzung √ ¯ ¯ besitzt unter H0 eine N (μ, σ2 /n)-Verteilung. Damit ist X−µ n ∼ N (0, 1), X 0 σ0 und es gilt ' ' ¯ 'X − μ√ ' ' ' α n' ≤ z1− 2 = 1 − α . Pµ ' σ0
(z1−α/2 bezeichnet das (1 − α/2)-Quantil der N (0, 1)-Verteilung.) Wir l¨osen diese Ungleichung nach μ auf und erhalten das gesuchte Konfidenzintervall f¨ ur μ dann als σ0 ¯ σ0 ¯ − z1−α/2 √ , X + z1−α/2 √ . [Iu (X), Io (X)] = X (6.17) n n ¯ eingesetzt. Die L¨ange In der Anwendung wird der realisierte Wert x¯ von X des Konfidenzintervalls σ0 (6.18) L = 2z1−α/2 √ n
ist von α und n abh¨ angig. Sind α und n konstant, so haben Konfidenzintervalle aus verschiedenen Stichproben (mit gleichem Umfang n) dieselbe L¨ange, jedoch eine unterschiedliche Lage. Wird α konstant gehalten, so kann die L¨ ange L des Intervalls durch Erh¨ ohung des Stichprobenumfangs n verkleinert, die Genauigkeit der Sch¨ atzung also erh¨ oht werden. Wird die Genauigkeit durch die Intervall¨ ange L vorgegeben, so l¨asst sich leicht der f¨ ur diese Genauigkeit notwendige Mindeststichprobenumfang bestimmen. Wir l¨osen Gleichung (6.18) nach n auf und w¨ahlen das kleinste ganzzahlige n, f¨ ur das 2z1−α/2 σ0 2 (6.19) n≥ L gilt.
6.4 Konfidenzsch¨ atzungen von Parametern
119
Beispiel 6.4.1. Eine Maschine produziert Werkst¨ ucke. Die L¨ange X (in mm) dieser Werkst¨ ucke sei eine normalverteilte Zufallsvariable mit bekannter Vaucken sei eine mittlere rianz σ02 = 0.52 . In einer Stichprobe von n = 25 Werkst¨ L¨ ange (Stichprobenmittel) von x¯ = 50.1 mm ermittelt worden. Wir berechnen ein Konfidenzintervall zum Niveau 1 − α = 0.95 f¨ ur den Erwartungswert μ von X. Nach (6.17) erhalten wir das gesuchte Intervall: 0.5 0.5 [50.1 − 1.96 √ , 50.1 + 1.96 √ ] 25 25 (f¨ ur α = 0.05 hat z1−α/2 den Wert 1.96). Die Intervallgrenzen sind also Iu (x) = 49.904 und Io (x) = 50.296 . σ0 Das Konfidenzintervall hat die L¨ ange L = 2z1−α/2 √ = 2·1.96·0.5/5 = 0.392. n Wird f¨ ur das Intervall eine Maximall¨ ange von z.B. Lmax = 0.20 gefordert, also eine h¨ ohere Genauigkeit der Sch¨ atzung verlangt, so ist daf¨ ur nach (6.19) ein Stichprobenumfang von mindestens 97 zu sichern: 2 2 · 1.96 · 0.5 = 96.04 . n≥ 0.20
Konfidenzsch¨ atzung f¨ ur μ (σ 2 unbekannt) Wenn die Varianz σ 2 unbekannt ist, sch¨ atzen wir sie durch die Stichprobenvarianz (vgl. (4.24)) n
2 SX =
2 1 ¯ 2 ∼ σ χ2 . (Xi − X) n − 1 i=1 n − 1 n−1
¯ und S 2 unabh¨ Da X angig sind, ist X
¯ − μ√ X n ∼ tn−1 SX t-verteilt mit n − 1 Freiheitsgraden (vgl. (4.26)). Damit gilt SX SX ¯ − tn−1;1−α/2 · √ ¯ + tn−1;1−α/2 · √ ≤μ≤X ) = 1 − α, P(µ,σ2 ) (X n n wobei tn−1;1−α/2 das (1 − α/2)-Quantil der t-Verteilung mit n − 1 Freiheitsgraden ist. Hieraus folgt das Konfidenzintervall f¨ ur μ SX SX ¯ ¯ [Iu (X), Io (X)] = X − tn−1;1−α/2 · √ , X + tn−1;1−α/2 · √ . (6.20) n n F¨ ur gleiches α und gleichen Stichprobenumfang n ist das Intervall (6.20) im allgemeinen breiter als das Intervall (6.17), da der unbekannte Parameter 2 σ 2 durch SX gesch¨ atzt werden muß, was zus¨atzliche Unsicherheit hereinbringt.
120
6. Sch¨ atzung von Parametern
Beispiel 6.4.2 (Fortsetzung von Beispiel 6.3.1). Zum Niveau 0.95 ergibt sich mit den Punktsch¨ atzungen x ¯ = 998.90 und s2 = 79.23 und t49;1−0.05/2 = 2.01 folgendes Konfidenzintervall f¨ ur den Parameter μ der Zufallsvariablen F¨ ullgewicht der Dosen“: ” √ √ 79.23 79.23 , 998.90 + 2.01 √ 998.90 − 2.01 √ 50 50 also [996.37, 1001.43].
Descriptives
X
Mean 95% Confidence Interval for Mean
Statistic 998,9000 Lower Bound Upper Bound
Std. Error 1,2588
996,3703 1001,4297
5% Trimmed Mean 998,8222 Median Variance Std. Deviation Minimum Maximum Range Interquartile Range Skewness Kurtosis
999,5000 79,235 8,9014 980,00 1020,00 40,00 13,7500 ,175 -,147
,337 ,662
Abb. 6.2. SPSS-Output zu Beispiel 6.4.2
Mit SPSS erhalten wir die Ausgabe wie in Abbildung 6.2 angegeben, mit x¯: Mean 998.9000; s2 : Variance 79.2347 und dem Konfidenzintervall zum Niveau 0.95: 95\% CI for Mean (996.3703, 1001.4297). Konfidenzsch¨ atzung f¨ ur die Varianz σ 2 (μ unbekannt) F¨ ur das unbekannte σ 2 wird zun¨ achst die Punktsch¨atzung
6.4 Konfidenzsch¨ atzungen von Parametern
121
n
2 SX =
1 ¯ 2 (Xi − X) n − 1 i=1
bestimmt. Da die Zufallsvariable C=
n 2 1 (n − 1)SX ¯ 2 (Xi − X) = σ2 σ 2 i=1
eine χ2 -Verteilung mit (n − 1) Freiheitsgraden besitzt, werden wir das Konfidenzintervall f¨ ur σ 2 wie folgt bestimmen k¨onnen. Zun¨achst lesen wir zu vorgegebenem α aus Tabelle B.3 Werte c1 und c2 derart ab, dass 2 (n − 1)SX α P < c1 = σ2 2 und P
2 (n − 1)SX > c2 2 σ
=
α 2
gilt (Abbildung 6.3), d.h., insgesamt gilt 2 (n − 1)SX P c1 ≤ ≤ c = 1 − α. 2 σ2
(6.21)
x cn−1;α/2
cn−1;1−α/2 Abb. 6.3. Quantile gem¨ aß Gleichung (6.21)
In unserer u ¨blichen Schreibweise sind c1 und c2 Quantile der χ2n−1 Verteilung: c1 = cn−1;α/2 und c2 = cn−1;1−α/2 . Damit hat das Konfidenzintervall f¨ ur die Varianz σ 2 zum Niveau 1 − α die Gestalt n−1 n−1 2 2 S , S . (6.22) cn−1;1−α/2 X cn−1;α/2 X
122
6. Sch¨ atzung von Parametern
Jede konkrete Stichprobe liefert also eine Realisierung des Zufallsintervalls (6.22), so dass die Konfidenzsch¨ atzung von σ 2 in der Realisierung die Gestalt hat n n ¯)2 ¯)2 i=1 (xi − x i=1 (xi − x . (6.23) , cn−1;1−α/2 cn−1;α/2 Beispiel 6.4.3 (Fortsetzung von Beispiel 6.3.1). F¨ ur die Varianz der Grundgesamtheit wurde aus der Stichprobe aus Beispiel 6.3.1 ein Sch¨atzwert 50 1 ¯)2 = 79.23 berechnet (vgl. SPSS-Listing in Beispiel 6.4.2). s2 = 49 i=1 (xi − x Also ist (n − 1)s2 = 49 · 79.23 = 3882.27. Zum Konfidenzniveau 1 − α = 0.95 wird c49;0.975 = 70.19 und c49;0.025 = 31.60. Diese Werte werden durch lineare Interpolation u ur ¨ ber die Freiheitsgrade aus Tabelle B.3 bestimmt; z.B. gilt f¨ den ersten Wert 40 Freiheitsgrade, c40;0.975 = 59.30 50 Freiheitsgrade, c50;0.975 = 71.40 ·9 = 70.19. Damit k¨onnen wir Formel (6.23) also c49;0.975 = 59.30+ 71.40−59.30 10 zur Berechnung des Konfidenzintervalls f¨ ur σ 2 anwenden: 3882.27 3882.27 , = [55.31, 122.86] . 70.19 31.60
6.5 Sch¨ atzen einer Binomialwahrscheinlichkeit Wir betrachten ein Zufallsexperiment mit zwei m¨oglichen Ausg¨angen: Ereig¯ Die Wahrscheinlichkeit f¨ nisse A und A. ur das Eintreten von A sei p, die Wahrscheinlichkeit f¨ ur A¯ ist dann 1 − p. Die Wahrscheinlichkeit p ist unbekannt und soll aus einer Stichprobe gesch¨ atzt werden. Ordnen wir wieder dem Ereignis A den Wert 1 und dem Ereignis A¯ den Wert 0 zu. Bei n-facher Wiederholung dieses Experiments ist die Anzahl der Versuche mit eingetretenem Ereignis A eine Zufallsvariable X, die die Werte 0, 1, . . . , n annehmen kann. X ist binomialverteilt: X ∼ B(n; p). Als Punktsch¨ atzung der unbekannten Wahrscheinlichkeit p w¨ahlen wir den ML–Sch¨ atzer (vgl. Aufgabe 6.4) X . n Da X die Varianz np(1 − p) besitzt, lautet die Varianz der Sch¨atzung pˆ pˆ =
Var(ˆ p) = die durch Sp2ˆ = gesch¨ atzt wird.
p(1 − p) , n
pˆ(1 − pˆ) n
6.5 Sch¨ atzen einer Binomialwahrscheinlichkeit
123
Beispiel 6.5.1. Aus der Kundendatei eines Versandhauses werden zuf¨allig n = 100 Kunden (Ziehen mit Zur¨ ucklegen) gezogen. Bei jedem Kunden wird notiert, ob er in den letzten zw¨ olf Monaten etwas bestellt hat (Ereignis A) ¯ Es sei 40-mal A und 60-mal A¯ beobachtet worden. oder nichts bestellt hat (A). Die Wahrscheinlichkeit p, dass ein zuf¨ allig gezogener Kunde in den letzten zw¨ olf Monaten etwas bestellt hat, wird gesch¨ atzt als 40 = 0.4 pˆ = 100 mit einer gesch¨ atzten Varianz von 0.4 · 0.6 s2pˆ = = 0.0024. 100
Konfidenzsch¨ atzung f¨ ur p H¨ aufig ist man daran interessiert, ein Konfidenzintervall f¨ ur die unbekannte Wahrscheinlichkeit p zu konstruieren, das p mit vorgegebener Wahrscheinlichkeit 1 − α u ¨ berdeckt. Man kann exakte Konfidenzintervalle mit Hilfe der Tafeln der Binomialverteilung bestimmen (vgl. Vogel, 1995, Anhang 12). Ist die Bedingung np(1 − p) ≥ 9 erf¨ ullt, so kann man die N¨aherung (vgl. (5.12)) verwenden, die die Binomialverteilung durch die Normalverteilung approximiert: pˆ − p approx. Z= ∼ N (0, 1) , pˆ(1 − pˆ)/n also gilt % $ * * pˆ(1 − pˆ) pˆ(1 − pˆ) ≈ 1 − α , (6.24) ≤ p ≤ pˆ + z1−α/2 P pˆ − z1−α/2 n n und wir erhalten das Konfidenzintervall f¨ ur p * * pˆ(1 − pˆ) pˆ(1 − pˆ) pˆ − z1−α/2 , pˆ + z1−α/2 n n
.
Beispiel 6.5.2 (Fortsetzung von Beispiel 6.5.1). Die Sch¨atzung des Konfidenzintervalls f¨ ur die Wahrscheinlichkeit p zum Niveau 1 − α = 0.95 wird mit der obigen N¨ aherung wie folgt berechnet. Mit nˆ p(1− pˆ) = 100·0.4·0.6 = 24 > 9 ist die notwendige Voraussetzung f¨ ur die Verwendung der Normalapproximation erf¨ ullt. Wir erhalten mit z1−α/2 = z0.975 = 1.96 und pˆ = 0.4 * * 0.4 · 0.6 0.4 · 0.6 0.4 − 1.96 = [0.304, 0.496] , 0.4 + 1.96 100 100 als Konfidenzintervall f¨ ur das unbekannte p. Mit SPSS erhalten wir (ebenfalls unter Verwendung der Normalapproximation) die Ausgabe in Abbildung 6.4.
124
6. Sch¨ atzung von Parametern
Descriptives
X
Mean 95% Confidence Interval for Mean
Statistic ,4000 Lower Bound Upper Bound
Std. Error 4,924E-02
,3023 ,4977
5% Trimmed Mean ,3889 Median Variance Std. Deviation Minimum Maximum Range Interquartile Range Skewness Kurtosis
,0000 ,242 ,4924 ,00 1,00 1,00 1,0000 ,414 -1,866
Abb. 6.4. SPSS-Output zu Beispiel 6.5.2
,241 ,478
6.6 Aufgaben und Kontrollfragen
125
6.6 Aufgaben und Kontrollfragen Aufgabe 6.1: Sei T (X) eine Sch¨ atzfunktion f¨ ur einen unbekannten Parameter θ. a) Wann ist T (X) erwartungstreu? b) Wie lautet der MSE f¨ ur erwartungstreue Sch¨atzfunktionen? c) Wann ist eine Sch¨ atzfolge konsistent f¨ ur θ? Aufgabe 6.2: Gegeben seien zwei Sch¨ atzungen T1 (X) und T2 (X) von θ. Wann heißt T1 (X) MSE-besser als T2 (X)? Aufgabe 6.3: Sei X ∼ N (μ, σ2 ) und x = (x1 , . . . , xn ) eine konkrete Stichprobe. Wie lautet a) die Punktsch¨ atzung f¨ ur μ (σ 2 unbekannt)? b) die Punktsch¨ atzung f¨ ur σ 2 (μ unbekannt)? c) die Konfidenzsch¨ atzung f¨ ur μ bei bekanntem bzw. bei unbekanntem σ 2 ? Aufgabe 6.4: Sei X ∼ B(n; p) eine binomialverteilte Zufallsvariable. Leiten Sie die ML–Sch¨ atzung f¨ ur p her. Aufgabe 6.5: Sei X1 , . . . , Xn eine i.i.d. Stichprobe einer auf dem Intervall [0, b] gleichverteilten Zufallsvariablen X. Bestimmen Sie die ML-Sch¨atzung f¨ ur E(X) = b/2. Aufgabe 6.6: Gegeben sei eine i.i.d. Stichprobe einer P o(λ)-verteilten Zufalls¯ der ML-Sch¨ variablen X. Zeigen Sie, dass X atzer f¨ ur E(X) ist. Aufgabe 6.7: Es soll der Mittelwert μ = E(X) des normalverteilten Kopfumfangs X (in cm) bei M¨ adchengeburten gesch¨atzt werden. Dazu werden in einer Frauenklinik n Kopfumf¨ ange gemessen; es kann davon ausgegangen werden, dass es sich dabei um eine unabh¨ angige Stichprobe von X handelt. Bestimmen Sie f¨ ur folgende Situationen ein Konfidenzintervall f¨ ur μ zum Konfidenzniveau 0.99: ¯ = 42 a) n = 100; σ 2 = 16; x b) n = 30; x ¯ = 42; s2 = 14 c) Wie groß m¨ ußte der Stichprobenumfang in Teilaufgabe (a) gew¨ahlt werden, um eine Genauigkeit von 0.999 zu erreichen (z0 .9995 = 3.29)? Aufgabe 6.8: Mittels eines neuartigen Verfahrens soll die Einschaltquote bei ausgew¨ ahlten Fernsehsendungen gesch¨ atzt werden. Zu diesem Zweck werden durch reine Zufallsauswahl 2500 Haushalte bestimmt, wobei in jedem Haushalt ein Ger¨ at installiert wird, das einer Zentralstelle anzeigt, wann der Fernsehapparat eingeschaltet ist. Wie groß ist die Genauigkeit, mit der die Einschaltquoten gesch¨atzt werden k¨ onnen, wenn ein Konfidenzniveau von 0.95 f¨ ur die Sch¨atzung eingehalten werden soll?
126
6. Sch¨ atzung von Parametern
Aufgabe 6.9: Unter 3000 Neugeborenen wurden 1428 M¨adchen gez¨ahlt. Bestimmen Sie daraus ein Konfidenzintervall f¨ ur die Wahrscheinlichkeit p einer M¨ adchengeburt zum Konfidenzniveau 0.98. Aufgabe 6.10: Eine Maschine f¨ ullt Gummib¨ archen in T¨ uten ab, die laut Aufdruck 250g F¨ ullgewicht versprechen. Wir nehmen im Folgenden an, dass das F¨ ullgewicht normalverteilt ist. Bei 16 zuf¨allig aus der Produktion herausgegriffenen T¨ uten wird ein mittleres F¨ ullgewicht von 245g und eine Stichproben–Standardabweichung von 10g festgestellt. a) Berechnen Sie ein Konfidenzintervall f¨ ur das mittlere F¨ ullgewicht zum Konfidenzniveau von 95%. b) Wenn Ihnen zus¨ atzlich bekannt w¨ are, dass die Stichprobenstreuung gleich der tats¨ achlichen Streuung ist, w¨ are dann das unter a) zu berechnende Konfidenzintervall f¨ ur das mittlere F¨ ullgewicht breiter oder schmaler? Begr¨ unden Sie Ihre Antwort ohne Rechnung.
7. Pru ¨fen statistischer Hypothesen
7.1 Einleitung Im vorausgegangenen Kapitel haben wir Sch¨ atzungen f¨ ur unbekannte Parameter von Verteilungen zuf¨ alliger Variablen hergeleitet. Wir betrachten nun Annahmen (Hypothesen) u ¨ ber die nicht vollst¨andig bekannte Wahrscheinlichkeitsverteilung einer Zufallsvariablen. Diese Hypothesen betreffen die Parameter der Verteilung. Sie werden anhand von Stichproben u uft. ¨ berpr¨ Beispiel. Ein Werk produziert Waschpulver der Sorte 1kg Reinweiß“. Die ” Zufallsvariable X F¨ ullgewicht eines Pakets“ (Maßeinheit Gramm) sei nor” malverteilt mit bekannter Standardabweichung σ = 15, d. h. X ∼ N (μ, 152 ). Bei einer Qualit¨ atskontrolle soll durch eine Stichprobe die Einhaltung des Sollgewichts μ = 1000 Gramm u uft werden. ¨berpr¨ Die Pr¨ ufung einer statistischen Hypothese H0 erfolgt mit statistischen Tests. Ausgangspunkt ist die Beobachtung einer Zufallsvariablen in einer zuf¨ alligen Stichprobe. Mittels der daraus gewonnenen Sch¨atzungen der unbekannten Parameter will man zu einer Aussage u urdigkeit der ¨ ber die Glaubw¨ Hypothese H0 gelangen.
7.2 Testtheorie Der statistische Test stellt eine Methode dar, Verteilungsannahmen u ¨ ber eine Zufallsvariable X anhand einer konkreten Stichprobe zu u ufen. Die ¨berpr¨ Menge aller f¨ ur die Zufallsvariable X in Frage kommenden Verteilungen wird als Hypothesenraum Ω bezeichnet. Diese Menge ist vor der Durchf¨ uhrung eines Tests festzulegen. Betrachtet man einen Hypothesenraum Ω, der nur Verteilungen einer Familie (z. B. Normalverteilungen) enth¨ alt, so ist die Festlegung von Ω ¨aquivalent zur Festlegung des Parameterraums Θ, der alle m¨oglichen Werte eines Verteilungsparameters θ ∈ Θ bzw. Parametervektors θ ∈ Θ enth¨alt (z. B. θ = μ mit Θ = R; θ = σµ2 mit Θ = R × R+ ). In diesem Fall spricht man von einem parametrischen Testproblem.
128
7. Pr¨ ufen statistischer Hypothesen
Dieses Kapitel befaßt sich mit parametrischen Testproblemen. Nichtparametrische Testprobleme werden in Kapitel 8 behandelt. Bei einem parametrischen Testproblem wird der Hypothesenraum (Parameterraum) in zwei Teilmengen aufgeteilt: die zu testende Hypothese (Nullhypothese) H0 = {θ|θ ∈ Θ0 } und die Alternative H1 = {θ|θ ∈ Θ1 }. Hierbei gilt stets Θ0 ∩ Θ1 = ∅ und (bei einem Signifikanztest) Θ0 ∪ Θ1 = Θ . Ein Test heißt Signifikanztest, wenn die Hypothese direkt an die Alternative grenzt“, d. h., wenn die minimale Distanz zwischen der Hypothese und der ” Alternative gleich Null ist (z. B. H0 : μ = μ0 gegen H1 : μ = μ0 oder H0 : σ 2 = σ02 gegen H1 : σ 2 = σ02 ). Ist der Abstand zwischen Hypothese und Alternative nicht Null, spricht man von einem Alternativtest (z. B. H0 : μ = 4 gegen H1 : μ = 5 oder H0 : σ 2 = σ02 gegen H1 : σ 2 = σ12 mit σ02 = σ12 ). Wir behandeln hier nur Signifikanztests. Die Hypothese ist die Menge der Verteilungen, die die unbekannte Ver¨ teilung der Zufallsgr¨ oße X aufgrund von sachlichen Uberlegungen enthalten soll. Mit Hilfe einer Realisation (x1 , . . . , xn ) der Zufallsvariablen X aus einer i.i.d. Stichprobe soll eine der folgenden beiden Entscheidungen getroffen werden: • H0 wird abgelehnt, • H0 wird beibehalten. Die Funktion T (X) = T (X1 , . . . , Xn ) der Stichprobenvariablen X = (X1 , . . . , Xn ) heißt Testgr¨ oße oder Pr¨ ufgr¨ oße. T (X) ist eine Zufallsvariable, deren Verteilung u ¨ ber die Stichprobenvariablen (X1 , . . . , Xn ) von der Verteilung von X abh¨ angt. F¨ ur die konkrete Stichprobe (x1 , . . . , xn ) ergibt sich t = T (x1 , . . . , xn ) als Realisation der Zufallsgr¨oße T (X). Der Wertebereich der Zufallsgr¨ oße T (X) wird in folgende zwei Teilbereiche zerlegt: • kritischer Bereich oder Ablehnbereich K ¯ • Annahmebereich K. Aufgrund der Realisation (x1 , . . . , xn ) wird dann folgende Testentscheidung getroffen: • H0 ablehnen, falls T (x1 , . . . , xn ) ∈ K, ¯ • H0 nicht ablehnen, falls T (x1 , . . . , xn ) ∈ K. Bei einem Signifikanztest enth¨ alt die erste Testentscheidung H0 abzulehnen eine wesentlich sch¨ arfere Aussage als die zweite. Denn eine Stichprobe, die uhrt, spricht nicht unbedingt gegen die nicht zu einer Ablehnung von H0 f¨ Alternative, da Elemente der Alternative beliebig nahe bei Elementen der ”
7.2 Testtheorie
129
Hypothese liegen“. Eine Best¨ atigung der Hypothese H0 ist deshalb bei Signifikanztests nicht m¨ oglich. Will man eine Aussage best¨atigen, muß das Gegenteil dieser Aussage als Hypothese formuliert werden. Eine Ablehnung dieser Hypothese stellt dann die gew¨ unschte Best¨ atigung der Aussage dar. Bei der Durchf¨ uhrung eines statistischen Tests k¨onnen zwei Arten von Fehlern gemacht werden: • Die Hypothese H0 ist richtig und wird abgelehnt; diesen Fehler bezeichnet man als Fehler 1. Art. • Die Hypothese H0 wird nicht abgelehnt, obwohl sie falsch ist; dies ist der Fehler 2. Art. Insgesamt gibt es also folgende vier Situationen. H0 wird nicht abgelehnt H0 wird abgelehnt
H0 ist richtig richtige Entscheidung Fehler 1. Art
H0 ist nicht richtig Fehler 2. Art richtige Entscheidung
Bei der Konstruktion eines Tests gibt man sich f¨ ur die Wahrscheinlichkeit f¨ ur einen Fehler 1. Art eine Schranke α vor (z. B. α = 0.05), die nicht u ¨ berschritten werden darf. Diese Schranke bezeichnet man als Signifikanzniveau des Tests. Der zugeh¨ orige Test heißt dann Signifikanztest zum Niveau α oder kurz Niveau-α-Test. Der kritische Bereich K wird so konstruiert, dass die Wahrscheinlichkeit f¨ ur einen Fehler 1. Art nicht gr¨ oßer als α ist: Pθ (T (X) ∈ K) ≤ α
∀θ ∈ Θ0 .
Wird H0 abgelehnt, so gilt H1 als statistisch signifikant mit einer Irrtumswahrscheinlichkeit von h¨ ochstens α. Der Fehler 1. Art ist unter Kontrolle“. ” Ziel bei der Konstruktion eines Niveau-α-Tests ist, dass die Wahrscheinlichkeit f¨ ur einen Fehler 2. Art ¯ Pθ (T (X) ∈ K)
∀θ ∈ Θ1 ,
f¨ ur alle Verteilungen der Alternative m¨ oglichst klein ist. Die Funktion G(θ), die f¨ ur einen Test die Ablehnwahrscheinlichkeit in Abh¨ angigkeit vom Parameter θ angibt, heißt G¨ utefunktion des Tests: Gθ (θ) = P (T (X) ∈ K) . In der Qualit¨ atskontrolle wird statt der G¨ utefunktion die Operationscharakteristik (OC-Kurve) ¯ OC(θ) = 1 − G(θ) = Pθ (T (X) ∈ K) betrachtet. Sie gibt die Wahrscheinlichkeit f¨ ur die Nichtablehnung der Hypothese in Abh¨ angigkeit vom Parameter θ an.
130
7. Pr¨ ufen statistischer Hypothesen
Definition 7.2.1. Ein Test zum Signifikanzniveau α heißt gleichm¨ aßig bester Test unter allen Tests zum Niveau α, wenn er f¨ ur alle Parameterwerte ur den Fehler 2. Art beder Alternative H1 die kleinste Wahrscheinlichkeit f¨ sitzt. F¨ ur die G¨ utefunktion des gleichm¨aßig besten Tests ϕ∗ zum Niveau α gilt: Gϕ∗ (θ) ≥ Gϕ (θ) ∀θ ∈ Θ1 und ϕ ∈ Φα , wobei Φα die Klasse aller Niveau-α-Tests ist. Ein Test zum Niveau α heißt unverf¨ alscht, wenn G(θ) ≥ α
∀θ ∈ Θ1
gilt, d. h., wenn die Ablehnwahrscheinlichkeit f¨ ur alle Verteilungen der Alternative mindestens so groß ist wie f¨ ur alle Verteilungen der Hypothese. Unverf¨ alschte Tests gew¨ ahrleisten, dass unter H1 die Hypothese mit gr¨oßerer Wahrscheinlichkeit abgelehnt wird als unter H0 . Wir betrachten in diesem Kapitel nur unverf¨ alschte Tests. Die Unverf¨ alschtheit wird als Minimalforderung an einen Test angesehen. Die Suche nach gleichm¨aßig besten Tests wird auf diese Klasse beschr¨ ankt. Ein Test l¨ auft im allgemeinen nach folgendem Schema ab: 1. Das Vorwissen u ¨ ber die Zufallsvariable X wird durch Festlegung der Verteilungsannahme umgesetzt. Im parametrischen Fall bedeutet dies, dass der Parameterraum festgelegt wird. 2. Formulierung der Hypothese und der Alternative. 3. Vorgabe der Irrtumswahrscheinlichkeit α. 4. Konstruktion einer geeigneten Testgr¨ oße T (X) = T (X1 , . . . , Xn ) als Funktion der Stichprobenvariablen X, deren Verteilung unter der Nullhypothese vollst¨ andig bekannt sein muß. 5. Wahl des kritischen Bereichs K aus dem m¨oglichen Wertebereich von T (X) derart, dass Pθ (T (X) ∈ K) ≤ α f¨ ur alle θ ∈ Θ0 gilt. 6. Berechnung der Realisierung t = T (x1 , . . . , xn ) der Testgr¨oße T (X) anhand der konkreten Stichprobe (x1 , . . . , xn ). 7. Entscheidungsregel: Liegt der Wert t = T (x1 , . . . , xn ) f¨ ur die konkrete Stichprobe im kritischen Bereich K, so wird die Nullhypothese abgelehnt. Ist t nicht im kritischen Bereich, so wird die Nullhypothese nicht abgelehnt: t ∈ K : H0 ablehnen,
t ∈ K : H0 nicht ablehnen. Bei Hypothesen der Form H0 : θ = θ0 gegen H1 : θ = θ0 sprechen wir von alt alle von θ0 abweichenden Paramezweiseitiger Fragestellung (Θ1 enth¨ terwerte). Wir sprechen von einseitiger Fragestellung, wenn wir Hypothesen der Form H0 : θ ≥ θ0 gegen H1 : θ < θ0 bzw. H0 : θ ≤ θ0 gegen H1 : θ > θ0 testen.
7.3 Einstichprobenprobleme bei Normalverteilung
131
Beispiel. Wird bei Gl¨ uhbirnen gepr¨ uft, ob die mittlere Brenndauer μ einen Mindestsollwert erreicht, so bedeutet eine Unterschreitung des Sollwertes, ¨ dass die Gl¨ uhbirnen die geforderte Qualit¨ at nicht erreichen. Die Uberschreitung des Sollwertes dagegen hat keine negativen Folgen. Wir testen deshalb einseitig H0 : μ ≥ μ0 gegen H1 : μ < μ0 . Testentscheidung mit p–values Beim Einsatz von Statistiksoftware wie SPSS zum Pr¨ ufen von Hypothesen werden diese Schritte – insbesondere die Konstruktion des kritischen Bereichs K – nicht angezeigt. Statt dessen wird der konkrete Wert t = T (x1 , . . . , xn ) der Teststatistik T (X) und der zugeh¨ orige p-value (auch ‘significance’) ausgegeben. Der p-value der Teststatistik T (X) ist wie folgt definiert: zweiseitige Fragestellung: Pθ0 (|T (X)| > t)) = p–value einseitige Fragestellung: Pθ0 (T (X) > t)) = p–value bzw. Pθ0 (T (X) < t)) = p–value Die Testentscheidung lautet dann: H0 ablehnen, falls der p-value kleiner oder gleich dem vorgegebenem Signifikanzniveau α ist, ansonsten H0 nicht ablehnen. Ein- und Zweistichprobenprobleme Man spricht von einem Einstichprobenproblem, wenn Hypothesen u ¨ ber eine Zufallsvariable X und ihre Verteilung gepr¨ uft werden. Liegen dagegen zwei Zufallsvariablen X und Y vor, so spricht man von einem Zweistichprobenproblem, wenn die Hypothesen H0 und H1 beide Verteilungen betreffen. Seien z. B. X = (X1 , . . . , Xn1 ) und Y = (Y1 , . . . , Yn2 ) jeweils i.i.d. Stichproben von 2 unabh¨ angigen Zufallsvariablen X ∼ N (μX , σX ) und Y ∼ N (μY , σY2 ), so sind Hypothesen wie H0 : μX = μY gegen H1 : μX = μY von Interesse.
7.3 Einstichprobenprobleme bei Normalverteilung 7.3.1 Pr¨ ufen des Mittelwertes bei bekannter Varianz (einfacher Gauss-Test) Wir wollen im Folgenden pr¨ ufen, ob der unbekannte Erwartungswert μ einer N (μ, σ2 )-verteilten Zufallsvariablen X einen bestimmten Wert μ = μ0 besitzt bzw. u ¨ ber- oder unterschreitet. Dabei sei zun¨achst die Varianz σ 2 = σ02 bekannt. Der vorgegebene Wert μ0 kann beispielsweise ein Sollwert bei der Herstellung eines Produkts sein, u ¨ ber den gewisse Festlegungen oder Vermutungen vorliegen. Wir wollen diese Fragestellung ausf¨ uhrlich anhand des Testschemas demonstrieren. Die einzelnen Schritte des Testschemas sind:
132
7. Pr¨ ufen statistischer Hypothesen
1. Verteilungsannahme: Die Zufallsvariable X ist N (μ, σ02 )-verteilt mit bekannter Varianz σ02 . 2. Festlegen von H0 : F¨ ur die zweiseitige Fragestellung lautet die Nullhypour die einseitige Fragestellung lautet die Nullhypothese these H0 : μ = μ0 , f¨ H0 : μ ≤ μ0 oder H0 : μ ≥ μ0 , je nachdem welche Richtung von Interesse ist. 3. Vorgabe der Irrtumswahrscheinlichkeit α: In der Regel w¨ahlt man α = 0.05 oder α = 0.01. 4. Konstruktion der Testgr¨oße: Wir sch¨ atzen den unbekannten Erwartungswert durch das arithmetische Mittel der Stichprobenwerte (Stichprobenmittelwert) n 1 σ2 H ¯ X= Xi ∼0 N (μ0 , 0 ) n i=1 n und bilden durch Standardisierung daraus die unter H0 N (0, 1)-verteilte Pr¨ ufgr¨ oße ¯ − μ0 √ H0 X T (X) = n ∼ N (0, 1). σ0
5. Kritischer Bereich: Trifft bei zweiseitiger Fragestellung die Nullhypothese ¯ in der Realisierung H0 : μ = μ0 zu, so m¨ ußte auch das Stichprobenmittel X einen Wert nahe μ0 besitzen, d. h., die Realisierung t der Testgr¨oße T (X) m¨ ußte nahe Null liegen. Mit anderen Worten, der kritische Bereich K wird so gew¨ ahlt, dass er alle betragsm¨ aßig großen Werte von T (X) enth¨alt, wobei die Wahrscheinlichkeitsmasse von K unter H0 gerade α ist. Bei einseitiger Fragestellung H0 : E(X) ≤ μ0 (bzw. H0 : E(X) ≥ μ0 ) sind große Abweichungen nach oben (bzw. nach unten) in K zusammengefaßt. F¨ ur die zweiseitige Fragestellung ist der kritische Bereich also K = Θ\[−k, k], wobei k so bestimmt wird, dass der Fehler 1. Art gleich α ist, d. h. Pµ0 (|T (X)| > k) = α . Man erh¨ alt k = z1−α/2 , wobei z1−α/2 das (1 − α/2)-Quantil der N (0, 1)Verteilung ist. Die Werte hierzu findet man in Tabelle B.1. Es sind z. B. z1−0.05/2 = 1.96 oder z1−0.01/2 = 2.57. Wir erhalten den kritischen Bereich K als: K = (−∞, −z1−α/2 ) ∪ (z1−α/2 , ∞) . (7.1)
7.3 Einstichprobenprobleme bei Normalverteilung
133
Bei der einseitigen Fragestellung erhalten wir entsprechend im Fall H0 : μ ≤ μ0 gegen H1 : μ > μ0 den kritischen Bereich K = (z1−α , ∞) . Im umgekehrten Fall H0 : μ ≥ μ0 gegen H1 : μ < μ0 erhalten wir K = (−∞, −zα ) . Die Standardwerte f¨ ur die z–Quantile sind hierbei z1−0.05 = 1.64 und z0.05 = −1.64 = −z1−0.05 .
6. Realisierung der Testgr¨oße: Aus einer konkreten Stichprobe x1 , . . . , xn wird der Stichprobenmittelwert n
x ¯=
1 xi n i=1
und daraus die Realisierung t = T (x1 , . . . , xn ) der Testgr¨oße T (X) ermittelt t=
x ¯ − μ0 √ n. σ0
7. Testentscheidung: Bei der zweiseitigen Fragestellung wird die Nullhypothese abgelehnt, falls die Testgr¨ oße im kritischen Bereich liegt, d. h., falls |t| > z1−α/2 gilt. H0 wird nicht abgelehnt, falls umgekehrt |t| ≤ z1−α/2 gilt. Die Bereiche sind in Abbildung 7.1 dargestellt.
zα/2 = −z1−α/2
z1−α/2
Abb. 7.1. Kritischer Bereich f¨ ur den zweiseitigen einfachen Gauss-Test H0 : μ = μ0 gegen H1 : μ = μ0 . Der kritische Bereich K = (−∞, −z1−α/2 ) ∪ (z1−α/2 , ∞) besitzt unter H0 die durch die grauen Fl¨ achen dargestellte Wahrscheinlichkeitsmasse α.
Bei der einseitigen Fragestellung H0 : μ ≤ μ0 gegen H1 : μ > μ0 wird H0 genau dann abgelehnt, wenn t > z1−α gilt. Ist t > z1−α nicht erf¨ ullt, so wird H0 nicht abgelehnt (vgl. Abbildung 7.2). Bei der umgekehrt gerichteten einseitigen Fragestellung H0 : μ ≥ μ0 gegen H1 : μ < μ0 wird H0 genau dann abgelehnt, wenn t < zα = −z1−α gilt. Anderenfalls wird H0 nicht abgelehnt.
134
7. Pr¨ ufen statistischer Hypothesen
z1−α Abb. 7.2. Kritischer Bereich f¨ ur den einseitigen einfachen Gauss-Test H0 : μ ≤ μ0 gegen H1 : μ > μ0 . Der kritische Bereich K = (z1−α , ∞) besitzt unter H0 die durch die graue Fl¨ ache dargestellte Wahrscheinlichkeitsmasse α.
Beispiel 7.3.1. Die (in kg gemessene) Masse X von maschinell hergestellten Brotlaiben sei normalverteilt. Die Varianz σ02 = 0.12 sei aus Erfahrung bekannt. Das angegebene Verkaufsgewicht und damit die geforderte Mindestmasse sei μ = 2 kg. Liegt nun eine Stichprobe vom Umfang n = 20 Brotlaibe mit dem Stichprobenmittelwert x ¯ = 1.97 kg vor, so soll u uft werden, ob ¨ berpr¨ dieses Stichprobenergebnis gegen die Hypothese H0 : μ ≥ μ0 = 2 kg spricht. Wir geben eine Irrtumswahrscheinlichkeit von α = 0.05 vor. F¨ ur die einseitige Fragestellung H0 : μ ≥ 2
gegen H1 : μ < 2
verwenden wir bei vorgegebenem α = 0.05 den Wert z1−α = 1.64. F¨ ur die √ ¯ 0 Realisierung t der Testgr¨ oße T (X) = X−µ n ergibt sich der Wert σ0 t=
1.97 − 2 √ 20 = −1.34. 0.1
H0 wird nicht abgelehnt, da t = −1.34 > −1.64 = −z1−0.05 = z0.05 . Interpretation: Die in der Stichprobe beobachtete mittlere Masse x ¯ = 1.97 kg liegt zwar unter dem Sollwert von μ = 2 kg. Dieses Ergebnis widerspricht aber nicht der Hypothese, dass die Stichprobe aus einer N (2, 0.12 )-verteilten Grundgesamtheit stammt. Die Wahrscheinlichkeit, in einer Stichprobe vom Umfang n = 20 einer N (2, 0.12 )-verteilten Grundgesamtheit einen Mittelwert von h¨ ochstens 1.97 zu erhalten, ist gr¨ oßer als 0.05. Das beobachtete Ergebnis spricht damit nicht gegen die Nullhypothese. Die Abweichung zwischen x¯ = 1.97 kg und dem Sollwert von μ = 2 kg ist als statistisch nicht signifikant und damit als zuf¨ allig anzusehen. Anmerkung. Dieser Test existiert nicht in SPSS, da die Situation σ02 be” kannt“ in der Praxis unrealistisch ist.
7.3 Einstichprobenprobleme bei Normalverteilung
135
7.3.2 Pr¨ ufung des Mittelwertes bei unbekannter Varianz (einfacher t-Test) Wir wollen Hypothesen u ur eine normalverteilte Zufallsvariable X ∼ ¨ ber μ f¨ N (μ, σ2 ) in dem Fall pr¨ ufen, in dem auch die Varianz σ 2 unbekannt ist und aus der zuf¨ alligen Stichprobe (X1 , . . . , Xn ) durch n
2 SX =
1 ¯ 2 (Xi − X) n − 1 i=1
gesch¨ atzt werden muß. Die Testverfahren laufen analog zum vorangegangenen Abschnitt ab, allerdings ist eine andere Testgr¨ oße zu benutzen, n¨amlich T (X) =
¯ − μ0 √ X n, SX
die unter H0 eine t-Verteilung mit n − 1 Freiheitsgraden besitzt (vgl. (4.26)). Kritischer Bereich Bei der zweiseitigen Fragestellung H0 : μ = μ0 gegen H1 : μ = μ0 umfaßt der kritische Bereich wieder alle unter H0 ‘unwahrscheinlichen’ Werte: K = (−∞, −tn−1;1−α/2 ) ∪ (tn−1;1−α/2 , ∞) ,
(7.2)
wobei tn−1;1−α/2 das (1 − α/2)-Quantil der t-Verteilung mit n − 1 Freiheitsgraden ist (vgl. Tabelle B.4). Bei einseitiger Fragestellung sind die kritischen Bereiche ur H0 : μ ≤ μ0 gegen H1 : μ > μ0 , K = (tn−1;1−α , ∞) f¨ K = (−∞, −tn−1;1−α ) f¨ ur H0 : μ ≥ μ0 gegen H1 : μ < μ0 .
(7.3) (7.4)
Entscheidungsregel: Bei der zweiseitigen Fragestellung H0 : μ = μ0 gegen H1 : μ = μ0 wird H0 genau dann abgelehnt, falls |t| > tn−1;1−α/2 . Ansonsten wird H0 wird nicht abgelehnt. Bei einseitiger Fragestellung H0 : μ ≤ μ0 gegen H1 : μ > μ0 wird die Nullhypothese genau dann abgelehnt, wenn t > tn−1;1−α gilt. Bei der entgegengesetzt gerichteten einseitigen Fragestellung H0 : μ ≥ μ0 gegen H1 : μ < μ0 wird die Nullhypothese genau dann abgelehnt, wenn t < −tn−1;1−α gilt.
136
7. Pr¨ ufen statistischer Hypothesen
Beispiel 7.3.2 (Fortsetzung von Beispiel 7.3.1). Bei der Herstellung der Brotlaibe wird nun eine neue Maschine zur Portionierung der Teigmasse eingesetzt. Die Masse X der Brotlaibe sei wieder normalverteilt, die Varianz sei nun aber unbekannt. Es liegt eine zuf¨ allige Stichprobe vom Umfang n = 20 mit dem Stichprobenmittelwert x ¯ = 1.9668 und der Stichprobenvarianz s2 = 0.09272 vor. Tabelle 7.1. Masse (in kg) der Brotlaibe in Beispiel 7.3.2 1.971 1.882 2.122 1.943
1.969 2.106 1.949 1.938
2.040 1.872 1.970 2.076
1.832 1.942 1.892 1.939
1.856 2.085 2.105 1.848
Wir pr¨ ufen nun, ob dieses Stichprobenergebnis gegen die Hypothese H0 : μ = 2 spricht. Die Irrtumswahrscheinlichkeit wird wieder mit α = 0.05 vor√ ¯ 0 gegeben. F¨ ur die Realisierung t der Testgr¨ oße T (X) = X−µ n ergibt sich SX der Wert 1.9668 − 2 √ t= 20 = −1.60 . 0.0927 H0 wird nicht abgelehnt (zweiseitige Fragestellung), da |t| = 1.60 < 2.09 = t19;0.975 ist (vgl. Tabelle B.4). Mit SPSS erhalten wir die Ausgabe in Abbildung 7.3.
One-Sample Statistics
N X
20
Mean 1,96675
Std. Deviation 9,27E-02
Std. Error Mean 2,07E-02
One-Sample Test Test Value = 2
X
t -1,603
df 19
Sig. (2-tailed) ,125
95% Confidence Interval of the Difference Mean Lower Upper Difference -3,32E-02 -7,7E-02 1,02E-02
Abb. 7.3. SPSS-Output zu Beispiel 7.3.2
Hierbei ist zu beachten, dass hier automatisch die zweiseitige Fragestellung getestet wird. Der p–value (2--tailed Sig) betr¨agt 0.125 > 0.05, so dass H0 nicht abgelehnt wird.
7.3 Einstichprobenprobleme bei Normalverteilung
137
Vergleiche hierzu auch Abschnitt 7.7, in dem die Testentscheidung bei einseitiger Fragestellung unter Verwendung von Statistik Software diskutiert wird. 7.3.3 Pr¨ ufen der Varianz; χ2 -Test f¨ ur die Varianz Mittelwerttests wie die oben beschriebenen untersuchen die Lage einer Verteilung. Die Varianz σ 2 ist ein Maß f¨ ur die Streuung. Mit ihr werden z. B. in der Qualit¨ atskontrolle Normbereiche wie (μ ± 2σ) oder (μ ± σ) gebildet. Ein Test f¨ ur die Varianz pr¨ uft analog zum Vorgehen bei Mittelwerttests Hypothesen u ¨ber die Varianz, um z. B. zu kontrollieren, ob eine vorgegebene Genauigkeit eingehalten wird. Zun¨ achst wollen wir wieder mit der zweiseitigen Fragestellung bei normalur verteilten Zufallsgr¨ oßen beginnen. Wir pr¨ ufen die Hypothese H0 : σ 2 = σ02 f¨ 2 eine N (μ, σ )-verteilte Zufallsvariable X. Als Testgr¨oße w¨ahlen wir den (mit dem Faktor n − 1 korrigierten) Quotienten aus der Stichprobenvarianz und der in der Nullhypothese angenommenen Varianz σ02 T (X) =
2 (n − 1)SX . 2 σ0
(7.5)
Die Testgr¨ oße besitzt unter H0 eine χ2 -Verteilung mit n − 1 Freiheitsgraden. Der kritische Bereich K wird mit Hilfe der in Tabelle B.3 angegebenen Quantile der χ2 -Verteilung wie folgt bestimmt. Bei zweiseitiger Fragestellung H0 : σ 2 = σ02 gegen H1 : σ 2 = σ02 wird der kritische Bereich aus zu großen und zu kleinen Werten der Testgr¨oße bestehen: K = [0, cn−1;α/2 ) ∪ (cn−1;1−α/2 , ∞) ; cn−1;α/2 und cn−1;1−α/2 sind die α/2- bzw. (1 − α/2)-Quantile der χ2 Verteilung mit n − 1 Freiheitsgraden (vgl. Abbildung 7.4).
x cn−1;α/2
cn−1;1−α/2
Abb. 7.4. Kritischer Bereich beim zweiseitigen χ2 -Test von H0 : σ 2 = σ02 gegen H1 : σ 2 = σ02 . Der kritische Bereich K = [0, cn−1;α/2 ) ∪ (cn−1;1−α/2 , ∞) besitzt unter H0 die durch die grauen Fl¨ achen dargestellte Wahrscheinlichkeitsmasse α.
138
7. Pr¨ ufen statistischer Hypothesen
Entscheidungsregel: F¨ ur die konkrete Stichprobe (x1 , . . . , xn ) ergibt sich als Wert der Testgr¨ oße n (xi − x ¯)2 . t = i=1 2 σ0 Die Nullhypothese H0 : σ 2 = σ02 wird also abgelehnt, wenn die konkrete Stichprobe (x1 , . . . , xn ) so ausf¨ allt, dass t < cn−1;α/2 oder t > cn−1;1−α/2 gilt. Bei einseitiger Fragestellung H0 : σ 2 ≤ σ02 gegen H1 : σ 2 > σ02 , die verwendet wird um zu zeigen, dass die Streuung gr¨oßer als σ02 ist, sprechen nur sehr große Werte t von T (X) f¨ ur eine Ablehnung der Nullhypothese, d. h., wir w¨ ahlen K = (cn−1;1−α , ∞) und lehnen die Nullhypothese ab, falls die konkrete Stichprobe t > cn−1;1−α ergibt. Bei der umgekehrt gerichteten einseitigen Fragestellung, die verwendet wird um zu zeigen, dass die Streuung kleiner als der vorgegebene Wert σ02 ist, also H0 : σ ≥ σ02 gegen H1 : σ 2 < σ02 , sprechen nur kleine Werte der Testgr¨ oße (7.5) f¨ ur eine Ablehnung, d. h., wir w¨ahlen K = [0, cn−1;α )
(7.6)
und lehnen die Nullhypothese ab, falls die konkrete Stichprobe t < cn−1;α ergibt. Anmerkung. Dieser Test ist verf¨ alscht. Um eine unverf¨aschte Version zu erhalten, m¨ ussen die Werte c so gew¨ ahlt werden, dass sie die Niveaubedingung einhalten und zugleich Stellen gleicher Dichte sind. In der Praxis werden die Werte der Einfachheit halber jedoch wie oben beschrieben symmetrisch ermittelt, indem auf beiden Seiten die Wahrscheinlichkeitsmasse α/2 abgeschnitten wird. In dem in der Praxis eher unwahrscheinlichen Fall, dass μ ¯ bekannt ist, wird der bekannte Wert bei der Berechnung von s2X anstelle x verwendet und geht damit in die Testgr¨ oße (7.5) mit ein. Dies bewirkt eine Erh¨ ohung der Zahl der Freiheitsgrade von n − 1 auf n und damit einen gr¨oßeren kritischen Bereich. Die zus¨ atzliche Information erh¨oht also die G¨ ute des Tests.
7.4 Zweistichprobenprobleme bei Normalverteilung
139
Beispiel 7.3.3 (Fortsetzung von Beispiel 7.3.1). Bei Einsatz einer neuen Portionierungsmaschine wird die Masse X der produzierten Brotlaibe wieder als normalverteilt angenommen. Die Varianz ist unbekannt. Wir wollen nun u ¨berpr¨ ufen, ob die unbekannte Varianz σ 2 unter dem Erfahrungswert σ02 = 0.12 aus Beispiel 7.3.1 liegt. Um diese Aussage zu best¨atigen, wird nun das Gegenteil als statistische Hypothese formuliert. Es liegt eine neue Stichprobe vom Umfang n = 20 mit dem Stichprobenmittelwert x ¯ = 1.9886 und der Stichprobenvarianz s2 = 0.07122 vor. Wir geben eine Irrtumswahrscheinlichkeit von α = 0.05 vor. Tabelle 7.2. Masse (in kg) der n = 20 Brotlaibe aus Beispiel 7.3.3 1.966 1.965 1.997 2.074
1.962 2.019 1.924 1.960
2.012 1.815 1.877 1.962
2.114 2.085 2.026 1.980
2.059 1.980 2.051 1.945
F¨ ur die einseitige Fragestellung H0 : σ 2 ≥ 0.01 gegen H1 : σ 2 < 0.01 entnehmen wir aus Tabelle B.3 cn−1;α = c19;0.05 = 10.10. F¨ ur die Rean ¯ 2 2 lisation der Testgr¨ oße T (X) = i=1 (Xi − X) /σ0 ergibt sich der Wert t = 0.09632/0.01 = 9.632, d. h., H0 wird abgelehnt, da 9.632 < 10.10 (vgl. (7.6)). Dieser Test ist in SPSS nicht realisiert. Um zu einer mit SPSS realisierbaren Aussage zu kommen, m¨ ußten wir die Daten der alten Maschine zusammen mit denen der neuen Maschine verwenden und einen Test auf Varianzhomogenit¨ at anwenden. Ein solcher Test wird im folgenden Abschnitt beschrieben. Interpretation: Durch die Ablehnung von H0 wird unsere Aussage, dass die unbekannte Varianz σ 2 unter dem Erfahrungswert σ02 = 0.12 aus Beispiel 7.3.1 liegt, mit einer Irrtumswahrscheinlichkeit von h¨ochstens 5% best¨atigt. Die neue Maschine kann also als besser (im Sinne h¨ oherer Genauigkeit) angesehen werden.
7.4 Zweistichprobenprobleme bei Normalverteilung 7.4.1 Pr¨ ufen der Gleichheit der Varianzen (F-Test) Wir wollen zwei Variablen X und Y, von denen angenommen wird, dass 2 sie unabh¨ angig und jeweils normalverteilt sind (X ∼ N (μX , σX ) und Y ∼ 2 N (μY , σY )), hinsichtlich ihrer Variabilit¨ at vergleichen. Wir testen die Hy2 2 pothese H0 : σX = σY2 zweiseitig gegen die Alternative H1 : σX = σY2 bzw. 2 2 2 2 einseitig H0 : σX ≤ σY gegen H1 : σX > σY . Wir setzen eine Stichprobe (X1 , . . . , Xn1 ) vom Umfang n1 und eine (davon unabh¨angige) Stichprobe (Y1 , . . . , Yn2 ) vom Umfang n2 voraus. Die Testgr¨oße ist der Quotient der beiden Stichprobenvarianzen
140
7. Pr¨ ufen statistischer Hypothesen
T (X, Y) =
2 SX , SY2
(7.7)
der unter der Nullhypothese F -verteilt mit n1 − 1 und n2 − 1 Freiheitsgraden ist (vgl. (4.27)). Bestimmung des kritischen Bereichs 2 2 F¨ ur die zweiseitige Fragestellung H0 : σX = σY2 gegen H1 : σX = σY2 gilt: Wenn die Nullhypothese wahr ist, die beiden Varianzen also gleich groß sind, m¨ ußte die Testgr¨oße (7.7) Werte um 1 annehmen. Damit sprechen sehr kleine und sehr große Werte der Testgr¨ oße f¨ ur eine Ablehnung der Nullhypothese. Der kritische Bereich K = [0, k1 ) ∪ (k2 , ∞) wird also aus den Beziehungen
P (T (X, Y) < k1 |H0 ) = α/2 und P (T (X, Y) > k2 |H0 ) = α/2 ermittelt. Es ergeben sich die Werte k1 = fn1 −1,n2 −1,α/2 k2 = fn1 −1,n2 −1,1−α/2 . Das untere Quantil k1 kann durch folgende Beziehung aus Tabellen abgelesen werden, die meist nur die ‘1 − α2 ’-Werte angeben: fn1 −1;n2 −1;α/2 =
1 . fn2 −1;n1 −1;1−α/2
2 2 Bei einseitiger Fragestellung H0 : σX ≤ σY2 gegen H1 : σX > σY2 besteht 2 der kritische Bereich K aus großen Werten von T (X) (SX im Z¨ahler von T ), d. h., K = (k, ∞), wobei k aus
P (T (X, Y) > k|H0 ) = α bestimmt wird. Hier ergibt sich k = fn1 −1;n2 −1;1−α . Anmerkung. Bei einseitiger Fragestellung kann darauf verzichtet werden, die 2 2 Richtung H0 : σX ≥ σY2 gegen H1 : σX < σY2 gesondert zu betrachten, da dies 2 ≥ σY2 entspricht genau σY2 ≤ vollkommen symmetrisch zu behandeln ist: σX 2 σX , d. h. es m¨ ussen nur die Variablen-Bezeichnungen X und Y vertauscht werden. Aus den konkreten Stichproben (x1 , . . . , xn1 ) und (y1 , . . . , yn2 ) berechnen n1 n2 wir die Stichprobenmittelwerte x¯ = n11 i=1 xi und y¯ = n12 i=1 yi sowie die Stichprobenvarianzen
7.4 Zweistichprobenprobleme bei Normalverteilung n
s2x =
1 1 (xi − x ¯)2 , n1 − 1 i=1
141
n
s2y =
2 1 (yi − y¯)2 n2 − 1 i=1
und daraus die Realisierung der Testgr¨ oße: t=
s2x . s2y
(7.8)
2 Entscheidungsregel: Bei der zweiseitigen Fragestellung wird H0 : σX = σY2 2 2 zugunsten von H1 : σX = σY abgelehnt, falls
t > fn1 −1;n2 −1;1−α/2
oder t < fn1 −1;n2 −1;α/2
gilt. Falls diese Bedingungen nicht erf¨ ullt sind, also fn1 −1;n2 −1;α/2 ≤ t ≤ fn1 −1;n2 −1;1−α/2
(7.9)
gilt, wird H0 nicht abgelehnt. 2 Bei der einseitigen Fragestellung wird H0 : σX ≤ σY2 zugunsten von H1 : 2 2 σX > σY abgelehnt, falls t > fn1 −1;n2 −1;1−α
(7.10)
gilt. Falls (7.10) nicht erf¨ ullt ist, kann H0 nicht abgelehnt werden. Anmerkung. Ebenso wie im vorherigen Abschnitt wird davon ausgegangen, dass die in der Praxis relevante Situation unbekannter Erwartungswerte μX und μy vorliegt. Sind diese bekannt, so werden sie bei der Ermittlung von s2X und s2Y verwendet, was wiederum eine Erh¨ohung der Freiheitsgrade von n1 − 1 auf n1 bzw. n2 − 1 auf n2 bewirkt. Die zus¨atzliche Information erh¨oht auch hier wieder die G¨ ute des Tests. Beispiel 7.4.1. Zur Erh¨ ohung der Kapazit¨ at einer Konservenfabrik wird eine zweite Maschine zur Bef¨ ullung der Konservendosen angeschafft. Die F¨ ullgewichte der Dosen X (alte Maschine) und Y (neue Maschine) seien normal2 ), Y ∼ N (μY , σY2 ). Die beiden Maverteilte Zufallsvariablen X ∼ N (μX , σX schinen arbeiten unabh¨ angig voneinander, weshalb X und Y als unabh¨angig angenommen werden k¨ onnen. Es soll u uft werden, ob die Stichproben¨berpr¨ 2 = σY2 sprechen, d. h. ob die neue ergebnisse gegen die Hypothese H0 : σX Maschine also mit anderer Genauigkeit abf¨ ullt. Die Ergebnisse der Messungen sind in Tabelle 7.3 angegeben. F¨ ur die Zufallsvariable X liegt eine Stichprobe von Umfang n1 = 20 mit dem Stichprobenmittelwert x ¯ = 1000.49 und der Stichprobenvarianz s2x = 72.38 vor. Die Stichprobe f¨ ur die Zufallsvariable Y mit dem Umfang n2 = 25 ergibt den Stichprobenmittelwert y¯ = 1000.26 und die Stichprobenvarianz s2y = 45.42. Das folgende SPSS Listing (Abbildung 7.5) gibt die Stichprobenmittelwerte und –varianzen an.
142
7. Pr¨ ufen statistischer Hypothesen
Tabelle 7.3. Daten zu Beispiel 7.4.1. F¨ ullgewichte von Dosen in Gramm: xi alte Maschine, yi neue Maschine 996.7 1002.6 998.2 989.6
1006.6 1003.9 999.6 998.8
1001.9 999.9 1006.4 1006.2 996.1
996.2 1006.1 1006.8 997.2 995.7
xi 1002.5 1013.6 988.3 1002.3 yi 989.9 990.1 993.8 1005.1 994.0
1003.6 1020.4 1000.2 989.9
998.8 1010.2 985.2 998.8
1001.4 997.5 998.3 998.3 1008.8
997.6 1001.6 1004.0 1020.2 993.3
Descriptive Statistics
N X Y Valid N (listwise)
Mean 20 1000,4900 25 1000,2560
Std. Deviation 8,5074 6,7391
Variance 72,376 45,415
20
Abb. 7.5. SPSS-Output zu Beispiel 7.4.1
Wir geben eine Irrtumswahrscheinlichkeit von α = 0.1 vor. F¨ ur die zweiseitige Fragestellung 2 H0 : σX = σY2
2 gegen H1 : σX = σY2
ist f19;24;0.95 = 2.11 (vgl. Tabelle B5, lineare Interpolation von f19;20;0.95 1 1 = 0.47. = 2.11 =2.1370 und f19;30;0.95 =1.9452) und f19;24;0.05 = f19;24;0.95 F¨ ur die Testgr¨ oße T (X, Y) = t=
2 SX 2 SY
ergibt sich der Wert
72.38 = 1.59 . 45.42
Damit wird H0 nicht abgelehnt (vgl. (7.9)), da 0.47 ≤ t ≤ 2.11. 7.4.2 Pr¨ ufen der Gleichheit der Mittelwerte zweier unabh¨ angiger normalverteilter Zufallsvariablen 2 Wir betrachten zwei normalverteilte Variablen X ∼ N (μX , σX ) und Y ∼ 2 ur die Hypothesen H0 : μX = μY gegen N (μY , σY ). Von Interesse sind Tests f¨ H1 : μX = μY (zweiseitige Fragestellung) und H0 : μX ≥ μY gegen H1 : μX < μY oder H0 : μX ≤ μY gegen H1 : μX > μY (einseitige Fragestellungen). Die Pr¨ ufverfahren werden f¨ ur die F¨ alle
7.4 Zweistichprobenprobleme bei Normalverteilung
143
2 • σX , σY2 bekannt 2 • σX , σY2 unbekannt, aber gleich 2 • σX = σY2 , beide unbekannt
entwickelt. Wir setzen dabei voraus, dass zwei unabh¨angige Stichproben (X1 , . . . , Xn1 ) und (Y1 , . . . , Yn2 ) vorliegen. Fall 1: Die Varianzen sind bekannt (doppelter Gauss-Test) Trifft die Nullhypothese H0 : μX = μY zu, so ist die Pr¨ ufgr¨oße ¯ − Y¯ √ X T (X, Y) = n1 · n2 2 2 n1 σX + n2 σY
(7.11)
standardnormalverteilt, T (X, Y) ∼ N (0, 1). Der Test verl¨auft dann analog zum einfachen Gauss-Test (Abschnitt 7.3.1). Fall 2: Die Varianzen sind unbekannt, aber gleich (doppelter t-Test) Wir bezeichnen die unbekannte Varianz beider Verteilungen mit σ 2 . Die gemeinsame Varianz wird durch die sogenannte gepoolte Stichprobenvarianz gesch¨ atzt, die beide Stichproben mit einem Gewicht relativ zu ihrer Gr¨oße verwendet: 2 (n1 − 1)SX + (n2 − 1)SY2 S2 = . (7.12) n1 + n2 − 2 Die Pr¨ ufgr¨ oße
¯ − Y¯ * n1 · n2 X , T (X, Y) = S n1 + n2
(7.13)
mit S aus (7.12) besitzt unter H0 eine Student’sche t-Verteilung mit n1 +n2 −2 Freiheitsgraden. Das Testverfahren l¨ auft wie in Abschnitt 7.3.2. Beispiel 7.4.2. Die Brenndauer von Gl¨ uhbirnen zweier verschiedener Typen sei jeweils normalverteilt und beide Typen besitzen die gleiche Varianz. Die Zuvallsvariablen X bzw. Y bezeichnen die Brenndauer der Gl¨ uhbirnen der beiden Typen. Die beiden normalverteilten Zufallsvariablen X ∼ N (μX , σ 2 ) onnen als unabh¨ angig voneinander vorausgesetzt werund Y ∼ N (μY , σ 2 ) k¨ den. Eine Stichprobe (vgl. Tabelle 7.4) vom Umfang n1 = 25 f¨ ur X liefert den Stichprobenmittelwert x¯ = 5996.64 und die Stichprobenvarianz ur Y mit dem Stichprobenumfang n2 = 22 s2x = 65.2212. Die Stichprobe f¨ ergibt einen Stichprobenmittelwert von y¯ = 6125.545 und eine Stichprobenvarianz s2y = 56.9432. Wir wollen pr¨ ufen, ob diese Stichprobenergebnisse gegen die Hypothese H0 : μX = μY (gleiche mittlere Brenndauern) sprechen. Als Irrtumswahrscheinlichkeit geben wir α = 0.05 vor.
144
7. Pr¨ ufen statistischer Hypothesen
Tabelle 7.4. Daten zu Beispiel 7.4.2. Brenndauer (in Stunden) von Gl¨ uhbirnen zweier Typen 5958 6032 5904 5934 6000
6046 6016 5997 5927 5999
6149 6155 6226 6094 6082
6107 6102 6150 6131 6157
xi 6073 5965 5987 5974 6124 yi 6121 6088 6180 6095 6224
6034 6074 6012 6032 5811
5918 5980 6034 6050 6035
6129 6059 6137 6015 6038
6094 6229
2 Wir pr¨ ufen zun¨ achst die Annahme gleicher Varianzen: H0 : σX = σY2 gegen 2 2 H1 : σX = σY . Mit (7.8) und (7.10), d. h.,
f24,21;0.025 = 0.433 < t =
65.2212 s2X = 1.312 < 2.37 = f24,21;0.975 , = s2Y 56.9432
wird H0 nicht abgelehnt, die Annahme gleicher Varianzen wird also nicht widerlegt (die Quantile wurden per Computer berechnet). Anmerkung. SPSS verwendet einen anderen Test, den Levene Test, der robuster gegen Abweichungen von der Normalverteilung ist. Dieser Test ergibt einen p-value von 0.695, womit H0 ebenfalls nicht ablehnt wird (vgl. SPSS Listing in Abbildung 7.6). Wir sch¨ atzen zun¨ achst die gemeinsame Varianz σ 2 mit (7.12): (n1 − 1)s2x + (n2 − 1)s2y n1 + n2 − 2 24 · 65.2212 + 21 · 56.9432 = = 3781.851 = 61.5002 . 45
s2 =
F¨ ur α = 0.05 und die zweiseitige Fragestellung H0 : μX = μY
gegen H1 : μX = μY
ist t45;0.975 = 2.01. F¨ ur die Realisierung t der Testgr¨oße T (X, Y) (7.13) ergibt sich der Wert * 5996.64 − 6125.545 25 · 22 t= = −7.17 . 61.500 25 + 22 Damit wird H0 abgelehnt, da |t| = | − 7.17| > 2.01 = t45;0.975 (vgl. (7.2)). Die Berechnung der Stichprobenmittelwerte, der Stichprobenvarianzen und des t-Tests mit SPSS ergibt das Listing in Abbildung 7.6:
7.4 Zweistichprobenprobleme bei Normalverteilung
145
Group Statistics
Brenndauer
TYP X Y
N
Mean 25 5996,6400 22 6125,5455
Std. Deviation 65,2207 56,9425
Std. Error Mean 13,0441 12,1402
Independent Samples Test Levene’s Test for Equality of Variances F Equal variances assumed Equal variances not assumed
,156
Sig. ,695
t
t-test for Equality of Means Sig. Mean df (2-tailed) Difference
Std. Error Difference
-7,171
45
,000
-128,9055
17,9770
-7,234
44,999
,000
-128,9055
17,8195
Abb. 7.6. SPSS-Output zu Beispiel 7.4.2
Fall 3: Die Varianzen sind unbekannt und ungleich (Welch-Test) ur den Fall Wir pr¨ ufen H0 : μX = μY gegen die Alternative H1 : μX = μY f¨ 2 σX = σY2 . Dies ist das sogenannte Behrens-Fisher-Problem, f¨ ur das es keine exakte L¨ osung gibt. F¨ ur praktische Zwecke wird als N¨aherungsl¨osung folgende Testgr¨ oße empfohlen (vgl. Sachs, 1978): ' ' 'X ¯ − Y¯ ' , (7.14) T (X, Y) = # 2 2 SY SX + n1 n2 die t-verteilt ist mit ann¨ ahernd v Freiheitsgraden (v wird ganzzahlig gerundet): %2 $ $ 2 % 2 2 sy /n2 s2y s2x /n1 s2x . (7.15) + + / v= n1 n2 n1 − 1 n2 − 1
Der Test verl¨ auft dann wie in Abschnitt 7.3.2. Anmerkung. SPSS gibt beim doppelten t-Test sowohl die Teststatistik f¨ ur den Fall gleicher Varianzen als auch f¨ ur den Fall ungleicher Varianzen aus (vgl. Listing zu Beispiel 7.4.2: Variances Equal, Unequal). 7.4.3 Pr¨ ufen der Gleichheit der Mittelwerte aus einer verbundenen Stichprobe (paired t-Test) Wie oben betrachten wir wieder zwei stetige Zufallsvariablen X mit E(X) = μX und Y mit E(Y ) = μY . Die Annahme der Unabh¨angigkeit der beiden Variablen wird nun aufgegeben, die beiden Variablen werden als abh¨angig
146
7. Pr¨ ufen statistischer Hypothesen
angenommen. Diese Abh¨ angigkeit kann in der Praxis beispielsweise dadurch entstehen, dass an einem Objekt zwei Merkmale gleichzeitig beobachtet werden oder ein Merkmal an einem Objekt zu verschiedenen Zeitpunkten beobachtet wird. Man spricht dann von einer gepaarten oder verbundenen Stichprobe oder von einem matched-pair Design. Da beide Zufallsvariablen zum selben Objekt geh¨oren ergibt das Bilden einer Differenz einen Sinn. Mit D = X − Y bezeichnen wir die Zufallsvariable Differenz von X und Y “. Unter H0 : μX = μY ist die erwartete Differenz ” gleich Null, es gilt E(D) = μD = 0. Wir setzen voraus, dass D unter H0 : 2 ) gilt. μX = μY bzw. H0 : μD = 0 normalverteilt ist, d. h., dass D ∼ N (0, σD Es liege eine Stichprobe (D1 , . . . , Dn ) vor. Dann ist T (X, Y) = T (D) =
¯ √ D n SD
(7.16)
t-verteilt mit n − 1 Freiheitsgraden. Dabei ist n ¯ 2 (Di − D) 2 SD = i=1 n−1 2 eine Sch¨ atzung f¨ ur σD . Der Test der zweiseitigen Fragestellung H0 : μD = 0 gegen die Alternative H1 : μD = 0 bzw. der einseitigen Fragestellungen H0 : μD ≤ 0 gegen H1 : μD > 0 oder H0 : μD ≥ 0 gegen H1 : μD < 0 erfolgt analog zu Abschnitt 7.3.2.
Anmerkung. Im Vergleich zum Verfahren aus Abschnitt 7.3.2 zum Pr¨ ufen der Mittelwerte zweier unabh¨ angiger Normalverteilungen sind beim Test auf gleichen Mittelwert verbundener Stichproben die Voraussetzungen weitaus schw¨ acher. Gefordert wird, dass die Differenz beider Zufallsvariablen normalverteilt ist, die beiden stetigen Variablen selbst m¨ ussen also nicht notwendig normalverteilt sein. Beispiel 7.4.3. In einem Versuch soll die leistungssteigernde Wirkung von Koffein gepr¨ uft werden. Mit Y bzw. X bezeichnen wir die Zufallsvariablen Punktwert vor bzw. nach dem Trinken von starkem Kaffee“, die an n = 10 ” Studenten gemessen wurden. Aus den Daten in Tabelle 7.5 erhalten wir d¯ = 1 , 8 s2d = = 0.9432 . 9 Damit ergibt sich f¨ ur die Pr¨ ufgr¨ oße t bei α = 0.05 t=
1 √ 10 = 3.35 > t9;0.95 = 1.83 , 0.943
so dass H0 : μX ≤ μY zugunsten von H1 : μX > μY abgelehnt wird. Die Leistungen nach dem Genuß von Kaffee sind signifikant besser.
7.5 Pr¨ ufen der Korrelation zweier Normalverteilungen
147
Tabelle 7.5. Paarweise Daten xi , yi und Differenzen di aus Beispiel 7.4.3 ¯2 i yi xi di = xi − yi (di − d) 1 4 5 1 0 2 3 4 1 0 3 5 6 1 0 4 6 7 1 0 5 7 8 1 0 6 6 7 1 0 7 4 5 1 0 8 7 8 1 0 9 6 5 -1 4 10 2 5 3 4 P 10 8
Mit SPSS erhalten wir wie bereits erw¨ ahnt immer den zweiseitigen Test, so dass wir den p-value halbieren m¨ ussen. Wir verweisen an dieser Stelle wieder auf Abschnitt 7.7, in dem dieser Zusammenhang detailliert erl¨autert wird. In der SPSS Ausgabe ist zus¨ atzlich auch der Test zum Pr¨ ufen der Korrelation (Corr .832 mit 2-tail Sig .003) angegeben, der im n¨achsten Abschnitt besprochen wird. Paired Samples Statistics
Pair 1
Mean 5,0000 6,0000
X Y
N 10 10
Std. Deviation 1,6997 1,4142
Std. Error Mean ,5375 ,4472
Paired Samples Correlations N Pair 1
X&Y
10
Correlation ,832
Sig. ,003
Paired Samples Test
Pair 1
X-Y
Paired Differences Std. Std. Error Deviation Mean Mean -1,0000 ,9428 ,2981
t -3,354
df 9
Sig. (2-tailed) ,008
Abb. 7.7. SPSS-Output zu Beispiel 7.4.3
7.5 Pru ¨ fen der Korrelation zweier Normalverteilungen Wir haben zwei verbundene Stichproben, die wir als Realisation der Zufallsvariablen (X, Y ) auffassen k¨ onnen, die eine zweidimensionale Normalverteilung
148
7. Pr¨ ufen statistischer Hypothesen
besitzt. Wir wollen nun u ufen, ob die beiden Zufallsvariablen X und Y ¨berpr¨ unkorreliert sind oder ob zwischen ihnen ein linearer Zusammenhang besteht. Der Zusammenhang zwischen X und Y wird durch den Korrelationskoeffizienten ρ beschrieben. Der Test auf Unkorreliertheit (bei Normalverteilung gleichwertig mit Unabh¨ angigkeit) pr¨ uft die Nullhypothese H0 : ρ = 0 gegen die Alternative H1 : ρ = 0. Ist man an der Richtung des Zusammenhangs interessiert, so w¨ ahlt man die einseitige Fragestellung H0 : ρ ≤ 0 gegen H1 : ρ > 0 f¨ ur die positive Korrelation, die umgekehrte Fragestellung f¨ ur die negative Korrelation. Der Test basiert auf dem Korrelationskoeffizienten der Stichprobe (X1 , Y1 ), . . . , (Xn , Yn ) ¯ i − Y¯ ) (Xi − X)(Y SXY . (7.17) = √ R(X, Y) = 2 2 ¯ SXX SY Y (Yi − Y¯ ) (Xi − X) Die Testgr¨ oße hat die Gestalt
T (X, Y) = R(X, Y) ·
+
n−2 1 − R(X, Y)2
(7.18)
und besitzt unter H0 eine t-Verteilung mit n − 2 Freiheitsgraden.
Entscheidungsregel: F¨ ur die zweiseitige Fragestellung, H0 : ρ = 0 gegen H1 : ρ = 0 wird H0 f¨ ur |t| > tn−2;1−α/2 abgelehnt. Der kritische Bereich ist wie in (7.2) definiert, wobei jedoch die ge¨ anderte Zahl der Freiheitsgrade beachtet werden muß. uhrt t < Bei der einseitigen Fragestellung H0 : ρ ≥ 0 gegen H1 : ρ < 0 f¨ −tn−2;1−α zur Ablehnung von H0 (vgl. (7.3)). Bei der umgekehrt gerichteten einseitigen Fragestellung H0 : ρ ≤ 0 gegen H1 : ρ > 0 wird f¨ ur t > tn−2;1−α H0 abgelehnt (vgl. (7.4)). Beispiel 7.5.1. Bei Studenten der Wirtschaftswissenschaften soll der Zusammenhang der beiden Zufallsvariablen X: Leistung im Seminar“ und Y : Lei” ” stung im Praktikum“ untersucht werden, wobei auf einer Punkte-Skala mit einer Nachkommastelle bewertet und n¨ aherungsweise von einer zweidimensionalen Normalverteilung ausgegangen wird. Eine Stichprobe von n = 26 Studenten ergibt die Werte in Tabelle 7.6. Aus den Daten berechnen wir x ¯ = 27.35 und y¯ = 32.58 und damit n (xi − x¯)(yi − y¯) = 0.821 , r = n i=1 n ¯)2 i=1 (yi − y¯)2 i=1 (xi − x
womit wir (7.18) als
*
n−2 = 7.045 1 − r2 erhalten. Da t > t24;1−0.05/2 = 2.07, lehnen wir H0 : ρ = 0 gegen H1 : ρ = 0 ab. Der lineare Zusammenhang zwischen Leistung im Seminar“ und Leistung ” ” im Praktikum“ ist signifikant auf dem 5%-Niveau. t=r
7.6 Pr¨ ufen von Hypothesen u ¨ ber Binomialverteilungen
149
Tabelle 7.6. Daten zu Beispiel 7.5.1; Leistungen im Seminar und im Praktikum i 1 2 3 4 5 6 7 8 9 10 11 12 13
xi 30.2 32.2 37.1 24.2 19.5 35.1 29.3 28.3 31.3 29.3 45.9 30.2 26.3
yi 35.1 56.6 37.1 24.4 17.6 38.0 37.1 32.2 27.3 38.0 59.9 38.0 36.1
i 14 15 16 17 18 19 20 21 22 23 24 25 26
xi 26.3 29.3 27.3 34.1 19.5 33.2 21.5 16.6 24.4 37.1 9.8 15.6 17.6
yi 32.2 35.1 34.1 35.1 25.4 35.1 25.4 19.5 27.3 38.0 8.8 33.2 20.5
Mit SPSS erhalten wir den Stichprobenkorrelationskoeffizienten ρ = 0.8210 und den zugeh¨ origen p–value 0.000 (Sig 2–tailed) f¨ ur die zweiseitige Fragestellung. Die Anordnung der Ergebnisse in einer Matrix ergibt sich dadurch, dass diese SPSS-Prozedur bei mehr als zwei Variablen automatisch alle zweiseitigen Tests durchf¨ uhrt.
Correlations
Pearson Correlation Sig. (2-tailed) N
X Y X Y X Y
X 1,000 ,821 , ,000 26 26
Y ,821 1,000 ,000 , 26 26
Abb. 7.8. SPSS–Output zu Beispiel 7.5.1
7.6 Pru ¨ fen von Hypothesen u ¨ ber Binomialverteilungen 7.6.1 Pr¨ ufen der Wahrscheinlichkeit f¨ ur das Auftreten eines Ereignisses (Binomialtest f¨ ur p) Wir betrachten eine Zufallsvariable X mit zwei Auspr¨agungen 1 und 0, die f¨ ur das Eintreten bzw. Nichteintreten eines Ereignisses A stehen. Die Wahrscheinlichkeit f¨ ur das Eintreten von A in der Grundgesamtheit sei p. Aus einer
150
7. Pr¨ ufen statistischer Hypothesen
Stichprobe X = (X1 , . . . , Xn ) von unabh¨ angigen B(1; p)-verteilten Zufallsva riablen Xi bilden wir die erwartungstreue Sch¨atzfunktion pˆ = n1 ni=1 Xi (relative H¨ aufigkeit). Wir testen die Hypothese H0 : p = p0 gegen H1 : p = p0 (bzw. H0 : p ≤ p0 gegen H1 : p > p0 oder H0 : p ≥ p0 gegen H1 : p < p0 ). Unter H0 : p = p0 gilt Var(ˆ p) = n1 p0 (1 − p0 ). Also ist die folgende Variable unter H0 standardisiert: √ pˆ − p0 T (X) = n. p0 (1 − p0 )
(7.19)
F¨ ur hinreichend großes n (np(1 − p) ≥ 9) kann die Binomialverteilung durch die Normalverteilung approximiert werden, so dass dann approximativ T (X) ∼ N (0, 1) gilt. Der Test der Nullhypothese H0 : p = p0 verl¨auft damit wie in Abschnitt 7.3.1. F¨ ur kleine Stichproben werden die Testgr¨ oße T (X) =
n
Xi
(7.20)
i=1
(absolute H¨ aufigkeit) und die Quantile der Binomialverteilung verwendet. F¨ ur die zweiseitige Fragestellung wird der kritische Bereich K = {0, 1, . . . , ku − 1} ∪ {ko + 1, . . . , n} aus der Bedingung Pp0 (T (X) < ku ) + Pp0 (T (X) > ko ) ≤ α bestimmt, wobei die Aufteilung der Wahrscheinlichkeitsmasse α auf die zwei Teilmengen von K gem¨ aß Pp0 (T (X) < ku ) ≤ α/2
Pp0 (T (X) > ko ) ≤ α/2
(7.21) (7.22)
erfolgt. Aus Gleichung (7.21) ergibt sich ku als gr¨oßte ganze Zahl, die k u −1 n i Pp0 (T (X) < ku ) = p0 (1 − p0 )n−i ≤ α/2 (7.23) i i=0
erf¨ ullt. ko wird analog als kleinste ganze Zahl bestimmt, die (7.22) erf¨ ullt: n n i Pp0 (T (X) > ko ) = (7.24) p (1 − p0 )n−i ≤ α/2 i 0 i=ko +1
F¨ ur die einseitige Fragestellung H0 : p ≤ p0 gegen H1 : p > p0 wird K = {k + 1, . . . , n} in analoger Weise aus der folgenden Forderung bestimmt: Pp0 (T (X) > k) ≤ α . F¨ ur die einseitige Fragestellung H0 : p ≥ p0 gegen H1 : p < p0 gilt schießlich K = {0, . . . , k} mit k gem¨ aß Pp0 (T (X) < k) ≤ α .
7.6 Pr¨ ufen von Hypothesen u ¨ ber Binomialverteilungen
151
Anmerkung. Hierbei tritt im Gegensatz zu stetigen Verteilungen jeweils das Problem auf, dass das vorgegebene Niveau α nicht immer voll ausgesch¨opft werden kann. Eine m¨ ogliche L¨ osung liegt in randomisierten Tests (vgl. R¨ uger, 1996). Beispiel 7.6.1. Einem Versandhaus ist aus Erfahrung bekannt, dass bei 20% der Kunden, die ihre Ware in Raten bezahlen, Schwierigkeiten auftreten. Das Ereignis A Kunde zahlt seine Raten nicht ordnungsgem¨aß“ tritt mit einer ” Wahrscheinlichkeit von p0 = 0.2 ein. Aus der Kundendatei der Ratenzahler wird zuf¨ allig (mit Zur¨ ucklegen) eine Stichprobe vom Umfang n = 100 gezogen. Die Anzahl des Auftretens von Ereignis A in der Stichprobe ist eine B(n; p)-verteilte Zufallsvariable. In der Stichprobe wird 25mal das Ereignis A und 75mal A¯ (Kunde zahlt die Raten ordnungsgem¨aß) beobachtet. Es soll 25 gegen gepr¨ uft werden, ob die damit gesch¨ atzte Wahrscheinlichkeit pˆ = 100 ochstens 20% der Kunden treten die Hypothese H0 : p ≤ p0 spricht (bei h¨ Schwierigkeiten auf). Wir geben eine Irrtumswahrscheinlichkeit von α = 0.05 vor. F¨ ur die einseitige Fragestellung H0 : p ≤ p 0
gegen H1 : p > p0
ergibt sich f¨ ur die Testgr¨ oße T (X) (vgl. (7.20)) der Wert t = 25. Zur exakten Berechnung des kritischen Bereichs bestimmen wir die Wahrscheinlichkeiten n l p (1 − p0 )n−l Pp0 (t = l) = l 0 und die kumulierten Wahrscheinlichkeiten Pp0 (t ≤ l) =
l n i p0 (1 − p0 )n−i , i i=0
die in Tablelle 7.7 angegeben sind. Wir erhalten k = 27, da P (t > 27) = 1−P (t ≤ 27) = 1−0.9658484 ≤ 0.05. Der beobachtete Wert 25 liegt nicht in K = {k + 1, . . . , n} = {28, . . . , 100}, so dass H0 hier nicht abgelehnt wird. Da np0 (1 − p0 ) = 0.2 · 0.8 · 100 = 16 > 9 gilt, kann die Binomialverteilung durch die Normalverteilung approximiert werden. Die Berechnung der Testgr¨ oße T (X) gem¨ aß (7.19) liefert den Wert 0.25 − 0.2 √ 100 = 1.25 . t= √ 0.2 · 0.8 H0 wird also ebenfalls nicht abgelehnt, da 1.25 < 1.64 = z1−0.05 . Interpretation: Die alten Erfahrungswerte sind weiterhin g¨ ultig, es liegt kein signifikant h¨ oherer Anteil an s¨ aumigen Ratenzahlern vor.
152
7. Pr¨ ufen statistischer Hypothesen
Tabelle 7.7. Wahrscheinlichkeiten Pp0 (t = l) und kum. Wahrscheinlichkeiten Pp0 (t ≤ l) f¨ ur Beispiel 7.6.1 l 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
Pp0 (t = l) 0.0000000 0.0000000 0.0000001 0.0000005 0.0000031 0.0000150 0.0000593 0.0001990 0.0005784 0.0014782 0.0033628 0.0068785 0.0127539 0.0215835 0.0335315 0.0480618 0.0638321 0.0788514 0.0908981 0.0980743 0.0993002 0.0945716 0.0848995
Pp0 (t ≤ l) 0.0000000 0.0000000 0.0000001 0.0000006 0.0000037 0.0000187 0.0000780 0.0002770 0.0008554 0.0023336 0.0056964 0.0125749 0.0253288 0.0469122 0.0804437 0.1285055 0.1923376 0.2711890 0.3620871 0.4601614 0.5594616 0.6540332 0.7389328
l 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45
Pp0 (t = l) 0.0719800 0.0577340 0.0438778 0.0316427 0.0216811 0.0141314 0.0087712 0.0051896 0.0029296 0.0015793 0.0008136 0.0004008 0.0001889 0.0000853 0.0000369 0.0000153 0.0000061 0.0000023 0.0000008 0.0000003 0.0000001 0.0000000 0.0000000
Pp0 (t ≤ l) 0.8109128 0.8686468 0.9125246 0.9441673 0.9658484 0.9799798 0.9887510 0.9939407 0.9968703 0.9984496 0.9992631 0.9996639 0.9998529 0.9999381 0.9999750 0.9999903 0.9999964 0.9999987 0.9999996 0.9999999 1.0000000 1.0000000 1.0000000
7.6.2 Pr¨ ufen der Gleichheit zweier Binomialwahrscheinlichkeiten Wir betrachten wieder das obige Zufallsexperiment, jedoch nun als Zweistichprobenproblem mit zwei unabh¨ angigen Stichproben X = (X1 , . . . , Xn1 ) bzw. Y = (Y1 , . . . , Yn2 ). Xi bzw. Y sind B(1; p1 )- bzw. B(1; p 2 )-verteilte Zufallsvan1 i n2 riablen. Damit ist X = i=1 Xi ∼ B(n1 ; p1 ) und Y = i=1 Yi ∼ B(n2 ; p2 ). ufen und bilden dazu die Wir wollen die Hypothese H0 : p1 = p2 = p pr¨ ur hinreichend großes n1 und n2 sind nX1 und nY2 Differenz D = nX1 − nY2 . F¨ n¨ aherungsweise normalverteilt: X approx. p1 (1 − p1 ) ∼ N p1 , , n1 n1 Y approx. p2 (1 − p2 ) ∼ N p2 , , n2 n2 so dass unter H0 D
approx.
∼
1 1 + N 0, p(1 − p) n1 n2
gilt. Die unter H0 in beiden Verteilungen identische Wahrscheinlichkeit p wird durch die Sch¨ atzfunktion
7.6 Pr¨ ufen von Hypothesen u ¨ ber Binomialverteilungen
pˆ =
X +Y n1 + n2
153
(7.25)
erwartungstreu gesch¨ atzt. Dann erhalten wir folgende Teststatistik D T (X, Y) = * pˆ(1 − pˆ) n11 +
1 n2
,
(7.26)
die f¨ ur große n1 , n2 n¨ aherungsweise N (0, 1)-verteilt ist. Der Test f¨ ur die einund zweiseitigen Fragestellungen verl¨ auft wie im Abschnitt 7.3.1. Beispiel 7.6.2 (Fortsetzung von Beispiel 7.6.1). Das Versandhaus kauft die beiden Konkurrenzunternehmen Erwin-Versand und Hugo-Versand auf. Es liegen zwei unabh¨ angige Stichproben (Ziehen mit Zur¨ ucklegen) vom Umfang n1 = 200 bzw. n2 = 250 aus den jeweiligen Kundendateien vor. In der Stichprobe des Erwin-Versands wird 35mal das Ereignis A beobachtet. 65mal tritt das Ereignis A in der Stichprobe des Hugo-Versands auf. X bzw. Y bezeichnen die Anzahl des Auftretens von Ereignis A in der Stichprobe 1 (Erwin-Versand) bzw. Stichprobe 2 (Hugo-Versand). X ist eine B(n1 ; p1 )verteilte und Y eine B(n2 ; p2 )-verteilte Zufallsvariable. Wir wollen pr¨ ufen, ob die Auftretenswahrscheinlichkeit f¨ ur Ereignis A in beiden Versandh¨ausern gleich groß ist, d. h., wir testen zweiseitig H0 : p1 = p2 = p gegen H1 : p1 = p2 . Die Irrtumswahrscheinlichkeit wird wieder mit α = 0.05 vorgegeben. Die gesch¨ atzten Wahrscheinlichkeiten f¨ ur das Ereignis A sind pˆ1 = 35/200 = 0.175 (Erwin-Versand) und pˆ2 = 65/250 = 0.260 (Hugo-Versand), ihre Differenz ist also d = 0.175 − 0.260 = −0.085. F¨ ur die Sch¨atzung der unter H0 in beiden Verteilungen identischen Wahrscheinlichkeit p ergibt sich gem¨ aß (7.25) der Wert pˆ =
100 35 + 65 = = 0.222. 200 + 250 450
F¨ ur die zweiseitige Fragestellung ergibt sich f¨ ur die Testgr¨oße T (X, Y) der Wert −0.085 t= # = −2.16. 1 1 + 250 0.222(1 − 0.222) 200 H0 wird abgelehnt, da |t| = 2.16 > 1.96 = z1−0.05/2 . 7.6.3 Exakter Test von Fisher Wir betrachten die gleiche Situation wie im letzten Abschnitt (Zweistichprobenproblem), jedoch mit der Einschr¨ ankung, dass die Stichprobenumf¨ange n1 und n2 klein sind und deshalb approximative Verfahren nicht angewendet werden k¨ onnen. Von Interesse sind die Wahrscheinlichkeiten p1 = P (Xi = 1)
154
7. Pr¨ ufen statistischer Hypothesen
und p2 = P (Yi = 1) sowie der Test f¨ ur die Hypothese H0 : p1 = p2 = p gegen die Alternative H1 : p1 = p2 . Konstruktion einer Testgr¨ oße verwenden wir die Zufallsvariablen X = nZur n2 1 i=1 Xi und Y = i=1 Yi sowie die bedingte Verteilung von X gegeben X + Y , die unter H0 durch P (X = t1 |X + Y = t1 + t2 = t) P (X = t1 )P (Y = t − t1 ) = P (X + Y = t) t−t n1 t n1 −t1 n2 1 1 (1 − p)n2 −(t−t1 ) t−t1 p t1 p (1 − p) n1 +n2 = pt (1 − p)n1 +n2 −t t n2 n1 t − t1 t1 = n1 + n2 t
(7.27)
gegeben ist. Unter H0 ist die bedingte Verteilung von X gegeben X + Y also die hypergeometrische Verteilung H(n1 + n2 , n1 , t) und damit unabh¨angig vom unbekannten p. Der kritische Bereich K = {0, . . . , ku − 1} ∪ {ko + 1, . . . , t} wird dann gem¨ aß (7.27) aus P (X > ko |X + Y = t) ≤ α/2 und P (X < ku |X + Y = t) ≤ α/2 so bestimmt, dass ku und ko die gr¨ oßte bzw. kleinste ganze Zahl ist, die die jeweilige Niveaubedingung einh¨ alt (Vorgehensweise analog zur Bestimmung der kritischen Werte in Abschnitt 7.6.1). Auch hier gilt, dass der Test das Niveau α nicht immer ganz aussch¨ opft (vgl. R¨ uger, 1996). Beispiel 7.6.3. Zwei Strategien A und B werden danach beurteilt, ob sie zu Erfolg oder Nichterfolg f¨ uhren. Mit p1 bezeichnen wir die Wahrscheinlichkeit P (Xi = 1) f¨ ur Erfolg unter Strategie A, mit p2 bezeichnen wir die Wahrscheinlichkeit P (Yi = 1) f¨ ur Erfolg unter Strategie B. Wir wollen pr¨ ufen, ob sich die beiden Strategien A und B hinsichtlich ihrer Erfolgsquote signifikant unterscheiden, d. h., wir pr¨ ufen die Hypothese H0 : p1 = p2 = p gegen die Alternative H1 : p1 = p2 . Wir setzen das Signifikanzniveau als α = 0.05 fest. In der folgenden Tabelle sind die Ergebnisse des Zufallsexperiments angegeben. Strategie A Strategie B
Erfolge 8 5 13
Mißerfolge 3 3 6
n1 = 11 n2 = 8 n1 + n2 = 19
7.6 Pr¨ ufen von Hypothesen u ¨ ber Binomialverteilungen
155
Wir haben n1 = 11, n2 = 8, t1 = 8, t2 = 5 und damit n = n1 + n2 = 19 und t = t1 + t2 = 13. Die bedingte Verteilung von X unter der Bedingung X + Y = t ist die hypergeometrische Verteilung H(19, 11, 13). Wir berechnen k 0 1 2 3 4 5 6 7 8 9 10 11 12 13
P (X = k|X ⎫ + Y = 13) 0.00000 ⎪ ⎪ ⎪ 0.00000 ⎪ ⎪ ⎪ ⎬ 0.00000 = 0.01703 < α/2 0.00000 ⎪ ⎪ ⎪ 0.00000 ⎪ ⎪ ⎪ ⎭ 0.01703 0.13622 ku 0.34056 0.34056 0.14190 ⎫ko 0.02270 ⎪ ⎪ ⎬ 0.00103 = 0.02373 < α/2 0.00000 ⎪ ⎪ ⎭ 0.00000
Daraus erhalten wir K = {0, . . . , ku − 1} ∪ {ko + 1, . . . , t} = {0, . . . , 5} ∪ {10, . . . , 13}, so dass H0 wegen X = 8 ∈ K nicht abgelehnt wird. Beide Strategien k¨ onnen als gleich gut angesehen werden. Anmerkung. Die bedingten Wahrscheinlichkeiten P (X = 0|X + Y = 13), . . ., P (X = 4|X + Y = 13) und P (X = 12|X + Y = 13), P (X = 13|X + Y = 13) sind Null, da diese Ereignisse unm¨ oglich sind. 7.6.4 McNemar-Test f¨ ur bin¨ aren Response Wir betrachten nun ein matched-pair Design mit den beiden Zufallsvariablen X und Y , die jedoch jeweils nur zwei m¨ogliche Auspr¨agungen x1 , x2 bzw. y1 , y2 besitzen. Wir verwenden standardm¨aßig die Kodierungen 0 und 1 (bin¨ arer Response), so dass die Paare (xi , yi ) die Responsetupel (0, 0), (0, 1), (1, 0) oder (1, 1) bilden. Die Ergebnisse werden in einer 2 × 2-Tafel zusammengefaßt. X Y
0
1 Summe
0 A
1 C
B A+B
D C +D
Summe A+C B+D A+B+C +D =n
Wir testen die Nullhypothese H0 : P (X = 1) = P (Y = 1) gegen H1 : P (X = 1) = P (Y = 1). Dieser Test ist damit das Pendant zum exakten Test von Fisher f¨ ur den matched-pair Fall.
156
7. Pr¨ ufen statistischer Hypothesen
Der Test basiert auf den relativen (Rand-) H¨aufigkeiten, die sich in B und C (den H¨ aufigkeiten f¨ ur die diskordanten Ergebnisse (0, 1) bzw. (1, 0)) ußten b und c (Realisierungen der Zufallsvariablen unterscheiden. Unter H0 m¨ B und C) gleich groß sein. Unter fest vorgegebener Summe b + c ist C = Anzahl der (1, 0)-Paare“ damit eine binomialverteilte Zufallsvariable: C ∼ ” B(b + c; 1/2). Also gilt E(C) = (b + c)/2 und Var(C) = (b + c) · 12 · 12 . Damit ist der folgende Quotient unter H0 standardisiert: C − (b + c)/2 . (b + c) · 1/2 · 1/2
(7.28)
F¨ ur hinreichend großes (b + c) folgt nach dem zentralen Grenzwertsatz, dass (7.28) N (0, 1)-verteilt ist. Diese N¨ aherung gilt ab (b + c) ≥ 20. Damit hat die Teststatistik folgende Gestalt: Z=
2C − (b + c) √ . b+c
(7.29)
Die Teststatistik von McNemar ist das Quadrat dieser Z-Statistik. Sie wird im Fall (b + c) ≥ 20 und bei zweiseitiger Fragestellung verwendet und folgt einer χ2 -Verteilung mit einem Freiheitsgrad: (2C − (b + c))2 ∼ χ21 b+c
(7.30)
(b − c)2 (2c − (b + c))2 = . b+c b+c
(7.31)
Z2 = mit der Realisierung z2 =
F¨ ur kleine Stichproben w¨ ahlt man als Testgr¨oße C und als kritische Werte die Quantile der Binomialverteilung B(b + c; 12 ). F¨ ur (b + c) ≥ 20 w¨ahlt man als Testgr¨ oße Z (bzw. Z 2 ) und die Quantile der Standardnormalverteilung (bzw. der Chi-Quadrat-Verteilung). Beispiel 7.6.4. In einem matched-pair Design werden n = 210 Studenten bez¨ uglich ihrer Leistungen im Seminar und im Praktikum eingesch¨atzt. Seien X (Leistung im Seminar) und Y (Leistung im Praktikum) bin¨ar kodiert mit 0 (zufriedenstellend), 1 (nicht zufriedenstellend). Y X
0 1
0 10 70 80
1 50 80 130
60 150 210
Wir pr¨ ufen H0 : P (X = 1) = P (Y = 1) und erhalten den Wert der Teststatistik (7.31)
7.7 Testentscheidung mit Statistik Software
157
X&Y Y X 0 1
0 10 70
1 50 80
Test Statisticsb N Chi-Square a Asymp. Sig.
X&Y 210 3.008 .083
a. Continuity Corrected b. McNemar Test Abb. 7.9. SPSS-Output zu Beispiel 7.6.4
z2 =
400 (70 − 50)2 = = 3.33 < 3.84 = c1;0.95 , 70 + 50 120
so dass wir H0 nicht ablehnen. Hierbei ist zu beachten, dass SPSS bei der Auswertung von (7.31) eine Stetigkeitskorrektur (|b−c|−1)2 )/(b+c) verwendet, so dass wir Chi-Square 3.008 anstelle von z 2 = 3.33 erhalten.
7.7 Testentscheidung mit Statistik Software In der klassischen Testtheorie wird eine Hypothese H0 zugunsten der Alternative H1 verworfen, wenn der aus der Stichprobe berechnete Wert der Testgr¨ oße einen zugeh¨ origen kritischen Wert zu vorgegebenem Signifikanzniveau α u ur die verschiedenen ¨berschreitet. Die kritischen Werte der Tests sind f¨ Verteilungen der Testgr¨ oßen tabelliert, so dass die Testentscheidung durch Vergleich der berechneten Testgr¨ oße und des Tabellenwertes getroffen werden kann. Softwarepakete geben zu den berechneten Testgr¨oßen (TG) sogenannte p-values aus, anhand derer die Testentscheidung getroffen werden kann. Die Analogie beider Vorgehensweisen soll im Folgenden erl¨autert werden. Der zweiseitige p-value ist wie in Abschnitt 7.2 definiert durch p-value = PH0 (|x| > |T G|)
−T G fT G (x)dx + = −∞
∞
TG
fT G (x)dx .
158
7. Pr¨ ufen statistischer Hypothesen
z1−α/2
zα/2 = −z1−α/2
Abb. 7.10. Ablehnbereich (−∞, −z1−α/2 ) ∪ (z1−α/2 , ∞) des zweiseitigen GaussTests. Die graue Fl¨ ache ist gem¨ aß der Definition von z1−α/2 gleich α/2 + α/2 = α
Er entspricht also der Wahrscheinlichkeit, dass bei G¨ ultigkeit von H0 ein Wert x beobachtet wird, der ‘extremer’ ist als der beobachtete Wert der Testgr¨oße, was genau der Fl¨ ache unter der Dichte von T G f¨ ur Werte gr¨oßer als |T G| entspricht. Die beiden Integrale sind f¨ ur symmetrische Pr¨ ufverteilungen wie die Normal- oder t-Verteilung gleich, da die Dichte hier symmetrisch zu Null ist. Es gilt also
p-value = 2
∞
fT G (x)dx .
TG
F¨ ur die einseitige Fragestellung ist je nach Richtung der Hypothese eines der beiden Integrale nicht von Bedeutung. Der Wert kann also halbiert werden. Testentscheidung
Wir wollen die Testentscheidungen f¨ ur die ein- und zweiseitigen Fragestellungen hier am Beispiel des Gauss-Tests aus Abschnitt 7.3.1 vorstellen. Zweiseitige Fragestellung. F¨ ur den zweiseitigen Gauss-Test wird die Nullhypothese H0 : μX = μ0 zugunsten der Alternative H1 : μX = μ0 verworfen – der Test lehnt H0 ab – falls die Realisierung der Testgr¨oße T G gr¨ oßer als z1−α/2 bzw. kleiner als −z1−α/2 ist. Der Ablehnbereich (−∞, −z1−α/2 ) ∪ (z1−α/2 , ∞) ist in Abbildung 7.10 dargestellt. In Abbildung 7.11 wird eine Situation dargestellt, die zum Ablehnen von H0 f¨ uhrt. Die Realisation der Testgr¨ oße ist gr¨ oßer als z1−α/2 . Die Fl¨ache unter der Dichte rechts von T G ist damit kleiner als α/2. Der p-value entspricht der Summe dieser Fl¨ ache und dem Pendant auf der negativen Halbachse. Es gilt also insgesamt p-value < α (Ablehnen von H0 ). uhrt. Abbildung 7.12 zeigt die Situation, die nicht zum Verwerfen von H0 f¨ Die Realisation der Testgr¨ oße ist kleiner als z1−α/2 . Die Fl¨ache unter der Dichte rechts von T G ist damit gr¨ oßer als α/2. Es gilt also insgesamt p-value > α (H0 wird beibehalten).
7.7 Testentscheidung mit Statistik Software
−T G
−z1−α/2
z1−α/2
159
TG
Abb. 7.11. Zweiseitiger Gauss-Test: Ablehnen von H0 . Die schraffierte Fl¨ ache rechts von T G ist kleiner als α/2 (graue Fl¨ ache). Insgesamt gilt p-value < α
−z1−α/2
−T G
TG
z1−α/2
Abb. 7.12. Zweiseitiger Gauss-Test: H0 wird nicht abgelehnt. Die dunkle Fl¨ ache rechts von T G ist gr¨ oßer als α/2. Insgesamt gilt p-value > α.
Einseitige Fragestellung. F¨ ur den einseitigen Gauss-Test wird die Nullhypothese H0 : μX ≤ μ0 zugunsten der Alternative H1 : μX > μ0 verworfen – der Test lehnt H0 ab – falls die Realisierung der Testgr¨oße T G gr¨oßer als z1−α ist (die umgekehrte Fragestellung H0 : μX ≥ μ0 wird analog behandelt und deshalb hier nicht n¨ aher erl¨ autert). Der Ablehnbereich (z1−α , ∞) ist in Abbildung 7.13 dargestellt. Die Entscheidung H0 abzulehnen oder beizubehalten verl¨auft analog zur Vorgehensweise beim zweiseitigen Test. In Abbildung 7.14 werden die Ablehnbereiche der ein- und der zweiseitigen Fragestellung verglichen. Hier ist die Fl¨ ache unter der Dichte rechts von z1−α gleich der Summe der Fl¨ achen unter der Dichte links von −z1−α/2 und rechts von z1−α/2 .
160
7. Pr¨ ufen statistischer Hypothesen
z1−α Abb. 7.13. Ablehnbereich (z1−α , ∞) beim einseitigen Gauss-Test. Die graue Fl¨ ache ist α.
−z1−α/2
z1−α
z1−α/2
Abb. 7.14. Vergleich der Ablehnbereiche (z1−α , ∞) beim einseitigen und (−∞, −z1−α/2 ) ∪ (z1−α/2 , ∞) beim zweiseitigen Gauss-Test. Die Summe der hellgrauen Fl¨ achen ist gleich der dunkelgrauen Fl¨ ache; jeweils gleich α.
7.8 Aufgaben und Kontrollfragen
161
7.8 Aufgaben und Kontrollfragen Aufgabe 7.1: Erl¨ autern Sie die Vorgehensweise beim Signifikanztest. Aufgabe 7.2: Eine Mensa bezieht Semmeln aus einer Großb¨ackerei. Diese garantiert ein mittleres Gewicht von mindestens 45 g bei einer Standardabweichung von 2 g. Die Mensa unterzieht die t¨agliche große Lieferung einer Pr¨ ufung bez¨ uglich des Sollgewichts. a) Wie lauten Null- und Alternativhypothese? b) Bestimmen Sie den Annahme- und Ablehnungsbereich f¨ ur α = 0.05 und den Stichprobenumfang n = 25 unter Verwendung der Normalverteilung. c) Eine Stichprobe liefert x = 44g. Wie entscheiden Sie? Aufgabe 7.3: Eine Gastst¨ atte bezieht die 1/2-Liter-Bierflaschen aus einer kleinen Brauerei im Nachbarort. Nach mehreren Beschwerden seiner G¨aste, dass die Flaschen weniger als 1/2 Liter Bier enthalten w¨ urden, fordert der Gastwirt den Brauereibesitzer auf, seine Abf¨ ullanlage u ufen zu lassen. ¨berpr¨ Zu diesem Zweck wird eine Zufallsstichprobe vom Umfang n = 150 Flaschen ausgew¨ ahlt. Bei deren Untersuchung ergaben sich die folgenden Werte: x¯ = 498.8 ml und s = 3.5 ml (Normalverteilung vorausgesetzt). a) Ist der Verdacht der Besucher der Gastst¨ atte bei einem Signifikanzniveau von 1% gerechtfertigt? b) Der Brauereibesitzer behauptet nun, dass das Ergebnis der Stichprobe ¨ nicht widerlegen w¨ urde, dass seine Flaschen genau 500 ml enthalten. Uberpr¨ ufen Sie diese Behauptung bei α = 0.01. c) Ein Jahr sp¨ ater wird nochmals eine Untersuchung durchgef¨ uhrt, allerdings diesmal nur mit n = 20 Flaschen. Die Stichprobenresultate sind diesmal x ¯ = 498.1 und s = 3.7. Wie lauten die Tests aus (a) und (b) unter Verwendung dieser Werte? Aufgabe 7.4: In den Bundesl¨ andern Baden–W¨ urttemberg und Bayern wurde eine Untersuchung u ¨ber das monatliche Bruttoeinkommen von Hochschulabsolventen durchgef¨ uhrt. Eine Stichprobe von je 41 Absolventen ergab in Baden–W¨ urttemberg ein durchschnittliches Monatseinkommen von x = 3025 Euro bei einer Varianz von s2x = 41068 bzw. in Bayern von y = 2846 Euro mit s2y = 39236. Es soll angenommen werden, dass die Bruttoverdienste in beiden Bundesl¨ andern normalverteilt sind. Pr¨ ufen Sie anhand der Stichprobenergebnisse, ob von einer Gleichheit der Varianzen ausgegangen werden kann (α = 0.05). Hinweis: Das f¨ ur den Test ben¨otigte F -Quantil lautet F40,40,0.975 = 1.88. Aufgabe 7.5: W¨ ahrend eines Behandlungszeitraumes von einem Jahr wird ein cholesterinsenkendes Pr¨ aparat A an 15 Versuchspersonen, ein ebenso wirkendes Mittel B an 17 Personen verabreicht. Stichprobenmittel und -varianz der in dieser Zeit erzielten Senkung des Cholesterinspiegels (in mg) lauten:
162
7. Pr¨ ufen statistischer Hypothesen
A-Personen: x ¯A = 102;
s2A = 37;
B-Personen: x ¯B = 86;
s2B = 48.
Kann aus diesen Beobachtungen mit einer Irrtumswahrscheinlichkeit von h¨ochstens 0.05 darauf geschlossen werden, dass Pr¨aparat A im Durchschnitt zu einer um mehr als 10 mg h¨ oheren Senkung des Cholesterinspiegels f¨ uhrt als Pr¨ aparat B?