This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
p und P{X > Xp) >1 — p gilt, heifit p-Quantil der diskreten Zufallsvariable X mit Verteilungsfunktion F{x). Fiir p = 0.5 heiiJt XQ.S Median. Bei dieser Definition treten die gleichen Schwierigkeiten auf wie bei der Definition von empirischen Quantilen: Xp ist nicht immer eindeutig. Dies wird fiir den Median, d.h. fiir p = 0.5, in der folgenden Abbildung 5.11 veranschaulicht.
F{x) 1-
k
x) 1,
. 1 1 1
1 1
1 1
1 1
1 2
1 2 , 1 1 1
1 1 1
• ^0.5
X
^ -
ABBILDUNG 5.11: Eindeutiger Median (links) und nicht eindeutiger Median (rechts)
Falls F{x) den Wert 0.5 liberspringt (Abb. 5.11, links) so ist der Median eindeutig. Nimmt jedoch wie in Abbildung 5.11 (rechts) F{x) den Wert 0.5 an, so erfiillt jeder a:-Wert in dem zur Treppe gehorigen Intervall die Definition. Man kann z.B. wie in Abschnitt 2.2.2 den Mittelpunkt des Intervalls als eindeutigen Median wahlen oder auch den hnken Randpunkt. Bei der zweiten Festlegung erreicht man, dafi der Median zum Trager der Verteilung gehort. Die gleichen Uberlegungen gelten entsprechend fiir beliebige Quantile. Varianz und Standardabweichung
Varianz und Standardabweichung sind die wichtigsten Streuungsparameter einer diskreten Zufallsvariable. Sie sind in Analogic zu den entsprechenden empirischen Mai3zahlen definiert und setzen metrisch skaherte Zufallsvariablen voraus. Wir ersetzen dazu in Abschnitt 2.2 Auspragungen a i , . . . , a^,... durch o^i,..., x^,..., relative Haufigkeiten / i , . . . , A , . . • d u r c h p i , . . . ,PA:J • • • und das arithmetische Mittel x durch den Erwartungswert /x = E{X).
5.2 Verteilungen und Parameter von diskreten Zufallsvariablen
249
Varianz und Standardabweichung einer diskreten Zufallsvariable
Die Varianz einer diskreten Zufallsvariable ist a^ = Var{X) = {xi ~ fxfpi + . . . + (x^ - / / ) V + • • • i>l
Die Standardabweichung ist a =
+^/Var{X).
Fiihrt man die Zufallsvariable (X — /i)^ ein, so lafit sich die Varianz gemalS dieser Definition auch in der folgenden Form schreiben:
Varianz als erwartete quadratische Abweichung
Var{X) = E{X - fif
Damit kann sie als die zu erwartende quadratische Abweichung der Zufallsvariable X von ihrem Erwartungswert interpretiert werden. In der Hdufigkeitsinterpretation von Erwartungswerten bedeutet dies, dafi bei n unabhangigen Wiederholungen von X mit den Werten xi^... ^Xn die durchschnittliche quadrierte Abweichung
Hdufigkeitsinterpretation
'='-t(->--)' fill grofie n mit hoher Wahrscheinlichkeit nahe bei a^ liegen wird. Ahnlich wie beim Erwartungswert mu6 man bei unendlich-diskreten Zufallsvariablen voraussetzen, dafi die auftretenden Summen einen endlichen Wert ergeben. Aus der Definition ergibt sich, dafi Var{X) > 0 ist und dafi Var{X) = 0 genau dann gilt, wenn X nur den einen Wert x = fi annehmen kann. Eine solche '^Zufallsvariable" ist deterministich, also eine feste Zahl /i. Ihre Varianz ist gleich null und ihre Verteilung heifit "entartet", da P{X = x) = 0 fiir alle x ^ /j. gilt. Fiir Varianzen gelten in Analogic zu empirischen Varianzen die Verschiebungsregel und die Regel fiir lineare Transformationen. Diese Regeln sind zum Berechnen von Varianzen oft hilfreich.
entartete Zufallsvariable
5. Diskrete Zufallsvariablen
250
Verschiebungsregel Var(X) == E{X^) -- {E{X)f = E{X^) --M^ bzw. allgemeiner Var{X) = E{{X - c)^) -- ( / x - c ) 2 . Die einfachere Form der Verschiebungsregel ergibt sich aus der allgemeinen Regel fiir c = 0. Der Beweis erfolgt direkt in Analogie zum Beweis des Verschiebungssatzes in Abschnitt 2.2.3 oder so: Var{X) = E{X - iif = E{X^ - 2fiX + /x^). Wegen der Linearitat des Erwartungswertes folgt Var{X) = E{X^) - 2/i£;(X) + //^ = E{X^) - 2//^ + ^^2 ^
Die Verschiebungsregel vereinfacht das Berechnen der Varianz, wenn vorher bereits der Erwartungswert berechnet wurde. Man bildet dann die Tabelle p
Pi
•
X
Xl
.
x2
7-2
••
..
Pk
...
Xi
. .
Xk
...
J2 XiPi = M
. -? .
. .
Xj^
...
Zxh^=EiX')
Pi
•
und berechnet daraus die Varianz. Lineare Transformation Fiir y = a Z + 6 ist Var{Y) = Var{aX + b) = a^VariX)
und
ay = \a\ax.
Man kann dies wieder ahnlich wie fiir empirische Varianzen zeigen oder wie folgt: Var{aX + b) = E{aX + b-afi-bf = a^E{{X - /i)2) =
unabhdngig
= E{aX - a/i)^ = c?Var{X),
wobei die Linearitat des Erwartungswertes ausgenutzt wurde. Fiir die Summe von Zufallsvariablen erhalt man eine ahnlich einfache Regel, wie fiir Erwartungswerte, wenn die Variablen unabhdngig sind. Ohne diese Vorausset-
5.2
Verteilungen und Parameter von diskreten Zufallsvariablen
251
zung gelt en die folgenden Formeln i.a. nicht.
Varianz der Summe von unabhangigen Zufallsvariabler1 Fiir unabhangige Zufallsvariablen X und Y bzw. X i , . . . , Xn gilt Var{X + Y) --= Var{X) + Var{Y) und mit beliebigen Konstanten a i , .
' 5^n
Var{aiXi + . . . + anXn) == alVar{Xi)
+ ... +
alVariXn).
Der Beweis der ersten Formel ist aufwendig. Die zweite ergibt sich daraus in Kombination mit der Regel fiir lineare Transformationen. Binare Zufallsvariablen
Beispiel 5.13
Fur binare NuU-Eins-Variablen mit P{X = 1) = TT, P{X = 0) = 1 -TT gilt E{X) = n. Fiir E{X'^) erhalt man E{X^)=0\l-iT)-\-l^'7r = 7r, und mit der Verschiebungsregel ergibt sich Var{X)
= TT — TT'^ = 7r(l — TT) .
Man kann X als metrische Zufallsvariable interpretieren: X zahlt, mit den Werten 0 oder 1, das Eintreten von A bei einmaliger Durchfiihrung des Zufallsvorgangs. Die Varianz 7r(l — TT) ist klein, wenn TT = E{X) nahe bei 0 oder 1 liegt, d.h. wenn die Wahrscheinlichkeit fiir A gering oder grofi ist. Var{X) wird am grofiten (= 0.25) fiir n = 0.5, d.h. wenn die Unsicherheit, ob A oder A eintritt, am grofiten ist. D
Wiirfeln
Beispiel 5.14
Beim einmaligen Wiirfeln mit X = "Augenzahl" gilt nach Beispiel 5.10 (Seite 243) E{X) = 7/2. Mit der Verschiebungsregel erhalten wir Var{X) = {l'-\-2^ + ...^6')^^-(^]
91
49
= ^ - ^
70
24
2.92.
Betrachten wir zum Vergleich eine Zufallsvariable y , die nur die Werte 1 und 6 jeweils mit Wahrscheinlichkeit P{Y = 1) = P{Y = 6) = 1/2 annimmt. Dann gilt E{Y) = 7/2 wie bei X, jedoch ist Var{Y) =
-{l'^6')
37
49
= 6.25.
252
5. Diskrete Zufallsvariablen
d.h. Y hat eine grofiere Varianz als X, da die Werte von Y im Mittel weiter ((6 — 3.5)^ = (1 - 3.5)2 ^ g 25) von /x = 7/2 liegen. Beim zweimaligen Wiirfeln mit X = "Augensumme" kann man analog, aber muhsam
berechnen. Die gleiche Zahl ergibt sich jedoch wesentlich einfacher durch die Regel fiir die Varianz einer Summe von unabhangigen Zufallsvariablen: Wenn Xi die Augenzahl beim ersten Wurf und X2 die Augenzahl beim zweiten Wurf bezeichnet, so sind Xi und X2 unabhangig, und es ist X = Xi + X2 die Augensumme. Damit gilt Var{X) = Var{X,) + Var{X2) = ^ + ^ = f •
Beispiel 5.15
Geometrische Verteilung
Fiir eine geometrisch verteilte Zufallsvariable X gilt E{X) = I/TT. Die Berechnung der Varianz ist ebenfalls aufwendig. Es lafit sich zeigen, dafi Var{X) =
^
gilt.
5.3
parametrische Verteilungen
D
Spezielle diskrete Verteilungsmodelle
Dieser Abschnitt beschreibt einige weitere diskrete Verteilungen, die haufig zur Modellierung von Zufallsvorgangen und zur Datenanalyse mittels induktiver Statistik eingesetzt warden. Zwei ofter verwendete spezielle Verteilungen haben wir bereits im vorangehenden Abschnitt kennengelernt: die diskrete Gleichverteilung und die geometrische Verteilung. Dabei handelt es sich jeweils u m eine Familie von parametrischen Verteilungen: Die Wahrscheinlichkeitsfunktion hangt noch von einem oder auch mehreren Parametern ab, wie etwa von der Erfolgswahrscheinlichkeit TT bei der geometrischen Verteilung. Erst wenn fiir die Parameter numerische Werte eingesetzt werden, ist die Wahrscheinlichkeitsfunktion eindeutig festgelegt. In Anwendungen werden die Parameterwerte so festgelegt, dafi eine moghchst gute Ubereinstimmung mit einer aus Daten gewonnenen empirischen Verteilung erzielt wird, siehe dazu Kapitel 9.
5.3
Spezielle diskrete Verteilungsmodelle
253
Damit wird auch der Modellcharakter spezieller parametrischer Verteilungen deutlich: In der Kegel gelingt es nur in einfachen Situationen und unter gewissen Idealisierungen, etwa bei Gliicksspielen, durch logische Kausalschllisse zu zeigen, dafi eine bestimmte Verteilung dem Sachverhalt exakt angepafit ist. Meistens lafit sich nur feststellen, auch mit Mitteln der Statistik, ob eine gewahlte Verteilung dem Sachverhalt und den Daten gut oder schlecht angepafit ist. 5.3.1
Modellcharakter
Die Binomialverteilung
Mit der in den Beispielen 5.6 (Seite 232) und 5.11 (Seite 244) betrachteten Anzahl von Treffern wurde bereits exemplarisch eine spezielle, binomialverteilte Zufallsvariable betrachtet. Im folgenden werden die dabei erhaltenen Ergebnisse und Eigenschaften allgemein formuliert. Wir betrachten eine BernouUi-Kette von n-mal wiederholten Bernoulli-Experimenten mit n = P{A) fiir das interessierende Ereignis und der Folge Ai, ^ 2 , . . . , ^n von unabhangigen Ereignissen. Dabei steht Ai fiir das Eintreten von A im i-ten Versuch. Zur BernouUi-Kette definieren wir die Zufallsvariable X = "Anzahl der Versuche, bei denen A eintritt" . Einfache Beispiele hierfiir sind das wiederholte Werfen von Miinzen bzw. Wiirfeln, wobei X zahlt wie oft "Kopf" bzw. "Sechs" auftritt. Das Standardmodell fiir eine BernouUi-Kette ist da.s Ziehen mit Zurilcklegen aus einer Urne, die N Kugeln, darunter M schwarze, enthalt. Daraus werden zufallig und mit Zurilcklegen nacheinander n Kugeln gezogen. Die Ereignisse Ai "Bei der i-ten Ziehung wird eine schwarze Kugel gezogen" sind dann unabhangig und es ist P{Ai) = M/N = n. Ahnhche Zufallsvorgange treten bei vielen Gliicksspielen, aber auch beim zufaUigen Ziehen mit Zuriicklegen aus einer endlichen Grundgesamtheit auf. Auch bei der laufenden Gut/Schlecht-Priifung im Beispiel 5.8 (Seite 241) kann man oft von einer BernoulliKette ausgehen, bei der X die Anzahl defekter Stiicke bedeutet. Das Beispiel 5.9 (Seite 241) zeigt, dafi auch bei zufalligem Ziehen ohne Zurilcklegen angenahert eine Bernoulli-Kette vorliegt, wenn das Verhaltnis n/N klein ist. Die Zufallsvariable X ist somit bei vielen Zdhlvorgdngen von Bedeutung. Die Wahrscheinlichkeitsfunktion von X lafit sich (in Verallgemeinerung der Uberlegungen in Beispiel 5.6, Seite 232) folgendermafien ableiten: Der Trager von X ist T = { 0 , 1 , . . . , n}. Das Ereignis {X = x} resultiert z. B. fiir die Ereignisfolge
AiA2"'A:,A:,^l'"An, bei der in der Bernoulli-Kette zuerst x-mal das Ereignis A und anschliefiend (n — x)-
Urnenmodell Ziehen mit Zurilcklegen
Ziehen ohne Zurilcklegen
254
5. Diskrete Zufallsvariablen
mal A auftritt. Wegen der Unabhangigkeit der einzelnen Versuche gilt P{AiA2 • • -^x^x+i • "An) = 7r',.,'n{l V
- TT) • . . . • (1 - TT) =
's
^
rr-mal
/
(n-x)-mal
^—x = 7r^(l-7r)^-
Das Ereignis {X = x} tritt aber auch ein, wenn x-mal A und (n — x)-mal A in irgendeiner anderen Reihenfolge erscheinen. Die Wahrscheinlichkeit ist dabei jeweils ebenfalls 7r^(l — TT)"'"^. Insgesamt gibt es nach Abschnitt 4.3 genau (^) verschiedene derartige Reihenfolgen. Damit folgt P(X = x ) = Q 7 ^ - ( l - 7 r r - ^
x =
0,l,..., n.
Man nennt eine Zufallsvariable mit dieser Wahrscheinlichkeitsfunktion binomialverteilt. Binomialverteilung
Eine Zufallsvariable heifit binomialverteilt mit den Parametern n und TT, kurz X ^ B(n, TT), wenn sie die Wahrscheinlichkeitsfunktion
;(,) = / C M l - - r - ^
X = 0 , 1 , . . . ,n sonst
besitzt. Die Verteilung heifit Binomialverteilung oder kurz S(n,7r)-Verteilung. Sie ergibt sich, wenn aus n unabhangigen Wiederholungen eines BernoulliExperiments mit konstanter Wahrscheinlichkeit TT die Summe der Treffer gebildet wird. Die folgende Abbildung 5.12 zeigt fiir n = 10 zu verschiedenen Werten von TT die Wahrscheinlichkeitshistogramme der Binomialverteilung. Man erkennt, dafi die Verteilung fiir n < 0.5 linkssteil ist und zwar umso deutlicher, je kleiner n ist. Fiir TT = 0.5 ist die Verteilung symmetrisch zum Wert x = nn. Fiir TT > 0.5 erhalt man rechtssteile Verteilungen als "Spiegelbild" zu entsprechenden linkssteilen Verteilungen (etwa n = 0.25 und TT = 0.75). Fiir grofieres n lafit sich das Wahrscheinlichkeitshistogramm gut durch die Dichtekurve einer Normal verteilung mit fi = n7r und cr^ = n7r(l — TT) approximieren, siehe die Abbildungen 5.13. Diese Approximation ist umso besser, je naher n bei 0.5 liegt, und wird schlechter, je naher n bei 0 oder 1 hegt. Die theoretische Rechtfertigung liefert der zentrale Grenzwertsatz aus Abschnitt 7.1.2.
5.3
255
Spezielle diskrete Verteilungsmodelle
7r = 0.1
7r = 0.25
0.4 H
0.4 H
0.3
0.3 H
0.2
0.2 H
0.1
0.1 A
0
I
I
I
I
I
I
I
I
I
0 1 2 3 4 5 6 7 8
I
I
'
0-L
I ' I ' I ' I
9 10
7r = 0.5
I I
I—I—I—'
10
7r = 0.75
0.4
0.4 H
0.3
0.3
0.2
0.2 H
0.1 -\
0.1
0
I
0 1 2 3 4 5 6 7 8 9
0=^
-^Jd
0 1 2 3 4 5 6 7 8 9
0
- I — I — I — r ^
10
0 1 2 3 4 5 6 7 8 9
10
ABBILDUNG 5.12: Wahrscheinlichkeitshistogramme von Binomialverteilungen fiir n = 10
Erwartungswert und Varianz der B(n, 7r)-Verteilung lassen sich leicht berechnen, wenn man die unabhangigen Indikatorvariablen Xi =
1, falls beim i-ten Versuch A eintritt 0,
falls beim i-ten Versuch A nicht eintritt,
i == 1 , . . . , n, einfiihrt. Fiir diese gilt P(Xi
= 1) = TT,
P{Xi
= 0) = 1 - TT,
E{Xi)
= TT,
Var{Xi)
= 7r(l - TT) .
Jedes Xi ist also binomialverteilt mit n — 1 und TT. Offensichtlich lafit sich X in der Summendarstellung X = Xi + .,, + Xn schreiben. Daraus folgt nach den Rechenregeln fiir Erwartungswerte und fiir Varianzen unabhangiger Zufallsvariablen E{X) - E{Xi) + ... + EiXn) = nn, Var{X) = Var{Xi) + . . . + Var{Xn) = n7r(l - TT) .
Summendarstellung
5. Diskrete Zufallsvariablen
256
n = 30, 7r = 0.1
n = 10, 7r = 0.1
J
n—\—\—\—I—I—I—I—r - 3 - 2 - 1 0 1 2 3 4 5 6 7
I I ikw II—I—I—I—I—r-* - 5 - 2 1 4 7 10 13 16 19 22 25
n = 10, 7r = 0.5
n = 3 0 , 7r = 0.5
0.4 H
0.24 H
0.3
0.18 H
0.2
0.12 H
0.1
0.06 H -
p
^
I
•
0 1 2 3 4 5 6 7 8 9
/TN
J
k
f-n—I—r -1—I—n-T 0 3 6 9 1215 18 2124 27 30
10
ABBILDUNG 5.13: Approximation von Wahrscheinlichkeitshistogrammen
durch Dichtekurven der Normalverteilung
Erwartungswert und Varianz einer J5(n,7r)-verteilten Zufallsvariable X: E{X) = mx,
Var{X) = n7r(l - TT) .
Folgende beide Eigenschaften sind oft niitzlich:
Additionseigenschaft Sind X ~ S ( n , TT) und Y ~ jB(m, TT) unabhangig, so ist X + y ~ B{n + m, TT).
5.3 Spezielle diskrete Verteilungsmodelle
257
Symmetrieeigenschaft Sei X ~ B{n,
TT)
und Y =-n --X. Dann gilt Y ~5(n,l-
TT).
Die Summe von unabhangigen binomialverteilten Zufallsvariablen mit gleichem Parameter TV ist also wieder binomialverteilt. Die Eigenschaft ergibt sich aus der Darstellung von X und Y als Summe von Indikatorvariablen. Die Symmetrieeigenschaft folgt aus /^(.:) = P ( X = x ) = ( ^ ) 7 r ^ ( l - 7 r r - = f = Q
^ J a - T T ) n—x^n—(n—x)
(1 - 7 r ) % " - ^ = P{Y = y) = / y ( y ) .
Zum praktischen Arbeiten ist die Verteilungsfunktion X
B{x\n, TT) = P{X
< x\n, vr) = ^ f{t) t=o
iiir ausgewahlte Werte von n und in der Kegel fiir n < 30 tabelliert (Tabelle B). Dabei genligt es wegen der Symmetrieeigenschaft, die Tabelle nur fiir TT < 0.5 anzulegen. Fiir TT > 0.5 gilt B{x\n,TT)
= P{X < x\n,TT) = P{Y >n-
x\n,n)
= 1 - P{Y < n - x - l | n , 1 - TT) = 1 - B ( n - X - l | n , 1 - TT) . Die Wahrscheinlichkeitsfunktion ergibt sich aus den Tabellen durch f{x)
= P{X
= x) = B{x\n, TT) - B{x - l | n , TT) .
Fiir grofieres n verwendet man die Approximation vgl, Abschnitt 7.2.
durch eine
Normalverteilung^
Treffer und Nieten
Normalverteilungsapproximation Beispiel 5.16
(a) In Beispiel 5.6 (Seite 232) gilt fiir die Anzahl X von Treffern bei drei unabhangigen Ausspielungen der Lotterie X ~ 5(3,0.20). Die in Beispiel 5.6 direkt berechnete WahrscheinHchkeitsfunktion von X ergibt sich auch aus Tabelle B der Verteilungsfunktion 5(x|3,0.20) dieser Binomialverteilung. Beispielsweise liest man fiir x = 0 P{X = 0)= B(0|3,0.20) = 0.512
5. Diskrete Zufallsvariablen
258
ab. Mit P{X
5(1|3,0.20) = 0.896
erhalt man den Wert P{X = 1)= P{X < 1) - P{X = 0)= 0.896 - 0.512 = 0.384 wie in der Wahrscheinlichkeitstabelle von Beispiel 5.6 (Seite 232). Die Wahrscheinlichkeit P{X > 1), mindestens einen Treffer zu erzielen, ist P{X>1)
= 1-P{X
<1) = 1-P{X
= 0) = 0ASS.
(b) Bei der Produktion eines Massenartikels, etwa von Skiern oder Bauteilen, vgl. Beispiel 5.8 (Seite 241), liege der Anteil einwandfrei produzierter und somit nicht nachzubehandelnder Stiicke bei ir = 0.90. Aus der laufenden Produktion werden 20 Stiicke entnommen. Wenn man wie in Beispiel 5.8 annimmt, dafi die Fertigung der einzelnen Skier oder Bauteile unabhangig erfolgt, so bildet die Stichprobe eine BernouUi-Kette, und es gilt fiir die Anzahl X von einwandfreien Stiicken X ~ 5(20,0.90). Um Wahrscheinlichkeit en, etwa P{X < 18), fiir interessierende Ereignisse zu berechnen, geht man zunachst zur Anzahl Y = n — X nicht einwandfreier Stiicke iiber, da die 5(20,0.90)Verteilung nicht tabelliert ist. Fiir Y gilt dann 7-5(20,0.10). Damit errechnet man z.B. P{X < 18) = P(Y > 20 - 18) = 1 - P{Y < 2) = 1 - P{Y < 1) = 1-0.3917 = 0.6083, oder P{X = 18) = P{Y = 2) = P{Y < 2) - P{Y < 1) = 0.6769 - 0.3917 = 0.2852. Die Wahrscheinlichkeit, den Erwartungswert n7r = 20 • 0.90 = 18 zu erhalten, liegt also bei fast 30%. D
5.3.2 Urnenmodell ohne Zuriicklegen
Die hypergeometrische Verteilung
Aus einer endlichen Grundgesamtheit von N Einheiten, von denen M eine Eigenschaft A besitzen, wird n-mal rein zufdllig, aber ohne Zuriicklegen gezogen. Im Urnenmodell mit N Kugeln, davon M schwarzen, entspricht dies dem zufalligen
5.3
259
Spezielle diskrete Verteilungsmodelle
n-maligen Ziehen ohne Zuriicklegen. Wir interessieren uns wieder fiir die Zufalls variable X = "Anzahl der gezogenen Objekte mit der Eigenschaft A" . Falls der Auswahlsatz n/N klein genug ist {Faustregel: n/N < 5 %), ist X ndherungsweise binomialverteilt mit Parametern n und n = M/N. Falls n/N grofier ist, mufi die Verteilung von X exakt bestimmt werden. Dies fiihrt zur hypergeometrischen Verteilung. Zunachst geben wir den Wertebereich von X an. Der grofitmogliche Wert Xmax von X ist n, wenn n < M ist, und er ist M, wenn M < n ist. Also ist
Auswahlsatz Faustregel
Wertebereich
Xmax = min(n, M ) , die kleinere der beiden Zahlen n und M. Ahnlich iiberlegt man, dafi der kleinstmogliche Wert Xmin = max(0, n-{N - M)) ist. Damit besitzt X den Trager T = {xmin^ -- -, Xmax}- Falls n< M und n<M — N gilt, vereinfacht sich der Trager zu T = { 0 , 1 , . . . , n}, also dem gleichen Trager wie bei der Binomialverteilung. Die Wahrscheinlictikeitsverteilung von X lafit sich mit den anschliefiend angefiihrten kombinatorischen Argumenten herleiten. Hypergeometrische Verteilung
Eine Zufallsvariable X heifit hypergeometrisch verteilt mit Parametern n, M und N, kurz X ~ H{n^ M, AT), wenn sie die WahrscheinHchkeitsfunktion
m
M\ /N - M XJ \ n —X N n
xeT 0,
sonst
besitzt. Dabei ist T durch {max(0, n — {N — M)),..., inin(n, M)} gegeben. Es gilt M M ( M\N-n N N N N-1 Damit besitzt eine H{n, M, 7V)-verteilte Zufallsvariable den gleichen Erwartungswert wie eine B(n,M/Ar)-verteilte Zufallsvariable. Jedoch ist die Varianz kleiner, da der sogenannte Korrekturfaktor {N — n)/{N — 1) fiir n > 1 kleiner als 1 ist. Korrekturfaktor Diese Verkleinerung der Varianz ist plausibel, da man ohne Zuriicklegen zieht und
5. Diskrete Zufallsvariablen
260
somit keine schon gewonnene Information verschenkt. Fiir kleine Werte n/N des Auswahlsatzes ist der Korrekturfaktor praktisch gleich 1; die Varianzen sind dann also naherungsweise gleich. Eine hypergeometrisch verteilte Zufallsvariable lafit sich ebenfalls als Summe X = Xi +
.,.+Xn
von Indikatorvariablen Xi =
1, wenn beim z-ten Ziehen A eintritt 0, wenn beim z-ten Ziehen A nicht eintritt
darstellen. Vor Beginn der Ziehungen gilt weiterhin
jedoch sind die Indikatorvariablen voneinander abhangig. Wegen der Additivitat des Erwartungswertes folgt sofort
E{X)^E{X,)
+ ... + E{Xn) =
n^.
Die entsprechende Summenformel fiir Varianzen gilt jedoch wegen der Abhangigkeit nicht, so dafi der Beweis fiir Var{X) aufwendiger wird. Die Wahrscheinlichkeitsfunktion selbst lafit sich nach der Abzahlregel folgendermafien ableiten: Insgesamt gibt es (^) Moglichkeiten aus A^ Kugeln n ohne Zuriicklegen und ohne Beachtung der Reihenfolge zu Ziehen. Dies ergibt den Nenner. Um aus M schwarzen Kugeln genau x herauszugreifen, gibt es (^) Moglichkeiten. Genauso verbleiben ( ^"^ ) Moglichkeiten, um aus N — M weifien Kugeln genau n — X herauszugreifen. Dies ergibt fiir den Zahler insgesamt (^) ( ^Z^ ) "giinstige" Moghchkeiten. 5.3.3
PoissonVerteilung Zdhlvorgdnge
Die Poisson-Verteilung
Binomial- und hypergeometrisch verteilte Zufallsvariablen zahlen, wie oft bei nmaligem Ziehen aus Urnen oder Grundgesamtheiten ein bestimmtes Ereignis A eintritt. Der Wertebereich ist nach oben durch n begrenzt und somit endlich. Die geometrische Verteilung (Abschnitt 5.2) zahlt, wie lange man warten mufi, bis ein Ereignis A zum erstenmal eintritt. Der Wertebereich ist die Menge N der natiirhchen Zahlen und nicht nach oben begrenzt. Die Poisson-Verteilung eignet sich ebenfalls zur Modellierung von Zdhlvorgdngen. Dabei werden bestimmte Ereignisse gezahlt, die innerhalb eines festen, vorgegebenen Zeitintervalls eintreten konnen. Die mogliche
5.3
261
Spezielle diskrete Verteilungsmodelle
Anzahl der Ereignisse ist gleichfalls nicht nach oben begrenzt. Zugleich soil die Wahrscheinlichkeit, dafi ein Ereignis in einem sehr kleinen Zeitintervall eintritt, ebenfalls sehr klein sein. Beispiele fiir Zahlvorgange dieser Art sind die Anzahl von Schadensmeldungen bei einer Sachversicherung innerhalb eines Jahres, die Anzahl von Krankheitsfallen einer (seltenen) Krankheit in einem Monat, oder die Anzahl von Kunden, die in einem Monat bei einer Bank einen Kredit beantragen, usw. In Abbildung 5.14 sind die Ereignisse auf der Zeitachse durch Sterne markiert. Als Zeitintervall wahlen wir das Einheitsintervall [0,1], was sich durch geeignete Wahl der Zeitskala immer erreichen lafit. P(genau ein Ereignis in At) ^ XAt »|<
9|g
»(<—a{<
i^—»|«
1—»|«-|—a|<
a(<
?|< »t< »|i; a|<
-H
At ABBILDUNG 5.14: Ereignisse im Zeitverlauf Die Markierung durch Sterne auf der Zeitachse unterstellt bereits, dafi Ereignisse zu Zeitpunkten oder innerhalb vernachlassigbar kleiner Zeitspannen auftreten. Dies setzen wir im weiteren voraus. Wir interessieren uns somit fiir die Zufallsvariable X = "Anzahl der Ereignisse, die innerhalb des Intervalls [0,1] eintreten" . Da keine obere Schranke fiir X bekannt oder aber sehr grofi ist, nehmen wir als Wertebereich von X die Zahlen No = {0,1,2,...} an. Falls fiir den Zahlvorgang folgende Annahmen zutreffen, ergibt sich fiir X eine Poisson-Verteilung: 1. Zwei Ereignisse konnen nicht genau gleichzeitig auftreten. 2. Die Wahrscheinlichkeit, dafi ein Ereignis wahrend eines kleinen Zeitintervalls der Lange At stattfindet ist annahernd A At, vgl. Abbildung 5.14. Wenn At klein genug ist, wird diese Wahrscheinlichkeit ebenfalls sehr klein. Die PoissonVerteilung wird deshalb gelegentlich als Verteilung der seltenen Ereignisse bezeichnet. Der Parameter A heifit auch (Intensitats-)Rate. 3. Die Wahrscheinlichkeit fiir das Eintreten einer bestimmten Zahl von Ereignissen in einem Teilintervall hangt nur von dessen Lange /, aber nicht von seiner Lage auf der Zeitachse ab (/i und I2 in Abbildung 5.15). 4. Die Anzahlen von Ereignissen in zwei disjunkten Teilintervallen sind unabhangig (/i und Is in Abbildung 5.15, nicht jedoch I2 und Is).
Annahmen PoissonVerteilung
Verteilung der seltenen Ereignisse
5. Diskrete Zufallsvariablen
262
h I ?|< >|<
»|«—9|«—»!<—H*
^J^_L^ —*M—Ai
H<
At
?)< >|< ?|<>|<
/3
»|<—
I'
ABBILDUNG 5.15: Zu den Annahmen der Poissonverteilung
Ob diese Annahmen - zumindest naherungsweise - in bestimmten Anwendungen erfiillt sind, mu6 kritisch gepriift werden. Falls sie jedoch gelten, ist die Zufallsvariable X Poisson-verteilt.
Poisson-Verteilung
Eine Zufallsvariable X mit der Wahrscheinlichkeitsfunktion
fix) = P{X = x)
fe-\ 0,
ar€{0,l,...} sonst
heiiit Poisson-verteilt mit Parameter (oder Rate) A > 0, kurz X ~ Po{\). gilt E{X)^\, Var(X) = A.
Es
Die Abbildung 5.16 zeigt die Wahrscheinlichkeitshistogramme fiir verschiedene Werte von A. Normalverteilungsapproximation
Approximation der Binomialverteilung
Man erkennt: Je kleiner A ist desto linkssteiler wird die Wahrscheinlichkeitsfunktion und desto grofier werden die Wahrscheinlichkeiten fiir kleine x-Werte. Fiir grofieres A, etwa ab A > 10, wird die Verteilung annahernd symmetrisch und lafit sich durch eine Normalverteilungsdichte approximieren, vgl. dazu Abschnitt 7.2. Die Eigenschaft E{X) = Var{X) = A, also Gleichheit von Erwartungswert und Varianz, ist charakteristisch fiir eine Poisson-verteilte Zahlvariable. Unterscheiden sich bei Zahldaten aus einer empirischen Erhebung x und 5^ deutlich, so ist ein Poisson-Modell ungeeignet. Die Poisson-Verteilung lafit sich auch als Grenzfall der Binomialverteilung ableiten. Dazu nimmt man etwa im Beispiel von Schadensmeldungen bei einer Versicherung an, dafi diese eine grofie Anzahl n von Kunden habe, aber jeder Kunde mit sehr kleiner Wahrscheinhchkeit n einen Schaden in der Zeitperiode (Monat, Jahr) melde. Definiert man A = n7r und lafit (bei festgehaltenem A) n —> oo und n —> 0 gehen, so ergibt sich fiir die Anzahl X von Schadensmeldungen eine Po(A)-Verteilung. Somit kann fiir grofie n und kleine n die 5(n,7r)-Verteilung durch eine Po(A)-Verteilung mit X = n7r approximiert werden.
5.3 Spezielle diskrete Verteilungsmodelle
263
A=l
A = 0.5 0.4 H
0.6 0.5 H
0.3
0.4
0.2
0.3 0.2
0.1
0.1 0
"
1
I
I
I
I
I
I
I
I
I
0 1 2 3 4 5 6 7 8 9
I
'
0
I
I
I
I
I
I
I
I
I
I
'
10
A = 10
A= 5 0.21 0.18-1
0.14 0.12
0.15-1 0.12 0.09 0.06 0.03 0
i
0 1 2 3 4 5 6 7 8 9
10
0.1 0.08 0.04-1
J 0
3
6
a^ 9
12
0.02-1 0 15
J
M^^
0 2 4 6 8 1 0 1 2 1 4 1 6 1 8 20
ABBILDUNG 5.16: Wahrscheinlichkeitshistogramme von Poisson-Verteilungen
Ahnlich wie fiir die Binomialverteilung gilt noch eine Additionseigenschaft:
Addition von unabhangigen Poisson-verteilten Zufallsvariablen
Sind X ~ Po(A), Y ^ Po(/i) und voneinander unabhangig, so gilt X + y - Po{X + fi). Damit lafit sich auch folgendes zeigen:
Poisson-Verteilung fiir Intervalle beliebiger Lange
Falls die Anzahl X von Ereignissen im Einheitsintervall Po(A)-verteilt ist, so ist die Anzahl Z von Ereignissen in einem Intervall der Lange t Poisson-verteilt mit Parameter At, kurz Z ~ Po{Xt).
264
Beispiel 5.17
5. Diskrete Zufallsvariablen
Schadensfalle bei einer Versicherung Eine Riickversicherung will die Pramien fiir Versicherungen gegen Grofiunfalle kalkulieren. Aufgrund von Erfahrungswerten geht sie davon aus, daC die Zufallsvariable X = "Anzahl der Grofiunfalle im Winterhalbjahr (Oktober bis Marz)" Poisson-verteilt ist mit der Rate A = 3. Dagegen wird Y = "Anzahl der Grofiunfalle im Sommerhalbjahr (April bis September)" als Poisson-verteilt mit der Rate /i = 6 betrachtet. Beispielsweise lafit sich damit die Wahrscheinlichkeit flir genau zwei Grofiunfalle in einem Winter bestimmen: P ( X = 2) = e - ^ — = 0 . 2 2 4 0 . Mehr als ein Grofiunfall geschieht im Winter mit der Wahrscheinlichkeit P{X > 2) = 1 - P{X = 0)- P{X = 1)
= ^-^
(o!+l!
= 1-0.1991=0.8009. Diese Wahrscheinlichkeiten lauten im Sommerhalbjahr 0.044 fiir genau zwei bzw. 0.983 fiir mindestens zwei Unfalle: P ( y = 2) = 6 - ^ ^ = 0 . 0 4 4 , P{Y > 2) = 1 - P(V = 0) - P(Y = 1) fi/6°
6i\
= 1 - e - M -j- + — J = 1 - 0.01735 = 0.9826. Wegen E{X) = A = 3 und E{Y) = // = 6 sind mit drei Unfallen im Winter weniger Unfalle als im Sommer zu erwarten. Da man annehmen kann, dafi Unfalle im Sommer und im Winter in keinem Zusammenhang stehen, konnen ferner die Zufallsvariablen X und Y als unabhdngig behandelt werden. Die Wahrscheinlichkeit, dafi sowohl im Winter als auch im Sommer mehr als zwei Unfalle geschehen, betragt dann mit Hilfe der Rechenregeln fiir unabhangige Zufallsvariablen P{X > 2, y > 2) = P{X > 2 ) . P{Y > 2) = 0.8009 • 0.9826 = 0.7870, also ca. 79%. Betrachtet man nun die Anzahl Z der Grofiunfalle in einem ganzen Jahr, so gilt Z = X + Y und wiederum wegen der Unabhangigkeit von X und Y ist Z Poisson-verteilt mit Rate A-h/i = 3 + 6 = 9. D
5.4
Zusammenfassung und Bemerkungen
Schreibweise:
265
Binomialverteilung Hypergeometrische Verteilung Poissonverteilung Geometrische Verteilung
X X X X
^ ~ ~ ~
B{n^ TT) H{n, N^ M) Po{\) G(7r)
Dichte
Verteilung X-5(n,7r) [^ 0
' Xr^H{n,N,M)
f{x)=<
E{X)
Var(X)
nn
n7r(l — TT)
''' N
M ( i V - M ) (iV-n) '''N N (N-l)
A
A
1
l-TT
TT
7r2
sonst
fM\fN-M\ \rr/\ n —X j \ / \ /
f,*;^ ^ _ n 1
„
(;) ^ 0 {n<M,n<M X - Po(A)
/(.) = ( ^ ^ " (^ 0
sonst -N) m r . = 0,1,2,... sonst
(A>0) X ~ G(7r)
i«/ N
( (l-7Ty-\ \^ 0 (0 < TT < 1)
fura: = 1,2,3,... sonst
TABELLE 5.1: Spezielle diskrete Verteilungen mit ihren Dichten, Erwartungswerten und Varianzen
5.4
Zusammenfassung und Bemerkungen
Definitionen, Eigenschaften und Rechenregeln fiir diskrete Zufallsvariablen entsprechen formal weitgehend Begriffen und Ergebnissen fiir empirische Verteilungen von Haufigkeitsdaten von Kapitel 2. Dabei sind die relativen Haufigkeiten / i , . . . , /fc fiir Auspragungen a i , . . . , a/^ durch die Watirscheinlichkeiten p i , . . . , p / . , . . . fiir die moglichen Werte x i , . . . , x/.,... zu ersetzen. Trotz der formalen Ahnlichkeiten sind jedoch Funktion und Interpretation deutlich zu unterscheiden: Die relative Haufigkeitsverteilung und daraus abgeleitete Begriffe wie arithmetisches Mittel und empirische Varianz beschreiben die Verteilung von Daten. Dagegen wird durch die Wahrscheinlichkeitsverteilung^ den Erwartungswert und die Varianz das Verhalten einer Zufallsvariable charakterisiert. Der zugrundeliegende Zufallsvorgang mu6 dazu nicht durchgefiihrt werden, so da6 auch keine Daten vorliegen. Der Zusammenhang zwischen empirischen Verteilungen und Wahrscheinlichkeitsverteilungen lafit sich jedoch iiber die Haufigkeitsinterpretation von Wahrscheinhchkeiten herstellen: Wenn
5. Diskrete Zufallsvariablen
266
der Zufallsvorgang n-mal unabhangig wiederholt wird, nahern sich mit wachsendem n die empirische Verteilung der resultierenden Daten x i , . . . ,Xn, das arithmetische Mittel und die empirische Varianz der Wahrscheinlichkeitsverteilung der Zufallsvariable X, ihrem Erwartungswert und ihrer Varianz immer besser an. Formalisiert wird dieser Zusammenhang erst durch Gesetze groi3er Zahlen in Abschnitt 7.1. In Tabelle 5.1 sind die in diesem Kapitel behandelten diskreten Verteilungsmodelle zusammengefafit. Diese speziellen diskreten Verteilungen sind vor allem zur Modellierung von Zahlvorgangen geeignet. In Abbildung 5.17 wird dies nochmals aufgezeigt. Die Pfeile weisen dabei auf Beziehungen zwischen den Verteilungen bzw. Zufallsvariablen hin. Die hier dargestellten diskreten Verteilungsmodelle sind zwar am bekanntesten und werden entsprechend haufig eingesetzt. Trotzdem sind sie nicht in jeder Anwendung zur Modellierung geeignet, sondern es werden oft flexiblere, aber auch kompliziertere Verteilungen bendtigt. Fiir eine umfassende Darstellung verweisen wir auf das Naehschlagewerk von Johnson, Kotz und Kemp (1993).
Anzahl des Eintretens von A in n Versuchen
5(n,7r) Modell mit Zurlicklegen unabhangige Wiederholungen
n/N klein
Grenzfall nn = A, n -^ oo, TT —> 0 G{n)
Po(A)
Anzahl der Versuche Anzahl der beobachteten bis zum Eintreten Ereignisse in einem von A Zeitintervall
ABBILDUNG
5.17: Diskrete Verteilungsmodelle
H{n,M,N) Modell ohne Zuriicklegen
5.5 Aufgaben
5.5
267
Aufgaben
Sie und Ihr Freund werfen je einen fairen Wiirfel. Derjenige, der die kleinere Zahl wirft, zahlt an den anderen so viele Geldeinheiten, wie die Differenz der Augenzahlen betragt. Die Zufallsvariable X beschreibt Ihren Gewinn, wobei ein negativer Gewinn fiir Ihren Verlust steht. (a) Bestimmen Sie die Wahrscheinlichkeitsfunktion von X und berechnen Sie den Erwartungswert. (b) Falls Sie beide die gleiche Zahl wiirfeln, wird der Vorgang noch einmal wiederholt, aber die Auszahlungen verdoppeln sich. Wiirfeln Sie wieder die gleiche Zahl, ist das Spiel beendet. Geben Sie fiir das modifizierte Spiel die Wahrscheinlichkeitsfunktion von Y fiir Ihren Gewinn bzw. Verlust an.
Aufgabe 5.1
Ein Student, der keine Zeit hat, sich auf einen 20-Fragen-Multiple-Choice-Test vorzubereiten, beschliefit, bei jeder Frage aufs Geratewohl zu raten. Dabei besitzt jede Frage fiinf Antwortmoglichkeiten. (a) Welche Verteilung hat die Zufallsvariable, die die Anzahl der richtigen Antworten angibt? Wieviele Fragen wird der Student im Mittel richtig beantworten? (b) Der Test gilt als bestanden, wenn 10 Fragen richtig beantwortet sind. Wie grofi ist die Wahrscheinlichkeit des Studenten, den Test zu bestehen? Wo miifite die Grenze liegen, wenn die Chance des Studenten, die Klausur durch Raten zu bestehen, grofier als 5% sein soil?
Aufgabe 5.2
Berechnen Sie den Erwartungswert und die Varianz der diskreten Gleichverteilung auf dem Trager T = {a, a + 1, a + 2 , . . . , 6 - 2,6 - 1,6}.
Aufgabe 5.3
Sind die beiden Zufallsvariablen X und Y, die die Augensumme bzw. die Differenz beim Werfen zweier fairer Wiirfel angeben, unabhangig?
Aufgabe 5.4
Zeigen Sie fiir zwei unabhangige binare Zufallsvariablen X ~ 5 ( 1 , TT) und Y ~ B{l,p) Linearitat von Erwartungswert und Varianz:
die
Aufgabe 5.5
Bestimmen Sie den Median der geometrischen Verteilung mit dem Parameter TT = 0.5. Vergleichen Sie Ihr Resultat mit dem Erwartungswert dieser Verteilung. Was folgt gemai3 der Lageregel fiir die Gestalt des Wahrscheinlichkeitshistogramms? Skizzieren Sie das Wahrscheinlichkeitshistogramm, um Ihre Aussage zu iiberpriifen.
Aufgabe 5.6
E{X -\-Y)= E{X) + E{Y),
Var{X + Y) = Var{X) + Var{Y)
,
sowie die Produktregel fiir Erwartungswerte:
E{X . Y) = E{X)' E{Y)
268
5. Diskrete Zufallsvariablen
Aufgabe 5.7
Welche Verteilungen besitzen die folgenden Zufallsvariablen: Xi = Anzahl der Richtigen beim Lotto "6 aus 49". X2 = Anzahl der Richtigen beim Fufiballtoto wenn alle Spiele wegen unbespielbarem Platz ausfalien und die Ergebnisse per Los ermittelt werden. X3 = Anzahl von Telephonanrufen in einer Auskunftstelle wahrend einer Stunde. In einer Urne mit 100 Kugeln befinden sich 5 rote Kugeln: X4 = Anzahl der roten Kugeln in der Stichprobe, wenn 10 Kugeln auf einen Schlag entnommen werden. Xs = Anzahl der Studenten, die den Unterschied zwischen der Binomial- und der Hypergeometrischen Verteilung verstanden haben, unter 10 zufallig ausgewahlten Horern einer Statistikveranstaltung, an der 50 Studenten teilnehmen. XQ = Stiickzahl eines selten gebrauchten Produkts, das bei einer Lieferfirma an einem Tag nachgefragt wird.
Aufgabe 5.8
Bei einem Fufiballspiel kommt es nach einem Unentschieden zum Elfmeterschiefien. Zunachst werden von jeder Mannschaft fiinf Elfmeter geschossen, wobei eine Mannschaft gewinnt, falls sie haufiger getroffen hat als die andere. Nehmen Sie an, dafi die einzelnen Schiisse unabhangig voneinander sind und jeder Schiitze mit einer Wahrscheinlichkeit von 0.8 trifft. Wie grofi ist die Wahrscheinlichkeit, dafi es nach zehn Schiissen (fiinf pro Mannschaft) zu einer Entscheidung kommt?
Aufgabe 5.9
Aus Erfahrung weifi man, dafi die Wahrscheinlichkeit dafiir, dafi bei einem Digitalcomputer eines bestimmten Typus wahrend 12 Stunden kein Fehler auftritt, 0.7788 betragt. (a) Welche Verteilung eignet sich zur naherungsweisen Beschreibung der Zufallsvariable X = "Anzahl der Fehler, die wahrend 12 Stunden auftreten"? (b) Man bestimme die Wahrscheinlichkeit dafiir, dafi wahrend 12 Stunden mindestens zwei Fehler auftreten. (c) Wie grofi ist die Wahrscheinlichkeit, dafi bei vier (voneinander unabhangigen) Digitalcomputern desselben Typus wahrend 12 Stunden genau ein Fehler auftritt?
Aufgabe 5.10
Von den 20 Verkauferinnen eines mittelgrofien Geschaftes sind vier mit langeren Ladenoffnungszeiten einverstanden. Ein Journalist befragt fiir eine Dokumentation der Einstellung zu einer Anderung der Offnungszeiten fiinf Angestellte, die er zufallig auswahlt. Wie grofi ist die Wahrscheinlichkeit, dafi sich keine der Befragten fiir langere Offnungszeiten ausspricht? Mit welcher Wahrscheinlichkeit sind genau bzw. mindestens zwei der ausgewahlten Angestellten bereit, langer zu arbeiten?
Stetige Zufallsvariablen
6.1
Definition und Verteilung
Eine Variable oder ein Merkmal X heifit stetig^ falls zu zwei Werten a
stetige Zufallsvariable
6. Stetige Zufallsvariablen
270
ABBILDUNG 6.1: Gliicksrad
0.1-
0 0.1 0.210.3 0.4 0.5 0.6 0.7 0.8 0.9 X
ABBILDUNG 6.2: Wahrscheinlichkeitshistogramm zum Gliicksrad
die Flache iiber jedem Teilintervall der Lange 0.1 gleich der Wahrscheinlichkeit 0.1 fiir die jeweiligen Sektoren. Entsprechend ist die Wahrscheinlichkeit, dafi einer der Sektoren 3,4, 5 oder 6 vor der Markierung stehen bleibt, gleich der Flache iiber dem Intervall [0.2,0.6], also gleich 0.4. Unterteilt man das Gliicksrad bzw. das Intervall feiner, z.B. in 100 Teilintervalle der Lange 0.01, so werden zwar die Flachen iiber diesen Teilintervallen gleich 1/100. Die Flache 0.4 iiber dem Intervall [0.2,0.6] ist jedoch weiter die Wahrscheinhchkeit, dafi einer der Teilsektoren zwischen 0.2 und 0.6 vor der Markierung zum Stehen kommt. Betrachtet man nun als Zufallsergebnis die genaue Zahl X aus [0,1] worauf die Markierung zeigt, so wird dadurch eine stetige Zufallsvariable X mit Werten aus [0,1] definiert. Die Wahrscheinhchkeit P(0.2 <X< 0.6) ist weiter die Flache 0.4 zwischen dem Intervall [0.2,0.6] und der stetigen Funktion f{x) = 1. AUgemeiner ist P{a <X
6.1
Definition und Verteiiung
271
geben. Fiir Intervalle [a, b] und [c, d] mit unterschiedlicher Lage, aber gleicher Lange b — a = c —d ergeben sich gleiche Wahrscheinlichkeiten P{a <X
Die Festlegung von Wahrscheinlichkeiten durch Flachen unter einer nichtnegativen Funktion f{x) lafit sich in gleicher Weise fiir andere Verteilungsformen als die Gleichverteilung veranschaulichen. In Abbildung 6.3 ist das Wahrscheinlichkeitshistogramm einer diskreten Zufallsvariable Xd gegeben.
Nichtnegativitdt
ABBILDUNG 6.3: Dichte und approximierendes Wahrscheinlichkeitshistogramm
Die Axi. null Das P{a
moglichen Werte seien die Klassenmitten Xi der i-ten Klasse mit der Lange Die Rechtecksflache iiber Axi ist gleich P{Xd = Xi) = f{xi)Axi. Fiir gegen gehende Klassenbreiten Axi geht Xd iiber in eine stetige Zufallsvariable X. Histogramm geht iiber in eine stetige Kurve f{x) mit der Eigenschaft, dafi < X
Fiir Axi —> 0 geht auch die Flache der zugehorigen Rechtecke iiber [a, b] gegen diese Flache, so dafi auch P{a <Xd
Dichtefunktion
272
6. Stetige Zufallsvariablen
Stetige Zufallsvariablen und Dichten
Eine Zufallsvariable X heifit stetig^ wenn es eine Funktion f{x) > 0 gibt, so dafi fiir jedes Intervail [a, b]
P{a<X
gilt. Die Funktion f{x) heifit (Wahrscheinlichkeits-)
Dichte von X.
Somit ist fiir jede stetige Zufallsvariable die Wahrscheinlichkeit P{a <X
Wahrscheinlichkeiten stetiger Zufallsvariablen Fiir stetige Zufallsvariablen X gilt P{a <X
=
P{a<X
und
P(X = x) = 0 fiir jedes x
en.
Obwohl die zweite Eigenschaft aus der Definition mathematisch ableitbar ist, verwundert sie doch auf den ersten Blick. Sie lafit sich aber auch intuitiv nachvoUziehen: Fiir das Gliicksrad gilt P(0.29 <X < 0.31) = 0.02, P(0.299 <X < 0.301) = 0.002, P(0.2999 <X< 0.3001) = 0.0002 usw. Die Wahrscheinlichkeit P{X = 0.3) dafiir, dafi X exakt gleich 0.3 ist, mufi deshalb gleich null sein. Positive Wahrscheinlichkeiten konnen sich nur fiir - moglicherweise kleine - Intervalle um x ergeben. Da —GO < X < +00 sicher eintritt, mufi P(—oo < X < +oo) = 1 sein. Somit gilt fiir jede Dichte neben der Nichtnegativitat die
6.1 Definition und Verteilung
273
Normierungseigenschaft /•+00
/
f{x)dx = 1,
J—oo
d.h. die Gesamtflache zwischen x-Achse und der Dichte
m ist gleich 1.
Die Dichte f{x) einer stetigen Zufallsvariable mu6 nicht fiir alle x grofier als null sein. Wir nennen wie bei der Wahrscheinlichkeitsfunktion die Menge der x-Werte, fiir die f{x) > 0 ist, den Trdger T = {x : f{x) > 0}. Die auftretenden Integrationen erstrecken sich dann tatsachlich nur liber Bereiche von T, vergleiche die Beispiele 6.1 (Seite 275) und 6.2 (Seite 278). Die Dichte f{x) besitzt einige Analogien zur Wahrscheinlichkeitsfunktion einer diskreten Zufallsvariable. Deshalb wird auch die gleiche Bezeichnung verwendet. Ein wesentlicher Unterschied ist jedoch, dafi die Werte f{x) einer stetigen Dichte keine Wahrscheinlichkeiten sind. Somit konnen Dichten auch Werte f{x)>l annehmen. Aus der Definition von Dichten erhalt man fiir die Verteilungsfunktion F{x) = P{X <x) = P{—oo < X <x) sofort folgende Beziehung:
Verteilungsfunktion einer stetigen Zufallsvariable
F{x) = P{X <x)=
r
f{t)dt
J—oo
Die Verteilungsfunktion einer stetigen Zufallsvariable ist also das unbestimmte Integral der Dichte, d.h. die Gesamtflache zwischen dem Teil der a:-Achse hnks vom Wert X und der dariiberliegenden Dichte, vgl. Abbildung 6.4. Diese Beziehung ist das stetige Analogon zur Beziehung Fix) = Y^
f{xi)
Xi<X
im diskreten Fall. In der Darstellung durch ein Wahrscheinlichkeitshistogramm wie in Abbildung 6.3 erhalt man F{x) durch Summation der Rechtecksflachen bis x. Der Grenziibergang liefert die obige Integrationsbeziehung. Aus der Definition der Verteilungsfunktion folgen mittels der Axiome und Rechenregeln fiir Wahrscheinlichkeiten die folgenden Eigenschaften.
Trdger
Dichte ist keine Wahrscheinlichkeit
6. Stetige Zufallsvariablen
274
fiM
ABBILDUNG 6.4: Dichte und Verteilungsfunktion einer stetigen Zufallsvariable
Eigenschaften der Verteilungsfunktion einer stetigen Zufallsvariable
1. F{x) ist stetig und monoton wachsend mit Werten im Intervall [0,1]. 2. Fiir die Grenzen gilt F(-oo) =
lim X
F(+oo) =
F{x) = 0,
>• — O O
lim
F(x) = 1.
X—>-H-oo
3. Fiir Werte von x, an denen f{x) stetig ist, gilt
d.h. die Dichte ist die Ableitung der Verteilungsfunktion. 4. Fiir Intervalle erhalt man P{a<X
Die erste Eigenschaft folgt aus den Axiomen von Kolmogoroff und der Definition von F{x). F ( - o o ) = 0 gilt wegen P{X < x) —> 0 fiir x —> - o o (unmogliches Ereignis), und F(+oo) = 1 ist die Wahrscheinlichkeit fiir das sichere Ereignis. Die Eigenschaften 3 und 4 folgen direkt aus den Definitionen.
6.1 Definition und Verteilung
275
Unabhangigkeit von stetigen Zufallsvariablen
Um die Unabhangigkeit von stetigen Zufallsvariablen zu definieren, libertragt man, ahnlich wie im diskreten Fall, das Konzept der Unabhangigkeit von Ereignissen, indem man etwa fiir zwei Zufallsvariablen X und Y alle Ereignisse der Form {X <x} und {Y < y} als unabhangig fordert. Dies fiihrt zur folgenden Definition: Unabhangigkeit von stetigen Zufallsvariablen
Zwei stetige Zufallsvariablen X und Y sind unabhangig^ wenn fiir alle x eH und 2/ € R P{X <x,Y
= P{X<x)-
P{Y
gilt. Dabei ist Fx bzw. Fy die Verteilungsfunktion von X bzw. Y. AUgemeiner sind die stetigen Zufallsvariablen X i , . . . , Xn unabhangig, wenn fiir a:i,...,Xn€R P{X
<Xi,,,,,Xn<Xn)=
P{Xi
< Xi) • . . . . P{Xn
< Xn)
gilt. Es lafit sich - wiederum in Analogie zum diskreten Fall - zeigen, dafi aus dieser Definition auch die Unabhangigkeit von allgemeineren durch die Zufallsvariablen definierten Ereignissen folgt: Falls X i , . . . , X^ unabhangig sind, so gilt fiir behebige zulassige Ereignisse ^ i , . . . , An-, insbesondere fiir Intervalle [ai, fei],..., [a^, bn], P{Xi G A i , . . . , X , G A,) = P(Xi G Ai) . . . . . P{Xn G An). Stetige Gleichverteilung
Beispiel 6.1
Die stetige Zufallsvariable X = "Stelle des Gliicksrads, auf die der Pfeil zeigt" heifit auf dem Intervall [0,1] gleich- (oder gleichmafiig) verteilt, da fiir Intervalle gleicher Lange P{a<X
gilt. Die Dichte ist bestimmt durch
/W
1, 0 < x < l 0, sonst.
Die Verteilungsfunktion ergibt sich sofort zu F{x) =
0, X, 1,
x<0 0<x
d)
6. Stetige Zufallsvariablen
276
Fixo)
6.5: Dichte und Verteilungsfunktion einer auf [0,1] gleichverteilten Zufallsvariable
ABBILDUNG
Gleichverteilte stetige Zufallsvariablen sind auch in anderen Situationen brauchbare Modelle fiir Zufallsvorgange. Ein - in Variationen - oft verwendetes Beispiel ist das folgende: Ein Tourist kommt am Flughafen Miinchen-Erding an. Er mochte mit der Airport-Linie S8, die normalerweise regelmafiig alle 20 Minuten abfahrt, zum Marienplatz. Da er den Fahrplan nicht kennt, geht er nach der Gepackabfertigung und dem Kauf eines Fahrscheins zum SBahnsteig und wartet auf die nachste Abfahrt. Die Wartezeit (in Minuten) X auf die nachste Abfahrt kann dann als Zufallsvariable mit Werten im Intervall [0,20] interpretiert werden. Da der Tourist "rein zufaUig" ankommt, ist es plausibel, X als gleichverteilt auf [0,20] anzunehmen, d.h. die Wahrscheinhchkeiten fiir gleichlange TeiUntervalle, etwa 0 < X < 5 und 10 < X < 15, sind gleich grofi. Dies wird durch eine liber [0,20] konstante Dichte f{x) = fc > 0 erreicht. Wegen der Normierungseigenschaft mufi fc • 20 = 1, also k = 1/20 gelten. Damit ist /(x)=.
20 '
0 ,
0 < X < 20 sonst
die Dichte einer auf dem Intervall [0,20] gleichverteilten Zufallsvariable. Die Verteilungsfunktion F{x) ergibt sich fiir 0 < x < 20 aus
FM=/;y(.)..=/'±.*=i. Also ist X<0
F{x)
20-"
1
0 < X < 20 x>20.
Fiir eine Wartezeit von hochstens x Minuten erhalt man somit P{X < x) = x/20, d.h. die Wahrscheinlichkeit ist proportional zur Dauer x. D Ahnliche Situationen treten auch bei anderen Transport- oder Bedienungssystemen auf. Bei der Produktion grofierer Systeme oder Cerate arbeiten Maschinen oft
6.1
277
Definition und Verteilung
in einer Fertigungslinie. Eine Maschine benotige zur Anfertigung eines bestimmten Teils eine feste Bearbeitungszeit von d Zeiteinheiten. Nach Beendigung des Auftrags werden die Teile in einem "Puffer" oder Lager abgelegt. Dort werden die Teile zu zufalligen Zeiten von der nachsten Maschine der Linie oder durch eine externe Nachfrage abgeholt. Um kostengiinstig zu arbeiten, sind stets nur wenig Teile im Puffer, manchmal ist das Puffer auch leer. Im letzteren Fall ist fiir die Wartezeit X, bis das Puffer wieder ein Teil enthalt und die Nachfrage befriedigt werden kann, die Annahme einer Gleichverteilung auf [0, d] eine plausible Modellvorstellung. Dies gilt in analoger Weise fiir Kunden, die zufallig vor einem Bedienungssystem oder "Schalter" eintreffen, an dem gerade ein Auftrag bearbeitet wird. Die allgemeine Definition fiir eine stetige Gleichverteilung ist:
Stetige Gleichverteilung Eine stetige Zufallsvariable heiiSt gleichverteilt auf dem Intervall [a, 6], wenn sie eine Dichte f{\-.j 6=^ f^^ a<x
F{x) = r mdt = r J-oo
-i-dt=^,
Ja 0-a
b-a
Fiir X < a ist F{x) = 0 und fm x>b ist F{x) = 1. Also ist 0 , X
n^)={
fEf, 1 ,
a<xb.
Die Dichte ist an den Stellen x = a und x = b unstetig, die Verteilungsfunktion weist Knickpunkte auf, ist also dort nicht differenzierbar. An alien anderen Stellen X ist F{x) differenzierbar, f{x) ist stetig, und es gilt
F'ix) = f(x).
Verteilungsfunktion
6. Stetige Zufallsvariablen
278
1
.
1
/F{X)
m
1 _ b—a
y 1
•-
X
6.6: Dichte und Verteilungsfunktion einer auf [a, 6] gleichverteilten Zufallsvariable
ABBILDUNG
Beispiel 6.2
Abweichungen vom Sollwert Bei der Produktion von Kolben fiir Zylinder wird duch die Art der Herstellung garantiert, da6 Abweichungen des Durchmessers nach oben oder unten hochstens gleich einem Wert d sind. Zur Vereinfachung setzen wir im weiteren d=l. Interpretieren wir die in der laufenden Produktion auftretenden Abweichungen als ReaHsierungen einer Zufallsvariable, so besitzen allerdings Abweichungen um 0 normalerweise eine deutlich grofiere Wahrscheinlichkeit als Abweichungen, die weiter von 0 entfernt sind. Das Modell einer Gleichverteilung fiir die Abweichungen ist daher nicht sinnvoU. Wenn diese Wahrscheinlichkeiten fiir ± 1 gegen null gehen und die Abweichungen um 0 nach oben und unten symmetrisch sind, so konnte eine konkave Parabel f{x) — ax^ + 6x + c, die ihr Maximum fiir x = 0 annimmt und fiir die /(—l) = / ( 4 - l ) = 0 gilt, eine geeignete Dichte fiir die Verteilung der Zufallsvariable X = "Abweichung vom Sollwert" sein. Die Parameter a^h.c von j{x) sind dabei so festzulegen, dafi /(—I) = / ( + 1 ) = 0 gilt und die Gesamtfiache unter j{x) = 1 ist, so daC f{x) eine Dichte ist. Aus / ( I ) = 0 folgt a + 6 + c = 0, aus / ( - I ) = 0 folgt a — 6 + c = 0. Addition der beiden Gleichungen ergibt 2a + 2c = 0 und somit c = —a. Aus a + 6 — a = 0 folgt dann 6 = 0. Um die Normierungseigenschaften zu erfiillen, mufi .+1
+1
ax^ — a)dx = a
3
__4 37~~3^'
also a = — I gelten. Die gewiinschte Dichte ist also (Abbildung 6.7)
Die Verteilungsfunktion F{x) ergibt sich durch Integration: 1 3 J—oo
^
J-1
3
1
6.1
279
Definition und Verteilung
F{x) ist an alien Stellen differenzierbar, und f{x) = F'{x) ist stetig.
F{x) 1-
/(^)
13
3 4
•
1 2/ /
/
1
X
^ ' A
^
1 •^"^""^
-1 ABBILDUNG
4 1 — • "
-1 6.7: Dichte und Verteilungsfunktion der Abweichungen vom Soll-
wert Wenn wir nun zehn Kolben aus der laufenden Produktion herausgreifen, wie grofi ist dann die Wahrscheinlichkeit, dafi alle zehn Abweichungen zwischen —0.8 und +0.8 liegen? Wenn wir annehmen, dafi die Abweichungen Xi, X 2 , . . . , X^ unabhangig und unter gleichen Bedingungen durch die Maschine produziert wurden, so gilt P ( - 0 . 8 < Xi < 0.8, - 0 . 8 < X2 < 0 . 8 , . . . , - 0 . 8 < Xio < 0.8) = P ( - 0 . 8 < Xi < 0.8) . P ( - 0 . 8 < X2 < 0.8) . . . . . P ( - 0 . 8 < Xio < 0.8) =
a
0.8 o
>! 10
U\-x^)dx\
.
Damit erhalt man flir die gesuchte Wahrscheinlichkeit 0.8
10
= 0.5619. -0.8
In beiden Beispielen war der Wertebereich von X ein endhches Intervall. Im nachsten Beipiel betrachten wir eine stetige Zufallsvariable X mit nichtnegativen, nach oben nicht beschrankten Werten. D
Exponentialverteilung
In Abschnitt 5.2.1 hatten wir die geometrische Verteilung als mogliches Modell flir eine in diskreten Zeitabstanden gemessene Lebensdauer oder Wartezeit abgeleitet. Die Exponentialverteilung ist das stetige Analogon zur geometrischen Verteilung, wenn man die Lebensdauer oder Wartezeit bis zu einem bestimmten Ereignis als stetige Zufallsvariable auffafit. Dementsprechend wird die Exponentialverteilung angewandt
Exponentialverteilung geometrische Verteilung
6. Stetige Zufallsvariablen
280
Lebensdauerverteilung
Geddchtnislosigkeit
zur Modellierung von Dauern, bei denen die Zeit - zumindest approximativ - stetig gemessen wird, etwa die Lebensdauer von Produkten oder technischen Systemen, die Zeit bis zur nachsten Schadensmeldung bei einer Sachversicherung, die Bearbeitungszeit von Kundenauftragen oder die Uberlebenszeit nach einer Operation. Ahnlich wie die geometrische Verteilung ist die Exponentialverteilung nur dann als Lebensdauerverteilung geeignet, wenn folgende Voraussetzung erfiillt ist: Fiir jeden Zeitpunkt t hangt die noch verbleibende Lebensdauer nicht von der bereits bis t verstrichenen Lebensdauer ab. Dies entspricht der Voraussetzung der Unabhangigkeit der einzelnen Versuche bei der geometrischen Verteilung. Fiir ein technisches System heifit das etwa, dafi dieses nicht altert, also die Ausfallwahrscheinlichkeit unabhangig vom Alter immer gleich grofi ist. Man spricht deshalb auch von Geddchtnislosigkeit der Exponentialverteilung. Die Definition lautet folgendermafien: Exponentialverteilung
Eine stetige Zufallsvariable X mit nichtnegativen Werten heiiit exponentialverteilt mit dem Parameter A > 0, kurz X ^ Ex{\)^ wenn sie die Dichte Ae"-^^ fiir 0 fiir
m=
x>0 x<0
besitzt. Die zugehorige Verteilung heifit Exponentialverteilung A.
Verteilungsfunktion
Der Parameter A steuert, wie schnell die Exponentialfunktion fiir x geht. Die Flache unter f{x) ist immer gleich 1. Die Verteilungsfunktion ergibt sich durch Integration zu F{x) =
Grenzfall der geometrischen Verteilung
mit Parameter
1 - e"^^ 0
oo gegen 0
fiir x>0 fiir X < 0 .
Abbildung 6.8 zeigt Dichten und Verteilungsfunktion fiir verschiedene Werte von A. Je grofier der Parameter A ist, desto schneller geht die Dichte fiir x —> oo gegen 0 und die Verteilungsfunktion gegen 1. Wir zeigen noch, wie sich die Exponentialverteilung als Grenzfall der geometrischen Verteilung ergibt. Dazu teilen wir die Zeitachse zunachst in Zeitintervalle der Lange 1 ein und halbieren diese Zeitintervalle laufend. -^-F
-+-+•
-+—f
-^—f
6.1
Definition und Verteilung
281
0.0 H
ABBILDUNG 6.8: Dichte und Verteilungsfunktion der Exponentialverteilung fiir A = 0.5 (•-), A = 1 . 0 ( ) und A = 2.0 ( )
Sei n = P{A) die Wahrscheinlichkeit fiir den Eintritt des Ereignisses A, das die diskrete) Wartezeit beendet, in einem Zeitintervall der Lange 1. Mit der laufenden /erfeinerung durch Halbierung der Zeitintervalle sollen die Wahrscheinlichkeiten entsprechend kleiner werden: 7r/2,7r/4,..., 7r/n,... usw. Man erhalt dann fiir festes x auf dem Zahlengitter von Intervallen der Lange 1/n
P ( X > x) = (1 - - ) ^ ^ n
n-1,2,,
Der Grenziibergang n —> oo liefert
P{X >x) = e-^^ , P{X <x) =
l-e-
und mit n = X die Exponentialverteilung. Die Exponentialverteilung steht auch in engem Zusammenhang zur PoissonVerteilung (vgl. Abschnitt 5.3.3, insbesondere Abbildung 5.14): Die Anzahl von Ereignissen in einem Zeitintervall ist genau dann Po(A)-verteilt, wenn die Zeitdauern zwischen aufeinanderfolgenden Ereignissen unabhangig und exponentialverteilt mit Parameter A sind.
PoissonVerteilung
6. Stetige Zufallsvariablen
282
6.2
Lageparameter, Quantiie und Varianz von stetigen Zufallsvariablen
Da wir nur stetige Zufallsvariablen behandeln, die metrisch skaliert sind, sind alle Lageparameter sowie die Quantiie und die Varianz sinnvoll definiert.
Erwartungswert
Zur Definition des Erwartungswertes betrachten wir den Grenziibergang von einer approximierenden diskreten Zufallsvariable Xd zu einer stetigen Zufallsvariable X wie bei der Definition der Dichte f{x). Wir unterteilen wieder den Wertebereich von X in gleich grofie Intervalle [ci_i,Ci] der Lange Axi mit Klassenmitten Xi und approximieren die Dichte f{x) durch ein Wahrscheinlichkeitshistogramm mit Rechtecken der Flache pi = f{xi)Axi iiber den Klassenmitten, siehe Abbildung 6.9. Dazu definieren wir die diskrete Zufallsvariable Xd mit Werten Xi und der Wahrscheinlichkeitsverteilung pi. Fiir kleine Axi ist dann pi ^ P ( Q _ I < X < Q ) , und Xd kann als Approximation der stetigen Zufallsvariable X aufgefafit werden.
ABBILDUNG 6.9: Dichte von X und approximierendes Histogramm von Xd
Fiir den Erwartungswert von Xd gilt E(Xd) = ^Xipi
=
Y^Xif{xi)Axi
6.2
Lageparameter, Quantile und Varianz von stetigen Zufallsvariablen
283
Verkleinert man die Intervallangen Axi^ so wird die Approximation von X durch Xd besser. Der (heuristische) Grenziibergang Axi —> 0 fiir alle Intervalle liefert H-oo -hoo
/
Xf{x)d: -oo
Deshalb definiert man die rechte Seite als den Erwartungswert einer stetigen Zufalls variable. Erwartungswert
Der Erwartungswert E{X) einer stetigen Zufallsvariable X mit Dichte /(x) ist r»+00
xf{x)dx. -oo
Falls der Trager T = {x \ f{x) > 0} nur aus einem endlichen Intervall besteht, durchlauft x nur diesen Bereich und E{X) ist endlich. Falls dies nicht gilt, wie etwa fiir T = [0, oo) oder T = R, ist |£'(X)| < oo nicht generell gewahrleistet, sondern mui3 im folgenden vorausgesetzt werden. Wie bei unendlich-diskreten Zufallsvariablen setzt man sogar mehr voraus, namlich, dafi J \x\f{x)dx < oo ist. Interpretation und Eigenschaften von Erwartungswerten lassen sich vom diskreten auf den stetigen Fall ohne wesentliche Anderung iibertragen. Wir fassen die Eigenschaften nochmals zusammen, verzichten aber auf Beweise, die teils in Analogic zum diskreten Fall gefiihrt werden konnen.
6. Stetige Zufallsvariablen
284
Eigenschaften von Erwartungswerten
1. Transformationen: Sei g{x) eine reelle Funktion. Dann gilt fiir Y = g{X) +00
-hoo /
9{x)f{x)dx. -OO
2. Lineare Transformationen: FiiTY = aX + b ist E{Y) = E{aX + b) = aE{X) + b. 3. Symmetrische Verteilungen: Ist die Dichte f{x) symmetrisch um den Punkt c, d.h. ist / ( c — x) = f{x + c) fiir alle x^ so gilt E{X) = c, 4. Additivitat: Fiir zwei Zufallsvariablen X und Y ist E{X + y ) = E{X) +
E{Y).
5. AUgemeiner gilt mit beliebigen Konstanten a i , . . . , a^ E{aiXi + . . . + anXn) = aiE{Xi)
+ . . . + an£;(X^).
Linearitdt Additivitdt
Diese Eigenschaften erleichtern oft die Berechnung von Erwartungswerten. Die Eigenschaften 2,4 und 5 nennt man zusammen Linearitdt und Additivitdt des Erwartungswertes.
Beispiel 6.3
Stetige Gleichverteilung
Sei X wie in Beispiel 6.1 (Seite 275) auf [a, 6] gleichverteilt. Dann ist 2(6-a)
also E{X) =
a-\-b
Dieses Ergebnis hatten wir auch ohne Integration aus der Symmterieeigenschaft erhalten konnen: Der Mittelpunkt (a-h6)/2 des Intervalls [a, 6] ist Symmetriepunkt der Gleichverteilung.
6.2
Lageparameter, Quantile und Varianz von. stetigen Zufallsvariablen
285
Fiir das Beispiel der Wartezeit auf die nachste S-Bahn ist also die zu erwartende Wartezeit gleich 10 Minuten. D
Beispiel 6.4
Abweichungen vom Sollwert Der Erwartungswert der Zufallsvariablen X = "Abweichung vom Sollwert" ist durch o
n-\-l
+ 00
O
/• + !
/
xf{x)dx = /
x-{l-x^)dx
=-
{x- x^) dx
definiert. Integration ergibt x^
EiX) = -
x^ +1
= 0.
Das gleiche Ergebnis erhalt man auch aus der Symmetrie von f{x) zum Punkt 0. Falls man wiederholt, etwa n-mal, Abweichungen xi, ^ 2 , . . . , x^ mifit, wird nach der Haufigkeitsinterpretation das arithmetische Mittel x = (xi+X2 + .. .-\-Xn)/n dieser Abweichungen nahe bei null liegen. D
Exponentialverteilung
Beispiel 6.5
Fiir eine exponentialverteilte Zufallsvariable X ~ Ex{X) ist
Eix)=x r
xe ^^ dx = - .
Jo
A
Die Integration ist nicht mehr elementar durchfiihrbar. Man kann aber Formelsammlungen entnehmen, dafi die Funktion p-Ax
A2
-i-Xx-l)
Stammfunktion von xe ^^ ist, und daraus das Ergebnis erhalten, oder man benutzt partielle Integration: / Jo
x\e-^''dx=
[x.(-l)e-^^]^4- / Jo
e"^^ c^x = 0 + 1/A . D
286
6. Stetige
Zufallsvariablen
Modus
Die Definition bezieht sich nun auf Maxima der Dichte f{x).
Modus
Jeder x-Wert, fiir den f{x) ein Maximum besitzt, ist Modus, kurz Xmod- Falls das Maximum eindeutig ist und f{x) keine weiteren lokalen Maxima besitzt, heifit f{x) unimodal. Modalitdt
Existieren zwei oder mehrer (lokale) Maxima, heifit f{x) bimodal oder multimodal.
-
4
-
2
0
2
4
- 4 - 2
0
2
bimodal
unimodal
ABBILDUNG
-2
0
2
multimodal
6.10: Uni- und multimodale Dichten
Falls f{x) unimodal und symmetrisch um c ist, ist offensichtlich c = Xmod = E{X). Als Lageparameter ist Xmod nur fiir unimodale Verteilungen sinnvolL In Beispiel 6.4 ist E{X) = 0 = Xmod^ fur die Gleichverteilung ist aber nach unserer Definition jeder Wert X G [a, b] auch Modus, womit natiirlich die Lage nicht charakterisiert wird. Median und Quantile
Wir betrachten zunachst den in der induktiven Statistik weitaus wichtigsten Fall, dafi die Verteilungsfunktion auf ihrem Trager T = {x : f{x) > 0} streng monoton wachsend ist wie in Abbildung 6.11. Der Median Xmed ist dann der Wert auf der T-Achse, fiir den F{Xmed)
Median
= P{X
< Xmed) = P{X
> Xmed) = 1 " F{Xmed)
= ^
gilt. Damit teilt der Median auch die Flache 1 unter der Dichte in zwei gleich grofie
6.2
287
Lageparameter, Quantile und Varianz von stetigen Zufallsvariablen
F{x) 1 .
± , P ' 1 2
y Xjy
1 led
11
^P
•-
X
^med
-^p
ABBILDUNG 6.11: Verteilungsfunktion, Dichte, Median und Quantile
Teilflachen. Fiir 0 < p < 1 sind p-Quantile Xp ganz analog durch F{xp) = P{X
p-Quantile
<xp)=p
definiert. Das p-Quantil teilt dann die Gesamtflache unter f{x) auf in eine Teilfiache der Grofie p links von Xp und eine Teilfiache der Grol3e 1 — p rechts von Xp.
Median und Quantile
Fiir 0
Fiir streng monotone Verteilungsfunktionen F{x) sind p-Quantil und Median eindeutig bestimmt. Fiir nicht streng monoton wachsende Verteilungsfunktionen kann zum Beispiel der Median nicht eindeutig bestimmt sein, wenn F{x) = 0.5 auf einem Intervall gilt. Dann ware jeder x-Wert aus diesem Intervall Median. Zur eindeutigen Festlegung konnte man etwa den hnken Randpunkt oder den Mittelpunkt des Intervalls wahlen. Dieser Fall tritt selten auf und hat somit geringere Anwendungsrelevanz. Fiir zu einem Punkt c symmetrische und unimodale Verteilungen gilt
Symmetrie
288
6. Stetige Zufallsvariablen
Im allgemeinen gilt diese Gleichung jedoch nicht. Beispiel 6.6
Stetige Gleichverteilung, Exponentialverteilung
Bei der stetigen Gleichverteilung gilt wegen der Symmetrie _ a+ b Fiir die Exponentialverteilung berechnet sich der Median aus der Gleichung pXmed
1
also Logarithmieren ergibt
Somit ist In 2
1
_,„,
Da der Modus = 0 ist, erhalt man insgesamt
D
Varianz
Wie fiir den Erwartungswert kann die Definition der Varianz durch einen Grenzlibergang vom diskreten zum stetigen Fall motiviert werden. Die Varianz der approximierenden diskreten Zufallsvariable Xd ist Var{Xd) = ^{xi
-
fiff{xi)Axi.
i
Fiir Axi —^ 0 wird diese Summe zu einem Integral, und man erhalt folgende Definition.
6.2 Lageparameter, Quantile und Varianz von stetigen Zufallsvariablen
Varianz und Standardabweichung einer stetigen Zufallsvariable
Die Varianz Var{X) einer stetigen Zufallsvariable X mit Dichte f{x) ist +00
/
{X - lJLff{x)dx -oo
mit fi = E{X). Die Standardabweichung ist a = +^/Var{X)
Interpretationen und Eigenschaften gelten wie im diskreten Fall.
Eigenschaften von Varianzen 1. Es gilt Var{X) = E{{X 2. Verschiebungsregel
iif)
Var{X) = E{X^) - {E{X)f
= E{X^) --f^'
bzw. Var{X) = E{{X - cf) -{fx-
cf .
3. Lineare Transformationen Fiir Y = aX + h\st VariX) = Var{aX + b) = a'^Var{X), cry = \a\ax . 4. Varianz der Summe von unabhdngigen Zufallsvariablen Falls X und Y bzw. X i , . . . , X^^ unabhangig sind gilt Var{X + Y) = Var{X) + Var{Y) bzw. mit beliebigen Konstanten a i , . . . , a^ Var{aiXi + . . . + a^X^) = alVar{Xi) + . . . + a lVar{Xn). Die Beweise fiir diese Eigenschaften aus Abschnitt 5.2.2 konnen dabei zum Teil unverandert iibernommen werden.
289
6. Stetige Zufallsvariablen
290
Beispiel 6.7
Stetige Gleichverteilung Es ist zunachst
-oo
x^f(x)dx=
/
x'^-—dx^
Ja
b-a
3(6 - a)
Aus dem Verschiebungssatz erhalten wir (a + 6)2
63
Var{X) = E{X^) - (E(X))^
3(6 - a)
(6 - a) 12(6-a)
12
Die Varianz wachst also quadratisch und die Standardabweichung a = {b — a)/y/l2 mit der Lange des Intervalls.
Beispiel 6.8
linear D
Abweichungen vom Sollwert Fur die Zufallsvariable X = "Abweichung vom Sollwert" ist E{X) = 0. Also ist f+l
Var{X) = E{X^) =
o
x^ • j{l - x^) dx
3 f+\ ,
x^) dx =
Sfx^ 4 V 3
3 / I _ 1\ _ 3 / _ 1
4U
5/
+1 J -1
1\ _ 3 5 - 3 _ 1
4 V 3 ' ^ 5 J ~2 15 ~5 D
Beispiel 6.9
Exponentialverteilung Die Integration erfordert hier wieder grofieren Aufwand; wir fiihren sie nicht durch. Es ergibt sich fur X - Ex{X) Var{X) = ^ . Die Varianz ist also umgekehrt proportional zu A^: Je groBer A ist, desto steiler geht die Dichte f{x) gegen null, desto naher ist die Verteilung bei null konzentriert und desto kleiner ist somit die Varianz. D
6.2
291
Lageparameter, Quantile und Varianz von stetigen Zufallsvariablen
Standardisierung von Zufallsvariablen
Eine Zufallsvariable X mit fx = E{X) und a = Var{X) kann man ahnlich wie ein Merkmal bzw. Daten standardisieren. Man geht iiber zu Z =
X-fi
Dann gilt nach den Regeln fiir lineare Transformationen E{Z) = Q und
Var{Z) = l,
Symmetrie und Schiefe
Wie bei empirischen Verteilungen ist auch bei Verteilungen von Zufallsvariablen nach Lage und Streuung die Schiefe die nachstwichtige, die Form der Verteilung charakterisierende Eigenschaft. Abbildung 6.12 zeigt fiir stetige Zufallsvariablen die Dichten einer linkssteilen (oder rechtsschiefen), einer symmetrischen und einer rechtssteilen (oder linksschiefen) Verteilung. Die Graphen entsprechen schiefen oder symmetrischen Dichtekurven in Kapitel 2.
linkssteil
symmetrjsch
rechtssteil
ABBILDUNG 6.12: Dichten einer linkssteilen, symmetrischen und rechtssteilen Verteilung
Eine formale Definition von Symmetrie und Schiefe ist iiber die Entfernung der Quantile x^ und xi-p^ 0 < p < 1, vom Median m5ghch.
6. Stetige Zufallsvariablen
292
Symmetrie und Schiefe stetiger Verteilungen
Sei X eine stetige Zufalls variable. Dann heifit die Verteilung symmetrisch^ linkssteil^ (oder rechtsschief)
wenn wenn
Xmed — ^p = ^i-p ~ ^med Xmed — Xp < xi-p — Xmed
rechtssteil^ (oder linksschief)
wenn
x^ed — ^p^^l-p
~ Xmed
jeweils fiir alle 0 < p < 1 gilt und bei linkssteilen bzw. rechtssteilen Verteilungen fiir mindestens ein p das < bzw. > Zeichen gilt. Diese Definitionen entsprechen dem Verhalten empirischer Verteilungen, das auch in Box-Plots visualisiert wird. Charakteristisch ist auch die folgende Lageregel beziiglich Modus, Median und Erwartungswert: Lageregel Symmetrische unimodale Verteilung: Linkssteile Verteilung: Rechtssteile Verteilung:
^mod
^^ ^med
^^ ^ y-^ )
^mod
"^ Xrued ^ ^ \^
)
^mod
-^ ^med
)
^ -^ \^
Diese Lageregeln gelten auch fiir diskrete Verteilungen, vergleiche etwa die geometrische Verteilung. Eine sehr einfache linkssteile Verteilung ist die Exponentialverteilung, bei der wir die Lageregel im Beispiel 6.6 (Seite 288) nachvollziehen konnen. Linkssteile Verteilungen spielen insbesondere bei der Modellierung von Lebensdauern, Einkommensverteilungen u.a. eine wichtige RoUe. Wir geben noch ein einfaches Beispiel einer rechtssteilen Verteilung an. Beispiel 6.10
Eine rechtssteile Verteilung
Die Zufallsvariable X habe die Dichte
m
2x, 0 < X < 1 0 , sonst.
Die Verteilung ist rechtssteil mit Xmod = 1 und
/i = E{X) = f x2xdx = Jo0
3
6.3
Spezielle stetige Verteilungsmodelle
293
Der Median Xmed berechnet sich aus
F{Xmed) = 1/2 mit der Verteilungsfunktion 0 , F{x) = { x2, 1 ,
x<0 0<x
Damit folgt Xmed = \ / l / 2 . Es gilt also die Lageregel.
6.3
D
Spezielle stetige Verteilungsmodelle
Dieser Abschnitt beschreibt einige wichtige Verteilungen fiir stetige Zufallsvariablen. Beziiglich des Modellcharakters gelten die gleichen Vorbemerkungen wie zu diskreten Verteilungsmodellen in Abschnitt 5.3. Die stetige Gleichverteilung und die Exponentialverteilung wurden als zeitstetige Analoga zur diskreten Gleichverteilung und zur geometrischen Verteilung bereits im vorangehenden Abschnitt behandelt. Die Dichtekurve der Normalverteilung, der wichtigsten stetigen Verteilung, wurde bereits in Abschnitt 2.4.2, allerdings ohne Bezug zu Zufallsvariablen, eingefiihrt. 6.3.1
Die Normalverteilung
Die Normalverteilung ist die bekannteste und wichtigste Verteilung. Zwei wesentliche Griinde dafiir sind: In vielen Anwendungen lafit sich die empirische Verteilung von Daten, die zu einem stetigen oder quasi-stetigen, d.h. feinabgestuften diskreten, Merkmal X erhoben werden, durch eine Normalverteilung ausreichend gut approximieren, zumindest dann wenn die Originaldaten bzw. das urspriingliche Merkmal geeignet transformiert wurden. Deshalb wurde die Dichtekurve der Normalverteilung bereits in Kapitel 2 eingefiihrt. Die glockenformige Gestalt dieser Dichte ist insbesondere dann ein gutes Modell fiir die Verteilung einer Variable X, wenn diese durch das Zusammenwirken einer grofieren Zahl von zufalligen Einfliissen entsteht, etwa bei Mefifehlern, bei Abweichungen von einem Soil- oder Durchschnittswert bei der Produktion von Geraten, bei physikalischen Grofien wie Gewicht, Lange, Volumen, bei Punktezahlen in Tests usw. Die theoretische Rechtfertigung fiir dieses empirisch beobachtbare Phanomen liefert der zentrale Grenzwertsatz (Abschnitt 7.1.2). Fiir die induktive Statistik noch entscheidender ist, dafi sich viele andere Verteilungen,
6. Stetige Zufallsvariablen
294
insbesondere solche, die bei Schatz- und Testprozeduren mit grofierem Stichprobenumfang auftreten, durch die Normalverteilung gut approximieren lassen. Auch hierfiir liefert der zentrale Grenzwertsatz die theoretische Rechtfertigung. Normalverteilung
Eine Zufallsvariable X heifit normalverteilt mit Parametern // € IR und a^ > 0, kurz X ~ A/'(/i, (7^), wenn sie die Dichte XGR
2a2
V^TTi TTCT besitzt. Es gilt E{X)^I2,
Var{X) = a^,
Die Normalverteilung wird auch als Gaufi-Verteilung und die Dichtekurve als Gaufi-Kurve bezeichnet. Speziell fiir // = 0, cr^ = 1 erhalt man die Standardnormalverteilung A/'(0,1) mit der Dichte 1 1 cj>ix) =
v^'^'n-r
Symmetrie
Die Dichte ist symmetrisch zu //, d.h. es gilt f{lJL-x) = f{ii + x), X G R .
Glockenform
Verteilungsfunktion
Die Gaufi-Kurve hat Glockenform mit dem Maximum an der Stelle /x und den Wendepunkten bei fi±a. Eine Veranderung von /i bei gleichbleibender Varianz bewirkt nur eine Lageverschiebung auf der x-Achse, jedoch keine Veranderung der Form. Diese wird durch den Wert von a bestimmt: Die Glockenkurve fallt umso schneller bzw. langsamer vom Maximum an der Stelle /i gegen null ab, je kleiner bzw. grofier der Wert der Standardabweichung a ist. Abbildung 6.13 zeigt einige Dichten fiir verschiedene Werte von fi und a. Aus der Symmetrie um /i folgt sofort, dafi E{X) = fi ist. Auf die schwierigeren Beweise, dafi f{x) eine Dichte ist, d.h. / f{x)dx = 1 gilt, und dafi a^ die Varianz von X ist, verzichten wir. Die Verteilungsfunktion ist definitionsgemafi durch Fix) = P{X < x)
Standardnormalverteilung
f
f{t)dt
gegeben. Dieses Integral lafit sich nicht analytisch berechnen und durch bekannte Funktionen in geschlossener Form schreiben. Dies gilt ebenso fiir die Verieilungsfunktion ^(x) der Standardnormalverteilung
6.3
Spezielle stetige Verteilungsmodelle
295 f(x) 0.8 A
0.6 H
0.4 H
0.2
0.0 H
f(x)
0.0 H "1
T"
0
2
-T
>,
4
ABBILDUNG 6.13: Dichten von Normalverteilungen fiir /z = 0 und cr^ = 0.25 (••••), 0-2 = 1 ( ) und a^ = 5 ( ) links bzw. a^ = 1 und // = - 1 (—), /^ = 0 ( ) sowie /i = 2 ( ) rechts F(X) 1.0
0.8
0.6
0.4
0.2 H
0.0 H
n
1
r
ABBILDUNG 6.14: Dichte und Verteilungsfunktion der Standardnormalverteilung
*(x) = /_%(.).. = £-i=exp(-f)*. Deshalb mu6 ^(x) durch spezielle numerische Verfahren am Computer berechnet werden und ist fiir bequemeres Rechnen tabelliert. Da
Symmetriebeziehung
296
6. Stetige Zufallsvariablen
^-x)
= 1 - $(x).
Daher reicht es aus, ^{x) fiir a: > 0 zu berechnen bzw. zu tabellieren. Um die Verteilungsfunktion F{x) = P{X < x) und Wahrscheinlichkeiten anderer Ereignisse fiir beliebige A/'(/i, cr^)-verteilte Zufallsvariablen zu berechnen, geniigt es, $(x) sowie /i = E{X) und a'^ = Var{X) zu kennen. Entscheidend ist die folgende Eigenschaft: Standardisierung
Ist X eine A^(/i, (j^)-verteilte Zufalls variable, so ist die standardisierte Zufallsvariable a standardnormalverteilt, d.h. Z ~ Ar(0,1). Damit lafit sich die Verteilungsfunktion F einer lS!(^ii^ (7^)-verteilten Zufallsvariable durch die Verteilungsfunktion $ der Standardnormalverteilung ausdriicken.
Zusammen mit der Symmetriebeziehung kann damit F(x) iiber die Tabelle A fiir die Standardnormalverteilung $(x) berechnet werden. Die $(—a:) = 1 — ^{x) entsprechende Symmetriebeziehung fiir F{x) ist F(/i — x) = 1 — F(/i + x ) . Ruckfuhrung auf Standardnormalverteilung
F(^) = $ ( f _ ^ )..$(;,)
mit
z^"^—^
Quantile
Die Quantile z^ der Standardnormalverteilung sind durch die Gleichung $(^p)=p,
0
bestimmt. Das p-Quantil Zrp teilt damit die Flache unter der Dichte (^{z) in eine Flache mit Inhalt p links von z^ und eine Flache mit Inhalt 1 — p rechts davon auf. Wegen der Symmetric gilt Zrp
Z\—.p .
6.3
297
Spezielle stetige Verteilungsmodelle
ABBILDUNG 6.15: Quantile der Standardnormalverteilung
Wichtige Quantile der Standardnormalverteilung sind (vgl. Abschnitt 2.4.2)
p Zp
50% 0.0 (Median)
75% 0.67
90% 1.28
95% 1.64
97.5% 1.96
99% 2.33
Zwischen den Quantilen Xp einer A^(/i, cr^)-Verteilungsfunktion F{x) und den ZpQuantilen besteht durch die Standardisierung folgende Beziehung:
Mit den Quantilen lassen sich auch sofort die Wahrscheinlichkeiten fiir sogenannte zentrale Schwankungsintervalle der Form ii — c<X < ji + c angeben. Dabei gibt man entweder c vor, zum Beispiel c = 2cr, und bestimmt dazu a bzw. 1 — a so, dafi P{li — c < X < iJi + c) = 1 — a gilt, Oder man gibt die Wahrscheinlichkeit 1 a vor und bestimmt mittels Quantile das richtige c, vgl. Abbildung 6.16.
zentrale Schwankungsintervalle
6. Stetige Zufallsvariablen
298
II — c ABBILDUNG
/i
/i +
6.16: Zentrales Schwankungsintervall
Zentrale Schwankungsintervalle, fecr-Bereiche F u r X - A r ( / i , a 2 ) gilt Pifi- - Zl-a/2<^ < X < lU + Zi_a/2(T)= l - a . Fiir zi_ a/2 = k erhalt man die ka-Bereiche k = l:P{fi-
•a<X
+ a)= 0.6827
2 : P ( / . - -2a<X
+ 2a) = 0.9545
k = 3 : P ( / x - - 3(7 < X < /i + 3cr) = 0.9973
Diese Beziehungen ergeben sich iiber die Standardisierung. Die erste Gleichung folgt direkt aus Pif^ - ^l-a/2C^ <X
<
< Zi^^j^)
= \ - OL ,
Weiter gilt F(;x +
fca)-F(/x-fca)
= $(^^ + ^ ^ - ^ V $ ^ ^ - ^ ' ^ - ^ G
)
\
O
: $(it) - $(-)t) = 2$(fc) - 1 . Fiir fc = 1, 2,3 erhalt man die angegebenen Wahrscheinlichkeiten aus Tabelle A.
6.3 Spezielle stetige Verteilungsmodelle
299 Beispiel 6.11
StiJhle und Tische Eine Firma erhalt den Auftrag, fiir die oberen Klassen (14 - 16jahrige) einer Hauptschule neue Schulmobel herzustellen. Da zufallsbedingte Ungenauigkeiten in der Herstellung nicht ausgeschlossen werden konnen, wurde angenommen, da6 die Hohe der Stiihle in guter Approximation als normalverteilte Zufallsvariable angesehen werden kann mit einer durchschnittlichen Sitzhohe von 83 cm und einer Standardabweichung von 5 cm. Mochte man beispielsweise die Wahrscheinlichkeit dafiir bestimmen, dafi ein Stuhl eine Sitzhohe von mindestens 82 cm hat, so ist X zunachst in eine standardnormalverteilte Zufallsvariable Z zu transformieren, damit die zugehorige Tabelle A verwendet werden kann. Da X N{83,25)-verteilt ist, besitzt Z = {X - 83)/5 eine N{0,1)-Verteilung und es gilt P{X >S2) =
P{Z>
82-83
•
P{Z>-0.2)
= 1 - $(-0.2) = 1 - 1 + $(0.2) = 0.5793. Also betragt die gesuchte Wahrscheinlichkeit ca. 58%. Interessiert man sich andererseits fiir die Mindesthohe x der 20 % hochsten Stiihle, so erfiillt das gesuchte x zunachst die Beziehung P{X >x) = l - F{x) = 0.2, also F{x) = 0.8 und durch Standardisierung erhalt man
F{x) = ^(^^:^\
=0.8.
Das 0.8-Quantil der Standardnormalverteilung ist laut Tabelle ungefahr gleich 0.84. (Genaugenommen ist dieser Wert das 0.7994-Quantil. Mit Hilfe von Statistik-Programm-Paketen erhalt man mit 0.8416 ein genaueres 0.8-Quantil.) Die Gleichung
x-83
= 0.84
liefert dann die gesuchte Mindesthohe von x = 0.84 • 5 -f- 83 = 87.2 cm. Der 2(7-Bereich der Verteilung der Stuhlhohe ist das Intervall [73,93], d.h. etwa 95% der produzierten Stiihle sind mindestens 73 cm und hochstens 93 cm hoch. D
Zwei wichtige Eigenschaften von normalverteilten Zufallsvariablen betreffen ihr Verhalten bei linearen Transformationen und bei Addition.
Lineare Transformation Fiir X ~ A/'(/i, cr^) ist die linear transformierte Variable Y -= a X + 6, a 7^^ 0, wieder normalverteilt mit y-iV(a/i + 6,aV).
6. Stetige Zufallsvariablen
300
Addition Sind X ^ N{iix^(^'x) gilt
und y ~ A7'(/iy,cry) normalverteilt und unahhdngig^ so X + Y ^ Nifix
+ I^Y^ cTx + ^Y) •
Sind Xi ~ N{fii^af)^ i = 1 , . . . , n , unabhdngig^ so ist jede Linearkombination Y = aiXi + ... + QnXn wieder normalverteilt mit Y r^ N{aiiii
+ . . . + anfJin, a^ai + . . . + .2_2> a^aj .
Die Normalverteilungseigenschaft bleibt also bei der linearen Transformation und bei der Addition von unabhangigen Zufallsvariablen erhalten. Wir zeigen nur die lineare Transformationsregel. Es ist P(Y
+ b
=
P(X<
y-1^
^y—b
wobei die Substitution von t = ax + b^ dt = adx verwendet wurde. Einsetzen liefert
1/ '-* a \
1
a
/ exp ' a^/2^Ta " \
l(^^t-h)/a-^ly 2
a^
l{t-{a^i \/2TTacF
\
2
+ h)Y OP'G'^
also gerade die Dichte der N{aii + 6, a'^a^j-Verteilung. Die Regel fiir die Linearkombinationen ergibt sich aus der Verbindung der beiden ersten Aussagen. Beispiel 6.12
Stuhle und Tische
Bei der Herstellung der Stuhltische ergab sich, daC ihre Hohe Y als Ar(113,16)-verteilte Zufallsvariable angesehen warden kann. Aus orthopadischen Untersuchungen ist bekannt, dafi eine optimale Sitzposition dann gegeben ist, wenn der Schultisch um 28 cm hoher ist als der Stuhl. Somit ist die Zufallsvariable F = y - X, die die Differenz zwischen der Tischhohe aus Beispiel 6.11 und der Stuhlhohe beschreibt, von Interesse. Aufgrund der Transformationsregel (mit a = - 1 ) folgt -X einer A/'(-83,25)-Verteilung, so dafi V wegen der Additionsregel iV(113 — 83,16 + 25), also N{30,41)-verteilt ist. Dabei darf die Additionsregel nur verwendet werden, da Tische und Stuhle von verschiedenen Maschinen hergestellt werden, so dafi
6.3 Spezielle stetige Verteilungsmodelle
301
X und Y als unabhangig betrachtet werden konnen. Entnimmt man nun der Produktion zufallig einen Tisch und einen Stuhl, so weicht diese Kombination mit nur ca. 12% Wahrscheinlichkeit um weniger als 1 cm von der optimalen Sitzposition ab: 2 7 - 3 0 V -fi 29-30 \/4r ~ cr v^ $(-0.16) - $(-0.47) 1 - $ ( 0 . 1 6 ) - 1 + $(0.47) -0.5636 + 0.6808 = 0.1172.
P(27 < y < 29) = P
D
6.3.2
Die logarithmische Normaiverteilung
Verteilungen von nichtnegativen Zufallsvariablen, etwa Lebensdauern, Wartezeiten oder Einkommen, sind haufig linkssteil. Eine einfache, aber nicht immer adaquate Moglichkeit zur Modellierung solcher Variablen bietet die Exponentialverteilung. Eine andere Moglichkeit besteht darin, eine nichtnegative Zufallsvariable X mit linkssteiler Verteilung zu transformieren, um eine Zufallsvariable mit symmetrischer Verteilung zu erhalten. Haufig logarithmiert man X zuY = ln(X) und hofft, dafi Y zumindest annahernd normalverteilt ist. Logarithmische Normaiverteilung
Eine nichtnegative Zufallsvariable X heifit logarithmisch normalverteilt mit Parametern /x und a^, kurz X ~ LN{ii., a^), wenn Y = ln(X) iV(/x, cr^)-verteilt ist. Es gilt E{X) = e^+^'/2 ^ Var{X) = e2/^+^'(e^' - 1). Die Dichte lal3t sich ebenfalls iiber die logarithmische Transformation in geschlossener Form angeben. Abbildung 6.17 zeigt fiir verschiedene Werte von /i und a^ die Dichtekurven. Weitere Verteilungen, die haufig zur Analyse von Lebensdauern eingesetzt werden, sind WeibuU-Verteilungen, Gamma-Verteilungen (mit der Exponentialverteilung als Spezialfall) und die Pareto-Verteilung (insbesondere als Modell fiir Einkommensverteilungen). 6.3.3
Chi-Quadrat-, Student- und Fisher-Verteilung
Von den folgenden Verteilungen werden wir insbesondere die zugehorigen Quantile fiir Schatz- und Testverfahren der inferentiellen Statistik benotigen. Die Chi-
Quantile inferentielle Statistik
6. Stetige Zufallsvariablen
302
0.2 H
ABBILDUNG 6.17: Dichten der logarithmischen Normalverteilung fur fi = 0 und cr^ = 0.25 ( - ) , 0-2 = 1 ( ) und cr^ = 2.25 (---) links bzw. a'^ = 1 und fi = - 0 . 4 (••••), fi = 0 ( ) sowie fi = 1.2 ( — ) rechts
Quadrat-Verteilung kann aber auch zur Modellierung von Lehensdauem und die Student-Verteilung fur robuste Verfahren verwendet werden. Die Chi-Quadrat-Verteilung
Viele Teststatistiken besitzen, vor allem fiir sogenannte Anpassungstests (vgl. Kapitel 11), unter geeigneten Voraussetzungen zumindest approximativ eine ChiQuadrat-Verteilung. Diese lafit sich als Verteilung der Summe von unabhangigen und quadrierten standardnormalverteilten Zufallsvariablen herleiten. X^-Verteilung
Seien X i , . . . , X^ unabhangige und identisch A/'(0, l)-verteilte Zufallsvariablen. Dann heifit die Verteilung der Zufallsvariablen
Chi-Quadrat-Verteilung mit n Freiheitsgraden^ kurz x^(^)-Verteilung, und Z heifit x^(^)-verteilt, kurz Z ~ x^(^)- Es gilt E{Z) = n, Var{Z) = 2n, Die Dichten der x'^(^)-Verteilung lassen sich in geschlossener Form angeben, werden
6.3
303
Spezielle stetige Verteilungsmodelle
jedoch hier nicht benotigt. Abbildung 6.18 zeigt fiir verschiedene Preiheitsgrade n die Dichtekurven. f(x)
0.4 H
0.3
0.2
0.1
—1—
0
5
10
15
6.18: Dichten von x^-Verteilungen fiirn = 2 (• • •), n = 3 (—) n = 5 ) und n = 7 ( ) Preiheitsgrade
ABBILDUNG
(
Fiir kleine n sind die Dichten deutlich linkssteil. Fiir wachsendes n nahern sie sich der Gaufischen Glockenkurve an. Dies ist eine Folge des zentralen Grenzwertsatzes (Abschnitt 7,1.2), da die Summe der Zufallsvariablen Xf^... ,X^ dessen Voraussetzungen erfiillt. Fiir n < 30 sind zu ausgewahlten Werten von p die Quantile tabelliert (Tabelle C). Fiir n > 30 benutzt man folgende Normalverteilungsapproximation:
Xf]
l{zp + V2^r^f,
wobei Zp das p-Quantil der A/'(0,1)-Verteilung ist. Diese Approximation ist besser als die direkte Approximation der x^(^)-Verteilung durch eine N(n^ 2n)-Verteilung.
Die Student-Verteilung
Diese Verteilung findet besonders bei Parametertests und bei Konfidenzintervallen fiir Parameter Verwendung, vgl. Kapitel 9 bzw. 11. Sie wird haufig auch als Students t-Verteilung oder kurz t-Verteilung bezeichnet.
Normalverteilungsapproximation
6. Stetige Zufallsvariablen
304
t-Verteilung, Student-Verteilung
Seien X ^ A^(0,1), Z ^ x^(^) sowie X und Z unabhangig. Dann heifit die Verteilung der Zufallsvariable
t-Verteilung mit n Freiheitsgraden^ kurz t(n)-Verteilung. Die Zufallsvariable T heifit t(n)-verteilt, kurz T ^ t(n). Es gilt E{T) = 0 ( m > 2 ) ,
n n-2
T/ar(T)
(n > 3).
Die Formeln fiir die Dichten werden hier nicht benotigt. Abbildung 6.19 zeigt fiir ausgewahlte Freiheitsgrade n die entsprechenden Dichtekurven. Man erkennt folf(x)
-
4
-
2
0
2
4
ABBILDUNG 6.19: Dichten von t-Verteilungen fiir n = 1 (—) n = 2 {••'), n = 5 ( ) und n = 20 ( ) Freiheitsgrade
robust
Normalverteilungsapproximation
gendes: Gemafi der Definition sind die t-Verteilungen symmetrisch um null. Fiir kleineres n besitzen sie im Vergleich zur Standardnormalverteilung breitere Enden, d.h. die Flachen unter der Dichtekurve fiir kleine und grofie Werte von x sind groBer. Umgekehrt ist weniger Wahrscheinlichkeitsmasse im Zentrum um x = 0 verteilt. Damit eignet sich die t-Verteilung auch zur Modellierung von Daten, die - im Vergleich zur Normalverteilung - einen grofieren Anteil an extremen Werten enthalten. Deshalb wird die t-Verteilung auch fiir rohuste Verfahren der inferentiellen Statistik eingesetzt. Fiir n —> oo konvergiert die Dichtekurve gegen die Dichte 0 der Standardnormalverteilung. Ab n > 30 ist die Approximation bereits sehr gut. Deshalb sind die Quantile nur bis n = 30 vertafelt (Tabelle D).
6.3
305
Spezielle stetige Verteilungsmodelle
Die Fisher-Verteilung
Quantile der Fisher-Verteilung werden vor allem bei Testverfahren der Regressionsund Varianzanalyse (vgl. Kapitel 12 und 13) benotigt.
Fisher-Verteilung
Seien X ~ X^(^) ^i^d Y ~ x^(^)-verteilt und voneinander unabhangig. Dann heifit die Verteilung der Zufallsvariable Z =
X/m Y/n
Fisher- oder F-verteilt mit den Freiheitsgraden m und n, kurz Z ~ F(m, n). Es gilt E{Z) = Var{Z)=
n n-2
fiir
n > 3,
'"'(" + " ^ - i m ( n - 4 ) ( n -- 92 ^) 2
fiir
n>5.
Abbildung 6.20 zeigt fiir verschiedene Freiheitsgrade die Dichtekurven. f(x)
2.0 H
1.5
1.0 H
0.5 H
0.0 H
0.0
ABBILDUNG 6.20: Dichten der F(2,10)-( ), der F(3,100)- (---) und F(10,3)(-—) links, sowie der F(10,10)-( ), F(100,10)-( ••) und der F(100,100)Verteilung ( ) rechts
6. Stetige Zufallsvariablen
306
Quantile
Wichtige Quantile sind fiir ausgewahlte Werte der Freiheitsgrade m und n tabelliert (Tabelle E ) . Fiir andere Werte von m und n geniigt es zu interpolieren. Zusatzlich beachte man, da& aufgrund der Definition der F-Verteilung zwischen dem p-Quantil F{n,m)Xp{m,n) der F ( m , n)-Verteilung und dem (1 — p)-Quantil x i _ p ( n , m ) der Verteilung die Beziehung Xp{m^n)
xi-p{n,m)
gilt.
Diskrete Zufallsvariable X diskreter Wertebereich {a>i, 0:2? • • •} f{x) Wahrscheinlichkeitsfunktion 0 < f{x) < 1
Stetige Zufallsvariable X stetiger Wertebereich C R f{x) Dichte f{x)>0 Jf{x)dx = l
F{x) = P{X < x) Verteilungsfunktion F{x)=
f
f{t)dt
i:xi<x
Wahrscheinlichkeiten P{a<X
E
P{a<X
fi^i)
=
jf{x)dx
i'.a<Xi
Erwartungswert + CX)
/i = E{X) = E
^ = E{X) = J xf{x) dx
Xif{xi) Varianz
Var{X)=j:ixi-fiyf{xi)
Var{X) = J{x - ixff{x) =
E{aiXi
Erwartungswert von Summen 4 - . . . + anXn) = aiE{Xi) + . . . +
dx
E{X-f^)^
a^EiXn)
Varianz fiir Summen von unabhdngigen Zufallsvariablen Var{aiXi + . . . + anXn) = afFar(Xi) + . . . + alVar{Xn) TABELLE
variablen
6.1: Definition und Eigenschaften von diskreten und stetigen Zufalls-
6.4
307
Zusammenfassung und Bemerkungen
6.4
Zusammenfassung und Bemerkungen
Stuft man den Wertebereich von diskreten Zufallsvariablen immer feiner ab, so gelangt man zu geeigneten Begriffsbildungen fiir stetige Zufallsvariablen. Vielfach gehen dabei Summen in Integrale iiber, jedoch gelten wichtige Eigenschaften und Rechenregeln unverandert fiir den diskreten und stetigen Fall. Die Tabelle 6.1 gibt dazu eine Zusammenfassung, siehe dazu auch Hartung, Elpelt und Klosener (2002). In Tabelle 6.2 sind die wichtigsten speziellen Verteilungen zusammengestellt. Viele weitere wichtige Verteilungen, z.B. die Gamma- oder Pareto-Verteilung zur Modellierung von Lebensdauern oder Einkomm.ensverteilungen finden sich im Nactischlagewerk von Johnson, Kotz und Balakrishnan (1994, 1995).
Dichte
Verteilung Gleichverteilung
1
f{x)=l
fiir a< X
b-a
-
[ 0 ,, ,
Erwart.wert
-
a +b 2
sonst
[ Ae"^"^
furx>0
Varianz
(b-a)' 12 1
1 A
A2
M
a^
siehe Johnson, Kotz und Balakrishnan (1994, 1995)
n
2n
0
t-Verteilung
siehe Johnson, Kotz und Balakrishnan (1994, 1995)
n n-2
F-Verteilung
siehe Johnson, Kotz und Balakrishnan (1994, 1995)
n n-2
Exponentialverteilung
1 0
sonst
wobei A > 0 f(^^
Normalverteilung
Zr^x\n) X^-Verteilung T - t{n)
1
C:'D[~^''~^)'^
fiir X G E
2n^(n + m + 2) m(n-4)(n-2)2
TABELLE 6.2: Spezielle stetige Verteilungen mit ihren Dichten, Erwartungswerten und Varianzen
6. Stetige Zufallsvariablen
308
6.5 Aufgabe 6.1
Aufgaben
Fiir eine stetige Zufallsvariable X gilt :
m=
Aax, -ax + 0.5, 0,
0<x
Bestimmen Sie den Parameter a so, dafi f{x) eine Dichtefunktion von X ist. Ermitteln Sie die zugehorige Verteilungsfunktion und skizzieren Sie deren Verlauf. Berechnen Sie den Erwartungswert sowie die Varianz von X. Aufgabe 6.2
Das statistische Bundesamt halt fiir die Wachstumsrate des Bruttosozialproduktes X alle Werte im Intervall 2 < x < 3 fiir prinzipiell moglich und unterstellt fiir ihre Analyse folgende Funktion ' c-{x-2), 2
m
(a) Bestimmen Sie c derart, dafi obige Funktion die Dichtefunktion einer Zufallsvariable X ist. (b) Bestimmen Sie die Verteilungsfunktion der Zufallsvariable X. (c) Berechnen Sie P(2.1 < X) und P(2.1 <X < 2.8). (d)Berechnen Sie P ( - 4 <X < 3\X < 2.1) und zeigen Sie, dafi die Ereignisse {-4 < X < 3} und {X < 2.1} stochastisch unabhangig sind. (e) Bestimmen Sie den Erwartungswert, den Median und die Varianz von X. Aufgabe 6.3
An der Miinchner U-Bahn-Station "Universitat" verkehren zwei Linien tagsiiber jeweils im 10-Minuten-Takt, wobei die U3 drei Minuten vor der U6 fahrt. Sie gehen gemafi einer stetigen Gleichverteilung nach der Vorlesung zur U-Bahn. Wie grofi ist die Wahrscheinlichkeit, dafi als nachstes die Linie U3 fahrt?
Aufgabe 6.4
Sei X eine zum Parameter A exponentialverteilte Zufallsvariable. Zeigen Sie die "Gedachtnislosigkeit" der Exponentialverteilung, d.h. dafi P{X < x\X >s) = P{X
<x-s)
fiir x, 5 G R mit s <x gilt. Aufgabe 6.5
In Aufgabe 5.9 wurde die Zufallsvariable X betrachtet, die die Anzahl der Fehler, die wahrend 12 Stunden an einem Digitalcomputer auftreten, beschreibt. (a) Welche Verteilung hat unter den gegebenen Voraussetzungen die Zufallsvariable Y= "Wartezeit auf den nachsten Fehler" ? (b) Wie lange wird man im Mittel auf den nachsten Fehler warten?
6.5
309
Aufgaben
(c) Wahrend 12 Stunden ist kein Fehler aufgetreten. Wie grofi ist die Wahrscheinlichkeit, dafi sich in den nachsten 12 Stunden ebenfalls kein Fehler ereignet?
Aufgabe 6.6
Beweisen Sie die Markov-Ungleichung P{X
>c)<
E{X)
fiir jede positive Zahl c, falls X nur nichtnegative Werte annimmt. Die Erlang-n-Verteilung wird haufig zur Modellierung von Einkommensverteilungen verwendet. Sie ergibt sich als Summe von n unabhangigen mit Parameter A exponentialverteilten Zufallsgrofien. Beispielsweise hat fiir n = 2 die Dichte die Form
m=
0,
Aufgabe 6.7
sonst.
(a) Zeigen Sie, dafi f{x) tatsachlich eine Dichtefunktion ist. (b) Zeigen Sie, dafi
F{x) =
0,
x<0
l - e - ' ^ ^ ( l + Ax),
x>0
die zugehorige Verteilungsfunktion ist. (c) Berechnen Sie den Erwartungswert, den Median und den Modus der Erlang-2-Verteilung mit Parameter A = 1. Was folgt gemafi der Lageregel fiir die Gestalt der Dichtefunktion? Skizzieren Sie die Dichte, um Ihre Aussage zu iiberpriifen. (d) Bestimmen Sie den Erwartungswert und die Varianz der Erlang-n-Verteilung fiir beliebige neN und A G iR+. In einer Klinik wird eine Studie zum Gesundheitszustand von Friihgeburten durchgefiihrt. Das Geburtsgewicht X eines in der 28ten Schwangerschaftswoche geborenen Kindes wird als normalverteilte Zufallsvariable mit Erwartungswert 1000 g und Standardabweichung 50 g angenommen. (a) Wie grofi ist die Wahrscheinlichkeit, dafi ein in der 28ten Schwangerschaftswoche geborenes Kind ein Gewicht zwischen 982 und 1050 g hat? (b) Bestimmen Sie das 10 %-Quantil des Geburtsgewichts. Was sagt es hier aus? (c) Geben Sie ein um den Erwartungswert symmetrisches Intervall an, in dem mit einer Wahrscheinlichkeit von 95 % das Geburtsgewicht liegt.
Aufgabe 6.8
Eine Firma verschickt Tee in Holzkisten mit jeweils 10 Teepackungen. Das Bruttogewicht der einzelnen Teepackungen sei normalverteilt mit fi = 6kg und der Standardabweichung a = 0.06. Das Gewicht der leeren Holzkiste sei normalverteilt mit dem Erwartungswert /i = 5 kg und der Standardabweichung a = 0.05 kg. Geben Sie ein symmetrisch zum Erwartungswert liegendes Intervall an, in dem in 95 % der Falle das Bruttogewicht der versandfertigen Holzkiste Hegt.
Aufgabe 6.9
310
Aufgabe 6.10
6. Stetige Zufallsvariablen
Da Tagesrenditen von Aktien oft Ausreifier enthalten, wird zu ihrer Modellierung haufig anstelle einer Normalverteilung eine t-Verteilung verwendet. Beispielsweise lassen sich die Renditen der MRU-Aktie {=X) aus Beispiel 2.8 nach der Transformation Y = (X-0.0007)/0.013 durch eine t-Verteilung mit 1 Freiheitsgrad gut approximieren. Wie gro6 ist demnach die Wahrscheinlichkeit, eine Rendite grofier als 0.04 zu erzielen? Wie grofi ware diese Wahrscheinlichkeit, wenn fiir X eine A/'(0.0007,0.013^)-Verteilung zugrundegelegt wiirde? Geben Sie ferner fiir das Modell mit Normalverteilungsannahme ein zentrales Schwankungsintervall an, in dem mit einer Wahrscheinlichkeit von 99 % die Tagesrenditen Uegen. Warum kann bei Annahme einer t-Verteilung fiir X kein zentrales Schwankungsintervall berechnet werden?
Mehr uber Zufallsvariablen und Verteilungen
Gemafi der Haufigkeitsinterpretation von Wahrscheinlichkeiten nahert sich bei nmaliger unabhangiger Wiederholung eines Zufallsvorgangs die relative Haufigkeit /(A), mit der ein interessierendes Ereignis A eintritt, immer besser der Wahrscheinlichkeit P{A) an. In Abschnitt 7.1 wird dieses "Gesetz grofier Zahlen" formal und in allgemeiner Form prazisiert. Desweiteren enthalt der Abschnitt den grundlegenden "zentralen Grenzwertsatz". Dieser rechtfertigt in vielen Fallen die Approximation von diskreten oder stetigen Verteilungen durch eine Normalverteilung (Abschnitt 7.2). Mit Zufallszahlen (Abschnitt *7.3) lassen sich Zufallsvorgange am Rechner nachbilden. Sie liefern somit die Basis fiir Computersimulationen. Mit Zufallszahlen konnen auch theoretische Result ate, wie z.B. das Gesetz grofier Zahlen empirisch bestatigt werden. Abschnitt *7.4 enthalt einige erganzende Begriffe und Resultate.
7.1
Gesetz der groBen Zahlen und Grenzwertsatze
In den vorhergehenden Abschnitten wurde des ofteren folgende Situation betrachtet: Ein Zufallsvorgang, dessen Ergebnisse die Realisierungen einer diskreten oder stetigen Zufallsvariable X sind, wird n-mal unabhangig wiederholt. Der einfachste Fall ist dabei eine BernouUi-Kette, bei der die einzelnen Bernoulli-Versuche mit gleichbleibender Wahrscheinlichkeit P{A) fiir das Eintreten des Ereignisses A wiederholt werden. Dann ist X binar mit Y _ \ 1 ? f^Us ^ eintritt 1 0, falls A nicht eintritt, d.h. X ist 5(l,7r)-verteilt mit 7r = P(A). Die einzelnen Bernoulli-Versuche werden durch die unabhangigen Indikatorvariablen -^ _ J 1, falls A im z-ten Versuch eintritt 1 0, falls A im z-ten Versuch nicht eintritt,
7. Mehr uber Zufallsvariablen und Verteilungen
312
beschrieben, mit Xi ^ 5(1,TT) fiir z = 1 , . . . ,n. Dies lafit sich auch so formulieren: Die Zufallsvariablen X i , . . . , X n sind unabhdngig und identisch wie X r^ B{1J7T) verteilt. Bei einer konkreten Durchfiihrung erhalt man als Ergebnis die Realisierungen x i , . . . , Xn (jeweils 1 oder 0) der Zufallsvariablen X i , . . . , Xn"Gesetz Zahlen^'
grofler
Ein zugehoriges ^'Gesetz grofier Zahlen" wird dann heuristisch folgendermafien formuliert: Fiir grofies n liegt die relative Hdufigkeit fn{A.) = fn{X = 1) fiir das Auftreten von A mit groiJer Wahrscheinlichkeit nahe bei der Wahrscheinlichkeit P{A) = P{X = l),d.h. U{X = 1)^P{X = 1), und fiir n —> oo "konvergiert" fn{X = 1) gegen P{X = 1), d.h. fn{X = 1) —> P{A) fiir n —^ oo . In Abbildung 7.1 sieht man, wie die relative Haufigkeit fn mit wachsender Anzahl relative H. 1.0i
•
0.8 H
0.6
•• • ^•^•••^•••sn^^Xsx' 0.4
0.2
0.0
^. 0
20
40
60
80
100
ABBILDUNG 7.1: Relative Haufigkeit /n, durch Punkte markiert, nach n unabhangigen Wiederholungen eines Bernoulli-Versuchs mit TT = 0.4
der Versuchs wiederholungen tendenziell immer naher am wahren Wert TT = 0.4 liegt. In diesem Abschnitt werden Gesetze groiJer Zahlen in praziserer und in genereller Form, d.h. fiir allgemeinere diskrete und stetige Zufallsvariablen als grundlegende Satze dargestellt. Entsprechendes gilt fiir die Summe Hn = Xi + . . . + Xn , der ahsoluten Hdufigkeit des Auftretens von A. Fiir jedes endliche n ist Hn B{n, TT)verteilt. Fiir groiSes n ist die Summe approximativ normalverteilt bzw. die Verteilung
7.1
Gesetz der groBen Zahlen und Grenzwertsatze
313
von Hn "konvergiert" gegen eine Normalverteilung (vgl. Abschnitt 5.3.1). Eine formale und allgemeinere Beschreibung dieses Sachverhalts wird durch den zentralen Grenzwertsatz gegeben. Wir fassen zunachst das fiir das Beispiel der BernouUi-Kette dargestellte Konzept der n-maligen unabhangigen Versuchswiederholung in seiner allgemeinen Form zusammen.
zentraler Grenzwertsatz
Unabhangige und identische Wiederholung
Sei X eine diskrete oder stetige Zufallsvariable mit Erwartungswert /i, Varianz a^ und einer bestimmten Verteilungsfunktion F, Der zu X gehorende Zufallsvorgang werde n-mal unabhangig wiederholt. Die Zufallsvariablen X^, 2 = 1 , . . . , n, geben an, welchen Wert X beim i-ten Teilversuch annehmen wird. Die Zufallsvariablen X i , . . . , Xn sind unabhangig und besitzen alle die gleiche Verteilungsfunktion F und damit insbesondere den gleichen Erwartungswert // und die gleiche Varianz cr^ wie X. Man sagt kurz: X i , . . . , Xn
sind unabhangig identisch verteilt wie X, oder
X i , . . . , Xn
sind unabhangige Wiederholungen von X.
Die nach der Durchfiihrung erhaltenen Ergebnisse sind Realisierungen xi^ ,,,,Xn v o n X i , . . . , X n . Diese Annahme ist bei vielen Zufallsstichproben vom Umfang n fiir ein Merkmal X zumindest naherungsweise erfiillt. Wir setzen fiir diesen Abschnitt im weiteren diese Annahme voraus. 7.1.1
Das Gesetz der groBen Zahlen und der Hauptsatz der Statistik
Das arithmetische Mittel
arithmetische s Mittel
n gibt den durchschnitthchen Wert von X bei n Versuchen wieder. Nach Durchfiihrung wird _ _ 1 ^n —
(^1 ~r . . . + Xn)
n als Realisierung von Xn beobachtet. Zur Verdeuthchung sei hier noch einmal erwahnt, dafi groi3e Buchstaben die Zufallsvariablen bezeichnen und kleine Buchstaben fiir die Realisierungen verwendet werden. Nach den Rechenregeln fiir Summen von unabhangigen Zufallsvariablen gilt:
7. Mehr uber Zufallsvariablen und Verteilungen
314
Erwartungswert und Varianz des arithmetischen Mittels
EiXn) = fi^
Beweis
Var{Xn) = a—.
Dabei folgt E{Xn) = M aus E{Xn) = iE{Xi) + . . . + E{Xn))/n = nii/n = /i und Var{X) = Var{Xi + . . . + Xn)/n^ = na^/n'^ = a^/n, wobei flir Var{Xn) die Unabhangigkeit der X i , . . . , Xn ausgenutzt wird. Der Erwartungswert des arithmetischen Mittels ist also gleich dem von X selbst. Die Varianz cr^/n ist umgekehrt proportional zu n und geht fiir n —> oo gegen null. Damit ist fiir grofies n die Verteilung von Xn stark um /^ = E{X) konzentriert. Formal lafit sich dies so fassen: Gesetz der groBen Zahlen
Fiir beliebig kleines c > 0 gilt P{\Xn — fi] < c) —> 1 fiir
n —> oo .
Man sagt: Xn konvergiert nach Wahrscheinlichkeit gegen /i. Interpretation
Das Gesetz der grofien Zahlen sagt also aus, dai3 die Wahrscheinlichkeit mit der das arithmetische Mittel in ein beliebig vorgegebenes Intervall [/j. — c, /j. + c] fallt, gegen 1 konvergiert, wenn n —> oo geht. Fiir grofies n ist damit P(/i — c < X^ < // + c) nahe bei 1. Der an sich einfache Beweis benutzt die Ungleichung von Tschebyscheff, siehe Abschnitt 7.4.3. Fiir n —> oo geht a^ jnc? gegen null. Daraus folgt die Behauptung. Fiir den eingangs betrachteten Fall X -> 5 ( 1 , TT) ist TT = P{A) = P{X = 1) = E{X) und Xn = (^1 + . . . + Xn)/n gerade die relative Haufigkeit Hn/n des Eintretens von A. Also gilt: Theorem von Bernoulli
Die relative Haufigkeit, mit der ein Ereignis A bei n unabhangigen Wiederholungen eines Zufallsvorgangs eintritt, konvergiert nach Wahrscheinhchkeit gegen P{A). empirische Ver- Das Theorem von Bernoulli lafit sich direkt auf empirische Verteilungsfunktionen teilungsfunktion anwenden: Fiir jedes feste x ist die empirische Verteilungsfunktion Fn{x) die relative
7.1
Gesetz der groBen Zahlen und Grenzwertsatze
315
Haufigkeit des Ereignisses {X < x}. Fafit man die Daten x i , . . . , x^ als Realisierung der unabhangigen und identisch wie X verteilten Zufallsvariablen X i , . . . ,Xn auf, so folgt dafi Fn{x) fiir jedes feste x mit n —> oo nach Wahrscheinlichkeit gegen die Verteilungsfunktion F{x) von X konvergiert. Tatsachlich gilt eine entsprechende Aussage nicht nur fiir jedes feste x, sondern global (^^gleichmdfiig") fiir alle x G R. Hauptsatz der Statistik (Satz von Glivenko-Cantelli)
Sei X eine Zufallsvariable mit der Verteilungsfunktion F{x), Dann gilt fiir die zu unabhangigen und identisch wie X verteilten X i , . . . , X^ gebildete Verteilungsfunktion Fn{x) P{snp\Fn{x)-F{x)\
1
fiir
n
oo.
Mit "sup" wird damit die maximale Abweichung zwischen Fn{x) und F{x) bezeichnet. Der Hauptsatz der Statistik zeigt also, dafi fiir Zufallsstichproben, bei denen X i , . . . ^Xn unabhangig und identisch wie das interessierende Merkmal X verteilt sind, die unbekannte Verteilung F{x) von X durch die empirische Verteilungsfunktion Fn{x) fiir n —> oo gut approximiert wird. Stimmen umgekehrt Fn{x) und eine theoretische Verteilung F{x)^ etwa die Normalverteilung, schlecht iiberein, so entstammen die Daten vermutlich einer anderen Verteilung. Sowohl das Gesetz der grofien Zahlen als auch der Satz von Glivenko-Cantelli gelten iibrigens auch unter schwacheren Annahmen, insbesondere lafit sich die Voraussetzung der Unabhangigkeit der X i , . . . , X^i abschwachen. Abbildung 7.2 zeigt anhand von 100 bzw. 1000 unabhangigen Wiederholungen einer standardnormalverteilten Zufallsvariable X, dafi die empirische Verteilungsfunktion umso naher an der theoretischen Verteilungsfunktion liegt, je grofier die Anzahl der Wiederholungen n ist. Die unabhangigen Ziehungen wurden dabei am Computer mit Hilfe von Zufallszahlen simuliert, vgl. Abschnitt *7.3. 7.1.2
Der zentrale Grenzwertsatz
Im Fall einer binomialverteilten Zufallsvariable X ~ 5 ( n , TT) hatte sich gezeigt, dafi sich die Verteilung, genauer das Wahrscheinlichkeitshistogramm, von X = Xi + ... + Xn
mit
Xir^B{l,7r)
fiir grofieres n gut durch eine Normalverteilung approximieren lafit. Die folgenden Abbildungen zeigen, dafi dies auch fiir andere Verteilungen gilt. Die durchgezogene Kurve in Abbildung 7.3(a) gibt die Dichte f{x) einer Zufallsvariable Xi mit E{Xi) = 0, Var{Xi) = 1 an. Dazu ist die Dichte 0(x) der Standardnormalverteilung
gleichmdfiige Konvergenz
7. Mehr uber Zufallsvariablen und Verteilungen
316
F(x)
F(x) 1.0 j
1.0
0.8-^
0.8
0.6
0.6
0.4
0.4
0.2
0.2 0.0
0.0 -
3
-
2
-
1
0
1
2
3
:>x
-4
-2
0
2
T>x
ABBILDUNG 7.2: Empirische Verteilungsfunktion (—) von 100 (links) und 1000 (rechts) standardnormalverteilten Zufallszahlen im Vergleich mit der Verteilungsfunktion der Standardnormalverteilung (••-•)
gezeichnet. In Abbildung 7.3(b), (c) und (d) sieht man die standardisierten Dichten der Summen Xi + X27 ^ i + ^ 2 + ^3? ^ i + • • • + ^ 6 von unabhangigen nach f{x) verteilten Zufallsvariablen Xi^... ^XQ. Man erkennt deutlich, dafi die entsprechenden Dichten mit wachsender Anzahl von Summanden immer besser durch eine Normalverteilung approximiert werden konnen. Tatsachlich gilt sehr allgemein, dafi die Verteilung einer Summe Xi + .., + Xn von Zufallsvariablen fiir n —> 00 gegen eine Normalverteilung konvergiert bzw. ftir grofies n approximativ normalverteilt ist. Fiir unabhangige und identisch verteilte Zufallsvariablen X i , . . . , Xn mit E{Xi) = /i, Var{Xi) = cr^ sind dabei Erwartungswert und Varianz der Summe gemafi den Rechenregeln fiir Erwartungswerte und Varianzen durch E{Xi + ... + Xn) = nfi, standardisierte Summe
Var{Xi + . . . + X^)
gegeben. Fiir die Formulierung des Grenzwertsatzes ist es zweckmafiig, zur standardisierten Summe liberzugehen. Dabei steht ^ fiir approximativ (bei grofierem n) oder asymptotisch (fiir n —> 00) verteilt. Fiir die unstandardisierte Summe Xi + ,. . + Xn gilt in dieser Schreibweise Xi + ... + Xn ^
Normalverteilungsapproximation
na
N(nfi,na^).
Fiir endliches n ist die Summe umso besser approximativ normalverteilt^ je weniger asymmetrisch die Verteilung der Xi ist. Umgekehrt ist fiir deutlich asymmetrische Verteilungen ein grofieres n notig, um eine ahnliche Approximationsgiite zu erreichen. Typischerweise formuliert man den sogenannten Zentralen Grenzwertsatz jedoch nicht fiir Xi + . . . + X^, selbst, sondern fiir die standardisierte Summe. Ein Grund ist, dafi fiir n —> 00 die Verteilung N{nii^ ncr^) unendlichen Erwartungswert und unendliche Varianz besitzt.
7.1
317
Gesetz der groBen Zahlen und Grenzwertsatze
ABBILDUNG 7.3: Dichten von (a) Xi ~ f{x),
(b) Xi + X2, (c) Xi + X2 + X3,
(d) Xi -{•'.' + Xe und approximierende Normalverteilungsdichte 0(x)
Zentraler Grenzwertsatz
, Xn seien unabhangig identisch verteilte Zufallsvariablen mit E{Xi) = /x und
Var{Xi) = a^ > 0,
Dann konvergiert die Verteilungsfunktion Fn{z) = P{Zn < z) der standardisierten Summe Xi + .,, + Xn — niJi ^J^ Y ^ Xj — /JL Zn —
i=l
fiir n —> 00 an jeder Stelle z eH gegen die Verteilungsfunktion $(z) der Standardnormalverteilung: Wir schreiben dafiir kurz Zn ~ iV(0, 1) .
318
7. Mehr uber Zufallsvariablen und Verteilungen
Der zentrale Grenzwertsatz gilt in noch wesentlich allgemeineren Varianten, wobei die X i , . . . ,Xn abhangig und verschieden verteilt sein diirfen. Entscheidend ist, dafi keine der Zufallsvariablen Xi die restlichen deutlich dominiert. Damit liefern die zentralen Grenzwertsatze die theoretische Begriindung dafiir, dafi eine Zufallsvariable X dann in guter Naherung normal verteilt ist, wenn sie durch das Zusammenwirken von vielen kleinen zufalligen Effekten entsteht. Fiir den eingangs betrachteten Spezialfall einer binomialverteilten Variable Hn = Xi + ,.. + Xn -
5(n,7r)
mit unabhangigen Bernoulli-Variablen Xi ~ 5 ( 1 , TT) , E{Xi) = n, Var{Xi) = 7r(l — n) erhalt man:
Grenzwertsatz von de Moivre
Fiir n —> oo konvergiert die Verteilung der standardisierten absoluten Hdufigkeit Hn — riTT
gegen eine Standardnormalverteilung. Fiir grofies n gilt Hn ~a N{n'K^ n7r(l — TT)) , d.h. die 5 ( n , 7r)-Verteilung lafit sich durch eine Normalverteilung mit // = WK, (7^ = n7r(l — TT) approximieren. Fiir die relative Hdufigkeit Hn/n gilt entsprechend Hn/n^N{7r,7T{l-7r)/n)
7.2
Approximation von Verteilungen
Dieser Abschnitt fafit einige Moglichkeiten zur Approximation von diskreten und stetigen Verteilungen durch in der Regel einfacher handhabbare Verteilungen zusammen. Besonders wichtig ist die Approximation der Binomialverteilungen durch eine Normalverteilung sowie die Approximation von Quantilen stetiger Verteilungen, insbesondere der Chi-Quadrat und Student-Verteilung, durch Quantile der Normalverteilung. Die theoretische Grundlage hefert in vielen Fallen der zentrale Grenzwertsatz.
7.2 Approximation von Verteilungen
319
Die Normalverteilungsapproximation der Binomialverteilung beruht direkt auf dem Grenzwertsatz von Moivre, einem Spezialfall des zentralen Grenzwertsatzes. Danach lafit sich die Verteilungsfunktion P(X < x) = jB(x|n, TT) von X ~ S ( n , TT) durch eine Normalverteilung mit fi = n7r und cr^ = n7r(l — TT) annahern. Es gilt also
P{X
<x)^^
NormalverteilungS' approximation
X — rtTT
^/n7^(l — n)
Die Approximation wird besser, wenn die Treppenfunktion des Wahrscheinlichkeitshistogramms von der Dichtekurve etwa in der Mitte getroffen wird. Dies ftihrt zur sogenannten Stetigkeitskorrektur^ bei der im Zahler 0.5 addiert wird.
Stetigkeitskorrektur
Approximation der Binomialverteilung mit Stetigkeitskorrektur Sei X ^ B{n, 7r)-verteilt. Falls
TITT
und n ( l —
TT)
grofi genug sind, gilt
X + 0.5 — nTT
P{X<x)=:B{x\n,7r)^^
\/n7r(l - TT) _,. __
.
_. / X + 0.5 - nTT \
P{X = x) ?^ $ I —.
^/^lJ^{1^^7^)
_ / X - 0.5 - nTT
1 - $
yrijr^T^-Tr)
Faustregel: nvr > 5 , n ( l — TT) > 5 Die in der Literatur angegebenen Faustregeln sind nicht immer einheitlich, sondern sctiwanken in Abhangigkeit von der angestrebten Approximationsgiite. Treffer und Nieten
Beispiel 7.1
In Beispiel 5.16(b) (Seite 257) wurden 20 Stiick eines Massenartikel gepriift. Wenn grofiere Stiickzahlen entnommen warden, arbeitet man mit der Normalverteilungsapproximation. Sei etwa n = 100, also X ~ J 5 ( 1 0 0 , 0.90). Dann wird wegen nn = 90, n(l - TT) = 10 die Faustregel gerade erfiillt. Dann ist etwa P{X < 90) « $
90.5 - 90 V VlOO . 0.90 . 0.10
$
0.5
: $(0,167) =0.576, und P{X = 90) « $ (^^
- $
0.5
2$ f ^ V 1=0.134.
Dabei ntitzt man $(-a:) = 1 — ^{x) aus, vgl. Abschnitt 6.3.1. Die Wahrscheinlichkeit, genau den Erwartungswert E{X) = n7r = 90 zu erhalten, sinkt damit auf ca. 13 %. D
7. Mehr uber Zufallsvariablen und Verteilungen
320
Das Diagramm der Abbildung 7.4 zeigt im Uberblick weitere Approximationsmoglichkeiten zusammen mit Faustregeln auf. Die Pfeile zwischen den Verteilungen bedeuten dabei "approximierbar durch". Die Approximationsbedingungen sind zusatzlich angegeben. Viele dieser Approximationen wurden in den Abschnitten 5.3 und 6.2 bereits angesprochen, weitere ergeben sich daraus durch Verkniipfung untereinander. So ergibt sich beispielsweise durch die Betrachtung der Poisson-Verteilung als Grenzfall fT(n
12 \it^
AT ^/^\
ly ^ ±v± 1
A = nM/N n/N < 0.05 n>30 M/N < 0.05
= M/N n /N < 0.05 TT
' B(n,7r)
X — wn
fi — mr G^ = n7r(l — TT) nTT > 5 n(l - TT) > 5
n>30,
[I = nMjN (r2 = nM/N{\ - M/N) n/N < 0.05 nM/N > 5 n(l - M/N) > 5
TT < 0.05
Po{X)
fi = X a^ = X A>10
1 Nif,,a^) X^(n)
t(n) n >30 Ttansformation: Z = V2X - V2n - 1
n>30 iV(0,l)
ABBILDUNG 7.4: Approximationsmoglichkeiten und Reproduktionseigenschaften der Verteilungen
*7.3
321
Zufallszahlen und Simulation
der Binomialverteilung fiir n ^ oo und TT —> 0 die Naherung J5(n, TT) ~ Po(A = nn) mit der angegebenen Faustregel. Die Approximation der Binomialverteilung durch eine Normalverteilung fiihrt dazu, dafi auch die Poisson-Verteilung fiir grofieres A approximativ normalverteilt ist. Bei Beriicksichtigung der Stetigkeitskorrektur erhalt man fiir X ^ Po{X) und A > 10 P{X
'7.3
<x)^^
x + 0.5-A
7r~
Zufallszahlen und Simulation
Zur Untersuchung komplexer Zufallsvorgange, z.B. bei der Planung von Produktionssystemen oder von Grofiprojekten, spielen Computersimulationen eine wichtige Rolle. Dabei werden am Computer Zufallszahlen x i , . . . ,Xn mit Hilfe spezieller Algorithmen berechnet. Solche Algorithmen nennt man Zufallsgeneratoren.
Computersimulationen Zufallszahlen
Grundlegend ist dabei die Erzeugung von Zufallszahlen xi, X2,..., x^^, deren Werte sich in sehr guter Naherung wie Realisierungen von unabhangigen auf [0,1] gleichverteilten Zufallsvariablen Xi, X 2 , . . . , Xn verhalten. Da die Werte xi, ^ 2 , . . . , x^ tatsachlich jedoch berechnet werden, sind sie nicht echt zufallig. Man spricht deshalb Pseudoauch genauer von Pseudo-Zufallszahlen^ die sich (fast) wie echte verhalten. Fiir die Zufallszahlen zugrundeliegenden numerischen Algorithmen verweisen wir auf die in Abschnitt 7.5 angegeben Spezialliteratur. Mit Hilfe von gleichverteilten Zufallszahlen lassen sich Gleichverteilung Zufallszahlen fiir andere Verteilungen durch geeignete Transformationen erzeugen. Mit Zufallszahlen konnen wir auch innerhalb der Statistik sogenannte MonteCarlo-Methoden einsetzen. Mit gleichverteilten Zufallszahlen konnen wir z.B. Spiele mit dem Gliicksrad am Rechner simulieren. Wenn wir etwa die relative Haufigkeit von Werten berechnen, die im Intervall [0.2,0.6] liegen, und rait der Wahrscheinlichkeit P(0.2 < X < 0.6) = 0.4 vergleichen, dann sollte fiir grofieres n die relative Haufigkeit nach dem Gesetz grofier Zahlen mit hoher Wahrscheinlichkeit bei 0.4 liegen. Auch sollte die empirische Verteilungsfunktion der gezogenen Zahlen xi, X2,..., Xn sich der [0,1]-Gleichverteilung annahern. Wir "spielen" nun Gliicksrad am Computer, indem wir wiederholt auf [0,1] gleichverteilte Zufallszahlen Ziehen. Das Intervall [0,1] wird wie in Abbildung 7.5 in 10 Teilintervalle der Lange 0.1 zerlegt und zu jedem "Spiel" wird festgestellt, in welches Teihntervall die gezogene Zufallszahl fallt. Abbildung 7.5 zeigt links das resultierende Histogramm mit den relativen Haufigkeiten fiir die 10 Teilklassen nach
Monte-CarloMethoden
7. Mehr uber Zufallsvariablen und Verteilungen
322
n = 100 Spielen. Man sieht, dafi die relativen Haufigkeiten zum Teil noch deutlich von dem zu erwartenden Wert 0.10 abweichen. Fiir n = 1000 haben sich diese Haufigkeiten bereits wesentlich besser um den Wert 0.10 stabilisiert. Anders ausgedriickt: Die empirische Verteilung der gezogenen Zahlen approximiert die "wahre" Gleichverteilung besser.
BernoulliVerteilung
Binomialverteilung Exponentialverteilung
Zufallszahlen fiir andere Verteilungen lassen sich aus gleichverteilten Zufallszahlen durch geeignete Transformationen gewinnen. Je nach Verteilung kann dies sehr einfach oder aber auch kompliziert sein. Will man beispielsweise Zufallszahlen x i , . . . , x^ zur Bernoulli-Verteilung 5 ( 1 , TT) erzeugen, kann man folgendermaiJen vorgehen: Zunachst "zieht" man gleichverteilte Zufallszahlen ui^... ^Un.lst Ui<7r setzt man Xi — 1, sonst Xi = 0, i = 1 , . . . , n. Durch Addition erhalt man mit x = xi + .. .+Xn eine Zufallszahl zur Binomialverteilung B(n, TT). Das Erzeugen von exponentialverteilten Zufallsvariablen ist bereits etwas schwieriger. Dazu miissen wir Zahlen xi,X2,... ,3:^1 erzeugen, die als Realisierungen von unabhangigen Zufallsvariablen Xi, X 2 , . . . , X^^, die alle wie X ~ £^x(A)-verteilt sind, angesehen werden konnen. Dies geschieht durch geeignete Transformation von Zufallszahlen 161,1^2? • • • 5 '^n aus einer [0,1]-Gleichverteilung. Die Transformation ergibt sich durch folgende Uberlegung: Fiir X ~ Ex{X) gilt P{X <x) =
l-e
-\x
Fix).
Mit der Umkehrfunktion F-^(a;) = - - l n ( l - a ; ) f(x)
f(x)
0.14 H
0.14
0.12
0.12
0.10 A
0.10
0.08 -I
0.08
0.06
0.06
0.04 H
0.04
0.02
0.02 H
>.
0.0 0.0
0.2
0.4
0.6
0.8
1.0
0.0 0.0
0.2
0.4
0.6
0.8
ABBILDUNG 7.5: Empirische Haufigkeitsverteilungen beim Ziehen von n= 100 (Unks) und n = 1000 rechts auf [0,1] gleichverteilten Zufallszahlen
1.0
*7.3
323
Zufallszahlen und Simulation
gilt F{x) = u
<^=^
x = F~^(ix).
Mit der transformierten Zufallsvariable U = F{X) gilt dann
P{U
< F-\u))
1 _ e-Ax _ ^
= P{X < x)
0 < u < 1,
d.h. U ist auf [0,1] gleichverteilt. Somit liefert die Transformation Xi = F~^{ui) = - - ln(l -Ui),
i = 1,2,..., n ,
von auf [0,1] gleichverteilten Zufallszahlen ^1,1^2? • • • 5^n exponentialverteilte Zufallszahlen Xi, X2, . . . 5:3^nWenn wir analog wie bei der Gleichverteilung 100 bzw. 1000 mit Parameter A = 0.75 exponentialverteilte Zufallszahlen bilden, ergeben sich die Histogramme der empirischen Haufigkeitsverteilung in Abbildung 7.6. Man erkennt wieder, dafi die zugrundeliegende "wahre" Exponentialverteilung fiir grofieres n besser approximiert wird. f(x)
f(x)
0.8 4^
0.8^
- ^ ^ 0
2
4
T>„
6
8
10^^
T>.
0
2
4
6
8
10"
ABBILDUNG 7.6: Histogramme zu n = 100 (links) und n = 1000 (rechts) auf [0,1] exponentialverteilten Zufallszahlen
Mit Hilfe geeigneter Transformationen von gleichverteilten Zufallsvariablen, auf die wir hier nicht naher eingehen, lassen sich am Computer auch standardnormalverteilte Zufallszahlen x i , . . . , a:^,... erzeugen, die als Realisierungen von unabhangigen A/'(0,1)-Variablen X i , . . . , Xn^... angesehen werden konnen. Durch den Ubergang zu yi = 12 + axi erhalt man dann N{fi, cr^)-verteilte Zufallszahlen. Abbildung 7.7 zeigt fiir ^ = 2 und cr^ = 4 die "wahre" Dichte der N(2,2)Verteilung, das resultierende Histogramm und eine Kernapproximation der Dichtekurve der empirischen Verteilung zu n = 100 gezogenen Zufallszahlen. Dabei zeigen. sich noch deutliche Abweichungen zwischen theoretischer und empirischer Verteilung.
Standardnormalverteilung
324
7. Mehr uber Zufallsvariablen und Verteilungen
-
4
-
3
-
2
-
1
0
1
2
3
4
5
ABBILDUNG 7.7: Dichte der A/'(2,2)-Verteilung, Histogramm und Dichtekurve (•••-) der empirischen Verteilung
*7.4
Einige Erganzungen
Dieser Abschnitt enthalt einige Erganzungen zu Zufallsvariablen, Verteilungen und ihren Eigenschaften. 7.4.1
Zufallsvariablen als Abbildungen
In den einfiihrenden Beispielen 5.1 bis 5.3 (ab Seite 224) hatten wir gezeigt, dafi sich eine Zufallsvariable X auch als Abbildung auffassen lafit: Jedem Ergebnis u einer zugrundeliegenden Ergebnismenge ft wird dabei sein Wert X{UJ) = x, eine reelle Zahl, zugeordnet. So ist etwa in Beispiel 5.2 (Zweimal Wiirfeln) jedem Paar to = (z, j ) , 1 < ^7 j £ 6, durch die Zufallsvariable X = "Augensumme" der Wert X{uj) = x = i+j zugeordnet. In Beispiel 5.3 (Mietspiegel) wird fiir jede ausgewahlte Wohnung u aus der Gesamtheit Q aller mietspiegelrelevanten Wohnungen die zu zahlende Nettomiete X = X{(jj) Oder ihre Wohnflache y = Y{u) festgestellt. Ergebnisse der Art {X = x}, {X < x} usw. lassen sich dann auf Ereignisse der urspriinglichen Ergebnismenge zuruckfiihren. Man identifiziert jeweils {X = a:}mit{u;: X{u;) = x} , {X < x}mit{a;: X{uj) < x} usw. So ist beim zweimaligen Wiirfeln {X = 4} = {(1,3), (2,2), (3,1)}, {X < 4} = {(1,1), (1,2), (1,3), (2,1), (2,2), (3,1)}, und beim Mietspiegel tritt das Ereignis {X < 1000} ein, wenn eine Wohnung mit einer Nettomiete von hochstens 1000 € gezogen wird, d.h. der Menge {cj : X(cu) < 1000} angehort.
^7A
325
Einige Erganzungen
Nimmt man diese Abbildungseigenschaft von Zufallsvariablen explizit in die Definition auf, so ergibt sich:
Zufallsvariablen und Ereignisse Gegeben sei ein Zufallsexperiment mit der Ergebnismenge ft, Eine Zufallsvariable X ist eine Abbildung, die jedem oj eft eine reelle Zahl X{ij) = x zuordnet, kurz X:0—>R (jj H-» X{u)
= X .
Der Wert x, den X bei Durchfiihrung des Zufallsexperiments annimmt, heifit Realisierung von X, Durch die Zufallsvariable X werden Ereignisse festgelegt, beispielsweise von der Art: {X = x} =: {u € n\X{u) = x} , {X<x}^ -- {oj € n\X{oj) < x} , {a<X
=••{ujen\a<X{uj)
wobei / ein '.[ntervall ist.
Wie etwa Beispiel 5.4 (Seite 226) zeigt, ist es in vielen Anwendungen nicht notwendig, nicht wichtig oder nicht moghch, einen zugrundehegenden Ergebnisraum wie in den Beispielen 5.1 bis 5.3 zu finden. Trotzdem lassen sich die dabei interessierenden Merkmale X, etwa die Rendite einer Aktie wie in Beispiel 5.4, formal ebenfalls als Zufallsvariable im Sinne der obigen Definition auffassen: Als Ergebnisraum ft wahlt man die Menge aller fiir x moglichen Werte, d.h. den Trager T oder auch eine Obermenge dieser Werte, also in jedem Fall fi C R. Als Zuordnungsvorschrift wahlt man to = x = X{uj)^ d.h. X ist formal die "identische" Abbildung. Tatsachlich interessiert man sich aber selten fiir X als Abbildung, insbesondere nicht fiir das eben beschriebene Konstrukt. Vielmehr mochte man etwas iiber die Verteilung von X wissen, d.h. iiber Wahrscheinhchkeiten der Form P{X e I) oder P{X G 5 ) , wobei / ein Intervall oder allgemeiner B eine "zulassige" Teilmenge von R ist, vgl. Abschnitt 5.1.
Abbildungseigenschaft
326
7. Mehr uber Zufallsvariablen und Verteilungen
Wahrscheinlichkeitsverteilung
Die Wahrscheinlichkeitsverteilung nung von Wahrscheinlichkeiten
P{XeI)
oder kurz Verteilung von X ist die Zuord-
Oder
P{XeB)
fiir Intervalle oder zulassige Bereiche.
7.4.2
Verteilungsfunktion und ihre Eigenschaften
Die Festlegung aller Wahrscheinlichkeiten P(X e I) ware fiir praktische Zwecke miihsam, aber auch unnotig. Wegen der Rechenregeln fiir Wahrscheinhchkeiten geniigt es namhch, die Wahrscheinhchkeiten P{X < x) fiir Ereignisse der Form {X < x} zu kennen. Daraus lassen sich die Wahrscheinhchkeiten fiir andere Ereignisse berechnen. Dies fiihrt sofort zur folgenden Definition der Verteilungsfunktion, bei der wir zunachst nicht mehr zwischen diskreten und stetigen Zufallsvariablen unterscheiden: Verteilungsfunktion
Sei X eine Zufallsvariable. Die Funktion F{x)^ die jedem a; 6 R die Wahrscheinlichkeit P{X <x) zuordnet, F{x) = P{X < x), heifit Verteilungsfunktion von X, Fiir diskrete Zufallsvariablen ist F{x) immer eine monoton wachsende Treppenfunktion, fiir stetige Zufallsvariablen eine monoton wachsende stetige Funktion. Es gibt jedoch auch Zufallsvariablen, die weder diskret noch stetig sind. Sei beispielsweise X die Wartezeit eines Kunden vor einem Schalter. Dann kann etwa mit Wahrscheinhchkeit 0.2 der Schalter frei sein, d.h. P{X = 0) = 0.2. Ist der Schalter jedoch nicht frei, kann die Wartezeit etwa auf dem Intervall (0, m] gleichverteilt sein, wenn m die maximale Wartezeit ist. Die Verteilungsfunktion sieht dann wie in Abbildung 7.8 aus. Sie weist bei x = 0 einen Sprung der Hohe 0.2 auf, sonst ist sie stetig. Es gibt offensichtlich auch noch kompliziertere Formen von Verteilungsfunktionen, auf die wir aber nicht eingehen.
"^lA
327
Einige Erganzungen F(x) 1.0
0.2
0.0
ABBILDUNG 7.8: Eine gemischt stetig-diskrete Verteilungsfunktion
Aus der Definition F{x) = P{X < x) latssen sich iiber Axiome und Rechenregeln folgende allgemeine Eigenschaften von Verteilungsfunktionen zeigen:
Eigenschaften von Verteilungsfunktionen 1. F{x) ist monoton wachsend, d.h. es gilt ^(^l) < ^(^2)
fur
a^i < 0:2 .
2. Es gilt lim F(x) = 0, rr—>—00
lim F(x) = 1. X—^H-oo
3. F{x) ist rechtsseitig stetig, d.h. fiir /i > 0 gilt lim F{x + h) = F{x). Mit dem linksseitigen Grenzwert lim Fix -h)
= F(x~)
gilt
F{x)-F{x-)
= P{X=^x).
Die Sprunghohe F{x) - F{x~) ist also gleich der Wahrscheinlichkeit fiir das Ereignis {X = x}.
Fiir stetige Verteilungsfunktionen ist F{x) = F(x~), also P{X = x) = 0. Fiir Verteilungsfunktionen von diskreten Zufallsvariablen ergibt Eigenschaft 3 gerade die
328
7. Mehr uber Zufallsvariablen und Verteilungen
Sprunghohen der Treppenfunktion. Die ersten beiden Eigenschaften lassen sich folgendermafien beweisen: 1. Fiir xi < X2 ist {X < xi} C {X < X2}. Damit folgt F{xi) = P(X < xi) < P{X < X2) = F{x2). 2. Fiir jede aufsteigende Folge Xn —> 00 gilt (-00, Xi] U (xi, X2] U . . . {Xn-l,Xn] U . . . = R . Daraus erhalt man fiir Xn —> 00 P{X < Xn) = F{xn) —> lim F{x) = 1. lim F(x) = 0 beweist man durch Komplementbildung. X—>—00
Der Beweis zu Eigenschaft 3 verlangt etwas mehr Aufwand, so dai3 wir an dieser Stelle darauf verzichten. Viele Begriffe und Eigenschaften von Zufallsvariablen lassen sich nicht nur fiir diskrete und stetige Zufallsvariablen, sondern auch fiir allgemeinere Typen ableiten, etwa Mischformen mit diskreten und stetigen Anteilen wie im obigen Beispiel. So gilt etwa die Definition der Unabhangigkeit von Zufallsvariablen ganz allgemein, wenn man in der Definition der Unabhangigkeit fiir stetige Zufallsvariablen beliebige Verteilungsfunktionen zulafit. Ebenso ist es moglich, Erwartungswerte, Varianzen, aber auch hohere Momente, die bei Schiefe- und Wolbungsmafien in Abschnitt 7.4.4 Verwendung finden, allgemein zu definieren. Entsprechend gelten Rechenregeln, Gesetze grofier Zahlen, die folgende Ungleichung von Tschebyscheff und vieles andere nicht nur fiir diskrete und stetige Zufallsvariablen, sondern allgemeiner. 7.4.3
Ungleichung von Tschebyscheff
Bei metrisch skalierten Zufallsvariablen ist man oft an den Wahrscheinlichkeiten fiir Ereignisse der Form {/a — c < X < fi + c} = {\X — fx] < c}, c > 0, oder den Komplementarereignissen {|X — /i| > c} interessiert. Dabei kann man fi = E{X) als "SoUwert" interpretieren, und {\X — ii\
"^7.4 Einige Erganzungen
329
Ungleichung von Tschebyscheff
Fiir eine Zufallsvariable X mit E{X) = // und Var{X) = cr^ gelten fiir beliebiges c > 0 folgende Ungleichungen: 2
P{\X-i2\>c)<^
2
und
P{\X-n\
Die zweite Ungleichung ergibt sich dabei aus der ersten wegen P{\X — /x| > c) = 1 — P{\X — fi] < c). Sie besagt, dafi bei festem c die Wahrscheinlichkeit fiir {fx — c<X
und P{Y = c^) = P{\X - fx\> c). Somit ist
E{Y) = c^P{\X - MI > c). Da nach Definition von Y immer Y < \X — /j,]"^ gilt, folgt E{Y) < E{X - ^f
= Var{X) = u'^ ,
d.h. die erste Ungleichung. WiJrfeln
Beispiel 7.2
Fiir X — "Augenzahl beim einmaligen Wiirfeln" ist fj, = 3.5 und a'^ = 2.92. Fiir c = 2 gilt nach der Ungleichung von TschebyscheflF P(3.5 - 2 < X <3.5 + 2) = P(1.5 <X< 5.5) >1
2.92
^0.27.
Wegen {1.5 < X < 5.5} = {x G (2,3,4,5}} gilt jedoch P{1.5<X<5.5} = ^ ^ H . Die Abschatzung ist also hier sehr ungenau.
D
7. Mehr uber Zufallsvariablen und Verteilungen
330
ka-Bereiche
Die Ungleichung von Tschebyscheff ifindet vor allem fiir feinabgestufte diskrete Oder stetige Zufallsvariablen Verwendung. Insbesondere wird die zweite Form oft zur Abschatzung fiir die Wahrscheinlichkeiten von ka-Bereichen [// — ka^/j. + fccr], A; = 1,2, 3 , . . . , benutzt. Man erhalt mit c = ka P ( M - f c c 7 < X < M + fccr)> 1 - ^
= 1 - 1 .
Fiir /c = 1 ist die Abschatzung wertlos. Fiir k = 2 und k = 3 ergibt sich P(/i -2a<X
3 2a)>j,
o
P{fi - 3(7 < X < /i + 3a) > - . Falls X normalverteilt ist, ergeben sich als WahrscheinHchkeiten fiir die entsprechenden Bereiche die Werte 0.9545 {k = 2) und 0.9973 {k = 3), vgl. Abschnitt 6.3. Auch hier, wenn auch nicht in dem Mafie wie im vorangehenden Beispiel, wird der Informationsverlust deutlich, den man erleidet, wenn keine Kenntnis liber die Verteilung benutzt wird. Mit der Ungleichung von Tschebyscheff laiit sich auch das Gesetz der groiSen Zahlen leicht beweisen. Dazu wendet man die Ungleichung auf das arithmetische Mittel Xn an. Wegen E{X = /x), Var{Xn) = cr'^/n erhalt man 2
P(|X„-/i)|
MaBzahlen fiir Schiefe und Wolbung
Mafizahlen fiir die Schiefe von Verteilungen lassen sich in Analogie zu Kennzahlen fiir empirische Verteilungen definieren. Der p-Quantilskoeffizient nutzt die Beziehung zwischen Median und Quantilen.
2>Quantilskoeffizient der Schiefe
\X\—p
7p
^med) X\—.p
yarned Xp
70.25 heifit Quartilskoeffizient der Schiefe.
^p)
0 < p < 1,
7.5
331
Zusammenfassung und Bemerkungen
Es gilt —1 < 7P < 1 und 7p = 0 fiir symmetrische Verteilungen, 7p > 0 fiir linkssteile Verteilungen, 7p < 0 fiir rechtssteile Verteilungen. Ein weiterer Schiefeparameter ist der Momentenkoeffizient der Schiefe ^m —
E{X - t^f
mit fi = E{X), a'^ = Var{X), Wegen der dritten Potenz wird 7 ^ positiv, wenn die x-Werte iiberwiegen, die grofier als fi sind. Dies ist bei linkssteilen Verteilungen der Fall. Bei symmetrischen Verteilungen heben sich positive und negative Abweichungen gerade auf. Also gilt 7m = 0 fiir symmetrische Verteilungen, 7rn > 0 fiir linkssteile Verteilungen, 7m < 0 fiir rechtssteile Verteilungen . Beispiel 7.3
Rechtssteile Verteilung
Im Beispiel 6.10 (Seite 292) ist XQ.TS = VO.75, xo.25 = VO.25. Daraus folgt 70.25
{VoJE - Vo^) - {Vol - \/o:25) = -0.13. VoTrE-y/o^
Der negative Quartilskoeffizient indiziert also eine rechtssteile Verteilung.
7.5
D
Zusammenfassung und Bemerkungen
Die in Abschnitt 7.1.1 formuHerten Gesetze grofier Zahlen sind von grundlegender Bedeutung fiir die induktive Statistik: Falls man Daten x i , . . . , x ^ so erhebt, dafi sie sich als Ergebnisse von n unabhdngigen Wiederholungen der interessierenden Zufallsvariable X interpretieren lassen, dann konvergieren fiir n —^ 00 empirische Verteilungen und Parameter gegen die Verteilung von X und entsprechende Verteilungsparameter. Fiir Zufallsstichproben, wie sie in den spateren Kapiteln
7. Mehr uber Zufallsvariablen und Verteilungen
332
zur induktiven Statistik zugrunde gelegt werden, ist diese Voraussetzung zumindest naherungsweise erfiillt. Dann lassen sich die Verteilungen bzw. Parameter von X durch die empirischen Analoga sinnvoU schatzen. Ebenso grundlegend ist der zentrale Grenzwertsatz: Er rechtfertigt die Annahme einer - zumindest approximativen - Normalverteilung fiir Zufallsvariablen, die sich additiv aus vielen zufalligen Einfliissen ahnlicher Grofienordnung erklaren lassen, und - noch wichtiger - Normalverteilungsapproximationen fiir eine Reihe von Schatz- und Teststatistiken der induktiven Statistik, Beweise dieser Grenzwertsatze und Verallgemeinerungen finden sich in Lehrbiichern zur Wahrscheinlichkeitstheorie und mathematischen Statistik, z.B. Fisz (1989). Zufallszahlen sind Basisbausteine fiir moderne, computerintensive Simulationstechniken. Sie konnen aber auch (wie in Abschnitt*7.3) zur empirischen Uberpriifung oder zur Gewinnung von theoretischen Resultaten der Statistik dienen. Umfasssende Darstellungen zur Erzeugung von Zufallszahlen finden sich bei Ripley (1987) und Devroye (1986).
7.6
Aufgaben
Aufgabe 7.1
Die Studie zum Gesundheitszustand von Friihgeburten aus Aufgabe 6.S wurde an mehreren Kliniken durchgeftihrt, so dafi insgesamt 500 Kinder teilgenommen haben. Welche Verteilung besitzt die Anzahl der Kinder, die weniger als 980 g wiegen? Wie grofi ist die Wahrscheinlichkeit, dafi genau 175 Kinder der Studie ein Geburtsgewicht kleiner als 980 g aufweisen?
Aufgabe 7.2
In der Situation von Aufgabe 5.10 befragt der Journalist zufallig fiinf der 200 Angestellten eines Kaufhauses. Wie lauten annahernd die gesuchten Wahrscheinlichkeiten, wenn der Anteil der Angestellten, die bereit sind, langer zu arbeiten, wieder gleich 0.2 ist? Welche approximative Verteilung hat die interessierende Zufallsvariable ferner, wenn 40 Personen der ganzen Warenhauskette mit 1000 angestellten Verkauferinnen befragt wiirden?
Aufgabe 7.3
Ihr kleiner Neffe bastelt eine 50-teilige Kette, deren einzelne Glieder im Mittel eine Lange von 2 cm mit einer Standardabweichung von 0.2 cm aufweisen. Welche Verteilung hat die Gesamtlange der Spielzeugkette?
Aufgabe 7.4
Die Nettomiete von Zwei-Zimmer-Wohnungen eines Stadtteils sei annahernd symmetrisch verteilt mit Erwartungswert 570 und Standardabweichung 70. Es wird eine Zufallsstichprobe von 60 solcher Wohnungen gezogen. Geben Sie mit Hilfe der Ungleichung von Tschebyscheff ein um den Erwartungswert symmetrisches Intervall an, in dem das Stichprobenmittel mit 95 % Wahrscheinlichkeit liegt.
7.6
Aufgaben
333
Eine Fertigungslinie stellt Fufiballe her, deren Durchmesser im Mittel normgerecht ist, aber eine Standardabweichung von 0.4 cm aufweisen. Balle die mehr als 0.5 cm von der Norm abweichen gelten als Ausschufi. Wie groB ist der Auschufianteil hochstens?
Aufgabe 7.5
Wie kann man mit Hilfe von normalverteilten Zufallszahlen t-verteilte Zufallszahlen simulieren?
Aufgabe 7.6
Bestimmen Sie den Quartilskoeffizienten der geometrischen Verteilung mit TT = 0.5 sowie der Exponentialverteilung mit dem Parameter A = 0.5.
Aufgabe 7.7
8 Mehrdimensionale Zufallsvariablen
Bei der Durchfiihrung von Zufallsexperimenten interessiert man sich haufig nicht nur fiir ein einziges Merkmal allein, sondern fiir zwei oder mehrere Variablen, die fiir dieselben Untersuchungseinheiten erfafit werden. Es ist dann notwendig, die gemeinsame Verteilung dieser Merkmale zu betrachten. Im folgenden wird zuerst das Konzept mehrdimensionaler Zufallsvariablen eingefiihrt und anschliefiend der zweidimensionale Fall fiir diskrete und stetige Zufallsvariablen eingehender betrachtet. Ein wesentlicher Abschnitt gilt der Kovarianz und der Korrelation als Verteilungsparametern, die den Zusammenhang zwischen je zwei Zufallsvariablen charakterisieren.
8.1
BegrifF mehrdimensionaler Zufallsvariablen
Eindimensionale Zufallsvariablen erhalt man, indem man die Auspragungen von Merkmalen als Ergebnisse eines Zufallsvorgangs auffafit. Mehrdimensionale Zufallsvariablen ergeben sich dadurch, dafi anstatt eines Merkmals, d.h. einer Zufallsvariable, mehrere betrachtet werden. Den Ergebnissen des Zufallsvorgangs werden demnach mindestens zwei reelle Zahlen zugeordnet. Einige typische Beispiele soUen dies veranschaulichen. Mietspiegel
Bei der Erstellung eines Mietspiegels ist man an mehreren Merkmalen wie beipielsweise Nettomiete, Wohnflache und Zimmerzahl interessiert. Jede Wohnung weist fiir diese Merkmale bestimmte Auspragungen auf. Die Merkmale lassen sich als Abbildungen verstehen, die jeder Wohnung die ihr entsprechende Nettomiete, Wohnflache und Zimmerzahl zuordnet. Wahlt man nun eine der Wohnungen rein zufallig aus, so ist die Wahrscheinlichkeit, mit der bestimmte Auspragungen des Tupels (Nettomiete, Wohnflache, Zimmerzahl) resultieren, bestimmt durch die in der jeweihgen Stadt vorhegenden Wohnverhaltnisse. D
Beispiel 8.1
8. Mehrdimensionale Zufallsvariablen
336
Beispiel 8.2
Roulette
Die Felder des Roulettes tragen die Zahlen 0,1 bis 36. Geht man von einem idealen Kessel aus, wird jedes Feld mit der Wahrscheinlichkeit 1/37 auftreten. Setzt man nicht auf Zahlen, sondern auf das Merkmal "Farbe" (also rot oder schwarz) bzw. auf den "Zahlentyp" (gerade oder ungerade) fokussiert sich das Interesse nur auf das Ergebnis dieser beiden Merkmale. Man betrachtet somit die Zufallsvariablen Farbe rote Zahl schwarze Zahl Zero
X
und Typ 1 gerade Zahl 2 ungerade Zahl 3 Zero.
Y=i
Das gesamte Zufallsexperiment reduziert sich damit auf die Betrachtung der Wahrscheinlichkeiten iiiv X = i,Y = j mit ij e {1,2,3}. Die Felder des Roulette sind bestimmt durch das folgende Schema, wobei die schwarzen Felder schattiert und die roten unschattiert sind.
Die Wahrscheinlichkeit fiir das gemeinsame Ereignis X = l , y = 1, also gerade und rot, entspricht demnach dem Auftreten der Zahlen 12, 14, 16, 18, 30, 32, 34, 36, d.h. P{X = 1,Y = 1) = P({12,14,16,18,30,32,34,36}) = 8/37. Die Wahrscheinlichkeiten fiir X = i,Y = j lassen sich fiir jede Auspragung von X und Y analog zu diesem Beispiel berechnen und in einer Tabelle darstellen
Y P{X = i,Y = j)
X
rot schwarz Zero
1 2 3
gerade 1 8/37 10/37 0
ungerade 2 10/37 8/37 0
Zero 3 0 0 1/37 D
8.1
Begriff mehrdimensionaler Zufallsvariablen
337
MeBwiederholungen
Beispiel 8.3
Ein einfaches Experiment wie der Miinzwurf wird dreimal wiederholt. Bezeichne Xk das Merkmal Y _ j I Kopf im fc-ten Wurf ^ ~ \ 0 Zahl im fc-ten Wurf. Eine Sequenz wie {K, K, Z) steht fiir das sukzessive Auftreten von Kopf, Kopf, Zahl beim 1., 2. und 3. Wurf. Fiir die gemeinsamen AuftretenswahrscheinUchkeiten erhalt man beispielsweise P(Xi = 1, X2 = 1, Xs = 1) = P{{{K, K,K))), P{Xi = 1,X2 = 1,^3 = 0) = P{{{K,K,Z)}). Die jeweils rechts stehenden Wahrscheinlichkeiten sind die Wahrscheinhchkeiten des Zufallsexperiments. Links steht die dadurch festgelegte WahrscheinUchkeit fiir das gemeinsame Auftreten bestimmter Auspragungen der einzelnen Zufallsvariablen. D
Jede Komponente von mehrdimensionalen Zufallsvariablen ist eine eindimensionale Zufallsvariable im Sinne der Kapitel 5 und 6. Wahrend bei eindimensionalen Zufallsvariablen jedem Ergebnis eines Zufallsvorgangs genau eine reelle Zahl zugeordnet wird, werden nun einem Ergebnis simultan mehrere reelle Zahlen zugeordnet. Jede Komponente, d.h. jede einzelne Zufallsvariable, entspricht dabei einer Zuordnung. Mehrdimensionale Zufallsvariablen lassen sich somit in Analogic zu Abschnitt*7.4 auch als mehrdimensionale Abbildungen verstehen. Den Zufallsvariablen X i , . . . , Xn liegt die Abbildung X i , X 2 , . . . ,Xri: r i — ^ R'^ U)\ >{Xi{uj),,.,,Xn{u))) zugrunde, die jedem Ergebnis uj genau n Mefiwerte zuordnet. Im Mietspiegelbeispiel entspricht Vt der Menge aller Wohnungen, im Roulette-Beispiel der Menge der Zahlen und im Miinzwurfbeispiel der Menge moglicher Kopf-Wappen-Kombinationen. Der Zufallscharakter der Auspragungen von X i , . . . , Xn ergibt sich aus dem Zufallsexperiment "Ziehen aus Jl". Von zentraler Bedeutung ist die sich daraus ergebende gemeinsame Verteilung der Zufallsvariablen. Fiir die Zufallsvariablen X i , . . . , X^ ist diese bestimmt durch P(XIG5I,...,X,
eBn),
womit die Wahrscheinlichkeit bezeichnet wird, dafi die Zufallsvariable Xi Werte in der Menge Bi annimmt, gleichzeitig X2 Werte in der Menge B2 annimmt, usw. Die Schreibweise Xi G S i , X 2 G B25 • • • , ^ n ^ 5 ^ , bei der Ereignisse durch
8. Mehrdimenslonale Zufallsvariablen
338
Kommata getrennt sind, entspricht wiederum dem logischen "und", d.h. alle Ereignisse treten gemeinsam (Schnittmenge) auf. Unter Betonung des Abbildungscharakters lafit sich das Ereignis {Xi G J5i,... ,Xn G 5^} auch darstellen durch {uj\Xi{uj) e B i , . . . , Xn{c^) G Bn}' Wie sich die gemeinsame Verteilung analog zum Fall einer Variable durch Instrumente wie Verteilungsfunktion und Dichte naher charakterisieren lafit, wird in den nachsten Abschnitten behandelt. Dabei werden wir uns weitgehend auf den Fall zweier Zufallsvariablen X und Y beschranken.
8.2
Zweidimensionale diskrete Zufallsvariablen
Seien X und Y zwei diskrete Zufallsvariablen, wobei X die Werte xi,a:2,... und Y die Werte yi,2/2, • • • annehmen kann. Die gemeinsame Wahrscheinlichkeitsverteilung ist bestimmt durch die Wahrscheinlichkeiten, mit der die Werte (xi^yj)^ i = 1,2,..., j = 1,2,..., angenommen werden.
Gemeinsame Wahrscheinlichkeitsfunktion
Die Wahrscheinlichkeitsfunktion ist bestimmt durch
der bivariaten diskreten Zufallsvariable (X, Y)
/•/^ y) = l ^ ( ^ = x,Y = y) fiir {x,y) G {(a;i,yi), {xi,2/2), • • • } [ 0 sonst. Wir bezeichnen die Wahrscheinlichkeitsfunktion auch als (gemeinsame) diskrete Dichte oder (gemeinsame) Verteilung,
endlich viele Ausprdgungen
In der Wahrscheinlichkeitsfunktion ist die gesamte Information des Zufallsexperiments in bezug auf die Merkmale X, Y enthalten. Besitzen X und Y jeweils nur endlich viele Ausprdgungen^ lafit sich die gemeinsame Wahrscheinlichkeitsfunktion iibersichtlich in Kontingenztafeln zusammenfassen. Besitze X die moglichen Auspragungen x i , . . . , Xj^ und Y die moghchen Auspragungen y i , . . . , ym- Bezeichne Pij = P{X = Xi,Y = yj) = f{xi, yj)
8.2
Zweidimensionale diskrete Zufallsvariablen
339
die Auftretenswahrscheinlichkeit an den Stellen (xi^yj)^ z = l,...,fc, j = 1 , . . . , m, mit positive! Wahrscheinlichkeitsfunktion, erhalt man die Kontingenztafel der Wahrscheinlichkeiten durch yi
•"
Vm
XI
pii
."
Plm
Xk
Pki
'
Kontingenztafel der Wahrscheinlichkeiten
Pkm
Ein einfaches Beispiel fiir eine Kontingenztafel ist die in Beispiel 8.2 wiedergegebene Tabelle fiir die Merkmale "Farbe" und "Zahlentyp". Eine graphische Veranschaulichung lai3t sich durch ein Stabdiagramm in der (rr:-y)-Ebene erreichen.
Stabdiagramm
ABBILDUNG 8.1: Stabdiagramm zu den Zufallsvariablen "Farbe" (1: rot, 2: schwarz, 3: Zero) und "Zahltyp" (1: gerade, 2: ungerade, 3: Zero) beim Roulette (Beispiel 8.2)
Aus der gemeinsamen Verteilung f{x,y) erhalt man problemlos die Verteilung der Zufallsvariable X ohne Beriicksichtigung der Zufallsvariable Y durch einfaches Aufsummieren. Die entsprechende Randverteilung von X ist bestimmt durch
fx{x) = P{X = X) = Y;^P{X = X,Y = yj) =
J2fi^,yj)-
Randverteilung von X
8. Mehrdimensionale Zufallsvariablen
340
Randverteilung von Y
Das Aufsummieren iiber samtliche mogliche Werte von Y bedeutet, dafi nicht beriicksichtigt wird, welchen Wert Y annimmt. Insbesondere gilt fx{^) = 0, wenn X nicht aus der Menge der moglichen Auspragungen xi,X2,... ist. Entsprechend ergibt sich die Randverteilung von Y durch die Wahrscheinlichkeitsfunktion
friy) = P{Y = y) = J2P{X = Xi,Y = y) = Y^f{xi,y)
mit /y(y) = 0, wenn y ^ {yi,y2,
•••}•
Randverteilungen Die Randverteilung von X ist gegeben[ durch fx{x) = P{X =-X)-
>yi). 3
die Randverteilung von Y durch fviv) = P{Y =-y)-
,y)i
Fiir den Fall endlich vieler Auspragungen von X und Y lassen sich die Randverteilungen wieder als Rander der Kontingenztafel darstellen, die die Wahrscheinlichkeiten enthalt. In Analogic zu den Kontingenztafeln fiir relative Haufigkeiten in Abschnitt 3.1 wahlt man dann wieder die "Punktnotation", in der
Pi- = YIP'^ ^ fx{xi)
und
p.j = ^Pij
j=i
die jeweiligen Zeilen- und Spaltensummen bezeichnen.
i=i
= friVj)
8.2
Zweidimensionale diskrete Zufallsvariablen
341
Kontingenztafel der Wahrscheinlichkeiten Die {k X m) Kontingenztafel der Wahrscheinlichkeiten hat die Form yi
•. •
Vm
Xi
Pn
• •.
Pim Pi-
Xk
Pkl
•••
Pfcm
Pfc.
p.l
...
p.m
1
Dabei bezeichnen fiir i = 1 , . . . , fc, j = 1 , . . . , m, p- = P(^X = Xi^Y = yj)
die Wahrscheinlichkeiten fiir (a:^,yj)^
Pi- = S Pij
die Wahrscheinlichkeiten fiir Xi^
k
p.j = ^ Pij
die Wahrscheinlichkeiten fiir yj,
2=1
Der wesentliche Unterschied zwischen dieser Kontingenztafel und den Kontingenztafeln in Abschnitt 3.1 liegt darin, dafi dort Haufigkeiten zusammengefafit sind, d.h. Daten beschrieben werden, wahrend die Eintrage in der hier betrachteten Kontingenztafel die wahren, allerdings in Anwendungen meist unbekannten Wahrscheinlichkeiten sind. Wenn man die gemeinsame Verteilung der Zufallsvariablen X und Y kennt, kann man einfach ableiten, wie eine der Zufallsvariablen verteilt ist, wenn man die Auspragung der anderen kennt. Unter der bedingten Wahrscheinlichkeitsfunktion von X gegeben Y = y (abgekiirzt X\Y = y) versteht man die Verteilung der Zufallsvariable X, wenn bekannt ist, dafi Y = y eingetreten ist. Es gilt also bei festgehaltenem y zu bestimmen, mit welcher Wahrscheinhchkeit die Werte xi,X2,... unter dieser Voraussetzung auftreten. Aus der Definition der bedingten Wahrscheinhchkeit erhalt man fiir P{Y = y)^0 PiX = Xi\Y = y) =
P{X = Xi,Y = y) _
PiY = y)
bedingte Wahrscheinlichkeitsfunktion
f{xi,y)
fy{y) '
wobei benutzt wird, dafi die Schreibweisen X = x oder Y = y Abkiirzungen fiir Ereignisse sind. Daraus ergibt sich unmittelbar die bedingte Wahrscheinlichkeitsfunktion bedingte Wahrscheinlichvon X gegeben Y = y bzw. die diskrete Dichte von X gegeben Y = y durch
fx{x\y) =
fix,y) fviy)
keitsfunktion von X
fiir festen Wert y.
8. Mehrdimensionale Zufallsvariablen
342
Fiir den (uninteressanten) Fall /y(y) = 0 definiert man fxi^lv) = 0 fiir alle x, Fiir festgehaltenes y ist fxi^lv) wieder eine Wahrscheinlichkeitsfunktion fiir die x-Werte, d.h. es gilt J2i fx{^i\y) = 1- Die Wahrscheinlichkeitsfunktion beschreibt das Verhalten der bedingten Zufallsvariable X\Y = y. Man beachte, dafi die bedingte Verteilung von X vollig analog zur bedingten Hdufigkeitsverteilung von X konstruiert ist. In Abschnitt 3.1.2 wird die bedingte Haufigkeitsverteilung fxio.ilbj) = hij/h.j betrachtet. Im Nenner findet sich dabei die Haufigkeit des Auftretens von Y = bj^ entsprechend bezieht man sich nur auf die Population mit Y = bj. In der Entsprechung dazu findet sich in der Definition der bedingten Wahrscheinhchkeitsfunktion im Nenner die Wahrscheinhchkeit P{Y = y), man bezieht sich also auf die Subpopulation, fiir die Y = y gilt. Vollig analog ergibt sich die bedingte Wahrscheinlichkeitsfunktion von Y gegeben bedingte Wahrscheinlich- X = X (kurz: Y\X = x) durch keitsfunktion von Y f{x,y) /y(yk) fx{x)' Dadurch wird das Verhalten der Zufallsvariable Y beschrieben, wenn bekannt ist, dafi X = x aufgetreten ist.
Bedingte Wahrscheinlichkeitsfunktionen
Die bedingte Wahrscheinlichkeitsfunktion Wert y und /y(y) ^ 0) bestimmt durch fx{x\y)
=
von X gegeben Y = y ist (fiir festen
fviy) '
die bedingte Wahrscheinlichkeitsfunktion von Y gegeben X = x ist (fiir festen Wert X und fx{x) ^ 0) bestimmt durch fY(y\x)
f{x,y) fxix) •
Fiir friv) = 0 legt man fx{x\y) = 0 und fiir fx(x) = 0 entsprechend fY{y\x) = 0 fest.
Beispiel 8.4
Roulette
Die Randverteilungen des Roulette-Beispiels mit den Variablen Farbe {X) und Zahlentyp (Y) ergeben sich unmittelbar als die Randsummen in der folgenden Tabelle.
8.2
Zweidimensionale diskrete Zufallsvariablen
343
Y P{X = i,Y = j)
X
rot 1 schwarz 2 Zero 3
gerade 1 8/37 10/37 0 18/37
ungerade 2 10/37 8/37 0 18/37
Zero 3 0 0 1/37 1/37
18/37 18/37 1/37
Tx
1
fy Die Randsummen spiegeln wider, dafi weder eine Farbauspragung noch ein bestimmter Zahlentyp beim Roulette bevorzugt werden. Es gilt jeweils die Wahrscheinlichkeit 18/37 fiir die einzelnen Auspragungen, wobei Zero natiirlich eine Sonderstellung einnimmt. Fiir die bedingte Wahrscheinlichkeitsfunktion der Zufallsvariable "Zahlentyp, gegeben rote Zahl", die vom Typ y | X = 1 ist, ergibt sich P(Y = i\X = 1) = 8/18,
P{Y = 2\X = 1) = 10/18,
P{Y = 3\X = 1) = 0.
Fiir "Zahlentyp, gegeben schwarze Zahl" erhalt man P{Y = 1|X = 2) = 10/18,
P(Y = 2\X = 2) = 8/18,
P{Y = 3\X = 2) = 0.
Daraus ergibt sich fiir logisch denkende Spieler, dafi wenn sie auf rot {X = 1) gesetzt haben, sie im gleichen Spieldurchgang besser auf ungerade (Y = 2) setzen als auf gerade (Y" = 1), wenn Sie die Chance auf eine Verdoppelung des Einsatzes im Auge haben. Zu bemerken ist allerdings, dafi die Gewinnerwartung insgesamt nicht von der Plazierung des zweiten Chips abhangt. Die Zufallsvariablen X und Y sind offensichthch nicht unabhangig im Sinne von Abschnitt 5.2.2. D
Die Verallgemeinerung des Konzeptes der Verteilungsfunktion auf zwei Variablen fiihrt zu einer zweidimensionalen Funktion. Die gemeinsame Verteilungsfunktion von X und Y ist gegeben durch
Fix,y)
= PiX<x,Y
gemeinsame Verteilungsfunktion
/(^-^i)" Xi<xyj
In dieser weniger anschaulichen, aber gelegentlich hilfreichen Funktion wird die simult ane Wahrscheinlichkeit angegeben, dafi X Werte annimmt, die kleiner oder gleich X sind, und Y gleichzeitig Werte annimmt, die kleiner oder gleich y sind. Aus F{x^ y) lassen sich unmittelbar die Randverteilungsfunktionen bestimmen. Man erhalt
Fx{x) = P{X <x)=
F{x, ^)=J2J2 Xi<x
Fy{y)=
/ ( ^ i ' y^)' Vj
P(y
von X bzw. y
Randverteilungsfunktion
8. Mehrdimensionale Zufallsvariablen
344
Gemeinsame Verteilungsfunktion
Als gemeinsame Verteilungsfunktion zu X und Y erhalt man fi^^^Vj)-
F{x,y) = P{X<x,Y
8.3
Zweidimensionale stetige Zufallsvariablen
Wenn X und Y stetig sind, das heifit, wenn zu jeweils zwei Wert en auch jeder Zwischenwert auftreten kann, lafit sich die Wahrscheinlichkeit fiir das gemeinsame Auftreten bestimmter Werte X = x und Y = y nicht mehr sinnvoU angeben. Wie in der eindimensionalen Betrachtung lafit sich aber die Wahrscheinlichkeit fiir Intervalle angeben. Gemeinsame stetige Verteilung und Dichte zweier Zufallsvariablen
Die Zufallsvariablen X und Y sind gemeinsam stetig verteilt^ wenn es eine zweidimensionale Dichtefunktion f{x^y) > Q gibt, so dafi P{a<X
Randdichte von X
f
f
Ja
Jc
f{x, y)dydx.
Die Dichtefunktion / besteht nicht wie im diskreten Fall nur aus Staben an bestimmten Punkten, sondern ist eine zumindest stiickweise glatte Funktion, die darstellt, wie dicht die Wahrscheinlichkeit an bestimmten Stellen "gepackt" ist. Das Doppelintegral in der Definition entspricht anschaulich dem von der Funktion / ( x , y) eingeschlossenen Volumen iiber der Grundflache [a, 6] x [c,d]. Ein Beispiel fiir eine derartige Dichtefunktion ist in Abbildung 8.2 dargestellt. Jede zweidimensionale Dichtefunktion lafit sich als derartiges ^'Gebirge" in der {x-yyEhene darstellen, wobei das Volumen des Gebirges der Gesamtwahrscheinlichkeit entsprechend eins betragt. Aus dem durch / festgelegtem Verteilungsgesetz lassen sich wieder die Randdichten bestimmen. Die Randdichte von X, d.h. unter Vernachlassigung von y , ist bestimmt durch oo
f{x,y)dy.
/ -OO
8.3
345
Zweidimensionale stetige Zufallsvariablen
ABBILDUNG 8.2: Form einer zweidimensionalen Dichte
f{x^y)
Das bei diskreten Zufallsvariablen benutzte Summieren iiber alle moglichen y-Werte wird hier ersetzt durch das Integrieren iiber alle y-Werte. Entsprechend ergibt sich die Randdichte von Y (unter Vernachlassigung von X) durch oo
Randdichte von Y
f{x,y)dx.
/ -oo
In volliger Analogic zum diskreten Fall erhalt man die bedingte Dichte von X\Y — y durch fiir festes y mit /y(y) ^ 0. fx{x\y) =
bedingte Dichte von X\Y = y
fviy)
Diese Dichtefunktion gibt das Verteilungsgesetz von X wieder, wenn Y = y bekannt ist, d.h. das Verteilungsgesetz der Zufalls variable X\Y = y. Wie man einfach nachpriift, ist fx{^\y) fiir festes y wieder eine stetige Dichte, d.h. es gilt oo
/
fxix\y)dx = 1.
Die bedingte Dichte von y | X = a; ist entsprechend bestimmt durch
fvivlx) =
fix,y) fxix)
Die gemeinsame Verteilungsfunktion stetiger Variablen ist gegeben durch x
ny
I /
f{u,v)dvdu.
-oo J —oo
Da X und y hier die Integrationsgrenzen bezeichnen, werden als Argumente in / die Variablen u und v benutzt.
bedingte Dichte von Y\X = X
346
8. Mehrdimensionale Zufallsvariablen
Randdichten Die Randdichte von X ist gegeben durch POO
fx{x) --= /
fix ,y)dy,
J —oo
die Randdichte von Y durch POO
/y(y)= =
/
y)dx.
fix
J—oo.
Bedingte Dichten und Verteilungsfunktion
Die bedingte Dichte von Y unter der Bedingung X = x^ kurz Y\X = x, ist fiir festen Wert x und fx (x) / 0 bestimmt durch
fx[x) Fiir fx{x) = 0 legt man / y (y|x) = 0 fest. Die bedingte Dichte von X unter der Bedingung Y = y, kurz X\Y = y^ ist fiir festen Wert y und friv) 7^ 0 bestimmt durch
Fiir /y(y) = 0 legt man fx{x\y) = 0 fest. Die gemeinsame Verteilungsfunktion zu (X, Y) erhalt man aus x
py
/ /
8.4
f{u,v)dvdu,
-00 J—oo
Unabhangigkeit von Zufallsvariablen
Die Unabhangigkeit von Zufallsvariablen wurde bereits in den Abschnitten 5.2.2 und 6.1 eingefiihrt. Im folgenden wird der Zusammenhang zwischen Unabhangigkeit
8.4 Unabhangigkeit von Zufallsvariablen
347
und den bedingten Dichten hergestellt. Dariiber hinaus wird der Begriff der Unabhangigkeit auf mehr als zwei Variablen erweitert. Betrachten wir zuerst zwei Zufallsvariablen X und Y. Wie in den vorangehenden Abschnitten dargestellt, fiihrt Vorwissen iiber eine der beiden Variablen zur bedingten Verteilung. 1st X = x bekannt, betrachtet man die Verteilung von Y\X = x, die durch
bestimmt ist. Wenn das Vorwissen X = x Information liber die Verteilung von Y enthalt, sollte die bedingte Verteilung /y(y|x) tatsachlich von dem Vorwissen X = x abhangen. Ist dies nicht der Fall, gilt also fiir alle x und y friy),
/y(y|x) =
nennt man X und Y (stochastisch) unabhdngig. Die bedingte Verteilung friyl^) ist dann mit der Randverteilung /y(y) identisch. Aus der Definition der bedingten Verteilung ergibt sich unmittelbar, dafi die Identitat fviyl^) = /y(^) genau dann gilt, wenn sich die gemeinsame Verteilung als Produkt /(^,y) =
fx{x)fY{y)
darstellen laiit. VoUig analog kann man natiirlich die Verteilung von X\Y = y zugrunde legen. Unabhangigkeit driickt sich dann dadurch aus, dai3 fx{x\y) nicht von y abhangt, d.h. fx{x\y) = fx{x) gilt. Aus der Definition der bedingten Verteilung erhalt man fiir unabhangige Zufallsvariablen wiederum die Produktbedingung f{x^y) = fx{x)fY{y).
Unabhangigkeit von zwei Zufallsvariablen
Die Zufallsvariablen X und Y heifien unabhdngig, wenn fiir alle x und y gilt f{^^y) =
fx{x)fY{y)'
Ansonsten heifien X und Y abhdngig.
Die Unabhangigkeit von Zufallsvariablen wurde bereits in den Kapiteln 6 (diskrete Zufallsvariablen) und 7 (stetige Zufallsvariablen) betrachtet. Zu betonen ist, dafi die Begriffsbildung identisch ist. Die in Kapitel 6 gewahlte Darstellung der Unabhangigkeit diskreter Zufallsvariablen, namlich wenn P{X = x^Y = y) = P{X =
Unabhangigkeit
8. Mehrdimensionale Zufallsvariablen
348
x) • P{Y = y) gilt, entspricht unmittelbar der Produktbedingung. In Kapitel 7 wurden stetige Variablen als unabhangig bezeichnet, wenn P{X <x^Y
f{x,y) = fx{x)fY{y) gilt PiX<x,Y
r
r
f{u,v)dvi^du
J — OO J —OO
ry
x
/
fx{u)du -OO
=
I
fY{v)dv
J —OO
P{X<x)'P{Y
Die umgekehrte Aussage, dafi aus P{X <x,Y
MeBwiederholungen
Bezeichnet Xi das Ergebnis des z-ten Miinzwurfes, z = 1,2, einer fairen Miinze mit Xi = l fiir Kopf in Wurf i und X^ = 0 fiir Zahl in Wurf i, so erhalt man die gemeinsame Verteilung durch X2
1 X
1 •"1/4
0
1/4
0 1/4 1/4
Fiir die Randverteilungen gilt
/x.(l) = i,
/x.(l) = i
und somit f{xi,X2) =/xi(^i)7X2(^2) fni" alle xi,X2 € {0,1}. Die Zufallsvariablen Xi und X2 sind daher unabhangig. D
Der Begriff der Unabhangigkeit von Zufallsvariablen lafit sich auf mehr als zwei Zufallsvariablen erweitern. Analog zum Fall zweier Zufallsvariablen lassen sich die Zufallsvariablen X i , . . . , ^ ^ als unabhangig verstehen, wenn die bedingte Verteilung jeder dieser Zufallsvariablen, gegeben die Auspragungen der iibrigen n — 1 Zufallsvariablen, nicht von diesen Auspragungen abhangt. Dies fiihrt zur einfachen Darstellung der gemeinsamen Dichte als Produkt der Randdichten.
8.5 Kovarianz und Korrelation
349
Die gemeinsame n-dimensionale Dichte ist im diskreten Fall bestimmt durch / ( x i , . . . , Xn) = P{Xi = x i , . . . , Xn = Xn), im stetigen Fall ist es diejenige Funktion f{xi,,,.,Xn), fiir die gilt F{xi,...,Xn)
= P{Xi xi
/ -oo
<Xi,...,Xn<Xn) rxn ... / ^—oo
f{ui,,..,Un)dUn...dui,
Unabhangigkeit von Zufallsvariablen
Die Zufallsvariablen X i , . . . , Xn heifien unabhdngig^ wenn fiir alle x i , . . . , 3:^ gilt P{Xi <xi,...,Xn<Xn)
= P{Xi < rr:^) • . . . • P{Xn < x^).
Aquivalent dazu ist die Produktbedingung / ( X i , ,..,Xn)
= fXiixi)
•... •
fXnMj
wobei f{xi^..,,Xn) die gemeinsame Dichte von X i , . . . , X n und fxii^i) Dichte der Zufallsvariable Xi bezeichnen (i = 1 , . . . , n).
8.5
di^
Kovarianz und Korrelation
Der die beiden Zufallsvariablen X und Y steuernde Wahrscheinlichkeitsmechanismus ist in der gemeinsamen Verteilung f(x^ y) enthalten. In vielen Fallen will man jedoch die wesentliche Information in wenigen Parametern zusammengefafit zur Verfiigung haben. Als Kenngrofien der zentralen Tendenz dienen wiederum die Erwartungswerte, wobei jetzt zwei Erwartungswerte, namhch E{X) und E{y)^ auftreten. Diese sind definiert als eindimensionale Erwartungswerte, die aus den Randverteilungen zu X bzw. Y bestimmt werden. Vollig analog erhalt man fiir jede Zufallsvariable aus den Randverteilungen Kennwerte wie Varianz oder Schiefe. Ein neuer Aspekt bei der Behandlung zweier Zufallsvariablen ist die Frage nach dem Zusammenhang der beiden Variablen. Ein Ma6 fiir diesen Zusammenhang ist die Kovarianz.
350
8. Mehrdimensionale Zufallsvariablen
Kovarianz Die Kovarianz der Zufallsvariablen X und Y ist bestimmt durch Cov{X,Y) = E{[X --E{X)][Y- - E{Y)]). Die Kovarianz ist nach Definition der Erwartungswert der Zufallsvariable [X — E{X)][Y — E{Y)]^ die selbst ein Produkt von zwei Zufallsvariablen ist. Die Zufallsvariablen, die das Produkt bilden, sind um null zentriert, d.h. es gilt E{X — E{X)) =0 und E{Y — E{Y)) = 0. Man kann sich - ahnlich wie fiir den empirischen Korrelationskoefiizienten - leicht klar machen, dafi das Produkt positiv ist, wenn X und Y tendenzmafiig einen gleichsinnigen linearen Zusammenhang aufweisen, hingegen ist es negativ, wenn X und Y einen gegensinnigen linearen Zusammenhang besitzen. Deutlich wird dies aus der Darstellung E E fi^u yj){xi - E{X)){yj - EiY)) Cov{X,Y)=
I
X und Y diskret
i 3 oo oo
/
f f{x,y){x-E{X)){y-E{Y))dxdy
X und r stetig.
Insbesondere fiir diskrete Variablen ist erkennbar, dafi in einem Koordinatensystem durch den Punkt {E{X),E{Y)) in der Summe alle Werte des ersten und dritten Quadranten einen positiven, alle Werte des zweiten und vierten Quadranten einen negativen Beitrag liefern. Die Uberlegung erfolgt voUig analog zu der Behandlung des empirischen Korrelationskoeffizienten. Im Unterschied zu den Uberlegungen dort sind jetzt {xi^yj) keine Beobachtungen, sondern die moghchen Auspragungen, gewichtet mit der tatsachlichen Auftretenswahrscheinlichkeit f{xi^yj), Beispiel 8.6
MeBwiederholungen
Bezeichne Xi das Ergebnis des i-ten Mlinzwurfes einer fairen Miinze, wobei 1 Kopf bei Wurf i
Xi
0 Zahl bei Wurf L Fiir zwei Mlinzwlirfe berechnet sich die gemeinsame Wahrscheinlichkeitsverteilung als Laplace-Wahrscheinlichkeiten durch X2
Xi
1 0
1 1/4 1/4
0 1/4 1/4
8.5 Kovarianz und Korrelation
351
Daraus erhalt man mit E{Xi) = 0.5 die Kovarianz Gov (Xi, X2) = i ( l - 0.5)(1 - 0.5) 4- J ( l - 0.5)(0 - 0.5) + J(0 - 0.5)(1 - 0.5) + i(0 - 0.5)(0 - 0.5) = -(0.25 - 0.25 - 0.25 + 0.25) = 0. Man erhalt somit fiir die Kovarianz zwischen Xi und X2 den Wert null. Wie im folgenden dargestellt wird, gilt dies generell fiir unabhangige Zufallsvariablen. D
Einige Eigenschaften der Kovarianz, die von weiterer Bedeutung sind, werden im folgenden zusammengefafit:
Verschiebungssatz
Gov (X, Y) = E{XY)
- E{X) • E{Y)
Symmetrie
Gov{X,Y)=^
Gov{Y,X)
Lineare Transformation
Die Kovarianz der transformierten Zufallsvariablen X = axX + hx-, Y = ayY + hY ist bestimmt durch Gov {X, Y) = axay Gov {X, Y).
Zu diesen Eigenschaften gelten folgende Bemerkungen: 1. Die durch den Verschiebungssatz bestimmte alternative Darstellung der Varianz ist rechentechnisch haufig vorteilhafter, da E{X) und E{Y) meist vorher schon be- rechentechnisch rechnet wurden, und damit nur E(XY) zu berechnen ist durch gilnstige ^ ^ Vanante
J2J2fi^i^yi)^iyi E{XY)
i
^ ^^^ Y dlskret
3
00
00
J
J xy f{x^y)dydx
X und Y stetig.
— 0 0 —(X)
2. Die Vertauschbarkeit von X und Y ergibt sich unmittelbar aus der Definition, da die Reihenfolge der Multiphkation in [X - E{X)][Y - E{Y)] beliebig ist.
Vertauschbarkeit
8. Mehrdimensionale Zufallsvariablen
352
3. Die Kovarianz der transformierten Variablen X = axX + bx^ Y = ayY + by erhalt man aus der Kovarianz von X und Y durch Multiplikation mit den Transformationskonstanten ax ay- Die Kovarianz ist damit maflstabsabhdngig.
Mafistabsabhdngigkeit der Kovarianz Die letzte Eigenschaft der Mafistabsabhangigkeit hat zur Folge, dafi, wenn statt
X der zehnfache Wert 10 • X betrachtet wird, fiir die Kovarianz Cov (lOX^Y) = 10Cov (X^Y) gilt. Diese Abhangigkeit von der Skalenwahl macht die Kovarianz als Absolutzahl s.chwierig interpretierbar. Eine geeignete Normierung liefert der KorrelationskoefRzient. Korrelationskoeffizient
Der Korrelationskoeffizient ist bestimmt durch p = p{X,Y)
Eigenschaften
=
Cov{X,Y)
Cov{X,Y)
^Var{X)^Var{Y)
(^X(^Y
Der Korrelationskoeffizient hat folgende Eigenschaften: 1. Sein Wertebereich ist bestimmt durch
-i
=
•Cov{X,Y) = p{X,Y). ax cry Die Korrelation von X und Y lafit sich daher als die Kovarianz der "standardisierten" Zufallsvariablen verstehen. Mafistabsunabhdngigkeit des Korrelationskoeffizienten
4. Eine wichtige Eigenschaft des Korrelationskoeffizienten ist die Mafistabsunabhangigkejt. Wie man einfach ableitet, gilt fiir die Korrelation der transformierten Variablen X = axX + bx, ax ^0,Y = ayY + 6y, ay ^^ 0, die Aussage p{X,Y)
=
-^^piX,Y),
8.5 Kovarianz und Korrelation
353
d.h. insbesondere \p{X,Y)\
=
\p{X,Y)\.
Wie fiir den empirischen KorrelationskoefRzienten gilt p{XjY) = —p{X,Y) wenn eine der Variablen ein anderes Vorzeichen erhalt, d.h. wenn a x > 0, ay < 0 bzw. a x < 0, ay > 0 gilt. Generell ist p ein Ma6 fiir den linearen Zusammenhang zwischen den Zufallsvariablen X und Y. Fiir das Verschwinden der Korrelation wird die Bezeichnung Unkorreliertheit verwendet: Unkorreliertheit
Zwei Zufallsvariablen X und Y heifien unkorreliert^ wenn gilt p{X,Y)=0. Wenn /?(X, Y) ^0 gilt, heifien sie korreliert Die Eigenschaft der Unkorreliertheit fordert etwas weniger als die Unabhangigkeit von X und Y. AUgemein gilt die folgenden Aussage. Unabhangigkeit und Korrelation
Sind zwei Zufallsvariablen unabhdngig^ so sind sie auch unkorreliert^ d.h. es gilt p{X,Y) = 0. Die Giiltigkeit dieser Aussage ist unmittelbar einsehbar. Fiir unabhangige Zufallsvariablen gilt E{X ' Y) = E{X) ' E{Y). Daraus folgt mit dem Verschiebungssatz Gov (X, Y) = E{X ' Y) - E{X) • E{Y) = 0 und damit p{X, Y) = 0. Die Umkehrung, dafi unkorreherte Zufallsvariablen auch unabhangig sind, gilt nicht allgemein. Sie gilt allerdings dann, wenn X und Y gemeinsam normalverteilt sind (vgl. Abschnitt 8.6). Klar zu unterscheiden sind der theoretische Parameter Korrelationskoeffizient und der empirische Korrelationskoefiizient. Wahrend der KorrelationskoeflBzient den wahren, aber meist unbekannten linearen Zusammenhang zwischen den Zufallsvariablen X und Y mifit, beschreibt der empirische KorrelationskoefRzient den beobachteten Zusammenhang von Daten. Der KorrelationskoefRzient p{X, Y) beschreibt keine Daten, sondern das zugrundeliegende stochastische Verhalten eines Systems. Dies sei an einem Beispiel nochmals veranschaulicht.
8. Mehrdimensionale Zufallsvariablen
354 Beispiel 8.7
Miinzwurf Eine faire Miinze mit Kopf (K) und Zahl (Z) werde viermal geworfen. Bezeichne X die Anzahl der Wiirfe, bei denen Kopf resultiert, und Y die Anzahl der Wiirfe, bei denen Zahl resultiert. Man iiberlegt sich einfach, dafi fiir (X, Y) nur die Paare (0,4), (1,3), (2,2), (3,1), (4,0) auftreten konnen. Da diese Werte alle auf einer Geraden negative! Steigung liegen, ergibt sich p{X,Y) = — 1 (richtige Berechnung fiihrt natiirUch zu demselben Wert). Die maximal-negative Korrelation ist dadurch begriindet, dafi sich Kopf und Zahl bei jedem Wurf ausschliefien. Wesentlich ist jedoch, dafi das Experiment nicht durchgefiihrt werden mufi, um zu bestimmen, dafi p{X,Y) = — 1 gilt. Die Korrelation folgt nur aus dem Verteilungsgesetz und der Art der betrachteten Variablen und ist somit eine Systemeigenschaft. Es werden keinerlei Daten erhoben. D
Die Varianz der Summe von Zufallsvariablen wurde bisher nur fiir unabhangige Zufallsvariablen betrachtet. Betrachtet man allgemeiner die Zufallsvariablen Xi und X2 erhalt man aus der Definition der Varianz Var{Xi
+ X2) = E{[Xi + X2 - E{Xi) = E[{Xi - E{Xi)f + = Var{Xi)
-
E{X2)]^)
+ {X2 -
E{X2)f
2{Xi-E{Xi)){X2-E{X2))] + Var{X2) + 2Cov ( X i , X2).
Bei der Bestimmung der Varianz einer Summe von Zufallsvariablen ist demnach die Kovarianz mit zu beriicksichtigen.
Varianz der Summe zweier Zufallszahlen Fiir die Varianz einer Summe von Zufallsvariablen gilt Var{Xi
Linearkombination
+ X2) = Var{Xi)
+ Var{X2) + 2Cov ( X i , X2).
Kovarianz und Korrelation sind Mafie fiir den (linearen) Zusammenhang jeweils zweier Variablen. Fiir n Zufallsvariablen X i , . . . , X n lafit sich jeweils paarweise die Kovarianz Gov (Xi^Yj) bzw. die Korrelation p{Xi^Xj) betrachten. Diese Kovarianzen werden generell bedeutungsvoll, wenn Linearkombinationen von Zufallsvariablen gebildet werden. A n s t a t t der einfachen Summe Xi + h X ^ betrachte man allgemeiner die gewichtete Summe X = aiXi
+
h anXn
8.5
355
Kovarianz und Korrelation
wobei a i , . . . , a n feste Gewichte darstellen. Beispielsweise kann X den Gewinn eines internationalen Konzerns darstellen, der sich aus der Summe der Einzelgewinne ergibt, wobei a i , . . . , a n die entsprectienden Faktoren zur Umrechnung in eine Wahrungseinheit darstellen (Dollar und Euro soUte man nicht addieren). Was erfahrt man aus der Kenntnis der Erwartungswerte und Varianzen der einzelnen Zufallsvariablen liber das Verhalten der gewichteten Summe? Aus den folgenden Transformationsregeln lafit sich auf deren Erwartungswert und Varianz schliefien. Fiir den Erwartungswert weifi man aus den Kapiteln 5 und 6, dafi h anE{Xn) gilt. Damit erhalt man fiir die Varianz unmittelE{X) = aiE{Xi) -\ bar aus der Definition von Varianz und Kovarianz Var{X) = E{[X -
E{X)]^) 1 2>
E
^aiXi-J2^iE{Xi) .i=l
= E I J2^UXi
E
z=l
- E{Xi)f
Y,ai{Xi-E{Xi)) ,i=l
+ 5 ^ a i a , ( X , - E{Xi)){Xj
-
E{Xj))
J=l
yja^Var^Xi) + Y^aiajCov i=i
(X^,Xj)
i^^j
= Y^ afVar{Xi) + 2 J]]aiaj Cov {Xi, Xj). i=i
Kj
Dabei wird J2i^j^ ^.h. die Summe iiber alle Werte i und j mit i 7^ j , wegen Cov (Xi, Xj) = Cov (Xj, Xi) ersetzt durch 2 Y^i^j^ d.h. die Summe liber alle Werte i und j fiir die i < j gilt; entsprechend wird jedes Paar Cov (X^, Xj) doppelt gezahlt. Fiir die Varianz der gewichteten Summe sind also nicht nur die Varianzen der einzelnen Variablen von Relevanz, sondern auch der Zusammenhang der Variablen, soweit er in den Kovarianzen erfafit ist. Diese Aussage hat wesentliche Konsequenzen beispielsweise bei der Risikominimierung von Wertpapiermischungen (vgl. Beispiel 8.8). Sind alle Variablen unkorreliert, d.h. gilt p(Xi, Xj) = 0 und damit Cov {Xi, Xj) = 0, erhalt man die einfache Form Var{X) =
Ya^Var{Xi), i=l
die bereits in den Kapiteln 5 und 6 benutzt wurde. In der folgenden Ubersicht ist erganzend die aus diesem Kapitel bekannte Formel fiir den Erwartungswert einer
8. Mehrdimensionale Zufallsvariablen
356
Summe von Zufallsvariablen nochmals wiedergegeben. Im Gegensatz zur Varianz von X ist diese Formel fiir korrelierte und unkorrelierte Zufallsvariablen giiltig.
Erwartungswert und Varianz von Linearkombinationen Die gewichtete Summe X = aiXi
H
h dnXn
der Zufallsvariablen X i , . . . , Xn besitzt den E{X) und die
= aiE{Xi)
Erwartungswert
+ .. • +
anE{Xn)
Varianz Var{X) = a\Var{Xi)
+ •••+
alVar{Xn)
+ 2aia2Cov ( X i , X 2 ) + 2aia3Cov
(Xi,X3) + ...
n
= Y^ a^Var{Xi)
Beispiel 8.8
+ 2^
aiUj Cov {Xi,
Xj).
Portfolio-Optimierung Ein zur Verfiigung stehender Bet rag sei aufgeteilt in zwei Anlageformen. Der Anteil ai wird in eine erste Wertanlage (beispielsweise Aktie A), der Anteil a2 wird in eine zweite Wertanlage (beispielsweise Aktie B) investiert, d.h. ai + a2 = 1. Man betrachtet nun die Rendite dieser Wertpapiermischung, d.h. den prozentualen Gewinn des Portefeuilles wahrend eines festen Zeitraums. Die Gesamtrendite ergibt sich durch X = aiXi +a2X2, wobei Xi,X2 die Renditen der beiden Anlageformen darstellen. Renditen, insbesondere bei Risikoanlagen sind Zufallsvariablen. Die festverzinsliche risikofreie Anlage laBt sich als Spezialfall mit verschwindender Varianz {Var{Xi) = 0) betrachten. Nach den entwickelten Formeln erhalt man fiir die zu erwartende Gesamtrendite E{X) = aiE{Xi)
+ a2E{X2),
also eine gemafi den Anteilen gewichtete Summe der zu erwartenden Einzelrenditen. Ein wichtiger Indikator fiir eine Wertpapiermischung ist das Portefeuillerisiko, unter dem die Varianz der Gesamtrendite verstanden wird. Man erhalt unmittelbar Var{X) = alVar{Xi) + alVar{X2) + 2aia2Cov (Xi,X2).
8.6
Die zweidimensionale Normalverteilung
357
Das Risiko der Gesamtrendite wird demnach nicht nur vom Risiko der Einzelrenditen, sondern auch von der Kovarianz bestimmt. Wegen p= Gov {Xi, X2)/\/Var{Xi)Var{X2) lai3t sich diese Beziehung mit ai = ^/Var{Xi) auch darstellen durch Var{X) = a\a\ + a^a'^ + 2a ia2 per 1(72, wobei die Kovarianz jetzt durch den KorrelationskoefBzienten ersetzt ist. Der Vorteil ist, dafi der Wertebereich von p bekannt ist, da — 1 < /o < 1 gilt. Man sieht daraus, dafi fiir negativ korreUerte Renditen [p < 0) ein Gesamtrisiko resultiert, das kleiner ist als das Gesamtrisiko fiir unkorreUerte Renditen (/? = 0). Zur Veranschaulichung sei der Spezialfall GI= G2 = (J betrachtet. Man erhalt durch Einsetzen Var{X) = {a\ + a | + 2aia2p)(j'^. Es ist unmittelbar ersichthch, dafi fiir den Extremfall positiver Korrelation {p=l) ziehung
die Be-
Var{X) = (ai + as) V ^ = a^ gilt. Fiir den Extremfall negativer Korrelation {p= —1) erhalt man die Beziehung Far(X)=:(ai-a2)V. Eine gleichmafiige Mischung ai = a2 = 0.5 fiihrt dann zum risikolosen Portefeuille mit Var{X) = 0. Prinzipiell gilt, dafi negativ korreUerte Renditen das Risiko vermindern. D
8.6
Die zweidimensionale Normalverteilung
Die eindimensionale Normalverteilung wurde als eines der wichtigsten stetigen Verteilungsmodelle bereits behandelt. Ihre Dichte ist von der Form
wobei \i = E{X) der Erwartungswert und cr^ = Var[X) die Varianz der normalverteilten Zufallsvariable X bezeichnet. Erwartungswert /i und Varianz cr^ sind die beiden charakterisierenden Parameter. Betrachtet man zwei stetige Zufallsvariablen X und y , beispielsweise Haushaltseinkommen und Haushaltsausgaben, dann sind fiir die gemeinsame Verteilung mehr
8. Mehrdimensionale Zufallsvariablen
358 Parameter von Interesse. Insbesondere sind das Ml =E{X),
der Erwartungswert von X,
f^2=E{Y),
der Erwartungswert von y ,
a\
die Varianz von X,
=Var{X),
4 =Var{Y), p =Cov (X, Y)/(Jia2^
die Varianz von Y und die Korrelation zwischen X und Y.
In der Erweiterung der Normalverteilung auf zweidimensionale Zufallsvariablen, die im folgenden gegeben ist, tret en alle diese Parameter auf. Zweidimensionale Normalverteilung
Die Zufallsvariablen X und Y heifien gemeinsam normalverteilt^ wenn die Dichte bestimmt ist durch
f{x,y)
1 27rcricr2\/l - p^
In den Abbildungen 8.3 bis 8.6 sind Dichten zweidimensionaler Normalverteilungen dargestellt. 0.2-1
ABBILDUNG 8.3: Zweidimensionale Normalverteilungsdichte fiir unkorrelierte Merkmale, p = 0, mit /^i = /X2 = 0, ai = (J2 = 1.0
Die Erwartungswerte sind in alien Abbildungen durch /i^ = /i2 = 0 festgelegt. Da alle Normalverteilungsdichten eingipflig sind mit dem Gipfel an der Stelle (/ii,/i2), sind samtliche Abbildungen um den NuUpunkt (0,0) zentriert. Die Dichten in den Abbildungen 8.3 und 8.4 zeigen mit p = 0 unkorrelierte Variablen. Die beiden Abbildungen unterscheiden sich nur in der Standardabweichung von X. In Abbildung 8.3
8.6
Die zweidimensionale Normalverteilung
359
ABBILDUNG 8.4: Zweidimensionale Normalverteilungsdichte fur unkorrelierte Merkmale, p = 0, mit /^i = /i2 = 0, ai = 1.5, (72 = 1-0
ABBILDUNG 8.5: Zweidimensionale Normalverteilungsdichte, p = 0.8, /^i =/x2 •
0, ai=a2 = 1.0
wird ai = a2 = 1, in Abbildung 8.4 wird ai = 1.5,(72 = 1.0 zugrunde gelegt. Die Abbildungen 8.5 und 8.6 zeigen mit p = 0.8 einmal den Fall starker positiver Korrelation und mit p = —0.8 den Fall stark negativer Korrelation. In diesen beiden Abbildungen wurde ai=a2 = l gewahlt. Die Varianzen af^ a^ bestimmen, wie stark die Verteilung in die x-^ bzw. y-Richtung auseinandergezogen ist. Dies ist ersichtlich aus den Abbildungen 8.3 und 8.4. In Abbildung 8.4 ist wegen ai = 1.5 > (72 = 1 die Dichte in Richtung der x-Achse starker auseinandergezogen. Da das von den Dichten umschlossene Volumen eins betragt, ist der Gipfel entsprechend niedriger. Die Korrelation p legt fest, wie der "Bergriicken" in der (x-y)-Ebene ausgerichtet ist und bestimmt (fiir feste Werte cTi^cr^)^ wie stark der Bergriicken in die Breite gezogen ist. Fiir \p\ in der Nahe von 1 ist der Bergriicken schmaler, fiir \p\ nahe null ist der Bergriicken breiter. Fiir die positive Korrelation in Abbildung 8.5 ist der Bergriicken dem gleichsinnigen Zusammenhang der beiden Variablen entsprechend an der Winkelhalbierenden des ersten Quadrant en ausgerichtet. Die Abbildung 8.6 zeigt, wie bei negativer Korrelation, dem gegensinnigen Zusammenhang entsprechend, groi5e Auspragungen der ersten Variable tendenziell mit kleinen Auspragungen der zweiten
8. Mehrdimensionale Zufallsvariablen
360
ABBILDUNG 8.6: Zweidimensionale Normalverteilungsdichte, p = —0.8, fii = /i2 = 0 , CTi = (72 = 1.0
Variable einhergehen. Prinzipiell wird |p| < 1 vorausgesetzt, was man unmittelbar daran sieht, dafi 1 — p^ in der gemeinsamen Dichte im Nenner erscheint. Fiir p = l ist die Verteilung entartet, d.h. geht die Korrelation von X und Y gegen eins, so wird der Bergriicken beliebig schmal. Man sieht aus der gemeinsamen Dichtefunktion, dafi fiir p = 0 gilt
fi^^y) =
\/27r(7i
exp
d.h. die Dichte lafit sich als Produkt der Randdichten fx{^) und /y(y) von X bzw. Y darstellen. Die Produktdarstellung f{x^y) = fx{x)fY{y) ist aquivalent zur Aussage, dafi X und Y unabhangig sind. Fiir gemeinsam normalverteilte Zufallsgrofien X und Y gilt demnach, dafi unkorrelierte Zufallsgrofien {p = 0) auch unabhangig sind.
Unabhangigkeit und Korrelation bei normalverteilten Zufallsvariablen
Fiir gemeinsam normalverteilte Zufallsvariablen X und Y gilt: X und Y sind unabhangig genau dann, wenn sie unkorreliert sind.
Fiir den Spezialfall unkorrelierter Grofien lafit sich die gemeinsame Dichte demnach als Produkt der Randdichten darstellen. Auch fiir korrelierte gemeinsam normalverteilte Zufallsgrofien gilt, dafi die Randverteilungen normalverteilt sind, d.h. man erhalt
8.7
Zusammenfassung und Bemerkungen
8.7
361
Zusammenfassung und Bemerkungen
Die Untersuchung der gemeinsamen Verteilung von Zufallsvariablen ist ein Grundstein zum Verstandnis der Analyse des Zusammenhangs von Variablen. Zentrale Konzepte wie Kovarianz, Korrelation und Unabhangigkeit ermoglichen es, diesen Zusammenhang zu quantifizieren. Kovarianz und Korrelation sind theoretische Zusammenhangsmafie, erfafit wird dadurch der durch ein Zufallsexperiment bedingte zugrundeliegende Zusammenhang, der selbst nicht direkt beobachtbar ist. Sie bilden den theoretischen Hintergrund, auf dem erklarbar ist, dafi zweidimensionale Beobachtungen, also Realisationen von Zufallsexperimenten eine gemeinsame - gegensinnige oder gleichsinnige - Tendenz aufweisen. Der Begriff der Unabhangigkeit von Zufallsvariablen wird auch in den folgenden Kapiteln eine wichtige RoUe spielen. Wenn Zufallsexperimente wiederholt unter gleichen Bedingungen und unabhangig voneinander durchgefiihrt werden, erhalt man unabhangige Zufallsvariablen X i , . . . , Xn, die - als Stichprobenvariablen bezeichnet - die Grundlage fiir Riickschlusse auf die Grundgesamtheit darstellen. Dabei erweisen sich die in diesem Kapitel behandelten Regeln zur Bildung von Erwartungswert und Varianz von Summen von Zufallsvariablen als wichtig. Ausfiihrlichere Darstellungen mehrdimensionaler Zufallsvariablen und die sich ergebenden Probleme, die Zusammenhangsstruktur von mehr als zwei Zufallsvariablen zu erfassen, finden sich in der Literatur zur multivariaten Statistik, z.B. in Fahrmeir, Hamerle und Tutz (1996).
8.8
Aufgaben
Die gemeinsame Verteilung von X und Y sei durch die folgende Kontingenztafel der Auftretenswahrscheinlichkeiten bestimmt: u. Y X
(a) Man (b) Man (c) Man (d) Man
bestimme bestimme bestimme bestimme
1 2
1 0.25 0.10
2 0.15 0.15
Aufgabe 8.1
3 0.10 0.25
den Erwartungswert und die Varianz von X bzw. Y. die bedingten Verteilungen von X\Y = y und Y\X = x. die Kovarianz und die Korrelation von X und Y. die Varianz von X -\-Y.
Die gemeinsame Wahrscheinlichkeitsfunktion von X und Y sei bestimmt durch f{^^y) sonst.
Aufgabe 8.2
362
8. Mehrdimensionale Zufallsvariablen
(a) Man bestimme die Randverteilung von X bzw. Y. (b)Man bestimme die bedingten Verteilungen von X\Y = y und Y\X = x und vergleiche diese mit den Randverteilungen. (c) Man bestimme die Kovarianz von X und Y. Aufgabe 8.3
Der Tiirsteher einer Nobeldiskothek entscheidet sequentiell. Der erste Besucher wird mit der Wahrscheinlichkeit 0.5 eingelassen, der zweite mit 0.6 und der dritte mit 0.8. Man betrachte die Zufallsvariable X: "Anzahl der eingelassenen Besucher unter den ersten beiden Besuchern" und Y: "Anzahl der eingelassenen Besucher unter den letzten beiden Besuchern". (a) Man bestimme die gemeinsame Wahrscheinlichkeitsfunktion von X und Y. (b) Man untersuche, ob X und Y unabhangig sind.
Aufgabe 8.4
Ein Anleger verfiigt zu Jahresbeginn iiber 200000 € . 150000 € legt er bei einer Bank an, die ihm eine zufallige Jahresrendite i?i garantiert, welche gleichverteilt zwischen 6 % und 8 % ist. Mit den restlichen 50000 € spekuliert er an der Borse, wobei er von einer A^(8, 4)-verteilten Jahresrendite R2 (in %) ausgeht. Der Anleger geht davon aus, dafi die Renditen Ri und R2 unabhangig verteilt sind. (a) Man bestimme den Erwartungswert und die Varianz von Ri und i?2(b) Man berechne die Wahrscheinlichkeit en, dafi der Anleger an der Borse eine Rendite von 8%, von mindestens 9% bzw. zwischen 6% und 10% erzielt. (c) Wie grofi ist die Wahrscheinlichkeit, dafi der Anleger bei der Bank eine Rendite zwischen 6.5% und 7.5 % erzielt? (d) Man stelle das Jahresendvermogen V als Funktion der Renditen Ri und R2 dar und berechne Erwartungswert und Varianz von V. (e) Angenommen, die beiden Renditen sind nicht unabhangig sondern korrelieren mit p = —0.5. Wie wiirden Sie die 200000€ aufteilen, um eine minimale Varianz der Gesamtrendite zu erzielen. Wie andert sich die zu erwartende Rendite?
Parameterschatzung
Die Ziehung von Stichproben, die ein moglichst getreues Abbild der Grundgesamtheit wiedergeben sollen, erfolgt nicht zum Selbstzweck. Vielmehr besteht das Ziel einer Stichprobenziehung darin, Informationen iiber das Verhalten eines Merkmals in der Grundgesamtheit zu gewinnen. Genau dieser Aspekt ist entscheidend: Man ist nicht eigentlich daran interessiert zu erfahren, wie sich das Merkmal in der Stichprobe verhalt, sondern diese Information wird benutzt, um daraus auf das Verhalten in der Grundgesamtheit zu schhefien. Um diesen Schlufi ziehen zu konnen, benotigt man ein Modell, das die Verteilung des interessierenden Merkmals in der Grundgesamtheit beschreibt. Damit konnen Ergebnisse, die man fiir eine Stichprobe - sofern deren Ziehung bestimmten Kriterien geniigt - ermittelt hat, auf die entsprechende Grundgesamtheit iibertragen werden. Diese Verallgemeinerung ist natiirlich nicht mit hundertprozentiger Prazision moglich, da zum einen das Modell, in dem man sich bewegt eben nur ein Modell ist und zum anderen die Stichprobe nicht absolut den zuvor festgelegten Kriterien geniigt. AUerdings ist es moglich, wie wir in den folgenden Kapiteln sehen werden, unter Vorgabe einer gewissen Prazision solche Schliisse vorzunehmen. Dabei unterscheidet man grob Schatz- und Testverfahren. Interessiert man sich beispielsweise fiir den Anteil von Frauen an deutschen HochschuUehrern, so kann man eine Stichprobe aus alien deutschen Hochschullehrern Ziehen. In dieser Stichprobe zahlt man, wieviele HochschuUehrer weiblich und wieviele mannlich sind. Der Anteil der weiblichen HochschuUehrer in dieser Stichprobe sei 0.12. Dieser Wert gibt i.a. nicht den Anteil der weiblichen HochschuUehrer in der Grundgesamtheit aller HochschuUehrer wieder. Ziehen wir namlich eine zweite Stichprobe, so kdnnten wir z.B. einen Anteilswert von 0.09 erhalten. Der beobachtete Anteilswert hangt also ab von der gezogenen Stichprobe, die wiederum eine zufallige Auswahl ist. Damit ist auch der berechnete Anteilswert die Auspragung einer Zufallsvariable, die den Anteil der weiblichen HochschuUehrer beschreibt. Was hat man dann iiberhaupt von diesem berechneten Wert? Der in der Stichprobe beobachtete Anteilswert liefert einen Schdtzer fiir den wahren Anteil in der Grundgesamtheit. Wie gut er den wahren Anteil schatzt, also wie nahe er an den wah-
Schdtzer
364
9.
Parameterschatzung
ren Wert heranreicht und wie stabil er ist, d.h. wie stark er von Stichprobe zu Stichprobe schwankt, wird unter anderem vom Stichprobenumfang, aber auch von der Qualitat des Schatzverfahrens und von der Qualitat der Stichprobe beeinflufit. Schatzverfahren und deren Giite sind Thema dieses Kapitels.
9.1
Punktschatzung
Schatzverfahren zielen darauf ab, aus einer Zufallsstichprobe auf die Grundgesamtheit zuriickzuschHefien. Dabei konzentriert man sich auf bestimmte Aspekte des in einer Grundgesamtheit untersuchten Merkmals. Ob man die InteUigenz in einer Studentenpopulation untersucht oder die von einer Ma^chine produzierte Schraubenlange, meist sind bestimmte Aspekte (Parameter) der Verteilung von primarem Interesse, die beispielsweise Auskunft iiber Lage oder Streuung des Merkmals geben. Engeres Ziel der Punktschatzung ist es, einen moghchst genauen Naherungswert fiir einen derartigen unbekannten Grundgesamtheitsparameter anzugeben. Parameter treten dabei insbesondere in zwei Formen auf, namhch als Kennwerte einer heliehigen, unbekannten Verteilung oder als spezifische Parameter eines angenommenen Verteilungsmodells. Beispiele fiir den ersten unspezifischen Typ von Parametern sind • Erwartungswert und Varianz einer Zufallsvariable • Median oder p-Quantil einer Zufallsvariable • Korrelation zwischen zwei Zufallsvariablen. Haufig lafit sich der Typ einer Verteilung bei guter Anpassung an den realen Sachverhalt annehmen. Beispielsweise sind Intelligenzquotienten so konstruiert, dafi sie einer Normalverteilung folgen, Zahlvorgange wie die Anzahl bestimmter Schadensmeldungen innerhalb eines Jahres lassen sich haufig durch die Poisson-Verteilung approximieren. Modelliert man Merkmale durch die Annahme des Verteilungstyps, reduziert sich das Schatzproblem darauf, dafi nur noch die Parameter dieser Verteilung zu bestimmen sind. Beispiele dafiir sind • der Parameter A, wenn die Anzahl der Schadensmeldungen durch die PoissonVerteilung Po{X) modelliert wird, • die Parameter /i, cr^, wenn von einer Normalverteilung N{fi, cr^) der produzierten Schraubenlangen auszugehen ist, • der Parameter A, wenn fiir die Wartezeit eine Exponentialverteilung exp(A) angenommen wird.
9.1
365
Punktschatzung
Wie man aus diesen Beispielen sieht, sind gelegentlich "unspezifische" Parameter wie Erwartungswert und die Parameter eines Verteilungstyps identisch, z.B. gilt fiir die Normalverteilung E{X) = fi. Der Parameter A der Exponentialverteilung hingegen unterscheidet sich vom Erwartungswert der zugehorigen Zufalls variable. Ausgangspunkt der Punktschatzung sind n Stichprobenziehungen oder Zufallsexperimente, die durch die Zufallsvariablen Xi^...^Xn reprasentiert werden. Xi^...^Xn werden auch als Stichprobenvariablen bezeichnet. Haufig fordert man von Stichprobenvariablen, dafi sie unabhdngige Wiederholungen von X sind. Durch diese knappe Formulierung wird ausgedriickt, dafi
• die den Zufallsvariablen Xi, gig sind,
Stichprobenvariablen unabhdngige Wiederholungen
,, Xn zugrundeliegenden Experimente unabhan-
• jedesmal dasselbe Zufallsexperiment (enthalten in "Wiederholung") durchgefiihrt wird.
Aus den Realisierungen x i , . . . , a:^ dieser Zufallsvariablen soil auf einen Parameter 6 geschlossen werden. Der Parameter 6 steht hier stellvertretend fiir einen festgelegten Kennwert: Das kann der Erwartungswert sein aber ebenso die Varianz oder der Parameter der Poisson-Verteilung. Eine Punktschatzung fiir 9 ist eine Funktion der Realisierungen x i , . . . , x^i der Form t =
g{xi,...,Xn).
Beispielsweise liefert die Funktion g{xi^..., Xn) = Yli ^i/'^ einen Schatzwert fiir den zugrundeliegenden Erwartungswert 6 = E{X). Der Zufallscharakter des Verfahrens, der sich dadurch ausdriickt, dafi jedesmal, wenn diese n Stichprobenziehungen durchgefiihrt werden, ein anderer Schatzwert resultiert, wird deutlich in der Darstellung der Schatzfunktion durch T =
g{Xi,,.,,Xn)-
T ist als Funktion von Zufallsvariablen selbst eine Zufalls variable. So ist das arithmetische Mittel X = g{Xi^..., Xn) = Yli ^i/'^ ^i^^ Zufallsvariable, deren Variabilitat von den Zufallsvariablen X i , . . . , Xn bestimmt wird. Eine derartige Schatzfunktion bzw. Stichprobenfunktion heifit auch Schdtzstatistik oder einfach nur Statistik.
Punktschatzung
366
9. Parameterschatzung
Schatzfunktion, Schatzstatistik
Eine Schdtzfunktion oder Schatzstatistik fiir den Grundgesamtheitsparameter 0 ist eine Punktion T =
g{Xi,,.,,Xn)
der Stichprobenvariablen X i , . . . , Xn^ Der aus den Realisationen xi^.,, ^Xn resultierende numerische Wert g{xi,,,,,Xn)
ist der zugehorige Schdtzwert In der deskriptiven Statistik wurden Lage- und Streuungsparameter der Stichprobe bestimmt. Hinter diesen deskriptiven Parametern stehen Schatzfunktionen, deren Argumente Zufallsvariablen sind. Die resultierenden Realisationen dieser Schatzfunktionen entsprechen dann direkt den deskriptiven Lage- bzw. Streuungsparametern. So lafit sich X = g{Xi^..., Xn) = ^ Y17=i -^i ^^ Schatzfunktion fiir den Erwartungswert /i = E{X) verstehen, x ist die zugehorige Reahsation oder das arithmetische Mittel der Stichprobe. Weitere Schatzfunktionen sind: X = g{Xi^..., Xn) = ~ Z)r=i -^i^ ^i ^ {0? 1}? ^^^ ^i^ Auftretenswahrscheinhchkeit bzw. den Anteilswert TT = P{X = 1), 52 = g{Xi, ,,,^Xn)
= ^J2{Xi-
— 52 = g{Xu •".Xn)
^ = ^EiXi-
9.2
^)^ fur die Varianz a^ = Var{X), _ X)2 fiir die Varianz a^ = Var{X).
Eigenschaften von Schatzstatistiken
Eine Schatzstatistik wie X fiir den Erwartungswert ist zwar intuitiv einleuchtend, daraus folgt jedoch nicht, daii sie ein gutes oder das "beste" Schatzverfahren darstellt. Insbesondere in komplexeren Schatzproblemen ist es wichtig, klare Kriterien fiir die Giite eines Schatzverfahrens zur Verfiigung zu haben, d.h. die entsprechenden Eigenschaften der Schatzstatistik zu kennen.
9.2
367
Eigenschaften von Schatzstatistiken
9.2.1
Erwartungstreue
Man erwartet von einer Schatzstatistik, dafi sie tendenziell den richtigen Wert liefert, d.h. weder systematisch iiber- noch unterschatzt. Diese Eigenschaft wird als Erwartungstreue bezeichnet und wird an einem einfachen Beispiel illustriert.
Beispiel 9.1
Dichotome Grundgesamtheit
Man betrachte n unabhangige Wiederholungen der Zufallsvariable
X
1
CDU-Wahler
0
sonstige Partei.
Aus den resultierenden Zufallsvariablen X i , . . . , Xn bilde man die relative Haufigkeit X = YliXi/n. Nimmt man nun an, in der Population seien 40% CDU-Wahler (Wahrscheinlichkeit TT = P{X = 1) = 0.4), dann lafit sich der Erwartungswert von X berechnen. Da unter dieser Voraussetzung E{Xi) = 0.4 gilt, folgt unmittelbar _
^ '^
E{X) = -Y^iXi) n^
1
= -n 0.4 = 0.4. n
Nimmt man hingegen an, dafi in der Population 35% CDU-Wahler sind, dann folgt mit E{Xi) = 0.35 unmittelbar E{X) = 0.35. Allgemeiner heifit das, unabhangig davon, welches TT tatsachlich zugrunde liegt, wenn man den Erwartungswert von X bildet, ergibt sich E{X) =7r. Flir die Berechnung des Erwartungswertes wird dabei vorausgesetzt, dafi ein bestimmtes, wenn auch unbekanntes n in der Grundgesamtheit vorliegt. Essentiell ist dabei, dafi dieses TT nicht bekannt ist, der Erwartungswert ist berechenbar allein aus der Annahme, dafi TT der wahre Parameter ist. Um auszudriicken, dafi der Erwartungswert unter dieser Annahme gebildet wird, nimmt man gelegentlich und genauer den Wert n als Index des Erwartungswertes hinzu, so dafi ET^{X) = TT resultiert. D
Allgemein heifit eine Schatzstatistik T •• : g{Xi^..., tungstreu oder unverzerrt, wenn gilt
Xn)
fiir den Parameter
6 erwar-
Ee{T) = e. Bestimmt man also den Erwartungswert von T unter der Voraussetzung, dafi der unbekannte Parameter 9 zugrunde liegt, ergibt sich 6 als Erwartungswert. Man kann auf diese Art ohne Kenntnis der tatsachlichen Grofie des Parameters 6 untersuchen, ob der Erwartungswert die richtige Tendenz besitzt. Eine erwartungstreue Schatzstatistik adaptiert sich automatisch an den tatsachlich in der Grundgesamtheit vorliegenden Sachverhalt.
Erwartungstreue
9. Parameterschatzung
368
Eine erwartungstreue Schatzstatistik fiir den Erwartungswert fi = E{X) Stichprobenmittel X = J2i ^i/'^^
^
ist das
^ ^ gil^
n ^-^
n
Schatzt man damit beispielsweise den zu erwartenden Intelligenzquotienten einer Studentenpopulation, erhalt man E{X) = 110, wenn der tatsachliche Wert 110 betragt, aber 105, wenn der tatsachliche Wert 105 betragt. Ein Extrembeispiel einer nicht erwartungstreuen Schatzstatistik fiir /i ware r = 110, d.h. T nimmt unabhangig von X i , . . . , X n immer den Wert 110 an. Entsprechend gilt E{T) = 110 und die Schatzstatistik ist nur dann unverzerrt, wenn tatsachlich /x = 110 gilt, fiir alle anderen Werte ist sie verzerrt. Verzerrung, Bias
Systematische Uber- oder Unterschatzung einer Schatzstatistik wird erfafit in der Verzerrung, auch Bias genannt, die bestimmt ist durch BiaseiT)
Beispiel 9.2
=
Ee{T)-e.
Erwartungstreue Schatzstatistiken In den folgenden Beispielen wird von unabhangigen Wiederholungen ausgegangen. 1. Es laCt sich zeigen, dafi die Stichprobenvarianz
^' = ^it(^^'^)' eine erwartungstreue Schatzstatistik fiir die Varianz cr^ = Var{X) ist. Es gilt £'^2(5^) = a^. Hier findet auch die Normierung durch l / ( n — 1) ihren tieferen Grund. Eben diese Normierung liefert eine erwartungstreue Schatzstatistik fiir die Varianz. Die im ersten Schritt "natiirlicher" scheinende Normierung durch 1/n liefert hingegen eine verzerrte Schatzstatistik (siehe 2.). 2. Fiir die empirische Varianz bzw. mittlere quadratische Abweichung 52 = i ^{Xi ri .
-
Xf
gilt, sofern die Varianz endlich ist, £^2(5^) = ^^cr^. 5^ ist somit nicht erwartungstreu fiir cr^. Die Verzerrung Bias^2{S'^) = E^2{S'^) - a'^
-—(J
n
zeigt, dafi 5^ die Varianz tendenziell unterschatzt. Allerdings verschwindet die Verzerrung fiir wachsenden Stichprobenumfang n.
9.2
369
Eigenschaften von Schatzstatistiken
3. Zwar ist 5^ eine erwartungstreue Schatzstatistik fiir cr^, die Wurzel daraus, also S ist jedoch i.a. nicht erwartungstreu fiir a. S unterschatzt tendenziell die Standardabweichung. 4. Fiir den Anteilswert n = P{X = 1) einer dichotomen Grundgesamtheit mit X G {1,0}, ist die relative Haufigkeit n. ^-^
eine erwartungstreue Schatzstatistik.
D
Eine abgeschwachte Forderung an die Schatzstatistik ist die asymptotische Erwartungstreue. Eine Schatzstatistik heifit asymptotisch erwartungstreu, wenn gilt lim EeiT) = 6, d.h. mit wachsendem Stichprobenumfang verschwindet die Verzerrung von T. Fiir die mittlere quadratische Abweichung gilt 2^ _
EAS')
^-1^2
n
S'^ ist daher nicht erwartungstreu. Wegen lim ^ ^ = 1 ist aber AS^ asymptotisch n—>oo ""
erwartungstreu fiir a'^, Asymptotische Erwartungstreue bezieht sich auf grofie Stichprobenumfange. Fiir kleines n kann eine asymptotische erwartungstreue Schatzstatistik erheblich verzerrte Schatzungen liefern. Fiir n = 2 liefert beispielsweise die mittlere quadratische Abweichung mit E^2{S'^) = a^/2 eine erhebhche Unterschatzung von a'^.
Erwartungstreue und Verzerrung (Bias) Eine Schatzstatistik T = g{Xi,...,
Xn) heifit erwartungstreu fiir 9, wenn gilt Ee{T) = 6,
Sie heifit asymptotisch erwartungstreu fiir 6, wenn gilt Um EeiT) = 9. n—^oo
Der Bias ist bestimmt durch Biase{T) =
Ee{T)-6.
asymptotische Erwartungstreue
9. Parameterschatzung
370
Standardfehler Beispiel 9.3
Wir werden im folgenden beim Erwartungswert auf den Index 6 verzichten, wobei weiterhin Erwartungswerte, aber auch Varianzen und Wahrscheinlichkeiten unter der Annahme der unbekannten zugrundeliegenden Verteilung bestimmt werden. Eine Schatzstatistik liefert zu den Realisationen a^i,..., x^ einen Schatzwert, der aber i.a. nicht mit dem wahren Wert 6 identisch ist. Die Genauigkeit der Schatzung ergibt sich nicht aus dem Schatzwert selbst. Fiir erwartungstreue Schatzstatistiken, die also zumindest die richtige Tendenz aufweisen, laiit sich die Genauigkeit des Schdtzverfahrens an der Varianz der Schatzstatistik festmachen. Die Wurzel aus dieser Varianz, also die Standardabweichung der Schatzstatistik wird als Standardfehler bezeichnet. Da sie i.a. nicht bekannt ist, mu6 sie selbst geschatzt werden. Arithmetisches M i t t e l
Die Schatzfunktion X = ^ ^ Xi/n besitzt wegen Var{X) = a'^/n den Standardfehler ax = ajyjn = y/Var{X)/n. Eine Schatzung des Standardfehlers von X liefert ax = yfn
\fn
D
Standardfehler Der Standardfehler einer Sch^itzstatistik ist bestimmt durch die Standardabweichung der Schatzstatistik --^Varg{Xu..
9.2.2
mittlere quadratische Abweichung mean squared error
• ^Xn)'
Erwartete mittlere quadratische Abweichung und Konsistenz
Wie die asymptotische Erwartungstreue ist die Konsistenz eine Eigenschaft, die das Verhalten bei grofien Stichprobenumfangen refiektiert. Wahrend bei der Erwartungstreue nur das Verhalten des Erwartungswerts, also die zu erwartende mittlere Tendenz der Schatzstatistik eine Rolle spielt, wird bei der Konsistenz die Varianz der Schatzung mit einbezogen. Dazu betrachtet man als ein generelles Mafi der Schatzgiite die zu erwartende mittlere quadratische Abweichung^ kurz MSE fiir mean squared error^ die gegeben ist durch
E{[T-ef).
9.2
371
Eigenschaften von Schatzstatistiken
Die mittlere quadratische Abweichung gibt nach Definition wieder, welche Abweichung zwischen Schatzfunktion T und wahrem Wert 9 fiir die Schatzfunktion T zu erwarten ist. Sie lafit sich durch Erganzen und Ausmultiplizieren einfach umformen zu
E{[T-ef) = E{[T - E{T) + E{T) - 6]'^) = E{[T - E(T)]'^) + 2E([T - E(T)][E{T) - 9]) + E{[E{T) = E{[T - E{T)]^) + [E{T) - 9]^ = Var{T) + Bias
9f)
(Tf,
Die zu erwartende quadratische Abweichung lafit sich somit darstellen als Summe aus der Varianz von T und dem quadrierten Bias, d.h. die Minimierung der zu erwartenden quadratischen Abweichung stellt einen Kompromifi dar, zwischen Dispersion der Schatzstatistik und Verzerrtheit. Aus dieser Darstellung der zu erwartenden kleinsten quadratischen Abweichung wird deuthch, dafi die Varianz der Schatzstatistik bzw. deren Wurzel als Kriterium fiir die Giite der Schatzung nur Sinn macht, wenn die Verzerrung mitberiicksichtigt wird. Der Standardfehler als Vergleichsmafi fiir die Giite ist daher auf erwartungstreue Statistiken beschrankt, d.h. wenn Bias (T) = 0 gilt.
Erwartete mittlere quadratische Abweichung ( M S E )
Die erwartete mittlere quadratische Abweichung (mean squared error) ist bestimmt durch
MSE =
E{[T-9f)
und lafit sich ausdriicken in der Form MSE = Var{T) + Bias
{Tf,
Asymptotische Erwartungstreue beinhaltet, dafi die Verzerrung fiir wachsenden Stichprobenumfang verschwindet. Geht gleichzeitig auch die Varianz gegen null, spricht man von Konsistenz^ genauer von Konsistenz im quadratischen Mittel. Wegen der Zerlegung der mittleren quadratischen Abweichung in einen Varianz- und einen Verzerrungsanteil verschwinden mit wachsendem Stichprobenumfang sowohl Verzerrung als auch Varianz, wenn die mittlere quadratische Abweichung gegen null konvergiert.
Konsistenz
9. Parameterschatzung
372
Konsistenz (im quadratischen Mittel) oder MSE-Konsistenz
Eine Schatzstatistik heifit konsistent im quadratischen Mittel^ wenn gilt MSE
asymptotische Eigenschaft
schwache Konsistenz
""-^^^ 0.
Im Gegensatz zur Erwartungstreue, die fiir endlichen Stichprobenumfang definiert wild, ist Konsistenz eine asymptotische Eigenschaft^ die das Verhalten fiir gro&e Stichprobenumfange wiedergibt. Eine konsistente Schatzstatistik kann fiir endlichen Stichprobenumfang eine erhebhche Verzerrung und groi3e Varianz besitzen. Haufig findet man eine alternative Definition der Konsistenz, die auch als schwache Konsistenz bezeichnet wird. Eine Schatzstatistik heiiSt schwach konsistent, wenn die Wahrscheinlichkeit, dafi die Schatzfunktion Werte in einem beliebig kleinen Intervall um den wahren Parameterwert annimmt, mit wachsendem Stichprobenumfang gegen eins wachst. Formal fiihrt dies zur folgenden Definition. Schwache Konsistenz
Die Schatzstatistik T = g{Xi^..., Xn) heiQt schwach konsistent, wenn zu beliebigem s > 0 gilt lim P ( | r - ^ | < e ) = l bzw.
lim
P{\T-e\>e)^0.
Die Definition besagt somit, daii egal wie klein das Intervall um den wahren Wert gewahlt wird, die Wahrscheinlichkeit fiir das Ereignis T e {0 — s,6 + s) gegen eins wachst, also die Abweichung vom wahren Wert um mindestens e gegen 0 konvergiert. Fiir grol3en Stichprobenumfang soUte der Schatzwert also in unmittelbarer Nahe des wahren (unbekannten) Parameters 6 liegen. Prinzipiell ist festzuhalten, eine Schatzstatistik, die im quadratischen Mittel konsistent ist, ist auch schwach konsistent. Beispiel 9.4
Arithmetisches Mittel
Ein Merkmal X sei normalverteilt mit X ~ N{jui,a'^). Aus unabhangigen Wiederholungen X i , . . . , Xn wird der Erwartungswert durch die Schatzstatistik X = J2i Xi/n geschatzt. Fiir X erhalt man unmittelbar E{X) = jj, (d.h. Erwartungstreue) und Var{X) = ^ ^ cr^/n = cr^/n, d.h. es gilt
9.2
373
Eigenschaften von Schatzstatistiken
X ist somit eine fiir /i erwartungstreue Schatzstatistik, deren Varianz mit zunehmendem Stichprobenumfang abnimmt. Daraus ergibt sich, dafi X konsistent (im quadratischem Mittel) ist. Darliber hinaus erhalt man P{\X-f,\<e)
X-fi a/y/n
= P
<
cr/y/n
*G^^)-*H^)Fiir feste Werte von e und a lafit sich damit unmittelbar die Wahrscheinlichkeit P{\X — fi\ < e) aus der Tabelle der Standardnormalverteilungsfunktion ablesen. In Abbildung 9.1 ist die Wahrscheinlichkeit fiir das Ereignis |X—/x| < 6 fiir zwei Stichprobenumfange dargestellt. Man sieht deuthch, wie die WahrscheinHchkeit dieses Ereignisses als Flache iiber dem Intervall mit wachsendem Stichprobenumfang zunimmt. X ist damit schwach konsistent. D
712 = 10
ni
11 — 6
fl + S
ABBILDUNG 9.1: Wahrscheinlichkeit fiir \X - fi\ < e fiir e = 1, a = 1 und den Stichprobenumfangen m = 2,n2 = 10.
Eine erwartungstreue Schatzstatistik ist offensichtlich konsistent im quadratischen Mittel, wenn die Varianz fiir wachsenden Stichprobenumfang gegen null konvergiert. Auch die schwache Konsistenz lafit sich in diesem Fall einfach an der Varianz festmachen, da sich fiir erwartungstreue Schatzstatistiken die WahrscheinHchkeit einer Abweichung u m £ durch die Tschebyscheffsche Ungleichung (Abschnitt 7.4.3) abschatzen lafit. Es gilt wegen E{T) = 6
P{\T-e\>e)<
Var{T)
9. Parameterschatzung
374
Daraus folgt unmittelbar, dafi jede erwartungstreue Schatzstatistik schwach konsistent ist, wenn Var{T) -^ 0 fiir n —> oo. Fiir unabhangige Wiederholungen erhalt man insbesondere die im quadratischen Mittel und damit auch schwach konsistenten Schatzstatistiken • X fiir den Erwartungswert /x = E{X) (siehe auch Gesetz der grofien Zahlen, Abschnitt 7.1), • X bei dichotomem Merkmal fiir den Anteilswert TT, • S'^ fiir die Varianz cr^ = Var{X). 9.2.3
MSEWirksamkeit
Wirksamste Schatzstatistiken
Die mittlere quadratische Abweichung ist ein Mafi fiir die Giite der Schatzung, das sowohl die Verzerrung als auch die Varianz der Schatzfunktion einbezieht. Darauf aufbauend lafit sich eine Schatzstatistik im Vergleich zu einer zweiten Schatzstatistik als MSE'Wirksamer bezeichnen, wenn ihre mittlere quadratische Abweichung (MSE) kleiner ist. Zu beriicksichtigen ist dabei, dafi der Vergleich zweier Statistiken Jewells fiir eine Klasse von zugelassenen Verteilungen erfolgt. Beispielsweise wird man Schatzungen fiir den Parameter A einer Poisson-Verteilung nur vergleichen unter Zulassung aller Poisson-Verteilungen (mit beliebigem A). Bei der Schatzung des Erwartungwertes lassen sich entweder alle Verteilungen mit endhcher Varianz zugrunde legen oder auch nur alle Normal verteilungen. Die Effizienz einer Statistik kann daher von der Wahl der zugelassenen Verteilungen abhangen. Mit der Bezeichnung MSE{T) fiir die mittlere quadratische Abweichung der Schatzstatistik T erhalt man die folgende Begriffsbildung. MSE ~ Wirksamkeit von Schatzstatistiken
Von zwei Schatzstatistiken Ti und T2 heifit Ti MSE-wirksamer^ MSE{Ti)
wenn
< MSE{T2)
fiir alle zugelassenen Verteilungen gilt. Eine Statistik heifit MSE-wirksamst^ wenn ihre mittlere quadratische Abweichung fiir alle zugelassenen Verteilungen den kleinsten moglichen Wert annimmt. Beschrankt man sich auf erwartungstreue Statistiken, d.h. Bias = 0, reduziert sich die M5£^-Wirksamkeit auf den Vergleich der Varianzen von Schatzstatistiken. Dieser Vergleich lafit sich allerdings auch ohne Bezug zur MS'E'-Wirksamkeit motivieren. Erwartungstreue Schatzstatistiken besitzen als Erwartungswert den tatsachlich
9.2 Eigenschaften von Schatzstatistiken
375
zugrundeliegenden Parameter, haben also prinzipiell die "richtige" Tendenz. Will man nun zwei erwartungstreue Schatzstatistiken hinsichtlich ihrer Giite miteinander vergleichen, ist es naheliegend, diejenige zu bevorzugen, die um den "richtigen" Erwartungswert am wenigsten schwankt. Mifit man die Variation durch die Varianz der Schatzfunktion erhalt man unmittelbar ein Kriterium ziim Vergleich der Giite von Schatzstatistiken.
Wirksamkeit von erwartungstreuen Schatzstatistiken
Von zwei erwartungstreuen Schatzstatistiken Ti und T2 heifit Ti wirksamer oder effizienter als T2, wenn Var{Ti) < Var{T2) fiir alle zugelassenen Verteilungen gilt. Eine erwartungstreue Schatzstatistik heifit wirksamst oder effizient^ wenn ihre Varianz fiir alle zugelassenen Verteilungen den kleinsten moglichen Wert annimmt.
Zu dieser Begriffsbildung ist zu bemerken: Ein Varianzvergleich macht natiirlich nur Sinn fiir erwartungstreue Schatzstatistiken. Die fast immer verzerrte Schatzstatistik To = 100, die immer den Wert 100 annimmt, besitzt die Varianz null. Wiirde man eine derartige Statistik zur Konkurrenz zulassen, ware ihre Varianz nicht unterbietbar, obwohl sie tendenziell fast immer verzerrte Werte liefert. Die Erwartungstreue von Schatzstatistiken hangt immer von den zugelassenen Verteilungen ab. Beispielsweise gilt fiir Poisson-Verteilungen E{X) = Var{X) = A und damit sind sowohl X als auch S^ erwartungstreu fiir E(X), 5^ ist jedoch nicht unverzerrt fiir -B(X), wenn auch Normalverteilungen zugelassen sind. Fiir die Varianz einer erwartungstreuen Schatzstatistik lafit sich eine untere Schranke angeben, die sogenannte Cramer-Rao Schranke. Wirksamste Statistiken erreichen diese Schranke, die wir hier nicht explizit angeben. Wirksamste Schatzstatistiken sind insbesondere: X fiir den Erwartungswert, wenn alle Verteilungen mit endlicher Varianz zugelassen sind, X fiir den Erwartungswert, wenn alle Normalverteilungen zugelassen sind.
376
9.
Parameterschatzung
X fiir den Anteilswert TT dichotomer Grundgesamtheiten, wenn alle BernouUiVerteilungen zugelassen sind, X fiir den Parameter A, wenn alle Poisson-Verteilungen Po{X) zugelassen sind.
9.3
Konstruktion von Schatzfunktionen
Bisher haben wir wiinschenswerte Eigenschaften von Schatzstatistiken diskutiert. Dabei wurden Schatzfunktionen betrachtet, die zum Teil schon aus den vorhergehenden Kapiteln bekannt sind. In diesem Abschnitt wird die Herkunft dieser Schatzfunktionen reflektiert. Es werden Methoden entwickelt, wie man eine geeignete Schatzfunktion fiir einen unbekannten Parameter findet. Der Schwerpunkt bei den klassischen Ansatzen liegt auf dem sehr generellen Maximum Likelihood-Prinzip, das auch in komplexen Schatzsituationen anwendbar ist. Abschnitt 9.3.3 fiihrt zusatzhch in Bayes-Schatzer ein. Konzepte der Bayes-Inferenz haben in letzter Zeit durch die Entwicklung neuer computerintensiver Methoden wachsende Bedeutung erlangt. 9.3.1
Maximum Likelihood-Schatzung
Aus Griinden der Einfachheit seien Xi^...^Xn unabhangige und identische Wie~ derholungen eines Experiments. Im bisherigen wurde oft betrachtet, mit welcher Wahrscheinlichkeit bestimmte Werte einer Zufallsvariable X auftreten, wenn eine feste Parameterkonstellation zugrunde liegt. Beispielsweise haben wir fiir BernoulliVariablen mit Parameter n abgeleitet, dafi fiir x G {0,1} f{x\7r) = P{X = X\7T) = 7r^(l - TT)^-^ gilt. Bei stetigen Variablen tritt an die Stelle der Wahrscheinlichkeit eine stetige Dichte, beispielsweise bei der Normalverteilung mit den Parametern fx und a die Dichte Geht man allgemeiner von dem Parameter 6 aus, der auch zwei- oder hoherdimensional sein kann und betrachtet den Fall unabhangiger identischer Wiederholungen, ergibt sich die (diskrete oder stetige) Dichte
f{xu,.,,xn\e)
=
f{xi\e)'''f(xn\e).
Anstatt fiir festen Parameter 6 die Dichte an beliebigen Werten a:i,... ,Xn zu betrachten, lafit sich umgekehrt fiir feste Reahsationen x i , . . . , x^ die Dichte als Funktion in 9 auffassen. Diese Funktion
L{e) =
f{xi,,,,,xn\e)
9.3
377
Konstruktion von Schatzfunktionen
heifit Likelihoodfunktion und besitzt als Argument den Parameter 9 bei festen Realisationen x i , . . . ,Xri. Das Maximum Likelihood-Prinzip zur Konstruktion einer Schatzfunktion beruht auf der Maximierung dieser Likelihood.
Likelihoodfunktion Maximum LikelihoodPrinzip
Maximum Likelihood-Prinzip Das Maximum Likelihood-Prinzip besagt: Wahle ZU Xi^ • • • 5 »^n als Parameterschatzung denjenigen Parameter 6y fiir den die Likelihood maximal ist, d.h. max e
m= m
bzw. f{xi,.,.,Xn\0)
= max /{xi,,.. e
,Xn\0).
Man wahlt somit zu den Realisationen xi^... ^Xn denjenigen Parameter 9^ fiir den die Wahrscheinlichkeit bzw. Dichte, daiJ gerade diese Werte xi^...^Xn auftreten, maximal wird. Man sucht somit zu den Realisierungen xi^... ^Xn denjenigen Parameter, der die plausibelste Erklarung fiir das Zustandekommen dieser Werte liefert. Nach Konstruktion erhalt man damit einen Schatzwert 9 zu jeder Realisierungsfolge x i , . . . , Xn^ also letztendlich eine Schatzung 9 = ^ ( x i , . . . , Xn)^ Das Einsetzen beliebiger Realisationen liefert die Schatzfunktion g{xi^..., Xn) = 9(xi^..., x^). Eine derart konstruierte Schatzfunktion heifit Maximum Likelihood-Schdtzer. Ublicherweise bestimmt man das Maximum einer Funktion durch Ableiten und NuUsetzen der Ableitung. Fiir die Likehhood fiihrt das wegen der Produkte in L{9) meist zu unfreundhchen Ausdriicken. Es empfiehlt sich daher, statt der Likelihood selbst die log^rithmierte Likelihood, die sogenannte Log-Likelihood^ zu maximieren. Da Logarithmieren eine streng monoton wachsende Transformation ist, liefert das Maximieren von L{9) und InL(^) denselben Wert 9. Fiir den bisher betrachteten Fall unabhangiger und identischer Wiederholungen ergibt sich die Log-Likehhood als Summe lnL{e) =
Y,lnf{xi\e). i=i
Maximum LikelihoodSchdtzer
Log-Likelihood
378
Beispiel 9.5
9. Parameterschatzung
Poisson-Verteilung Seien X i , . . . , ^ 4 unabhangige Wiederholungen einer Poisson-verteilten Grofie Po{X) mit zu schatzendem Wert A. Die Realisationen seien xi = 2 , X2 = 4, xs = 6, X4 = 3. Damit erhalt man die Likelihoodfunktion L(A) = f{x,\\)...
fix,\X)
-4A\15 =e-^^A
= e-^:^e-^^e-^^e-^^
1
2! 4! 6! 3!
bzw. die Log-Likelihood-Funktion InL(A) - -4A + 15 In A - ln(2! 4! 6! 3!). Ableiten und NuUsetzen ergibt
d\
^ A
und damit
Bemerkenswert ist daran, dafi A = X = (2 + 4 + 6 + 3)/4, d.h. es ergibt sich eine bekannte Schatzfunktion. Das Verfahren lafit sich natiirlich genereller fiir die Realisationen x i , . . . , Xn durchftihren. Man erhalt die Log-Likelihood-Funktion InL(A) = f ^ l n / ( x , | A ) = f ^ l n
fe"^^)
n
= ^ ( - A + Xi\ii\-
\ii{xi\)).
Ableiten und NuUsetzen liefert
9^
trV
""A
und damit _n + ^ ^ i ^ = 0 A
bzw.
A= S l ^ n
= X.
Der Maximum LikeUhood-Schatzer ist also in diesem Fall fiir jede Realisationsfolge identisch mit dem arithmetischen Mitt el. D
9.3
379
Konstruktion von Schatzfunktionen
Beispiel 9.6
Normalverteilung
Seien Xi,,,. ,Xn unabhangige Wiederholungen einer Normalverteilung N[^,a'^). Zu schatzen sind /i und cr, d.h. der Parameter 6 = {ii^cr). Die Likelihoodfunktion besitzt hier fiir generelle Realisationen a:i,..., Xn die Form 1
L{fi,a)
-e
e
2
27ra
(xrt-M)^ 2CT2
277(7
die Log-Likelihood-Funktion ist bestimmt durch {Xi -
lnL(M,a) = X : [ l n ( - ^ )
^f
-Inv^-lna-^^^i^ 2a2
2CT2
Partielles Differenzieren nach /i und a und Nullsetzen ergibt das Gleichungssystem 91nL(/i,cr) dfi
^Xi
— jl
=E^
aa
i=l
= 0,
2^3
^
:0.
Aus der ersten Gleichung ergibt sich ] ^ a:^ — n/i = 0 und damit jl = x. Aus der zweiten 2=1
Gleichung erhalt man = 0 (J
^ i=l
(7^
und daraus
pYl^^^-^^y= pY.^^^-^yAls Maximum Likelihood-Schatzer fiir ji und a im Fall der Normalverteilung erhalt man somit die bereits bekannten Schatzstatistiken X und S. D
9.3.2
Kleinste-Quadrate-Schatzung
Ein einfaches Prinzip der Parameterschatzung besteht darin, die aufsummierten quadratischen Abweichungen zwischen Beobachtungswert und geschatztem Wert zu minimieren. Dieses Prinzip findet insbesondere Anwendung in der Regressionsanalyse (siehe Abschnitt 3.6.2).
9.
380
Beispiel 9.7
Parameterschatzung
Arithmetisches M i t t e l
Zur Schatzung der zentralen Tendenz wird fi so geschatzt, dafi
Y^{Xi-fif
^ mm.
i=l
Daraus resultiert nach einfacher Ableitung als Schatzer das arithmetische Mittel X.
9.3.3
D
Bayes-Schatzung
Den bisher beschriebenen Konzepten zur Parameterschatzung liegen objektive Wahrscheinlichkeiten und zugehorige Haufigkeitsinterpretationen zugrunde. Die Bayes-Schatzung basiert auf dem subjektiven Wahrscheinlichkeitsbegriff (vgl. Abschnitt 4.2.3). Wie wir sehen werden, besteht dennoch eine enge Verbindung zwischen der Maximum-Likelihood-Schatzung und der Bayes-Schatzung.
a prion a posteriori Bayesianisches Lemen
Die Bayes-Inferenz geht von einem anderen Grundverstandnis aus: Die Unsicherheit wird durch eine Verteilung reprasentiert, d.h. formal werden Parameterwerte als Realisierungen von Zufallsvariablen angesehen. Bevor die Daten aus einer Stichprobe vorliegen, werden die Parameter durch eine a priori Verteilung beschrieben. Sobald die Daten bekannt sind, wird mit Hilfe des Satzes von Bayes (Abschnitt 4.7) die entsprechende a posteriori Verteilung berechnet. Dieses Vorgehen bezeichnet man auch als Bayesianisches Lemen. Als (Punkt-)Schatzer fiir die unbekannten Parameter werden iibliche Lageparameter, wie Erwartungswert, Median oder Modus der a posteriori Verteilung gewahlt. Wir gehen der Einfachheit wieder davon aus, dafi die Daten (xi^... ^Xn) der Stichprobe Realisierungen von unabhangigen und identisch verteilten Wiederholungen X i , . . . , X n einer Zufallsvariable X sind, und dafi ein skalarer Parameter 6 vorliegt. Die Erweitung auf mehrdimensionale Parameter und Zufallsvariablen ist konzeptionell ohne weiteres moglich. Zunachst beschreiben wir die formale Vorgehensweise allgemein und kommen dann auf die Beispiele 9.5 (Poisson-Verteilung) und 9.6 (Normalverteilung) zuriick. Dazu benotigen wir einige Varianten bzw. Erweiterungen des Satzes von Bayes aus Abschnitt 4.7. Im weiteren bezeichne © die Zufallsvariable "Parameter" und 9 den Parameterwert. Wir betrachten zunachst den Fall n = 1, so dafi nur eine Realisierung x von X vorliegt. In volliger Analogic zu den Abschnitten 8.2 und 8.3, wobei notationell Y und y durch 9 und 6 ersetzt werden, sind dann
9.3
Konstruktion von Schatzfunktionen
• f{x\6)
381
die bedingte Wahrscheinlichkeitsfunktion bzw. Dichte von X, gegeben
e = e, • f{x) die Randverteilung oder -dichte von X, • f{x) die a priori Wahrscheinlichkeitsfunktion oder a priori Dichte von O (d.h. die Randverteilung von G), • f(0\x) die a posteriori (oder bedingte) Wahrscheinhchkeitsfunktion oder Dichte von G, gegeben die Beobachtung X = x^ • / ( x , 9) die gemeinsame Wahrscheinlichkeitsfunktion oder Dichte. Dann gilt folgende Form des Satzes von Bayes:
f{x)
fix)
Wenn 0 und X diskret sind, gilt
p{x=x)^fix) = j2fi^\^j)m), 3
wobei iiber die moglichen Werte 6j von G summiert wird. Dann ist obige Beziehung, wenn auch in anderer Notation, der Satz von Bayes aus Abschnitt 4.7. Meist wird jedoch G als stetig angesehen. Dann gilt der Satz von Bayes in folgender Erweiterung:
fio\x)
f{x I e)f{e)
_ fix I e)fie)
Jfix\e)fie)de
fix)
Dabei kann X stetig oder diskret sein. Wenn nun statt einer Beobachtung x eine Stichprobe ( x i , . . . , Xn) vorliegt, bleibt der Satz von Bayes auch richtig, wenn f{x \ 6) durch die (bedingte) gemeinsame Dichte / ( x i , . . . ,x^ | ^) ersetzt wird. Wegen der unabhangigen und identisch nach f{x \ 9) verteilten Stichprobenvariablen gilt f{xi,...,Xn\9)
= f{xi\9)'-'f{xn\9)
= L{e),
mit L{9) als Likelihoodfunktion. Damit lafit sich die Bayes-Inferenz oder Bayesia-
382
9. Parameterschatzung
nisches Lernen folgendermafien zusammenfassen:
Bayes-lnferenz, Bayesianisches Lernen
Die Wahrscheinlichkeitsfunktion oder Dichte von X, gegeben 6, sei
und
L{e) = f{xi,...,xn\e) die gemeinsame Dichte bzw. Likelihoodfunktion fiir n unabhangige Wiederholungen von X. Fiir den unbekannten Parameter wird eine a priori Dichte
m spezifiziert. Dann ist die a posteriori Dichte liber den Satz von Bayes bestimmt durch
m\.
. ^
J\P \Xi,,,,,Xn)=
/(^il^)---/K|e)/W L{e)m — J f{xi I ^)... f{xn I e)m de J L{e)f[e) de
Das Bayesianische Lernen besteht somit darin, die (subjektive) a priori Information iiber 6 und die Stichprobeninformation mit Hilfe des Satzes von Bayes zur a posteriori Information in Form der a posteriori Dichte zu verarbeiten. Als Bayes-Schatzer fiir 6 bieten sich iibhche Lageparameter der a posteriori Verteilung an, insbesondere Erwartungswert und Modus. Da der Nenner J L{6)f{6)d9 nicht mehr von 6 abhangt - 6 wird "herausintegriert" -, kann der Modus durch Maximieren des Zahlers L{0)f{6) bzw. aquivalent durch Maximieren des logarithmischen Zahlers \iiL{6) + lnf{6) bestimmt werden.
9.3
383
Konstruktion von Schatzfunktionen
Bayes>Schatzer
a posteriori Erwartungswert: Op = E{e\xi,,,,,
Xn) =
/ Of {6
\xi,,.,,Xn)
d6
a posteriori Modus oder maximum a posteriori (MAP) Schatzer: Wahle denjenigen Parameterwert ^MAP? fiir den die a posteriori Dichte maximal wird, d.h.
L{e)f{e) = maxL{e)f{e) bzw.
9
\nL{e) + lnf{e) = max{lnL(e) + l n / ( ^ ) }
Zur Berechnung der vollen a posteriori Verteilung mui3 das Integral J L(9)f{9)d0 berechnet werden. Dies kann bereits fiir vergleichsweise einfache Dichten f(x\9) und a priori Dichten f{9) analytisch nicht mehr durchfiihrbar sein. Dann miissen numerische Integrationsverfahren oder moderne Simulationstechniken wie MCMC (Markov Chain Monte Carlo) eingesetzt werden. Bei der Bestimmung des MAPSchatzers wird dieses Problem umgangen, da nur der Zahler L(0)f(9) maximiert werden mufi. Damit wird auch die Beziehung zur Maximum Likelihood-Schatzung deutlich: Statt der Likelihood L{9) ist die mit der a priori Dichte f{9) gewichtete Funktion L{9)f{9) zu maximieren. Ist f{9) sehr flach, so driickt dies wenig Vorwissen dariiber aus, wo 9 liegt. Im Extremfall kann f{9) z.B. eine Gleichverteilung iiber [—c, c] mit sehr grofiem c sein. Dann sind der Maximum Likelihood-Schatzer 9 und der MAP-Schatzer 9MAP praktisch identisch und stimmen fiir den voUig "diffusen" Grenzfall c -^ oo iiberein. Dies wird auch im folgenden Beispiel deutlich. Beispiel 9.8
Poisson-Verteilung
Seien X i , . . . ,^4 wie in Beipiel 9.5 unabhangige Wiederholungen von X ~ Po{X) mit zu schatzendem Wert A und den Realisationen xi = 2, X2 = 4, xs = 6, X4 = 3. Wir erhalten somit wieder die Likelihoodfunktion -4A\15 L(A) = / ( x i | A ) . . . / ( x 4 | A ) = e-^^A
1 2! 4! 6! 3! '
Als a priori Dichte fiir A wahlen wir eine Exponentialverteilung mit dem "HyperParameter" a, also f(X) - / ^^""^ ^ ^~ I 0
fiir A > 0 fiir A<0.
384
9.
Parameterschatzung
Damit gilt a priori E{X) = 1/a. Der Hyperparameter a wird subjektiv gewahlt und reflektiert die Vorinformation iiber A: Fiir grofies a geht /(A) schnell gegen 0, d.h. wir glauben an einen relativ kleinen Wert von A. Fiir kleines a ist die Exponentialverteilung flach und geht langsam gegen 0, d.h. auch grofiere A-Werte werden als wahrscheinlich angesehen, vgl. aueh Abbildung 6.8, S. 281. Fiir den Grenzfall a-^0 wird die Dichte voUig flach, so dafi keine Vorkenntnis iiber A vorUegt. Zur Bestimmung des MAP-Schatzers AMAP ist L{X)f{X) bzw. InL(A) + ln/(A) = -4A + 151n A - aA + c beziigUch A zu maximieren, wobei die Konstante c nicht von A abhangt. Ableiten und Nullsetzen ergibt -4 +
a = 0, AMAP
und damit AMAP =
4+ a
Man erkennt die Auswirkung des Hyperparameters a: Fiir groJ3es a favorisiert die a priori Dichte kleine A-Werte. Dies spiegelt sich im Schatzwert AMAP wider: AMAP = 15/(4 + a ) wird im Vergleich zur Maximum Likehhood-Schatzung A = 15/4 in Beispiel 9.5 gegen 0 gedriickt. Fiir a -4 0, also dem Grenzfall "keine Vorinformation" iiber A, gilt AMAP —^ A. Somit steuert a die Gewichtung zwischen subjektiver Vorinformation und Stichprobeninformation. Bereits in diesem einfachen Beispiel ist die Bestimmung der a posteriori Dichte und damit auch des a posteriori Erwartungswerts 9p schwierig: Es ist das Integral
Jo zu berechnen, was mit elementaren Mitteln nicht mehr moglich ist. Fiir den allgemeinen Fall von Realisierungen xi,... ,Xn rechnet man leicht nach, dafi AMAP =
—^"7^
gilt. Fiir den Grenzfall a —> 0 (keine Vorinformation) ergibt sich wieder AMAP = ^, also der Maximum Likehhood-Schatzer. Ansonsten gilt immer AMAP < ^, und AMAP ist umso naher bei 0, je grofier a im Verhaltnis zum Stichprobenumfang n ist. D
Beispiel 9.9
Normalverteilung
Wie in Beispiel 9.6 seien X i , . . . , Xn unabhangige Wiederholungen von X ~ N{fi, cr^), wobei fi zu schatzen ist, aber nun a^ als bekannt angenommen wird. Als a priori Dichte fiir fi wahlen wir eine A^(/xo,cr^)-Verteilung, also
«'')=(4)^-{-^}-
9.4
Intervallschatzung
385
Diese Vorinformation besagt, da6 // um den Erwartungswert /XQ niit der Varianz ag streut. Je kleiner cr^, desto praziser ist das Vorwissen; je groBer CTQ, desto unsicherer ist diese Vorinformation. Die a posteriori Dichte ergibt sich aus /(/X \xi,.,.,Xn)
=
jL{fi,a)f{fi)diJ,
'
mit der in Beispiel 9.6 angegebenen Likelihood L{fj,,a). In diesem Fall kann nach einiger Rechnung die a posteriori Dichte analytisch bestimmt werden. Es ergibt sich eine Normalverteilung /i I Xi,...,Xn r^ N{jl,d'^) mit a posteriori Erwartungswert na'k
_
(7^
und a posteriori Varianz G
2
2
cr
n 4- ^^/cr^ ' Der a posteriori Erwartungswert jl ist damit ein gewichtetes Mittel aus dem Stichprobenmittel X und dem a priori Erwartungswert /XQ . Fiir CTQ ^ 0 ("exaktes Vorwissen") gilt ft—^/do, und fiir (JQ —> 00 ("kein Vorwissen") ergibt sich ft-^ x, d.h. die Maximum Likelihood-Schatzung jl = x aus der Stichprobe. Analog erhalt man cr^ —> 0 fiir CTQ —> 0 und a'^ -^ cr^/n, die Varianz des Maximum Likelihood-Schatzers /i, fiir CTQ —> 00. Zusammengefafit gilt somit IUL\ xi,...
,Xn —^ N(x,cr'^/n)
fiir CTQ -^ 00
bei nichtvorhandenem Vorwissen iiber //, und /i I Xi,...,Xn ^iV(/Xo,0) bei sicherem Vorwissen 11 = ^LQ. Der "Hyperparameter" (JQ steuert also wieder den Kompromifi zwischen Stichprobeninformation und subjektiver a priori Information. D
9.4
Intervallschatzung
Die Punktschatzung liefert uns einen Parameterschatzwert ^, der im Regelfall nicht mit dem wahren 6 identisch ist. In jeder sinnvollen Anwendung ist es daher notwendig, neben dem Schatzwert 6 selbst, die Prazision des Schatzverfahrens mitanzugeben. Fiir erwartungstreue Schatzer ist der Standardfehler, d.h. die Standardabweichung der Schatzstatistik, ein sinnvoUes Ma6 fiir die Prazision.
9. Parameterschatzung
386
Ein anderer Weg, die Genauigkeit des Schatzverfahrens direkt einzubeziehen, ist die Intervallschdtzung. Als Ergebnis des Schatzverfahrens ergibt sich hier ein InterIntervallschdtzung val!, wobei man versucht, die Wahrscheinhchkeit, mit der das Verfahren ein Inter vail liefert, das den wahren Wert 6 nicht enthalt, durch eine vorgegebene Irrtumswahrscheinlichkeit a zu kontrollieren. Ubliche Werte fiir diese Irrtumswahrscheinlichkeit sind a = 0.10, a = 0.05 oder a = 0.01. Entsprechend ergibt sich die Wahrscheinlichkeit, dafi das Verfahren ein Interval! liefert, das den wahren Wert 6 enthalt, durch Uberdeckungs- die Gegenwahrscheinlichkeit 1 — a, die auch als Uberdeckungswahrscheinlichkeit bewahrscheinlich- zeichnet wird. Fiir diese erhalt man dann die Werte 0.90, 0.95 bzw. 0.99. keit Man benotigt zur Intervallschatzung zwei Stichprobenfunktionen,
Gu = gu{Xu..., Xn)
und
Go = go{Xi,...,
Xn),
fiir die untere bzw. die obere Intervallgrenze.
(1 — a)>Konfidenzintervall
Zu vorgegebener Irrtumswahrscheinlichkeit a liefern die aus den Stichprobenvariablen X i , . . . , Xn gebildeten Schatzstatistiken Gu = 9u{Xi,..., ein (1 — a)-Konfidenzintervall
Xn) und Go = g{Xi,...,
Xn)
(Vertrauensintervall), wenn gilt
P{Gu
Xn), go = go{xi,...,
Xn).
Sind sowohl Gu als auch Go Statistiken mit echter Variabilitat, erhalt man damit zweiseitiges ein zweiseitiges Konfidenzintervall^ d.h. eine Intervallschatzung [guigo] mit i.a. nichKonfidenzinter- tentarteten Grenzen gu ^ —00,^0 7^ 00. Wir werden uns im folgenden auf den Fall vall symmetrischer Konfidenzintervalle beschranken. Bei symmetrischen Konfidenzintervallen ist nach Konstruktion die Wahrscheinlichkeit, dafi 6 iiber der oberen Grenze liegt dieselbe, wie die Wahrscheinlichkeit, dafi 6 unter der unteren Grenze liegt. Wenn man die Abweichung der Schatzung vom wahren Wert nur in eine Richtung
9.4 Intervallschatzung
387
kontrollieren will, gibt es die Moglichkeit eine der Grenzen prinzipiell durch bzw. oo festzusetzen. Daraus ergeben sich einseitige Konfidenzintervalle,
-(X)
Einseitige ( 1 — a)-Konfidenzintervalle
Setzt man prinzipiell G^ = — oc (fiir alle Werte X i , . . . , X n ) erhalt man ein einseitiges Konfidenzintervall P{e
Das Problem einseitiger Konfidenzintervalle stellt sich, wenn nur Abweichungen in eine Richtung Konsequenzen haben. Benotigt man beispielsweise fiir das Bestehen einer Klausur eine bestimmte Punktzahl und will seine Leistungsfahigkeit aus der Bearbeitung von Probeklausuren (den Stichprobenvariablen) ableiten, dann gilt das Interesse einem einseitigen Konfidenzintervall der Form [^u,oo]. Man will nur absichern, dafi eine bestimmte Punktzahl iiberschritten wird, die Abweichung nach oben ist uninteressant, wenn nur das Bestehen oder Nichtbestehen von Relevanz ist. Prinzipiell ist zur Interpretation von Konfidenzintervallen festzuhalten: Die Intervallgrenzen sind Zufallsvariablen. Die Schatzung von Konfidenzintervallen ist so konstruiert, dafi mit der Wahrscheinhchkeit 1 — a das Inter vail [Gw, Go] den wahren Wert 6 iiberdeckt. Das ist jedoch eine Eigenschaft des Schdtzverfahrens^ d.h. 1 — a ist die Wahrscheinhchkeit, mit der das Verfahren zu Konfidenzintervallen fiihrt, die den wahren Wert enthalten. Fiir das realisierte Konfidenzintervall [gui9o] niit den Realisationen gui9o lafit sich daraus nicht schhefien, dafi 0 mit der Wahrscheinhchkeit 1 — a darin enthalten ist. In einem konkreten Konfidenzintervall ist 9 enthalten oder nicht. Es lafit sich nur aussagen, dafi das Verfahren so konstruiert ist, dafi in (1 — a) • 100% der Falle, in denen Konfidenzintervalle geschatzt werden, die resultierenden Intervalle den wahren Wert enthalten. 9.4.1
Konfidenzintervalle fiir Erwartungswert und Varianz
Generell seien im folgenden X i , . . . , X^ unabhangige Wiederholungen einer N{iji, cr^)-verteilten Zufallsvariablen. Gesucht ist eine Konfidenzintervall-Schatzung fiir den unbekannten Erwartungswert /x.
Hdufigkeitsinterpretation
388
9.
Parameterschatzung
1 . Fall: a^ bekannt
Ausgangspunkt bei der Bestimmung des Konfidenzintervalls ist ein Punktschatzer fiir den unbekannten Erwartungswert /i. Ein Schatzer, der sich anbietet, ist das arithmetische Mittel X, das normalverteilt ist gemafi A/'(//, cr^/n). X lafit sich standardisieren, so dafi gilt
X-fi
iV(0,l).
Man hat damit eine Statistik, - die den unbekannten Parameter \x enthalt (a ist bekannt), - deren Verteilung man kennt. Dariiber hinaus ist diese Verteilung nicht von /i abhangig. Fiir diese Statistik lafit sich unmittelbar ein zweiseitig beschrankter Bereich angeben, in dem sie mit der Wahrscheinlichkeit 1 — a liegt. Es gilt
wobei Zi_a/2 das (1 — Q;/2)-Quantil der bekannten Standardnormalverteilung bezeichnet. Ein Konfidenzintervall erhalt man daraus durch einfaches Umformen der Ungleichungen innerhalb der Klammern. Man erhalt
1 - a = P f -2l_a/2 <
^P{X-
Z,_^/,^
^
V^ < ^l-a/2 j
< /X < X + ^ l - a / 2 ^ ) .
In der letzten Form sind die Bedingungen fiir ein (1 — a)-Konfidenzintervall erfiillt, das sich damit ergibt durch
Die Breite dieses Konfidenzintervalls ist gegeben durch a Das heifit, neben a hangt die Breite vom Stichprobenumfang n und der Irrtumswahrscheinlichkeit a ab. Genauer kann man festhalten:
9.4
389
Intervallschatzung
• Die Breite des Konfidenzintervalls nimmt mit zunehmendem Stichprobenumfang n so ab, dafi BKI -^ 0 fiirn -^ OO. Die wachsende Schatzgenauigkeit driickt sich in kleineren Konfidenzintervallen aus. • Die Breite des Konfidenzintervalls nimmt mit wachsender Sicherheitswatirscheinlichkeit 1—a (abnehmender Irrtumswahrscheinlichkeit a) zu. Fiir 1—a —» 1, also a ^ 0 ergibt sich BKI —^ oo, das 100 %-Konfidenzintervall ist unendlich grofi. Die Abhangigkeit von a und n bietet mehrere Moglichkeiten der Steuerung. Will man beispielsweise zu fester Irrtumswahrscheinlichkeit a Konfidenzintervalle bestimmter Maximalbreite haben, lafit sich der Stichprobenumfang entsprechend anpassen durch n > {2zi_(^/2^)'^/bKl' Aus der standardisierten Zufallsvariable {X — ij)/{a/y/n) lassen sich in analoger Art und Weise einseitige Konfidenzintervalle ableiten. Man erhalt
V
V^
und damit das einseitige Konfidenzintervall X — Zi-c
y/n'
oo
Die Begrenzung nach oben ergibt das einseitige Konfidenzintervall -oo, X + Zi-a—F^ 2. Fall: cr^ unbekannt
Die wesentliche Voraussetzung bei der Konstruktion der obigen Konfidenzintervalle war die Existenz einer Zufallsvariable, die den wahren Parameter enthalt, deren Verteilung bekannt ist und deren Verteilung nicht von dem unbekannten Parameter abhangt. Eine derartige Variable heifit Pivot-Variable und ist fiir den Fall, dai3 cr^ unbekannt ist, gegeben durch {X — ii)/{S/y/n)^ wobei a durch die Schatzung 5= \/Et(^i-^)^/('^-i) ersetzt wird. Diese Variable besitzt eine t-Verteilung mit n — 1 Freiheitsgraden (zur t-Verteilung vgl. Abschnitt 6.3), d.h. es gilt X-/i
y/n ~ t{n — 1).
Maximalbreite von Konfidenzintervallen
9.
390
Parameterschatzung
Fiir diese Variable lafit sich wiederum ein Bereich angeben, der mit der Wahrscheinlichkeit 1 — a angenommen wird. Es gilt P (-ti-a/2{n
- 1) < ^ ^
V^ < h-a/2(n
- 1) j = 1 - a,
wobei ti_c,/2{'n — 1) nun das (1 — a/2)-Quantil der t-Verteilung mit n — 1 Freiheitsgraden darstellt. Die Umformung in voUiger Analogic zum Fall fiir bekanntes a^ fiihrt zum zweiseitigen Konfidenzintervall X-t
i-a/2i^ - l)-7=, X + ti_^/2{n - l)-j=
Die Breite dieses Konfidenzintervalls ist bestimmt durch S S bKi = 2ti_^/2(n - l)-y= = 2ti_^/2(n - 1)—F=. ' y/n y/n
(1 — a)-Konficlenzintervalle fiir /x bei normalverteiltem Merkmal Wenn a^ bekannt ist, erhalt man
Vn
' yjn_
5
wenn cr^ unbekannt ist, ergibt sich S
yjn_
yJTl
^^s=l^,UXi-x)\ Zu bemerken ist, dai3 fiir beliebig verteiltes Merkmal aber groiJen Stichprobenumfang (n > 30) wegen der approximativen Normalverteilung L
yn
^ ^yn]
ein approximatives Konfidenzintervall darstellt, wenn a bekannt ist, und 5
,-.
S
X ~ ^\-OL / 2 ~7=? ^ + ^1-Q:/2'~7=
9.4 Intervallschatzung
391
ein approximatives Konfidenzintervall ist, wenn a unbekannt ist.
(1 — a)-Konfidenzintervall fiir fx bei beliebiger Verteilung ( n > 30)
Wenn a^ bekannt ist, stellt X - ^l-a/2-7=5 X + ^l_a/2—;=
wenn a'^ unbekannt ist, stellt X - '2^1-a/2—7=5 - ^ + ^l-a/2—7=
vn / vn ein approximatives Konfidenzintervall fiir /i dar.
Ein Konfidenzintervall fiir a^ bei normalverteilter Grundgesamtheit lafit sich konstruieren aus der Verteilung von 5^. Es gilt, dafi eine "normierte" Version von 5^, namlich ^ ^ 5 ^ , eine x^-Verteilung mit n — 1 Preiheitsgraden besitzt, d.h. n-1
S'^x\n-1),
Daraus erhalt man mit V 2 = Xa/2(^-l)' dem (a/2)-Quantil der x^(^ — 1)-Verteilung und ^l-a/2 = X ? _ a / 2 ( ^ - l ) dem (1 - a/2)-Quantil der x^{^ — 1)-Verteilung l - a = P Ua/2 < ^ ^ ^ 5 2 < gi_^/2 j = p
^a/2
^
1 ^
< -^ <
gl-a/2
\
( n - l ) 5 2 - a2 {n-l)S^J _p^\n-l)S' ^^,^{n-l)S' Ql~a/2
Qct/2
Daraus ergibt sich das zweiseitige Konfidenzintervall:
392
9. Parameterschatzung
(1 — a)-Konfidenzlntervall fur cr^ bei normalverteiltem Merkmal
Das zweiseitige Konfidenzintervall ist bestimmt durch die Grenzen '(n-l)52
(n-l)52'
Ql-a/2
9.4.2
Qa/2
Konfidenzintervalle fur den Anteilswert
In einer dichotomen Grundgesamtheit interessiert man sich fiir den Anteilswert bzw. die Auftretenswahrscheinlichkeit n = P{X = l), wobei X ein dichotomes Merkmal mit den Auspragungen 0 oder 1 ist. Fiir n unabhangige Wiederholungen ist die Summe Yli ^i binomialverteilt mit n 1=1
Der zentrale Grenzwertsatz (vgl. Abschnitt 7.1) besagt, dal3 die normierte Version X = Y^^Xi/n fiir groiSen Stichprobenumfang approximativ normalverteilt ist, d.h. dafi annahernd gilt
VVaHX) Wegen E{X) = n und Var{X) = 7r(l — 7r)/n gilt damit approximativ X-w i/7r(l - 7r)/n
N{0,1).
Approximiert man nun noch den Nenner, indem man n durch die relative Haufigkeit n = X ersetzt, ergibt sich zu vorgegebenem a l - a ^ P l
-Z^_a/2
<
y...
...
n
<
^l-a/2
' \
n
9.5 Zusammenfassung und Bemerkungen
393
(1 — a)-Konfidenzintervall fiir den Anteilswert ir
In dichotomen Grundgesamtheiten ist fiir grofien Stichprobenumfang (n > 30) ein approximatives Konfidenzintervall gegeben durch 7r(l —
TT)
^
/7r(l —
n
TT)
n
wobei TT = X die relative Haufigkeit bezeichnet.
Beispiel 9.10
Sonntagsfrage
Von den 435 zur Praferenz von Parteien befragten Mannern aufierten 144 eine Praferenz fiir die CDU/CSU. Unter den 496 befragten Frauen waren es 200, die eine Praferenz fiir die CDU/CSU zeigten (vgl. Beispiel 3.12, Seite 126). Legt man eine Sicherheitswahrscheinlichkeit von 1 — a = 0.95 zugrunde, erhalt man zi_ci/2 = 1-96. Fiir Manner ergibt sich TT ± ^l-a/2\/ -^
= 0.331
± 1.96
0.331 • 0.669 435
= 0.331 ± 0.044 und damit das approximative 0.95-Konfidenzintervall [0.287, 0.375]. Fiir Frauen erhalt man /7r(l-7r)
TT ± zi_^i2\i—
= 0.403
± 1.96
0.403 • 0.597 496
= 0.403 ± 0.043 und daraus das approximative 0.95-Konfidenzintervall [0.360, 0.446].
9.5
D
Zusammenfassung und Bemerkungen
Schatzverfahren lassen sich unterteilen in Verfahren der Punktschatzung und der Intervallschatzung. Punktschdtzer stellen eine Regel dar, den Ergebnissen einer Zufallsstichprobe einen Schatzwert zuzuordnen, der moglichst nahe an dem wahren Parameterwert Hegt. Wie gut diese Regel ist, lafit sich an den Eigenschaften der Schatzfunktion ablesen. Eine wiinschenswerte Eigenschaft ist die Erwartungstreue, da erwartungstreue Schatzstatistiken unverzerrt sind, d.h. die Parameter werden weder systematisch iiber- noch unterschatzt. AUerdings besagt Erwartungstreue allein
9. Parameterschatzung
394
noch nicht, dafi das Verfahren wirklich gut ist, da damit nichts liber die Streuung der Schatzung ausgesagt wird. Ein Kriterium, das sowohl die Variabilitat als auch die Verzerrung des Schatzers einbezieht, ist die erwartete mittlere quadratische Abweichung (MSE). Konsistenz^ d.h. die Tendenz zum richtigen Wert bei wachsendem Stichprobenumfang, lafit sich am Verschwinden dieser mittleren quadratischen Abweichung festmachen. Man fordert, dafi fiir wachsenden Stichprobenumfang MSE —» 0 gilt, Wirksamkeit als Vergleichskriterium fiir Schatzstatistiken bei endlichen Stichproben beruht auf dem Vergleich der erwarteten mittleren quadratischen Abweichung. Bei erwartungstreuen Statistiken reduziert sich dieser Vergleich auf die Betrachtung der Varianzen von Schatzstatistiken. Intervallschdtzung beriicksichtigt die Unsicherheit der Schatzung dadurch, dafi ein Intervall konstruiert wird, das mit vorgegebener Sicherheitswahrscheinlichkeit den wahren Parameter iiberdeckt. Die Breite des Intervalls hangt vom Stichprobenumfang, von der Sicherheitswahrscheinlichkeit und vom Vorwissen iiber den Verteilungstyp ab. Bei der Konstruktion von Punktschatzern wurde vorwiegend das Maximum Likelihood-Prinzip betrachtet. Alternativen dazu, wie die Moment en-Methode oder Bayes-Schdtzer^ werden in Rohatgi und Saleh (2000) ausfiihrlich dargestellt. Eine Einfiihrung in robuste Schatzverfahren, die unempfindlich sind gegeniiber einzelnen extremen Beobachtungen, sogenannten Ausreifiern, findet sich beispielsweise in Schlittgen (1996). Dort werden auch generelle Methoden zur Konstruktion von Intervallschatzern dargestellt. Weitere vertiefende Biicher sind Riiger (1996) und das Ubungsbuch von Hartung und Heine (1996).
9.6 Aufgabe 9.1
Aufgaben
Die Suchzeiten von n Projektteams, die in verschiedenen Unternehmen dasselbe Problem losen soUen, konnen als unabhangig und identisch exponentialverteilt angenommen werden. Aufgrund der vorliegenden Daten soil nun der Parameter A der Exponentialverteilung mit der Maximum Likelihood-Methode geschatzt werden. Es ergab sich eine durchschnittliche Suchzeit von ^ = 98. Man stelle die Likelihoodfunktion auf, bestimme die ML-Schatzfunktion fiir A und berechne den ML-Schatzwert fiir A.
Aufgabe 9.2
Die durch die Werbeblocke erzielten taglichen Werbeeinnahmen eines Fernsehsenders konnen als unabhangige und normalverteilte Zufallsvariablen angesehen werden, deren Erwartungswert davon abhangt, ob ein Werktag vorliegt oder nicht.
9.6 Aufgaben
395
Fur die weitere Auswertung wurden folgende Statistiken berechnet (alle Angaben in € ) : Werktage (Mo-Fr): (n = 36) Wochenende (Sa-So): (n = 25)
x = U5 500 x = 375 500
s = 32 700 5 = 52 700
Man gebe jeweils ein Schatzverfahren zur Berechnung von 0.99-Konfidenzintervallen fiir die wahren taglichen Werbeeinnahmen an Werktagen bzw. Wochenenden an, und berechne die zugehorigen Schatzungen. Eine Grundgesamtheit besitze den Mittelwert // und die Varianz a^. Die Stichprobenvariablen X i , . . . , X5 seien unabhangige Ziehungen aus dieser Grundgesamtheit. Man betrachtet als Schatzfunktionen fiir /i die Stichprobenfunktionen
Aufgabe 9.3
T i = X = - ( X i + X 2 + ...-fX5), T2 = i ( X i + X 2 + X 3 ) , T3 = ^ ( X i + X 2 + X 3 + X 4 ) 4-^X5, T4 = Xi + X2,
n=Xi. (a) Welche Schatzfunktionen sind erwartungstreu fiir //? (b) Welche Schatzfunktion ist die wirksamste, wenn alle Verteilungen mit existierender Varianz zur Konkurrenz zugelassen werden? Aus einer dichotomen Grundgesamtheit seien X i , . . . , Xn unabhangige Wiederholungen der dichotomen Zufallsvariable X mit P{X = 1) = TT, P{X = 0) = 1—TT. Bezeichne n = X^^^i Xi/n die relative Haufigkeit. (a) Man bestimme die erwartete mittlere quadratische Abweichung (MSE) fiir TT G {0,0.25, 0.5,0.75,1} und zeichne den Verlauf von MSE in Abhangigkeit von TT. (b) Als alternative Schatzfunktion betrachtet man -7r+
^
Aufgabe 9.4
^0.5
Man bestimme den Erwartungswert und die Varianz dieser Schatzfunktion und skizziere die erwartete mittlere quadratische Abweichung. Bei der Analyse der Dauer von Arbeitslosigkeit in Beispiel 3.3, Seite 111 wurde der Zusammenhang zwischen Ausbildungsniveau und Dauer der Arbeitslosigkeit untersucht. Unter den 123 Arbeitslosen ohne Ausbildung waren 86 Kurzzeit-, 19 mittelfristige und 18 Langzeitarbeitslose.
Aufgabe 9.5
396
9. Parameterschatzung
Man schatze die Wahrscheinlichkeit, dai3 ein Arbeitsloser kurzzeitig, mittelfristig oder langfristig arbeitslos ist und gebe fiir jede der Schatzungen ein 95%- und 99%Konfidenzintervall an. Wieviel grofier miiCte der Stichprobenumfang sein, um die Lange der Konfidenzintervalle zu halbieren? Aufgabe 9.6
Zeigen Sie, dafi fiir die empirische Varianz 5^ gilt: n
10 Testen von Hypothesen
Neben dem Schatzen von Parametern theoretischer Verteilungen ist es oft von zentralem Interesse zu uberpriifen, ob bestimmte Vermutungen liber einen Parameter Oder eine Verteilung in der Grundgesamtheit zutreffen oder nicht. So konnte ein Forscher bereits eine gewisse Vorstellung iiber den Anteil geschadigter Baume in einer Waldregion oder iiber die Starke eines Zusammenhangs oder iiber die Wirksamkeit eines Medikaments haben. Diese Vermutung, z.B. dai3 der Anteil geschadigter Baume iiber 50% betragt, kann in der Regel nicht anhand der Grundgesamtheit gepriift werden. Zwar wird die Vermutung hinsichtUch des Verhaltens des interessierenden Merkmals in der Grundgesamtheit aufgestellt, iiberpriift wird sie aber wieder auf Stichprobenbasis. Die Uberpriifung solcher Annahmen iiber das Verhalten des Untersuchungsmerkmals in der Grundgesamtheit fallt unter den Begriff des statistischen Testens. Die Regeln, die zur Uberpriifung eingesetzt werden, heil3en entsprechend statistische Tests. Damit statistische Tests zur Beantwortung solcher Fragestellungen eingesetzt werden konnen, miissen die entsprechenden Vermutungen nicht nur operationalisiert, sondern auch als statistisches Testproblem formuliert werden. In diesem Kapitel werden nun sowohl erste konkrete Verfahren vorgestellt als auch die Prinzipien des statistischen Testens diskutiert. Da statistische Tests jedoch von der interessierenden Pragestellung, dem Skalenniveau und anderen Kriterien abhangen, gibt es eine Vielzahl von diesen Priifregeln. Diese werden problemadaquat in den nachfolgenden Kapiteln eingefiihrt.
10.1
Der Binomial- und der GauB-Test
Statistische Tests spielen in den verschiedensten Bereichen eine grofie RoUe. Man kann sogar sagen, dafi diese nahezu stets eingesetzt werden, wenn Daten anfallen - sei es in der taglichen Praxis oder in geplanten empirischen Forschungsvorhaben. Bevor wir im folgenden auf drei konkrete Testvorschriften naher eingehen, soUen die
statistisches lesten
398
10. Tester) von Hypothesen
nachstehenden Beispiele die Idee und die Verwendung statistischer Tests verdeutlichen. Beispiel 10.1
Attrihutenpriifung
Ausschufianteil
statistischer Test Fehlentscheidungen
Qualitatsprufung (Gut-Schlecht) In Produktionsfirmen wird vor der Auslieferung einer bestimmten Warenpartie deren Qualitat auf Stichprobenbasis kontroUiert. Dazu werden statistische Methoden eingesetzt und zwar zunachst geeignete Verfahren zur Stichprobenziehung und anschliefiend statistische Tests zur Auswertung der erhobenen Daten. Haufig findet dabei lediglich eine sogenannte "Gut-Schlecht-" oder auch Attributenprufung statt. Das heifit, dafi bei jedem produzierten Stiick nur festgehalten wird, ob es den Qualitatsstandards geniigt ("gut") oder nicht ("schlecht"). Ein schlechtes Stiick wird als Ausschufi bezeichnet. Gezahlt werden schliefilich die schlechten Stiicke. Diese Anzahl kann als binomialverteilt mit Erfolgswahrscheinlichkeit TT angesehen werden, wobei diese dem Ausschufianteil TT in der Grundgesamtheit entspricht. Bei diesem wichtigen Teilgebiet der Statistik, der statistischen Qualitatskontrolle bzw. sicherung, geht es haufig darum zu garantieren, daC der Ausschufianteil in einer Lieferung unter einer bestimmten Grenze liegt. So konnte ein Vertrag zwischen Produzent und Kunde vereinfacht lauten, dafi der Kunde die Lieferung akzeptiert, sofern der Ausschufianteil mit einer bestimmten Wahrscheinlichkeit unter 10% liegt. Natiirlich ist es i.a. aus Kosten und Zeitgriinden, aber auch insbesondere im Fall einer zerstorenden Priifung nicht moglich, samtliche Teile einer Lieferung hinsichtlich ihrer Qualitat zu iiberpriifen. Man zieht, wie bereits oben beschrieben, stattdessen eine Stichprobe und zahlt die Ausschufistiicke in dieser Stichprobe. Nehmen wir der Einfachheit halber an, die Stichprobe ware vom Umfang n = 1000 Stiick und in dieser Stichprobe befanden sich 102 Ausschufistiicke. Damit ergabe sich als Schatzer fiir den wahren, aber unbekannten Ausschufianteil TT in dieser Lieferung TT = j ^ =0.102, also 10.2%. Sicherlich liefie sich jetzt leicht argumentieren, dafi dieser Wert so wenig grofier ist als 10 %, dafi die Lieferung vom Kunden akzeptiert werden mufi, aber welcher Ausschufianteil hatte sich bei einer anderen Stichprobe ergeben? Anders formuUert stellt sich die Frage, ob der Unterschied von 10.2 % zu 10 % gering genug ist, um daraus schliefien zu konnen, dafi der tatsachhche Ausschufianteil sogar kleiner ist als 10 %? Oder ist der beobachtete Unterschied rein zufallig bedingt und eine andere Zufallsstichprobe hatte vielleicht sogar zu einem geschatzten Anteilswert gefiihrt, der wesentlich iiber der Grenze D von 10 % Uegt? Zur Beantworung dieser Fragen benotigt man ein objektives Entscheidungskriterium. Dieses ist gerade in einem statistischen Test gegeben. AUerdings kann auch ein statistischer Test zu einem falschen Ergebnis, d.h. zu Fehlentscheidungen gelangen. Letztendlich basiert seine Entscheidung nur auf der gezogenen Stichprobe, auch wenn ein Test, wie wir noch sehen werden, zusatzliche Information iiber die Verteilung des Merkmals in der Grundgesamtheit nutzt. Damit ist es also in unserem obigen Beispiel moglich, dafi der statistische Test aufgrund der Stichprobe zu der Entscheidung kommt, dafi der wahre Ausschufianteil kleiner ist als 10 %, obwohl dieser tatsachlich dariiber liegt. Aber auch der umgekehrte Fall kann eintreten, d.h. der statistische Test entscheidet, dafi der wahre Ausschufianteil nicht unterhalb der 10%-Grenze liegt, obwohl in der gesamten Lieferung dieser die 10%-Grenze nicht iiberschreitet.
10.1
Der Binomial- und der GauB-Test
399
Solche Fehlentscheidungen konnen nicht ausgeschlossen werden. Man wird aber versuchen, einen statistischen Test so zu konstruieren, dafi die Wahrscheinlichkeiten fiir solche Fehlentscheidungen moglichst gering sind. Beispiel 10.2
Kontrollkarten In dem obigen Beispiel haben wir den Fall betrachtet, dafi am Ende des Produktionsprozesses vor der Auslieferung eine WarenausgangskontroUe vorgenommen wird. Natiirlich finden auch wahrend des laufenden Prozesses QualitatskontroUen statt. Ein haufig eingesetztes Mittel sind in diesem Zusammenhang Kontrollkarten. Bei der abgebildeten Regelkarte, die uns freundlicherweise von der Firma BMW zur Verfiigung gestellt wurde, handelt es sich um eine sogenannte kombinierte x/i?-Karte (siehe Abb. 10.1).
ABBILDUNG
Kontrollkarten
10.1: Beispiel fiir eine x/R-Kaite
Dazu wird auf der horizontalen Achse dieser Karte die Zeit abgetragen. Auf der vertikalen Achse tragt man den SoUwert ab, den beispielsweise die Lange eines bestimmten Werkstiicks einhalten soil. Zudem werden zwei zur Zeit achse par allele Linien eingezeichnet, die im selben Abstand unter- und oberhalb des Sollwerts liegen. Diese markieren i.a. die Kontrollgrenzen. Zu bestimmten Zeitpunkten wird nun der laufenden Produktion jeweils eine Anzahl n von Werkstiicken entnommen, deren Lange gemessen und daraus das arithmetische Mittel berechnet. Dieses tragt man dann in die x-Karte ein. Solange die Werte von x innerhalb der Kontrollgrenzen Hegen, spricht man davon, dafi der Prozefi unter statistischer Kontrolle
SoUwert Kontrollgrenzen
statistische Kontrolle
400
10. Testen von Hypothesen
ist. Man spricht dabei von einer statistischen KontroUe, well die Grenzen mit Hilfe statistischer Uberlegungen, genauer auf der Basis statistischer Tests, ermittelt werden. Man geht zunachst davon aus, dafi das interessierende Merkmal wie etwa die Lange des Werkstiicks normalverteilt ist, wobei der Erwartungswert mit dem SoUwert iibereinstimmt, solange der ProzeCverlauf unter KontroUe ist. Die Varianz wird aufgrund zahlreicher Vorlaufe als bekannt vorausgesetzt. Die Grenzen werden nun unter der Annahme ermittelt, der Sollwert wiirde eingehalten und beobachtete Abweichungen davon waren nur zufallig bedingt. Unter dieser Annahme soil die Wahrscheinlichkeit daflir, dafi x sich gerade in diesem Bereich realisiert, 0.99 betragen. Da Schwankungen in diesem Bereich also als zufallsbedingt angesehen werden, wird erst in den laufenden Prozefi zwecks Reparatur- oder Adjustierungsmafinahmen an der Maschine eingegriffen, wenn x aufierhalb dieser Schranken liegt. Man geht dann davon aus, dafi eine so grofie Abweichung vom Sollwert nur noch mit einer extrem kleinen Wahrscheinlichkeit auftreten kann, wenn der Prozefi unter KontroUe ist. Das heifit, dafi eine solche Abweichung eher ein Indiz dafiir ist, dafi der Sollwert eben nicht mehr eingehalten wird. D Das folgende liberschaubare Beispiel soil nun dazu dienen, die Grundidee statistischer Tests zu verdeutlichen. Beispiel 10.3
Madchen- und Jungengeburten Es wird oft die Vermutung geaufiert, dafi mehr Jungen als Madchen geboren werden, dafi also der Anteil der Jungengeburten an den Geburten insgesamt liber 50% liegt. Eine Gegenaussage besagt, dafi es genauso viele Jungen- wie Madchengeburten gibt. Die oben geaufierte Vermutung lafit sich empirisch uberpriifen. Man wahle etwa ein Krankenhaus zufallig aus und zahle die Madchen und Jungen, die innerhalb von 24 Stunden in diesem Krankenhaus geboren werden. Dieser Versuchsplan ist selbstverstandlich nicht geeignet, um das Problem umfassend zu losen, aber zu illustrativen Zwecken ist es ausreichend, sich ein solches Vorgehen vorzustellen. Nehmen wir weiter an, es waren zehn Kinder geboren worden. Wenn die Gegenaussage zutrifft, dafi der Anteil der Jungengeburten 50 % betragt, erwarten wir also unter den zehn Kindern fiinf Madchen und fiinf Jungen. Ist dieser Fall eingetreten, so fallt die Entscheidung auch ohne Durchfiihrung eines statistischen Tests leicht, dafi die Stichprobe darauf hindeutet, dafi der Anteil der Jungengeburten 50 % betragt. Sind nun aber sechs Jungen geboren und vier Madchen, liegt es immer noch nahe anzunehmen, dafi ein solches Ergebnis auch moglich ware, wenn der Anteil der Jungen an der Gesamtheit aller Geburten 50 % betragt. Bei einem Verhaltnis von sieben zu drei wird man schon etwas verunsichert, ob sich diese Abweichung von dem Verhaltnis fiinf zu fiinf noch mit zufalligen Schwankungen bedingt durch die Stichprobe erklaren lafit. Man kann dieses Abwagen bis zum Extremfall von zehn Jungengeburten im Verhaltnis zu keiner Madchengeburt weiter durchgehen. Die Unsicherheit wird dabei wachsen, dafi solche extremen Ergebnisse noch moglich sind, wenn tatsachUch die Anzahlen iibereinstimmen. Solche extremen Ergebnisse sind aber auch dann moglich, wenn die tatsachliche Wahrscheinlichkeit fiir Madchen- oder Jungengeburten gleich ist. Aller dings treten sie nur mit einer sehr kleinen Wahrscheinlichkeit ein. Da diese WahrscheinUchkeit so klein ist, sind wir eher geneigt anzunehmen, dafi extreme Ergebnisse dafiir sprechen, dafi in der Gesamtheit mehr Jungen als Madchen geboren werden. D
10.1
401
Der Binomial- und der GauB-Test
10.1.1
Der exakte Binomialtest
Die in Beispiel 10.3 beschriebene Situation ist vom selben Typ wie in Beispiel 10.1 (Seite 398). In beiden Fallen beobachten wir ein dichotomes Merkmal und zahlen, wie oft das interessierende Ereignis eintritt. Um das Vorgehen zu formalisieren, fiihren wir die folgende Bezeichnung ein (vgl. Beispiel 5.13): Xi =
1 falls A eintritt 0 falls A eintritt.
In Beispiel 10.1 (Seite 398) werden die schlechten Werkstiicke gezahlt. Das interessierende Ereignis A in Beispiel 10.3 entspricht gerade einer Jungengeburt. Die Wahrscheinlichkeit fiir das Ereignis {Xi = 1} sei auch hier mit TT bezeichnet. Die Aussage, dafi Jungen- und Madchengeburten gleich haufig auftreten, lafit sich also auch als Aussage iiber n und zwar als TT — 0.5 formulieren. Dementsprechend lafit sich die Vermutung, dafi mehr Jungen geboren werden, als n > 0.5 beschreiben. Zu Beginn dieses Kapitels wurde bereits erwahnt, dafi zur Durchfiihrung statistischer Tests die inhaltliche Fragestellung als statistisches Testproblem aufgefafit wird. Dabei wird die interessierende Forschungshypothese als statistische Alternativhypothese (kurz: Alternative) iiber den entsprechenden Parameter formuliert. Diese mufi sich gegen die Nullhypothese (kurz: Hypothese) durchsetzen. In Beispiel 10.3 auf der gegeniiberliegenden Seite beschreibt die Vermutung, dafi Jungengeburten haufiger auftreten als Madchengeburten, die Alternative i^i, die sich formal angeben lafit als
statistisches Testproblem Alternative Nullhypothese
i7i : 7 r > 0 . 5 , wahrend die Nullhypothese HQ die Gleichheit der Anteile widerspiegelt, also i^o :7r=:0.5. Will man nun, wie in obigen Beispielen beschrieben, auf empirischem Wege die iiber TT geaufierte Vermutung bestatigen oder widerlegen, zieht man eine Stichprobe X i , . . . , Xn, also beispielsweise n = 10 Geburten, und zahlt, wie oft das interessierende Ereignis eingetreten ist. Das heifit, dafi auch beim statistischen Testen analog zum Schatzen die Information aus der Stichprobe verdichtet werden mufi. Man nennt diese zusammenfassende Grofie im Rahmen statistischer Tests Priifgrofie oder auch Teststatistik. In der obigen Situation bietet sich also die Anzahl
X = 22^i 2=1
bzw. der Anteil
X =
- } X i n
i=l
als Priifgrofie an. Anhand dieser Priifgrofie entscheidet man iiber die Ablehnung der Nullhypothese zugunsten der Alternative, in unserem Beispiel also dariiber, ob
Priifgrofie Teststatistik
10. Testen von Hypothesen
402
der Anteil der Jungengeburten grofier ist als der der Madchengeburten. Fiir die Alternative Hi spricht, wenn X zu "grofi" wird, also X>c fiir einen geeigneten "kritischen Wert" c. Dabei tritt gerade die oben beschriebene Frage auf, wie grofi c zu wahlen ist.
Aussagen ilher die Grundgesamtheit
Es soil hier noch einmal betont werden, dal3 es bei einem statistischen Test darum geht zu entscheiden, ob das fiir die gezogene Stichprobe beobachtete Verhalten auch fiir die Grundgesamtheit, also beispielsweise fiir die Gesamtheit aller Geburten gilt. Hypothese und Alternative sind daher immer Aussagen ilher die Grundgesamtheit und nicht iiber die Stichprobe. In vielen Fallen ist es fiir die obige Situation gerechtfertigt anzunehmen, dafi die Ziehungen unabhangig voneinander erfolgen und somit die Anzahl X = Y^^=i ^i binomialverteilt ist mit Parametern n und n (vgl. Abschnitt 5.3.1). An dieser Fomulierung wird noch einmal deutlich, dafi das Ergebnis dieser Stichprobe selbst wieder eine Zufallsvariable ist, von der aber die Verteilung unter der NuUhypothese bekannt ist. Im Beispiel ist X demnach binomialverteilt mit Parametern 10 und 0.5, d.h. mit der Symbolik aus Abschnitt 5.3.1 gilt also X-5(10,0.5). Mit diesen Modellannahmen ist es moghch zu berechnen, wie wahrscheinlich das Auftreten von keiner, einer bis hin zu zehn Jungengeburten ist. Aus der Binomialverteilungstabelle mit n = 10, TT = 0.5 konnen wir diese Wahrscheinlichkeiten ablesen. Sie sind in Tabelle 10.1 zusammengefafit. X
P{X = x)
0 0.001
1 0.01
2 0.044
3 0.117
4 0.205
5 0.246
TABELLE 10.1: Wahrscheinlichkeitsfunktion einer JB( 10,0.5)-Verteilung
Da die Verteilung symmetrisch ist um ihren Erwartungswert, der sich unter der NuUhypothese ergibt als E{X) = 10 • 0.5 = 5, ist es ausreichend, die angegebenen Werte wie in Tabelle 10.1 aufzulisten. Die Wahrscheinhchkeit P{X = 4) beispielsweise ist aufgrund der Symmetric identisch mit P{X = 6). Da die erwartete Anzahl von Jungengeburten unter der NuUhypothese der Gleichwahrscheinlichkeit von Jungen- und Madchengeburten fiinf betragt, sprechen also Anzahlen grofier fiinf fiir die Alternative Hi'.n > 0.5. Die Frage, die jetzt noch zu klaren ist, lautet: Wie grofi miissen die Werte sein, dafi es extrem unwahrscheinlich ist, dafi sie noch unter HQ zustande gekommen sind? Zur Beantwortung dieser
10.1
Der Binomial- und der GauB-Test
403
Frage gibt man sich zunachst vor, was man unter 'extrem unwahrscheinlich' verstehen will. Ubliche Werte dafiir sind 0.01, 0.05 oder auch 0.1. Diese Wahrscheinlichkeit bezeichnet man als Signifikanzniveau. Als Symbol fiir das Signifikanzniveau verwendet man a. Dann konstruiert man sich einen Bereich, auch Ablehnungsbereich oder kritischer Bereich genannt, der gerade die Beobachtungen des Zufallsexperiments umfafit, die in die Richtung der Alternative weisen und deren Wahrscheinlichkeit insgesamt kleiner oder gleich dem vorgegebenen Wert von z.B. 0.01 ist. Madchen- und Jungengeburten Sei zunachst die Wahrscheinlichkeit fiir den Ablehnungsbereich, also das Signifikanzniveau a, als 0.1 vorgegeben, d.h. dieser Bereich besteht aus alien Beobachtungen einer Binomialverteilung mit Parametern n = 10 und TT = 0.5, die • in die Richtung der Alternative zeigen, also grofier als fiinf sind, und • die unter HQ als Vereinigung mit einer Wahrscheinlichkeit von hochstens 0.1 eintreten. Da es um so naheliegender ist, von der Giiltigkeit der Alternative auszugehen, je mehr Jungen geboren werden, fiillt man nun sukzessive den Ablehnungsbereich beginnend mit X = 10 solange auf, bis der Bereich insgesamt unter HQ die Wahrscheinlichkeit 0.1 besitzt. Da PHO{X = 10) = 0.001 < 0.1, wobei die Schreibweise P//o bedeutet, dafi die Wahrscheinlichkeit fiir das Eintreten von A unter der Nullhypothese HQ ermittelt wird, kann die Zehn in den Ablehnungsbereich aufgenommen werden. Man betrachte nun im nachsten Schritt x = 9. Es gilt: PHO{X = 9) = 0.01 und damit Pi/o({9,10}) = 0.001 + 0.01 = 0.011 < 0.1, d.h. auch die Neun liegt noch im Ablehnungsbereich. Fiir x = S erhalten wir PHQ {X • :8) 0.044, also PHO ({8,9,10}) = 0.001 + 0.01 + 0.044 = 0.055 < 0.1. Damit kann auch die Acht in den Ablehnungsbereich genommen werden. Als nachstes untersuchen wir x = 7. Fiir PHO{X = 7) liest man aus Tabelle 10.1 auf der vorherigen Seite den Wert 0.117 ab. Dieser Wert allein ist schon grofier als 0.1 und somit PHO ({7,8,9,10}) = 0.055 + 0.117 = 0.172 erst recht. Die Sieben kann also nicht mehr in den Ablehnungsbereich gelangen, der sich damit als {8, 9,10} ergibt. Inhaltlich lafit sich dieses Ergebnis wie folgt interpretieren: Acht, neun oder zehn Jungengeburten konnen unter der Annahme, dafi Madchen- und Jungengeburten gleichwahrscheinlich sind, nur mit einer Wahrscheinlichkeit von hochstens 10 % eintreten. Diese Wahrscheinlichkeit sehen wir als so gering an, dafi wir bei mindestens acht Jungengeburten schliefien, dafi die Alternative gilt, also die Wahrscheinlichkeit fiir eine Jungengeburt grofier ist als 0.5. Man sagt dann auch: Die Nullhypothese kann zugunsten der Alternative verworfen werden. Sieben Jungengeburten waren im Gegensatz dazu unter der Nullhypothese mit einer so grofien Wahrscheinhchkeit (0.117) moghch, dafi ein solches Ergebnis nicht mehr fiir die Giiltigkeit der Alternative spricht. D
Signifikanzniveau Ablehnungsbereich
Beispiel 10.4
404
10. Testen von Hypothesen
Fiir den Fall, dafi das Testproblem Ho : 7T = 0.5
gegen
Hi : n < 0.5
lautet, geht man voUig analog vor, nur dafi nun kleine Werte fiir die Alternative sprechen. Man erhalt dementsprechend als Ablehnungsbereich die Menge {0,1,2}. Falls man lediglich wissen mochte, ob sich Madchen- und Jungengeburten in ihrer Haufigkeit unterscheiden, erhalt man als Testproblem Ho : TT = 0.5
gegen
Hi : TT j^ 0.5
In diesem Fall sprechen Werte, die in unserem Beispiel von fiinf verschieden sind, also sowohl kleine als auch grofie Werte fiir die Alternative. Will man fiir dieses Testproblem den Ablehnungsbereich bestimmen, so teilt man die Wahrscheinlichkeit, die man diesem Bereich maximal zuweisen mochte, gleichmafiig auf die Teilmengen der kleinen und der grofien Werte auf. Kommen wir wieder auf unser Beispiel zuriick, bedeutet das, man fafit am oberen und unteren Ende des Wertebereiches { 0 , 1 , . . . , 10} soviele Beobachtungen zusammen, bis die Wahrscheinlichkeit fiir deren Vereinigung jeweils 0.05 = ^ betragt. Es ergibt sich dann, wie man leicht nachrechnet, als Ablehnungsbereich die Menge {0,1} U {9,10}.
exakter Bmomialtest
Erarbeitet man sich die Ablehnungsbereiche im Fall eines Testproblems liber den Parameter TT einer Binomial vert eilung, wie oben durchgefiihrt, anhand der exakten Wahrscheinlichkeit der entsprechenden Binomialverteilung unter der NuUhypothese, so heifit der statistische Test, der auf dem so errechneten Ablehnungsbereich basiert, exakter Binomialtest. Man kann sich leicht vorstellen, dafi die Durchfiihrung des exakten Binomialtests, d.h. die Berechnung der dafiir erforderhchen Ablehnungsbereiche mit wachsendem Stichprobenumfang n sehr aufwendig wird. Wir werden daher im folgenden eine Moglichkeit vorstellen, den Ablehnungsbereich numerisch weniger aufwendig, wenn auch nur approximativ zu bestimmen.
10.1.2
Der approximative Binomialtest
Aus Abschnitt 5.3.1 ist bekannt, dafi sich die Binomialverteilung fiir grofies n durch die Normalverteilung approximieren lafit. Damit kann man also fiir grofies n den Ablehnungsbereich des exakten Binomialtests iiber die Normalverteilung annahern.
10.1
405
Der Binomial- und der GauB-Test
Man erhalt so den approximativen Binomialtest. Genauer gilt mit X = Y17=i ^^ B{n^ IT) fiir WK und n(l — TT) gro6 genug, dafi X ^ N{nn^ n7r(l — TT))
bzw.
Z =
X — nn y^n7r(l — TT)
N{0,1),
Zur Illustration dieses approximativen Vorgehens kommen wir auf Beispiel 10.1 (Seite 398) zuriick. Dort ist es von Interesse zu erfahren, ob der Aussctiufianteil n bei der Endabnahme grofier 0.1 ist. Dies lafit sich als Testproblem wie folgt formulieren: Ho : TV = 0.1
gegen
iJi : TT > 0.1.
Wie man sieht, wird der eigentlich interessierende Sachverhalt wieder als statistische Alternative formuliert. Da insgesamt n = 1000 Stiick in der zu liefernden Charge sind, konnen die Voraussetzungen zur Anwendung der Approximation als erfiillt angesehen werden. Damit ist also X-1000-0.1 VlOOO-0.1-0.9
X-100 x/90
N{0,1).
Zur Bestimmung des Ablehnungsbereichs des Tests, der auf dieser Prufgroi3e basiert, ist es hilfreich, die graphische Darstellung der Dichte der Standardnormalverteilung zu betrachten (vgl. Abb. 10.2).
C = {z : z > zi-oc} ABBILDUNG 10.2: Ablehnungsbereich eines statistischen Tests basierend auf einer standardnormalverteilten PriifgroBe
Da im obigen Testproblem grofie Werte von Z fiir die Alternative sprechen, ist der Ablehnungsbereich des Tests gerade als die Menge gegeben, die am rechten Rand
approximativer Binomialtest
10. Tester) von Hypothesen
406
der 2:-Achse liegt und deren Wahrscheinlichkeit hochstens a betragt. Dabei ist der linke aufiere P u n k t dieses Bereichs bereits bekannt als das (1 — a)-Quantil der Standardnormalverteilung (vgl. Abschnitt 6.3.1), so dafi m a n als Ablehnungsbereich C erhalt
C = {z : z >
zi-a}'
kritischer Wert
Der aufiere P u n k t des Ablehnungsbereiches, in diesem Fall zi-a^ wird auch als kritischer Wert bezeichnet. Wir entscheiden uns wieder fiir die Alternative, falls der beobachtete Priifwert in C liegt.
Beispiel 10.5
Gut-Schlecht-Priifung
Fiir Beispiel 10.1 (Seite 398) lautet nach obigen Ausfiihrungen das Testproblem HQ'.TT
= 0.1
gegen
iJi : TT > 0.1.
Als Wahrscheinlichkeit, mit der wir uns fiir die Alternative entscheiden, obwohl eigentlich die NuUhypothese gilt, wahlen wir a = 0.05. Dies ist also unter der Nullhypothese die Wahrscheinlichkeit dafiir, dafi die Priifgrofie im Ablehnungsbereich C des Tests liegt. Da zi^a = 2:0.95 = 1.64, ist C gegeben als {z: z> 1.64}. Der Wert der Priifgrofie Z = ^Q^^ berechnet sich bei einer Anzahl fehlerhafter Stiicke von X = 102 als 102 - 100 ^ ^, z= — =0.21. 9.5 Da 0.21 < 1.64, konnen wir sagen, dafi die Anzahl von 102 fehlerhaften Stiicken in der Stichprobe nicht den Schlufi zulafit, dafi der Anteil fehlerhafter Stiicke in der gesamten Partie iiber 10 % liegt. Diese Abweichung von der unter der Annahme eines Schlechtanteils von 10 % erwarteten Anzahl von 100 schlechten Stiicken ist zu gering, als dafi sie nicht rein zufaUig bedingt sein konnte. D In Beispiel 10.5 haben wir den statistischen Test mittels der standardisierten Priifgrofie Z durchgefiihrt. Dabei fallt die Entscheidung fiir i ? i , falls z eC^ also falls z > zi-a- Alternativ kann m a n den Test auch iiber die Anzahl x selbst durchfiihren, denn X — riTTo
z =
>
^/mi^{^^^^^
Zi-c
ist aquivalent zu X > uTTo + v^n7ro(l - 7ro)2:i_a , wobei TTo gerade den Wert des Schlechtanteils unter HQ bezeichnet. In Beispiel 10,1 (Seite 398) ist TTQ = 0.1 und riTTo + v/n7ro(l - 7ro)j^i-a = 100 + 9.5 • 1.64 = 115.58.
10.1
Per Binomial- und der GauB-Test
407
Da die beobachtete Anzahl fehlerhafter Stiicke 102 und somit kleiner als 115.58 ist, gelangt man zu derselben Entscheidung wie unter Verwendung der Priifgrofie Z. Fiir den Fall, dafi das Testproblem gegeben ist als
Ho :7T = 7ro gegen
i^i : TT < TTQ ,
sprechen kleine Werte der Priifgrofie fiir die Alternative, und der Ablehnungsbereich C befindet sich somit am linken Rand der 2:-Aclise, d.h.
C = {z : z < Za} = {z : z < - ^ i - a } ,
da die Standardnormalverteilung symmetrisch ist um 0 (vgl. Abschnitt 6.3.1). Liegt das Testproblem
Ho '.TT = 7To gegen
Hi : n j ^ no
vor, setzt sich der Ablehnungsbereich C basierend auf der Priifgrofie Z wieder zusammen aus dem linken und dem rechten Rand der 2:-Achse, wobei fiir jede dieser Mengen die Wahrscheinlichkeit a/2 betragt. Damit ergibt sich der Ablehnungsbereich C als
C = {z: z> Zi_^/2} U{z: z< z^/2 = = {z: z> Zi_^/2 = {z:
Oder
\z\>zi_^/2}.
z<
-Zi_^/2}
-Zi_^/2}
408
10. Testen von Hypothesen
Wir fassen zusammen: Approximativer Binomialtest Gegeben seien folgende Testprobleme iiber den Parameter TT einer 5(n,7r)Verteilung 7ro gegen (b) Ho:7T--= 7ro gegen (c) Ho:n--= no gegen HQITT--=
(a)
Hi Hi Hi
TT 7^ TTo TT < TTo TT > T T Q .
Basierend auf der Priifgrofie X - riTTo V^n7ro(l - TTo)
TT — TTQ
i)iV(0,l)
--TTQ)
n
und dem vorgegebenen Niveau a fallt die Entscheidung fiir Hi im Testproblem (a), falls \z\ > zi.- a / 2 (b), falls Z < —Z\ —a (c), falls Z > Zi-,:):•
10.1.3
Der GauB-Test
Bei dem oben formulierten Testproblem iiber n handelt es sich um Hypothesen und Alternativen beziiglich des Erwartungswerts einer speziellen Verteilung und zwar der B(l,7r)-Verteilung. Pragestellungen dieses Typs sind aber natiirlich auch fiir Erwartungswerte anderer Verteilungen von Interesse. Beispiel 10.2 (Seite 399) beschreibt gerade ein solches Problem. Es geht darum zu beurteilen, ob der Sollwert beispielsweise fiir die Lange eines Werkstiicks bei der Fertigung eingehalten wird. Um dies zu iiberpriifen, benotigt man wieder eine geeignete Priifgroi3e. Da sich der Sollwert auffassen lafit als Erwartungwert fi der Lange X eines Werkstiicks, also /i = E{X)^ bietet sich als Priifgrofie das Stichprobenmittel X an. Dabei wollen wir voraussetzen, dafi wir eine Stichprobe unabhangig identisch und stetig verteilter Zufallsvariablen X i , . . . , Xn gezogen haben. In diesem Kapitel gehen wir zudem davon aus, dafi die Varianz Var{Xi) = Var{X) = cr'^^ i = 1 , . . . , n, bekannt ist. Diese Voraussetzung ist i.a. als kritisch zu bewerten. Im Bereich der statistischen QualitatskontroUe kann man sie jedoch als nahezu erfiillt ansehen, da die Standardabweichung a der Produktionsstiicke als feste "Maschinengenauigkeit" vom Hersteller angegeben wird,
10.1
Per Binomial- und der GauB-Test
409
wahrend fi als "Einstellung" variiert werden kann. Dementsprechend sind nur Aussagen liber E{Xi) = fi^ i = l^... ,n, zu treffen. Dazu betrachten wir analog zu den Aussagen liber TT die folgenden Testprobleme: (a) (b) (c)
Ho:iJ. = fio gegen Hi'.fij^fio iJo : M = MO gegen Hi :/J. < fio Ho:fi = i2o gegen Hi\ii> JIQ,
Im Beispiel 10.2 (Seite 399) entspricht /XQ gerade dem Sollwert der Werkstiicklange. Zur Bestimmung des Ablehnbereichs iiberlegen wir zunachst erneut, welche Beobachtungswerte fiir die jeweilige Alternative sprechen. Da unter der NuUhypothese gilt: spricht also im Testproblem (a) eine starke Abweichung des Stichprobenmittels x von /io fiir Hi^ also \x - / i o | > Ca,
(b) ein wesentlich kleinerer Wert von x als /^o fiir -ffi, also X — fio < Cb mit
C5 < 0,
und schliefilich (c) ein wesentlich grofierer Wert von x als /JLQ fiir i/i, also X- IJ.o> Cc. Das Problem, das sich auch hier stellt, liegt darin, wie Ca^ ci und Cc zu bestimmen sind. Wie oben schon angemerkt, erscheint X als Priifgrofie naheliegend und sinnvoU. Es ergibt sich als Verteilung von X unter der NuUhypothese im Fall, dafi alle Xi Normalverteizusatzlich zu den obigen Annahmen normalverteilt sind, eine N^JIQ^ ^)-Verteilung. Es ist daher giinstiger, statt X selbst erneut (vgl. approximativer Binomialtest) seine lungsannahme standardisierte Variante als Priifgrofie zu verwenden: Z =
X-/io a
^ yjn.
Diese ist unter jFfo standardnormalverteilt. Damit lafit sich der Ablehnungsbereich des statistischen Tests basierend auf Z wieder iiber die entsprechenden Quantile der Standardnormalverteilung festlegen.
410
Beispiel 10.6
10. Testen von Hypothesen
Kontrollkarten
Bei der Konstruktion von Kontrollkarten wird implizit zu jedem der KontroUzeitpunkte ein statistisches Testproblem unterstellt. Es geht jeweils darum zu priifen, ob der Erwartungswert der produzierten Stiicke noch mit dem SoUwert iibereinstimmt, oder ob in den laufenden Prozefi aufgrund einer nicht zufallsbedingten Abweichung eingegriffen werden mu6. Nehmen wir an, bei dem produzierten Werkstiick handelt es sich um Bleistifte, deren Lange 17 cm betragen soil, dann lautet das Testproblem: Ho:fi = 17 gegen
Hi'.yi^ll.
Es sei bekannt, daC die Lange X der Bleistifte (approximativ) normalverteilt ist mit E{X) = /x und Var{X) = cr^ = 2.25. Es wird nun zum Zeitpunkt t = l eine unabhangige Stichprobe aus der laufenden Produktion entnommen. Folgende Langen werden an den ftinf Bleistiften gemessen: 19.2 cm, 17.4 cm, 18.5 cm, 16.5 cm, 18.9 cm. Daraus ergibt sich x als 18.1cm. Als standardisierte Priifgrofie erhalt man
,.i:iifov^.H:izi!v5 = i.64. • (J
1.5
Legen wir die Wahrscheinlichkeit, uns irrtiimlicherweise flir die Alternative zu entscheiden, also die Wahrscheinlichkeit unter HQ fiir den Ablehnungsbereich als a = 0.01 fest, so miissen wir analog zu dem fiir den approximativen Binomialtest angegeben kritischen Wert zunachst das (1 — a/2) = (1 — 0.005) = 0.995-Quantil der Standardnormalverteilung bestimmen, das sich als 2.5758 ergibt. Damit mufi davon ausgegangen werden, dafi sich der ProzeC nicht mehr unter statistischer KontroUe befindet, falls fiir den PrtifgroBenwert z gilt: \z\ > 2.5758. Da fiir die obige Stichprobe Z den Wert 1.64 angenommen hat, kann der ProzeB weiterlaufen. Ein EingriflF ist nicht notig. Im Gegensatz zu diesem Vorgehen ist die x-Karte leichter zu handhaben, wenn die kritischen Werte, d.h. die KontroUgrenzen fiir x bestimmt werden und nicht fiir z. Diese ergeben sich als
da \z\ >
Zi_ct/2
aquivalent ist zu —=-^120
bzw.
x< iiQ- zi_«/2 • -7=
Diese Grenzen sind bereits bekannt und zwar aus der Konfidenzintervallschatzung. Auf diesen Zusammenhang wird an spaterer Stelle noch einmal eingegangen. D
10.2
Prinzipien des Testens
411
Der Test, der auf obiger Priifgrofie basiert, wird iiblicherweise als Gaufl-Test bezeichnet, da er fiir Testprobleme iiber den Erwartungswert einer Normalvert eilung konstruiert ist. Aufgrund des zentralen Grenzwertsatzes (vgl. Abschnitt 7.1.2) kann man jedoch dieselbe Priifgrofie und dieselben kritischen Werte auch dann verwenden, wenn die X^, i = 1 , . . . , n, nicht normalverteilt sind, aber der Stichprobenumfang grofi genug ist, denn dann sind X und Z zumindest approximativ normalverteilt Zusammenfassend ergeben sich folgende Entscheidungregeln des Gaufi-Tests. GauB-Test
Gegeben seien unabhangig identisch verteilte Zufallsvariablen X i , . . . , Xn mit Xi ~ A/'(//, a^), cr^ bekannt, bzw. mit beliebiger stetiger Verteilung und E{Xi) = IJL^ Var{Xi) = cr^5 ^ grofi genug (Faustregel: n > 30). Man betrachte folgende Testprobleme: (a) (b) (c)
i?o : /i = /Uo gegen iJi : /x 7^ /io Fo • A^ = /^o gegen ff 1 : /^ < /XQ Fo : /^ = /^o gegen i?i : // > /^o .
Fiir /i = /io ist Z
^:i^v^fe)Ar(0,l)
bzw.
xfe^iV(Mo,4=)
Basierend auf der Priifgrofie Z fallt die Entscheidung fiir Hi im Testproblem (a), falls \z\>zi_^/2 (b), falls z < —zi-ct (c), falls z > zi-aIm folgenden Abschnitt werden die Prinzipien statistischer Tests unter allgemeinen formalen Gesichtspunkten beschrieben, wobei aber auf die hier prasentierten Beispiele zur Illustration zuriickgegriffen wird.
10-2
Prinzipien des Testens
An den in Abschnitt 10.1 vorgestellten Beispielen sieht man, dafi die Durchfiihrung eines statistischen Tests gewissen Prinzipien geniigen mufi. Bevor wir diese im fol-
Gaufi- Test
10. Testen von Hypothesen
412
genden formalisieren, seien sie hier zunachst noch einmal zusammengefafit. Im 1. Schritt mufi das inhaltliche Problem quantifiziert werden. In Beispiel 10.1 (Seite 398) wurde die Prage nach der Annahme der Warenpartie iiber die Grofie des Ausschufianteils formuliert. Im 2. Schritt miissen die Modellannahmen formuliert werden. In Beispiel 10.2 (Seite 399) wurde angenommmen, dafi X i , . . . , X n unabhangig und identisch A^(/u, cr^)-verteilt sind, wobei cr^ als bekannt vorausgesetzt wurde. Im 3. Schritt wird das quantifizierte inhaltliche Problem als ein statistisches Testproblem iiber den Modellparameter dargestellt. Dazu werden die NuUhypothesen und die Alternative festgelegt. In Beispiel 10.6 (Seite 410) wurde dementsprechend das Testproblem iiber die erwartete Lange der Bleistifte als Ho : 1^=17
Annahmebereich Priifgrofie
gegen
Hi : fi ^ 17
angegeben, wobei 17 cm der SoUwert der Bleistiftlange war. Im 4' Schritt mufi festgelegt werden, wie grofi das Signifikanzniveau a sein soil, mit der man sich hochstens fiir die Alternative entscheidet, obwohl eigentlich die NuUhypothese zutrifft. Das heifit, es mufi die Wahrscheinlichkeit fiir den Ablehnungsbereich unter HQ festgelegt werden. Im Beispiel 10.6 wurde a = 0.01 gewahlt. Im 5. Schritt geht es um die Bestimmung des Ablehnungsbereiches C. Das Komplement von C heifit Annahmebereich des Tests. Dazu mufi zunachst eine geeignete Priifgrofie bzw. Teststatistik aus X i , . . . , X n gebildet werden. Geeignet bedeutet dabei, dafi • anhand des Wertes, den sie fiir die gezogene Stichprobe annimmt, tatsachlich beurteilt werden kann, ob eher HQ oder Hi fiir die Grundgesamtheit zutrifft, d.h. dafi die Priifgrofie sensibel fiir das Testproblem ist. In Beispiel 10.6 erfiillt X als Priifgrofie diese Anforderung.
Priifverteilung
• ihre Verteilung unter der NuUhypothese bestimmt werden kann, da aus dieser Verteilung die kritischen Werte des Ablehnungsbereiches ermittelt werden. Diese Verteilung wird auch als Priifverteilung bezeichnet. In Beispiel 10.6 wurde zur standardisierten Grofie Z = ~^"\/n iibergegangen, deren Verteilung unter HQ gerade die Standardnormalverteilung ist, so dafi die kritischen Werte leicht als die entsprechenden (1 — a/2)-Quantile aus der Tabelle abgelesen werden konnten. Schliefilich wird der Ablehnungsbereich C so konstruiert, dafi • in ihm Werte zusammengefafit werden, die tatsachlich fiir die Alternative sprechen, womit der Forderung der Sensibilitat fiir das Testproblem Rechnung getragen wird. Da die Alternative Hi in Beispiel 10.6 /^ / 17 lautete, waren dies sowohl sehr kleine als auch sehr grofie Werte der Priifgrofie Z.
10.2
Prinzipien des Testens
413
• die Wahrscheinlichkeit des Ablehnungsbereichs C unter Ho hochstens gleich a ist. In Beispiel 10.6 ergab sich daher C = {z : \z\ > zi_ct/2 = ^0.995 = 2.5758}. Hierbei wurde ausgenutzt, dafi die Verteilung der Teststatistik fiir /x = 17, also unter iJo, bekannt ist. Im 6. Schritt wird fiir die konkrete Stichprobe der Wert der Priifgrofie berechnet. In Beispiel 10.6 berechnete sich Z als 1.64. Der 7. Schritt beinhaltet schliefilich die Entscheidung dariiber, ob die Nullhypothese zugunsten der Alternative verworfen werden kann oder beibehalten werden mufi. Dazu liberpruft man, ob der berechnete Priifgrofienwert im Ablehnungsbereich liegt oder nicht. Liegt dieser im Ablehnungsbereich, so wird die NuUhypothese verworfen. Diese formale Entscheidung hat haufig eine weitreichende inhaltliche Bedeutung. So hatte die Nicht-Verwerfung der Nullhypothese in Beispiel 10.6 die Konsequenz, dafi nicht in den laufenden Prozefi eingegriffen wird, der Prozefi also als unter statistischer KontroUe angesehen wird. Bei statistischen Testproblemen sind weitere Unterscheidungen iiblich. Fiir den Fall, dafi unter der Alternative sowohl Abweichungen nach oben als auch nach unten interessieren, wie etwa in Beispiel 10.6 mit i?o : /i = 17 gegen
Hi : fi ^ 17
spricht man von einem zweiseitigen Testproblem. Ansonsten, d.h. fiir HQ : fi<17
gegen
i?o : /^ > 17 gegen
zweiseitiges Testproblem
iJi : // > 17 bzw. iJi : /x < 17,
liegt jeweils ein einseitiges Testproblem vor. Falls Ho oder Hi nur aus einem Punkt bestehen, wie z.B. iJo • /^ = 17, nennt man Ho oder Hi einfach. Fiir den Fall, dafi Ho oder Hi eine Menge von Punkten beschreiben, heifien diese auch zusammengesetzt, Abweichend von den Beispielen in Abschnitt 10.1 ist in den obigen Testproblemen nicht nur die Alternative zusammengesetzt, sondern auch die Nullhypothese, d.h. statt Ho : ^1 = fio betrachten wir nun Ho : fi < fio mit z.B. fio = 17cm. In Beispiel 10.6 (Seite 410) etwa wurde nun der kritische Wert des Tests bzw. der Ablehnungsbereich aus der Standardnormalverteilung ermittelt, da unter der Nullhypothese, d.h. fiir fi = /JLO, Z = ^ ~ ^ ° \ / ^ gerade N{0, l)-verteilt ist. Wie kann man nun vorgehen, wenn man eigentlich die Verteilung von Z unter der zusammengesetzten Nullhypothese bestimmen miifite? Da dies nicht moglich ist, bestimmt man den Ablehnungsbereich so, dafi fiir den Wert von /i aus i^o, der am dichtesten an der Alternative liegt, also fiir 11 = jio die Wahrscheinlichkeit fiir den Ablehnungsbereich a betragt. In Abbildung 10.3 auf der folgenden Seite wird deutlich, dafi durch
einseitiges Testproblem einfache Hypothese zusavfimengesetzte Hypothese
10. Testen von Hypothesen
414
dieses Vorgehen garantiert ist, dafi fiir andere Werte von //, d.h. fiir /x < /io, aus Ho die Wahrscheinlichkeit a sogar unterschritten und somit die Bedingung fiir die Konstruktion des Ablehnungsbereichs eingehalten wird.
'
\>\ \>
:\
a
^ ^ v =——•
0
Zl-a
ABBILDUNG 10.3: Ablehnungsbereiche fiir das Testproblem Ho : n < fxo und Hi : fi > fio basierend auf Z = ^~^^ y/n
verteilungsfrei nonparametrischer
Test
parametrischer Test
Eine weitere Unterscheidung statistischer Tests ergibt sich durch die getroffenen Modellannahmen, die bei der Beschreibung einer allgemeinen Vorgehensweise beim statistischen Testen im 2. Schritt formuliert wurden. Diese sind wichtig, um eine geeignete PriifgroiJe bzw. Teststatistik zu konstruieren und deren Verteilung unter der NuUhypothese bestimmen zu konnen. Fiir den Fall, dai3 die Verteilung des Merkmals in der Grundgesamtheit vom Typ her, also zum Beispiel Normalverteilung, bekannt oder der Stichprobenumfang groii genug ist, lassen sich haufig direkt PriifgroiJen fiir bestimmte Verteilungsparameter angeben, deren Verteilung noch relativ leicht zu bestimmen ist. Komplizierter wird es, wenn man keine Vorstellung von der Verteilung des Merkmals in der Grundgesamtheit hat. Man versucht dann Tests zu konstruieren, deren Priifgrofie derart ist, dafi ihre Verteilung unter der NuUhypothese auch ohne genauere Angaben iiber die Verteilung der Zufallsvariablen X i , . . . , X^ bestimmbar ist. Solche Tests heifien verteilungsfreie oder nonparametrische Tests. Entsprechend nennt man Tests, deren Priifgrofie zur Bestimmung der Priifverteilung Annahmen iiber den Verteilungstyp in der Grundgesamtheit benotigen, parametrische Tests.
10.2
Prinzipien des Testens
415
Die wichtigsten Begriffe seien noch einmal kurz zusammengefafit.
Statistisches Testproblem, statistischer Test
Ein statistisches Testproblem besteht aus einer NuUhypothese HQ und einer Alternative iJi, die sich gegenseitig ausschliefien und Aussagen liber die gesamte Verteilung oder iiber bestimmte Parameter des interessierenden Merkmals in der Grundgesamtheit beinhalten. Falls das Testproblem lautet: Ho:" = ''
gegen
Fi : V " ,
nennt man dieses zweiseitig. Falls ifo:"<"
gegen
i^i : " > "
i/o:">"
gegen
Hi
bzw.
:''<''
zu testen ist, spricht man von einseitigen Testproblemen. Bestehen HQ bzw. Hi nur aus einem einzelnen Punkt, so heifien diese einfache Hypothese bzw. Alternative. Umfassen HQ bzw. Hi mehrere Punkte, so heifien diese zusammengesetzte Hypothese bzw. Alternative. Ein statistischer Test basiert auf einer geeignet gewahlten Priifgrofie und liefert eine formale Entscheidungsregel, die aufgrund einer Stichprobe dartiber entscheidet, ob eher HQ oder Hi fiir die Grundgesamtheit zutrifft.
10.2.1
Fehlentscheidungen
In den obigen Beispielen wurden die Entscheidungen iiber HQ und Hi, die die Grundgesamtheit betreffen, bereits verbahsiert. So spricht man davon, "dafi HQ beibehalten wird", wenn der Wert der Priifgrofie nicht im kritischen Bereich Uegt. Reahsiert sich die Priifgrofie fiir die konkrete Stichprobe im Ablehnungsbereichs des Tests, so sagt man "i?o ^^rrf abgelehnf^ oder "iJo '^M verworfen'\ Dabei haben wir bereits das Problem angesprochen, dafi aufgrund eines statistischen Tests Fehlentscheidungen moghch sind. In Beispiel 10.6 (Seite 410) konnte der Test aufgrund einer gezogenen Stichprobe an Bleistiften zu der Entscheidung kommen, dafi die durchschnittliche Lange der Bleistifte von 17 cm verschieden ist, obwohl dies tatsachlich nicht der Fall ist. Eine solche Fehlentscheidung, bei der also HQ aufgrund der Stichprobe verworfen wird, obwohl Ho fiir die Grundgesamtheit zutrifft, nennt man Fehler 1, Art. Der umgekehrte Fall, dafi HQ beibehalten wird, obwohl die Alternative Hi wahr ist.
Ho beibehalten
HQ ablehnen, verwerfen
Fehler 1. Art
10. Testen von Hypothesen
416
Fehler 2. Art
kann ebenfalls eintreten. Man spricht dann von einem Fehler 2. Art. In Beispiel 10.6 hatte ein Fehler 2. Art zur Folge, dafi die Entscheidung fiele, dafi die durchschnittliche Bleistiftlange 17 cm betragt, obwohl eigentlich Bleistifte mit einer systematisch von 17 cm verschiedenen Lange produziert werden. Solche Fehlentscheidungen sind moglich, weil man mit der Durchfiihrung eines statistischen Tests den Schlufi von einer konkreten Stichprobe auf die Grundgesamtheit wagt. Dementsprechend schlagen sich systematische oder zufallige Fehler in der Stichprobe auf die Testentscheidung nieder. Fehler 1 . A r t , Fehler 2. A r t
Bei einem statistischen Testproblem iJo gegen Fl\ und einem geeigneten statistischen Test spricht man von einem • Fehler 1. Art^ wenn HQ verworfen wird, obwohl HQ wahr ist, • Fehler 2. Art^ wenn HQ beibehalten wird, obwohl Hi wahr ist. Es konnen demnach folgende Ausgange eines statistischen Tests eintreten: Entscheidungen fiir
Signifikanzniveau Wahrscheinlichkeit fiir den Fehler 2. Art
HQ
HI
HQ wahr
richtig
falsch Fehler 1. Art (a-Fehler)
Hi wahr
falsch Fehler 2. Art (/3-Fehler)
richtig
Fehlentscheidungen dieses Typs sind immer moglich. Zudem lafit sich bei einer vorliegenden Testentscheidung nicht beurteilen, ob diese nun richtig oder falsch ist. Man konstruiert statistische Tests daher so, dafi die Wahrscheinlichkeit fiir den Fehler 1. Art durch eine kleine vorgegebene obere Schranke kontrolliert wird. Diese obere Schranke wird als Signifikanzniveau bezeichnet. Aus den Beispielen des vorigen Abschnitts ist es bereits als Wahrscheinlichkeit a fiir den Ablehnungsbereich unter der NuUhypothese bekannt. Entsprechend spricht man von 1 — a auch als Sicherheitswahrscheinlichkeit Die Wahrscheinlichkeit fiir den Fehler 2. Art^ kurz als /3 bezeichnet, wird dagegen nicht kontrolliert. Man sucht jedoch unter alien Tests, die die Wahrscheinlichkeit fiir den Fehler 1. Art durch a kontrolheren, nach solchen, die die Wahrscheinhchkeit fiir den Fehler 2. Art moglichst gering halten. Eine gleichzeitige Minimierung beider Fehlerwahrscheinlichkeiten ist i.a. nicht moglich. Die falschliche
10.2
417
Prinzipien des Testens
Verwerfung der NuUhypothese ist somit durch das Signifikanzniveau a abgesichert. Man spricht dann auch von einem statistischen Test zum (Signifikanz-) Niveau a. Die Wahrscheinlichkeit fiir den Fehler 2. Art wird nicht vorgegeben und wird in Abhangigkeit von dem in der Grundgesamtheit vorliegenden Parameter betrachtet, wie wir an der Darstellung der Giitefunktion noch sehen werden. Es gilt: Je naher der wahre Parameter aus der Alternative an dem nicht wahren Wert der NuUhypothese liegt, desto grofier wird die Wahrscheinlichkeit fiir den Fehler 2. Art. Man nehme an, die wahre produzierte Bleistiftlange betragt im Mittel 17.2 cm, vgl. Beispiel 10.6 (Seite 410), der SoUwert ist aber als 17cm festgelegt. Dieser kleine Unterschied ist anhand eines statistischen Tests nur schwer zu erkennen. Der statistische Test wird dazu tendieren, die NuUhypothese nicht zu verwerfen, d.h. der Test wird vermuthch zu der falschen Entscheidung gelangen, dafi der SoUwert eingehalten wird. Die Wahrscheinlichkeit fiir den Fehler 2. Art ist also grofi. Liegt das Mittel der produzierten Bleistiftlange jedoch bei 20 cm, um einen Extremfall zu nennen, wird der statistische Test eher darauf erkennen, dafi der SoUwert nicht mehr eingehalten wird. Die Wahrscheinlichkeit fiir den Fehler 2. Art ist klein. Diese Ungleichbehandlung der beiden Fehlerarten ist der Grund dafiir, dafi die eigentlich interessierende Fragestellung als statistische Alternative formuliert wird. Entscheidet man sich fiir diese, so mochte man mit Sicherheit sagen konnen, mit welchem Fehler diese Entscheidung behaftet ist. Eine solche Aussage ist fiir den Fall, dafi HQ beibehalten wird, nur schwer moglich.
Test zum Niveau a
Ungleichbehandlung
Signifikanztest
Ein statistischer Test heifit Test zum Signifikanzniveau a, 0 < a < 1, oder Signifikanztest^ falls P{Hi annehmen \Ho wahr ) < a , d.h. P ( Fehler 1. Art) < a . Typische Werte fiir das Signifikanzniveau a sind 0.1,0.05,0.01. Anschaulich kann man das Signifikanzniveau a wie folgt interpretieren: Nehmen wir an, es wiirden 100 gleichgrofie Stichproben zu derselben Fragestellung gezogen, z.B. 100 Stichproben mit je 10 Geburten. Aufierdem gelte die NuUhypothese, d.h. in unserem Beispiel seien Jungen- und Madchengeburten gleich wahrscheinUch. Dann wiirde ein statistischer Test zum Niveau a = 5 % in hochstens 5 der 100 Stichproben die NuUhypothese verwerfen. Da Testentscheidungen somit von dem vorgegebenen Signifikanzniveau abhangen, sagt man im Fall einer Verwerfung der NuUhypothese "Das Ergebnis ist statistisch signifikant (zum Niveau a)" und im Fall einer Bei-
(nicht) statistisch signifikant
10. Testen von Hypothesen
418
behaltung der NuUhypothese "Das Ergebnis ist nicht statistisch signifikant (zum Niveau a ) " . Bei dieser Formulierung wird auch noch einmal deutlich, dafi der Test lediglich erkennt, ob ein Ergebnis im statistischen Sinn bedeutend ist. Statistische Signifikanz ist also nicht ohne weiteres gleichzusetzen damit, dafi ein Ergebnis auch unter substanzwissenschafthchem Gesichtspunkt bedeutend ist. 10.2.2
Statistische Tests und Konfidenzintervaile
Interessant ist es an dieser Stelle anzumerken, dafi die Entscheidung eines Signifikanztests z.B. bei einem zweiseitigen Testproblem analog iiber das entsprechende Konfidenzintervall gefallt werden kann. Dieser Zusammenhang lafit sich gut anhand des Gaufi-Tests veranschaulichen. Dort gilt, dafi HQ ZU verwerfen ist, falls X -
flQ
\fn
> Zi-a/2 '.
\fn
< ^l-a/2 •
bzw. dafi Ho beizubehalten ist, falls \x - fio z =
Letztere Ungleichung lafit sich aquivalent umformen zu a d.h.
\X-
flo\ < ^ i _ a / 2 - —7=1
bzw. X-
bzw.
fiO> - ^ l _ a / 2 • -7=
-/io > - x - Zi_a/2 • —^
^^d
und
X-
ldo< ^ l - a / 2 ' -"7=
- /io < - ^ + ^ i - a / 2 • —r=
cr _ a Diese Grenzen sind bekannt als Grenzen des (1 — a)-Konfidenzintervalls fiir /i, das ^10<X + Z i _ a / 2 • - 7 = u n d /io > ^ - ^ l - a / 2 ' "F= • gegeben ist als r_ cr _ G X - ^l-a/2 • -7=
-> ^ + ^ l - a / 2 * - 7 - i
L v^ V^J Damit kann man aufgrund obiger Aquivalenzumformungen also entscheiden, dafi iJo beizubehalten ist, falls /XQ in dem (1 — Q;)>Konfidenzintervall fiir ix liegt, bzw. dafi i^o zu verwerfen ist, falls /io nicht Element des entsprechenden Konfidenzintervalls ist. Allgemein konnen wir also festhalten, dafi ein (1 — a)-Konfidenzintervall gerade dem Annahmebereich des zugehorigen zweiseitigen Signifikanztests entspricht.
10.2
419
Prinzipien des Testens
10.2.3
Uberschreitungswahrscheinlichkeit
Alternativ zu der oben beschriebenen Vorgehensweise lassen sich statistische Tests auch iiber die sogenannten p-Werte bzw. Uberschreitungswahrscheinlichkeiten durchfuhren. Diese werden standardgemafi von statistischen Software-Paketen ausgegeben. A n s t a t t die Priifgrofie mit einem bestimmten kritischen Wert zu vergleichen, u m iiber die Ablehnung der NuUhypothese zu entscheiden, vergleicht m a n den p-Weit direkt mit dem vorgegebenen Signifikanzniveau a. D a der p-Wert gerade die Wahrscheinlichkeit angibt, unter HQ den beobachteten Priifgrofienwert oder einen in Richtung der Alternative extremeren Wert zu erhalten, ist die NuUhypothese dann zu verwerfen, falls der p-Wert kleiner ist als a (vgl. dazu auch Abb. 10,4).
^l-a ABBILDUNG
p- Werte
Z
10.4: Zusammenhang zwischen p-Wert und Signifikanzniveau
Wenn der p-Wert namlich sehr klein ist, bedeutet das, dafi es unter HQ sehr unwahrscheinlich ist, diesen Priifgrofienwert zu beobachten. Dies spricht dafiir, dafi HQ eher falsch ist. Die einzelnen Schritte, die bei der Durchfiihrung eines statistischen Tests zu machen sind, bleiben unverandert, wenn man diesen anhand von p-Werten durchfiihrt. Lediglich die Entscheidung iiber die Verwerfung der NuUhypothese wird mittels einer formal anderen Regel getroffen, d.h. mittels "i^o wird abgelehnt, falls der p-Wert kleiner ist als a", statt mittels "HQ wird abgelehnt, falls der Priifgrofienwert in den kritischen Bereich fallt". Gut-Schlecht-Priifung
In Beispiel 10.5 (Seite 406) betrug der Priifgrofienwert z = 0.21. Da die Alternative liber den Schlechtanteil TT formuliert war als iJi : TT > 0.1, sind in Richtung der Alternative extremere
Beispiel 10.7
10. Testen von Hypothesen
420
PriifgroBenwerte solche, die grofier sind als z. Damit ist der p-Wert gegeben als p = PHO{Z > 0.21) = 1-PHO{Z<
0.21) = 1 - $(0.21) = 1 - 0.5832 = 0.4168.
Da der p-Weit grofier ist als das vorgegebene Signifikanzniveau a von 0.05, kann die Nullhypothese nicht verworfen werden. Diese Entscheidung stimmt mit der in Beispiel 10.5 getroffenen iiberein. D Bei der Berechnung des p-Werts ist also die Uberlegung entscheidend, welche Priifgrofienwerte noch starker gegen HQ sprechen.
p-Wert Der p-Wert ist definiert als die Wahrscheinlichkeit, unter Ho den beobachteten Priifgrofienwert oder einen in Richtung der Alternative extremeren Wert zu er halt en. Ist der p-Wert kleiner oder gleich dem vorgegebenen Signifikanzniveau a, so wird Ho verworfen. Ansonsten behalt man Ho bei.
Gefahr eines Mifibrauchs
Da p"Werte Wahrscheinlichkeiten sind, nehmen sie stets Werte grofier gleich 0 und kleiner gleich 1 an. Somit haben sie den Vorteil, dafi sie die Vergleichbarkeit verschiedener Testergebnisse ermoglichen. Aufierdem werden sie, wie schon erwahnt, von statistischen Programmpaketen automatisch ausgegeben, wodurch eine schnelle Durchfiihrung statistischer Tests moglich ist und zwar in Form folgender Regel: Falls der p-Wert kleiner als oder gleich a ist, lehne HQ ab. Ist der p-Wert grofier als a, behalte HQ bei. P-Werte liefern zudem mehr Informationen als die ja-neinEntscheidung bzgl. der Ablehnung der NuUhypothese: Man kann an ihnen ablesen, zu welchem Niveau der zugehorige Test die NuUhypothese gerade noch verworfen hatte. Diese letzte Interpretation birgt jedoch die Gefahr eines Mifibrauchs insofern, als zunachst der Test durchgefiihrt, also der p-Wert berechnet werden kann und dann das Signifikanzniveau festgelegt wird, und zwar gerade so, dafi man Ho noch ablehnen kann. Dies setzt natiirlich die gesamte dahinterstehende Testtheorie aufier Kraft, was anhand der Diskussion der Giitefunktion deutlich wird. 10.2.4
Giitefunktion
Gutefunktion
Bei der obigen Diskussion statistischer Tests wurden Fehler 1. Art und 2. Art als zwei Kriterien zur Beurteilung ihrer Qualitat eingefiihrt. Diese beiden Kriterien lassen sich unter dem Begriff der Giitefunktion zusammenfiihren. Zur Erinnerung seien
10.2
Prinzipien des Testens
421
noch einmal die Wahrscheinlichkeiten fiir Fehler 1. und 2. Art formal angegeben: P(Fehler 1. Art) = P(Ho ablehnen|i7o wahr), P(Fehler 2. Art) = P{Ho beibehalten|Fi wahr) = 1 — P{HQ ablehnenli/iwahr). Die letzte Umformung ist zum Verstandnis der Giitefunktion entscheidend. Diese gibt fiir einen Signifikanztest namlich gerade in Abhangigkeit des interessierenden Parameters die Wahrscheinlichkeit an, die NuUhypothese zu verwerfen. Falls also der wahre Parameter aus der Alternative stammt, entspricht die Giitefunktion der Wahrscheinlichkeit, die richtige Entscheidung zu treffen, namlich HQ ZU verwerfen. Fiir den Fall, dafi der wahre Parameter in der NuUhypothese liegt, gibt die Giitefunktion die Wahrscheinlichkeit fiir den Fehler 1. Art an, die durch das vorgegebene Signifikanzniveau nach oben beschrankt ist. Der Verlauf einer idealen Giitefunktion ist in Abbildung 10.5 skizziert.
1
I
/^
\
Ho
/^o
Hi
ABBILDUNG 10.5: Verlauf einer idealen Giitefunktion
Eine solche Giitefunktion gehort zu einem statistischen Test, bei dem weder ein Fehler 1. Art noch ein Fehler 2. Art auftreten kann, da die Wahrscheinhchkeit, die Hypothese zu verwerfen, fiir Werte aus HQ gerade null und fiir Werte aus HQ eins betragt. Dies ist, wie wir oben iiberlegt haben, praktisch nicht moglich. Zur Konkretisierung dieses Begriffs betrachten wir erneut den Gaui3-Test fiir das Testproblem: HQ: ii< iiQ gegen
iJi : /i > yuo •
422
10. Tester) von Hypothesen
Fiir dieses Testproblem ist die Giitefunktion g in Abhangigkeit vom interessierenden Parameter als Funktion von /i zu betrachten, d.h. g{li) = P{Ho ablehnen|/i). An dieser Schreibweise wird deutlich, dafi g(fi) fiir die verschiedensten Werte des unbekannten, aber wahren Parameters // die Wahrscheinlichkeit angibt, HQ ZU verwerfen. Gilt • /x G Ho^ so ist gf(/i) < a , • /i G ^ 1 , so ist 1 — g{ii) die Wahrscheinlichkeit fiir den Fehler 2. Art. Wie lafit sich g{fi) nun genauer berechnen? Dies kann i.a. recht kompliziert werden. Fiir den Gaufi-Test lafit sich ^(/x) aber relativ einfach herleiten. Nach Definition ist ^(/x) = P{Ho ablehnen|ju). Da HQ im obigen Testproblem abgelehnt wird, falls "J^^ y/n> zi-oci lafit sich g{ii) auch schreiben als 9{^^) = p ( ^ ^ V ^ > z i _ . | / . ) . Diese Wahrscheinlichkeit ist fiir fj, — no exakt a. Fiir alle anderen Werte von /x miii3te die Priifgroi3e jedoch neu standardisiert werden, um wieder zu einer standardnormalverteilten GroiSe zu gelangen. Dazu wenden wir einen in der Mathematik iibhchen Trick an und addieren JJL — jJ,, also eigentlich eine Null. Wir erhalten
9{lA
da /i, der wahre Parameter und somit —^y/n N{0^ l)-verteilt ist. Die Giitefunktion kann man fiir ein vorgegebenes a und festen Stichprobenumfang n als Funktion von fi graphisch darstellen, wie in Abbildung 10.6 skizziert und in Beispiel 10.8 illustriert ist. Beispiel 10.8
Qualitatsprufung
Kommen wir noch einmal auf Beispiel 10.6 (Seite 410) zuriick. Von Interesse sei nun aber nicht die Konstruktion einer KontroUkarte, sondern folgendes Testproblem HQ : iJ,< 17cm gegen iJi :/i > 17cm.
10.2
423
Prinzipien des Testens
ABBILDUNG
10.6: Skizze einer Giitefunktion g{fj,) = 1 - $ {zi-c
p-^o
V^)
Hier wird also versucht, eine Abweichung der Bleistiftlange vom SoUwert nach oben zu verhindern. Sei a = 0.05 und n = 10. Die Standardabweichung sei wieder als a = 1.5 vorausgesetzt. Dann ist die Giitefunktion gegeben als ^(/i) = 1 - $ I ^0.95 -
/^
^
^
)
l_$(l.64-^^yi^.3.16
Die Werte der Funktion ^(/i) konnen aus der Tabelle der Verteilungsfunktion der Standardnormalverteilung fiir verschiedene Werte von /x abgelesen werden. Man erhalt folgende Wertetabelle:
M P(M)
16 16.5 0 0.003
17 0.05
17.5 0.279
18 0.68
18.5 0.936
19 0.995
Als Rechenbeispiel betrachte man /x = 17.5, wofiir sich ergibt: p(17.5) = 1 - $ f 1.64
—
3.16 J = 1 - $ (0.59) = 0.279.
Man sieht, dai3 die Wahrscheinlichkeit, HQ ZU verwerfen, fiir /x = 17.5 cm mit 0.279 sehr klein ist. Das heiBt: Obwohl wir sicher wissen, daj3 mit /J, = 17.5 cm die Alternative zutrifft, fallt die Entscheidung des Tests mit einer groBen Wahrscheinlichkeit von 1 — 0,279 = 0.721 fiir HQ. Dies ist gerade die Wahrscheinlichkeit fiir den Fehler 2. Art. Man erkennt deutlich, dai3 diese Wahrscheinlichkeit von den Wert en der Alternative abhangt: Je grofier die Abweichung von /io, also je grofier der zu entdeckende Effekt ist, desto kleiner wird die Wahrscheinlichkeit fiir den Fehler 2. Art. Ebenso wird ersichtlich, vgl. Abbildung 10.6, dafi die WahrscheinUchkeit fiir den Fehler 1. Art fiir alle Werte /i aus HQ kleiner oder gleich a = 0.05 ist. Fiir ^ = /XQ = 17 cm nimmt g{/d) den Wert des Signifikanzniveaus a an. Dies verdeutlicht noch einmal, dafi die Giitefunktion fiir fiG Hi gerade 1—WahrscheinUchkeit fiir den Fehler 2. Art und fiir fie Ho die Wahrscheinhchkeit fiir den Fehler 1. Art angibt, wobei letzterer durch a an der Stelle fi = fiQ nach oben beschrankt ist. D
10. Tester) von Hypothesen
424
Fiir das zweiseitige Testproblem HQ\ ii = JIQ gegen Hi: /J.^ fio (vgl. Abb. 10.7, Seite 425) und das andere einseitige Testproblem Ho : fi> fio gegen Hi'. JJLK JJLQ ermittelt man g{ii) analog.
Giitefunktion Fiir vorgegebenes Signifikanzniveau a und festen Stichprobenumfang n gibt die Giitefunktion g die Wahrscheinlichkeit fiir einen statistischen Test an, die Nullhypothese zu verwerfen. Speziell fiir den Gaufi-Test ergibt sich die Giitefunktion ^(/i) im Fall des Testproblems (a) i7o : /i = /io gegen Hi\ ji^ jio als g{li) = $ ( - ^ i - c / 2 +
— ~ ^ ^) + $ ( - W 2 - ^ ^ ^ )
(b) Ho : fi> fio gegen Hi : fi < fio als g{fi) =
^(za-
^V^)
(c) i7o : /i < /io gegen i7i : /i > /io als
g{fi) = 1 - $
(zi-c.-^V^),
wobei $ die Verteilungsfunktion der A^(0, L)-Verteilung bezeichnet.
Power
Die Giitefunktion erlaubt also Aussagen iiber die Qualitat eines statistischen Tests. Sie enthalt nicht nur Informationen dariiber, fiir welche Parameterwerte die NuUhypothese mit grofier Wahrscheinlichkeit verworfen wird, sondern auch das Signifikanzniveau. Diese Zweiteilung bei der Interpretation der Giitefunktion spiegelt sich auch in ihrer Namensgebung wider. Fiir Werte aus der Alternative spricht man von der Giitefunktion auch als Macht, Trennschdrfe oder Power eines Tests. Giitefunktionen werden daher zum Vergleich mehrerer konkurrierender Tests zu einem Testproblem herangezogen. Man wahlt, falls moghch, den Test unter alien Niveau-a-Tests aus, der die grofite Macht besitzt, oder wie bereits zu Beginn dieses Unterkapitels formuhert, die geringste Wahrscheinlichkeit fiir einen Fehler 2. Art. Bei der Herleitung der Giitefunktion des Gaufi-Tests hat man aber gesehen, dafi g{ii) als Funktion von JJL noch von dem Signifikanzniveau a und dem Stichprobenumfang
10.2
425
Prinzipien des Testens
, i
P(A^)
1-
--j^yy^— / / / ; / / ' ' / ;/ / ;/ / /// ///
\ ^ ^ ' \ ^ '* \ ^ '• \
^ •'
\ \ •
\ \\ \\\ a -
t
—
y
1
Mo ABBILDUNG
n = 10 (
—
•
-
M
10.7: Skizze einer Giitefunktion des zweiseitigen GauB-Tests mit ), n = 20 (---), n = 50 (-•)
n abhangt. Diese Abhangigkeit werden wir im folgenden am Beispiel des Gaufi-Tests genauer untersuchen. Qualitatsprufung
Beispiel 10.9
Betrachten wir zunachst die Abhangigkeit der Giite eines Tests vom Stichprobenumfang n anhand des obigen Beispiels. Wir haben gesehen, dafi eine Abweichung von 0.5 cm nach oben vom SoUwert nur mit einer Wahrscheinlichkeit von 0,279 von dem statistischen Test entdeckt worden ware. Lafit sich diese Abweichung besser entdecken, wenn n vergrofiert wird? Zur Beantwortung dieser Frage sei nun n = 50 und n — 100 gewahlt. Es ergibt sich: • n = 50:
^(17.5) = 1 - $ ( 1 . 6 4 - 1 1 : ^ . V ^ )
• n = 100:
^(17.5) = 1 - $(1.64
17.5-17 1.5
1 - $ ( - 0 . 7 1 ) = 0.761, 1 - $ ( - 1 . 6 9 ) = 0.954,
d.h. schon fiir n = 50 ware die Abweichung von 0.5 cm mit einer WahrscheinUchkeit von 0.761 und fiir n = 100 schUefiUch mit einer WahrscheinUchkeit von 0.954 ziemlich sicher entdeckt worden (vgl. auch Abb. 10.8). Man kann also durch eine Vergrofierung des Stichprobenumfangs erreichen, dafi auch kleine Effekte bzw. kleine Abweichungen durch den statistischen Test entdeckt werden. Nur sollte man sich dabei fragen, ob die Entdeckung sehr kleiner Effekte unter substanzwissenschaftUchem Gesichtpunkt iiberhaupt sinnvoU ist, d.h. es ist vielleicht fraghch, ob dermafien kleine Effekte eigentUch noch interpretierbar sind. Der zweite Aspekt der Giitefunktion, den wir untersuchen wollen, betrifft ihre Abhangigkeit vom Signifikanzniveau a. Zu Beginn der Diskussion der Prinzipien statistischer Tests wurde angemerkt, dafi es nicht moglich ist, beide Fehlerwahrscheinlichkeiten gleichzeitig zu minimieren. Das miifite also zur Folge haben, dafi eine Veranderung von a auch eine Veranderung der Wahrscheinlichkeit fiir den Fehler 2. Art nach sich zieht und zwar insofern,
10. Testen von Hypothesen
426
ABBILDUNG 10.8: Giitefunktion des einseitigen GauBtests fiir verschiedene Stichprobenumfange n = 10 ( ), n = 20 ( ), n = 50 (••••), cr = 1.5
dafi eine Vergrofierung von a eine Verkleinerung von /? und umgekehrt bewirkt. Betrachten wir daher im obigen Beispiel a = 0.01 und Q; = 0.1 fiir /i = 17.5. Fiir a = 0.01 ergibt sich zi-a = >2^o.99 als 2.3262, und fiir a = 0.1 erhalt man als kritischen Wert zo.g = 1.2816 und somit • a = 0.01: • a = 0.1:
^(17.5) = 1 - $ ( 2 . 3 2 6 3 -
17.5-17 1.5
^(17.5) = 1 - $(l.2816 -
17.5-17. ^%^-^'^x/IO)
V T 0 ) = 1 - $ ( 1 . 2 7 ) = 0.102, = 1 - $(0.23) = 0.41.
Man sieht deutlich, dafi die Wahrscheinlichkeit fiir den Fehler 2. Art kleiner wird, wenn
ABBILDUNG 10.9: Giitefunktion des einseitigen Gaufitests fiir verschiedene Signifikanzniveaus a = 0.01 ( ), a = 0.05 ( ), a = 0.1 (-•••), cr = 1.5
10.2
Prinzipien des Testens
427
man bei der Wahrscheinlichkeit fiir den Fehler 1. Art gewisse Abstriche macht (vgl. auch Abb. 10.9). D
Folgende Eigenschaften einer Giitefunktion lassen sich zusammenfassen (vgl. auch Abb. 10.8, 10.9):
Eigenschaften einer Gutefunktion eines statistischen Tests 1. Fiir Werte aus Hi heifit die Gutefunktion Trennscharfe oder Macht. 2. Fiir Werte aus HQ ist die Giitefunktion kleiner gleich a. 3. Fiir wachsendes n wird die Macht eines Tests grofier, d.h. die Giitefunktion wird steiler. 4. Fiir wachsendes a wird die Macht eines Tests grofier. 5. Fiir eine wachsende Abweichung zwischen Werten aus Hi und HQ wird die Macht eines Tests grofier.
*Multiple Testprobleme Haufig sind an empirische Studien mehrere wissenschaftHche Fragen gekniipft, die alle anhand von Signifikanztests iiberpriift werden soUen. Gut-Schlecht-Prufung
Beispiel 10.10
Nehmen wir an, iiber die Qualitat eines Werkstiicks wird anhand dreier verschiedener Merkmale entschieden. Das Werkstiick wird als schlecht eingestuft, wenn mindestens eines der drei Qualitatsmerkmale als nicht erfiillt angesehen wird. Ob die Qualitatsanforderung erfiillt ist oder nicht, wird jeweils anhand eines statistischen Tests entschieden. Das heifit, es werden drei Tests durchgefiihrt und zwar jeweils zum Niveau a = 0.05. Mit welcher Fehlerwahrscheinlichkeit ist dann die Entscheidung iiber die Qualitat des Werkstiicks insgesamt behaftet? Dazu iiberlegt man sich, dafi das Werkstiick genau dann als schlecht eingestuft wird, wenn mindestens einer der drei Tests die entsprechende Nullhypothese verwirft, dafi das jeweihge Qualitatsmerkmal in Ordnung ist. Das Komplementarereignis dazu ist, dafi keiner der Tests ablehnt. Es gilt, da jeder der Tests ein Niveau-a-Test ist: Pffi {Hi verwerfen ) = 0.05
z = l,2,3.
Sind die Tests stochastisch unabhangig voneinander, berechnet sich die Wahrscheinlichkeit dafiir, dafi keiner der Tests ablehnt im Fall, dafi die NuUhypothesen gelten, als 0.95 • 0.95 . 0.95 = 0.85735 .
10. Testen von Hypothesen
428
Damit ist die Wahrscheinlichkeit, dafi mindestens einer der Tests falschlicherweise ablehnt, gegeben als 1-0.85735 = 0.14265. Das heifit, eine falsche Entscheidung iiber die Qualitat des Werkstiicks insgesamt in Form einer Bewertung als schlecht ist mit einer Wahrscheinlichkeit von 0.143 behaftet, also mit einer viel groCeren Fehlerwahrscheinlichkeit als jede einzelne Entscheidung. D
multiples Testproblem
SoUen aufgrund eines Datensatzes mehrere Testprobleme anhand von Signifikanztests iiberpriift werden, spricht man von einem multiplen Testproblem. Die Wahrscheinlichkeit, mindestens einen Fehler 1. Art zu begehen, wachst mit der Anzahl der durchzufiihrenden Tests. Im Fall von k unabhangigen Tests gilt in Verallgemeinerung von Beispiel 10.10 auf der Seite zuvor fiir die Wahrscheinlichkeit von a*, mindestens ein falschlicherweise signifikantes Ergebnis zu erhalten: l-(l-a)^
a
Wahlt man a = 0.05, vgl. Beispiel 10.10, so erhalt man k
3 5 10 100
BonferroniKorrektur
a* 0.143 0.226 0.401 0.994(!)
Zum Schutz gegen eine solche Uberschreitung einer vorgegebenen Fehlerwahrscheinlichkeit lafit sich etwa die Bonferroni-Korrektur anwenden, bei der jeder Test zum Niveau a/k statt zum Niveau a durchgefiihrt wird. Es gibt allerdings wesenthch subtilere Verfahren zur Korrektur, die in einschlagigen Werken zu finden sind.
10.3
Zusammenfassung und Bemerkungen
Vielen empirischen Untersuchungen liegt eine bestimmte Fragestellung iiber ein Merkmal in der Grundgesamtheit zugrunde, die mit Hilfe statistischer Methoden auf Stichprobenbasis geklart werden soil. Um den Einsatz statistischer Verfahren zu ermoglichen, mu6 die Fragestellung zunachst quantifiziert werden. Fiir den Fall, dafi diese bereits eine Vermutung beispielsweise iiber einen Parameter der Verteilung des interessierenden Merkmals in der Grundgesamtheit beinhaltet, wird die zu klarende Fragestellung dann als statistisches Testproblem formuliert. Ein solches Testproblem
10.3
Zusammenfassung und Bemerkungen
429
besteht aus einer Nullhypothese und einer Alternative^ wobei letztere in der Kegel die interessierende Forschungshypothese wiedergibt. Das geeignete Instrumentarium zur Losung eines statistischen Testproblems liefert nun ein statistischer Test. Dieser stellt eine formale Entscheidungsregel dar, mit der es m5glich sein soil zu unterscheiden, ob das in der Stichprobe beobachtete Verhalten ein reines Zufallsprodukt ist oder den Schlufi auf die Grundgesamtheit zulafit. Ein solcher statistischer Test basiert auf einer Priifgrofie bzw. Teststatistik^ die so konstruiert ist, dafi sie fiir das interessierende Testproblem sensibel ist und dafi ihre Verteilung unter der Nullhypothese bekannt ist. Damit lafit sich dann ein Bereich, der sogenannte Ablehnungsoder kritische Bereich^ ermitteln, der aus Werten der Priifgrofie besteht, deren Zustandekommen unter der Nullhypothese sehr unwahrscheinhch ware und die somit fiir die Alternative sprechen. Die Nullhypothese wird demnach abgelehnt, wenn der beobachtete Priifgrofienwert in dem Ablehnungsbereich liegt. Ansonsten wird sie beibehalten. Die Wahrscheinlichkeit fiir den Ablehnungsbereich unter der Annahme, dafi die Nullhypothese doch fiir die Grundgesamtheit zutrifft, soil also klein sein. Diese Wahrscheinlichkeit wird als Signifikanzniveau bezeichnet. Statistische Tests liefern demnach nie hundertprozentige Aussagen. Die Unsicherheit, die durch die Ziehung einer Zufallsstichprobe an den Daten haftet, iibertragt sich auf die Testentscheidung, wobei zwei Fehlentscheidungen moglich sind. Die Wahrscheinlichkeit fiir den Fehler 1. Art^ der darin besteht, die Nullhypothese zu verwerfen, obwohl sie fiir die Grundgesamtheit zutrifft, wird gerade durch das Signifikanzniveau nach oben begrenzt. Die Wahrscheinlichkeit fiir den Fehler 2. Art^ die Nullhypothese beizubehalten, obwohl die Alternative zutrifft, versucht man, moglichst klein zu halten. Man wahlt unter alien Tests zum Signifikanzniveau a denjenigen mit der kleinsten Wahrscheinlichkeit fiir den Fehler 2. Art bzw. mit der grofiten Trennschdrfe aus. Ein solcher Vergleich zwischen statistischen Tests erfolgt iiber die Giitefunktion^ die gerade die Wahrscheinlichkeit angibt, die Nullhypothese zu verwerfen. Sie beinhaltet damit sowohl Information liber das Signifikanzniveau als auch iiber die Trennscharfe. In Analogic zu dem kritischen Bereich eines Tests lassen sich alle Priifgrofienwerte, die nicht zur Ablehnung der Nullhypothese fiihren, in dem Annahmebereich des Tests zusammenfassen. Dieser entspricht bei einem Test zum Signifikanzniveau a gerade dem zugehorigen (1 — a)-Konfidenzintervall. Als weiterfiihrende Literatur, insbesondere hinsichtlich der Konstruktion von Teststatistiken, sei auf Riiger (1996) und Schlittgen (1996) verwiesen. Als zusatzliches Ubungsbuch bietet sich beispielsweise Hartung und Heine (1996) an. Alternativ zu dem obigen Vorgehen lassen sich statistische Tests auch mittels sogenannter p- Werte durchfiihren. Diese geben die Wahrscheinlichkeit an, unter der Nullhypothese den beobachteten Priifgrofienwert oder einen in Richtung der Alternative extremeren Wert zu erhalten. Dementsprechend wird die Nullhypothese bei Verwendung des p-Werts dann abgelehnt, wenn dieser kleiner oder gleich dem vor-
10. Testen von Hypothesen
430
gegebenen Signifikanzniveau ist. Ein zusatzliches Problem tritt dann auf, wenn mehrere statistische Tests auf Grundlage eines Datensatzes durchgefiihrt werden sollen. M a n spricht dann von einem multiplen Testproblem, Hier ist besondere Vorsicht geboten, da ohne Beriicksichtigung der Multiplizitat der Fragestellung signifikante Ergebnisse rein zufallig auftreten konnen. Verfahren, die davor schiitzen, finden sich beispielsweise in Hochberg und Tamhane (1987) und in Hsu (1996). Grundlegend fiir die Durchfiihrung statistischer Tests ist neben der Formulierung eines der praktischen Fragestellung angemessenen statistischen Testproblems die Bereitstellung einer geeigneten Priifgrofie. Diese hangt von der Skalierung des Merkmals, den Annahmen iiber die Verteilung der Stichprobenvariablen in der Grundgesamtheit und dem Testproblem ab. Wir haben hier den exakten und den approximativen Binomialtest zur Uberpriifung von Anteilen kennengelernt. Im Zusammenhang mit der Qualitatskontrolle wurde der Gaufi-Test eingefiihrt. Zur Vertiefung der fiir die Qualitatskontrolle relevanten Methoden sei z.B. das Buch von Rinne und Mittag (1994) genannt. Weitere konkrete Tests werden speziell in Kapitel 11, aber auch in den nachfolgenden behandelt.
10.4
Aufgaben
Aufgabe 10.1
Eine Verbraucherzentrale mochte iiberpriifen, ob ein bestimmtes Milchprodukt tJbelkeit bei den Verbrauchern auslost. In einer Studie mit zehn Personen wird bei sieben Personen nach dem Genufi dieses Milchprodukts eine auftretende tJbelkeit registriert. tJberprufen Sie zum Signifikanzniveau a = 0.05 die statistische NuUhypothese, dafi der Anteil der Personen mit tJbelkeitssymptomen nach dem Genufi dieses Produkts in der Grundgesamtheit hochstens 60 % betragt. Geben Sie zunachst das zugehorige statistische Testproblem an.
Aufgabe 10.2
Bisher ist der Betreiber des offentlichen Verkehrsnetzes in einer Grofistadt davon ausgegangen, dafi 35% der Fahrgaste Zeitkarteninhaber sind. Bei einer Fahrgastbefragung geben 112 der insgesamt 350 Befragten an, dafi sie eine Zeitkarte benutzen. Testen Sie zum Niveau Q; = 0.05, ob sich der Anteil der Zeitkarteninhaber verandert hat. Formulieren Sie die Fragestellung zunachst als statistisches Testproblem.
Aufgabe 10.3
Aufgrund einer Theorie iiber die Vererbung von Intelligenz erwartet man bei einer bestimmten Gruppe von Personen einen mittleren Intelligenzquotienten (IQ) von 105. Dagegen erwartet man bei Nichtgliltigkeit der Theorie einen mittleren IQ von 100. Damit erhalt man das folgende statistische Testproblem: HQ\ yL = 100 gegen
iJi : // = 105 .
Die Standardabweichung des als normalverteilt angenommenen IQs sei a • 15. Das Signifikanzniveau sei mit a = 0.1 festgelegt.
10.4
Aufgaben
431
(a) Geben Sie zunachst allgemein fiir eine Stichprobe vom Umfang n = 25 • den Ablehnungsbereich eines geeigneten statistischen Tests, • den Annahmebereich dieses Tests und • die Wahrscheinlichkeit fiir den Fehler 2. Art an. (b) Welchen Bezug haben die Wahrscheinlichkeiten fiir den Fehler 1. Art und fiir den Fehler 2. Art zur Giitefunktion dieses Tests? (c) In der Stichprobe ergibt sich ein mittlerer IQ von 104. Zu welcher Entscheidung kommen Sie? Ein Marktforschungsinstitut fiihrt jahrliche Untersuchungen zu den Lebenshaltungskosten durch. Die Kosten fiir einen bestimmten Warenkorb beliefen sich in den letzten Jahren auf durchschnittlich 600 € . Im Beispieljahr wurde in einer Stichprobe von 40 zufallig ausgewahlten Kaufhausern jeweils der aktuelle Preis des Warenkorbs bestimmt. Als Schatzer fiir den aktuellen Preis des Warenkorbs ergab sich ein mittlerer Preis von 605 € . Die Varianz a^ = 225 sei aufgrund langjahriger Erfahrung bekannt. Gehen Sie von einer Normalverteilung des Preises fiir den Warenkorb aus. (a) Hat sich der Preis des Warenkorbs im Vergleich zu den Vorjahren signifikant zum Niveau a = 0.01 erhoht? Wie lautet das zugehorige statistische Testproblem? (b) Was sagt der Fehler 2. Art hier aus? Bestimmten Sie die Wahrscheinlichkeit fiir den Fehler 2. Art unter der Annahme, daB 610 € der tatsachliche aktuelle Preis des Warenkorbs ist. Geben Sie zunachst die allgemeine Formel fiir die Giitefunktion des obigen Tests in diesem konkreten Testproblem an. (c) Wie grofi miifite der Stichprobenumfang mindestens sein, um bei einem Niveau von Q; = 0.01 eine Erhohung des mittleren Preises um 5 € als signifikant nachweisen zu konnen. tJberlegen Sie sich dazu eine allgemeine Formel zur Bestimmung des erforderlichen Stichprobenumfangs.
Aufgabe 10.4
11 Spezielle Testprobleme
Nachdem im vorangehenden Kapitel die grundlegende Struktur von Signifikanztests dargestellt wurde, werden in diesem Kapitel exemplarisch Testverfahren zu einigen Standardproblemen behandelt. Die betrachteten Problemstellungen stehen in engem Zusammenhang mit dem Typ der erhobenen Daten. Zur Einfiihrung werden kurz unterschiedliche Problemstellungen und Datensituationen skizziert. Ein-Stichproben-Fall - Untersuchung einer Verteilung
Von Interesse ist die Verteilung eines Untersuchungsmerkmals, beispielsweise der Nettomiete in einem bestimmten Wohnviertel. Ausgehend von einer einfachen Stichprobe vom Umfang n soUen nun bestimmte Eigenschaften dieses Merkmals mit Hilfe statistischer Tests untersucht werden. Hypothesen liber die Eigenschaften des Untersuchungsmerkmals konnen die gesamte Verteilung betreffen oder aber nur bestimmte Kennwerte der Verteilung wie Erwartungswert, Median Oder Varianz zum Gegenstand haben. Eine Nullhypothese vom letzteren Typ der Kennwertuntersuchung ist beispielsweise Ho : "Die zu erwartende Nettomiete in einem bestimmten Wohnviertel betragt 8 € / q m " . Eine Hypothese vom erst en Typ, die die gesamte Verteilung spezifiziert, ist HQ : "Die Nettomiete ist normalverteilt". Unabhangige Stichproben ~ Vergleich von Verteilungen
Das Untersuchungsmerkmal wird unter zwei unterschiedlichen Bedingungen bzw. in unterschiedlichen Teilgesamtheiten separat erhoben. Man erhalt entsprechend zwei Stichproben, fiir jede Bedingung bzw. Teilgesamtheit eine, wobei die Stichproben voneinander unabhangig sind. Die Hypothesen beziehen sich nun auf den Vergleich der beiden zugrundeliegenden Verteilungen des Merkmals. Einfache Beispiele fiir NuUhypothesen zum Vergleich von Kennwerten sind
434
11. Spezielle Testprobleme
HQ : "Die zu erwartende Nettomiete in den Wohnvierteln A und B ist identisch". I Ho : "Das zu erwartende Einkommen mannlicher und weiblicher Arbeitnehmer (in vergleichbarer'Position einer Branche) ist gleich". Einem Vergleich der gesamten Verteilung entspricht die Nullhypothese HQ :
"Das Einkommen mannlicher Arbeitnehmer besitzt dieselbe Verteilung wie das Einkommen weiblicher Arbeitnehmer".
Verbundene Messungen - Vergleich von Verteilungen
verbundene Messungen
Will man untersuchen, wie sich ein Merkmal unter verschiedenen Bedingungen verhalt, ist es oft sinnvoU, das Merkmal unter diesen Bedingungen an denselben Stichprobenelementen zu messen. Interessiert man sich beispielsweise fiir den Umfang des Vokabulars einer Premdsprache vor und nach einem Erganzungskurs in dieser Sprache, ist es naheliegend, dieselben Teilnehmer vor und nach dem Kurs zu testen. Da die Merkmalvarianten derselben Untersuchungseinheiten gemessen werden, spricht man auch von verbundenen Messungen. Vergleichen lassen sich nun ^ j ^ j ^ ^ p^^^ unabhangiger Stichproben - die Verteilungen des Merkmals unter den beiden Bedingungen, beispielsweise durch die Nullhypothese HQ :
"Die zu erwartende Anzahl richtiger Wortiibersetzungen vor und nach dem Sprachkurs unterscheidet sich um 10".
Vollig analog lassen sich wochentliche Absatzzahlen einzelner Filialen vor und nach einer Werbekampangne untersuchen durch Ho :
"Der zu erwartende Zuwachs an wochentlichem Absatz betragt 100 Einheiten".
Zusammenhangsanalyse aus verbundenen Messungen
In Fragestellungen nach dem Zusammenhang zweier Variablen, beispielsweise dem Mietpreis und der Quadratmeterzahl, miissen beide Variablen an jeweils denselben Wohnungen erhoben werden. Man geht also wiederum von verbundenen Messungen aus. Interessante Hypothesen betreffen beispielsweise die Starke dieses Zusammenhangs, z.B. in den NuUhypothesen
11.1 Ein-Stichproben-Fall
Ho: HQ :
11.1
435
"Die Korrelation zwischen Mietpreis und Quadratmeterzahl tragtO.8", "Geschlecht und Parteipraferenz sind unabhangig".
be-
Ein-Stichproben-Fall
Ziel ist es, die Eigenschaften einer Zufallsvariable X zu untersuchen. Dazu wird im folgenden vorausgesetzt, dafi Xi^... ^Xn unabhangige Wiederholungen dieser Zufallsvariable sind. 11.1.1
Tests zu Lageaiternativen
t-Test fiir den Erwartungswert
Die als erste betrachtete Testsituation entspricht der aus Abschnitt 10.1: Ein hypothetischer Erwartungswert /io soil verglichen werden mit dem tatsachlichen, unbekannten Erwartungswert /i = E{X). Entsprechend sind die Hypothesen dieselben wie fiir den GauiJ-Test. Das Hypothesenpaar zum zweiseitigen Test besitzt die Form i7o : /^ = Mo
Hi: 11^ jiQ,
Beim einfachen Gaufi-Test wird vorausgesetzt, dafi die zugrundeliegende Zufallsvariable X normalverteilt ist mit bekannter Varianz cr^. Entsprechend lafit sich als Teststatistik die Zufallsvariable a anwenden. In vielen Testsituationen ist jedoch a^ nicht bekannt, so dafi Z als Testgrofie nicht in Frage kommt. Die Gaufi-Teststatistik Z enthalt im wesentlichen das Stichprobenmittel X als sensiblen Indikator fiir das unbekannte //, Z selbst stellt nur eine normierte Version von X dar, deren Verteilung unter HQ bekannt ist. Eine Testgrofie, die als wesentliches Element wiederum das Stichprobenmittel X enthalt, allerdings anders normiert ist, ist der sogenannte t-Test X — fio
^
wobei 5^ = J2i^i ~~ ^ ) ^ / ( ^ ~ 1) die Stichprobenvarianz bezeichnet und S = Vs^ die entsprechende Standardabweichung ist. Die Statistik T unterscheidet sich von Z nur im Nenner. Das nun unbekannte a in Z wird ersetzt durch die geschatzte Standardabweichung S. Von Teststatistiken wird erwartet, dafi
t-Test
436
11. Spezielle Testprobleme
• sie sensibel fiir das Testproblem sind, • die Verteilung unter HQ bekannt ist.
Die erste Bedingung ist erfiillt, da T eine "normierte" Version von X darstellt. Die zweite Bedingung ist ebenfalls erfiillt, da T fiir // = //o eine bekannte und tabellierte Verteilung, namlich eine t-Verteilung mit n — 1 Preiheitsgraden, besitzt. In voUiger Analogie zum Gaui5-Test wird HQ abgelehnt, wenn T zu grofie oder zu kleine Werte annimmt. Um das Signifikanzniveau a einzuhalten, wird HQ abgelehnt, wenn T < ^a/2(^ — 1) ^der T > ^i-a/2(^~ 1)? wobei tQ;/2(^"" 1) das (Q;/2)-Quantil der t-Verteilung mit n—1 Preiheitsgraden bezeichnet und ti_(^/2{ri—l) das entsprechende (1 — a/2)-Quantil. Der Unterschied zum Gaufi-Test liegt also darin, dafi die Quantile der Standafdnormalverteilung durch die entsprechenden Quantile der t-Verteilung mit n — 1 Preiheitsgraden ersetzt werden. Bei einseitigen Problemstellungen wird entsprechend HQ abgelehnt, wenn T zu grofie bzw. zu kleine Werte annimmt. Die Nullhypothese HQ
: /i < /xo
wird daher zugunsten von ffi : /x > /io abgelehnt, wenn T das (1 — a)-Quantil der t-Verteilung mit n — 1 Preiheitsgraden iiberschreitet, d.h. wenn T > ti_Q,(n — 1). Die Nullhypothese
wird abgelehnt, wenn T
11.1 Ein-Stichproben-Fall
437
t-Test (Ein-Stichproben-Fall)
X i , . . . , Xn unabhangig und identisch verteilt mit X ~ N{fi^ a'^) bzw. beliebig verteilt bei n > 30
Annahmen:
Hypothesen:
Teststatistik:
(a)
HQ:II
(fe)
Ho:fi>fio
(c)
iJo : M < A^o Hi\ ii> jio
T = ^ ^
= iXQ F i
: /i 7^ /XQ
i?i : /i < /^o
V^
Verteilung unter ji = fio: t{n — 1), fiir n > 30 approximativ N{0^ 1) Ablehnungsbereich:
(a)
\T\
>
ti_,/2(n-l)
(6)
r
<
t,(n-l) = -ti_^(n-l)
(c)
r
>
ti.a{n-l)
Fiir n > 30 ersetze t ( n - 1)-Quantile durch A/'(0,1)Quantile.
Kontrollkarten fur Bleistiftlangen
Beispiel 11.1
In Beispiel 10.6 (Seite 410) wurden die Kontrollgrenzen bestimmt, deren Uberschreiten eine Entartung des Produktionsprozesses signalisiert. Ausgangspunkt war dort eine zugrundeliegende Normalverteilung mit bekannter Varianz. Wir woUen hier dieselbe Problemstellung betrachten, allerdings ohne die Annahme bekannter Varianz. Das produzierte Werkstiick sind Bleistifte mit einer SoUange von 17 cm, d.h. man betrachtet das Hypothesenpaar HQ:
fi = 17
gegen
iJi : /i ^ 17.
Als Daten ergeben sich die fiinf Bleistiftlangen 19.2 cm, 17.4 cm, 18.5 cm, 16.5 cm, 18.9 cm. Aus Beispiel 10.6 (Seite 410) kennt man bereits :r = 18.1. Man berechnet damit die Stichprobenvarianz s^ = 1.265, und daraus X -
fJ.0 y/n
••
18.1-17 V5 = 2.186. 1.125
Der kritische Wert ergibt sich nun als (1 — a/2)-Quantil der t{n — 1)-Verteilung, d.h. fiir a = 0.01 erhalt man ^.995(4) = 4.604. Da fiir die Realisation von T gilt |2.186| < 4.604, wird HQ beibehalten.
11. Spezielle Testprobleme
438
In Beispiel 10.6 wurde von der bekannten Varianz cr^ = 2.25 ausgegangen. Entsprechend lafit sich der Gaufi-Test durchfiihren, der bei a = 0.01 die kritische Schranke 2.579 liefert. Die entsprechende kritische Schranke des t-Tests (bei n = 5 Beobachtungen) ist mit 4.604 wesentlich hoher. Darin driickt sich die grofiere Unsicherheit aus, die entsteht, wenn die wahre Varianz cr^ durch die Schatzung 5^ ersetzt wird. Technisch betrachtet, ist die grofiere kritische Schranke des ^-Tests darauf zuriickzufiihren, dafi die ^-Verteilung bzw. StudentVerteilung im Vergleich zur Standardnormalverteilung weniger Masse im Zentrum um 0 konzentriert und dafiir mehr Masse in den Enden enthalt. Fiir wachsenden Stichprobenumfang n —> oo verschwinden allerdings die Unterschiede zwischen ^-Verteilung und Standardnormalverteilung und die kritischen Schranken beider Tests werden identisch. Dies ist ein Ausdruck dafiir, dafi die Schatzung von a^ durch 5^ mit wachsendem Stichprobenumfang zunehmend genauer wird. Deshalb kann man ab einem Stichprobenumfang von etwa 30 die Quantile der t-Verteilung durch die Quantile der Normalverteilung ersetzen. D
Nonparametrische Tests zur Lage der Verteilung
nonparametrisch verteilung sfrei
Gaufi- und t-Test setzen zumindest fiir kleinen Stichprobenumfang eine Normalverteilung des zugrundeliegenden Merkmals X voraus. Ist die Abweichung von dieser Annahme sehr stark, beispielsweise bei einem erheblich rechtsschiefen Merkmal, empfiehlt es sich nicht, diesen Tests zu vertrauen. Eine Alternative sind sogenannte nonparametrische bzw^. verteilungsfreie Tests. Der Begriff nonparametrisch bezieht sich darauf, dafi nicht die Parameter der Verteilung, beispielsweise A bei Po(A), im Vordergrund stehen, sondern generelle Charakteristika wie Median oder Quantile. Der Begriff verteilungfrei erfafit den wesentlichen Sachverhalt, dafi die Verteilung der Teststatistik "unter i?o" nicht von der Verteilung des zugrundeliegenden Merkmals abhangt. Im folgenden werden zwei einfache Testverfahren fiir den Median betrachtet, wobei vorausgesetzt wird, dafi X eine stetige Verteilungsfunktion besitzt. Das Testproblem ist bestimmt durch das Hypothesenpaar ^ 0 • ^med
= So
Hi'.
Xmed ¥" ^0,
wobei Xmed den unbekannten Median des Merkmals X bezeichnet und 5Q ein vorgegebener, hypothetischer Wert ist. Aus den unabhangigen Wiederholungen X i , . . . , X^ lafit sich eine Priifgrofie bestimmen, deren Verteilung unter HQ einfach anzugeben ist. Man betrachtet A = Anzahl der Xi mit einem Wert kleiner als SQ. Unter der Vorausetzung, dafi HQ wahr ist, kann m a n jedes Ziehen von Xi Bernoulli-Experiment betrachten mit den beiden Ausgangen
{Xi<5o}
und
{Xi>So}.
als
11.1
439
Ein-Stichproben-Fall
Da die Wahrscheinlichkeit fiir das Eintreten von {Xi < SQ} genau n = 0.5 betragt, erhalt man unmittelbar Der zugehorige Signifikanztest, der sogenannte Vorzeichentest oder sign-Test^ lehnt die NuUhypothese ab, wenn A nach oben oder unten stark abweicht. Die Grenzen der Abweichungen bestimmen sich so, dafi die Wahrscheinlichkeit flir ein derart extremes Ereignis kleiner oder gleich einem vorgegebenen a ist. Das fiihrt zur Ablehnung der NuUhypothese, wenn A < K/2 oder n- A< b^j2,
Vorzeichentest
wobei 6Q,/2 der groiJte Wert ist, fiir den die jB(n, 0.5)-Verteilungsfunktion den Wert a/2 nicht iiberschreitet. Es gilt also P{A < b^/2) < a/2
und
P{A < b^/2 + 1) > a/2.
Das Signifikanzniveau a wird dadurch haufig nicht ganz ausgeschopft, das tatsachhche Signifikanzniveau ist 2(a/2 — P{A < fea/2)) ^^^ damit eventuell kleiner als a. Tests, die das Signifikanzniveau nicht voU ausschopfen, heifien auch konservativ. Alternativ lafit sich der Test durchfiihren mit dem p-Wert (der Uberschreitungswahrscheinlichkeit). Der p-Wert gibt die Wahrscheinlichkeit wieder, dafi die Teststatistik bei Giiltigkeit von HQ den beobachteten Priifgrofienwert oder einen in Richtung der Alternative extremeren Wert annimmt. Man berechnet also zu dem realisierten Priifgrofienwert a, sofern a < n/2, die Wahrscheinlichkeiten PiA = 0), P{A = l),...,P{A
= a)
fiir die potentielle Abweichung nach unten. Wegen der Symmetric der Verteilung erhalt man p = 2 ( P ( ^ = 0) + . . . + P(A = a)). Gilt a > n/2 ergibt sich P{A = n ) , . . . , P(A = a) als Abweichung nach oben und damit p = 2{P{A = n) + "- + P{A = n- a)). Flir a = n/2, was nur fiir gerades n auftreten kann, ist der p-Wert im zweiseitigen Fall gleich Eins. Bei einseitigen Testproblemen ergibt sich der p-Wert vollig analog, allerdings [-P{A = a) bestimmt bei Hi: Xmed > So- Fiir Hi: Xmed < wird nur p = P{A = 0)-\ \- P{A = a) ermittelt werden. Wegen der So mufi logischerweise p = P(A = n) + \-P{A = a). Symmetric der Verteilung ist das jedoch identisch mit p = P{A = 0) H Aus der Konstruktion des Testverfahrens ergibt sich unmittelbar, dafi es geniigt, fiir X ordinales Skalenniveau anzunehmen, da nur betrachtet wird, ob eine Realisation kleiner oder grofier als der hypothetische Wert 60 ist. Die Voraussetzungen des
konservativer Test
11. Spezielle Testprobleme
440
Vorzeichentests sind genau genommen etwas starker. Man lafit nur Verteilungsfunktionen zu, die dieselbe Form besitzen, allerdings jeweils um einen Lageparameter verschoben sind. Wie sich aus der folgenden Ubersicht ergibt, lafit sich der Vorzeichentest auch auf einseitige Hypothesen anwenden.
Vorzeichen-Test
Annahmen: Hypothesen:
Teststatistik:
X i , . . . , Xn unabhangige Wiederholungen, X besitzt stetige Verteilungsfunktion (a)
Ho : Xmed = So
Hi:
Xmed 7^ ^0
(b)
Ho : Xmed > ^0
Hi:
Xmed < ^0
(c)
Ho : Xmed < ^0
Hi:
Xmed > ^0
A = Anzahl der Stichprobenvariablen mit einem Wert kleiner als So
Verteilung unter 5(n,0.5), fiir n > 25 approximativ Ar(0.5n,0.25n) Ablehnungsbereich:
(a) (6) (c)
A < 6Q,/2 oder nA
n
A < 6a/2
Die kritischen Schranken 6Q,/2 ^^d b^ sind bestimmt durch B{b^/2)<
B{ba)<
C./2
< 5 ( 6 , / 2 + l)
a
wobei B die Binomialverteilungsfunktion zu B(n, 0.5) bezeichnet. Alternativ wird in (b) Ho abgelehnt, wenn A > oi_a, wobei die obere kritische Schranke oi_a bestimmt ist durch B ( o i _ c . ) < l - a < 5 ( o i _ a + l).
GelegentHch treten bei diesem Test auch Mefiwerte auf, die mit dem postuherten Median So identisch sind. Da diese Beobachtungen nichts liber die Richtung der Abweichung von der Nullhypothese aussagen, werden sie meist ignoriert, d.h. der Test wird nur mit den verbleibenden Messungen durchgefiihrt. Dadurch reduziert sich der benutzte Stichprobenumfang n um die Anzahl der Messungen, die den Wert
11.1
Ein-Stichproben-Fall
441
So besitzen. Da eine zusatzliche, dem Test zugrundeliegende Annahme die Stetigkeit der Verteilung ist, soUten derartige Mefiwerte nicht zu haufig auftreten.
Beispiel 11.2
Bleistiftlange
Betrachten wir das Problem der Bleistiftlange aus Beispiel 11.1 (Seite 437). Das analoge Hypothesenpaar ist Ho : Xmed = 17
Hi : Xmed ¥" ^^
mit den Daten 19.2 cm, 17.4 cm, 18.5 cm, 16.5 cm, 18.9 cm. Man berechnet daraus unmittelbar A = 1, da nur ein einziger Bleistift kleiner als 17 cm ist. Wenn HQ wahr ist, d.h. A ~ J5(5,0.5) gilt, erhalt man die Wahrscheinlichkeitsverteilung bzw. die Verteilungsfunktion P{A <x) = B(x|5,0.5) durch 0
P{A = x) J3(x|5,0.5)
0.0313 0.0313
1 0.1562 0.1875
0.3125 0.5000
0.3125 0.8125
0.1562 0.9687
0.0313 1.0000
Zu a = 0.1 ergibt sich 6o.05 durch 0, da B(0|5,0.5) < 0.05 < B(l|5,0.5). Folglich wird Ho nicht verworfen. Alternativ lafit sich der Test mit dem Konzept des p-Werts durchfiihren. Die Abweichungen, die noch starker oder genauso stark fiir Hi sprechen wiirden als der Beobachtungswert A = 1, sind bestimmt durch A = 0,A = 1 (nach unten) und A = 5, A = 4 (nach oben). Der entsprechende p-Wert ist p = P(A = 0) + P{A = 1) + P{A = 5) + P{A = 4) = 2{P{A = 0) + P{A = 1)) = 0.375. Bei einem Signifikanzniveau von a = 0.1 ergibt sich ein p-Wert, der grofier ist als a, damit wird Ho beibehalten. D
Der Vorzeichentest besitzt als verteilungsfreier Test die angestrebte Eigenschaft, dafi die Verteilung der Teststatistik nicht von der Verteilung des Merkmals abhangt. Die Verteilung der Teststatistik lafit sich hier sehr einfach nachvoUziehen. AUerdings wird dies dadurch erreicht, dafi von den Daten nur benutzt wird, ob sie kleiner oder grofier als der hypothetische Wert So sind. Bei anderen verteilungsfreien Tests, die die in den Daten enthaltene Information effektiver nutzen, ist die Verteilung der Teststatistik schwieriger abzuleiten. Ein Test dieser Art ist der im folgenden dargestellte Wilcoxon- Vorzeichen-Rang- Test.
WilcoxonVorzeichen-Rang- Test
442
11. Spezielle Testprobleme Die Konstruktion der Teststatistik erfolgt hier in mehreren Schritten:
1. Berechne die Differenzen Di = Xi — SQ^ i = 1 , . . . , n. 2. Bilde die zugehorigen betragsmafiigen Differenzen |Z)i|,..., |Dn|3. Ordne diesen betragsmafiigen Differenzen Range zu, d.h. der kleinste Betrag erhalt den Rang 1, der zweitkleinste Betrag den Rang 2, usw.
Bezeichnet rg\Di\ den Rang von |Di|, ergibt sich die Teststatistik als die Summe n W"" ^^rg i=i
\Di\Zi
mit
I 1 wenn Di>0 Zi = I 0 wenn A < 0.
W'^ stellt damit die Summe liber alle Range dar, die zu Beobachtungen gehoren, fiir die Xi > SQ^ d.h. A > 0 gilt. Die Variable Zi hat nur eine Auswahlfunktion. Als Indikatorvariable mit den Auspragungen 0 und 1 wahlt sie genau die Beobachtungen aus, fiir die Di> 0 gilt. Man kann sich einfach iiberlegen, dafi W~^ sensibel fiir den zugrundehegenden wahren Median ist. 1st der wahre Median tatsachhch SQ^ soUten bei symmetrischer Verteilung die Summen der Range mit Di > 0 und mit Di <0 etwa gleich sein. Man erhalt als Erwartungswert E(W~^) = n{n + l)/4, d.h. die Halfte der totalen \- rg (Dn) = 1 H \-n = n{n + l ) / 2 . Rangsumme rg {Di) H Ist der wahre Median kleiner als (JQ^ li^gt der Erwartungswert niedriger, da die Anzahl der Stichprobenvariablen, die grofier als 5Q sind, tendenzmafiig absinkt. Entsprechend ist der Erwartungswert grofier, wenn der wahre Median grofier ist. Daraus ergibt sich die im folgenden gegebene Testprozedur, wobei die kritischen Werte der Verteilung von W'^ tabelliert sind (siehe Tabelle F). Diese Verteilung hangt wiederum nicht von der Verteilung des zugrundehegenden Merkmals X ab.
11.1
443
Ein-Stichproben-Fall
Wilcoxon-Vorzeichen-Rang-Test Annahmen:
Hypothesen:
Teststatistik:
X i , . . . , Xn unabhangig und identisch verteilt wie X. X metrisch skaliert und symmetrisch verteilt. Verteilungsfunktion stetig. (a)
Ho : Xmed = ^0
Hi : Xmed 7^ ^0
(6)
Ho : Xmed >So
Hi:
(c)
iJo • Xmed ^ ^0
Hi I Xmed > ^0
W^ =
Xmed < ^0
f:r9\Di\Zi 2=1 •
mit Di = Xi-
So,
Zi = < 1 0
A>o A
Fiir n > 20 ist W+ approximativ verteilt nach N ( ^ ^ , Ablehnungsbereich:
(a)
W^+ < i/;+/2
Oder
n(n+iK2n+i)y
W^+ > ^ + _ ^ / 2
(b) W^ < w+ (c) W + > < _ , wobei w^ das tabellierte a-Quantil der Verteilung von W~^ ist.
Bei grofien Stichproben lafit sich die Verteilung von W~^ durch eine Normalverteilung annahern mit Erwartungswert /JLW = ^ ( ^ + l ) / 4 und Varianz a ^ = (n{n + l)(2n + l))/24. W'^ wird dann approximativ ersetzt durch die standardnormalverteilte Grofie {W~^ — i2w)/o'w^ und die Quantile w'^ und w^_^ werden durch die Quantile der Standardnormalverteilung aus Tabelle A zi+a bzw. zi-^ ersetzt. Bei der Durchfiihrung dieses Tests erhalt man gelegentlich sogenannte Bindungen. Man spricht von Bindungen oder Ties, wenn identische Werte oder die Null auftreten. Der erste Bindungstyp liegt vor, wenn \Di\ = \Dj\ fiir zwei oder mehr Differenzen gilt. Man bildet dann die Durchschnittsrange, d.h. den Durchschnitt iiber die Range, die diesen Auspragungen zukommen wiirden, wenn man die Bindung ignorieren und fortlaufend Range vergeben wiirde. Ein einfaches Beispiel ist gegeben durch r9\Di\
2.5 3.8 4.1 4.1 4.1 4 2 1 4 4
Bindungen Ties
444
11. Spezielle Testprobleme
Hier wiirden den letzten drei Messungen die Range 3, 4 und 5 zugeordnet. Stattdessen erhalt jeder dieser Werte den Durchschnittsrang (3 + 4 + 5 ) / 3 = 4. Wenn Di = Xi — 6o — 0 gilt, wird diese Beobachtung weggelassen, der fiir die Tabelle relevante Stichprobenumfang reduziert sich dann u m diesen Wert. Bei mehreren Bindungen dieses Typs reduziert sich der Stichprobenumfang entsprechend starker. Beispiel 11.3
Mietspiegel Es soil iiberpriift werden, ob die durchschnittliche Quadratmetermiete fiir Wohnungen unter 50 m^, die nach 1983 gebaut warden, groBer ist als der aus einer anderen Stadt bekannte Durchschnittswert von 8 € / q m . Das Hypothesenpaar hat also die Form i^ = S
HQ:
F i : /i > 8.
Eine Teilstichprobe von n = ll Wohnungen ergab Xi
X2
Xs
X4
Xs
XQ
X7
Xg
Xg
Xio
Xn
13.22
6.81
10.22
14.03
8.04
10.16
9.43
13.07
13.63
5.05
11.63
Unter der Annahme der Normalverteilung des Merkmals Nettomiete/qm wird ein t-Test durchgefiihrt. Mit x = 10.48, s^ = 8.82 ergibt sich t=
X-8
s
r-
v ^ = 2.770.
Fiir a = 0.05 ergibt sich die kritische Schranke ^.95(10) = 1.8125, und HQ wird abgelehnt. Die Bestimmung des p-Wertes, also P{T > 2.77) unter der Hypothese, HQ ist wahr, ergibt 0.020, d.h. ein der art extremes Ergebnis ist nur mit relativ kleiner Wahrscheinlichkeit moglich, wenn fi = S gilt. Fiir das Hypothesenpaar ^ 0 : Xmed = 8
Hi
: Xmed > 8
lassen sich der Vorzeichen-Test oder der Wilcoxon Vorzeichen-Rang-Test anwenden. Unter Ho gilt beim Vorzeichentest A ~ 5(11,0.5) und man erhalt mit der Reahsation a = 2 den p-Wert p = P(A = 11) + P{A = 10) + P{A = 9) = P{A = 0) + P{A = 1) + P{A = 2) = S(2,0.5) = 0.0327. Der p-Wert ist zwar groBer als fiir den t-Test aber immer noch deutlich unter a = 0.05; somit wird HQ abgelehnt zum Signifikanzniveau a = 0.05. Als informationsintensiverer Test laBt sich noch der Wilcoxon-Vorzeichen-Rang-Test durchfiihren. Dazu bildet man als erstes die Differenzen Di = Xi — 5o, also Di=Xi — 15.5. Man erhalt
11.1
445
Ein-Stichproben-Fall
i Di
|A| \w\Di\
10 11 2 3 4 5 6 7 8 9 1 5.22 -1,19 2.22 6.03 0.04 2.16 1.43 5.07 5.63 -2.95 3.63 5.22 1.19 2.22 6.03 0.04 2.16 1.43 5.07 5.63 2.95 3.63 6 7 9 2 5 11 1 4 3 8 10
Daraus ergibt sich W^+= 14-3 + 4 + 5 + 7 + 8 + 9 + 1 0 + 11 = 58. Bei einem kritischen Wert von wf_^{n) =WQ g^{ll) = 51 erweist sich auch dieser Test als signifikant zum Niveau a = 0.05. D
11.1.2
Anpassungstests
Im vorhergehenden Abschnitt gait das Interesse nur der Lage der Verteilung. Einige der dort betrachteten Verfahren beruhen auf der expliziten Annahme, dafi das zugrundeliegende Merkmal normal vert eilt ist. 1st diese Voraussetzung jedoch zweifelhaft, ist zusatzlich zu untersuchen, ob dieser Zweifel nicht gerechtfertigt ist. Man mochte somit iiberprufen, ob das interessierende Merkmal einem bestimmten Verteilungstyp^ namlich der Normal verteilung folgt. In anderen Problemstellungen kann die zu untersuchende Verteilung voUstandig gegeben sein. Weifi man beispielsweise, dafi die Preise von Zwei-Zimmerwohnungen in Deutschland iV(/io, CTQ)verteilt sind mit bekanntem (/XO^CTQ)' stellt sich die Frage, ob dieselbe Verteilung auch in Miinchen vorliegt. Generell liberpruft man in derartigen Problemstellungen, ob die tatsachliche Verteilung einer vorgegebenen Verteilung entspricht, d.h. ob die Daten dieser Verteilung hinreichend angepafit sind. Man spricht daher auch von Anpassungs- oder Goodness-of-fit-Tests. Im folgenden werden Testverfahren betrachtet, die fiir nominal- oder hoherskalierte Merkmale geeignet sind.
Goodness-of-fitTests
X^-Test fiir kategoriale Merkmale
Beispiel 11.4
Wiirfeln
Bestehen erhebliche Zweifel daran, dafi ein Wiirfel fair ist, ist es naheliegend, diese Eigenschaft experimentell zu untersuchen. Die Ergebnisse eines Wtirfeldurchgangs von beispielsweise 1000 Wlirfen flihrt zur folgenden Kontingenztabelle Augenzahl Anzahl der aufgetretenen Augenzahlen
1 162
2 160
3
4
5
6
166
164
170
178
Bei einem fairen Wiirfel ware die zu erwartende Anzahl in jeder Zelle 166.66. Zu entscheiden ist, ob die beobachtete Abweichung der Anzahlen als signifikant zu betrachten ist, so dafi man nicht weiterhin von der Fairness dieses konkreten Wiirfels ausgehen kann. D
446
11. Spezielle Testpro bleme
Im Beispiel des fairen Wiirfels wird ein nominales Merkmal, die Augenzahl, betrachtet. Zu diesem Merkmal gibt es eine Hypothese iiber die Wahrscheinlichkeiten des Auftetens bestimmter Auspragungen, d.h. eine Hypothese (iber die Verteilung des Merkmals, die ja durch diese Wahrscheinlichkeiten bestimmt ist. Fiir das Wiirfelbeispiel ist es die diskrete Gleichverteilung iiber die Kategorien 1 , . . . , 6. In anderen Anwendungen, beispielsweise bei der Sonntagsfrage mit fiinf Parteien, konnte die Hypothese durch die bei der letzten Wahl erreichten Anteile bestimmt sein. Man interessiert sich dann dafiir, ob tatsachhch eine Veranderung der Parteipraferenzen stattgefunden hat. Formal betrachtet man n unabhangige Wiederholungen X i , . . . , X^ des kategorialen Merkmals X E { 1 , . . . , A:}. Die relevante Information wird in einer Kontingenztabelle zusammengefafit Auspragungen von X Haufigkeiten
1 hi
2 /i2
... ...
k hk
Die hypothetisch angenommene Verteilung wird als Nullhypothese fomuliert Ho : P{X = i) = m,
z = 1 , . . . , fc,
wobei TTi,... ,7r/i; fest vorgegebene Werte darstellen. Fiir das Wiirfelbeispiel erhalt man Ho: P{X = i) = l/6, i=:l,...,6. Fiir die Sonntagsfrage mit X = Parteipraferenz stellen die Wahrscheinlichkeiten TTI die bekannten Ergebnisse der letzten Wahl dar. Die Alternativhypothese ist das logische Pendant Hi : P{X = i) ^ 1/6
fiir mindestens ein i.
Es sollte offensichtlich sein, dafi - auch wenn die Nullhypothese wahr ist - die relativen Haufigkeiten hi/n i.a. ungleich den postulierten Auftretenswahrscheinlichkeiten sind. Die Haufigkeiten stellen natiirhch das Ergebnis eines Zufallsexperimentes dar, wobei man sich einfach iiberlegt, dafi die Haufigkeiten in Zelle i eine binomialverteilte Zufallsvariable darstellen. Indem man aus den n unabhangigen Wiederholungen nur die Information verwendet, ob die Beobachtung in Zelle i fallt oder nicht, ergibt sich unter der Annahme P{X = i) = 7ri, also der Nullhypothese, die Verteilung hi r^ B{n,ni). Daraus folgt, dafi E{hi) = nni gilt, d.h. unter der Nullhypothese sind nni Beobachtungen in Zelle i zu erwarten. AUerdings ist mit einiger Variation um diesen
11.1
Ein-Stichproben-Fall
447
Erwartungswert zu rechnen. Die Starke dieser Variation lafit sich durch die Varianz Var{hi) = n7ri{l — iTi) erfassen. WoUte man jede Zelle einzeln auf Giiltigkeit von P{X = i) = TTI testen, liefie sich der Binomialtest anwenden. Eine simultane Teststatistik zu HQ : P{X = i) = TTi, i = 1 , . . . , fc, die die Abweichung von der NuUhypothese bewertet, lafit sich nun so konstruieren, dafi man fiir jede Zelle die tatsachlich beobachtete Haufigkeit hi mit der unter der NuUhypothese zu erwartenden vergleicht. Dazu betrachtet man die quadrierten Differenzen zwischen diesen Werten, die man aufierdem noch geeignet normiert, um die Verteilung der zu konstruierenden Teststatistik bestimmen zu konnen. Die Summe dieser normierten Abweichungen liefert dann die x^-Statistik
2 = Y^ (^i - 'T^^iY . ,
riTTi
Fiir grofies n {n-^ CXD) ist x^ unter HQ approximativ x^-verteilt mit k — 1 Freiheitsgraden, d.h.
X'^x'{k-l).
Der Verlust eines Freiheitsgrades ist darauf zuriickzufiihren, dafi die Anzahlen / i i , . . . , /ifc nicht unabhangig sind. Wegen der Randbedingung hi + • - • + hk = n ist jede Zellhaufigkeit durch die resthchen k — 1 Haufigkeiten deterministisch bestimmt. Bei einem a-Signifikanz-Test ist darauf zu achten, dafi HQ falschlicherweise nur mit der Wahrscheinlichkeit a abgelehnt wird. Gegen die NuUhypothese spricht es, wenn die Abweichung x^, die nur quadrierte Terme enthalt, sehr grofi wird. Entsprechend wird durch einen a-Signifikanz-Test ^ o verworfen, wenn
X^>Xl-a(^-l).
wobei Xi-a(^ — 1) das (1 — a)-Quantil der x^-Verteilung mit k — 1 Freiheitsgraden bezeichnet.
x^-'^'^^^^-^iiA:
448
11. Spezielle Testprobleme
X^-Anpassungstest bei kategorialem Merkmal
Annahme:
Xi^,,. ,Xn unabhangig und identisch verteilt wie X€{1,...,A:}
Hypothesen:
HQ: P{X = i) = nu i = l,...,fc Hi : P(X =^i):^TTi fiir mindestens ein i
Teststatistik:
^2 -Y^ (hiUTTif A 2-j riTTi 2=1
Verteilung unter HQi: approximativ x^{k — 1), Approximation anwendbar, wenn njCi > 1 fiir alle i, niTi > 5 fiir mindestens 80 % der Zellen Ablehnungsbereich:
X'>xl-aik-l)
Zu bemerken ist, dai3 der x^-Test fiir das Merkmal X nur nominates Skalenniveau voraussetzt. Er ist natiirlich auch anwendbar, wenn hoheres Skalenniveau vorliegt, beispielsweise, wenn X selbst bestimmte Anzahlen spezifiziert wie X = "Anzahl der Personen in einem Haushalt". Wesentlich ist nur, dafi X endlich viele Auspragungen besitzt. Da die Teststatistik nur approximativ x^-verteilt ist, ist darauf zu achten, dafi die zu erwartenden Zellbesetzungen nicht zu niedrig sind. Fiir grofie Zellzahl k ist das Verfahren prinzipiell anwendbar, aber der Stichprobenumfang mufi dann auch entsprechend grofi sein. Will man z.B. beim Roulette die Ausgewogenheit des Kessels untersuchen, d.h. die NuUhypothese HQ : P{X = i) = 1/37 fiir die moglichen Ergebnisse 0 , 1 , . . . , 36, waren n = 185 Beobachtungen notwendig, um n • 1/37 > 5 fiir alle Zellen zu sichern. Beispiel 11.5
Absolventenstudie
In der Mlinchener Absolventenstudie (Beispiel 1.10, Seite 16) wurde unter anderem erhoben, welche Art der Diplomarbeit angefertigt wurde. Sieht man von der sehr seltenen Form empirischer Primarerhebung ab, erhalt man die Kategorien 1: "empirische Sekundaranalyse", 2:"empirisch-qualitativ" und 3:"theoretische Arbeit". Die interessierende Hypothese besagt, dafi alle diese Formen der Diplomarbeit gleichwahrscheinlich sind, d.h. man erhalt das Hypothesenpaar HQ : TTi = 7^2 = TTs = 1/3
Hi : TTi ^ 1/3 fiir mindestens zwei z,
11.1 EinStichproben-Fall
449
wobei TTi = P{X = i) die Wahrscheinlichkeit flir das Auftreten des z-ten Typs bezeichnet. Aus den Daten hi /i2 hs n 4 12 18 34 berechnet man die bei Giiltigkeit der Nullhypothese zu erwartenden Zellhaufigkeiten riTTi = 34 • 1/3 = 11.33 und erhalt n njTi m^2 ^'TTa 11.33 11.33 11.33 34 Fiir festgehaltenen Stichprobenumfang n = 34 sind in jeder Kategorie 11.33 Diplomarbeiten zu erwarten. Man vergleicht den x^-Wert ^
2 ^ (4-11.33)^ 11.33
(12-11.33)^ 11.33
(18-11-33)^ ^ . ^.g 11.33
mit dem 0.95-Quantil der x^-Verteilung mit 2 Freiheitsgraden Xo.95(2) = 5.99. Da 8.71 > 5.99, ist bei einem Niveau von a — 0.05 von einer signifikanten Abweichung von der Nullhypothese auszugehen. Es lassen sich also unterschiedliche Wahlwahrscheinlichkeiten nachweisen. D
X^-Test fiir gruppierte Daten Der x^-Test des vorhergehenden Abschnitts setzt ein kategoriales Merkmal X E { 1 , . . . , fc} voraus. Dasselbe Testprinzip lafit sich anwenden, wenn X sehr viele Auspragungen besitzt, beispielsweise unendlich viele wie bei einer Poisson-Verteilung oder wenn X sogar stetig ist wie bei einem normalverteilten Merkmal. Es ist dann nur notwendig, einen Gruppierungsschritt vorzuschalten. Naheliegend ist es, wie in der univariaten Deskription Klassen benachbarter Intervalle zu bilden durch [co,Ci),[ci,C2),...,[Cfc_i,Cfc).
Der Informationsgehalt der Daten wird nun reduziert auf diese Intervalle indem man nur noch abzahlt, wieviele Beobachtungen in die i-te Klasse (das i-te Intervall) fallen. Dies ergibt die Beobachtungszahl fiir die i-te Zelle. Die Daten sind also von der gleichen Art wie im vorausgehenden Abschnitt. Man erhalt Zellbesetzungen /ii,...,/ifc.
Die Nullhypothese ist im wesenthchen dieselbe wie im Fall ungruppierter Daten. Man sollte sich jedoch verdeutlichen, dafi dahinter eine generellere Hypothese steht. Betrachten wir als Beispiel die Nullhypothese, dafi die Lebensdauer eines Cerates exponentialverteilt ist mit einem Erwartungswert von 10 Stunden, d.h. X ~ Ex{Q.l). Das zugrundeliegende Hypothesenpaar lautet HQ : X ist exponentialverteilt mit Hi : X ist nicht £;x(0.1)-verteilt.
Ex{0.1)
450
11. Spezielle Testprobleme
Das speziellere Hypothesenpaar, das eigentlich iiberpruft wird, ergibt sich aus der Intervallbildung. Betrachtet man die 16 Intervalle
[0.0,0.01), [0.01,0.02),... [0.14,0.15), [0.15, oo).
ergeben sich die hypothetischen Werte TT^ = / Xe~^^dx mit A = 0.1 und den InterCi-l
vallgrenzen Q . Untersucht wird nun im engeren Sinne das Hypothesenpaar
Ho : P{X e [ci_i, Ci)) = 7Ti, i = 1 , . . . , /c Hi : P{X G [ci-i^Ci)) ^ TTi fiir mindestens ein i.
Durch die x^-Statistik wird unmittelbar die Giiltigkeit des letzteren Hypothesenpaares untersucht. Nur Daten zu diesem spezielleren Hypothesenpaar, namUch die in Intervallen gruppierten Daten, werden in der Teststatistik benutzt. Die x^-Teststatistik ist dieselbe wie fiir ein kategoriales Merkmal. Allerdings sind zwei Falle zu unterscheiden: Entweder ist die Verteilung vollstandig spezifiziert inklusive samthcher Parameter, oder nur der Verteilungstyp ist spezifiziert und die Parameter werden erst aus den Daten geschatzt. Der erste Fall liegt im Beispiel oben vor mit HQ: X ist £;x(0.1)-verteilt.
Ein Beispiel vom zweiten Typ ware HQ : X ist exponentialverteilt Hi : X ist nicht exponentialverteilt.
Im letzten Fall ist zur Berechnung von TT^ die Schatzung von A notwendig, beispielsweise durch X = n/ ^- Xi. Die einzige Auswirkung dieser Parameterschatzung besteht darin, dafi die Freiheitsgrade der x^-Verteilung sich um einen weiteren Freiheitsgrad reduziert, da ein Parameter geschatzt wurde.
11.1 Ein-Stichproben-Fall
451
X^-Test fiir gruppierte Daten
Annahmen:
X i , . . . , Xn unabhangig und identisch verteilt wie X
Hypothesen:
Ho : P{X = z) = TTi, 2 = 1 , . . . , fc, Hi : P{X = i) j^m fiir mindestens zwei z, wobei TTi aus einer vorgegebenen Verteilung bestimmt ist. ^2 ^ y^ (fe— riTTi)^
Teststatistik:
rtTTi
Verteilung unter HQ: Wenn Verteilung voU spezifiziert: approximativ x^{k—iy verteilt. Wenn zur Bestimmung von TT^ Parameter geschatzt werden: approximativ x^(fc — l~Anzahl geschatzter Parameter)-verteilt Ablehnungsbereich:
x^ > Xi_Q:(Pr^iheitsgrade)
Mietspiegel
Beispiel 11.6
Bel Mietpreisen findet man gelegentlich Histogramme, die eine rechtsschiefe Verteilung vermuten lassen, die aber durchaus auch einer Normalverteilung entsprechen konnten. Man will nun untersuchen, ob die Normalverteilungsannahme zutrifft, d.h. die Hypothesen sind bestimmt durch HQ : X ist normalverteilt HI : X ist nicht normalverteilt. Zur Umsetzung in ein x^-Testverfahren wurde die Teilstichprobe grofier Wohnungen in lOOer Schritten kategorisiert, d.h. in Intervalle [100,200), [200,300), usw. Zum weiteren bestimmt man x = 787.72 und s = 262.98. Die Annahme einer Normalverteilung hat zur Folge, dafi die Wahrscheinlichkeit fiir ein Intervall [ci_i,Q) bestimmt ist durch 7Ti = P{Ci^l <X
$
Ci-1
_$
Jl_ ^ X - / i
Cj - / /
Ci-1 - /i
Da /x und a nicht bekannt sind, ersetzt man ji durch x und a durch 5. Man erhalt so die zu erwartenden Auftretenswahrscheinhchkeiten approximativ durch TT^ « $
X\
^ fCi-i — X^ _$
11. Spezielle Testprobleme
452
Daraus ergibt sich die Tabelle
<200 [200,300) [300,400) [400,500) [500,600) [600,700) [700,800) [800,900) [900,1000)
hi
riTTi
2 6 25 40 63 85 88 86 65
7.159 10.762 21.062 37.589 56.698 74.136 84.034 82.573 70.337
[1000,1100) [1100,1200) [1200,1300) [1300,1400) [140,1500) [1500,1600) [1600,1700) >1700
hi
riTTi
41 23 15 7 8 6 2 1
51.938 33.246 18.448 8.847 3.700 1.337 0.420 0.147
Die Bestimmung der Teststatistik ergibt x^ = 48.209. Die Anzahl der Freiheitsgrade erhalt man wegen der beiden geschatzten Parameter x und s durch fc — 1 — 2 = 17—1 — 2 = 14. Mit Xo.95(14) = 23.685 ergibt sich bei einem Signifikanzniveau von a = 0.05 eine signifikante Abweichung von der Normalverteilung.
Das Ergebnis ist allerdings wenig zuverlassig, da fiir die vorgenommene Gruppierung die Faustregeln nicht erfiillt sind. Insbesondere fiir Mietpreise unter € 100 und iiber € 1500 sind die Zellen relativ schwach besetzt. Diese Mietpreise werden daher in zwei Zellen zusammengefafit mit dem Ergebnis
[0,300) [1500, oo)
hi
niTi
8 9
17.927 1.903
Man erhalt mit dieser neuen Gruppierung x^ = 47.1682. Aus der neuen Zellzahl erhalt man als das entsprechende Quantil Xo.95(ll) = 19.675. HQ wird also auch mit dieser Testprozedur verworfen. D
11.1
453
Ein-Stichproben-Fall
Ein-Stichproben- Tests: Hypothesen uber den Erwartungswert (a) Fo : /i = /xo Hi: 12^/^O (b) iJo : /i > A^o HiijiiK i^O (c) i7o : /^ < M Hi:fi>/^O Gauss-Test Normalverteilung^^
^y
Ar(0, l)-verteilt
approx. Gauss-Test
beliebige Verteilung n>30
approx. iV"(0, l)-verteilt
t-Test
a unbekanntN \^
Normalverteilung
^
t{n — l)-verteilt
r T=^^sj^ J ^approx. i-Test
beliebiege Verteilung n>30
approx. A^(0, l)-verteilt
Ein-Stichproben-Tests: Anteilswerte
Exakter Test:
(a)
i f o : TT = TTo
HI:TT^
(6)
HO\'K>'KQ
Hi'.TT
(c)
Ho'.TT
JH"I : TT > TTQ
<no
X = Anzahl der IVeffer
TTQ
< TTO
Binomialtest i5(n,7roj-verteilt
Approximativer Approximativer Test:
7 —
ZJ —
X-mro
i——
-^
Vn:ro(i-.o)
"Rinnminltr-it
XJlilUllllclltL/Ot
app.iV(0,l)-verteilt
11. Spezielle Testprobleme
454
Ein-Stichproben -Tests: hlypothesen uber den Median (filr symmetrische wert)
stetige Verteilung
stetige symmetrische Verteilung
Verteilung identisch mit Hypothesen iiher den Erwartungs(a)
Ho : Xmed = ^0
Hi : Xmed ¥" ^0
(b) (c)
^ 0 • Xmed >So
Hi:
Ho : Xmed ^ ^0
^ 1 • ^med > ^0
Xmed < ^0
. TTT . ^ c A:=Wevte<5o
Vorzeichen-Test B(n,0,5)-verteilt
W^ = Ilti^9\Di\Zi
WilcoxonVorzeichen-Test Verteilung tabelliert
Ein-Stichproben-Test: x^-Anpassungstest Ho : P{X = Hi:P{X =-i) y^TTi
x'-
_ ^
,k fiir ein i
{hi- riTTi)'^
Bei voU spezifizierter Verteilung: approximativ x^(fc i^erteilt. Bei I geschatzten Parametern: approximativ x^{k — 1-I) -verteilt.
11.2
Vergleiche aus unabhangigen Stichproben
Prinzipiell warden im folgenden zwei Merkmale X und Y unterschieden, deren Verteilungen wir vergleichen woUen. Um Verteilungen miteinander vergleichen zu konnen, miissen die Mermkale X und Y sinnvoU vergleichbare Grofien darstellen. Meist stellen X und Y dasselbe Merkmal dar, allerdings gemessen unter verschiedenen Bedingungen bzw. in unterschiedlichen Populationen. 1st beispielsweise die
11.2
Vergleiche a us unabhangigen Stichproben
455
Nettomiete eines Wohnungstyps von Interesse, lafit sich diese vergleichen fiir das Wohnviertel A (Variable X) und das Wohnviertel B (Variable Y). Von den Daten wird vorausgesetzt, dafi sie sich als unabhangige Realisationen ergeben, wobei X i , . . . , Xn unabhangig und identisch verteilt sind wie X, yii' • ", Ym unabhangig und identisch verteilt sind wie Y. Dariiber hinaus wird vorausgesetzt, dafi die Gesamtstichprobe unabhangig ist, d.h. X i , . . . , Xn^ l i , . . . , Ym sind unabhangig. Man spricht dann auch von unabhangigen Stiehproben. Die Voraussetzungen sind in der Kegel erfiillt, wenn unter den beiden - X und Y entsprechenden - Bedingungen bzw. Populationen separate einfache Stichproben gezogen werden. Im Beispiel der Nettomieten setzt man also voraus, dafi n Wohnungen in Viertel A rein zufallig gezogen werden und davon unabhangig m Wohnungen im Viertel B, Die Stichprobenumfange der separaten (unabhangigen) Stichproben konnen unterschiedlich sein. 11.2.1
Tests zu Lagealternativen
Parametrische Verfahren Der haufig wichtigste Vergleich bezieht sich auf die Erwartungswerte der beiden Merkmale X und Y, In der zweiseitigen Variante betrachtet man im einfachsten Fall das Hypothesenpaar HQ:
iix = fJ'Y
iix + I^Y,
Hi:
wobei //x = E{X) und /xy = E{Y) die unbekannten Erwartungswerte in den beiden Populationen darstellen. Zur Beurteilung der NuUhypothese ist es naheliegend, die _
n
_
"^
Mittelwerte X = ^ Xi/n und Y =Y1< ^ i / ^ heranzuziehen. Wegen E{X) = /ix
und
E{Y) = fxy
sind X und Y sensible Indikatoren fiir die zugrundeliegenden Erwartungswerte /JLX und fly- Entsprechend soUte die Differenz
D=
X-Y
sensibel fiir die unbekannten Differenz /xx — I^Y sein. Man erhalt E{X -?)
= E{X) - E{Y) = fix-
/xy.
unabhangige Stichproben
456
11. Spezielle Testprobleme
Die Zufallsvariable D lafit sich nur schwierig unmittelbar als Testgrofie verwenden, da die Verteilung natiirlich noch von der Varianz der Merkmale X bzw. Y abhangt. Man betrachtet daher wie im Ein-Stichproben-Fall wiederum eine normierte Version der Testgrofie D. Die Varianz von D = X — Y ergibt sich wegen der Unabhangigkeit von X und Y durch 2
Var(X -Y)
2
= Var{X) + Var{Y) = ^ + ^ , n m
wobei cr| = Var{X), af- = VariY). Es gilt nun, wiederum zwei Falle zu unterscheiden, namlich ob a^ und ay bekannt oder unbekannt sind. Im ersten Fall lassen sich cr^ und cry zur Normierung von X — Y verwenden, im zweiten Fall miissen cr^ und ay geschatzt werden. Fiir bekannte Varianzen lafit sich X — Y normieren durch X-Y
Z = \
n
' m
wobei nachvollziehbar ist, dafi E{Z) = 0 und Var{Z) — 1 gilt, wenn HQ wahr ist. 1st allerdings die Alternativhypothese wahr, gilt E{Z) > 0, wenn fix > I^Y^ und E{Z) < 0, wenn fix < f^Y- Entsprechend wird HQ verworfen zugunsten von Hi : fix ^ f^Y-, wenn Z sehr grofie bzw. sehr kleine Werte annimmt. In der folgenden Ubersicht werden die Testvarianten in einer etwas allgemeineren Form betrachtet. Anstatt der einfachen NuUhypothese der Gleichheit der Erwartungswerte betrachtet man allgemeiner Hypothesenpaare der Form ^ 0 : /^x - My = ^0
Hi\
fix - I^Y ¥" ^o-
Hier wird spezifiziert, ob die Differenz fix — I^Y einer fest vorgegebenen hypothetischen Differenz 5o entspricht. Beispielsweise lafit sich so untersuchen, ob die zu erwartende Mietpreisdifferenz/qm zwischen dem Villenviertel A und dem einfacheren Wohnviertel B tatsachlich 4 € / q m betragt. Fiir 5Q = Q ergibt sich natiirhch die einfache Hypothese fix = I^Y- Bei einseitigen Hypothesen spezifiziert man zusatzlich eine Richtung der Abweichung.
11.2
457
Vergleiche aus unabhangigen Stichproben
Vergleich der Erwartungswerte, bekannte Varianzen X i , . . . , Xn unabhangige Wiederholungen von X ^1? • • •) ym unabhangige Wiederholungen von Y Xi,..,,Xn,Yi,,,,,Ym unabhangig cr^, ay bekannt
Annahme:
Hypothesen:
Teststatistik:
(a) (6) (c)
HQ: HQ:
Ho:
fj^x - I^Y = SO IJ^X - I^Y> SO fJ^x - I^Y <So
: //x - /^y 7^ ^o HI: fix - I^Y < So Hi: jix - f^Y > So
HI
^_X-Y^So V n
m
Verteilung unter fJ^x - I^Y = SQ:
Ablehnungsbereich:
Fur X - N{fix^ ^ x ) ' y ^ ^il^Y^ al): Z^ N{0,1) Fiir n, m > 30 gilt die Standardnormalverteilung von Z approximativ. (a) (6) (c)
\Z\ > zi_^/2 Z < ~^l_a Z>Zi_a
Sind die Varianzen unbekannt, werden a^ und ay durch die entsprechenden Schatzungen q2
^x
z=l
i=l
ersetzt. Entsprechend ergibt sich - da nur approximativ normiert wird - im folgenden Testverfahren keine Normalverteilung, sondern eine t-Verteilung.
458
11. Spezielle Testprobleme
Vergleich der Erwartungswerte, unbekannte Varianzen
Annahmen und Hypothesen wie im Fall bekannter Varianzen Teststatistik: n Verteilung unter l^x - I^Y — <^o-
m
Wenn X ~ N{fix, cr^), Y '^ N(fiY^ cr^): T ~ t{k) mit den Preiheitsgraden 2
/ ^9 \ 2>
fc = (5i/n + 5^/m)V(;^(f) + ^, Ablehnungsbereiche:
(a)
| r | > ti_c,/2{k)
(c)
T>ti.a{k)
(t)
Man beachte, dafi die Freiheitsgrade der t-Verteilung als reelle Zahl k gegeben sind. Zur Bestimmung der eigentlichen Freiheitsgrade rundet man k zu einer ganzen Zahl ab. Fiir grofie Stichprobenumfange (n, m > 30) ersetzt man die t-Verteilungsquantile wiederum durch die Quantile der Standardnormalverteilung. In der folgenden Ubersicht ist eine weitere Variante des Erwartungswertvergleichs wiedergegeben, die darauf basiert, dafi die Varianzen von X und Y zwar unbekannt sind, aber als gleich angenommen werden konnen.
11.2
459
Vergleiche aus unabhangigen Stichproben
Vergleich der Erwartungswerte im Zwei-Stichproben-Fall Voraussetzung
Teststatistik
^2
Verteilung
X-Y-60 iV(0,l) n
(Tx, crybekannt
+
X - y -So ax = CTyunbekannt
^M+
mJ
(n-i; S'2. + (m- l)S^ n+m—2
X -Y
-5o
^2
(Tx, cry unbekannt
/
X , Y beliebig verteilt
X - -Y
n, m > 30
m
t ( n + m — 2)
t(fc) fiir n, m > 30 appr. 7V(0,1)
2^0
02
02
n
?7i
appr. 7V(0,1)
Wilcoxon-Rangsummen-Test Im Ein-Stichproben-Fall wurde der Wilcoxon-Test als nonparametrische Alternative zu Gaufi- und t-Test dargestellt. Auch im Zwei-Stichprobenfall gibt es eine auf Rangen aufbauende Alternative zum im vorhergehenden Abschnitt eingefiihrten Verfahren. Prinzipielle Voraussetzung ist, dafi die Verteilungsfunktionen von X und Y dieselbe Form besitzen, allerdings moglicherweise um einen Betrag verschoben sind. Unter dieser Voraussetzung gilt, dafi die Gleichheit der Mediane, d.h. Xmed = Vmed^ aquivalent ist zur Gleichheit der Verteilungsfunktionen. Gilt Xmed > Vmed^ so ist die Verteilungsfunktion von X gegeniiber der Verteilungsfunktion von Y nach rechts verschoben, bei Giiltigkeit von Xmed < Vmed entsprechend nach links. Der Test geht von dem Grundgedanken aus, dafi bei Giiltigkeit der NuUhypothese HQ : x^ed = Vmed die Werte der X- und F-Stichprobe gut "durchmischt" sein sollten, d.h. keine der beiden Stichproben zeigt im Verhaltnis zur anderen Stichprobe eine Tendenz zu besonders grofien bzw. kleinen Werten. Entsprechend wird die Teststatistik aus den Rangen samtlicher Beobachtungen X i , . . . , Xn^ l i , . . . , y ^ , der sogenannten gepoolten Stichprobe^ gebildet. Man erhalt somit rg ( X i ) , . . . ^rg (Ym)- Die Teststatistik selbst besteht dann aus der Summe derjenigen Range, die zu Werten der X-Stichprobe gehoren. Wenn Bindungen zwischen X- und y - W e r t e n auftreten, d.h. Xi = Yj^ werden Durchschnittsrange gebildet. Bei
gepoolte Stichprobe
460
11. Spezielle Testprobleme
Bindungen innerhalb der X- oder y-Werte sind entsprechende Range zufallig zu vergeben. Die Verteilung dieser Statistik ist wiederum tabelliert. Die folgende Ubersicht gibt das Bestimmungsschema fiir die Teststatistik wieder.
Wilcoxon-Rangsummen-Test
Annahmen:
Hypothesen:
Teststatistik:
X i , . . . , Xn unabhangige Wiederholungen von X , Y i , . . . , Yjn unabhangige Wiederholungen von y , X i , . . . , Xn, Y\,...,Ym unabhangig, X und Y besitzen stetige Verteilungsfunktionen F bzw. G ( a ) ti^
Hi
: Xjxied — Vmed
( b ) HQ : Xjned >
Vmed
- ^ 1 • ^med
^
ymed
( c ) Ho : Xjned <
Vmed
1^1 • ^med
^
Vmed
Bilde aus samthchen gen Xi,...,X^, yi,...,!;, rg ( X i ) , . . . , rg (X^), r^ ( y i ) , . . . , r^ (ym)tistik ist bestimmt durch n
Beobachtundie Range Die Teststa-
n-\-m
Tw = J2rg{X,)= ^ i^, i=l
1
i-te Beobachtung der geordneten gepoolten Stichprobe ist X-Variable
0
sonst.
mit Vj
Ablehnungsbereich:
(a) (b)
Tw > ^i-a/2{^^ ^) Tw <'Wa{n,m)
oder
Tw <
'^CK/2(^?
^)
(c) Tw>wi-a{n,m), wobei Wa das ce-Quantil der tabellierten Verteilung bezeichnet. Fiir grofie Stichproben {m oder n > 25) Approximation durch N {n{n + m+ l ) / 2 , nm{n + m+ 1)/12).
11.2
461
Vergleiche a us unabhangigen Stichproben
Beispiel 11.7
Mietspiegel Es soil zu einem Signifikanzniveau von a = 0.01 untersucht werden, ob sich der Mietpreis/qm fiir Ein- und Zwei-Zimmerwohnungen signifikant unterscheidet. Als arithmethisches Mittel ergeben sich x = 8.340 fiir Ein-Zimmerwohnungen und y = 6.906 fiir ZweiZimmerwohnungen. Ohne Beriicksichtigung der Varianz lafit sich daraus natiirlich keine Aussage iiber einen moglichen Unterschied machen. Mit der Bezeichnung /ix und /iy fiir den erwarteten Quadratmeterpreis fiir Ein- bzw. Zwei-Zimmerwohnungen lafit sich das Testproblem formulieren mit den Hypothesen Ho : fix = fJ^Y
Hi:
fix y^ I^Y-
Fiir den t-Test basierend auf 137 Ein- und 374 Zwei-Zimmerwohnungen erhalt man t = 5.363 bei 509 Freiheitsgraden. Legt man a = 0.01 zugrunde, ergibt sich mit der Annahrerung durch die Normalverteilung die kritische Schranke 2;i_o.oo5 = 2:0.995 = 2.58 und der Unterschied erweist sich als signifikant. Der p-Weit fiir dieses Testproblem ist verschwindend klein, so dafi die Nullhypothese abgelehnt wird. D
Beispiel 11.8
Mietspiegel Wir betrachten dieselbe Fragestellung wie in Beispiel 11.7, allerdings fiir 5- und 6-Zimmerwohnungen, d.h. HQ:
fix = My
Hi:
fix y^ f^Y,
wobei fix und fiy den Erwartungswert fiir 5- bzw. 6-Zimmerwohnungen bezeichnen. Als Mietpreise/qm ergaben sich die folgenden Realisationen
X 5-Z-Whng Y 6-Z-Whng
4.448 5.767 6.770 4.280 6.217 5.645 5.353 5.706 2.188 9.991 1.718 9.382 2.654 4.269 6.698 8.002 2.193 5.808 4.648
Mit den Stichprobenumfangen n = 10, m = 9 berechnet man x = 5.637, y = 5.041, 5^ = 3.981, Sy = 7.068. Unter der Annahme ax = cry erhalt man t = 0.556 und 17 Freiheitsgrade. Mit ^0.95(17) = 1.74 erweist sich der Unterschied zu a = 0.10 als nicht signifikant. Geht man von ax ^ cry aus, ergibt sich t = 0.547. Fiir die Freiheitsgrade erhalt man nun k = 14.787 und mit to.95(14) = 1.761 ist der Unterschied zu a = 0.10 ebenfalls nicht signifikant. Als alternativer Test wird der Wilcoxon-Rangsummen-Test herangezogen. Dazu wird die Stichprobe gepoolt, wobei man festhalten mufi, ob der betreffende Mefiwert der X- oder der y-Stichprobe entstammt. Fiir die geordnete gepoolte Stichprobe ergibt sich
11. Spezielle Testprobleme
462
Mefiwert Stichprobenzugehorigkeit Rang
1.718 Y 1 4.648 Y 8 6.217 X 14
2.188 X 2 5.353 X 9 6.698 Y 15
2.193 Y 3 5.645 X 10 6.770 X 16
2.654 Y 4 5.706 X 11 8.002 Y 17
4.269 Y 5 5.767 X 12 9.382 Y 18
4.280 X 6 5.808 Y 13 9.991 X 19
4.448 X 7
Die Summe der Range aus der X-Stichprobe ergibt sich als Tw = 2 + 6 + 7 + 94-10 + 11 + 12 + 14 + 16 + 19 = 106. Legt man ein Signifikanzniveau von a = 0.10 zugrunde, erhalt man die kritischen Schranken tt;o.o5(10,9) = 80 und WQ^QS = 120. Da T^} G (80,120), wird die Nullhypothese der Gleichheit der Lage der Verteilungen beibehalten. Der p-Wert betragt 0.661 und signalisiert damit keine extreme Abweichung in Richtung einer Lageverschiebung. D
11.2.2
x^-Homogenitatstest
Allgemeiner als in den vorangehenden Abschnitten wird hier die Hypothese untersucht, ob k Verteilungen identisch sind. Sei Xi das Merkmal in der z-ten Population bzw. unter der i-ten Versuchsbedingung. Wir gehen davon aus, dafi das Merkmal entweder nur m Kategorien annehmen kann oder in m Klassen gruppiert ist, beispielsweise in die Intervalle [ c o , c i ) , . . . , [cm-i^Cm)' Das Merkmal wird in jeder der k Populationen separat erhoben, d.h. es liegen unabhangige Stichproben vor. Die Ergebnisse werden in einer Kontingenztabelle zusammengefafit. Man erhalt somit Merkmalsauspragungen 1 fl
1 o
m
1
hn
. ..
2
^21
.
k hki h.
him
ni
• • h2m
n2
.••
f^km
rik
h.r
Die Randsummen n i , . . . , n^^ iiber die Zeilen entsprechen hier den Stichprobenumfangen in den einzelnen Populationen. Die Randsummen iiber die Spalten werden wieder durch die "Punkt-Notation" / i . i , . . . , h.m bezeichnet.
11.2
463
Vergleiche aus unabhangigen Stichproben
Beispiel 11.9
Kreditwurdigkeit In Beispiel 1.4 (Seite 5) zur Kreditwurdigkeit wurden 300 problematische und 700 unproblematische Kreditnehmer ausgewahlt. Fiir diese wurde jeweils festgestellt, ob sie bisher ein laufendes Konto bei der Bank unterhielten und wenn ja, wie der Kontostand zu bewerten ist. Es ergab sich folgende Kontingenztabelle
Kreditwurdigkeit
unproblematische Kredite Problemkredite
nein
Konto gut mittel
139
348
213
700
135
46
119
274
394
332
300 1000
Zu untersuchen ist, ob die Verteilung auf die Kategorien des Merkmals "Konto" fiir unproblematische Kreditnehmer und fiir Problemkunden voneinander abweicht. SoUte dies der Fall sein, lafit sich die Variable "Konto" eventuell als Pradiktor verwenden. D
In Abschnitt 11.1.2 wurde mit dem x^-Koeffizienten ein auf Kontingenztafeln aufbauender Test fiir den Zusammenhang zweier Merkmale entwickelt. Obwohl in den hier betrachteten Kontingenztabellen die Zeilen keinem zufallig erhobenen Merkmal entsprechen, sondern den Populationen, aus denen gezogen wird, lafit sich der x^KoefRzient als Abweichungsmafi anwenden. Das ist einfach einzusehen, wenn m a n die NuUhypothese
Ho:
P{Xi=j)
P{Xk =j)
fur j = l , . . . , m
betrachtet. Die NuUhypothese postuliert die Homogenitat der Verteilungen, d.h. die Verteilung des Merkmals ist in jeder Population dieselbe. W a r e diese NuUhypothese wahr, liefien sich alle Populationen l , . . . , f c zusammenfassen und die relativen Haufigkeiten h.n
j = l,...,m, n ergaben eine verniinftige Schatzung fiir jede Population, da nach Voraussetzungen die Verteilungen identisch sind. Da die Anzahlen hij binomialverteilt sind mit B{ni,P{Xi = j ) ) , erhalt m a n unmittelbar als Schatzung fiir die zu erwartende Anzahl hij = niP{Xi = j ) , P{Xi^j)^
und wenn die aus der NuUhypothese abgeleitete Bedingung gilt, ergibt sich hij —
Uih.j
n
11. Spezielle Testprobleme
464
Als Mafi der Abweichung zwischen tatsachlichen Beobachtungen hij und den aus der Giiltigkeit von Ho abgeleiteten Erwartungswerten hij bestimmt man *= m
( h i j - ^ \ riih.j
Diese Grofie, die als Teststatistik verwendet wird, ist identisch mit dem in Abschnitt 3.2 abgeleiteten x^-KoefRzienten, wobei dort die Zeilenrandsummen durch hi. statt Ui bezeichnet wurden. Der kritische Bereich des folgenden Tests ergibt sich aus der Uberlegung, dafi grofie Werte von x^i ^Iso eine grofie Diskrepanz zwischen tatsachlichen und unter HQ ZU erwartenden Beobachtungen, gegen die Nullhypothese sprechen.
X^-Homogenitatstest/fc Stichproben
Annahmen:
Unabhangige Stichprobenziehung in den k Populationen
Hypothesen:
Ho: P{X,=j)^--= P{Xk=j), Hi: P{Xi,=j)j^P{Xi,=j) fiir mindestens ein Tupel (ii,i2, j )
k m
Teststatistik:
x'-EE
j =
l,...,m
[hjj-^j
Verteilung unter HQ: approximativ x^(('^ ~ l)(m — 1)) Ablehnungsbereich: x^ > Xi-a((fc ~ l)(m — 1))
Beispiel 11.10
Kreditwurdigkeit
Fiir die Kontingenztafel aus Beispiel 11.9 ergaben sich die Werte der zu erwartenden Haufigkeit durch
Kreditwurdigkeit
unproblematische Kredite Problemkredite
nem 191.80 82.20 274
Konto gut
mittel
275.80
232.40
700
118.20 394
99.60
300 1000
332
11.3
Vergleiche aus verbundenen Stichproben
465
Daraus errechnet sich ein x^-Wert von 116.851. Der Vergleich mit dem Quantil der x^(2)Verteilung ergibt 116.851 > Xo.gsC^) = ^-99. Die Hypothese einer identischen Verteilung in den Subpopulationen wird somit abgelehnt. Der Kontostand erweist sich als moglicher Pradiktor. D
11.3
Vergleiche aus verbundenen Stichproben
Bisher wurde beim Vergleich von Verteilungen das interessierende Merkmal in separaten unabhangigen Stichproben erhoben. Im folgenden wird von verbundenen Messungen ausgegangen, d.h. die Merkmalsvarianten werden an denselben Untersuchungseinheiten erhoben. Ein Beispiel soil nochmals den Unterschied verdeutlichen. Waldschaden
Beispiel 11.11
In Waldschadensuntersuchungen soil die Veranderung des Schadigungsgrades von Baumen bestimmt werden. Als Indikator wird ein metrisches Merkmal, z.B die Anzahl toter Aste, zugrunde gelegt und der Vergleich soil zwischen den Jahren 1994 und 1996 erfolgen. Die erste Moglichkeit der Datenerhebung besteht darin, in dem spezifizierten Waldstiick der Untersuchung in den Jahren 1994 und 1996 jeweils separate Stichproben zu ziehen, d.h. die im Jahre 1994 ausgewahlten n Baume sind i.a. andere als die im Jahre 1996 ausgewahlten Baume. Bei entsprechend grofiem Waldstiick kann man von unabhangigen Stichproben ausgehen. Eine alternative Erhebungsform besteht darin, das Merkmal in beiden Jahren an denselben Baumen zu messen. Man erhalt somit an jedem Baum zwei Messungen, eine im Jahre 1994 und eine im Jahr 1996. Dies sind verbundene Messungen an der Erhebungseinheit Baum. D
Bei verbundenen Messungen Uegen die Stichprobenvariablen in der Form (Xi,yi),...,(x„,yn) vor, wobei Xi und Yi das interessierende Merkmal unter variierenden Bedingungen bezeichnen. Fiir das Beispiel Waldschaden stellt Xi die Messung im J a h r 1994, Yi die Messung im Jahr 1996 dar. Weiterhin wird angenommen, dafi die Tupel (X^, Yi) unabhangig sind, d.h. die Erhebungseinheit en, an denen X und Y gemessen werden, sind zufallig und unabhangig gewahlt. Prinzipielles Ziel ist es, die Verteilung von X mit der Verteilung von Y zu vergleichen, beispielsweise, indem man mogliche Unterschiede hinsichtlich der Erwartungswerte fix = E{X) und jiy = Eiy) untersucht.
466
11. Spezielle Testprobleme
Ausgehend von den unabhangigen Messungen (Xi, Y i ) , . . . , (Xn^l^n) ist der Grundgedanke bei metrischen Merkmalen die sich ergebenden Differenzen Di = Xi-Yi,
z = l,...,n
zu betrachten. Die Differenzen A lassen sich als unabhangige Wiederholungen der zugrundeliegenden Merkmalsdifferenzen X — Y verstehen. Eine NuUhypothese iiber die Differenz der Erwartungswerte
J^o: E{X)-E{Y)
= 6o
lafit sich im vorhegenden Fall als NuUhypothese
Ho: E{X-Y)
= 6o
formulieren, Damit ist eine NuUhypothese liber Verteilungseigenschaften eines Merkmals, namlich X — Y, formuliert, und das Test problem ist aquivalent zu den im Ein-Stichproben-Fall betrachteten Testproblemen. Wie im Ein-Stichproben-Fall werden auch unabhangige univariate Stichprobenvariablen, namlich die Differenzen Di = Xi — Yi, vorausgesetzt. Konsequenterweise lassen sich damit die Testprozeduren des Ein-Stichproben-Falles (Abschnitt 11.1) anwenden.
11.4
Zusammenhangsanalyse
Die Problemstellungen dieses Abschnitts zielen auf den Zusammenhang zweier Merkmale X und Y ab. Ausgangspunkt sind wiederum unabhangige Wiederholungen {Xi, Yi), i = 1 , . . . , n, der Zufallsgrofie (X, Y). Beispiel 11.12
Sonntagsfrage
In Abschnitt 3.2 wurde bereits eine Erhebung zur Parteipraferenz am nachsten Sonntag behandelt. In der folgenden Tabelle sind die Daten nochmals wiedergegeben,
Manner Prauen insgesamt
CDU/CSU 144 200 344
SPD 153 145 298
PDP 17 30 47
Griine 26 50 76
Rest 95 71 166
435 496 931
Das Untersuchungsziel ist festzustellen, ob die voneinander abweichenden Haufigkeiten fiir Manner und Prauen rein zufallsmafiige Schwankungen darstellen oder ob zwischen Geschlecht und Parteipraferenz ein Zusammenhang besteht. D
11.4
467
Zusammenhangsanalyse
11.4.1
x^-Unabhangigkeitstest
Fiir kategoriale oder kategorisierte Merkmale X und Y mit X G { 1 , . . . , fc} und Y G { 1 , . . . ,m} lafit sich eine Zusammenfassung in Kontingenztafeln betrachten. In der Kontingenztafel Y 1 . m /ill • . . him hi. ^21 . . • h2m h2.
X hki
h.
'
hkn
f^km
K
bezeichnen die Zellhaufigkeiten hij die Anzahlen der Beobachtungen mit den Auspragungen {X = i,Y = j). Die Hypothese HQ : "X und Y sind unabhangig" nimmt fiir kategoriale Merkmale eine sehr einfache Form an. Die Nullhypothese, formuliert durch
Ho: P{X = i,Y = j) = P{X = i)-P{Y^j)
fur alle i, j ,
besagt, dafi sich die gemeinsame Auftretenswahrscheinlichkeit als Produkt der Randwahrscheinlichkeiten darstellen lafit. Mit den Abkiirzungen TTIJ = P{X = i^Y = j ) , TTi. = P{X = i) und TT.j = P{Y = j) erhalt man Ho : TTij = TTi.n.j fiir alle i, j . Man iiberlegt sich nun wieder, wieviele Beobachtungen in Zelle (z, j) zu erwarten sind, wenn HQ wahr ist. Man geht dariiber hinaus von fest vorgegebenen Randern hi..,h.j der Kontingenztafel aus. Die Randwahrscheinlichkeiten lassen sich einfach durch relative Haufigkeiten schatzen. Man erhalt hi. T^i- =
1
^ 5
n 7r.4
=
n
3 = 1,
,771.
Wenn H^ wahr ist, sollte daher T^ij = TTi.TT.^
ein verniinftiger Schatzer fiir die gemeinsame Auftretenswahrscheinlichkeit sein. TTIJ ist nur aus den als fest angenommenen Randsummen bestimmt. Ware dieses TTIJ
11. Spezielle Testprobleme
468
die tatsachliche Auftretenswahrscheinlichkeit, dann ware hij binomialverteilt mit hij ~ jB(n, TTij) und dem Erwartungswert hij = nnij. Man erhalt 11^. n.j
rt'i.iv.j
hij = riTTij = n -
n n n Die unter iJo zu erwartenden Zellbesetzungen hij ergeben sich also in sehr einfacher Form aus Produkten der entsprechenden Randsummen. Sie lassen sich in einer "Unabhangigkeitstafel" zusammenfassen: Y
X
h\.h.\
m h\.h.m
n
n
h2.h.\
h2.h.m
n
n
hk.h.i
hk.h.m
n
n
hi.
hkn
h.l
Man betrachtet nun wieder die Diskrepanz zwischen den tatsachlichen Beobachtungen hij und den zu erwartenden Beobachtungszahlen hij^ die aus der Giiltigkeit der NuUhypothese berechnet wurden. Dies fiihrt zum folgenden x^-Unabhangigkeitstest, der aquivalent ist zum x^-Homogenitatstest. Man vergleiche dazu auch die Ableitung von x^ als Zusammenhangsmafi im Abschnitt 3.2.2. X^-Unabhangigkeitstest Annahmen:
Unabhangige Stichprobenvariablen {Xi, Y^), z = 1,.. . , n , gruppiert in eine {k x m)-Kontingenztafel
Hypothese:
Ho: P(X = i,Y = j) ^ PiX = i). P(Y = j) fiir alle z, j i ? i : P{X = i,Y = j)y^P{X = i)-P{Y = j) fiir mindestens ein Paar (i, j )
Teststatistik: i=ij=i
^^0
Verteilung unter HQ : approximativ 'x^{{k — l)(m — 1)) Ablehnungsbereich: X ' > x f - . ( ( A ; - I ) ( m - 1 ) )
11.4
Zusammenhangsanalyse
469
Sonntagsfrage
Beispiel 11.13
Der zur Kontingenztabelle aus Beispiel 11.12 gehorende x^-Wert wurde bereits in Kapitel 3 (Beispiel 3.12, Seite 126) berechnet. Wahrend der x^-Wert dort nur als deskriptives Mafi verwendet wurde, wird hier der Zufallscharakter der x^-Gro6e mitberiicksichtigt. Legt man die NuUhypothese Ho: P{X = i,Y=j)=PiX
= i)P{Y = j),
i = 1,2, j = 1 , . . . , 5 ,
zugrunde, erhalt man fiir die x^-Statistik eine x^-Verteilung mit (fc — l)(m — 1 ) = 4 Freiheitsgraden. Fiir a = 0.05 erhalt man das Quantil Xo.95(4) = 9.488. Der aus den Daten resultierende x^-Wert von 20.065 fiihrt wegen 20.065 > Xo.95(4) zur Ablehnung der NuUhypothese. Zu einem Signifikanzniveau von a = 0.05 lafit sich somit auf einen Zusammenhang zwischen Geschlecht und Praferenzverhalten bzgl. der Parteien schliefien. D
11.4.2
Korrelation bei metrischen Merkmalen
Fiir gemeinsam normalverteilte Merkmale (X^Y) gilt nach Abschnitt 8.6, dafi X und Y genau dann unabhangig sind, wenn sie auch unkorreliert sind. Die Hypothese der Unabhangigkeit reduziert sich damit auf
Ho : pxY = 0,
wobei PXY den Korrelationskoeffizienten bezeichnet. Testverfahren dazu bauen naturgemafi auf dem empirischen KorrelationkoefSzienten
f:iXi-X){Yi-Y) rxY =
i=l
ij2{Xi-x)^j:iYi-Yr i=l
i=l
auf. Liegt die Zufallsgrofie rxY weit von dem postulierten Wert pxY = 0 entfernt spricht das gegen die Hypothese der Unabhangigkeit bzw. Unkorreliertheit. In den folgenden Testverfahren wird auch die generellere Hypothese HQ : pxY = Po fur einen hypothetischen Wert po beriicksichtigt.
11. Spezielle Testprobleme
470
Korrelations-Tests
Annahmen:
Hypothesen:
Teststatistik:
Unabhangige gemeinsam normalverteilte Stichprobenvariablen (X^, Y^), i = 1 , . . . , n (a)
Ho : p x y = Po Hi: pxY 7^ /^o
(6)
Ho : p x y > Po ^ 1 : pxv < po
(c)
iJo : PXY <po
Hi: pxY > po
Fiir Po = 0, d.h. "Unabhangigkeit" rp
rxY
/
7^
V1 - 4 y Fiir generelles po Z=lflni±^-lnl±^\v/;rr3
Verteilung unter pxY = 0: T ~ t{n — 2) Verteilung unter pxY = Po- Z fiii n> 25 approximativ iV(0, l)-verteilt Ablehnungsbereich:
(a)
|r|
>ti_a/2(n-2)
bzw.
|Z|
(6)
r
<-ti_a(n-2)
bzw.
Z
(c)
T
> ti-a{n — 2)
bzw.
Z
> ;Ji_c/2 <-zi-a > zi-a
Beispiel 11.14 Sachverstandigenrat In Beispiel 3.15 (Seite 128) wurde die Prognose des Sachverstandigenrates hinsichtlich des Wirtschaftswachstums den tatsachlichen Werten gegeniibergestellt. Eine sehr kritische Hypothese besagt, dafi Prognose und tatsachliches Wirtschaftswachstum unkorreliert sind, d.h. man betraclitet Ho: p = 0
Hi:
p^O.
Man erhalt mit dem empirischen Korrelationskoeffizienten r = 0.640 die Testgrofie t =
0.64 \/20 - 2 = 3.538. VI - 0.642
11.5 Zusammenfassung und Bemerkungen
471
Der Vergleich mit dem 0.95-Quantil ^0.95(18) = 1.734 zeigt, dafi die Hypothese zu a = 0.10 abgelehnt wird. Der p-Wert von 0.00235 signalisiert eine sehr deutliche Ablehnung. Es ergibt sich ein statistisch signifikanter Zusammenhang zwischen Prognose und tatsachlicher Entwicklung. D
Tests zur Zusammenhangsanalyse
Unabhangigkeitstests: ''pxY = 0" 2 _ Y^ V^ i^ij ~~ ^ijY Kategoriale bzw. gruppierte Merkmale
Normalverteilung
T"^ r ^ i = l j=l
h ""^'3
a p p r o x . x^-verteilt
rp _
i
'^xy
_ /
__ Q
l-r2 xy
t(n — 2)-verteilt
Test zur Starke der Korrelation: "pxy = Po" 1 A 1 + rxY 2 V 1-^xy
11.5
, 1 + Po 1-po,
Zusammenfassung und Bemerkungen
Bei der Uberpriifung von Kennwerten einer Verteilung haben wir uns im wesentlichen auf den Erwartungswert (Gaufi- und t-Test) und den Median (Vorzeichen- und Wilcoxon-Vorzeichen-Test) beschrankt. Wir haben keine Hypothesen betrachtet, die Kennwerte wie die Varianz, die Schiefe oder die Wolbung spezifizieren. Mit dem x^Test wurde ein Anpassungstest dargestellt, der zwar relativ generell einsetzbar ist, aber bei stetigem Merkmal durch die notwendige Gruppierung immer einen gewissen Informationsverlust akzeptiert. Ein Test, der explizit fiir stetige Merkmale geeignet ist, ist z.B. der nicht-behandelte Kolmogoroff-Smirnoff-Test Ahnlich ist die Situation im Zwei-Stichproben-Fall. Die betrachteten Hypothesen betrafen im wesenthchen Lageparameter. Testsituationen, in denen beispielsweise die Gleichheit bzw. UnterschiedHchkeit der Varianz zweier Merkmale untersucht wird,
11. Spezielle Testprobleme
472
wurden nicht betrachtet. Auch fiir den Vergleich der Gesamtverteilung zweier Merkmale wurde mit dem x^-Homogenitatstest die gruppierte Variante dargestellt. Die fiir stetige Merkmale geeignete Version des Kolmogoroff-Smirnoff-Tests findet sich in der vertiefenden Literatur. Eine Verallgemeinerung des Vergleichs von Erwartungswerten bei unabhangigen Stichproben auf den Fall von mehr als zwei Stichproben wird in Kapitel 13 unter der Bezeichnung Varianzanalyse dargestellt. Eine Vielzahl von Tests fiir verschiedene Hypothesen liber Kennwerte findet sich z.B. bei Sachs (2002). Eine ausfiihrliche Darstellung nonparametrischer Verfahren geben Biining und Trenkler (1994).
11.6
Aufgaben
Aufgabe 11.1
Von einem Intelligenztest X ist bekannt, dafi er normalverteilte Werte liefert und Var{X) = 225 gilt. Zu testen ist aus einer Stichprobe vom Umfang n = 10 die NuUhypothese E{X) < 110. (a) Welchen Verwerfungsbereich erhalt man bei einem geeigneten Testverfahren? (b) Wie lautet die Testentscheidung, wenn x = 112 resultiert? (c) Wie grofi ist der Fehler zweiter Art, wenn der tatsachliche Erwartungswert 120 betragt? (d) Welchen Verwerfungsbereich erhalt man, wenn die Varianz nicht bekannt ist, dafiir aber 5^ = 230 berechnet wurde. Wird HQ abgelehnt?
Aufgabe 11.2
Auf zwei Maschinen A und B wird Tee abgepackt. Auf Stichprobenbasis soil nachgewiesen werden, dafi die Maschine A mit einem grofieren durchschnittlichen Fiillgewicht arbeitet als die Maschine B {a = 0.01). (a) Man weiC dafi die Fiillgewichte der beiden Maschinen annahernd normalverteilt sind mit a\ = 49 g^ und cr^ = 25g^. Eine Zufallsstichprobe vom Umfang n^ = 12 aus der Produktion der Maschine A Uefert ein durchschnitthches Fiillgewicht von x = 140 g. Eine Zufallsstichprobe aus der Produktion der Maschine B vom Umfang n2 = 10 ergibt ein durchschnitthches Ftillgewicht von x = 132g. Man fiihre einen geeigneten Test durch. (b) Die Varianzen seien nun unbekannt, aber man kann davon ausgehen, dafi sie gleich sind. Man erhalt als Schatzungen der Standardabweichungen 5^ = 5 und SB = 4.5. Man fiihre mit den Resultaten aus (a) einen geeigneten Test durch.
Aufgabe 11.3
Bei 5 Personen wurde der Hautwiderstand jeweils zweimal gemessen, einmal bei Tag {X) und einmal bei Nacht (Y). Man erhielt fiir das metrische Merkmal Hautwiderstand folgende Daten 24 28 21 27 23 Xi Yi 20 25 15 22 18
11.6
473
Aufgaben
(a) Die Vermutung in Forscherkreisen geht dahin, dafi der Hautwiderstand nachts absinkt. Lafit sich diese Vermutung durch die vorliegende Untersuchung erharten? Man teste einseitig mit einem verteilungsfreien Verfahren (a = 0.05). (b) Man iiberpriife die NuUhypothese aus (a), wenn bekannt ist, dafi der Hautwiderstand normalverteilt ist. Bei einer Umfrage zur Kompetenzeinschatzung der Politiker A und B werden folgende Zufallsvariablen betrachtet X =
1
A ist kompetent
0
A ist nicht kompetent,
Y =
1
B ist kompetent
0
B ist nicht kompetent.
Aufgabe 11.4
Es wird eine Stichprobe von n = 100 befragt. 60 Personen halten A fiir kompetent, 40 Personen halten B fiir kompetent, 35 Personen halten beide fiir kompetent. (a) Man gebe die gemeinsame (absolute) Haufigkeitsverteilung der Zufallsvariablen X und Y in einer Kontingenztafel an. (b) Man teste die Hypothese der Unabhangigkeit von X und Y {a = 0.05). Bei n = 10 Probanden wurden InteUigenz (Variable X) und Gedachtnisleistung (Variable Y) ermittelt. Man erhielt die Wertepaare: X Y
124 79 118 102 86 89 109 100 94 101 112 76 98 91
128 73
114 90
95 84
Man teste die Hypothese der Unabhangigkeit von X und Y unter Verwendung des BravaisPearsonschen Korrelationskoeffizienten (a = 0.05). Hinweise: X) ^? = H I 548, ^ yf = 85 727, X) ^iVi = 95 929.
Aufgabe 11.5
12 Regressionsanalyse
In Abschnitt 3.6 wird behandelt, wie sich der Einflufi eines erklarenden Merkmals X auf ein Zielmerkmal Y darstellen und explorativ untersuchen lafit. Beide Merkmale werden dabei als metrisch skaliert vorausgesetzt, und es wird angenommen, dafi der Zusammenhang zwischen Y und X durch eine approximative Beziehung der Form
Y = fiX) + e beschrieben werden kann. Dabei ist / eine deterministische Regressionsfunktion und e ein Fehler, der durch X allein nicht erklarbar ist. Am bekanntesten ist die lineare Einfachregression, bei der eine lineare Regressionsfunktion
f{X) = a + ^X als "Ausgleichsgerade" verwendet wird. Als Beispiele betrachten wir auch in diesem Kapitel das CAP-Modell mit Y = "Aktienrendite minus Zins" und X = "Marktrendite" und die Mietspiegel-Regression mit Y = "Nettomiete" (oder "Nettomiete/qm") und X = "Wohnflache". Die Abbildungen 3.17 und 3.20 aus Abschnitt 3.6 zeigen die Streudiagramme und zugehorigen Ausgleichsgeraden. Dieser Regressionsansatz wird nun in mehrfacher Hinsicht erweitert. Zunachst wird angenommen, dafi der Fehler e eine Zufallsvariable mit bestimmten Eigenschaften ist. Bei gegebenem Wert x von X ist dann auch Y = f{x) + e eine Zufallsvariable. Das Merkmal X kann deterministisch sein, d.h. die Werte von X konnen systematisch oder "kontroUiert" variiert werden, oder X ist ebenfalls eine Zufallsvariable, d.h. die a:-Werte sind beobachtete Realisierungen von X. Da im Gegensatz zur empirischen Beziehung fiir die Daten nun Zufallsvariablen in den linearen Ansatz eingehen, gelangt man zu einem stochastischen Modell der linearen Einfachregression (Abschnitt 12.1). In Anwendungen liegt sehr oft der Fall vor, dafi die Zielvariable Y von mehreren Einflufigrofien X i , . . . , Xp abhangt. So hangt die Nettomiete von Wohnungen im
12. Regressionsanalyse
476
Beispiel 1.2 neben der Wohnflache von weiteren Merkmalen ab, die Alter, Ausstattung und Lage der Wohnung beschreiben. Dabei konnen die Einflufigrofien sowohl metrisch als auch kategorial sein. Abschnitt 12.2 behandelt das zugehorige Modell der linearen Mehrfachregression. Diese "klassische" lineare Regression basiert auf zwei Grundannahmen: Die Zielvariable Y mu6 metrisch skaliert sein; zusatzlich ist es zumindest giinstig, wenn Y approximativ normalverteilt ist. Zweitens wird die Regressionsfunktion als linear angenommen. Abschnitt *12.4 skizziert einige Erweiterungen der Regressionsanalyse auf nichtlineare Regressionsansatze.
12.1
Lineare Einfachregression
Es liege die Datensituation von Abschnitt 3.6 vor: Fiir n Objekte werden zu den beiden metrischen Merkmalen Y und X die Werte {yi^Xi)^i = l , . . . , n , gemessen oder beobachtet. Dabei ist zu beachten, dafi es in Anwendungen oft notig ist, ein urspriinglich erhobenes Merkmal, etwa Z, geeignet in X = f{Z), z.B. durch X = Z^ oder InZ zu transformieren, so dafi dann nicht Z, sondern die abgeleitete Variable X in den linearen Regressionsansatz eingeht. Dies gilt in analoger Weise fiir das Merkmal Y. 12.1.1
Das Modell der linearen Einfachregression
In der linearen empirischen Beziehung yi = a + pXi + Ei,
Fehlervariable
zufdllige Komponente
fassen wir nun die Fehler e^ als Realisierungen von Zufallsvariablen auf. Im folgenden unterscheiden wir in der Notation nicht zwischen Fehlern und zugehorigen Zufallsvariablen, sondern bezeichnen beide mit e^. Die Fehler- oder Storvariablen ei sind nicht beobachtbar, soUen aber den nicht kontroUierten oder nicht systematisch mefibaren Einjflufi von Mefifehlern oder anderen Variablen, die im Vergleich zu X deutlich weniger Erkarungswert fiir Y besitzen, umfassen. Da sie als unsystematische oder zufdllige Komponente eingehen, ist es verniinftig, dafi man zumindest E{ei) = 0,
deterministisch Realisierungen von Zufallsvariablen
i = 1,..., n
i=l,
,n
fordert. Die Werte Xi konnen deterministisch^ d.h. fest vorgegeben sein, wie etwa in einem geplanten Versuch, oder sie konnen sich als Realisierungen von Zufallsvariablen Xi ergeben. Die zweite Situation liegt in der Regel dann vor, wenn in einer Zufallsstichprobe an n Objekten simultan die Realisierungen (yi, x^), i = 1 , . . . , n, der
12.1
477
Lineare Einfachregression
Variablen (Y, X) beobachtet werden. Bei festen oder beobachteten Werten Xi stellt a + l3xi die systematische Komponente zur Erklarung von Y dar. Die Werte yi sind damit ebenfalls als Realisierungen von Zufallsvariablen Yi aufzufassen. Somit geht die empirische Beziehung iiber in das stochastische Grundmodell Yi = a + l3xi + Si,
E{€i) = 0,
systematische Komponente
i = l,...,n,
der linearen Einfachregression. Dieses Grundmodell wird durch zusatzliche Annahmen weiter spezifiziert. Dem "klassischen" linearen Regressionsmodell liegt die Vorstellung zugrunde, dafi die systematische Komponente a + l3xi additiv und rein zufallig durch Fehlervariablen e^ iiberlagert wird. Diese Modellannahme wird formal dadurch ausgedriickt, dafi die Zufallsvariablen 6^, i = l , . . . , n , unabhangig und identisch verteilt sind. Insbesondere besitzen damit alle e^ gleichgrofie Varianz Var{ei) = a'^. In der folgenden Modelldefinition wird dies zusammengefafit.
Standardmodell der linearen Einfachregression
Es gilt Yi = a + /3xi + ei,
z = 1,..., n.
Dabei sind F i , . . . , 1^ beobachtbare metrische Zufallsvariablen, x i , . . . , Xn gegebene deterministische Werte oder Realisierungen einer metrischen Zufallsvariable X, € 1 , . . . , €n unbeobachtbare Zufallsvariablen, die unabhangig und identisch verteilt sind mit E{ei) = 0 und Var{ei) = cr^ • Die RegressionskoefSzienten a, l3 und die Varianz a^ sind unbekannte Parameter, die aus den Daten (?/i, a;^), i = 1 , . . . , n, zu schatzen sind. Die folgenden Bemerkungen erlautern dieses Modell noch naher. 1. Die Annahme fest vorgegebener x-Werte trifft vor allem fiir "geplante Experimente" zu. Beispielsweise konnte xi die vorgegebene Dosis eines blutdrucksenkenden Praparats und Yi der gemessene Blutdruck sein oder xi die investierten Werbungskosten und Yi der Umsatz fiir ein bestimmtes Produkt. In vielen Problemstellungen liegt aber folgende Situation vor: Die Daten (^i,Xi),i = 1 , . . . ,n, entstammen einer zufaUigen Stichprobe vom Umfang n, bei der fiir jedes Objekt die Werte der Merkmale Y und X festgestellt werden. Man faiJt dann (yi^Xi) als Reahsierungen von unabhangigen und identisch wie (Y,X) verteilten Stichprobenvariablen (Yi.Xi)
Bemerkungen Deterministische und stochastische Regressoren
12. Regressionsanalyse
478
Eigenschaften der Zielvariablen
auf. Diese Situation trifft in ausreichender Naherung auch dann zu, wenn aus einer grofien Grundgesamtheit zufallig ohne Zuriicklegen gezogen wird, wie etwa im Beispiel eines Mietspiegels, wo zu einer gezogenen Wohnung i deren Nettomiete yi und Wohnflache Xi festgestellt wird. In dieser Situation sprechen wir auch kurz von einem Regressionsmodell mit stochastischem Regressor. In der obigen Modellfunktion sind dann streng genommen alle Annahmen unter der Bedingung X^ = x^, i = 1 , . . . , n, zu verstehen, also etwa E{ei\Xi = xi) = 0, Var{ei\Xi = Xi) = G^. Wir unterdriicken diese Bedingung zwar weiterhin notationell, aber Eigenschaften und Aussagen, die aus der Modelldefinition folgen, sind gegebenenfalls "bedingt" zu interpretieren. Dies gilt insbesondere auch fiir die folgende Bemerkung. 2. Aus den Eigenschaften der Fehlervariablen folgen entsprechende Eigenschaften fiir die Zielvariablen. Es gilt E{Yi) = E{a + (3xi + e^) = a + (3xi Var{Yi) = Var{a + f3xi + e^) = a^ , und die Verteilungen der Yi sind bis auf die Verschiebung a + ^Xi der Erwartungswerte gleich. Abbildung 12.1 veranschaulicht diese Eigenschaften.
a + l3x
ABBILDUNG
Homoskedastizitdt
12.1: Dichten der Zielvariablen
Ebenso iibertragt sich, bei gegebenen x^, die Unabhangigkeit der €{ auf die Yi. 3. Die Eigenschaft gleicher Varianz cr^ der Fehlervariablen e^ wird auch als Homoskedastizitdt bezeichnet. Sie wird oft dadurch verletzt, dafi die Varianzen der e^ und damit der Yi mit grdfier werdenden x-Werten ebenfalls zunehmen. Ob die Annahme der Homoskedastizitat kritisch ist, sieht man oft schon aus dem Streudiagramm fiir die {yi,Xi)-WeTte. In Abbildung 3.20 wachst offensichthch die (empirische) Varianz
12.1
479
Lineare Einfachregression
der Nettomieten mit der Wohnflache an. Damit sind die Fehlervarianzen nicht homoskedastisch. Lafit man zu, dafi die Varianzen ungleich sind, so spricht man auch von Heteroskedastizitdt, In diesem Fall sind die Methoden der linearen Regression nur in geeignet modifizierter Form anwendbar. Fiir Zeitreihendaten, bei denen z = 1 , . . . , n aufeinanderfolgende Zeitpunkte sind, kann die Annahme unabhangiger Fehler und damit, bei gegebenen Xi^ unabhangiger Yi verletzt sein, da eine zeitliche Korrelation in Betracht zu Ziehen ist. Diese Situation liegt beim CAP-Modell vor. Empirische und theoretische Ergebnisse deuten allerdings daraufhin, dafi Renditen keine oder nur eine geringe zeitliche Korrelation besitzen.
Heteroskedastizitdt
Korrelation
Sowohl fiir heteroskedastische als auch abhangige Fehlervariablen existieren Modifikationen des Standardmodells. Dabei wird das Grundmodell beibehalten, wahrend die weiteren Annahmen entsprechend abgeandert werden. Dies hat auch entsprechende Modifikationen der einzusetzenden Verfahren zur Folge.
Die eben diskutierten, aber auch alle anderen Annahmen, insbesondere die Linearitat a + (3x der systematischen Komponente des klassischen linearen Regressionsmodells, sind in Anwendungen kritisch zu reflektieren und, soweit moglich, mit statistischen Methoden der Modelldiagnose zu liberpriifen. Dies kann mit Hilfe von formalen Tests, aber auch mit explorativen graphischen Analysen geschehen (vgl. die Abschnitte 12.1.3 und*12.4). Exakte Aussagen zu Verteilungen von Schatzern und Teststatistiken, die auch fiir Stichproben kleineren Umfangs n giiltig bleiben, erhalt man, wenn man zusatzlich annimmt, dafi die Fehler bzw. die Zielvariablen normal vert eilt sind.
Normalverteilungsannahme
ei ^ A/'(0,cr^)
bzw.
Yir^ Nia + pXi.a'^),
i = l,...,n.
Die im folgenden dargestellten Inferenztechniken arbeiten iiblicherweise dann gut, wenn diese Normalverteilungsannahme wenigstens approximativ gilt. Deshalb ist es auch sinnvoU, diese Annahme zum Beispiel mit Normal-Quantil-Plots zu iiberpriifen.
Modelldiagnose
12. Regressionsanalyse
480
12.1.2
Schatzen, Testen und Prognose
Die wichtigsten Grundaufgaben der statistischen Inferenz sind: Punkt- bzw. Intervallschatzen der unbekannten Parameter a,/3 und cr^, Testen von Hypothesen iiber die RegressionskoefRzienten a und /?, und die Prognose der Zielvariablen Y fiir einen neuen Wert x des Regressors X.
Schatzen
KQ-Methode
Fiir das Standardmodell der linearen Regression wird wie in Abschnitt 3.6.2 die gewohnliche KQ- (Kleinste-Quadrate-) Methode eingesetzt. Ersetzt man im KQAnsatz die Realisierungen yi durch die Zufallsvariablen Yf, dann lautet das KQPrinzip: Bestimme die Schatzer a und $ fiir a und f3 so, dafi
E(^^
a
(ixif
mm,
i=i
also die Summe der quadratischen Abweichungen durch a,/3 minimiert wird. Die Losung fiir a und ^ ergibt sich wie in Abschnitt 3.6.2, nur sind statt der yi die Zufallsvariablen K- einzusetzen:
a = Y-$x,
/3 =
^ {xi - x) {Yi -Y)
Y^^iYi-
i=i
i=i
J2{xi-x)'^
Schdtzfunktion
Residuen
rixY
^ — nx^
mit Y = (Yi-] \-Yn)/n. Damit hangen bei gegebenen x^-Werten a und $ von den Zufallsvariablen Y i , . . . , 1 ^ ab und sind somit Schdtzfunktionen. Notationell unterscheiden wir dabei nicht zwischen den Realisierungen von a und /5, die man erhalt, wenn man fiir die Yi die Realisierungen yi einsetzt. Wie in Abschnitt 3.6 bezeichnet man die Abweichungen ei = Yi — Yi\i = l^...^n^ zwischen den Zielvariablen und ihren Schatzern % = a + 0Xi als Residuen. Als Schatzer fiir cr^ verwendet man die gemittelte Residuenquadratsumme a^ = ;r^Z)r=i^?- ^^ folgenden fassen wir die Schatzer und wichtige Eigenschaften zusammen.
12.1
Lineare Einfachregression
481
Kleinste-Quadrate-Schatzer
$=^^^
, & = Y-$x, J2{xi-x)'^ i=l
i=l
1=1
mit den Residuen ei = Yi — Yi und den gefitteten Werten Yi = a + ^Xi Es gilt: E{a) = a, E0)=/3, E{a^) = a\ Var{a) = al = a^
^""^
'^ Jli^i ~ ^)^
=- -a2
E^ " ( E ^f - "^^) '
Far(/?) = 4 = Somit sind d, /3 und a^ erwartungstreue Schatzer. Gilt fiir n —^ oo n
z=l
SO sind sie auch konsistent. Alle obigen Eigenschaften gelten fiir das Standardmodell der linearen Regression. Fiir einen stochastischen Regressor X sind die Resultate bedingt zu interpretieren. Bemerkungen: 1. Die Formel fiir den KQ-Schatzer $ lafit sich leicht zu A ^ =
SY
rxY-^
umformen, wobei rxY^ Sy^ Sx die Schatzer fiir den KorrelationskoefRzienten pxY und die Standardabweichungen cry, ax sind. Diese Beziehung ist fiir das Modell mit einem stochastischen Regressor sinnvoll intepretierbar, fiir deterministische xWerte bleibt sie rein rechnerisch ebenfalls giiltig. Dies gilt in analoger Weise fiir die Aquivalenz i?^ = r'j^y ^^^ Bestimmtheitsmafi und empirischem KorrelationskoefRzienten (vgl. Abschnitt 3.6).
Bemerkungen Beziehung zur Korrelation
12. Regressionsanalyse
482
Linearitdt der KQ-Schdtzer
2. Einfache Umformungen zeigen noch deutlicher, wie a und $ von Yi^... ^Yn abhangen. Ausmultiplizieren im Zahler liefert zunachst
i=l n
i=l n
o ^
2=1
Z=l
Der zweite Term ist null, da Y^{xi — x) = Q ist. Somit erhalt man
/^ = Ehr^
Yi = Y.^C^^ z=l
mit den Gewichten
z=l
Einsetzen in a = y — /3a: ergibt nach kurzer Umformung aiYi, 2=1
ai =
—
n
-X.
A / Y,{xi-xy 2=1
Konsistenz
Somit sind a und $ lineare Punktionen der Zielvariablen Y i , . . . , 1^ und man kann nach den Rechenregeln fiir Linearkombinationen von unabhangigen Zufallsvariablen (Abschnitt 6.1) Erwartungswert und Varianz von a und /3 berechnen und daraus die obigen Eigenschaften ableiten. 3. Die Konsistenzbedingung ^(a^^ —^)^ —> oo bedeutet, dafi die Werte x i , . . . , x ^ , . . . fiir alle n hinreichend stark um ihr arithmetisches Mittel variieren. Nur so kommt immer wieder zusatzliche Information zur Schatzung von d und /3 hinzu. Fiir einen stochastischen Regressor X, bei dem x i , . . . , x ^ , . . . Realisierungen der unabhangigen und identisch wie X verteilten Stichprobenvariablen X i , . . . , X ^ , . . . sind, gilt diese Bedingung, da mit Wahrscheinlichkeit 1 gilt:
^J2{Xi-Xf^Var{X)
= a\.
2=1
gewichtete KQ-bctidtzung
4. Fiir Modifikationen des Standardmodells ergeben sich Anderungen. Wenn zum Beispiel die Varianzen heteroskedastisch sind, ist es giinstiger, sofort zu einer gewichteten KQ-Schdtzung liberzugehen. Man bestimmt dann a und ^ so, dafi die mit
12.1
483
Lineare Einfachregression
den Varianzen af = Var{ei) gewichtete Summe der quadratischen Abweichungen
2=1
*
beziiglich a und /? minimiert wird. Dazu miissen allerdings die af bekannt sein oder geschatzt werden.
Fiir Intervallschatzungen und Tests benotigt man auch Verteilungsaussagen iiber die Schatzer. Unter der Normalverteilungsannahme eir^N{0,a'^)
bzw.
erhalt man wegen a = J^^i^ii sind mit
Yi r^ N{a + fSxi^a'^),
i = l,...,n,
^ = J2^i^i sofort, dafi auch a und /3 normalverteilt
a~iV(a,a|),
^^NiP^aj),
wobei a?, cr? die oben angegebenen Varianzen von a und /3 sind. Ersetzt man dort die unbekannte Varianz cr^ der Fehler durch den Schatzer a^, so sind die standardisierten Schatzer Student-verteilt mit n — 2 Preiheitsgraden. Die Anzahl der Freiheitsgrade verringert sich von n auf n — 2, da die 2 Parameter a, (3 geschatzt werden.
Verteilung der standardisierten Schatzfunktionen
Unter der Normalverteilungsannahme gilt , ^. & — ex —^ t{n - 2),
(3 — 0 , ^. ^ - ^ r^ t{n - 2) "0
'a
mit 2=1
a/y = a-
^
^R
=
lnY^(xi - xY 2=1
Verteilungsaussagen
12. Regressionsanalyse
484
Mit iiblichen Argumenten erhalt man daraus symmetrische Konfidenzintervalle:
Konfidenzintervalle fiir a und /3 a ± (j^^ l - a / 2 ( ^ - - 2 ) ,
p±a^h - a / 2 ( ^
-2)
Fiir n > 30 : t-Quantile der t(n - 2)-Verteilung durch Quantile der iV(0,l)Verteilung ersetzen.
approximativ normalverteilt t-verteilt
In vielen Fallen ist die Normalverteilungsannahme nur approximativ erftillt oder sogar deutlich verletzt. Die obigen Verteilungsaussagen bleiben aber asymptotisch fiir n —> oo richtig, falls die Konsistenzbedingung ^ ( x ^ — x)^ -^ oo erfiillt ist. Das bedeutet, dafi fiir groCen Stichprobenumfang n die Verteilungen der (standardisierten) Schatzfunktionen approximativ normal- bzw. t-verteilt sind und somit die obigen Konfindenzintervalle approximativ das Konfidenzniveau 1 — a besitzen. Falls die Fehler bzw. Zielvariablen selbst bereits approximativ normalverteilt sind, geniigt dazu bereits ein' relativ kleiner (n ~ 20) Stichprobenumfang. Fiir deutlich nicht normalverteilte Fehler bzw. Zielvariablen muiJ jedoch der Stichprobenumfang ebenfalls deutlich erhoht werden, u m zuverlassige Schliisse zu Ziehen.
Beispiel 12.1
CAP-Modell und Beta>Koeffizient In Kapitel 3, Beispiel 3.31 (Seite 163), wurden bereits die KQ-Schatzungen fiir das CAPM beziiglich der MRU-Aktie bestimmt. Man erhielt die Regressionsbeziehung yi = 0.0004+ 1.0216xi + ei,
1,...,31,
fiir den Zeitraum Juni 1991 bis Dezember 1993 mit dem Regressor X = "Marktrendite minus Zins" und der Zielvariable Y = "Rendite der MRU-Aktie minus Zins". Im Gegensatz zum Mietspiegel-Beispiel zeigt das Streudiagramm dieser beiden Variablen in Abbildung 3.20 keine Auffalligkeiten: Offensichtlich wird die Streuung der Zielvariable hier nicht von der Regressorvariable beeinflufit, so dafi von Homoskedastizitat ausgegangen werden kann. Da es sich um Zeitreihendaten handelt, verdient die Annahme unkorrelierter Fehler besonderes Augenmerk. Dazu betrachtet man eine eventuelle Korrelation zwischen den y- Werten mit sich selbst, jedoch um einen Monat verschoben. Der Korrelationskoeffizient von BravaisPearson zwischen {Yi, Fi+i), i = 1 , . . . , 30, betragt hier 0.1817 und der Korrelationstest aus Kapitel 11 kann keine signifikante Korrelation mit den zeitverzogerten Variablen aufzeigen (;>Wert 0.3365). Wir nehmen deshalb im folgenden an, dafi auch die Fehlervariablen nicht korrehert sind. Fiir ihre Varianz cr^ = Var{ei) erhalt man die Schatzung a'
0.000179/29 = 6.17-10-
wobei 0.000179 die Residuenquadratsumme J^iVi ~ ViY ist. Die Standardabweichung wird damit durch a = 0.00248 geschatzt. Mit XlILi ^1 = 0.0016 und x = -0.0068 ergeben sich die
12.1
Lineare Einfachregression
485
geschatzten Standardabweichungen der KQ-Schatzungen fiir die Koeffizienten: 6-^ =
,
0.00248
= 0.0014
/31-(Q.0016-31-0.0Q682) 0.0016
0.00248 (7A = , = 0.1922. ^ VO.0016 - 3 1 . 0.00682 In Kapitel 2 haben wir gesehen, dafi die monatlichen Durchschnittsrenditen der MRU-Aktie nur approximativ normalverteilt sind (vgl. Abbildung 2.30). Aber in dem hier betrachteten Teildatensatz sind keine AusreiBer vorhanden, so dafi wir in guter Naherung von normalverteilten Zielvariablen ausgehen konnen. Unter dieser Verteilungsannahme erhalt man zur Uberdeckungswahrscheinlichkeit 0.95 die Konfidenzintervalle a ± 0.0014 • 2.045 = [-0.0025; 0.0033], p ± 0.1922 . 2.045 = [0.6286; 1.4146]. Dabei liegt der Wert null im Konfidenzintervall fiir den y-Achsenabschnitt a, nicht aber in dem fiir den Steigungskoeffizienten /3. Da bekanntermafien 95 %-Konfidenzintervalle dem Annahmebereich eines zweiseitigen Tests zum Niveau 0.05 entsprechen, bedeutet dies, dafi die NuUhypothese a = 0 verworfen werden kann, wahrend der Steigungsparameter /3 signifikant von null verschieden ist. Die NuUhypothese /?= 1, d.h. der Beta-Faktor zeigt, dafi sich die MRU-Aktie wie der Gesamtmarkt verhalt, kann dagegen nicht verworfen werden. Natiirlich lassen sich auch in der Regressionsanalyse solche Tests anhand geeigneter Teststatistiken durchfiihren, wie im folgenden ausgefiihrt wird. D
Testen Folgende Hypothesen iiber a und /3 sind hauptsachlich von Interesse: (a) iJo : a = ao ,
Hi'.ay^ao
bzw. HQ: /3 = /3o,
Hi: /3^ j3o,
(b) Ho:a>ao,
Hi : a < ao
bzw. HQ: (3>I3Q,
HI'. [3 < /?o,
{c) Ho:a
Hi:a>
bzw. HQ : /S < f3o ,
ao
Hi'. (3> ^Q.
Von besonderer Bedeutung ist das Hypothesenpaar Ho:f3 = 0,
Hi'.p^O.
Dabei bedeutet iJo * /? = 0, dafi tatsachlich Y^ = a + e^, i = 1 , . . . , n, gilt, und somit X keinen Erklarungswert fiir Y besitzt. Ablehnung von HQ zugunsten von Hi bedeutet, dafi es sinnvoU ist, X in Form der systematischen Komponente a + l3x zur Erklarung von Y einzusetzen. Als Teststatistiken verwendet man die standardisierten Schatzer.
12. Regressionsanalyse
486
Aufgrund ihrer Verteilungseigenschaften erhalt man Entscheidungsvorschriften, die vollig analog zu denen des t-Tests im Ein-Stichproben-Fall sind. Teststatistiken und Ablehnbereiche bzw.
Tf3o =
/?-/5o ^/3
Ablehnbereiche zu den Hypothesen (a), (b), (c) (a)
ir^ol
>
ti_a/2{n-2)
bzw.
\T^,\
>
h_^/2{n-2)
(b)
Tao
<
-ti-a(n-2)
bzw.
Tfs^
<
-ti_<,(n-2)
(c)
^ao
>
ti_a(n-2)
bzw.
t/?o
>
ti_c.(n-2)
Fiir n > 30: Quantile der t{n — 2)-Verteilung durch Quantile der A^(0,1)Verteilung ersetzen. Bei Giiltigkeit der Normalverteilungsannahme besitzen die Tests exakt das Niveau a, ansonsten approximativ fiir groiieren Stichprobenumfang. Wie immer konnen die Testentscheidungen auch iiber die Beziehung zu Konfidenzintervallen oder mittels der p-Werte getroffen werden. Letzteres wird vor allem in statistischen Programmpaketen beniitzt. Dort werden liblicherweise die T-Werte und p-Werte zu den Hypothesen a) mit ao = 0 bzw. (3o = 0 ausgegeben. Daraus laiJt sich dann erkennen, ob der Einbezug von a bzw. f3 in den Regressionsansatz sinnvoll ist. Zusatzlich zu den Schatzwerten a, /3 und T- bzw. p-Werten wird oft mit Hilfe einer sogenannten Varianzanalysetabelle, die auf der Streungszerlegung von Abschnitt 3.6.3 beruht, ein sogenannter F-Wert berechnet. Varianzanalysetabelle mittlerer quadratischer Fehler
Priifgrofie 77.
MQE
^ -
MQR
Streuung
Preiheitsgrade
Erklarte Streuung
SQE
1
MQE=^
Reststreuung
SQR
n-2
MQR=^
Gesamtstreuung
SQT
n~l
12.1
487
Lineare Einfachregression
Es lafit sich zeigen, dafi F = Tj^ gilt. Somit kann auch der F-Wert zur Priifung von HQ: l3 = 0 verwendet werden. Falls die Normal vert eilungsannahme zutrijfft, gilt unter dieser NuUhypothese F ~ F ( l , n — 2). Zudem gilt die Beziehung
F =
i?2 l-i?2
(n-2),
Beispiel 12.2
CAP-Modell und Beta-Koeffizient Im Rahman des CAP-Modells sind vor allem die Hypothesen Ho'.a = 0,
Hi'.a^O
und
HQ : p = 1,
Hi : p ^ 1
von Interesse. Die zugehorigen Realisierungen der TestgroCen lauten fiir unser Beispiel beziiglich der MRU-Aktie:
T
a - —
0.0004 0.0014
0.286,
t/3o
p-1 aa
0.0216 ~ 0.1922
0.112.
Wegen ^0.975 (29) = 2.045 liegen sowohl T^Q als auch T^^ nicht im Ablehnbereich zum Signifikanzniveau 5 %. Somit ist hier der Intercept-Term a nicht signifikant von null verschieden, weswegen er auch haufig im CAP-Modell von vornherein weggelassen wird. Der SteigungskoefEzient /?, der im Rahmen des CAP-Modells auch als Beta-Faktor bezeichnet wird, ist nicht signifikant von eins verschieden, d.h. die MRU-Aktie birgt weder ein grofieres noch ein kleineres Risiko als der Gesamtmarkt. Ferner erhalt man hier die folgende Varianztabelle:
5 g £ ; = 0.00018
1
MQE = 0.00018
SQR = 0.00018
29
MQR = 6 • 10-^
SQT = 0.00036
30
F = 29
Der p-Wert zu F = 29 bei 1 und 29 Freiheitsgraden ist gleich 7-10~^, so daB /? signifikant von null verschieden ist und die X-Variable (Marktrendite minus Zinssatz) also einen Einflufi auf die F-Variable austibt. Der Erklarungswert der unabhangigen Variable lafit sich mit Hilfe des Bestimmtheitsmafies noch genauer messen: Hier gilt i?^ = | S ^ = 0.5, d.h., dafi das hier beschriebene CAP-Modell 50 % der Variation der abhangigen Variable "MRU-Rendite minus Zins" erklart. D
13. Varianzanalyse
520 Zielgrofie
Faktor
Stufe 1 Stufe 2
2/11
2/12
•••
yini
J/21
2/22
•••
y2n2
: Stufe /
yii
yi2
'"
Vlni
Dabei bezeichnen n i , . . . , n / die Stichprobenumfange in jeder Faktorstufe und / die Anzahl der Faktorstufen. In Beispiel 13.2 ist / = 3, ni = 6, n2 = 10, n^ = 8 und n = J2i=i ^i = 24. AUgemein liegen also auf Faktorstufe i die Merkmalsauspragungen yiU'",yini, i = l , . . . , / , vor. Um nun zu einem varianzanalytischen Modell zu gelangen, mu6 die Zielvariable in Abhangigkeit der auf Stufen erfafiten Einfiufigrofie beschrieben werden. Man unterscheidet dazu zwei Ansatze: Modellformulierung (I)
Im ersten Modellansatz nimmt man an, dafi durch die jeweilige Faktorstufe eine gewisse durchschnittliche Auspragung der Zielgrofie, wie etwa ein mittlerer Einstellungsscore der Jugendlichen gegeniiber der Nutzung von Atomenergie, bedingt wird. AUerdings gibt es natiirlich individuelle Schwankungen um diesen mittleren Wert, denen im Modell Rechnung getragen werden mufi. Daher lafit sich die Zielgrofie Yij als Summe des Erwartungswerts jii von Faktorstufe i und eines Storterms eij fiir die i-te Faktorstufe und die j - t e Untersuchungseinheit darstellen, also Xij — /i-i + €.ij ,
Normalverteilung
1,...,/,
j = l,...,ni
Da wir zudem vorausgesetzt haben, dafi die Zielvariable in den Gruppen normalverteilt ist und sich, wenn iiberhaupt, nur durch ihre Erwartungwerte unterscheidet, konnen wir zudem annehmen, dafi die Storgrofie normalverteilt ist mit
Inhaltlich bedeutet diese Annahme, dafi sich die Storterme im Mittel wieder ausgleichen und dafi die VariabiUtat in alien Gruppen gleich ist. Da wir die Untersuchungseinheiten zufallig auswahlen, konnen wir zusatzlich davon ausgehen, dafi die Yij und damit die eij unabhangig sind, d.h. F n , Yi2^..., Yim bzw. €ii,...,€/n/ sind voneinander unabhangig. Uns interessiert nun die Frage, ob sich die Faktorstufen unterschiedlich auf die Zielgrofie auswirken. Diese Frage formulieren wir auch hier als statistische Alternative in dem entsprechenden statistischen Testproblem, das gegeben ist als i?(0
: / i i = /X2
M/
gegen
Hi : fii ^ fij
fiir mindestens ein Paar (i, j )
12.1
489
Lineare Einfachregression
Beispiel 12.3
C A P - M o d e l l und Beta-Koeffizient
Im Teildatensatz von Juni '91 bis Dezember '93 ist die unabhangige Variable stets negativ, so daC man sich fragen konnte, was mit der F-Variable geschehen wiirde, wenn sich der Gesamtmarkt positiver entwickeln wiirde. Wir woUen deshalb die Rendite der MRUAktie (minus deni risikolosen Zinssatz) fiir die drei moglichen X-Werte XQI = 0.0, a:o2 = 0.01 und xos = 0.05 prognostizieren. Punktschatzer fiir YQ erhalt man dann unmittelbar durch Einsetzen in die Regressionsgerade: yoi = 0.0004 + 1.0216 • 0.0 = 0.0004, yo2 = 0.0004 + 1.0216 . 0.01 = 0.0106, yo3 = 0.0004 + 1.0216 • 0.05 = 0.0515.
8 -
/ / / / / / / / /
• •
9
1. 9
* *
m tr
^ S9
/ / / / / /
/ /
/
/ / /
t
M
1 2
i. 9 o o 9 o 9
^
' DAFOX-Rendite minus Zins
ABBILDUNG
12.2: Konfidenzintervall fiir die Regressionsgerade zum CAP-
Modell Die zugehorigen Konfidenzintervalle (vgl. Abb. 12.2) zum Vertrauensgrad 0.95 lauten ^0 ± 2.045 . 0.00248,/1 -f ^ -f ^^^-^'^^^^^ ^, ^° ^/ 31 0.0016 - 31.0.00682 ' also [-0.0054,0.0062] fiir Foi, [0.0022,0.0190] fiir 702 und [0.0286,0.0744] fiir 703- Wahrend man fiir XQI = 0 . 0 noch nicht mit einer positiven Rendite (minus Zins) rechnen darf, sind fiir xo2 = 0.01 und a:o3 = 0.05 die prognostizierten Renditen somit signifikant im positiven Bereich. D
12. Regressionsanalyse
490 12.1.3
Residualanaiyse
Mit dem Schatzen und Testen in einem linearen Regressionsmodell sollte man auch Modelldiagnose eine Modelldiagnose verbinden. Darunter versteht man statistische Mittel, mit denen iiberpriift werden kann, ob die Annahmen des Standardmodells - zumindest approximativ - erfiillt sind oder deutliche Abweichungen vorliegen. Neben formalen Tests, die hier nicht dargestellt werden, sind vor allem graphische Modelldiagnosen, die auf den Residuen basieren, niitzlich. Oft sieht man bereits am Streudiagramm selbst, ob Annahmen verletzt sind. Das Streudiagramm Nettomieten-Wohnflache weist z.B. bereits darauf hin, dafi die Varianzen mit der Wohnflache anwachsen, also heteroskedastisch sind. Aus dem Streudiagramm Nettomieten pro qm-Wohnflache ersieht man, dafi die Beziehung eher nichthnear ist. Noch deuthcher werden derartige Verletzungen der Modellannahmen durch sogenannte Residualplots^ also graphische Darstellung mit Hilfe der Residuen, Residualplots vgl. Abschnitt 3.6.3. Letztendlich beruhen alle derartigen Residualanalysen darauf, dafi sich die Modellannahmen fiir die Fehlervariablen e^ in deren Schatzungen, den Residuen e^, widerspiegeln soUten.
stabilisiert
studentisierte Residuen
Das Streudiagramm der (ei,Xi)-Werte sollte kein systematisches Muster aufweisen. Andernfalls ist, wie im Beispiel der Nettomieten pro qm, das Standardmodell nicht ohne weiteres anwendbar. Oft hilft hier eine Transformation der Variablen, etwa in der Form Y -^ y ^ , m 7^ 0, oder y -^ In y . Damit konnen oft heteroskedastische Varianzen homogenisiert oder stabilisiert werden. Aus dem gleichen Streudiagramm lassen sich auch Ausreifier, also deuthch vom Rest der Daten entfernte (y^, Xi)-Werte erkennen. Solche Ausreifier wird man genauer auf moglicheUrsachen hin ansehen und eventuell aus dem Datensatz entfernen. Abweichungen von der Normalverteilung lassen sich anhand eines NormalQuantil-Plots fiir die Residuen iiberpriifen. Dabei werden statt der e^ oft sogenannte studentisierte Residuen 1 ri = ۥ
n
{xi — x^)^ ^ X? — nx^
verwendet. Man kann zeigen, dafi sie den Eigenschaften der Fehler e^ noch naherkommen als die Residuen e^. Beispiel 12.4
CAP-Modell und Beta-Koeffizient
Das Streudiagramm der Residuen und der gefitteten Werte in Abbildung 12.3 zeigt - wiinschenswerterweise - keinerlei Auffalligkeiten. Die Punktwolke deutet vielmehr darauf hin, dafi die gefitteten Werte und die Residuen unkorreliert sind. Dies rechtfertigt nachtraglich die Annahme der Homoskedastizitat.
12.1 Lineare Einfachregression
491
-0.010
-0.008
-0.006
-0.004
-0.002
gefittete Werte
ABBILDUNG
12.3: Residualplot
Quantile der Standardnormalverteilung
ABBILDUNG
12.4: Normal-Quantil-Plot
Die Normalverteilungsannahme wird zudem durch den Normal-Quantil-Plot der Residuen in Abbildung 12.4 gestiitzt. Offensichtlich treten keine bemerkenswerten Ausreifier auf, und die Verteilung der Residuen lafit sich durch eine Normalverteilung sehr gut beschreiben. D
Mietspiegel
Beispiel 12.5
Am Streudiagramm Nettomieten/Wohnflachen der Abbildung 3.17 aus Abschnitt 3.6 erkennt man bereits, dafi die Fehlervarianzen heteroskedastisch sind. Berechnet man trotzdem nach der gewohnlichen KQ-Methode die Ausgleichsgerade, so erhalt man die Beziehung f = 98.76-h 6.75 X.
492
12.
Regressionsanalyse
Das Streudiagramm der Residuen und der gefitteten Werte in Abbildung 12.5 spiegelt diese Inhomogenitat der Varianzen nochmals wider.
§ A
— I — 400
— I — 600
-r
-r
800
1000
1200
gefittete Werte
ABBILDUNG
12.5: Residualplot
(0 CO
1- 2 - 1 0
1
2
Quantile der Standardnormalverteilung
ABBILDUNG
12.6: Normal-Quantil-Plot
Der Normal-Quantil-Plot in Abbildung 12.6 induziert deutliche Abweichungen von der Normalverteilung. Somit konnen die ungewichtete Regressionsanalyse und die resultierende Ausgleichsgerade nur deskriptiv aufgefafit werden. Fiir eine inferentielle Regressionanalyse mlifite eine gewichtete KQ-Schatzung oder eine geeignete Datentransformation durchgefiihrt werden. •
12.2
12.2
493
Multiple lineare Regression
Multiple lineare Regression
In diesem Abschnitt wird die lineare Einfachregression dahingehend erweitert, dafi neben der Zielvariable Y mehrere erklarende Variablen oder Regressoren Xi^... jXp betrachtet werden. Zu diesen Variablen werden jeweils n Werte Vi^ ^ili
• • • ? ^ip 1
1,
gemessen oder beobachtet. Beispiel 12.6
Mietspiegel
Die Zielvariable "Nettomiete" soil nun durch weitere Merkmale der Wohnung erklart werden. Wir betrachten in diesem Abschnitt eine Teilstichprobe des Mlinchner Mietspiegels mit Wohnungen der Baualtersklasse 1978 — 1989. Als erklarende Variablen werden die Wohnflache in qm, Badausstattung (gehoben/einfach), Kiichenausstattung (gehoben/einfach) und die Wohnlage (normale, gute, beste) herangezogen. Da Wohnungen dieser Baualtersklasse nicht reprasentativ fiir ganz Miinchen sind, dient dieses Beispiel nur zur Illustration der Methoden der multiplen Regressionsanalyse und darf nicht als Vorschlag fiir einen "Mietspiegel" missverstanden werden. D Wie in diesem Beispiel wird fiir den gesamten Abschnitt vorausgesetzt, dafi die Zielvariable metrisch ist. Die Regressoren konnen dagegen metrisch (wie die Wohnflache), binar (wie Bad- bzw. Kiichenausstattung) oder mehrkategorial (wie die Wohnlage) sein. Bei metrischen Regressoren wird es in praktischen Anwendungen oft notig sein, eine urspriingliche erhobene Variable, etwa z, geeignet in x = f{z)^ z.B. X = z^, x = liiz^ usw., zu transformieren, so dafi dann nicht z^ sondern die transformierte Variable x linear in den Regressionsansatz eingeht. Kategoriale Regressoren mit k geordneten oder ungeordneten Kategorien l,...,fc werden durch einen Vektor von m = k — 1 "Dummy-Variablen" x^^\ . . . , x^'^^ kodiert. Benutzt man 0-1 Dummy-Variablen, so spricht man auch kurz von Dummy-Kodierung. Dabei ist x^'^\ i = 1 , . . . ,m, durch
DummyKodierung
(i) _ j 1, fells Kategorie i beobachtet wird 1 0, sonst definiert. Falls die fc-te Kategorie, die Referenzkategorie^ beobachtet wird, so haben alle m Dummy-Variablen den Wert 0. Ein gebrauchliches alternatives Kodierungsschema ist die Effekt-Kodierung^ die in der Varianzanalyse bevorzugt wird. Wir werden fiir das Beispiel des Mietspiegels die Dummy-Kodierung wahlen. Die binare Variable "Badausstattung" ist dann durch XB
gehobene Badausstattung einfache Badausstattung
Referenzkategorie EffektKodierung
12. Regressionsanalyse
494
kodiert. Die dreikategoriale, geordnete Variable "Wohnlage" ist durch die zwei Dummy-Variablen ( i ) _
XV'
=
1,
gute Lage
(2) XT
0,
sonst,
1, 0,
beste Lage sonst,
definiert. Die Referenzkategorie "normale Lage" ist dann durch x^^ = 0 , x^^ = 0 gegeben. Wie bereits im Fall der univariaten linearen Regression kann auch eine Transformation der Zielvariable zweckmafiig oder notwendig sein. Besonders Potenztransforstabilisierende mationen Y -^ V^^ m 7^ 0, oder die logarithmische Transformation Y -^\nY sind Transformatio- geeignete Moglichkeiten. So kann eine multiplikative Beziehung durch Logarithmienen ren in eine additive Beziehung iibergefuhrt werden. Zugleich lassen sich oft gleichzeitig die Varianzen homogenisieren oder stabilisieren. Transformationen dieser Art heifien deshalb auch varianzstabilisierend. Fiir die weitere DarstelUung gehen wir davon aus, dafi der Einfiufi von Xi^... ^Xp auf Y - gegebenenfalls nach Transformation - durch eine approximative lineare Funktion Y = f3o + PiXi + '" + (3pXp + e
additiv-lineare systematische Komponente
beschrieben werden kann. Dabei ist /3o + ^iXi H \- (3pXp die additiv-lineare systematische Komponente und e eine Fehlervariable. Die Regressionskoeffizienten sind folgendermafien zu interpretieren: Erhoht man fiir einen metrischen Regressor Xi den Wert xi um eine Einheit, so zieht das bei festgehaltenen Werten der iibrigen Regressoren. die Erhohung der systematischen Komponente um den Wert /?i nach sich. Da man annimmt, dafi die Fehlervariable den Durchschnittswert 0 besitzt, wird sich dann auch der Wert von Y im Durchschnitt um den Wert /3i erhohen. Ist zum Beispiel Xp eine binare Variable oder eine 0-1-Dummy-Variable, so erhoht sich bei Vorliegen des Werts Xp = l die systematische Komponente um den Wert /3p im Vergleich zur Referenzkategorie Xp = 0, 12.2.1
Das multiple lineare Regressionsmodell
Setzt man in die lineare Funktion fiir y, X i , . . . , Xp die beobachteten Daten ein, so ergibt sich die empirische lineare Beziehung yi= Po + PiXii H
deskriptiv
h jSpXip + ei,
i = 1,..., n.
Damit wird der Ansatz der univariaten linearen Regression auf p Regressoren verallgemeinert. Verbleibt man auf der rein empirischen Ebene der Daten, so kann man die multiple lineare Regression auch rein deskriptiv wie die lineare Einfachregression
12.2 Multiple lineare Regression
495
in Abschnitt 3.6 betrachten und die Regressionskoeffizienten nach dem in Abschnitt 12.2.2 dargestellten Kleinste-Quadrate-Prinzip berechnen. Fiir eine stochastische Modellierung fassen wir die Fehler e^ und die Werte yi wie in Abschnitt 12.1.1 als Realisierungen von Zufallsvariablen €i und Yi auf. Auch die Werte Xii^..,^Xip konnen deterministisch^ d.h. fest vorgegeben, oder Realisierungen von stochastische Regressoren^ d.h. von Zufallsvariablen X i , . . . , X p , sein. Das Grundmodell der hnearen Einfachregression wird so zu ° l,...,n, h PpXip + ei, E{ei) = 0, Yi = ^0 + fSiXii H
deterministisch stochastische Regressoren
erweitert. Nimmt man fiir die Fehlervariablen die gleichen Annahmen wie im univariaten Fall hinzu, so ergibt sich:
Standardmodell der multiplen linearen Regression
Es gilt ^i = /?0 + A^il H
1- l^p^ip + ^i 5 i = 1, . . . , n .
Dabei sind F i , . , . , y^ x i j , . . . , Xnj e i , . . . , en
beobachtbare metrische Zufallsvariablen, deterministische Werte der Variablen Xj oder Realisierungen von Zufallsvariablen Xj^ unbeobachtbare Zufallsvariablen, die unabhangig und identisch verteilt sind mit E{ei) = 0 und Var{ei) — a^.
Die Regressionskoeffizienten /?o,... ,/?p und die Fehlervarianz a^ sind aus den Daten y^, x ^ i , . . . , Xip^ i = 1 , . . . , n, zu schatzen.
Die Bemerkungen im Anschlufi an das Standardmodell der linearen Einfachregression bleiben in entsprechend modifizierter Weise giiltig. So iibertragen sich zum Beispiel die Eigenschaften der Fehlervariablen wieder auf die Zielvariablen: Bei gegebenen Regressorwerten sind die Y i , . . . ,1^^ unabhangig mit Erwartungswert und Varianz Eiji) = /?o + ^\Xii + • • • + ^pXip , Aus der Normalverteilungsannahme
Variji) = (7^
fiir die Fehlervariablen
€i-Ar(0,a2),
2 = l,...,n,
i = 1,..., n. Normalverteilungs' annahme
12. Regressionsanalyse
496
folgt die Normalverteilung fiir die Zielvariablen, also Yi ^ N{fXi, cr^),
i2i = /3o + /3iXii H
+ fSpXip ,
i = 1,..., n.
Die im folgenden dargestellten Schatz- und Testverfahren arbeiten wiederum dann besonders gut, wenn die Fehlervariablen und damit die Zielvariablen zumindest approximativ normalverteilt sind. 12.2.2
Schatzen, Testen und Prognose
Obwohl die Aufgabenstellung und die prinzipielle Vorgehensweise gegeniiber dem univariaten Fall im wesentlichen unverandert bleiben, lassen sich einige Ergebnisse im multiplen Fall nicht mehr in elementarer Form schreiben. Dies gilt insbesondere fiir die Schatzung der Regressionskoeffizienten: Die Schatzer ^Sj, j = 0 , . . . ,p, fiir die Parameter /3j konnen im allgemeinen nicht mehr durch einfache, im Prinzip mit der Hand auswertbare Formeln gegeben werden. Fiir eine voUstandige und kompakte Darstellung ist hierfiir und an einigen weiteren Stellen eine Notation mittels Vektoren und Matrizen zweckmafiig. Wir zeigen zunachst die prinzipielle Vorgehensweise in einfacher Form auf und geben eine Zusammenfassung in Matrizenschreibweise am Ende des Abschnitts. Schatzen
Fiir das Standardmodell wird wieder die gewohnliche KQ-Methode eingesetzt. Nach dem KQ-Prinzip sind die Schatzer /3o, A , . . . , /3p so zu bestimmen, dafi die Summe der quadratischen Abweichungen zwischen Zielvariable und systematischer Komponente minimal wird: KQ-Methode Bestimme ^o? A , . . . , /3p so, dafi die Summe der quadratischen Abweichungen beziiglich /?o,/3i,... ,/?p minimiert wird: n
/?o-- PiXii
VorauS' setzungen
n >p+ 1
Pp^ip) ^ —>
min
Damit dieses Minimierungsproblem eine eindeutige Losung /3o,/3i, • •. ,4^ besitzt, miissen folgende Voraussetzungen erfiillt sein: 1. Der Umfang n der Daten mufi mindestens so grofi sein wie die Zahl der unbekannten Parameter, d.h.
12.2 Multiple lineare Regression
497
n>p+1, Um den Schatzfehler klein zu halten, ist es sogar notwendig, dafi n deutlich grofier als p + 1 ist. 2. Keine Variable Xj, j = 0 , . . . ,p, mit XQ = 1, darf sich als Linearkombination der restlichen Variablen Xk^k^j^ darstellen lassen, d.h. es darf fiir kein jf = 0 , . . . ,p Xj = ^
akXk + b
gelten. Insbesondere darf also nicht eine erklarende Variable Xj aus einer anderen, etwa Xk^ durcti Lineartransformation hervorgehen. Sonst wiirde Xj = aXk + b gelten, und Xj und X^ wiirden in der linearen systematischen Komponente dasselbe erklaren. Fiir Xk = XQ bedeutet dies, dafi keine der Variablen Xj, jf = 1 , . . . ,p, eine Konstante, d.h. Xj = c, sein darf. Im folgenden gehen wir davon aus, dafi diese Voraussetzungen erfiillt sind. Die KQ-Schatzer /So^/^i,.. • ,/3g erhalt man dann prinzipiell wie im univariaten Fall, indem man die 1. Ableitung nach /3o,/3i,... ,/?p gleich null setzt. Dies ergibt ein p + 1-dimensionales lineares Gleichungssystem, das fiir gegebene Daten Vii ^ii5 • • • 5 ^ip^ i = 1 , . . . , n, im allgemeinen nicht mit der Hand, sondern numerisch durch geeignete Algorithmen mit Hilfe eines Computer gelost wird. Als Ergebnis, das auch rein deskriptiv aufgefafit werden kann, erhalt man die KQ-Schatzwerte fiir /3o, / ? ! , . . . , /3p. Als Schatzer a^ fiir a^ verwendet man wieder die geeignet gemittelte Summe der quadratischen Residuen.
KQ-Schatzer im multiplen linearen Modell
/So, A , . . . , /3p: numerische Bestimmung nach dem KQ-Prinzip
n — p—1 ^-^ i=l
n — p— 1 ^-^ 2=1
mit den Residuen ei = Yi — Yi und den gefitteten Werten
Die Schatzer sind erwartungstreu, besitzen minimale Varianz im Vergleich zu anderen linearen Schatzern und sind unter ahnlichen Bedingungen wie im univariaten Fall auch konsistent.
keine Multikollinearitdt
12. Regressionsanalyse
498
Varianz
Die Varianz
a] = Var0j), geschdtzte Standardabweichung
j =
der Schatzer lafit sich zusammen mit den KQ-Schatzern numerisch berechnen bzw. schatzen. Wir bezeichnen die geschdtzte Standardabweichung mit ^j = yVar0j),
Streuungszerlegung
0,.,,,p,
j =
0,...,p.
Wie fiir die lineare Einfachregression gilt die Streuungszerlegung
Y^iY. - Yf = Y^iY, - Y,f 2=1
i=l
+ YO- - Y? i=l
Gesamtstreuung SQT = Reststreuung SQR + erklarte Streuung SQE. Bestimmtheitsmafl
Das
Bestimmtheitsmafi 2 UYi - Y)' R' = E{Yi-Yy
SQE _ SQT
_ SQR SQT
als Quotient der durch die Regression erklarten Streuung und der Gesamtstreuung dient wieder als einfache Mafizahl zur Beurteilung der Giite eines Regressionsansatzes. Also ist 0 < it!^ < 1 ,
und es gilt die gleiche Interpretation wie fiir die Einfachregression (Abschnitt 3.6): Je naher R^ bei 1 liegt, desto besser wird die Zielvariable durch die Regression erklart. Im Extremfall J?^ = 1 gilt Yi = Yi fiir alle z = 1 , . . . , n. Je naher R^ bei 0 liegt, desto weniger erklaren die Regressoren. Im Extremfall i?^ = 0 liefern X i , . . . ,Xp keinerlei Anteil zur Erklarung der Variabihtat; diese wird nur durch die Fehler Ci hervorgerufen. Unter der Normalverteilungsannahme sind die standardisierten Schatzer exakt t-verteilt mit n — p ~ 1 Freiheitsgraden:
Verteilung der standardisierten Schatzer
f^J-f^J
12.2 Multiple lineare Regression
499
Daraus ergeben sich Konfidenzintervalle wie folgt: Konfidenzintervalle fur fij
4 ' ± <^j^l-a/2(^ - P - 1) ,
J = 0, . . . ,p .
Falls die Normalverteilungsannahme verletzt ist, besitzen diese Konfidenzintervalle fiir grofie Stichproben approximativ die Uberdeckungswahrscheinlichkeit 1 — a, Testen
Fiir die einzelnen KoefRzienten werden folgende Hypothesen betrachtet: Hypothesen ijber einzelne Parameter ^Oj,
Hi •^j^(3oj,
{h)Ho :/?,• > f3oj,
Hi •Pj
(c) Ho: 0j < /3oi,
Hi: 13 J > 00j .
(a)ifo
••^J
=
Von besonderer Bedeutung ist dabei Fall a) fiir /3oj = 0, d.h.
Wenn HQ zutrifft, hat der Regressor Xj keinen signifikanten Erklarungswert fiir Y und kann aus dem Regressionansatz entfernt werden. Trifft Hi zu, mufi Xj im Ansatz enthalten sein. Die Hypothesen werden folgendermafien getestet: Teststatistiken und Ablehnbereiche J-j —
T
-,
j = 0,...,p
Testvorschrift: HQ ablehnen, falls (a)
\Tj\
>
ti-a/2in-p-l),
(b)
Tj
<
-ti-a{n-p-
(c)
Tj
>
ti-a{n-p-
1), 1).
approximativ
12. Regresslonsanalyse
500
Overall-F-Test
Unter der Normalverteilungsannahme besitzen diese Tests exakt das Signifikanzniveau a, ansonsten approximativ fiir grofie Stichproben. Mit dem Overall-F-Test soil iiberpriift werden, ob die Regressoren iiberhaupt zur Erklarung der Zielvariablen beitragen. Die zugehorige F-Statistik steht in enger Beziehung zum Bestimmtheitsmafi.
Overall-F-Test (Goodness of fit-Test) Hypothesen:
i?o : A == / ? 2 - - - = /?p = 0 ,
fiir mindestens ein j .
Hi: / 3 , - ^ 0
Teststatistik: B? 1 - i?2
n-p-1 SQEn p ~ SQR
—p — 1 P
Unter HQ gilt:
F ~ F{p, n --p-1) Testvorschrift: Ho ablehnen, falls F>
Fi-aiP,n -p-1)
Die NuUhypothese besagt also, dai3 keiner der Regressoren Xi^... ^Xp einen Beitrag zur Erklarung liefert. Der Name Goodnes of fit-Test ist insofern etwas irrefiihrend: Es wird nicht die Giiltigkeit des linearen Ansatzes iiberpriift, sondern nur, ob wenigsten einer der Regressoren in einem linearen Ansatz einen signifikanten Erklarungsbeitrag liefert. Die Teststatistik F und die benotigten Quadratsummen SQE und SQR werden oft in Form einer Varianzanalysetabelle zusammengestellt:
Varianzanalysetabelle
Streuung
Freiheitsgrade
Erklarte Streuung
SQE
P
Reststreuung
SQR
n — p— 1
Gesamtstreuung
SQT
n-1
mittlerer quadratischer Fehler
Priifgrofie
MQE=^
ri MQE ^ — MQR
MQR = ^ ^ ,
12.2
Multiple lineare Regression
501^
Die Testentscheidung zur Signifikanz einzelner Regressoren und der Overall-F-Test konnen mit Hilfe von statistischen Programmpaketen mittels der standardmafiig ausgegebenen p-Werte durchgefiihrt werden.
Mietspiegel
Beisplel 12.7
Wir woUen im folgenden eine Moglichkeit illustrieren, wie mit einem multiplen linearen Regressionsmodell die Zielvariable Nettomiete {NM) durch die Regressoren W ="Wohnflache" (in qm), Lg = "gute Wohnlage" {ja = 1, nein = 0), Lb = "beste Wohnlage" {ja = 1, nein = 0), B = "kein gekacheltes Bad" {ja = 1, nein = 0) und K "gehobene Ausstattung der Kiiche" {ja = 1, nein = 0) erklart werden kann. Die Stichprobe umfafit Daten zu 167 Wohnungen der Baualtersklasse 1978 - 1989, vgl. Beispiel 12.6 (Seite 493). Als Zielvariable fiir einen linearen Regressionsansatz verwenden wir nicht die Nettomiete NM selbst, sondern die logarithmierte Nettomiete y = In NM: liiNM = l3o-\-f3iW + (32Lg-^P3Lb + ^4B-{-/3BK + €. Folgende Griinde sind daflir mafigeblich: Durch die logarithmische Transformation werden heteroskedastische, mit der Wohnflache anwachsende Fehlervarianzen stabilisiert. Zugleich kann eine bessere Approximation an die Normalverteilung erzielt werden. Das Modell lafit sich auch gut interpretieren: Nach Exponentiation erhalt man die approximative multiplikative Beziehung NM ^ exp(/3o) exp{^iW) exp{(i2Lg) exp{/33Lb) exp{p^B) exp{(3sK) fiir die durchschnittliche, ortsiibliche Miete. Fiir eine Wohnung in normaler Wohnlage {Lg = 0, Lb = 0) und mit einfacher Bad- und Klichenausstattung (B = 0, K = 0) ergibt sich die "Basismiete" NMB « exp(/3o) exp{0iW) = a^ exp(/?iW^). Fiir Wohnungen in guter Lage {Lg = 1, Lb = 0) mit gehobener Bad- und Klichenausstattung ( 5 = 1, K = 1) ergibt sich ein multiplikativer Zuschlag: NM = exp(/3o) exp(^iW^) exp(/32) exp(/34) exp(/?5), d.h. NM = NMBOL2a^ar, mit den Faktoren ^2 = exp(/32),
^4 = exp(/34),
as = exp(/35) •
Die KQ-Schatzung fiir die Daten aus der Stichprobe Hefert folgende Schatzwerte Pj, geschatzte Standardabweichungen (JJ, t-Werte Tj und zugehorige p-Werte:
12. Regressionsanalyse
502
1
w Lg Lb B K
Pj 5.5640 0.0115 0.0841 0.1472 -0.0264 0.0879
Gj
0.0561 0.0008 0.0340 0.0870 0.0710 0.0453
t-Wert 99.23 14.76 2.47 1.69 -0.37 1.94
p-Wert 0.00 0.00 0.01 0.09 0.71 0.05
Der t- und p-Wert zum Regressor B zeigt, dass in der betrachteten Teilgesamtheit der Einfluss der Badausstattung auf die Nettomiete nicht signifikant ist. Bei einem vorgegebenem Signifikanzniveau von a = 10 % besitzen alle anderen Regressor en einen signifikanten Einfluss, wahrend fiir a = 5 % auch die beste Wohnlage und die gehobene Kiichenausstattung nicht mehr signifikant sind. Aus inhaltlichen Griinden belassen wir diese Regressoren trotzdem im Ansatz. Das Bestimmungsmafi R^ = 0.62 zeigt einen guten Erklarungswert an. Als F-Wert zum Overall-F-Test erhalt man F = 51.84, hei p = 5 und n — p — l = 161 Freiheitsgraden. Der zugehorige p-Wert von 2.2-10"-^^ zeigt ebenfalls, daB die Regression einen guten Erklarungswert besitzt. Setzt man die geschatzten Regressionskoeffizienten in den Regressionsansatz ein, so erhalt man fiir die durchschnittliche Basismiete NMB « exp(5.564) • exp(0.0115VF) = 260.9 • exp(0.0115W), also zum Beispiel NMB ^ 584 fiir Wohnungen mit einer Wohnflache von 70 qm. Als multiplikative Zuschlage bzw. Abschlage ergeben sich a2 = exp(0.0841) = 1.088 fiir gute Wohnlage, as = exp(0.1472) = 1.159 fiir beste Wohnlage, 0:4 = exp(—0.0264) = 0.974 fiir kein gekacheltes Bad, as = exp(0.0879) = 1.919 fiir gehobene Kiichenausstattung. D
Prognose
Fiir neue Werte XQI, . . . , x o p von Xi,,.. onsansatz zur Prognose von
^Xp kann der geschatzte lineare Regressi-
Yo = (3o + /3ixoi H Prognosewert
h /3pXop + eo
eingesetzt warden. Als Schdtz- oder Prognosewert ^0 = /3o + A ^ o i H
fiir YQ verwendet m a n h ^pX^p .
12.2 Multiple lineare Regression
503
Fiir den Schatzfehler YQ-YQ gilt E{Yo-Yo) = 0. Die Varianz Var{Yo-YQ) des Fehlers lafit sich mit den Ergebnissen der KQ-Methode numerisch schatzen. Wir bezeichnen sie mit aY, =
^Jvm^{Yo-Yo).
Eine explizite Formel findet sich im nachsten Abschnitt. Unter der Normalverteilungsannahme ist der standardisierte Schatzfehler tverteilt: Yo-Yo t{n-p-l). ^Yo Somit erhalt man (1 — a)-Prognoseintervall fiir I Q gegeben XQ yO±^yo^l-a/2(^-p-l) Graphische Verfahren zur Modelldiagnose basieren wiederum auf den Residuen. Ubliche Residualdiagramme sind etwa: Haufigkeitsverteilungen der Residuen, Normal-Quantil-Plots und Streudiagramme der Residuen gegen die gefitteten Werte oder gegen einzelne Regressoren. Mietspiegel
Beispiel 12.8
Das Streudiagramm der Residuen gegen die gefitteten Werte in Abbildung 12.7 zeigt, von wenigen Ausreifiern abgesehen, keine besonderen Auffalligkeiten. Der Normal-Quantil-Plot fiir die Residuen zeigt gewisse Abweichungen von der Normalverteilung am unteren Rand (Abbildung 12.8). Ansonsten lassen sich keine eklatanten Verletzungen von Modellannahmen erkennen. In Abschnitt *12.4 wird noch zusatzlich untersucht, inwieweit die Annahme des linearen Einflusses der Wohnflache auf die logarithmierte Nettomiete berechtigt ist. D
^12.2.3
Multiple lineare Regression in Matrixnotation
Wir fassen die Zielvariablen Yi und die Werte x ^ i , . . . ,Xip, i = 1,. (n X l)-Vektor Y und in einer {n x {p+ 1))-Matrix X zusammen:
( 1 ^11 Y =
Y2
Xip X2p
x= V 1 ^n\
X>
up
\
, n, m emem
12. Regressionsanalyse
504
—I—
6.5
6.0
7.0
gefittete Werte
ABBILDUNG 12.7: Streudiagramm: Residuen gegen gefittete Werte
r - 2 - 1
0
1
2
Quantile der Standardnormalverteilung
ABBILDUNG
12.8: Normal-Quantil-Plot
Die Matrix X enthalt zusatzlich in der ersten Spalte die Werte der kiinstlichen Variable Xo = 1, die restlichen Spalten enthalten die Werte zu den Variablen Xi^... ,Xp. Bis auf die erste Spalte der X-Matrix entspricht dies auch der Art, wie Datenmatrizen am Rechner gespeichert werden. Zusatzlich definieren wir den {p x l)-Vektor /3
12.2
505
Multiple lineare Regression
der RegressionskoefRzienten und den (n x l)-Vektor e der Fehlervariablen:
Pi
I
/3 =
€2
€ =
V en /
\ ^ p /
Das Grundmodell der multiplen linearen Regression lafit sich dann in Matrixnotation kompakt durch Y - X/3 + e, E{e) = 0 formulieren. Das KQ-Prinzip wird zu (Y-X/3y(Y-X/3)-^imn, wobei A die Transponierte einer Matrix oder eines Vektors A bezeichnet. NuUsetzen der ersten Ableitung nach fi liefert das (p + l)-dimensionale System der "Normalgleichungen" X ' ( Y - X ^ ) = 0 4:^ X ' X ^ = X ' Y . Unter den im vorigen Abschnitt getroffenen Annahmen ist die (p+l)x{p+l) X X invertierbar, so dafi sich
Matrix
^ = (X'X)-^X'Y als KQ-Schatzer ergibt. Bezeichnen wir die Diagonalelemente von (X X)~^ mit Vj^ j = 0 , . . . ,p, so lafit sich zeigen, dafi
Var0j) = a \ gilt. Ersetzt man cr^ durch die Schatzung a^, so erhalt man die im vorigen Abschnitt eingefiihrte geschatzte Standardabweichung aj als aj = a ^ . Zur Berechnung von /3, Vj und damit von aj benotigt man also die Inverse (X X)~^ von X X. Diese Inversion ist im allgemeinen nur mit numerischen Algorithmen in efSzienter Weise mitt els eines Computers durchfiihrbar. Auch zur Berechnung der Varianz des Prognosefehlers YQ — YQ benotigt man (X X)~-^. Es lafit sich namhch Var{Yo - %) = a\l
+ Xo(X'X)-ixo)
506
12. Regressionsanalyse
zeigen. Dabei enthalt XQ = (1, x o i , . . . , xop) die Werte der Regressoren. Setzt man fiir a'^ die Schatzung a^ ein, erhalt man die fiir das (1 — a)-Prognoseintervall benotigte geschatzte Standardabweichung als ayo = a ( l + x;(X'X)-ixo)i/2 Auch hierzu mu6 die Inverse (X X)~^ von X X bekannt bzw. durch einen Computer berechnet sein.
12.3
Binare Regression
In den bisher behandelten Regressionsmodellen wurde die Zielvariable Y immer als metrisch skaliert vorausgesetzt. Ein in der Praxis ebenso haufig auftretender Fall ist der einer kategorialen Zielvariable. Bei der Analyse von Haushalten ist beispielsweise von Interesse, welche Variablen einen Einflui5 darauf ausiiben, ob im Haushalt ein Auto vorhanden ist bzw. ein Rechner, ein ISDN-Anschlui3 oder ein anderer Konsumartikel. In Marketingstudien interessiert man sich fiir Produktpraferenzen, in soziologischen Studien fiir Parteipraferenzen. Im Kreditscoring ist die binare abhangige Variable die Kreditwiirdigkeit (ja/nein) des potentiellen Kunden. Im folgenden wird nur der einfachste Fall einer binaren Zielvariable betrachtet. Zu gegebenen Regressoren Xii,..., Xip wird die binare Zielvariable Yi € {0,1} betrachtet, wobei 1 beispielsweise fiir das Vorhandensein eines Automobils im Haushalt, 0 fiir das Nichtvorhandensein steht. Die Zielvariable Yi ist eine Bernoulli variable, wobei m = P{Yi = 1),
l-7ri = P{Yi = 0).
(12.1)
Die Auftretenswahrscheinlichkeit TT^ hangt natiirUch von den beobachteten Regressorwerten a^a,..., xip ab. Das lineare Regressionsmodell Yi = f3o + (5iXii + • • • + l3pXip + Si
(12.2)
mit einer Storgrofie Si mit E{ei) = Q wiirde fordern, dafi gilt E{Yi) = 7ri = Po + f3ixii + • • • + PpXip .
Logistische Regression
(12.3)
Problematisch ist hier insbesondere, dafi TT^ als Wahrscheinlichkeit immer die Restriktion TT^ G [0,1] erfiillen mufi, so dafi der Giiltigkeitsbereich, d.h. die Werte, die die Regressoren annehmen diirfen, erheblich eingeschrankt ist. Ein einfaches Modell, das derartigen Restriktionen nicht unterliegt, ist das logistische Regressionmodell, ^as fordert TT- = exp(/3o + XjiPi + '" + XjpPp) 1 + exp(/?o + Xiipi H h Xip/3p) '
12.3
507
Bin a re Regression
Mit der logistischen Funktion h{z) = exp{z)/[l + exp{z)) erhalt man die einfache Form TTi = h{f3o + Xiif3i + '" + Xipf3p). (12.5) Der Erwartungswert von Yi^ d.h. die Wahrscheinlichkeit TT^, hangt nun nicht direkt linear von den Regressoren ab, sondern erst nach Transformation durch die Responsefunktion h. Die Form der logistischen Funktion ist aus der Anwendung in Abb. 12.9 ersichtlich. Eine einfache Umformung zeigt, dafi das Modell auch darstellbar ist in der Form TTi (12.6) log = /3o + Xii/3i H h XipPp, l - T T i
wobei TTi/{I — TTi) die Chancen ("odds") und log(7ri/(l — TT^)) die logarithmischen Chancen ("Logits") darstellen. Zu Chancen und relativen Chancen in der Datendeskription siehe Abschnitt 3.2.1 (S. 119). Aus der letzten Form lassen sich die Parameter einfach interpretieren, jSj ist diejenige Veranderung in Logits, die bei Zunahme von Xj um eine Einheit (von Xij nach x^j.+ 1) bei festgehaltenen restlichen Kovariablen auftritt. Wie im linearen Regressionsmodell lafit sich untersuchen, ob die Kovariablen einen Einfiufi auf die Zielvariable ausiiben. Als globale Hypothese untersucht man HQ: PI = "' = l3p = 0 bzw., bezogen auf den Regressor Xj^ die NuUhypothese Ho: Pj=0,
00
c
o CD O
D
••ca
X 0
>
"o^
o d 1000
2000
3000
4000
Nettoeinkommen
ABBILDUNG 12.9: Pkw-Besitz in Abhangigkeit vom Einkommen.
12. Regressionsanalyse
508
Beispiel 12.9
Pkw im Haushalt
Eine Teilstichprobe des soziookonomischen Panels vom Umfang n = 6071 gibt Auskunft iiber das Haushaltseinkommen {x) und ob ein Pkw vorhanden ist {y = l) oder nicht {y = 0). Als Schatzwert im Modell exp(/?o + x^/3) ^2 TTi = 1 + exp(/3o + Xif3) ergeben sich /3o = —1.851, /? = —0.0021. Abbildung 12.9 zeigt die geschatzte Wahrscheinlichkeit TT^ ftir den Pkw-Besitz in Abhangigkeit vom Nettoeinkommen (in € ) . Zusatzlich sind die relativen Haufigkeiten fiir den Pkw-Besitz, bezogen auf Einkommensintervalle der Lange 25 € , angegeben. Man sieht bereits aus diesen relativen Haufigkeiten die Tendenz zu einer mit dem Einkommen wachsenden Wahrscheinlichkeit, daB ein Pkw im Haushalt vorhanden ist. Die durchgezogene Linie entspricht den Schatzungen des logistischen Regressionsmodells. D Das logistische Modell ist nur eines der moglichen Modelle fiir binare Zielvariable. Fiir eine ausfiihrliche Darstellung, insbesondere auch des Falles mehrkategorialer Zielvariable, siehe Tutz (2000). Die Modelle lassen sich in eine allgemeinere Modellklasse einbetten, die sog. generalisierten linearen Modelle^ die zwar einen linearen Term enthalten, aber noch eine Transformation zwischen linearem Term und zu erwartender Zielgrofie zulassen. In dieser Modellklasse lassen sich u.a. auch poissonverteilte Zielgrofien fiir Zahldaten betrachten. Fiir eine ausfiihrliche Darstellung siehe Fahrmeir und Tutz (2001).
'''12.4
Nichtlineare und nichtparametrische Regression
Nichtlineare parametrische Regression
linear in den Parametem
Charakteristisch fiir lineare Regressionsmodelle ist die Additivitat und Linearitat der systematischen Komponente /3o + /5i^i + • • • + l3pXp. Dabei konnen zwar die Regressoren auch durch geeignete nichtlineare Transformationen aus urspriinglich erhobenen Variablen gebildet worden sein, entscheidend ist jedoch, dafi der Ansatz linear in den Parametem ^Q^. . .^(3^ ist. Bereits in Abschnitt *3.6.4 wurde auf einfache Regressionsansatze hingewiesen, die auch in den P a r a m e t e m nichthnear sind. Ein Beispiel ist etwa die nichtlineare Beziehung Yi=^6Q + 6i exp{-62Xi)
+ e^,
i = 1,..., n .
Sie entspricht der Regel vom abnehmenden Grenznutzen: Hier konnten Xi die Kosten fiir Produktion und Werbung eines Produkts und Yi der jeweils erzielte Ertrag sein. Mit steigenden x^-Werten nahert sich fiir ^2 > 0 die Kurve exponentiell flacher werdend der Sattigungsgrenze ^o-
^12.4
Nichtlineare und nichtparametrische Regression
509
Allgemein spricht man von nichtlinearer parametrischer Regression, wenn ein Modell folgender Form vorliegt: Yi = g{xii,...,
Xip] <9o,..., Oq) + ei,
E{ei) = 0 ,
i = 1,..., n.
Dabei soil Y weiterhin eine metrische Zielvariable sein, und g{'^ •) ist eine in den Parametern 6Q^ ... ^9q nichtlineare Regressionsfunktion. Dabei ist die funktionale Form von g bekannt; unbekannt sind nur die Parameter. Erfiillen die Fehler e^ die gleichen Annahmen wie im Standardmodell der linearen Regression, so konnen sie ebenfalls nach dem gewohnlichen KQ-Prinzip geschatzt werden: Die Schatzer 9o^... ,6q sind Losungen des Minimierungsproblems n
y ' ( l i - g{xii,...,
Xip] 6>o,..., Oq)f -^ min .
f—•
do,...,6q
2=1
Zur numerischen Berechnung sind meist iterative Minimierungsalgorithmen notwendig. Zusatzlich konnen mit 6Q^, .. ^6q auch Schatzungen (JQ, . . . , o-^ der Varianzen Varipo)^..., Var{9q) bestimmt werden. Fiir grofie Stichproben sind die Schatzer approximativ erwartungstreu und normalverteilt, d.h.
Damit konnen dann (approximative) Konfidenzintervalle und Tests in Analogie zur multiplen linearen Regression konstruiert werden. Nichtparametrische Regression In vielen Anwendungen ist man nicht von vornherein in der Lage, eine parametrische Spezifikation der Regressionskurve g anzugeben. Dann empfehlen sich nichtparametrische Regressionsmethoden, die ohne die oft strengen Strukturannahmen parametrischer Modelle auskommen. Sie konnen, ahnlich wie nichtparametrische Dichteschatzer, auch zur explorativen Analyse benutzt werden, um die Adaquatheit einer parametrischen linearen oder nichtlinearen Regressionsfunktion zu iiberpriifen oder iiberhaupt erst einen geeigneten Funktionstyp zu finden. Wir betrachten zunachst den Fall bivariater Daten (yi,Xi),i = 1 , . . . ,n, wobei sowohl die Zielvariable Y als auch der Regressor X stetige Variablen sind. In Erweiterung des Grundmodells der linearen Einfachregression soil nun Yi = g{xi) + ei,
E{€i) = 0,
i = l,...,n,
gelten. Dabei wird von der Regressionsfunktion g{x) nur verlangt, dafi sie hinreichend glatt, d.h. zum Beispiel stetig und differenzierbar ist. Fiir die Fehlervariablen
510
12. Regressionsanalyse
Ei werden die gleichen Annahmen wie im linearen Standardmodell oder geeignete Modifikationen unterstellt. Das Ziel der nichtparametrischen Regression besteht in der Schatzung der Funktion g. Dazu existieren verschiedene Ansatze. A m bekanntesten sind Kernschatzer, Spline-Regression und lokale Regressionsschatzer. Alle zugehorigen Schatzverfahren sind numerisch aufwendig und werden hier nicht im Detail beschrieben. Sie sind jedoch in einer Reihe von statistischen Programmpaketen implementiert. Kernschdtzer
Kernschdtzer gehen von der Vorstellung der Regressionsfunktion als bedingtem Erwartungswert von Y gegeben X = x aus, d.h.
g{x) = E{Y\x) = J yf{y\x) dy = ^^^f^^^'^'' , wobei f{y\x) = / ( x , y)/f{x) die bedingte Dichte von Y gegeben X = x ist (vgl. Kapitel 6). Schatzt m a n f{x^y) und f{x) mittels der Daten durch Kerndichteschatzer, so erhalt man einen Kernschatzer g{x) fiir g{x). SplineRegression
RegressionsSplines GldttungsSplines lokale Regression
Beispiel 12.10
Bei der sogenannten Spline-Regression wird der Bereich der x-Werte durch ein feines Gitter unterteilt. In jedem der so entstehenden aneinandergrenzenden Intervalle wird g{x) durch ein Polynom niedrigen Grades, oft ein kubisches Polynom, approximiert. Diese stiickweisen Polynome werden an den Gitterpunkten oder "Knoten" stetig und differenzierbar aneinandergesetzt. Genauer unterscheidet man noch zwischen Regressions-Splines bei denen Gitterpunkte vorgegeben werden, und Gldttungs-Splines^ bei denen die Knoten gleich den gegebenen, geordneten a;-Werten ^(1) ^ ^(2) ^ • • • ^ ^(n) gewahlt werden. Bei Verfahren der lokalen Regression wird zu jedem (festen) x-Wert ein "Fenster" ahnlich wie bei der Kerndichteschatzung u m x gelegt und an die Daten (j/i, Xi) mit x^-Werten aus diesem Fenster eine parametrische Regressionsfunktion einfacher Struktur, insbesondere zum Beispiel eine lokale lineare Regression a(x) + $(x)x^ angepafit. Durchlauft x den Wertebereich von X , so erhalt m a n eine Schatzung g(x) fiir g{x). Mietspiegel
Bislang wurde fiir die Mietspiegel-Regression mit Y = "Nettomiete" und X = "Wohnflache" eine lineare Regressionsfunktion in Form einer Ausgleichsgeraden geschatzt (vgl. Abbildung 3,17). Fiir die gleichen Daten ist in Abbildung 12.10 eine nichtparametrische Schatzung mittels einer Spline-Regression durchgefiihrt. Man erkennt, dafi in einem weiten Bereich von Wohnflachen die Approximation durch eine lineare Regressionsfunktion durchaus adaquat ist. Erst fiir grofiere Wohnflachen wird eine leichte Kriimmung erkennbar. Dabei ist allerdings zu beachten, daC die Schatzung in diesem Bereich von vergleichsweise wenigen Daten abhangt. D
^12.4
Nichtlineare und nichtparametrische Regression
S *
511
o 2-1
I 50
I 100
I 150
Wohnflache ABBILDUNG 12.10: Nichtparametrische Regression von Nettomiete gegen Wohnflache
Fiir eine multiple nichtparametrische Regression mit Regressoren X i , . . . ^Xp und Beobachtungen yi, a^^,..., xip^ i = 1 , . . . , n, ist die zu Yi = g{xi) + e^ analoge Form
multiple nichtparametrische Regression
wobei nun ^ ( x i , . . . ,Xp) eine "glatte" Regressionsoberflache ist. Fiir eine geringe Anzahl von Regressoren (p = 2,3) sind multivariate Versionen der eben skizzierten nichtparametrischen Schatzer gelegentlich noch einsetzbar. Fiir groiSere Werte von p treten ernsthafte Dimensionsprobleme auf. Es ist dann sinnvoU, speziell strukturierte Regressionsfunktionen zu unterstellen. Einen in vielen Fallen brauchbaren KompromiiS stellen additive Modelle dar. Im additive Modelle Vergleich zum linearen Modell Y = (3^ + f3ixi H (- f3pXp + e werden die linearen Funktionen (3jXj ganz oder zum Teil durch glatte, nichtparametrisch modellierte und geschatzte Funktionen gj(xj) ersetzt: y = 5^1(^1) + • • • + 9p{xp) + e
oder zum Beispiel Y = 9i{xi)
+ /32X2 H
h ^pXp + 6.
Der letzte Ansatz heifit auch semiparametrisch und ist vor allem dann sinnvoll, wenn die Regressoren X 2 , . . . , Xp geeignet kodierte binare oder mehrkategoriale Variablen sind.
semiparametrisch
12. Regressionsanalyse
512
Beispiel 12.11
Mietspiegel
In Beispiel 12.7 (Seite 501) wurde ein multipler linearer Regressionsansatz ftir die logarithmierte Nettomiete In NM gewahlt, so dafi der Einflufi der Wohnflache W als linear angenommen wurde. Ersetzt man die lineare Funktion l3o-\- piW durch eine glatte Funktion gi{W), so erhalt man einen semiparametrischen Ansatz fiir y = In NM.
B
ABBILDUNG
lo
Wohnflache 12.11: Nichtparametrische Schatzung des Einflusses der Wohn-
flache
Abbildung 12.11 zeigt die mit einer Spline-Regression nichtparametrisch geschatzte Funktion gi{W). Man erkennt, dai3 ein linearer Ansatz PQ + ^iW fiir den Einflufi von W zumindest fiir Wohnflachen bis zu 100 qm eine gute Approximation ist. D
12.5
12.5
Zusammenfassung und Bemerkungen
513
Zusammenfassung und Bemerkungen
Die einfache und besonders die multiple Regressionsanalyse zahlen zu den bekanntesten und am meisten eingesetzten Verfahren der statistischen Praxis. In diesem Kapitel wurden vor allem die zugehorigen Schdtzprobleme und Testprobleme sowie die Prognose behandelt. Die Adaquatheit der dabei eingesetzten Methoden beruht ganz wesentlich darauf, inwieweit die Annahmen fiir das lineare Regressionsmodell auch tatsachlich zutreffen. Eine Grundannahme ist, dafi die Zielvariable Y metrisch ist. Zudem arbeiten die Inferenztechniken dann gut, wenn Y zumindest approximativ normalverteilt ist. Dies lafit sich unter Umstanden durch eine geeignete Datentransformation erreichen. Die anderen entscheidenden Annahmen sind: Y lafit sich durch eine systematische Komponente und einem additiven Fehler erklaren. Fiir die systematische Komponente wird angenommen, dafi sie sich als Linearkombination der Regressoren X i , . . . ,Xp schreiben lafit. Von den Fehlervariablen wird im Standardmodell gefordert, dafi sie unabhdngig und homoskedastisch sind. Zudem ist es giinstig, wenn sie approximativ normalverteilt sind. Methoden der Modelldiagnose dienen dazu, Verletzungen dieser Annahmen zu iiberpriifen. Wir sind hier nur kurz auf graphisch-explorative Moglichkeiten der Residualanalyse eingegangen. Ein fiir die Praxis eminent wichtiges Problem der Modellwahl ist die Variablenselektion^ d.h. die Auswahl wichtiger und aussagekraftiger Variablen aus einem oft umfangreichen Katalog von potentiellen Einflufigrofien. Statistische Programmpakete bieten dazu auch automatische datengesteuerte Methoden an. Fiir ausfiihrliche Darstellungen zu diesen Fragestellungen, aber auch fiir das lineare Regressionsmodell im allgemeinen, sei auf Kramer und Sonnberger (1986), Toutenburg (1992) und Fahrmeir, Hamerle und Tutz (1996, Kap. 4) verwiesen, sowie auf Lehrbiicher der Okonometrie, z.B. Schneeweifi (1990) und Judge, Griffiths, Hill, Liitkepohl und Lee (1985). Falls die Annahme der Linearitat der systematischen Komponente nicht gegeben sind, wird man auf die nichtlineare und nichtparavfietrische Regression^ welche in Abschnitt *12.4 kurz erwahnt sind, zuriickgreifen. Als weiterfiihrende Literatur hierzu seien Seber und Wild (1989), nichthneare Regression, Hardle (1992), Hardle (1991), Hastie und Tibshirani (1990) und Green und Silverman (1994) sowie die zusammenfassende Darstellung in Fahrmeir, Hamerle und Tutz (1996, Kap. 4), genannt. In manchen Anwendungen ist die Grundannahme einer metrischen Zielvariable Y eklatant verletzt. Ein Paradebeispiel hierfiir ist der Fall einer bindren oder kategorialen Zielvariable Y. So lafit sich beispielsweise die Fragestellung des KreditScoring, Beispiel 1.4 (Seite 5), als Regressionsproblem mit der binaren Zielvariablen Y = "Kreditwiirdigkeit", wobei y = 1 fiir nicht kreditwiirdig, y = 0 fiir kreditwiirdig steht, und den in Beispiel 1.4 genannten Merkmalen als Einflufigrofien auffassen. Statt der herkommlichen Regressionsanalysen bietet sich dafiir die sogenannte kate-
12. Regressionsanalyse
514
goriale Regression gression.
an. Bekannte Vertreter sind die sogenannte Probit- und Logitre-
Eine weitere Problemstellung, die mit der herkommlichen linearen Regression meist nur unzureichend behandelt werden kann, ist die Analyse von Lehens-^ Verweiloder anderen Zeitdauern in Abhangigkeit von EinfluiSfaktoren. Beispiele hierfiir sind die Lebens- oder Uberlebenszeiten in medizinischen Studien, die Dauer der Arbeitslosigkeit, der Zeitraum zwischen der Markteinfiihrung eines P r o d u k t s und dem Kauf durch die Konsumenten, die Perioden, in denen ein technisches Gerat storungsfrei arbeitet, die Verweildauer in einem bestimmten Berufsstatus, etc. Darstellungen der kategorialen Regression und der umfassenderen Klasse generalisierter linearer Modelle sowie von Regressionsmodellen fiir Lebens- und Verweildauern finden sich bei Fahrmeir, Hamerle und Tutz (1996, K a p . 5,6) und der dort angegebenen Literatur.
12.6
Aufgaben
Aufgabe 12.1
In Beispiel 3.27 (Seite 155) wurde ein lineares Regressionsmodell besprochen, das den Einflufi der taglichen Fernsehzeit auf das Schlafverhalten von Kindern untersucht. (a) Testen Sie unter Normalverteilungsannahme, ob die vor dem Fernseher verbrachte Zeit einen signifikanten EinfluB auf die Dauer des Tiefschlafs ausiibt (a = 0.05). Warum ist die Normalverteilungsannahme hier problematisch? (b)Ein weiteres Kind sah tagsiiber 1.5 h fern. Wie lange wird gemaB der angepaBten Regression sein Tiefschlaf erwartungsgemafi dauern? Geben Sie zu Ihrer Prognose auch ein 95 %-Konfidenzintervall an.
Aufgabe 12.2
Fiir 64 nach 1984 gebaute Wohnungen aus der Miinchner Stichprobe wurde analog zu Beispiel 12.7 (Seite 501) die logarithmierte Nettomiete in Abhangigkeit von der Wohnflache (W), der Lage {Lg und Le), sowie der Bad ( 5 ) - und Kiichenausstattung {K) durch eine multiple lineare Regression modeUiert. Die KQ-Schatzung ergibt die folgenden Werte fiir die Regressoren und die geschatzten Standardabweichungen:
1
w Lg Le B K
k
5.8418 0.0126 0.1807 -0.3380 0.2629 0.1079
^i
0.2045 0.0022 0.0959 0.1794 0.1240 0.0900
12.6 Aufgaben
515
(a) Welche Nettomiete wiirden Sie gemafi diesem Modell fiir eine 80 qm groBe Wohnung in einer normalen Wohnlage mit einer gehobenen Bad- und Kiichenausstattung prognostizieren? (b) Bestimmen Sie die zu den Schatzungen gehorigen t- und p-Werte und interpretieren Sie Ihr Ergebnis. (c) Das Bestimmheitsmafi betragt hier i?^ = 0.4229. Tragen die Regressoren iiberhaupt zur Erklarung der Nettomiete bei? Fiihren Sie einen Overall-F-Test zum Niveau a = 0.01 durch. An einer Mefistation in Miinchen wurden an 14 Tagen neben anderen Luftschadstoffen auch die Schwefeldioxidkonzentrationen gemessen und Tagesmittelwerte gebildet. Untersuchen Sie den Einflui3 der Tagesdurchschnittstemperatur in Grad Celsius (= Xi) auf die aus Symmetriegriinden logarithmierten S02-Konzentrationen (=Y). Liegt ein Wochenendeffekt vor? Die Variable X2 gibt an, ob an einem Samstag oder Sonntag gemessen wurde {X2 = 1) oder nicht (X2 = 0). Esgilt: y -3.147 -2.830 -3.016 -3.079 - 3 . 5 4 1 -2.976 -2.781 -3.352 -2.765 - 1 . 8 9 7 -2.120 - 2 . 4 5 3 - 1 . 9 7 3 - 2 . 2 3 5 16.47 16.02 16.81 22.87 21.68 21.23 20.55 18.32 15.96 15.36 12.47 12.46 11.77 11.72 0 0 0 1 1 0 0 0 0 0 1 1 0 0 X2 XI
/
(X'X)-i =
1.5488742 -0.0882330 \ -0.0162669
XV =
V
-0.0882330 -0.0162669 \ 0.0053732 -0.0050992 -0.0050992 0.3548391 /
-38.16486 \ -656.46618 -11.19324 /
(a) Schatzen Sie die Regressionskoeffizienten im zugehorigen multiplen linearen Modell und kommentieren Sie Ihr Ergebnis. (b) Als Bestimmheitsmafi erhalt man i?^ = 0.5781. Tragen die Regressoren Iiberhaupt zur Erklarung der S02-Konzentration bei? Fiihren Sie einen Overall-F-Test zum Niveau a = 0.01 durch. (c) Die geschatzten Standardabweichungen betragen ai = 0.0267 und &2 = 0.2169. Testen Sie die Hypothesen /3i = 0 fiir 2 = 1,2 zum Niveau a = 0.05. Entfernen Sie die Kovariable, die offenbar keinen Einflufi hat, aus dem Modell und fiihren Sie eine lineare Einfachregression durch.
Aufgabe 12.3
13 Varianzanalyse
Einige der statistischen Testverfahren, die wir bislang kennengelernt haben, behandeln den Vergleich von Gruppen. Als ein Beispiel sei hier der t-Test genannt, mit dem unter der Annahme normalverteilter Merkmale zwei unabhangige Stichproben miteinander verglichen werden. Dabei iiberpruft man, ob sich die beiden Zufallsvariablen hinsichtlich ihrer Erwartungswerte unterscheiden. Eine Verallgemeinerung dieser Situation auf den Vergleich mehrerer Gruppen fiir ein kategoriales Merkmal liefert der Homogenitatstest, der iiberpruft, ob dieses Merkmal in alien Gruppen dieselbe Verteilung besitzt. Betrachten wir nun das folgende fiktive Beispiel: Bildung gleich Manipulation? In einer Studie im Bereich der Erziehungswissenschaften mit dem provozierenden Titel "Bildung gleich Manipulation" soil u.a. untersucht werden, wie stark Jugendliche durch einseitiges Informationsmaterial in ihren Einstellungen beeinflufit werden. Konkret wurde ein Fragebogen entwickelt, mit dem die Einstellung von Jugendlichen zur Nutzung von Atomkraft zur Energiegewinnung gemessen werden kann. Um nun in Erfahrung zu bringen, inwieweit eine Beeinflussung durch einseitiges Informationsmaterial moglich ist, wurde eine zufallig ausgewahlte Gruppe von Jugendlichen zufallig in drei Untergruppen aufgeteilt. Die Jugendlichen in den drei Untergruppen wurden anschliefiend mit unterschiedlicher Zielrichtung iiber Atomkraft informiert: Der "Pro-Gruppe" wurde ein Film gezeigt, in dem die Nutzung von Atomkraft klar befiirwortet wird und in dem die Vorteile der Nutzung dieser Energie ausfiihrlich dargestellt werden. Die "Kontra-Gruppe"sah einen Film, der im Gegensatz dazu die Risiken der Atomkraft in den Vordergrund stellt. Die dritte Gruppe diente als "KontroUgruppe". Der entsprechende Film informierte sachlich sowohl iiber Vor- als auch iiber Nachteile der Nutzung von Atomkraft. Nachdem die Jugendlichen den jeweiligen Film gesehen haben, wurde ihre Einstellung zur Atomkraft iiber den Fragebogen erfafit. Die verschiedenen Items des Fragebogens wurden dann in einem sogenannten Score zusammengefafit. Aufgrund dieses so gebildeten einzelnen Werts wurde die Einstellung jedes einzelnen JugendUchen schUefilich beurteilt. Die Frage ist nun, ob sich die mittleren Scores in den drei Gruppen unterscheiden und ob man daraus
Beispiel 13.1
518
13. Varianzanalyse
schlieBen kann, dafi der Inhalt des Informationsmaterials Einflufi auf die Einstellung von Jugendlichen hat. D
Faktor Faktorstufen
Zur Beantwortung der in dem Beispiel beschriebenen Pragestellung ist der Vergleich von drei Gruppen erforderlich, da der potentielle Einflu6/aA;tor "Informationsmaterial" auf drei Faktorstufen untersucht wurde. Die interessierende Zielgrofie ist die Einstellung der Jugendlichen. Diese kann je nach Konstruktion als metrische Variable angesehen werden. In vielen Fallen werden solche Scores auch derart konstruiert, dafi fiir diese die Normalverteilungsannahme gerechtfertigt ist. Gehen wir nun davon aus, dafi die gemessene Zielgrofie metrisch ist, so bedeutet diese Pragestellung eine Verallgemeinerung der eingangs beschriebenen Situationen in zwei Richtungen. Zum einen mufi der zur Uberpriifung des damit verbundenen Testproblems eingesetzte Test den Zweistichproben-t-Test auf mehr als zwei unabhangige Stichproben verallgemeinern. Zum anderen mufi die Situation des Mehrgruppenvergleiches einer kategorialen Variable auf den Fall einer metrischen erweitert werden.
Die statistische Methode, die diese Verallgemeinerung leistet, ist die sogenannte Varianzanalyse, Anhand dieser Methode ist es moglich, Unterschiede in den ErwarVarianzanalyse tungswerten einer normalverteilten Zufallsvariable in mehreren Gruppen zu beurteilen. Dabei wird ein statistischer Test bereitgestellt, mit dem eine Entscheidung dariiber gefallt werden kann, ob die beobachteten Unterschiede in den Mittelwerten der einzelnen Gruppen ausreichend grofi sind, um davon auf Unterschiede in den zugehorigen Grundgesamtheiten schliefien zu konnen. Der Name dieses statistischen Verfahrens riihrt daher, dafi letztendlich anhand der Priifgrofie getestet wird, ob die Variabilitat zwischen den Gruppen grofier ist als innerhalb der Gruppen. Ware diese Bedingung erfiillt, so lage ein Indiz dafiir vor, dafi Unterschiede zwischen den Gruppen bestehen. Neben dem oben beschriebenen beispielhaften varianzanalytischen Problem gibt es viele andere Fragestellungen, die sich anhand einer geeigneten Varianzanalyse losen lassen.
varianzanalytisches Modell
In der Medizin ist es etwa von Interesse zu erfahren, ob es Unterschiede zwischen verschiedenen Dosierungen eines neuen Medikaments und einem Placebo hinsichthch der Gesundung der Patienten gibt. In der Landwirtschaft, aus der heraus viele statistische Methoden und insbesondere die Varianzanalyse entwickelt wurden, konnte die Frage nach dem Einflufi der Menge eines Diingemittels und der Beschaffenheit des Bodens auf den Ernteertrag interessieren. Der Einflufi der Schichtzugehorigkeit auf das Einkommen kann ebenfalls iiber ein varianzanalytisches Modell erfafit werden. Dabei erfordern die verschiedenen praktischen Probleme natiirlich auch verschiedene Varianzanalysemodelle mit dazugehorigen Prlifgrofien, die sich gerade nach Pragestellung und Versuchsanordnung unterscheiden.
13.1 Einfaktorielle Varianzanalyse
13.1
519
Einfaktorielle Varianzanalyse
Die einfaktorielle Varianzanalyse oder auch Einfachklassifikation ist fiir die in Beispiel 13.1 beschriebene Situation adaquat, in der lediglich ein Faktor und zwar die Methode zur Vermittlung von Wissen auf mehreren Stufen, hier ein Film mit positive! Information zu Kernenergie, ein Film mit negative! und einer mit neutraler Information, betrachtet wird. Von Interesse ist nun der Einflufi dieses Faktors auf die eigentliche metrische Zielgrofie, die in unserem Beispiel gerade durch die Einstellung der Jugendlichen zur Nutzung von Kernenergie gegeben ist. A n h a n d der Varianzanalyse wird untersucht, ob die verschiedenen Stufen hier zunachst eines Faktors statistisch signifikant unterschiedliche Wirkungen auf das interessierende Merkmal tiaben. Aufierdem konnen die Effekte der Faktorstufen quantifiziert werden.
einfaktorielle Varianzanalyse
Bildung gleich Manipulation?
Beispiel 13.2
Konkretisieren wir im folgenden obiges Beispiel. Dazu gehen wir nun davon aus, dafi 24 zufallig ausgewahlte Jugendliche zuerst zufallig in drei Gruppen aufgeteilt wurden. Zehn Jugendliche bildeten die "Pro-Gruppe", acht die "Kontra-Gruppe" und sechs die "KontroUgruppe". Der Score, der anhand eines Fragebogens ermittelt wurde und die Einstellung der Jugendlichen zur Nutzung von Kernenergie wiedergeben soil, nimmt umso hohere Werte an, je positiver der Jugendliche die Nutzung von Atomkraft einschatzt. Per Konstruktion kann dieser Score als normalverteilte GroBe angesehen werden. Die Befragung ergab folgende Scores fiir die Einstellung der Jugendlichen zur Nutzung von Atomkraft.
KontroUgruppe Pro-Gruppe Kontra-Gruppe
8 7 4
Scores 12 7 10 11 12 9 15 13 11 16 5 6 3 8 10
12 8 3 9
13
16
Wie lafit sich nun der EflFekt des filmischen Informationsmaterials auf die Einstellung der Jugendlichen schatzen, und wie kann man beurteilen, ob das jeweilige Informationsmaterial Einflufi auf die Einstellung der Jugendlichen hat? D Dazu benotigen wir zunachst eine allgemeine Notation. Bezeichnen wir die Zielgrofie mit y , so liegen uns also Beobachtungen yij vor, wobei der erste Index angibt, zu welcher Faktorstufe die Beobachtung gehort, und der zweite Index die Nummer der Untersuchungeinheit in dieser Faktorstufe. Die Umfange der einzelnen Gruppen, die sich durch die Faktorstufen ergeben, miissen, wie in Beispiel 13.2, nicht gleich grol3 sein. Die in Beispiel 13.2 angegebene Tabelle lafit sich damit in allgemeiner Notation schreiben als
13. Varianzanalyse
520 Zielgrofie
Faktor
Stufe 1 Stufe 2
2/11
2/12
•••
yini
J/21
2/22
•••
y2n2
: Stufe /
yii
yi2
'"
Vlni
Dabei bezeichnen n i , . . . , n / die Stichprobenumfange in jeder Faktorstufe und / die Anzahl der Faktorstufen. In Beispiel 13.2 ist / = 3, ni = 6, n2 = 10, n^ = 8 und n = J2i=i ^i = 24. AUgemein liegen also auf Faktorstufe i die Merkmalsauspragungen yiU'",yini, i = l , . . . , / , vor. Um nun zu einem varianzanalytischen Modell zu gelangen, mu6 die Zielvariable in Abhangigkeit der auf Stufen erfafiten Einfiufigrofie beschrieben werden. Man unterscheidet dazu zwei Ansatze: Modellformulierung (I)
Im ersten Modellansatz nimmt man an, dafi durch die jeweilige Faktorstufe eine gewisse durchschnittliche Auspragung der Zielgrofie, wie etwa ein mittlerer Einstellungsscore der Jugendlichen gegeniiber der Nutzung von Atomenergie, bedingt wird. AUerdings gibt es natiirlich individuelle Schwankungen um diesen mittleren Wert, denen im Modell Rechnung getragen werden mufi. Daher lafit sich die Zielgrofie Yij als Summe des Erwartungswerts jii von Faktorstufe i und eines Storterms eij fiir die i-te Faktorstufe und die j - t e Untersuchungseinheit darstellen, also Xij — /i-i + €.ij ,
Normalverteilung
1,...,/,
j = l,...,ni
Da wir zudem vorausgesetzt haben, dafi die Zielvariable in den Gruppen normalverteilt ist und sich, wenn iiberhaupt, nur durch ihre Erwartungwerte unterscheidet, konnen wir zudem annehmen, dafi die Storgrofie normalverteilt ist mit
Inhaltlich bedeutet diese Annahme, dafi sich die Storterme im Mittel wieder ausgleichen und dafi die VariabiUtat in alien Gruppen gleich ist. Da wir die Untersuchungseinheiten zufallig auswahlen, konnen wir zusatzlich davon ausgehen, dafi die Yij und damit die eij unabhangig sind, d.h. F n , Yi2^..., Yim bzw. €ii,...,€/n/ sind voneinander unabhangig. Uns interessiert nun die Frage, ob sich die Faktorstufen unterschiedlich auf die Zielgrofie auswirken. Diese Frage formulieren wir auch hier als statistische Alternative in dem entsprechenden statistischen Testproblem, das gegeben ist als i?(0
: / i i = /X2
M/
gegen
Hi : fii ^ fij
fiir mindestens ein Paar (i, j )
13.1
Einfaktorielle Varianzanalyse
521
Die NuUhypothese besagt gerade, dafi zwischen den Gruppen keine Mittelwertsunterschiede vorliegen, wahrend die Alternative formuliert, dafi sich mindestens zwei Gruppen unterscheiden. Modellformulierung ( I I )
Der andere Ansatz zur Modellierung ist voUig aquivalent zu Modell (I). Es wird mit diesem Modell allerdings der Idee Rechnung getragen, dafi, formuliert fiir unser Beispiel, die verschiedenen Filme einen unterschiedlichen Effekt auf die Einstellung haben. Damit versucht Modell (II) die Effekte der Faktorstufen auf den allgemeinen mittleren Wert der Zielgrofie zu beschreiben. Man spricht daher auch bei der Darstellung ^ij =^ /^ + Qfi + €ij ,
Z = 1, . . . , i ,
J ^ 1, . . . , 71^ ,
von dem Modell in Effektdarstellung. Den Parameter fx bezeichnet man als grand mean oder globalen Erwartungswert, d.h. /i = nX^i=i^^/^^' ^^^ ^^ ^^^ Effekt der i-ten Faktorstufe mit ai = fii — fi. Betrachtet man das Modell (I)
Modell in Effektdarstellung grand mean Effekt
und fiigt die Differenz /i — /i hinzu, d.h. Yij = fx + ddi- fi) + eij , so erhalt man direkt das Modell (II) mit ai = /uLi — fi. Zudem sieht man leicht, dafi sich die Effekte im Mittel ausgleichen, d.h. ^ n ^ a i = 0. 2=1
Aufierdem setzen wir wieder voraus, dafi die Storterme e n , . . . , ejm unabhangig und normalverteilt sind mit eij ^ iV(0, cr^). Das in Modell (I) angegebene statistische Testproblem lafit sich nun analog iiber die Effekte formulieren. Haben namlich die Faktorstufen keinen Einflufi, so sind die Effekte alle null. Damit erhalten wir folgendes statistisches Testproblem: HQ : ai = ' " = aj = 0 gegen
Hi : mindestens zwei a^ ^ 0,
d.h. unter HQ gibt es keine unterschiedhchen Effekte auf die Zielgrofie bedingt durch den Faktor. Unter Hi gibt es einen solchen Effekt, wobei bei der Forderung nach mindestens zwei von null verschiedenen ai die Annahme eingeht, dafi sich die Effekte ausgleichen sollen.
522
13. Varianzanalyse
Die oben gegebene Formulierung der Modelle geht von einem varianzanalytischen experimentellen Design aus, bei dem die Beobachtungseinheiten verschiedenen Stufen des Einflufifaktors ausgesetzt werden. Der eher typische Fall bei praktischen Untersuchungen ist jedoch der einer Beobachtungsstudie und nicht eines Experiments, bei der sowohl das interessierende Merkmal als auch der Einflufifaktor gleichzeitig an den statistischen Einheiten beobachtet werden, vgl. Beispiel 13.5 (Seite 529). Die varianzanalytische Modellierung und die Methoden der Varianzanalyse bleiben auch in solchen Situationen anwendbar. Arbeiten wir im folgenden mit Modell (II), so stellt sich nun die Prage, die wir in Beispiel 13.2 schon inhaltlich formuliert haben, namlich, wie fi und die Effekte a^ zu schatzen sind, und wie HQ ZU test en ist. Wenden wir uns zunachst dem Schatzproblem zu. Da der globale Erwartungswert das allgemeine Mittel der Zielgrofie, also zum Beispiel den mittleren Einstellungsscore der Jugendlichen, wiedergibt, liegt es nahe, diesen auch als Mittelwert aus alien Beobachtungen zu schatzen, d.h.
Die Effekte ai beschreiben gerade die durch die Faktorstufe bewirkte Abweichung vom globalen Erwartungswert. Der Erwartungswert der Zielgrofie in jeder Faktorstufe lafit sich nun schatzen durch -J
rii
i = — 2 ^ Yij = Yi., n, . . und wir erhalten somit als Schatzung fiir ai &i = Yi. - Y.., woraus sich die Residuen des Modells berechnen lassen als Abweichung der tatsachlich beobachteten Zielgrofie von dem aufgrund des Modells vorhergesagten Wert, also ^ij = Vij - (A + OLi) = Vij- {y.. + Vi. - y..) = Vij - yi.. Damit sind wir nun in der Lage, die erste Frage in unserem Beispiel zu beantworten. Beispiel 13.3
Bildung gleich Manipulation?
Es wird im folgenden davon ausgegangen, dafi sich die Einstellung der Jugendlichen zur Nutzung von Atomkraft modellieren lafit als J^ij =^ /i' + O^i "T ^ij ,
mitni = 6,
2 = 1,z,o,
712 = 10,
na = 8,
J =
i,...,72^,
n = 24.
13.1
Einfaktorielle Varianzanalyse
523
Dabei beschreibt /x die allgemeine mittlere Einstellung der Jugendlichen zur Nutzung von Atomkraft in der Grundgesamtheit, a^ den durch den jeweiligen Film bedingten Effekt und €ij unter anderem die individuellen Schwankungen. In dem Storterm e^j werden aber auch andere Abweichungen vom Modell, zum Beispiel bedingt durch fehlerhafte Messungen, subsummiert. Fiir die Schatzung von /i und ai benotigen wir die Mittelwerte aus alien Beobachtungen und in den jeweiligen Faktorstufen. Letztere berechnen sich als i m- = 10,
y2- = 12,
^3=6.
Aus diesen kann y.. ermittelt werden als 1 ^ 1 y.. = - y rnyi. = —(6 • 10 + 10 • 12 + 8 • 6) = 9.5 . i—l
Daraus erhalt man als Schatzungen fiir die Effekte di = 10 - 9.5 = 0.5 ,
d2 = 12 - 9.5 = 2.5,
as = 6 - 9.5 = - 3 . 5 .
Aus diesen lafit sich ablesen, dafi ein deutlicher positiver EflFekt von 2.5 auf die Einstellung der Jugendlichen gegenliber der Nutzung von Atomkraft durch den Film hervorgerufen wird, in dem die Nutzung von Atomkraft eindeutig bejaht wird, wahrend in der Kontra-Gruppe ein deutlich negativer Effekt von —3.5 vorliegt. D Die Teststatistik zur Uberpriifung, ob die in der Stichprobe beobachteten Effekte einen Schlufi dariiber zulassen, dafi auch in der Grundgesamtheit ein solcher Effekt des Faktors vorliegt, kann als Verallgemeinerung der Priifgrofie des t-Tests angesehen werden. Diese lautet unter der Annahme, dafi die Varianz in beiden Stichproben gleich ist, X-Y T =
^/sHf^)^
wobei X , Y die Mittelwerte in den beiden unabhangigen Stichproben, n und m die Stichprobenumfange und 5^ = ((n — l)S'^ + (m — l ) 5 y ) / ( n + m — 2) die Stichprobenvarianz bezeichnen (vgl. Abschnitt 11.2, Seite 459 Kasten). Die Grofie 5^ mifit gerade die Variabilitat innerhalb der Gruppen, also wie stark die einzelnen Beobachtungen innerhalb der Gruppen vom jeweiligen Gruppenmittel abweichen. Die Differenz X — Y liefert eine Grofie zur Messung der Unterschiede und damit der Variabilitat zwischen den Gruppen. Damit setzt die Priifgrofie des t-Tests die Variabilitat zwischen den Gruppen in Beziehung zur Variabilitat innerhalb der Gruppen, wobei diese geeignet gemessen werden. Diese Idee lafit sich nun auf den Mehrgruppenvergleich der Varianzanalyse iibertragen. Es sind lediglich geeignete Grofien zur Messung der jeweiligen Variabihtaten zu iiberlegen. Zur Messung der Variabihtat zwischen den Gruppen macht
524
13. Varianzanalyse
es keinen Sinn, alle Gruppenmittel voneinander abzuziehen. AUerdings lafit sich diese Variabilitat gut iiber einen Vergleich der Mittelwerte innerhalb der Faktorstufen mit dem Gesamtmittel erfassen. Sei diese Grofie bezeichnet mit SQE^ die damit berechnet wird als 1=1 j=i
Da die Terme (Yi. —Y..)'^ nicht mehr von j abhangen und jeder dieser Terme genau ni-mal vorkommt, lafit sich SQE auch schreiben als I
SQE =
^ni(Yi.-Y.)\ i=i
Diese Streuung mufi analog zur liblichen Stichprobenvarianz noch durch ihre Freiheitsgrade dividiert werden, die hier / — 1 betragen. Die Streuung innerhalb der Gruppen lafit sich wieder erfassen liber die quadrierten Abweichungen der Beobachtungen in den Gruppen vom jeweiligen Gruppenmittelwert, so dafi man insgesamt die analog zur Regressionsanalyse als SQR bezeichnete Streuung berechnet als
i=i
j=i
Kennt man die Stichprobenvarianzen Sf in den Gruppen bereits, also
SO lafit sich die Berechnung von SQR vereinfachen: /
rii
SQR^'^J^iYij-Yi.)' z=l
j=l
= J](n, - l)Sf . 2=1
Streuungszerlegung
Zur Konstruktion der Priifgrofie mufi auch SQR durch die entsprechenden Freiheitsgrade n — I dividiert werden. Die hier vorgenommene Aufteilung der gesamten Variabilitat in SQR und SQE ist bereits als Streuungszerlegung aus der Regressi-
13.1
525
Einfaktorielle Varianzanalyse
onsanalyse bekannt. Damit erhalten wir insgesamt als Priifgrofie rii
/
^
SQE/{I - 1) SQR/{n-I)
ZEin-Y.f/ii-i) _Si^i ^ ^ Ei:{Yij-Y,)'/{n-I) Li
1=1 7= 1
/
Diese besitzt, wie schon die entsprechende Priifgrofie in der Regressionsanalyse (siehe Kapitel 12), unter der NuUhypothese, dafi keine Effekte bedingt durch den Einflufifaktor vorliegen, eine F-Verteilung mit J — 1 und n — I Preiheitsgraden. Dabei wird die NuUhypothese verworfen, falls die Variabilitat zwischen den Gruppen wesentlich grofier ist als innerhalb der Gruppen, also falls der berechnete Priifgrofienwert das (1 — a)-Quantil der F{I — l , n — /)-Verteilung iiberschreitet. Fiir zwei Gruppen, d.h. / = 2, reduziert sich die F-Statistik auf das Quadrat der t-Statistik. Ebenfalls analog zur Regressionsanalyse ordnet man die zur Berechnung der Priifgrofie notwendigen Ausdriicke in einer Varianzanalysetabelle bzw. kurz ANOVA-Tabelle an:
^^ Streuung
Preiheits, grade
Gruppen (Variabilitat zwischen den Gruppen)
SQE
/ - I
^
Residuen (Variabilitat innerhalb der Gruppen)
SQR
n-I
m . = MQR
Streuungs, ursache
i ^. i quadratischer ^^ , , Fehler
Varianzanalysetabelle
T^ -r ..r> PrurgroCe
= MQE F
=
^
Die Priifgrofie wird nun verwendet, um die zweite in dem Beispiel formulierte Frage zu beantworten und zwar, ob das filmische Informationsmaterial die Einstellung der Jugendhchen beeinflufit. Bildung gleich Manipulation?
Die Frage danach, ob das filmische Informations