Probabilia, statistica e sl ulaz one
A. Rotondi P. Pedroni A. Pievatolo
ALBERTO ROTONDI Dipartimento di Fisica Nucleare e Teorica Universita di Pavia PAOLO PEDRONI Istituto Nazionale di Fisica Nucleare Sezione di Pavia ANTONIO PIEVATOLO Istituto di Matematica Applicata e Tecnologie Informatiche CNR - Milano
Springer-Verlag fa parte di Springer Science+Business Media
O Springer-Verlag Italia, Milano 2005
ISBN 88-470-0262-1 Quest'opera k protetta dalla legge sul diritto d'autore. Tutti i diritti, in particolare quelli relativi alla traduzione, alla ristampa, all'uso di figure e tabelle, alla citazione orale, alla trasmissione radiofonica o televisiva, alla riproduzione su microfdm o in database, alla diversa riproduzione in qualsiasi altra forma (stampa o elettronica) rimangono riservati anche nel caso di utilizzo parziale. Una riproduzione di quest'opera, oppure di parte di questa, & anche nel caso specific0 solo ammessa nei limiti stabiliti dalla legge sul diritto d'autore, ed k soggetta all'autorizzazione dell'Editore. La violazione delle norme cornporta le sanzioni previste dalla legge. L'utilizzo di denominazioni generiche, nomi commerciali, marchi registrati, ecc, in quest'opera, anche in assenza di particolare indicazione, non consente di considerare tali denominazioni o marchi liberamente utilizzabili da chiunque ai sensi della legge sul marchio. Riprodotto da copia camera-ready fornita dagli Autori Progetto grafico della copertina: Simona Colombo, Milano Stampato in Italia: Arti Grafiche Nidasio, Assago
lndice
Prefazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
La probabilith . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1 Caso. caos e determinism0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Terminologia . . . . . . . . . . . . . . . . . . . . . . . . . . . , .. . . . . . . . . . . . . 1.3 I1 concetto di probabilita ................................ 1.4 Probabilitii assiomatica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5 Prove ripetute . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.6 Calcolo combinatorio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.7 Teorema di Bayes ...................................... 1.8 L'approccio bayesiano ................................... 1.9 Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
Rappresentazione dei fenomeni aleatori ................... 2.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Variabili aleatorie ...................................... 2.3 Funzione cumulativa o di ripartizione ..................... 2.4 La rappresentazione dei dati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5 Variabili aleatorie discrete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6 La distribuzione binomiale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.7 Variabili aleatorie continue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.8 Media, Varianza e Deviazione Standard . . . . . . . . . . . . . . . . . . . 2.9 Operatori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.10 I1 campione casuale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.11 Criteri di convergenza ................................... 2.12 Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
2
Calcolo elementare delle probabilith . . . . . . . . . . . . . . . . . . . . . . 3.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Proprieta della distribuzione binomiale . . . . . . . . . . . . . . . . . . . . 3.3 La distribuzione di Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Densita di Gauss o normale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5 Calcolo di distribuzioni in SCILAB . . . . . . . . . . . . . . . . . . . . . . . 3.6 Legge 3-sigma e gaussiana standard . . . . . . . . . . . . . . . . . . . . . . . 3.7 I1 teorema Lirnite Centrale: universalita della gaussiana .....
VI
lndice
3.8 3.9 3.10 3.11 3.12 3.13
.
Calcolo delle probabilitb p e r p i h variabili . . . . . . . . . . . . . . . . . 111 4.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 4.2 Distribuzioni statistiche multidimensionali ................. 111 4.3 Covarianza e correlazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 4.4 Densit&gaussiana bidimensionale . . . . . . . . . . . . . . . . . . . . . . . . . 123 4.5 Generalizzazione in pih dimensioni . . . . . . . . . . . . . . . . . . . . . . . . 133 4.6 Insiemi di probabilith in piil dimensioni ................... 136 4.7 La distribuzione multinomiale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 4.8 Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
.
Funzioni di variabili aleatorie ............................. 143 5.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 5.2 Funzione di una variabile aleatoria . . . . . . . . . . . . . . . . . . . . . . . . 144 5.3 finzioni di pih variabili aleatorie . . . . . . . . . . . . . . . . . . . . . . . . . 147 5.4 La trasformazione della media e della varianza . . . . . . . . . . . . . 158 5.5 Medie e varianze per n variabili . . . . . . . . . . . . . . . . . . . . . . . . . 164 5.6 Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
.
Statistica d i base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 6.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 6.2 Intervalli di confidenza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 6.3 Determinazione degli intervalli di confidenza ............... 176 6.4 Cenno all'approccio bayesiano . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 6.5 Alcunenotazioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 6.6 Stima della probabilita da grandi campioni . . . . . . . . . . . . . . . . 180 6.7 Stima della probabilita da piccoli campioni . . . . . . . . . . . . . . . . 184 6.8 Stima di valori limite poissoniani . . . . . . . . . . . . . . . . . . . . . . . . . 191 6.9 Stima della media da grandi campioni . . . . . . . . . . . . . . . . . . . . . 192 6.10 Stima della varianza da grandi carnpioni ................... 194 6.11 Stima di media e varianza ha piccoli campioni .............. 198 6.12 Come utilizzare la teoria della stima . . . . . . . . . . . . . . . . . . . . . . 202 6.13 Stime da una popolazione finita . . . . . . . . . . . . . . . . . . . . . . . . . . 208 6.14 Verifica di una ipotesi ................................... 210 6.15 Verifica di compatibilita tra due valori .................... 212 6.16 Stima della densith di una popolazione . . . . . . . . . . . . . . . . . . . . 217 6.17 Verifica di compatibilitb tra campione e popolazione . . . . . . . . 223 6.18 Verifica di ipotesi con test non parametrici . . . . . . . . . . . . . . . . . 231 6.19 Stima della correlazione ................................. 238
4
5
6
Processi stocastici poissoniani . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 La densith X 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 La densith uniforme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 Disuguaglianza di Tchebychev . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 Come utilizzare il calcolo delle probabilith ................. 101 Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
lndice
6.20 Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
VII 245
7. I1 metodo Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 7.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 7.2 Cosl&il metodo Monte Carlo? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 7.3 Fondamenti matematici ................................. 251 7.4 Generazione di variabili aleatorie discrete . . . . . . . . . . . . . . . . . . 252 7.5 Generazione di variabili aleatorie continue ................. 256 7.6 Metodo del rigetto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.7 Metodo di ricerca lineare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266 7.8 Metodi particolari di generazione casuale .................. 268 7.9 Studio Monte Carlo di distribuzioni . . . . . . . . . . . . . . . . . . . . . . . 273 7.10 Determinazione degli intervalli di confidenza ............... 276 7.11 Bootstrap non parametric0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280 7.12 Problemi .............................................. 283 8
.
Applicazioni del metodo Monte Carlo . . . . . . . . . . . . . . . . . . . . . 285 8.1 Introduzione .......................................... 285 8.2 Studio dei fenomeni di difisione . . . . . . . . . . . . . . . . . . . . . . . . . 285 8.3 Simulazione dei processi stocastici . . . . . . . . . . . . . . . . . . . . . . . . 293 8.4 Il numero di addetti ad un impianto: simulazione sincrona . . . 298 8.5 I1 numero di addetti ad un impianto: simulazione asincrona . . 302 8.6 Algoritmo di Metropolis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 8.7 I1 modello di Ising . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 8.8 Calcolo di integrali definiti ............................... 311 8.9 Campionamento ad importanza . . . . . . . . . . . . . . . . . . . . . . . . . . 315 8.10 Campionamento stratificato ............................. 316 8.11 Integrali multidimensionali ..............................320 8.12 Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
9
.
Inferenza statistica e verosimiglianza ..................... 323 9.1 Introduzione ........................................... 323 9.2 Il metodo della massima verosimiglianza ................... 325 9.3 ProprietB degli stimatori ................................ 330 9.4 Teoremi sugli stimatori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333 9.5 Intervalli di confidenza ..... , ............................ 342 9.6 I1 metodo dei minimi quadrati e la massima verosimiglianza . . 345 9.7 Adattamento di densit& (best fit) ad istogrammi . . . . . . . . . . . . 347 9.8 La media pesata ........................................ 352 9.9 Verifica delle ipotesi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 9.10 Test di potenza massima ................................ 359 9.11 Funzioni test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 9.12 Test sequenziali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 9.13 Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
VIII
lndice
.
Minimiquadrati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 10.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .373 10.2 Predittori osservati senza errore . . . . . . . . . . . . . . . . . . . . . . . . . 376 10.3 Rette dei minimi quadrati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379 10.4 Minimi quadrati lineari: caso.generale . . . . . . . . . . . . . . . . . . . . 385 10.5 Minimi quadrati lineari pesati . . . . . . . . . . . . . . . . . . . . . . . . . . . 390 10.6 ProprietA delle stime dei minimi quadrati . . . . . . . . . . . . . . . . . 392 10.7 Verifica del modello e determinazione di forme funzionali . . . 394 10.8 Ricerca delle correlazioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401 10.9 Test di adattamento del modello . . . . . . . . . . . . . . . . . . . . . . . . . 405 10.10 Errori sui predittori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406 10.11 Minimizzazione non lineare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 10.12Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
.
Analisi dei dati sperimentali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413 11.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413 11.2 Terminologia .......................................... 414 11.3 Grandezze fisiche costanti e variabili . . . . . . . . . . . . . . . . . . . . . 415 11.4 Sensibilita e accuratezza degli strumenti . . . . . . . . . . . . . . . . . . 416 11.5 Incertezza nelle operazioni di misura . . . . . . . . . . . . . . . . . . . . . 418 11.6 Misure indirette e propagazione degli errori ............... 421 11.7 Definizione dei tipi di misura . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432 11.8 Misure del tip0 M ( 0 , 0, A ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 11.9 Misure del tip0 M ( 0 , u , 0 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434 11.10 Misure del tip0 M ( 0 , u. A) . . . . . . . . . . . . . . . . . . . . . . . . . . . 437 11.11 Misure del tip0 M ( f . 0. 0 ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440 11.12 Misure del tip0 M ( f , u. 0 ) . M ( f . 0, A ) , M ( f . u , A ) . 444 11.13 Studio di un caso: gli esperimenti di Millikan . . . . . . . . . . . . . . 448 11.14 Alcune note sul metodo scientific0 ....................... 452 11.15Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457
10
11
.
Appendice A Tabella dei simboli . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459 Appendice B . Funzioni generatrici . . . . . . . . . . . . . . . . . . . . . . . . . . . 461 Appendice C Soluzioni dei problemi . . . . . . . . . . . . . . . . . . . . . . . . . 463 Appendice D Tabelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477 D.l Integrale della densit&gaussiana . . . . . . . . . . . . . . . . . . . . . . . . . .477 D.2 Valori quantili della densit& di Student . . . . . . . . . . . . . . . . . . . . 478 D.3 Integrale della densita X 2 ridotto . . . . . . . . . . . . . . . . . . . . . . . . . 478 D.4 Valori quantili di x2 non ridotto . . . . . . . . . . . . . . . . . . . . . . . . . 479 D.5 Valori quantili della densit& F ........................... 479
. .
Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487 Indice analitico ............................................... 491
Prefazione alla prima edizione
Questo testo nasce dalla collaborazione tra due fisici sperimentali e uno statistico. Tra i non statistici, i fisici sono forse quelli che piir apprezzano e utilizzano il calcolo delle probabilith e la statistica, il pib delle volte perb in mod0 pragmatic0 e manualistico, avendo in mente la soluzione di problemi o applicazioni tecniche. D'altra parte, nel confront0 cruciale fra teoria ed esperimento, occorre a volte utilizzare metodi sofisticati, che richiedono una conoscenza profonda dei principi, anche logici e matematici, che stanno alla base dello studio dei fenomeni casuali. Pib in generale, anche chi non i: statistico deve spesso affrontare, nell'ambito della ricerca, problemi che richiedono particolari doti di attenzione e competenza nel trattamento degli aspetti casuali o aleatori. Queste doti sorlo irlvece possedute in mod0 naturale dallo statistico, il quale fa delle leggi del caso l'oggetto delle proprie ricerche. Questo testo B maturato con l'intento di cercare una sintesi tra queste esperienze diverse, per fornire a1 lettore non solo uno strumento utile ad affrontare i problemi, ma anche una guida ai metodi corretti per comprendere il complicato e affascinante mondo dei fenomeni aleatori. Un tale obiettivo ha comportato ovviamente delle scelte, talvolta anche dolorose, sia nel tip0 sia nella forma dei contenuti. Nella forma, abbiamo cercat0 di non rinunciare alla precisione necessaria per insegnare correttamente i concetti importanti; nelle applicazioni, abbiamo privilegiato i metodi che non richiedono eccessive elaborazioni concettuali preliminari. Abbiamo ad esempio cercato di utilizzare, quando i: possibile, metodi approssimati per la stima intervallare, con le approssimazioni gaussiane alla distribuzione degli stimatori. Allo stesso modo, nel caso dei minimi quadrati, abbiamo usato in mod0 esteso l'approssimazione basata sulla distribuzione X 2 per la verifica dell'adattamento di un modello ai dati. Abbiamo anche evitato di insistere nel trattamento formale di problemi complicati nei casi in cui si pub trovare la soluzione utilizzando il computer e facili programmi di simulazione. Nel nostro testo la simulazione riveste quindi un ruolo importante nell'illustrazione di molti argomenti e nella verifica della bont& di molte tecniche ed approssimazioni. I1 libro si rivolge in primo luogo agli studenti dei primi anni dei corsi di indirizzo scientifico, come ingegneria, informatica e fisica. Pensiamo perb che esso possa risultare utile anche a tutti quei ricercatori che devono risolvere problemi concreti che coinvolgono aspetti probabilistici, statistici e di simulazione. Per questo abbiamo dato spazio ad alcuni argomenti, come il metodo Monte Carlo e le sue applicazioni, le tecniche di minimizzazione e i metodi
X
Prefazione
di analisi dei dati, che solitamente non vengono trattati nei testi di carattere introduttivo. Le conoscenze matematiche richieste a1 lettore sono quelle impartite solitamente nell'insegnamento di Analisi Matematica I dei corsi di laurea ad indirizzo scientifico, con l'aggiunta di nozioni minime di Analisi Matematica 11, come i fondamenti della derivazione ed integrazione delle funzioni di pih variabili. La struttura del testo consente diversi percorsi didattici e livelli di lettura. I prirni 6 capitoli trattano tutti gli argomenti solitamente svolti in un corso istituzionale di statistica. A scelta del docente, questo programma pub essere integrato con alcuni argomenti pib avanzati tratti dagli altri capitoli. Ad esempio, in un corso orientato alle tecniche di simulazione, va senz'altro incluso il capitolo 7. Le nozioni di probabilita e statistica impartite di solito agli studenti di fisica nei corsi di laboratorio del primo biennio sono contenute nei primi 3 capitoli, nel capitolo 6 (statistica di base) e nel capitolo lo1, scritto esplicitamente per i fisici e per tutti coloro che hanno a che fare con il trattamento dei dati provenienti da esperienze di laboratorio. Molte pagine sono dedicate alla risoluzione completa di numerosi esercizi inseriti direttamente nei capitoli ad illustrazione degli argomenti trattati. Raccomandiamo a1 lettore anche i problemi (tutti con soluzione) riportati alla fine di ogni capitolo. I1 testo Q stato scritto nel corso di diversi anni, nel tempo "libero" dagli impegni dell'insegnamento e della ricerca. Molte parti del materiale che qui presentiamo sono state collaudate in alcuni corsi per fisici, istituzionali e di dottorato, sull'analisi statistica dei dati e sulle tecniche di simulazione Monte Carlo. Ringraziare uno per uno tutti gli studenti e i colleghi che ci hanno dato consigli, suggerimenti e corretto errori e imprecisioni ci Q veramente impossibile. Un grazie particolare va comunque a Franco Barbaini, Valerio Filippini, Andrea Fontana e Victor Tretyak. Infine, un sincero ringraziamento all'editore Springer per aver apprezzato e sostenuto il nostro progetto. Pavia, gennaio 2001 Gli Autori
Nella nuova edizione B il capitolo 11
Prefazione
XI
Prefazione alla seconda edizione In questa seconda edizione abbiamo tenuto conto delle numerose osservazioni e di alcune segnalazioni di errori di molti lettori, che ringraziamo vivamente per la collaborazione. E solo grazie a questi lettori che un libro non muore, ma resta una cosa viva che evolve e migliora nel tempo. La prima parte del capitolo 6 sulle stime frequentiste di Neyman e tutto il capitolo 10 sui minimi quadrati sono stati riscritti cercando di presentare la materia in mod0 pih chiaro e sintetico. Per soddisfare il notevole interesse sulle tecniche di simulazione Monte Carlo, l'argomento k stato ampliato, arricchito di nuovi esempi ed applicazioni e suddiviso in due capitoli. I1 nuovo materiale non ha aumentato la mole del testo, perchi: alcune parti di secondaria importanza o troppo tecniche sono state alleggerite od eliminate. Una delle maggiori novita i:l'utilizzo, in tutto il testo, del software libero SCILAB~,particolarmente semplice e potente, e di numerosi programmi che abbiamo scritto e che si possono ottenere dal sito web dell'editore3. Consigliamo quindi una lettura interattiva, che a110 studio di un argomento faccia seguire l'uso delle routine second0 le modalita indicate nel testo e le istruzioni tecniche contenute in queste pagine web. Nella speranza che questa nuova fatica venga ripagata con lo stesso interesse che ha accompagnato la prima edizione, ringraziamo ancora l'editore Springer per la fiducia che ha continuato ad accordarci. Pavia, agosto 2004 Gli Autori
XI1
Prefazione
C o m e utilizzare il t e s t o Figure, equazioni, definizioni, teoremi, tabelle ed esercizi sono numerati progressivamente all'interno di ogni capitolo. Le sigle delle citazioni (ad esempio [57]) si riferiscono all'elenco riportato nella bibliografia alla fine del libro. La soluzione dei problemi 6 a pagina 463. Pub anche essere utile la tabella dei simboli riportata nelle pagg. 459-460. I codici di calcolo come h i s t p l o t sono indicati su sfondo grigio. Le routine che iniziano con lettera minuscola sono quelle originali di SCILAB, che possono essere liberamente copiate d a
mentre quelle che cominciano in maiuscolo sono scritte dagli autori e si trovano in
In questo sit0 si trovano anche tutte le informazioni per la installazione e l'uso di SCILAB, una guida all'uso delle routine scritte dagli autori e materiale didattico complementare a1 testo.
1. La probabilita
"Sembra non esserci alternativa dl'accettare l'idea che nell'esistenza c'i un qualche elemento incomprensibile. La scelta t. libera. Noi tutti Auttuiamo delicatamente fra una visione soggettiva e una visione oggettiva del mondo, e questo dilemma 6 a1 centro della natura umana. " Douglas R. Hofstadter, "L'Io DELLA MENTE" .
1.1 Caso, caos e determinism0 Questo libro si propone di studiare in mod0 dettagliato i fenomeni detti aleatori, stocastici o casuali. Prima di immergerci nell'argomento, in questa introduzione analizzeremo brevemente la collocazione ed il ruolo di questi fenomeni nel contest0 della realta in cui viviamo. Nella misura o nell'osservazione di un fenomeno naturale, inizialmente si cerca di identificare tutte le cause e le condizioni esterne che ne determinano l'evoluzione. Successivamente, si opera in mod0 da tenere fisse o sotto controllo, per quanto possibile, queste cause esterne e si procede a registrare i risultati delle osservazioni. Ripetendo le osservazioni, si possono allora presentare due casi: 0
si ottiene sempre lo stesso risultato. Come esempio, pensate alla misura di un tavolo con un metro commerciale; si ottiene ogni volta un risultato differente. Pensate ad un fenomeno naturale molto semplice: il lancio di una moneta.
Mentre nel primo caso per il momento non c'i: molto da dire, nel second0 vogliamo qui chiederci a cosa sono dovute le variazioni osservate nei risultati. Possibili cause sono il non aver tenuto sotto controllo tutte le condizioni del fenomeno, oppure avere definito in mod0 scorretto la grandezza d a osservare. Una volta effettuate queste correzioni, il fenomeno pub diventare stabile, oppure continuare a presentare fluttuazioni. Spieghiamo con un esempio: supponiamo di voler misurare l'ora del sorgere del sole all'orizzonte in una data localit8. Osserveremo che misure ripetute in giorni successivi forniscono un risultato differente. Ovviamente, in questo caso la variazione del risultato 6 dovuta ad una cattiva definizione della
2
Capitolo 1. La probabiliti
misura. L'ora del sorgere del sole va misurata in un certo luogo e per un determinato giorno dell'anno, e va ripetuta a distanza di un anno in quello stesso giorno e luogo. Ridefinendo in questo mod0 l'osservazione, i risultati di misure ripetute coincidono. Come i: noto, le leggi del mot0 dei pianeti forniscono in questo caso un modello che permette di prevedere (a meno di piccole correzioni che non vogliamo discutere) le ore dell'alba per tutti i giorni dell'annol. Consideriamo ora la misura di un'altra grandezza, la temperatura di un giorno ad una determinata ora. In questo caso, anche considerando un certo giorno dell'anno e ripetendo le misure di anno in anno, si osservano risultati differenti. A differenza dell'ora del sorgere del sole, non siamo in questo caso nemmeno in possesso di un modello che ci permetta di prevedere con precisione il risultato della misura. Come mai la temperatura, a differenza dell'ora dell'alba, sembra avere intrinsecamente un comportamento casuale? La ragione b che, mentre l'ora dell'alba dipende dall'interazione di pochi corpi (il sole e i pianeti), la temperatura dipende, oltre che dalle condizioni astronomiche, anche dallo stato dell'atmosfera, il quale 5 il risultato dell'interazione di innumerevoli fatt,ori, che nemmeno i n linea di principio possono essere determinati con assoluta precisione o comunque tenuti sotto controllo. Questa distinzione b cruciale ed B la chiave per stabilire la differenza tra grandezze che presentano fluttuazioni e quelle che sembrano fisse o comunque prevedibili con precisione in base a modelli deterministici. Storicamente, i sistemi deterministici sono stati per lungo tempo considerati privi di fluttuazioni ed il lor0 studio, nell'ambito della fisica classica, i! proseguito in parallel0 a quello dei sistemi detti stocastici, aleatori o casuali, nati con lo studio dei giochi d'azzardo: lancio di dadi, giochi di carte, roulette, slot machines, gioco del lotto e cosi via. Questi ultimi sono sistemi costruiti appositamente per assicurare la casudita del risultato. Esistevano pertanto due mondi separati: quello privo di fluttuazioni dei fenomeni deterministici, legati alle leggi fondamentali della fisica, ai sistemi semplici (in genere a pochi corpi), ed il mondo dei fenomeni aleatori, soggetti a fluttuazioni, legato ai sistemi complessi (in genere a molti corpi). Tuttavia, gii all'inizio del secolo scorso il fisico-matematico francse H. Poincar6 si accorse che in alcuni casi la conoscenza della legge deterministica non era sufficiente per fare predizioni esatte sulla dinarnica del sistema a partire d a condizioni iniziali note. I1 problema, che oggi si chiama studio del caos, venne perb ripreso e studiato a fondo solo ben piil tardi, a partire dagli anni '70, grazie all'aiuto dei calcolatori. Oggi sappiamo che, nei sistemi macroscopici, l'origine delle fluttuazioni pub essere duplice, ciob dovuta a leggi deterministiche che presentano elevata sensibilita rispetto alle condiIn realtit non si sa esattamente quanto sia stabile il sistema solare. Alcuni modelli indicano che non sia possibile estendere le previsioni oltre un intervallo di tempo dell'ordine dei cento milioni di anni [7]
1.1Caso, caos e determinism0
3
Fig. 1.1. Valori assunti d a x in base alla equazione logistica (1.1) partendo dal valore iniziale x = 0.3 per differenti valori del parametro A.
zioni iniziali (sistemi caotici) oppure alla impossibilith di definire in mod0 deterministic0 tutte le variabili del sistema (sistemi stocastici). Uno dei paradigmi migliori per spiegare il caos & la mappa logistica, proposta fin dal 1838 dal matematico belga P.F. Verhulst e studiata in dettaglio dal biologo R.May nel 1976 e dal fisico M. Feigenbaum nel 1978:
dove k i: il ciclo di crescita della popolazione, X & legato a1 tasso di crescita e 0 j x(k) 5 1 i: una variabile di stato proporzionale a1 numero di individui della popolazione. Affinch6 x si mantenga nei limiti prefissati, deve essere 0 X 5 4. La legge logistica descrive bene la dinamica di evoluzione delle popolazioni dove esiste un accrescimento per ciclo proporzionale a X x(k) con un termine correttivo negativo (reazione o feedback) -A x2(k) proporzionale a1 quadrat0 della dimensione gi8 raggiunta dalla popolazione. Senza addentrarci troppo nello studio della mappa logistica, notiamo che il comportamento della popolazione evolve col numero dei cicli second0 le caratteristiche seguenti (riportate anche in Fig. 1.1):
<
0 0
per X 5 1 il modello conduce sempre all'estinzione della popolazione; per 1 < X 5 3 il sistema raggiunge un live110 stabile, che dipende da X ma non dalla condizione iniziale x(0); per 3 < X 3.56994. . . il sistema oscilla periodicamente tra alcuni valori fissi. Ad esempio, come mostrato in Fig. 1.1 per X = 3.5, i valori possibili sono 4 ( si noti che in figura i valori discreti di x sono uniti dalla linea con-
<
4
0
Capitolo 1. La probabiliti
tinua). Anche in questo caso gli stati raggiunti dal sistema non dipendono dalla condizione iniziale; per X > 3.56994. . . il sistema i: caotico: le fluttuazioni sembrano regolari, ma, come si vede guardando con attenzione la Fig. 1.1 per X = 3.8, esse non sono n6 periodiche n6 sembrano del tutto casuali. Uno studio approfondito mostra anche che le fluttuazioni non sono nemmeno prevedibili con precisione, perch6 valori della condizione iniziale x ( 0 ) molto vicini portano ad evoluzioni completamente diverse della popolazione. Questo fenomeno, che si chiama dipendenza sensibile dalle condizioni iniziali o efletto farfalla2, i:una delle caratteristiche principali del caos. Si noti che le fluttuazioni nei sistemi caotici sono oggettiue, intrznseche o essenziali, poich6 la riproducibilith dei risultati richiederebbe condizioni iniziali fissate ad un live110 di precisione inferiore a quello della scala atomica, il che non 6 possibile n e m m e n o i n linea di principio.
Potete fare esperienza numerica con la mapp l'effetto , con cui farfalla utilizzando le nostre funzioni SCILAB abbiamo prodotto la Fig. 1.1. I metodi per distinguere i sistemi caotici da quclli stocastici si basano essenzialmente sullo studio degli scarti, ciob della differenza tra i valori corrispondenti delle stesse variabili di stato nelle evoluzioni successive del sistema, in funzione del numero di variabili di stato. In un sistema caotico, raggiunto un certo numero di variabili, gli scarti si stabilizzano o tendono a diminuire. Questo comportamento indica che si t: raggiunto un numero di variabili di stato adeguato a descrivere il sistema e che si pub ottenere la legge deterministica che ne regola la dinamica. Le fluttuazioni nei risultati di esperimenti ripetuti in questo caso vengono attribuite, come abbiamo visto, alla sensibilith del sistema rispetto alle condizioni iniziali In un sistema stocastico, invece, il numero di variabili di stato necessario alla descrizione completa del sistema non viene mai raggiunto e la somma degli scarti, o delle grandezze ad essi connesse, continua a crescere col numero delle variabili di stato considerate [7]. Le fluttuazioni delle variabili appaiono casuali e seguono le distribuzioni del calcolo delle probabilith. Lo studio del caos e delle transizioni dallo stato caotico a quello stocastico (e viceversa) i: un'area di ricerca molto recente e tuttora aperta, dove molti problemi restano ancora irrisolti. I1 lettore interessato pub entrare in questo affascinante argomento attraverso le letture introduttive [7, 72, 771. Riferendosi a1 caos nei sistemi meteorologici, spesso si dice: "un battito d'ali di farfalla ai tropici pub scatenare un uragano in Florida" Le istruzioni per eseguire le nostre routine e a quelle del software SCILAB [73], utilizzato come codice di riferimento nel seguito del testo, si possono ottenere dal sito http: //www. springer. i t / l i b r i - l i b r o .asp?id=242 [64]. D'ora in poi i nomi dei codici verranno evidenziati su sfondo grigio. Le routine originali SCILAB iniziano con lettera minuscola, le nostre con lettera maiuscola.
1.1 Caso, caos e determinism0
5
Nel seguito del libro non tratteremo il caos, ma ci dedicheremo invece a110 studio dei sistemi aleatori o stocastici, cioB di tutti quesi sistemi nei quali, in base a quanto detto, vi sono variabili che seguono, in linea di massima, l'affermazione4: Affermazione 1.1 (Variabile aleatoria i n senso lato). Una variabile statistica, aleatoria o casuale b il risultato del17interazione di molti fattori, ognuno dei quali n o n d preponderante sugli altri. Questi fattori (e le loro leggi dinamiche) n o n possono essere completamente individuati7 fissati e comunque tenuti sotto controllo, n e m m e n o i n linea di principio. Nel testo useremo prevalentemente il termine "variabile aleatoria" . Proviamo ora a identificare alcuni sistemi o processi stocastici che in natura producono variabili aleatorie o casuali. In natura tutti i sistemi a molti corpi hanno un grado molto elevato di casualitb: le osservabili dinamiche di sistemi di molecole, gas ideali e sistemi termodinamici in genere seguono molto bene l'affermazione 1.1. Questi sistemi sono oggetto di studio della fisica statistica. Chiameremo per brevitb sistema stocastico puro un sistema stocastico (o aleatorio) che produce variabili aleatorie. Possiamo a questo punto precisare il significato del termine "fattori e leggi dinamiche impossibile da determinare, n e m m e n o in linea di principio" che abbiamo usato nell'affermazione 1.1. Supponiamo di lanciare un dado 100 volte. Per costruire un modello deterministico che possa prevedere il risultato dell'esperimento sarebbe necessario introdurre nelle equazioni del mot0 del dado tutte le condizioni iniziali relative a1 lancio, i vincoli dati dalle pareti della mano o del bicchiere entro cui si scuote il dado prima del lancio, i vincoli dati dal piano dove si getta il dado, e forse altro ancora. Avremmo cosi un insieme veramente formidabile di numeri, relativi alle condizioni iniziali e ai vincoli per ognuno dei cento lanci, enormemente pih grande dei cento numeri che costituiscono il risultato finale dell'esperimento. E chiaro che il potere predittivo di una teoria del genere B nu110 e la sua applicabilitb pratica inesistente. Un modello deterministico, per essere tale, deve basarsi su un insieme compatto di equazioni e condizioni ini?iali e deve essere in grado di prevedere un insieme vastissimo di fenomeni. E questo, ad esempio, il caso della legge logistica (1.1) o della semplice legge della caduta dei gravi, che collega lo spazio percorso s alla accelerazione gravitazionale g e a1 tempo di caduta t attraverso la formula s = g t 2 / 2 . Questa sola formula consente di prevedere, assegnando s o t come condizione iniziale, il risultato di infiniti esperimenti. Possiamo riassumere il significato delle osservazioni appena fatte dicendo che ogni volta che un modello deterministico db luogo ad algoritmi che richiedono un insieme numeric0 di condizioni iniziali, vincoli ed equazioni Nel testo le definizioni operative, di tipo non matematico, verranno chiamate "afTermazionin.
6
Capitolo 1. La probabiliti
enormemente pih numeroso dell'insieme costituito dal risultato che si intende prevedere, esso perde di senso. In alternativa, va usato l'approccio statistic0 che, basandosi sullo studio a posteriori dei risultati ottenuti, cerca di quantificare l'entith delle fluttuazioni ed estrarre da queste delle regolarith globali che possano essere utili nella previsione d'insieme (cioi: probabilistica) dei risultati futuri. Questa linea di pensiero, che si andata sviluppando nel corso degli ultimi tre secoli, i: pervenuta, studiando i sistemi stocastici puri, ad identificare le leggi matematiche fondamentali per la descrizione dei fenomeni casuali. L'insieme di queste leggi i: oggi noto come calcolo delle probabilith. Tutti i libri dove si espone il calcolo delle probabilitb (e il nostro non fa eccezione, come vedrete) fanno largo uso di esempi tratti dai giochi d'azzardo, come il lancio dei dadi. Queste esemplificazioni, lungi dall'essere una banalizzazione del problema, ne costituiscono invece l'essenza. Solo studiando sistemi stocastici puri si pub pervenire ad una identificazione non ambigua delle leggi del caso. Grandi matematici e statistici, come Fermat (1601-1665), Laplace (1749-1827) e Bernoulli (1654-1705), discutono spesso, nelle lor0 memorie, esperimenti d a lor0 eseguiti con lanci di dadi od altri meccanismi tratti dai giochi. Uno dei lor0 obiettivi era proprio quello di fornire strategie vincenti per i giochi d'azzardo, gih allora molto diffusi e d a lor0 stessi praticati assiduamente. In questo mod0 essi gettarono le fondamenta del calcolo delle probabilith e della statistica basandosi esclusivamente, come vuole il metodo scientifico, sui fatti sperimentali. Accanto ai giochi tradizionali, oggi esiste un altro laboratorio "artificiale", per cosi dire, costituito dai processi casuali generati mediante calcolatore. Come vedremo, i: infatti possibile, disponendo di un generatore di numeri casuali equiprobabili (una specie di roulette elettronica), simulare sistemi stocastici puri di qualunque tip0 e comunque complessi: lanci di dadi, giochi di carte, sistemi fisici a molti corpi ed altro ancora. Queste tecniche, dette Monte Carlo (in omaggio alla patria dei giochi d'azzardo) o di simulazione, sono molto pratiche ed efficaci, perch4 permettono di ottenere in pochi secondi banche di dati che con un esperimento reale richiederebbero anni. E per6 importante sottolineare che dal punto di vista concettuale queste tecniche non introducono elementi nuovi. I1 fine i: sempre quello di ottenere variabili casuali da modelli costituiti da sistemi stocastici puri (in tutto o anche solo in parte, se il problema lo richiede). Questi dati servono poi per sviluppare ed ottimizzare gli strumenti logico-matematici da applicare a110 studio dei sistemi reali. E veniamo ora proprio ai sistemi reali in generale. Osservate la Fig. 1.2, che rappresenta la temperatura media della terra negli ultimi 120 anni. Come potete ben immaginare, sull'andamento di questa curva negli anni futuri si giocherh l'avvenire delle prossime generazioni. Paragonando "ad occhio" questa curva con quella di Fig. 1.3, che rappresenta un process0 stocastico puro, sembra che ad un andamento casuale si sia sovrapposto, agli inizi di
1.1 Caso, caos e determinism0
gradi Celsius
7
r
Fig. 1.2. Variazione della temperatura media della terra negli ultimi 120 anni. La
linea di zero rappresenta la media degli anni 1950-1980 questo secolo, un andamento (trend) parametrizzabile in mod0 piG o meno esatto con una funzione matematica crescente. Non andiamo oltre con questo esempio, piuttosto preoccupante, che ci k servito solo per mostrare che nei casi reali la contemporanea presenza di effetti stocastici e deterministici B molto comune. Per tenere conto di queste possibili complicazioni, lo studio di un sistema reale viene condotto con un approccio graduale, secondo dei passi che possiamo schematizzare come segue: a) identificare i processi puramente stocastici del sistema ed individuarne, in base alle leggi del calcolo delle probabilith, le leggi di evoluzione; b) separare le componenti stocastiche da quelle non stocastiche (dette anche sistematiche), se ve ne sono. Questo passo viene generalmente fatto utilizzando i metodi della statistica; c) se il problema k particolarmente difficile, eseguire a1 calcolatore la simulazione del sistema in esame e confrontare i dati simulati con quelli reali. Spesso 6 necessario ripetere i passi a)-c) fino a che i dati simulati sono in accord0 soddisfacente con quelli reali. Questa tecnica ricorsiva costituisce un metodo di analisi molto potente ed B oggi applicata in molti campi della ricerca scientifica, dalla fisica all'economia. Prima di chiudere questa introduzione dobbiamo fare cenno a cib che avviene nel mondo microscopico. In questo caso le equazioni fondamentali della fisica forniscono una funzione di stato complessa $ ( r ) il cui modulo quadrat0 fornisce la probabilith di localizzazione della particella nello spazio: P ( r ) = l$(r)I2.La probabilith cosi trovata obbedisce alle leggi generali del calcolo delle probabilitd che illustreremo nel seguito. I1 fatto che le leggi fondamentali del mondo microscopico contengano una funzione di probabilita e che nessuno'sia stato finora in grado di trovare
Fig. 1.3. Numero di teste ottenuto nel lancio di 10 monete nel corso di 120 prove simulate a1 calcolatore. I1 numero progressivo della prova & riportato in ascisse, il numero di teste ottenute in ordinate. La linea continua rappresenta il valore medio atteso (5 teste). Si confronti questa figura con la Fig. 1.1 per X = 3.8, che riporta le fluttuazioni caotiche.
leggi fondamentali piu elementari fondate su grandezze diverse, porta correttamente ad affermare che la probabilitb i: una quantiti fondamentale della natura. L'indeterminismo, essendo presente nelle leggi fondamentali che regolano la dinamica del mondo microscopico, assume in questo caso un carattere oggettivo, non legato alla ignoranza o alle capaciti limitate di chi osserva.
1.2 Terminologia Cominciamo ora ad introdurre, in mod0 poco rigoroso ma intuitivo, i termini fondamentali del linguaggio usato nello studio dei fenomeni stocastici. Nel seguito del testo questi termini verranno gradualmente ridefiniti in mod0 matematicamente rigoroso. Spazio campionario o dei casi: i:l'insieme di tutti i possibili valori diversi
0
(casi) che pub assumere una variabile aleatoria. Ad esempio: la variabile aleatoria carta di un mazzo da gioco db luogo a uno spazio di 52 elementi. La struttura dello spazio dipende dal mod0 utilizzato per definire la variabile aleatoria. Infatti lo spazio relativo alla variabile aleatoria carta di un mazzo da gioco i! costituito dalle 52 carte, oppure d a 52 numeri interi se creiamo una tabella di corrispondenza tra carte e numeri. Evento: i: una particolare combinazione o un particolare sottoinsieme di casi. Ad esempio: nel caso delle carte da gioco, se si definisce come evento una carta dispari, l'insieme dei casi che si ottiene i: 1,3, 5, 7, 9, per ognuno dei 4 colori. Questo evento dB luogo ad un sottoinsieme di 20 elementi di uno spazio che ne contiene 52 (tutte le carte del mazzo). Spettro: i: l'insieme di tutti gli elementi diversi del sottoinsieme di casi che definisce l'evento. Nel caso delle carte da gioco dispari, lo spettro i: dato da: 1, 3, 5, 7, 9. Ovviamente, lo spettro pub coincidere con l'intero spazio
1.2 Terrninologia
0
a 0
a 0
9
della variabile aleatoria che si sta considerando (se, ad esempio, l'evento & definito come una carta qualunque di un mazzo). Probabilitci: i: la valutazione quantitativa della possibilit& di ottenere un determinato evento. Essa viene fatta sulla base dell'esperienza, utilizzando modelli matematici oppure anche su base puramente soggettiva. Ad esempio, la probabilitb che a questo punto voi continuiate a leggere il nostro libro i:, second0 noi, del 95%. . . Prova: & l'insieme delle operazioni che realizzano l'evento. Esperimento, Misura, Campionamento: i: un insieme di prove. I1 termine usato dagli statistici i: campionamento, mentre i fisici spesso usano il termine esperimento o misura. Ovviamente, in fisica un esperimento pub consistere in un campionamento, ma non necessariamente. Campione: & il risultato di un esperimento (campionamento). Popolazione: i: il risultato di un numero di prove, finito o infinito, tale d a esaurire tutti gli eventi possibili. Ad esempio, nel gioco del lotto la popolazione si pub pensare come l'insieme finito di tutte le cinquine estratte da un'urna di 90 numeri; nel caso dell'altezza degli italiani, possiamo immaginare l'insieme delle misure delle altezze di ogni individuo. Quando la popolazione i: pensata come un campione costituito da un numero infinito di eventi, va considerata come una astrazione matematica non raggiungibile in pratica.
Le idee ora introdotte possono essere riassunte nello schema di Fig. 1.4. Una volta assegnate le probabilita elementari per gli elementi dello spazio campionario (passo induttivo), utilizzando il calcolo delle probabilitb si possono calcolare le probabilita degli eventi e dedurre i modelli matematici per la popolazione (passo deduttivo). Eseguendo invece una serie di misure si pub ottenere un campione di eventi (spettro sperimentale) rappresentativo della popolazione in esame. Utilizzando poi l'analisi statistica dei dati (passo induttivo/deduttivo) si cerca di individuare, dall'analisi del campione, le proprietb della popolazione. Queste tecniche sono dette di inferenza statistica. Una volt a assunto un modello, si pub verificarne la congruenza con il campione dei dati raccolti. Questa tecnica si chiama verifica di ipotesi. Nel testo verranno inizialmente illustrati i fondamenti del calcolo delle probabilitb, con particolare riguardo alla assegnazione delle probabilitb elementari agli elementi dello spazio campionario e all'utilizzo del calcolo combinatorio per ottenere alcuni modelli matematici fondamentali. Successivamente verranno illustrati i metodi di analisi statistica dei dati che permettono di stimare, partendo d a quantitb misurate, i valori "veri" di grandezze fisiche o di verificare la congruenza dei campioni sperimentali con i modelli matematici. Gli elementi di calcolo delle probabilitb e statistica precedentemente acquisiti verranno poi applicati in mod0 esteso alle tecniche di simulazione.
10
Capitolo 1. La probabiliti
Campionario Evento insieme di casi)
u I
statistica
.a Campione
Esperimento
-
Fig. 1.4. Connessione tra calcolo delle probabilitii, statistica e misura
1.3 11 concetto di probabiliti L'esperienza mostra che, quando un fenomeno stocastico o aleatorio Q stabile nel tempo, alcuni valori dello spettro capitano piu frequentemente di altri. Se lanciamo in aria 10 monete e contiamo il numero di teste, vediamo che 5 teste si ottengono piu frequentemente di 8, mentre 10 teste Q un evento veramente raro, quasi impossibile. Se consideriamo un esperimento costituito da 100 prove (dove la prova i:il lancio di 10 monete), osserviamo che il numero di volte in cui si ottengono 5,8 e 10 teste, pur variando di poco da esperimento a esperimento, si mantiene abbastanza regolare, perch6 i valori 5,8 e 10 appaiono sempre (o quasi) con frequenza decrescente. Se immaginiamo tutti i possibili allineamenti di 10 monete, possiamo avere una spiegazione intuitiva di questo fatto: all'evento 10 teste (o 10 croci) corrisponde un solo allineamento, mentre all'evento 5 croci-5 teste corrispondono molti allineamenti possibili (5 croci e poi 5 teste, croce-testa in mod0 alternato, e cosi via fino a ben 252 allineamenti diversi). Quando lanciamo 10 monete scegliamo a caso, senza privilegiarne nessuno, uno dei possibili allineamenti ed Q intui-
1.3 11 concetto di probabiliti
11
tivo che quasi sempre otterremo risultati bilanciati (pih o meno 5 teste) e quasi mai i casi estremi. Ragionamenti di questo tipo, comuni all'esperienza quotidiana di ognuno di noi, portano istintivamente a pensare che questa regolarith dei fenomeni stocastici sia dovuta all'esistenza di quantith fisse, dette probabilitd, definibili, ad esempio, come il rapport0 tra i casi (allineamenti) favorevoli e quelli possibili. Queste considerazioni portarono J. Bernoulli alla formulazione della prima legge matematica con la quale oggi possiamo prevedere, a meno delle fluttuazioni dovute alle numerose interazioni tra gli elementi interni a1 sistema aleatorio, l'andamento d'insieme dei risultati in esperimenti come quello del lancio delle monete. Nel caso delle monete, la probabilita viene introdotta per tenere conto della variabilitii dei risultati sperimentali; tuttavia, ognuno di noi utilizza la probabilith anche per tenere conto dell'incertezza di molte situazioni che capitano nella vita reale, quantificando soggettivamente le possibilith che si presentano e scegliendo quelle di maggior probabilith in relazione ai costi o benefici che se ne possono ricavare. Ad esempio, quando siamo alla guida dell'auto ed incontriamo un semaforo rosso, abbiamo due possibiliti: fermarci o proseguire. Se siamo in un incrocio ad alto traffico e in un'ora di punta, ci fermiamo, perch6 sappiarno, in base all'esperienza, che la probabiliti di entrare in collisione con altri veicoli i: elevatissima. Se siamo invece in un incrocio a basso traffico e nel pieno della notte, siamo tentati di proseguire, perch6 sappiamo che la probabilith di una collisione k molto bassa. Un altro esempio di probabilit& soggettiva, di tip0 discreto, i: dato dal giudizio di colpevolezza o meno di un imputato in un process0 da parte di una giuria. In questo caso la probabilith pub essere espressa con due valori, 0 od 1, cioi: colpevole o innocente. In genere le giurisprudenze attuali formulano il giudizio finale combinando le probabilith individuali soggettive espresse dai singoli giurati. Attualmente l'approccio considerato pih corretto, efficace e in fondo pih economico per lo studio dei fenomeni aleatori i: quello che considera la scelta della probabilita come un atto soggettivo, basato sull'esperienza. Una prima possibile definizione operativa di probabilitii i: pertanto: Affermazione 1.2 (Probabilith soggettiva). La probabilitd 2 il grado di convinzione (degree of belief) soggettivo circa il verificarsi di un evento.
La probabilith soggettiva k libera, ma generalmente si assume che essa deb1e ba essere coerente, vale a dire espressa come un numero reale 0 p pari a p = 1 per un evento ritenuto certo e p = 0 per un evento giudicato impossibile. Considerando poi due o pih eventi tra lor0 incompatibili (come ottenere 2 o 4 nel lancio di un dado) la coerenza impone che le probabilith siano additive. Queste ipotesi sono sufficienti per l'assiomatizzazione second0 lo schema di Kolmogorov, che illustreremo tra poco. La probabilith soggettiva 6 largamente usata nelle scienze generalmente denominate "non esatte"
< <
12
Capitolo 1. La probabiliti
(giurisprudenza, economia, parte della medicina, ecc.). Nelle scienze esatte come la fisica (preciseremo meglio in seguito, a pagina 414, il significato del termine scienza esatta), la probabilita soggettiva viene generalmente evitata e ad essa vengono sostituite le definizioni di probabilith a priori (Laplace, 1749-1827) e probabilith frequentista (Von Mises, 1883-1953). Definizione 1.3 (Probabilith a priori o classica). S e N 2 il n u m e r o totale di casi dello spazio campionario di u n a variabile aleatoria ed n il n u m e r o di casi favoreuoli per i quali s i realizza l'euento A, la probabilitci a priori di A C data da: n P(A) = - .
N
Nel testo useremo prevalentemente il termine "probabilita classica". Ad esempio, la probabilita classica di una faccia nel lancio di un dado non truccato k : n numero di casi favorevoli 1 -P(A)= - = N numero di casi possibili 6 ' mentre la probabilita di estrarre l'asso di quadri da un mazzo di carte e 1/52, la probabilith di estrarre un seme di quadri B 114 e cosi via. Definizione 1.4 (Probabilith frequentista). S e m d il n u m e r o di prove in cui si 2 verificato l'evento A s u un totale di M prove, la probabilitci di A t: data da: m P(A) = l i m - . M+oo M I1 limite che compare in questa definizione non va inteso in senso matematico, ma in senso sperimentale: il valore vero della probabilith si trova solo effettuando un numero infinito di prove. Chiameremo nel seguito questa operazione, con il limite scritto in corsivo, limite frequentista. La scelta delle probabilita elementari da assegnare agli eventi it dunque induttiva ed arbitraria. I1 calcolo delle probabilita di eventi complessi a partire dalle probabilitii elementari assegnate it invece di tip0 deduttivo e viene fatto, come vedremo, senza uscire dal rigore matematico. L'uso della probabilitii soggettiva i: detto anche approccio bayesiano, perch4 in questo caso le probabilith iniziali vengono spesso riaggiustate in funzione dei risultati ottenuti utilizzando la famosa formula di Bayes, che dedurremo tra poco nel par. 1.7. L'approccio frequentista i: quello nettamente prevalente in ambito fisico e tecnico. In base alla nostra esperienza, riteniamo che nei lavori di fisica sperimentale l'approccio frequentista sia seguito nel 99% dei casi, e questa B una valutazione ... soggettiva! Nell'approccio frequentista si ritiene che la (1.3) permetta una valutazione "oggettiva" della probabilita per quei fenomeni naturali che si possono campionare facilmente o riprodurre numerose volte in laboratorio. In molti casi l'esperienza mostra che la probabilita frequentista tende a coincidere con quella classica:
1.4 Probabiliti assiomatica
13
(dall'esperienza!) Quando si verifica questa condizione, che B detta legge dei grandi n u m e r i od anche legge empirica del caso, si dice che i casi sono equiprobabili. Spesso, se su basi intuitive si ritiene fondata l'ipotesi dei casi equiprobabili, si utilizza la probabilita classica per costruire utili modelli matematici di riferimento. Prendiamo, ad esempio, il lancio di un dado: se si it sicuri che esso non it truccato, i! intuitivo assumere che la probabilita di ottenere in un lancio una certa faccia (poniamo la numero 3) sia pari a 116. L'esperienza mostra che, eseguendo numerosi lanci, la probabilita frequentista (detta anche limite della frequenza, eq.(1.3)) tende effettivamente a 116, in accord0 con la (1.4). Se il dado B invece truccato, la probabilita di ottenere la faccia con il numero 3 pub essere valutata solo eseguendo numerose prove. Poich6 il limite per il numero di prove tendente a infinito non i! praticamente raggiungibile, ci si ferma solitamente ad un numero di prove elevato ma finito e si stima la probabilita Vera col metodo dell'intervallo di confidenza (vedi cap. 6). La definizione frequentista (1.3) sembrerebbe dunque la pih generale ed affidabile; tuttavia, essa non B esente da problemi: dato che non si pub ripetere un esperimento infinite volte, la probabilita (1.3) non sara mai osservabile; il limite che compare nella (1.3) non ha un senso matematico preciso. La decisione su quale sia l'approccio migliore da usare (bayesiano o frequentista) in base a1 tip0 di problema che si intende affrontare (incertezza in senso lato o variabilita dei risultati di un esperimento) B una questione tuttora apert a ed it fonte di continue controversie; ci sembra pertanto opportuno fermare qui la discussione sui fondamenti. Questo testo, che i! dedicato a studenti e ricercatori in ambito tecnico-scientifico, B basato sull'approccio frequentista. Non mancheremo tuttavia di accennare in alcuni casi anche a1 punto di vista bayesiano, rimandando il lettore ai testi pic specifici, come [65].
1.4 Probabiliti assiomatica Per formalizzare in mod0 matematicamente corretto la probabilita b necessario ricorrere alla interpretazione insiemistica dei concetti fondamentali fin qui introdotti. Se S it lo spazio campionario di una variabile aleatoria, consideriamo la famiglia F di sottoinsiemi di S con le proprietk date dalla Definizione 1.5 (a-algebra). Ogni famiglia le proprietd: a) l'insieme vuoto appartiene ad
F:0 E F;
F di sottoinsiemi di S avente
14
Capitolo 1. La probabilitl
b) se u n a infinitd numerabile d i i n s i e m i A1, A2, . . . E 3, allora
c) se A E
F,lo
stesso vale per l'insieme complementare:
71 E F;
si chiama c-algebra.
Utilizzando le note propriet& degli insiemi:
AUB
= AnB,
AnB
=
A-B,
& facile dimostrare che anche l'intersezione di un insieme numerabile di insiemi
appartenenti ad F e la differenza A - B di due insiemi di F appartengono a lor0 volta ad F:
i=n
A-B
E
F.
La corrispondenza tra concetti insiemistici e probabilistici introdotta dal formalism~& riassunta in Tab. 1.1. Se, per fissare le idee, consideriamo un Tabella 1.1. Corrispondenza tra concetti insiemistici e probabilistici notazione
AUB AnB A-B
simificato insiemistico
sianificato ~robabilistico
insieme totale elemento di S sottoinsieme di S insieme vuoto insieme degli elementi di S che non appartengono ad A elementi di A o di B elementi comuni ad A e B elementi di A non appartenenti a B gli elementi di A sono anche elementi di B
spazio dei casi: evento certo risultato di una prova se a E A si realizza l'evento A nessun evento realizzato evento A non realizzato si realizzano gli eventi A o B si realizzano gli eventi A e B si realizza l'evento A m a non l'evento B se si realizza A si realizza anche B
mazzo di carte da gioco e definiamo come evento A l'estrazione di un asso e come evento B l'estrazione di un seme quadri (Fig. 1.5)' otteniamo la corrispondenza seguente tra insiemi (eventi) ed elementi di S : -
S: l'insieme delle 52 carte;
1.4 Probabiliti assiomatica
15
Fig. 1.5. Esempio di rappresentazione insiemistica della variabile casuale "cart a da gioco" e degli eventi "estrazione di un asso" ed "estrazione di un seme di quadri" -
a: una delle 52 carte del mazzo;
- A U B: seme di quadri o asso di cuori, fiori, picche; - A n B: asso di quadri; - A - B: asso di cuori, fiori o picche; - A: - B:
tutte le carte tranne gli assi; un seme non di quadri.
Sia ora P(A) una applicazione o funzione che fa corrispondere ad un gener i c ~insieme A appartenente ad una a-algebra F un numero reale compreso nell'intervallo [O, 11. In simboli,
Nella formulazione di Kolmogorov, la probabilit& segue la
Definizione 1.6 (Probabilith d i Kolmogorov o assiomatica). U n a funzione P ( A ) che soddisfa alla (1.7) ed alle proprietd:
per ogni famiglia jinita o numerabile Al, A 2 , .. . di insiemi di F,tra loro mutuamente disgiunti:
viene detta probabilitci. Definizione 1.7 (Spazio di probabilith). La terna
formata dallo spazio campionario, da u n a a-algebra spazio di probabilitd.
F e da P viene detta
16
Capitolo 1. La probabilitb
La probabilita definita con gli assiomi di Kolmogorov gode delle seguenti importanti proprietA:
La (1.12) B valida perch4 l'insieme complementare 21 8 definito in mod0 tale che U A = S , quindi P ( z ) P(A) = P ( S ) = 1 dalle (1.9, 1.10), dato che A e 2 sono insiemi disgiunti. Inoltre,
+
dalla (1.9) , P(SU0) = P(S) = 1 P(SU0) = P ( S ) + P ( 0 ) = 1 dalla(1.10),
(1.15) (1.16)
da cui la (1.13): P(0) = 1- P ( S ) = 1- 1 = 0. Infine, occorre tenere presente che se A C B si pub scrivere B = ( B - A) U A, dove B - A B l'insieme costituito dagli elementi di B che non appartengono ad A; allora
e poichk P ( B - A) 2 0, anche la proprieta (1.14) B dimostrata. E di notevole importanza il Teorema 1.1 (di addithit;). La probabilitd dell'evento dato dal verificarsi
degli eventi elementari A oppure B, nel caso generale in cui A n B # 0, t: data da:
Dimostrazione. S o n o di facile dimostrazione le proprietd (provate a disegnare gli insiemi.. .): AuB=AU[B-(AnB)],
poiche' AU B e B sono ora espressi in t e r m i n i di i n s i e m i disgiunti, 2! possibile applicare la (1.10) ottenendo: P ( A u B) = P(A) + P [ B - (A n B)] P ( B ) = P[B - (A n B)]
,
+ P ( A n B) .
Sottraendo m e m b r o a membro, si ottiene: P ( A U B ) = P(A)
+ P ( B ) - P ( A n B) .
1.4 Probabiliti assiomatica
17
Sia la probabilita classica sia quella frequentista soddisfano agli assiomi (1.81.10). Infatti, per la probabilita classica, si ha:
>
P(A) = (nA/N) 0 P(S) = N / N = 1 ,
sempre, perch6 n, N
>0 ,
In mod0 del tutto analog0 si pub dimostrare la validith degli assiomi anche nel caso della probabilith frequentista, poich6 il limite che vi compare va considerato come un operatore lineare. Le probabilith classica e frequentista definite nel paragrafo precedente soddisfano quindi a tutte le proprieth (1.8-1.17). Ad esempio, la probabilita a priori di estrarre un asso oppure una carta rossa da un mazzo di carte, in base alla (1.17), i: data da:
A = asso di cuori, asso di quadri, asso di fiori, asso di picche, B = 13 carte di quadri, 13 carte di cuori, P ( A n B ) = asso di cuori, asso di quadri , P(A u B) = P(A) + P(B) - P(A n B) = 4/52 + 112 - 2/52 = 7/13 . La probabilitL associata all'insieme A n B riveste, come vedremo, un ruolo particolarmente importante nell'algebra delle probabilita. Essa prende il nome di probabilith composta: Definizione 1.8 (Probabilith composta). Sz dice probabilith composta e si indica con P ( A n B) oppure con P ( A B )
la probabilitci che si verijichino contemporaneamente gli eventi A e B. Introduciamo ora un nuovo tip0 di probabilita. Supponiamo di essere interessati alla probabilith che, estratto un seme di quadri, la carta sia un asso, oppure che, estratto un asso, esso sia di quadri. Indichiamo con A l'insieme degli assi, con B quello delle carte di quadri e con P(A1B) la probabilita che si verifichi A dopo che si i! verificato B, ovvero che, una volta estratto un seme di quadri, la carta sia un asso. Si ha ovviamente: P(AJB) =
casi favorevoli all'asso di quadri casi favorevoli a1 seme di quadri
Analogamente, la probabilith di ottenere un seme di quadri se si i: estratto un asso i3 data da: P ( B J A )=
casi favorevoli all'asso di quadri casi favorevoli ad un asso
Nell'esempio appena visto la probabilita condizionata P(A1B) di ottenere un asso una volta estratto un seme di quadri i: uguale alla probabilita non condizionata P(A) di ottenere un asso; infatti:
Si dice in questo caso che gli eventi A e B sono indipendenti. Tuttavia, se A rappresenta l'insieme [asso di quadri, asso di picche] e B i: sempre l'insieme dei semi di quadri, abbiamo questa volta:
In questo caso gli eventi A e B sono dipendenti, perch&,se si estrae un seme di quadri, la previsione su A viene modificata. Si noti che perb la (1.18) vale anche in questo caso:
Questi esempi suggeriscono la
Definizione 1.9 (Probabilith condizionata). S i dejinisce probabilith condizionata e si indica con P(B1A) la probabilitci che si verijichi l'evento B essendosi verijicato l'evento A. Essa 6 espressa come:
E facile mostrare (ve lo lasciamo come esercizio) che la definizione di probabilita condizionata (1.19) i: in accord0 con gli assiomi generali di Kolmogorov (1.8-1.10). E importante anche notare che la formula della probabilita condizionata i: stata introdotta come definixione. Tuttavia, per le probabilit& trattate nel testo, sussiste il seguente Teorema 1.2 (del prodotto). P e r le probabilitci classica e frequentista, la probabilitci che si verifichi l'evento costituito dalla realizzazione degli eventi elementari A e B b data da:
Dimostrazione. P e r la probabilitci classica, se N k il numero dei casi possibili e n A B quell0 dei casi favorevoli ad A e B , si ha:
19
1.4 Probabilita assiomatica
dato che, per definizione, nAB/nB z P ( A ( B ) . Questa proprieta continua ovviamente a valere scambiando A con B, da cui la (1.20). Per la probabilitci frequentista, si procede come segue: P(AnB) =
numero di volte che si sono ottenuti A e B nAB = lim numero di prove (+ ca) N+OO N '
P(A) =
numero di volte che si B ottenuto A n~ = lim - , N + N ~ numero di prove (+ w )
P(B) =
numero di volte che si B ottenuto B n~ = lim - , N-+a N numero di prove (+ w )
P(BIA) = P(A1B) =
n. di volte che si B ottenuto B insieme a d A ~ A B = l i m -, n.4-w n~ n. di prove che hanno realizzato A (t co) n. di volte che si i: ottenuto
A insieme a B
n. di prove che hanno realizzato B (+ c o )
~ A B
= lim -, na-too
nB
Abbiamo introdotto, negli esernpi trattati, la nozione di eventi indipendenti; in mod0 generale, possiamo introdurre la Definizione 1.10 (Eventi indipendenti). Due eventi A e B sono detti indipendenti se e solo se
Pi6 in generale, gli eventi di una famiglia ( A i , i = 1 , 2 . . . ,n ) sono indipendenti se e solo se /
\
per ogni sottoinsieme J di indici (tutti distinti) della famiglia. Dalla (1.19) segue che per eventi indipendenti P ( A \ B ) = P ( A ) e P ( B ( A ) = P ( B ). Ancora una definizione: Definizione 1.11 (Eventi incompatibili). Due eventi sono incompatibili o disgiunti se quando si realizza A non si realizza B e viceversa:
I n base alle (1.13) e (1.19) si ha allora:
20
Capitolo 1. La probabiliti
Ad esempio, se A ii l'asso di picche e B il seme di quadri, A e B sono eventi incompatibili. Con l'aiuto di queste definizioni l'essenza del calcolo delle probabilita pub essere sintetizzata nelle formule: 0
eventi incompatibili: P ( A oppure B )
0
= P(A U B) = P(A) + P(B) ;
(1.22)
eventi indipendenti:
Ancora un punto ovvio ma fondamentale: P(A1B) e P(B1A) non sono la stessa cosa. Infatti, la probabilith che si verifichi A dopo B it diversa d a quella che si verifichi B dopo A, come risulta subito evidente considerando eventi indipendenti con P ( A ) # P ( B ) , per i quali P ( A ( B ) = P(A) e P(B1A) = P ( B ) . Tra queste due probabilith condizionate esiste peri, una connessione molto importante, data dal teorema di Bayes, che illustreremo tra poco.
1.5 Prove ripetute Nei casi considerati finora abbiamo sempre considerato esperimenti consistenti in una sola prova. Tuttavia, spesso ci si deve occupare di esperimenti consistenti in prove ripetute: due carte estratte da un mazzo, il punteggio che si ottiene lanciando 5 dadi, e cosi via. Affrontiamo questo problema considerando due prove ripetute, essendo ovvia, come vedremo, la generalizzazione ad un numero finito qualunque di prove. Due prove ripetute possono essere viste come la realizzazione di due eventi relativi a due esperimenti (S1, Fl,PI) e (S2,F2, P2) che soddisfano alle condizioni delle definizioni 1.6, 1.7. E allora spontaneo definire un nuovo spazio campionario S = S1 x S2come prodotto cartesiano dei due spazi campionari di partenza, in cui l'evento i! costituito dalla coppia ordinata (xl, x2), dove xl E S1 e x2 E S2e il nuovo spazio S contiene n l n2 elementi, se n l ed n2 sono gli elementi di S1 ed S2 rispettivamente. Ad esempio, [asso di cuori, donna di fiori] it un elemento dell'insieme S dello spazio di probabilith relativo all'estrazione di due carte da un mazzo. Si noti che il prodotto cartesiano pub essere definito anche quando S1 ed S2sono lo stesso insieme. Avendo definito gli eventi in questo modo, dato che Al C S1 e A2 C S2, ii immediato rendersi conto che
Occorre adesso definire una probabilith P , definita in S1 x S2, che goda delle proprieth di Kolmogorov (1.8-1.10) e che possa essere associata in mod0 univoco agli esperimenti consistenti in prove ripetute. La (1.24) e la (1.23),
1.5 Prove ripetute
21
valida per eventi indipendenti, portano in mod0 naturale alla definizione di probabilith prodotto:
In base a questa definizione, le probabilith degli eventi Al E S1 e A2 E possono essere calcolate anche nello spazio S tramite le uguaglianze:
S2
che risultano ovvie nel caso delle probabilita classica e frequentista. Ad esempio, nell'estrazione di due carte da gioco, le probabilith degli eventi Al =[estrazione di un asso la prima volta] e A1 x 5'2 =[asso, carta qualunque] sono uguali, come quelle degli eventi A2 =[estrazione di un seme di quadri la seconda volta] e S1 x A2 =[carta qualunque, seme di quadri]. Come abbiamo detto, la relazione (1.25) viene ritenuta valida solo per eventi indipendenti, per i quali, in base alla (1.23), il verificarsi di un evento qualsiasi tra quelli considerati non altera la probabilith degli altri. Per fissare meglio le idee con un esempio, supponiamo di estrarre due carte da un mazzo (con reimmissione nel mazzo della prima carta dopo la prima prova) e sia Al l'insieme degli assi e A2 l'insieme dei semi di quadri. La (1.26) diventa:
mentre la (1.25) fornisce:
in accord0 con il rapport0 tra il numero dei casi favorevoli (4.13) e di quelli possibili (52 . 52) nello spazio S1 x S2. La famiglia di insiemi Fl x F2 = {Al x A2 : Al E Fl,A2 E F2} non k in generale una a-algebra, ma si pub F2di sottoinsiemi di S1 x S 2 che mostrare che esiste un'unica a-algebra Fl18 contiene Fl x F 2 e che la (1.25) permet'te di estendere in mod0 univoco la probabilith di ogni evento A c S1 x S 2 dalla famiglia di insiemi Fl x F 2 alla [43]. Si pub quindi scrivere lo spazio di probabilith a-algebra prodotto Fl @F2 prodotto come:
Un'estensione della (1.25) che useremo spesso viene utilizzata quando lo spazio S2 non pub essere assegnato a priori, ma dipende dai risultati dell'esperimento precedente El. Tipico it il caso del gioco del lotto, in cui vengono
estratti 5 numeri, senza la reimmissione nell'urna del numero estratto. Nel caso di due prove, possiamo pensare alla estrazione di due carte da gioco: se si reinserisce la prima carta estratta nel mazzo, S2i! costituito da 52 elementi, altrimenti da 51. In questi casi i! necessario definire lo spazio S = Sl x S2 non come prodotto cartesiano, ma come l'insieme di tutte le coppie ordinate possibili dei due insiemi, cosi come risultano dal particolare esperimento. Possiamo dire in questo caso che l'evento A2 dipende dall'evento Al e generalizzare la (1.25) come: (1.27) P ( A x B ) = P2(BIA) PI( A ) , ottenendo cosi un'estensione del teorema 1.2 del prodotto (vedere eq. 1.20). E irnmediato infatti dimostrare che le probabilitb a priori e frequentista soddisfano la (1.27). La dimostrazione per la probabilita frequentista B identica a quella del teorema 1.2, quella per la probabilith classica richiede di ridefinire N come l'insieme delle coppie possibili, nAg come l'insieme delle coppie favorevoli all'evento e n A come l'insieme delle coppie in cui, nella prima estrazione, si i: verificato l'evento A. E importante a questo punto, per evitare confusione, distinguere t r a esperimenti indipendenti ed eventi indipendenti. L'ipotesi di esperimenti indipendenti, che utilizzeremo in tutto il testo, B del tutto generale ed implica che le operazioni o prove che portano alla realizzazione di u n evento qualsiasi son o invarianti rispetto alle operazioni che portano alla realizzazione degli altri eventi rimanenti. Essa si riferisce alla procedura sperimentale che si segue, n o n a1 numero di elementi dello spazio campionario s u cui si agisce. A1 contrario, nello schema a prove ripetute saranno considerati dipendenti gli eventi per i quali la dimensione dello spazio i-esimo Sidipende dalle (i - 1) prove gi8 effettuate. Questo 6 l'unico tzpo di dipendenza che si assume, considerando prove ripetute, quando si scrive la probabilith condizionata P(A1B). Prendiamo confidenza con questi concetti con un semplice esempio. Sia (B1 x Nz) l'evento consistente nell'estrarre nell'ordine, da un'urna contenente 2 palline bianche e 3 nere, una pallina bianca e una nera (senza reinserire nell'urna la pallina dopo la prima estrazione); si ha in questo caso (con ovvio significato dei simboli) :
S1
=
S2 =
s1xs2 =
[Bl,B2, N1, N2, N3] , [ insieme formato da 4 palline, 2 bianche e 2 nere oppure 1 bianca e ' 3 nere ] ,
B l N 1 , B2N1, N l B 2 , B l N 2 , B2N2, N l N 2 ,
N2B2, N2N1,
N3B2 = 5 x 4 = 20 elementi. N3N1
Si noti che il mancato reinserimento della pallina dopo la prima estrazione esclude coppie del tip0 BlB1, NlN1, ecc. Definiamo inoltre:
1.5 Prove ripetute
23
B1 x S2= [pallina bianca, pallina qualunque] , S1 x N2 = [pallina qualunque, pallina nera] , BlN1, B2N1 B1 x Nz = [pallina bianca, pallina nera] = B l N 3 , B2N3 Se i casi sono equiprobabili, la probabilit& classica fornisce: P(B1 x N2) =
sei casi favorevoli 6 3 - --venti coppie possibili 20 10 '
Fin qui abbiamo usato la definizione di probabilitA classica in mod0 del tutto generale. Ora notiamo che le probabilita (1.26) degli eventi B1 e N2 sono date da: Pi (Bi) = 215 , P 2 (N2IB1) = 314 , perch4 nell'urna si hanno inizialmente B1, B2, Nl, N2, N3 (due palline bianche su un totale di 5) e, nella seconda estrazione, si hanno nell'urna 3 palline nere e una bianca se la prima pallina estratta era bianca, per un totale di 3 palline nere su 4. Se ora applichiamo la (1.27) otteniamo:
in accordo con il calcolo diretto dei casi favorevoli su quelli possibili fatto in precedenza. Se non diamo importanza all'ordine di estrazione e definiamo come evento la estrazione di una pallina bianca ed una nera o viceversa, dobbiamo definire gli insiemi: B l x S2 Nl x S 2 S1 x Nz S1 x B2
[pallina bianca, pallina qualunque] , [pallina nera, pallina qualunque] , = [pallina qualunque, pallina nera] , = [pallina qualunque, pallina bianca] =
=
ed applicare la (1.27):
in accordo con il rapport0 tra numero di coppie favorevoli (12) e quelle possibili (20). La generalizzazione dello schema a prove ripetute per un numero finito di prove richiede la naturale estensione delle formule che qui abbiamo ricavato per due sole prove e non presenta difficolta.
24
Capitolo 1. La probabiliti
1.6 Calcolo combinatorio Supponendo che conosciate gia il calcolo combinatorio, ne riassumiamo qui brevemente le formule di base, che spesso sono di aiuto, nel calcolo delle probabilit8, per contare il numero dei casi possibili o di quelli favorevoli. Per contare bene, occorre tenere presente che il numero delle coppie possibili (abbinamenti) A x B tra due insiemi A di a elementi e B di b elementi i: dato dal prodotto ab e che il numero delle permutazioni possibili di n oggetti i: dato dal fattoriale n!. Basandosi su queste due proprieta & possibile dimostrare facilmente le quattro formule fondamentali del calcolo combinatorio, che si riferiscono alle disposizioni senza ripetizione D ( n , 5) di n oggetti in gruppi di k (n oggetti in classe k), a quelle con ripetizione D*(n, k) ed alle combinazioni senza e con ripetizione C(n, k) e C*(n,k). Nelle disposizioni h a importanza l'ordine dei k oggetti, ma non nelle combinazioni. Le formule, come forse gih sapete, sono:
dove si i: fatto uso del coefficiente binomiale. Per ricordare le formule, basta immaginare il gruppo di k oggetti come il prodotto cartesiano di k insiemi. In D(n, k) il primo insieme contiene n elementi, il secondo, non potendo ripetere il primo elemento, ne conterra n - 1 fino ad arrivare, dopo k volte, a (n - k 1). Se si pub ripetere l'elemento, i k insiemi conterranno ognuno n elementi, dando luogo alla (1.29). La numerazione in base n i! proprio un insieme D*(n, k): se ad esempio n = 10, k = 6, si hanno l o 6 numeri, da 000 000 a 999 999. La relazione (1.30) C(n, k) = D(n, k)/k! evita di contare pic volte i gruppi che contengono gli stessi oggetti, dato che in questo caso non ha importanza l'ordine. Per ottenere la (1.31) bisogna immaginare di scrivere, ad esempio, una combinazione C*(n,5) del tip0 a l , a2, a2, a2, a7 come a l , *, a2, *, *, *, a3, a4, as, a6, a7, *, dove ogni elemento & seguito da un numero di asterischi pari a1 numero di volte che esso compare nella combinazione; esiste pertanto una corrispondenza biunivoca tra le combinazioni in esame e tutte le permutazioni possibili nell'allineamento di lettere e asterischi. Poichh ogni allineamento comincia con a1 per costruzione, si possono permutare n - 1 k oggetti, di cui k (gli asterischi) ed n - 1 (gli elementi ai con i = 2, . . . ,n) uguali tra loro, da cui la (1.31). Una formula particolarmente utile i: la legge ipergeometrica, che permette di calcolare la probabilith che d a un'urna contenente a biglie di tip0 A e
+
+
1.7 Teorema di Bayes
25
b biglie di tip0 B si estraggano k biglie di tip0 A avendone estratte n 5 a b senza reintroduzione nell'urna. Assumendo che tutte le biglie abbiano la stessa probabilith di essere estratte e che le estrazioni siano indipendenti, adottando la definizione a priori (1.2) e utilizzando i coefficienti binomiali, abbiamo:
+
Infatti, il numero di casi possibili i! dato dal coefficiente binomiale a1 denominatore, mentre a1 numeratore abbiamo il numero di casi favorevoli, dato dal numero di elementi dell'insieme prodotto cartesiano di due insiemi di C(a, k ) e C(b, n - k ) elementi rispettivamente. Esercizio 1.1
Risposta. La soluzione, se il gioco non b truccato, b data dalla legge ipergeometrica (1.32) con a = k e b = 90 - k :
La probabilitci di u n ambo b di circa 1 su 400, quella del terno di circa I su 12000. U n gioco b onesto se la vincita k pari all'inverso della probabilitci della puntata; nel gioco del lotto l'erario paga l'ambo 250 volte ed il terno 4250 volte . . .
1.7 Teorema di Bayes In linea di principio, qualunque problema che coinvolge l'uso di probabilith a priori pub essere risolto con le due leggi fondamentali dell'additivith e del prodotto. Tuttavia, l'algebra della probabilith porta rapidamente a formule complicate, anche nel caso di situazioni relativamente semplici. In questi casi sono di grande aiuto due formule fondamentali, la formula delle probabilith totali e il teorema di Bayes, che andiamo ad illustrare.
26
Capitolo 1. La probabilith
Se gli insiemi Bi( i = 1 , 2 , ..n) sono mutuamente disgiunti ed esaustivi dello spazio totale S,
utilizzando la (1.20) & facile dimostrare che, per ogni insieme A contenuto in S:
La (1.34) & detta formula delle probabilitd totali o di partizione dell'evento certo. Quando B1 = B e B2= B,si ottiene la relazione:
Con queste formule 6 possibile risolvere problemi che capitano di frequente, come quelli mostrati nei due esempi che seguono.
Esercizio 1.2
donne. Sapendo che la popolazione t composta d a l 4 5 % di uomini e dal 55% di donne, trovare in numero N atteso di ammalati s u u n a popolazione di 10 000 persone. Risposta. Per prima cosa b necessario determinare la probabilitd di ammalarsi per u n generic0 individuo (uomo o donna) della popolazione. Essa b data dalla probabilita che l'individuo sia u n a donna, per la probabilitd che u n a donna ha di ammalarsi, pi6 la probabilitd che l'individuo sia un u o m o per la probabilitd che u n u o m o ha di ammalarsi. I1 tutto b condensato nelle formule (1.34, 1.35). S i ha pertanto:
I1 numero atteso di ammalati (speranza matematica) si calcola moltiplicando il numero di prove (individui) per la probabilitd classica P ( H ) appena trovata. Abbiamo allora: N = 10 000.0.0725 = 725 . Esercizio 1.3
zioni successive senza reinserimento delle palline estratte, qua1 b la probabilitd di estrarre u n a pallina bianca alla seconda estrazione?
1.7 Teorema di Bayes
27
Risposta. Indicando con A e B l'uscita di una pallina bianca alla prima e alla seconda estrazione rispettivamente, applicando la (1.35) si ottiene, con ovvio significato dei simboli:
Se ora esprimiamo la probabilitd P(A) che compare nella (1.20) tramite la (1.34), otteniamo il famoso
Teorema 1.3 (di Bayes). Se gli euenti Bk soddisfano alla (1.33), la probabilitci condizionata P ( B k l A ) si pub scrivere come:
Questo teorema, che i: forse il risultato pic importante dell'algebra elementare delle probabilith, viene spesso utilizzato per "riaggiustaxe", sulla base di una serie di dati reali Ak, delle probabilitd P ( B k ) assegnate a priori in base ad ipotesi pic o meno axbitrarie. La procedura d a usare i: mostrata negli esempi che seguono. Consigliamo agli studenti di fisica di risolvere anche il problema 1.8 alla fine del capitolo.
Esercizio 1.4
di malattia, m a risulta positiuo anche nel 5% dei casi se effettuato su persone sane. Sapendo che la malattia 8 presente mediamente nell'l% della popolazione, qua1 b la probabilitci di essere veramente malati se si risulta positivi a1 test? Risposta. Poiche' quello dei test diagnostici i: u n problema interessante, affrontiamo l'argomento in mod0 generale. Dai dati i n nostro possesso possiamo definire le seguenti probabilitci condizionate:
P ( P 1 S ) = 0.05 P ( N 1 S ) = 0.95 P ( P 1 M ) = 1. P ( N 1 M ) = 0.
probabilitci probabilitci probabilitci probabilitci
di di di di
risultare m'sultare risultare risultare
positivi negativi positivi negativi
essendo essendo essendo essendo
sani , sani, malati, malati.
Fate bene attenzione, nel definire le probabilitci condizionate, a n o n scambiare gli argomenti (ad esempio P ( M J S ) con P ( S J M ) ) , altrimenti applicando il teorema di Bayes combinerete solo pasticci. Le definizioni di probabilitci implicano ovviamente:
28
Capitolo 1. La probabilith
E anche ovvio che per un test ideale s i deve avere:
I1 problema richiede il calcolo della probabilitci P(M1P) di essere malati condizionata dalla positivitci del test. Applicando il teorema di B a y e s (1.36) e tenendo presente che dai dati risulta che le probabilitci n o n condizionate di essere sani o malati valgono rispettivamente P ( S ) = .99 e P ( M ) = 0.01, otteniamo:
pari ad u n a probabilitci di circa il 17%. I1 risultato ( u n a probabilitci cosi bassa con il test positivo) pud sembrare a prima vista paradossale. P e r aiutare la vostra intuizione, vi invitiamo ad esaminare la Fig. 1.6, che mostra un metodo grafico equivalente alla applicazione del teorema di Bayes. S e 100 persone vengono sottoposte a1 test, m e d i a m e n t e 99 saranno sane ed u n a sola malata; il test, applicato ai 99 sani, fallirci nel 5% dei casi e segnalerci 0.05 x 99 = 4.95 -. 5 casi positivi; a questi v a aggiunt o il caso di malattia correttamente diagnosticato. I n definitiva, avremo u n a sola persona eflettivamente malata s u un totale di 6 t e s t positivi:
dove la piccola diflerenza con il calcolo esatto B dovuta solo agli arrotondamenti. Spesso i medici in questi casi fanno ripetere il test. S e il risultato B negativo, allora la persona 4 sana, perch6 il t e s t considerato in questo esercizio n o n pui, m a i sbagliare s u persone malate. S e il t e s t risulta ancora positivo, allora occorre calcolare, in base alla (1.23), la probabilitci di un test doppiamente positivo s u un sano:
che vale il 2.5 per mille, e quella P(PPIM) = 1 di un test doppiamente positivo su un malato (che ovviamente vale sempre 1) ed applicare ancora il teorema di Bayes:
1.7 Teorerna di Bayes
SANI
NEGATIVI
94
29
MALATI
\
a
NEGATIVI
o
9
POSITIVI 1
POS~~IVI
5
Fig. 1.6. Illustrazione grafica del teorema di Bayes nel caso di un test inefficiente a1 5% sui sani per una malattia di frequenza pari all'l%
C o m e vedete, n e m m e n o due test posztivz bastano in questo caso per essere ragionevolmente certi della malattia. Potete calcolare da voi che questa certezza, nel caso considerato, la si ha solo dopo ben tre test consecutzvz (circa z1 99%). L'esempio rnostra quanto si debba essere cauti con i test che possono risultare positivi anche su persone sane. I1 caso opposto sz h a con i test che sono sempre negativi sui sani m a n o n sempre sono positivi sui malati. I n questo caso zl test positivo dd la certezza della malattia, mentre il test negativo crea incertezza. V i sono anche i casi in cui z test hanno u n a eficienza limztata sia sui sani sia sui malati. In tutti questz casi il teorema di Bayes permette di calcolare con esattezza le probabzlztd dz interesse. Provate ad inventarvz dei casi (oppure a chiedere a un medico qualche esempio concreto) e a risolvere da solz il problema.
- -----=-
*---
"
-
~
-
~
?
-
~
-
%
,
~
**
W
?
W
-*-
q
Esercizio 1.5 U n insieme di H z , H3, che, i n base ai dati epidemiologici, hanno u n a frequenza relativa rispettivamente del l o % , 5'0% e 60%. L e probabilith relative sono pertanto:
Sempre i n base ai dati epidemiologici, risulta che l'occorrenza dei sintomi nelle tre malattie segue la tabella:
30
Capitolo 1. La probabiliti
dalla quale risulta, ad esempio, che il sintomo A2 si presenta ne11780% dei casi nella malattia H I , il sintomo A4 si presenta nel 70% dei casi nella m a lattia H 3 e cosi via. U n paziente presenta solo i sintomi A1 e A2. Quale tra le tre malattie considerate b la pi& probabile? Risposta. P e r applicare il teorema di Bayes occorre innanzitutto definire il paziente come un evento A tale che
e calcolare le probabilitci di questo evento, condizionate dalle tre malattie (ipotesi) H I , H Z ,H3 come:
I n base ai dati della tabella, facendo corrispondere ai sintomi assenti le probabilitci complementari, otteniamo:
La malattia pi& probabile sembra la H I , m a n o n abbiamo ancora tenuto conto delle frequenze epidemiologiche (1.37); qui sta il punto cruciale per la comprensione del teorema di Bayes! Applichiamo pertanto la (1.36) e otteniamo finalmente le probabilitci per ognuna delle tre malattie (notate che la s o m m a dci 1, grazie a1 denominatore della formula di Bayes, che ha proprio la funzione di fattore di normalizzazione):
Risulta pertanto u n a diagnosi che propende per la malattia H3, che ha u n a probabilitci di circa il 75%.
1.8 L'approccio bayesiano
31
AMMALATI
MALATTIA 1
ALTRI SINTOMI
MALATTIA 2 30 000
SINTOMI
SINTOMI SINTOMO
MALATTIA 3 60 000
SWTOMO
SINTOMO
Fig. 1.7. Illustrazione grafica del teorema di Bayes nel caso di 3 malattie con dei sintomi comuni
I codici di calcolo per la diagnosi automatica fanno in genere largo uso del teorema di Bayes. La soluzione del problema pu6 anche essere trovata per via grafica come mostrato in Fig. 1.7: poiche' v i sono probabilitci piccole, i n figura si considerano 100 000 ammalati, che vengono ripartiti secondo le tre malattie in base alle frequenze epidemiologiche 0.1, 0.3, 0.6; applicando a questi tre gruppi di ammalati le probabilztci del17insieme dz sintomi A (0.288, 0.00035, 0,1458), si ottengono i numeri finali 2880, 10, 8748. S i arriva anche i n questo m o do, a m e n o degli arrotondamenti, a1 risultato fornito dalla formula di Bayes.
1.8 L'approccio bayesiano I due esercizi del paragrafo precedente non si sarebbero potuti risolvere senza l'informazione a priori sulla percentuale sanilammalati e sulle frequenze epidemiologiche delle tre malattie H I , H2,H3 L'approccio bayesiano estende l'utilizzo della formula di Bayes anche ai casi in cui le probabilita iniziali non sono note con ragionevole certezza. In questi casi si utilizza la (1.36) per modificare, sulla base dei dati ottenuti, le probabiliti iniziali di ipotesi P(Hi) valutate in mod0 soggettivo in accordo con l'aflermazione 1.2. Indicando con l'evento generic0 "dati" il risultato di una o pih prove (esperimento), nell'approccio bayesiano si applica la (1.36) come segue:
32
Capitolo 1. La probabiliti
Le probabiliti P(Hkldati) cosi ricavate vengono poi sostituite alle P ( H k ) nel termine a destra della (1.38) ed il calcolo pub essere ripetuto in mod0 iterativo:
dove En indica l'evento n-esimo. Nell'esempio che segue, le probabilitb P(EnIHk) restano costanti. Esercizio 1.6
mendo uguale probabilitci P ( H i ) = 116 per le 6 ipotesi di partenza possibili, scritte con ovvia notazione come:
calcolare le 6 probabilitci P(Hildati) nel caso si siano estratte, con reimmissione nell'urna, n = 1,5,10 biglie nere consecutive. Risposta. L'esercizio si risolue facilmente definendo l'evento "dati7'= E = En come l'estrazione di una biglia nera, utilizzando, per le probabilitci a priori P(EIHk) = P(EnIHk), i valori:
ed applicando i n mod0 iterativo la (1.39). S i ottiene la Tab. 1.2, da cui si vede che, aumentando il numero di palline nere estratte consecutivamennte,
E cruciale notare che questo problema non k stato risolto in puro ambito frequentista, perch6 si k fatto ricorso alle probabiliti a priori (soggettive e arbitrarie) P ( H i ) = 116 (i = 1,2,. . . ,6) per le ipotesi iniziali. Questa maggiore flessibiliti si paga perb con un certo margine di ambiguitb, perch6 con ipotesi iniziali diverse, si sarebbero ottenuti risultati diversi, come nei problemi 1.12 e 1.13. Per fare esperimenti numerici col problema dell'urna, potete anche copiare dal nostro sito [64] la routine Bayes . I1 dilemma "maggiore flessibiliti di applicazione ma ambiguitb dei risultati" 6 spesso a1 centro di accesi dibattiti, come in [48]. L'esempio appena visto k quindi fondamentale per comprendere la differenza tra l'approccio frequentista e quello bayesiano:
1.9 Problemi
33
Tabella 1.2. Calcolo delle probabilita a posteriori P,(Hln*) a partire da probabilita a priori tutte uguali nel caso di estrazioni consecutive di n biglie nere d a un'urna contenente un insieme di 5 biglie bianche e nere
(
tip0 di urna
ooooo
0000.
000.0
000.0
0.0..
e .
P(Hi) a priori Pn(HiIn=l.) P,(Hiln = 5 0) Pn(Hiln = 10 0)
116 0 0. 0.
116 0.07 0.00 0.00
116 0.13 0.01 0.00
116 0.20 0.05 0.00
116 0.27 0.23 0.11
116 0.33 0.71 0.89
approccio frequentista (adottato in questo testo): non si assumono probabilith arbitrarie di tip0 soggettivo per le ipotesi. Non si possono quindi mai determinare probabilita di ipotesi del tip0 P(H1dati) P(ipotesi1dati). Per una soluzione frequentista dell'esercizio appena visto potete andare a vedere pii3 avanti, a pag. 189, l'esercizio 6.4. approccio bayesiano: si determinano probabilita del tip0 P(ipotesi1dati) che dipendono, tramite la (1.38)' sia dai dati ottenuti durante le prove sia dalle probabilita di ipotesi iniziali assunte in mod0 arbitrario.
=
1.9 Problemi 1.1. I1 gioco di Monty Hall prende il nome dal conduttore di un gioco televisivo che nel 1990 fece discutese di probabilita milioni di americani. I1 concorrente viene messo davanti a tre porte, dietro una delle quali c'i: un'auto nuova. I1 concorrente sceglie una porta, che rimane chiusa. Monty apre una delle due porte non scelte, dietro alla quale non c'i: l'auto (operazione sempre possibile). A questo punto a1 concorrente viene chiesto se intende mantenere la prima porta scelta oppure cambiare scegliendo l'altra porta rimasta chiusa. Conviene cambiare, non cambiare o la scelta i: indifferente? 1.2. Nel gioco del bridge un mazzo di 52 carte viene suddiviso in 4 gruppi di 13 carte e distribuito a 4 giocatori. Calcolare la probabilith che 4 giocatori che fanno 100 partite a1 giorno per 15 miliardi di anni (l'eta dell'universo) possano giocare la stessa partita. 1.3. Una macchina B composta da tre elementi, che si possono guastare indipendentemente l'uno dall'altro. Le probabilit& di funzionamento dei tre elementi durante un tempo fissato T sono: pl = 0.8, pz = 0.9, ps = 0.7. La macchina si ferma per un guasto a1 primo elemento oppure per un guasto a1 second0 e a1 terzo elemento. Calcolare la probabilit& P che la macchina funzioni entro T.
1.4. Una macchina ii composta d a quattro elementi aventi tutti la stessa probabilita p = 0.8 di funzionamento entro un tempo T. La macchina si ferma per un guasto contemporaneo agli elementi 1 e 2 oppure per un guasto contemporaneo agli elementi 3 e 4. a) Disegnate lo schema di flusso di funzionamento della macchina e b) calcolatene la probabilita P di funzionamento entro T.
34
Capitolo 1. La probabilita
1.5. Calcolare la probabilith di ottenere almeno un 6 lanciando 3 dadi. 1.6. Un lotto contenente 10 pezzi viene sottoposto ad un controllo di qualith che accetta l'intero lotto se tre pezzi scelti a caso sono tutti buoni. Calcolare la probabilith P che il lotto venga scartato nel caso vi siano a) un pezzo difettoso oppure b) quattro pezzi difettosi. 1.7. I1 famoso problema dell'incontro: due amici X e Y decidono di incontrarsi in un certo luogo tra le 12 e le 13, scegliendo casualmente il tempo di arrivo. X arriva, aspetta dieci minuti, poi se ne va. Y fa come X , ma aspetta 12 minuti. Qual i: la probabilitb P che X e Y si incontrino? 1.8. I1 problema del trigger, comune in fisica: un sistema fisico emette in mod0 aleatorio gli eventi A e B con probabilitb del 90% e del 10% rispettivamente. Un apparato, che intende selezionare gli eventi "buoni" B, d b in consenso alla registrazione (innesco o trigger) il 5% delle volte per gli eventi A, nel 95% dei casi per gli eventi B. Calcolare la percentuale di eventi accettata dal trigger P ( T ) e la percentuale P(B1T) di eventi di tip0 B tra quelli accettati. 1.9. Valutare la probabilita P{X 5 Y) che in una prova, in cui si estraggono a caso in mod0 uniforme due coordinate 0 5 X , Y 5 1, si ottengano i valori x y.
<
1.10. Tre ditte elettroniche A, B e C forniscono di componenti identici un laboratorio. Le percentuali di fornitura sono il 20% per A, il 30% per B e il 50% per C. La percentuale di componenti difettosi dei tre fornitori 6 il 10% per A, il 15% per B ed il 20% per C. Qual i! la probabilith che un componente scelto a caso risulti difettoso? 1.11. Un certo tip0 di pilastro ha il carico di rottura R compreso uniformemente tra 150 e 170 kN. Sapendo che esso i: sottoposto ad un carico aleatorio C distribuito uniformemente tra 140 e 155 kN, calcolare la probabilith di rottura del pilastro. 1.12. Risolvere l'esercizio 1.6 per n = 5 biglie nere estratte, con le seguenti probabilitk iniziali (di tip0 binomiale): P(H1) = 0.034, P ( H 2 ) = 0.156, P(H3) = 0.310, P(H4) = 0.310, P(H5) = 0.156, P(H6) = 0.034 1.13. Assumendo che un amico sia bar0 od onesto con il 50% di probabilith, trovare la probabilith a posteriori che l'amico sia un bar0 dopo che egli it risultato vincitore a testa o croce per n = 5,10,15 volte consecutive.
2. Rappresentazione dei fenomeni aleatori
"La scienza 6 il corollario della convinzione che 17universosia algoritmicamente comprimibile, e l'attuale ricerca di una teoria di ogni cosa t. l'espressione ultima di questa convinzione che esista una rappresentazione abbreviata della logica sottostante alle proprietA dell'universo, e che gli esseri umani possano scrivere per esteso, in forma finita, questa rappresentazione. " John D. Barrow, "TEORIE DEL TUTTO".
2.1 lntroduzione Inizieremo questo capitol0 definendo meglio il formalismo, la notazione e la terminologia che ci accompagneranno per tutto il resto del testo. Questo it un passo molto importante, senza il quale si espone il lettore a1 rischio di fraintendere il significato di gran parte delle formule di base della probabilit2i e della statistica. Proseguiremo illustrando la rappresentazione degli eventi in istogrammi, che it quella piii conveniente per un adeguato sviluppo della teoria, sia probabilistica che statistica, e quella piii vicina alle applicazioni. La scelta della rappresentazione in istogrammi ci portera a definire subito il primo tip0 di distribuzione importante, quella binomiale, mentre le altre distribuzioni saranno studiate successivamente nel cap. 3. Nel nostro sito h t t p : //www .s p r i n g e r . i t / l i b r i l i b r o . asp?id=242 si trova una breve guida all'uso del software libero SCILAB [73], nato in ambiente scientifico, che fornisce parecchie routine di utilit& in campo statistic0 e matematico e che consente all'utente, con un linguaggio semplice ed intutivo, di scrivere ed eseguire con estrema facilita le proprie routine (tutte quelle utilizzate nel testo si trovano nel nostro sito web). Raccomandiamo quindi ai lettori di installare SCILAB sul proprio calcolatore, di copiare le nostre routine e di cercare, d'ora in poi, di affiancare a110 studio del testo gli esercizi con SCILAB che verranno via via suggeriti. Questo consentira di sfruttare da subito le eccezionali possibilita che il calcolatore offre nella verifica e nella applicazione delle leggi fondamentali della probabilita, della statistica e della simulazione.
36
Capitolo 2. Rappresentazione dei fenomeni aleatori
2.2 Variabili aleatorie Avendo presente le definizioni 1.5, 1.6 e 1.7 del capitol0 precedente, conSi sideriamo uno spazio di probabilita & = (S, F,P) e siano a € A risultati di una generica prova che realizza l'evento A della a-algebra .F. Ad ogni elemento a associamo un numero reale mediante una corrispondenza o funzione X : S + (-co,+co), ovvero X ( a ) = x . (2.1) Si dice variabile aleatoria o casuale una variabile che segue la
Definizione 2.1 (Variabile aleatoria o casuale). Una variabile aleatoria X ( a ) 6 u n a funzione avente come dominio lo spazio S , come codominio la retta reale e tale che l'znsieme degli elementi a per i quali vale la relazione
b u n evento per ogni x E
R.
Fate attenzione perch6 abbiamo compiuto un passo concettuale importante: la variabile aleatoria B definita come u n a corrispondenza o funzione che porta dallo spazio campionario a117assereale. Ovviamente, sarebbe pih appropriato parlare di funzione aleatoria invece che di variabile, ma questa infelice terminologia si B ormai definitivamente consolidata. Se a1 E A1 e a2 E Az sono elementi di due insiemi (eventi) di F ,in base alla (1.6) anche l'elemento a E (A2 - Al) apparterra ad un insieme (evento) del campo. Se ora X(a1) 5 X I e X(a2) 5 22, (A2 - Al) sara l'evento corrispondente a117insiemenumerico xi
< X(a) 5 $2
ovvero x l
< x 5 x2 .
(2.3)
Se la variabile aleatoria fa corrispondere agli eventi un insieme di numeri reali, dalla definizione 2.1 e dalla (1.5) discende che anche l'insieme
dove xo 6 un numero reale, it un evento. Prendiamo come esempio l'esperimento consistente nella estrazione di una biglia numerata nel gioco del lotto. Secondo il formalismo appena introdbtto la (2.2) diventa: ESTRAI E LEGGI (biglia)
5 numero intero .
I1 dominio di questa legge it l'insieme delle biglie, il codominio un sottoinsieme de117assereale e la variabile aleatoria i:definita come "estrazione a caso di una biglia e lettura del numero" . In generale, se i&, B un qualunque sottoinsieme dell'asse reale, rappresentabile come unione (somma), intersezione (prodotto) o differenza di intervalli, it facile convincersi che anche 17insiemenumerico
2.2 Variabili aleatorie
37
pub essere associato ad una a-algebra 3.In breve, diremo che
2? un evento. Riassumendo, nel testo useremo la notazione:
per indicare un insieme A E 3 di elementi [a]ottenuti dalle prove sperimentali (non un insieme di numeri reali!) per i quali la funzione X ( a ) soddisfa la condizione numerica espressa entro parentesi graffa. La probabilith
6 detta legge o distribuzione di X . Essa i: un applicazione & -+ P { X ( a ) E &) che ad ogni sottoinsieme & IK associa la probabilith che X prenda valori appartenenti ad &. La legge i: una funzione definita su un insieme. Essa pub essere messa in corrispondenza con combinazioni lineari di somme o integrali di funzioni, che sono piii facili da trattare. Queste sono le funzioni cumulative o di ripartizione e le funzioni di densith, che definiremo tra poco. Nel testo considereremo probabilitA per le quali vale la condizione
Si noti che questa proprieth non esclude che la variabile assuma valori infiniti; tuttavia si richiede che il valore della probabilith di questi eventi sia nullo. Queste considerazioni sono molto importanti e vanno tenute sempre presenti nella lettura del seguito. Su altri testi B possibile trovare, invece della (2.2), la notazione x, 4a)l o altre forme equivalenti. Noi useremo, per indicare le variabili aleatorie, le lettere maiuscole (in genere le ultime) e riserveremo le lettere minuscole per rappresentare i particolari valori numerici ottenuti in una prova; nei pochi casi in cui avremo conflitti di notazione useremo per le variabili aleatorie le lettere maiuscole in grassetto (X). Inoltre, per capire a cosa ci riferiamo dovrete fare attenzione alle parentesi: l'espressione {. . .) indicherh sempre un insieme definito nello spazio campionario, corrispondente all'insieme di valori reali indicato all'interno delle parentesi graffe. Le notazioni che utilizzeremo sono riportate in Tab. 2.1. E essenziale capire bene la differenza tra la notazione maiuscola e minuscola: 0
X indica la variabile aleatoria, che pub assumere un insieme finito o infinito di valori numerici possibili, prima di una o pih prove;
38
Capitolo 2. Rappresentazione dei fenomeni aleatori
Tabella 2.1. Confront0 tra la notazione usata nel testo ed altre notazioni correnti
significato risultato di una prova il risultato B un evento variabile aleatoria
Sea€A,XE& ProbabilitL P ( A ) codominio reale di X ( a ) operatore su una variabile aleatoria valore atteso varianza
0
notazioni del testo
altre notazioni
a aEA X(a) =x { X E &So) P { X E &)
a aEA x(a) =x {x~&Bo) P { x E &)
spettro
codominio, coinsieme
01x1
014, O ( X ) E b ) , E(X)
E[Xl, ( X ) V4XI
Var
[XI,
(x)
a2
x 6 un numero, cio&un particolare valore numeric0 assunto da X dopo una ben determinata prova. La n-upla di valori (xl ,xz, . . . ,xn) k l'insieme di valori assunti da X in un campionamento.
E importante notare che la variabile aleatoria deve essere definita su tutti gli elementi dello spazio campionario S. Sia dato ad esempio uno spazio (S, F,P) e sia A un evento con probabilita p, ovvero P(A) = p. E naturale allora definire la funzione X , detta funzione o variabile indicatrice tale che: X(a) = 1 s e a € A ,
X(a) = 0 s e a E A .
(2.8)
X i: una variabile casuale, perch4 0 0 0
se x < 0 a X 5 x corrisponde l'insieme vuoto 0; se 0 5 x < 1 a X x corrisponde l'insieme A; se z 1 a X x corrisponde lo spazio campionario A U A = S .
>
<
<
Poich6, per le proprieta della a-algebra F,se A B un evento lo sono anche gli insiemi 0, A ed S, la X soddisfa alla definizione 2.1 ed & pertanto una variabile aleatoria. Su uno stesso spazio di probabilith si possono definire pih variabili aleatorie. Ad esempio, se lo spazio campionario i: formato da un insieme di persone, la variabile aleatoria X(a) pub essere il peso della persona e la variabile Y(a) la statura. Avremo anche spesso a che fare con funzioni di una, due o pih variabili aleatorie, del tip0
I1 dominio di Z sono gli elementi dello spazio campionario S, poich6 per X(a) e Y Y(b) con a, b E S, per cui si ha anche Z = definizione X f (X(a), Y (b)). Dato che X(a) = x e Y (b) = y & possibile associare a Z anche una funzione "tradizionale" con dominio e codominio in campo reale:
=
=
2.2 Variabili aleatorie
39
Dalla discussione fatta finora dovrebbe esservi chiaro che la variabile aleatoria crea una corrispondenza tra unioni o intersezioni numerabili, diffe~enzee complementi di insiemi di S (campo F)ed intervalli del campo reale. E allora possibile dimostrare (ma 6 abbastanza intuitivo) che se, per ogni z reale, la z B soddisfatta da unioni, intersezioni numerabili disuguaglianza f(x,y) o differenze di intervalli reali delle variabili x e y, allora anche la variabile Z della (2.9) B una variabile aleatoria che obbedisce alla definizione 2.1 [2], [63]. Se le variabili di partenza X e Y sono variabili aleatorie definite sullo stesso spazio di probabilitA, questo avviene per tutte le funzioni f (X, Y, . . .) che tratteremo in seguito, cosi che supporremo sempre, d a ora in poi, che funzioni di variabile aleatoria siano anch'esse variabili aleatorie. E importante capire bene la differenza tra Z = f (X, Y) e z = f (z, y). Consideriamo ad esempio la somma
<
e i risultati di due prove
La variabile aleatoria Z indica un possibile insieme di risultati (21, z2, . . .) che sono gli esiti di Z in un esperimento consistente in una serie di prove in cui si fanno accadere X e Y e poi si sommano i risultati. Invece, zl rappresenta il valore di Z ottenuto nella prima prova, z2 quello ottenuto nella seconda ed analogamente per X e Y. L'indipendenza tra eventi comporta anche quella t r a variabili aleatorie: Definizione 2.2 (Variabili aleatorie indipendenti). S e le variabili aleatorie Xi, (i = 1,2,. . . ,n) sono definite sullo stesso spazio di probabilitd e gli eventi {XiE Ail,(i = 1 , 2 , . . . ,n ) sono indipendenti second0 la definizione 1.10 per ogni scelta possibile degli intervalli Ai E &, dalla (1.21) si ha:
S i dice in questo caso che le variabili Xi sono stocasticamente indipendenti. Nel seguito diremo semplicemente che le variabili sono indipendenti, avendo perb cura di distinguere, quando necessario, questa indipendenza da quella di tip0 matematico, come la dipendenza (o indipendenza) lineare, che implica l'esistenza (o meno) di equazioni lineari tra le variabili. Per finire, un'ultima definizione: Definizione 2.3 (Spettro). Chiameremo spettro il codominio reale della variabile aleatoria X ( a ) . S e il codominio b u n insieme numerabile, diremo che lo spettro b discreto, quando i valori possibili sono s u tutto R o su unioni di intervalli di IR, diremo che lo spettro i: continuo.
40
Capitolo 2. Rappresentazione dei fenomeni aleatori
Una variabile X a spettro discreto verra chiamata variabile aleatoria discreta, una variabile a spettro continuo varzabile aleatoria continua. Sappiamo bene che il termine spettro in matematica si usa in altri contesti, come nella teoria delle trasformate; tuttavia, i: abbastanza usuale, tra fisici e ingegneri, nella attivita di ricerca o di laboratorio, dire che "si studia o si rappresenta lo spettro", non "il codominio" della variabile casuale che si sta esaminando. Vi sono inoltre campi della fisica, come la spettroscopia atomica o nucleare, dove si studiano proprio le probabilita degli stati energetici, discreti o continui, che un sistema fisico pub assumere. Poichk nel seguito I'uso del termine spettro non causer& conflitti di sorta, abbiamo deciso di mantenere questa dizione. La legge o distribuzione (2.7) associa una probabilita a valori (o insiemi di valori) dello spettro.
2.3 Funzione cumulativa o di ripartizione La legge o distribuzione di una variabile aleatoria viene solitamente espressa in termini della funzione cumulativa o dz ripartizione, che dB la probabilitA che la variabile aleatoria assuma valori minori o uguali di un certo valore assegnato x. Definizione 2.4 (Funzione cumulativa o di ripartizione). Se X 2 una variabile aleatoria, continua o discreta, la funzione cumulativa o di ripartizione (2.11) F(x)=P{X 5 x )
rappresenta la probabilith che X assuma u n valore n o n superiore ad u n valore assegnato x. Le funzzoni cumulative verranno sempre indicate con lettere maiuscole. Si noti che x non deve necessariamente fare parte dello spettro di X ; ad esempio, nel caso del lancio di un dado, dove X = 1,2,3,4,5,6:
<
Se x1 < 2 2 , gli eventi { X X I ) e { x l < X I x 2 ) sono incompatibili e la probabilitA totale dell'evento { X 5 x z ) i: data dalla (1.10): P{X
522)
=P{X
5 2 1 ) + P{21 < x I x2) ,
da cui, in base alla (2.11): P { x ~< X 5 22) = F(x2) - F(x1) .
(2.12)
Ricordando che la probabilita & una quantith non negativa, abbiamo quindi F(x2) 2 F ( z 1 ) .
2.3 Funzione cumulativa o di ripartizione
41
Se x, e x,i, rappresentano rispettivamente il massimo e il minimo dei valori assunti da X, dalla (1.13) e dalla definizione (1.9) risulta: F(x)
= 0
per x
< xmin ,
(2.13)
00
F(x)
= C p ( x i ) = 1 per x
2 x,
.
(2.14)
i= 1
Risulta anche, per costruzione, che F ( x ) & continua a destra, cioit continua in ogni punto x se ci si avvicina da destra. Questo fatto dipende dalla posizione del segno di uguale che compare nella (2.12): lim [F(x2) - F(xl)] = P { X = 2 2 )
,
(2.15)
21-w2
lim [F(x2) - F(xl)] = 0
(continuit8 destra) .
(2.16)
m+21
Si pub dimostrare che ogni funzione cumulativa o di ripartizione soddisfa alle propriet8 lim F ( x ) = 1 , (2.17) lim F(x) = 0, s-++co
23-W
it non decrescente e continua a destra. Viceversa, se una funzione soddisfa queste propriet8, essa rappresenta la funzione cumulativa di una variabile aleatoria. Per dettagli matematici sulla dimostrazione potete consultare [2]. Notiamo anche che dalla (2.11) si calcola facilmente la probabilita di ottenere valori maggiori di un limite assegnato x:
La funzione cumulativa F(x) permette di definire una grandezza che useremo spesso nel seguito: Definizione 2.5 (Quantile). S i chiama quantile di ordine a il pid piccolo ualore x, che uerifica la disuguaglianza:
P{X
< x,)
= F(x,)
2a.
(2.19)
La disuguaglianza 2 nella (2.19) tiene conto del fatto che, per uariabili discrete, F(x,) pub n o n coincidere con a quando questo ualore uiene assegnato a priori. Nel caso di uariabili continue, F(x,) = a e il quantile i. il ualore x che ha come pedice la probabilitii di osservare valori in (-00, XI.
<
Ad esempio, se P{X x,) = F(x,) = 0.25, si pub dire che ~ 0 . 2 5& il quantile 0.25; se i valori a sono dati in percentuale, si dice anche che x & il 25-esimo percentile, oppure che x ha un valore tra il second0 e terzo decile, oppure tra il 20% e il30%.
42
Capitolo 2. Rappresentazione dei fenomeni aleatori
2.4 La rappresentazione dei dati La rappresentazione pih usata per trattare campioni di dati provenienti da un esperimento B detta istogramma. Nel caso di una variabile aleatoria discreta, I'istogramma si costruisce come segue: 0 0
sull'asse x si riporta lo spettro di X; sull'asse y si riporta il numero di volte che ogni valore dello spettro B comparso nel corso dell'esperimento.
Consideriamo un esperimento consistente in 100 prove, ogni prova essendo costituita dal lancio di 10 monete. Definiamo l'evento come il risultato di un lancio (fila ordinata di teste e croci) e sia X il numero di teste ottenuto; lo spettro di X i! dato dagli 11 numeri interi 0'1'2, ...,10. Ad ognuno di questi valori corrisponderh un numero, limitato tra 0 e 100, dato dal numero di volte che il valore (cioB quel numero di teste) si B presentato nelle 100 prove dell'esperimento. Se riportiamo in ascisse lo spettro dell'evento riportat0 nella prima colonna della Tab. 2.2 e in ordinate i risultati ottenuti in un esperimento reale, riportati nella seconda colonna della Tab. 2.2, otteniamo l'istogramma di Fig. 2.1. I1 numero di eventi ottenuti con valore dello spettro Tabella 2.2. Risultati di un esperimento reale costituito d a 100 prove, ognuna consistente nel lancio di 10 monete da 50 lire. La seconda colonna riporta il numero di prove in cui si B ottenuto il numero di teste riportato in prima colonna. La terza colonna riporta le frequenze empiriche ottenute semplicemente dividend0 per 100 i valori della seconda colonna, la quarta colonna riporta le frequenze cumulative spettro (n: teste) 0
n. di prove 0
fre quenza 0.00
frequenze cundative 0.00
xi, si indica con n(xi). Poichi! xi viene detto canale dell'istogramma (bin), si dice anche che n(xi)corrisponde a1 numero n di eventi caduti nel canale i-esimo dell'istogramma. Sussiste pure l'ovvia relazione
2.4 La rappresentazione dei dati
43
Fig. 2.1. Due modi di istogrammare il numero di prove in cui si sono ottenute x teste nel lancio di 10 monete: i valori x dello spettro, compresi tra 0 e 10, sono riportati in ascissa; il numero di successi n(x), per ogni valore dello spettro, i: riportato in ordinata, come un punto di coordinata xi a) oppure come una barra larga quanto la distanza tra due valori dello spettro b). I dati, riportati anche in Tab. 2.2, si riferiscono ad un esperimento reale costituito da 100 prove
dove C 1! il numero dei canali dello spettro discreto ed N il numero totale di eventi, ovvero delle prove effettuate nell'esperimento. Si dice anche che l'istogramma rappresenta un campione di N eventi. L'istogramma cosi costruito ha lo svantaggio di avere le ordinate divergenti con il numero delle prove, poich6 n(xi) + co per N + co. Si rimedia a questo inconveniente rappresentando il campione come un istogramma nomnalizzato dove a1 numero di eventi n(xi) si sostituisce la frequenza
Le frequenze relative all'esempio di Fig. 2.1 sono riportate nella terza colonna di Tab. 2.2. In questo modo, quando N -+ co, il contenuto dei canali resta finito e, in base alla (1.3), f (xi) tende alla probabilita p(xi) di cadere nel canale i-esimo dello spettro. L'equazione (2.20) diviene:
che i: detta condizione di normalizzazione. Le frequenze dell'istogramma possono venire rappresentate anche come frequenza cumulativa, indicata solitamente con lettera maiuscola: per il kesimo canale essa si ottiene, come in Fig. 2.2, sommando i contenuti del k-esimo canale e di tutti i canali a sinistra e dividend0 per il numero totale di eventi: k
44
Capitolo 2. Rappresentazione dei fenomeni aleatori
Fig. 2.2. Istogramma del-
le frequenze cumulative per i dati di Fig. 2.1
<
La frequenza cumulativa Fk = F(xk) d& la percentuale di valori x xk del campione sperimentale. Essa B il corrispondente "sperimentale" della funzione cumulativa (2.11). Vediamo ora come sia possibile estendere la rappresentazione in istogrammi anche a1 caso di variabili continue, che possono assumere valori su un qualsiasi intervallo [a,b] del campo R dei numeri reali. Siano x i valori dello spettro continuo in esame e siano compresi in [a, b]. Dividiamo questo intervallo in parti uguali [XI,x2), [xz, xs), . . . , [ x ~ - x,] ~ , di ampiezza Ax ed assegniamo ad ognuno di questi nuovi intervalli (canali o bin) un valore dato dal numero di eventi che hanno il valore dello spettro contenuto entro l'intervallo. Dividend0 per il numero di prove effettuate, otteniamo l'analogo della (2.21):
Per N + a,in base alla (1.3) $(Axk) p(Axk), che B la probabilit& di ottenere valori dello spettro compresi entro [xk-1, xk], cioi: nel k-esimo canale. La rappresentazione grafica di dati di variabili continue i: in genere quella dell'istogramma di Fig. 2.lb), per indicare che i valori sono distribuiti equamente entro tutto il canale; se si vuole utilizzare la rappresentazione dell'istogramma di Fig. 2.la), l'ascissa del punto i: il valore centrale del canale. Per ottenere istogrammi a1 computer esiste la routine originale SCILAB histplot (n,data) , che esegue l'istogramma in n canali di un insieme di dati grezzi data. In alternativa, potete usare la nostra routine che offre pih opzioni statistiche (elencate nel cornmento a1 codice). Se i dati sono gi&raggruppati in canali, va usata la routine Histfreqe (fre, xdata) , dove f r e 6 il vettore delle frequenze n(x)/N o del numero di prove n(x) e xdata B lo spettro della variabile. Se f r e e xdata hanno la stessa dimensione, xdata 6 interpretato come il valor medio del canale oppure come lo spettro di una variabile discreta; se xdata h a una posizione in piil di f r e , esso viene interpretato come il vettore degli estremi dei canali per una va-
2.5 Variabili aleatorie discrete
45
riabile continua. Ad esempio, per ottenere gli istogrammi di Fig. 2.1 e 2.2, basta scrivere ( xbasc0 k una routine SCILAB che pulisce il display grafico): fre = CO 0 5 13 12 25 24 14 6 I 01; xdata= CO 1 2 3 4 5 6 7 8 9 I01 ; Hi~tfreqe(fre,xdata,~oints=l); // istogramma a punti di Fig. 2.1a) xbasc(); Histfreqe(fre,xdata); // istogramma a gradino di Fig. 2.lb) xbasc(); Histfreqe(fre,xdata,cum=l); / / istogramma di Fig. 2.2
2.5 Variabili aleatorie discrete Come abbiamo visto nella definizione 2.3, una variabile aleatoria X discreta prende a1 pih una infinit& numerabile di valori (xl ,xa, . . . ,x,). Sappiamo anche, dalla (2.4), che gli insiemi {X = xi) sono degli eventi. Possiamo allora definire l'analogo probabilistico della rappresentazione in istogrammi di frequenza, la funzione di densit&di probabiliti:
Definizione 2.6 (Densith di probabilith per variabili discrete). Data una variabile X discreta, la funzione p(x), che vale
in corrispondenza dei valori dello spettro di X e p(x) = 0 a1 di fuori di essi, & detta densitci di probabilitci, funzione di densitci o, piti semplicemente, densitci. Questa funzione gode della importante proprieti di normalizzazione:
La conoscenza della densitd permette il calcolo di leggi o distribuzioni statistiche del tip0 (2.7):
La funzione cumulativa o di ripartizione (2.11) si pub quindi esprimere come:
Essa pub essere vista come B il corrispondente probabilistico dell'istogramma delle frequenze cumulative (2.23). Un esempio di funzioni di densit2 e cumulativa (o di ripartizione) i: mostrato in Fig. 2.3.
46
Capitolo 2. Rappresentazione dei fenomeni aleatori
Fig. 2.3. Rappresentazione a barre della densitk di probabilita binomiale p ( x ) = b(x;10,1/2) e corrispondente funzione cumulativa o di ripartizione F(x). Questa distribuzione it il modello probabilistico per l'esperimento delle 10 monete di Tab. 2.2. I dati sono riportati anche in Tab. 2.3
Come sappiamo, la funzione cumulativa i! definita per ogni x, non solo per i valori discreti assunti dalla variabile X . Quindi, nel caso di Fig. 2.3 e Tab. 2.3 abbiamo, ad esempio:
F ( x ) presenta salti per i valori discreti di X di altezza pari a P { X = xi) e resta costante in [xk,xkfl).La continuit&a destra i: indicata graficamente in Fig. 2.3 con i punti in grassetto a sinistra dei valori costanti in ordinata. L'importante relazione (2.12) pub essere allora espressa in termini di densit&con l'uguaglianza:
che permette di svolgere i calcoli probabilistici in termini di funzione di densith o di funzione cumulativa, come risulta pic agevole. Esiste un modello di distribuzione per esperimenti del tip0 di quelli di Fig. 2.1 e Tab. 2.2? La risposta i: affermativa: la distribuzione cercata, detta binomiale o di Bernoulli, 6 uno dei risultati pih importanti del calcolo delle probabilitii.
2.6 La distribuzione binomiale Consideriarno una prova consistente in n tentativi e sia p la probabilita assegnata a priori di ottenere l'evento desiderato (successo) in ogni tentativo.
2.6 La distribuzione binomiale
47
Fig. 2.4. Rappresentazione a barre della distribuzione binomiale b(x;10,0.2)
Si vuole trovare la probabilith dell'evento costituito da x successi nella prova considerata. I1 problema i! pertanto ricondotto alla determinazione di una funzione b(z;n,p) dove (fate bene attenzione!) n e p sono parametri assegnati e b(x; n,p) i: la probabilith dell'evento costituito d a x successi. Consideriamo una serie di prove tutte costituite da x successi e n - x fallimenti, indicati rispettivamente con i simboli X e 0:
In base alla legge (1.23) delle probabilita composte, se gli eventi sono in&pendenti, la probabilita di ogni configurazione (riga) & la stessa ed & data dal prodotto della probabilith di ottenere x successi e (n - x) fallimenti, vale a dire p . p . .: ( 1 - p ) . (1-p) . ( I - p ) = p x ( 1 - ~ ) ~ - " . Quante configurazioni diverse (righe) sono possibili? Tante quante le combinazioni di n oggetti di cui x ed n - x uguali tra loro. Dal calcolo combinatorio sappiamo che questo numero i! dato dal coefficiente binomiale (1.30): n!
x!(n - x)! Dato che una prova che realizza I'evento desiderato fornisce una qualunque delle righe considerate, in base alla legge delle probabilith totali (1.17) le probabilita delle righe vanno tutte sommate per ottenere la probabilith finale dell'evento. Abbiamo pertanto l'espressione finale della densith binomiale:
48
Capitolo
2. Rappresentazione dei fenomeni aleatori n!
P{X = x successi)
b ( x ;n , P) = x!(n - x)., P X P-
E importante ricordare sempre che questa distribuzione i: valida se e solo se gli n tentativi sono indipendenti e la probabilitii di successo in un tentativo i: sempre costante e pari a p. La distribuzione binomiale, quando n = 1, i: detta anche di Bernoulli, a ricordo del matematico svizzero Jacques Bernoulli, che la formulb per primo, verso la fine del '600. Essa ha numerose applicazioni, come mostrato dagli esempi che seguono. Esercizio 2.1 Calcolare la pro 5 successi.
Risposta. Dalla(2.30) si ha immediatamente:
<
Ripetendo questo conto per 0 x 5 10 e riportando in grafico le corrispondenti probabilitii, si ottiene la rappresentazione della distribuzione binomiale di Fig. 2.4. Le probabilitii della distribuzione binomiale possono anche essere ottenute con la routine SCILAB binomial(p,n) . Ad esempio, per ottenere il grafico per punti della distribuzione di Fig. 2.4, basta scrivere: y=binomial(0.2,10) ; plot (y) ;
poich6, se il vettore delle ascisse non i: specificato, esso viene assunto per difetto come formato da interi positivi. Esercizio 2.2 I1 10% dei pez probabilitci che su 40 pezzi n e siano difettosi soltanto 2.
Risposta. Dato che n = 40,p = 0.1 e ' x = 2:
Esercizio 2.3 Assumendo ch calcolare la probabilitci di avere 5 jiglie fernmine.
2.7 Variabili aleatoric continue
49
Risposta. Dato che p = (1 - p) = 112, n = 5, z = 5, si ha:
Esercizio 2.4
del 35%. Calcolare la probabilit4 che, i n u n a prima classe elementare di 25 alunni, 10 alunni abbiano gib fatto la scarlattina. Risposta. Dato che p = 0.35, n = 25, x = 10, si ha:
Possiamo ora confrontare l'esperimento di Tab. 2.2 e Fig. 2.1 con le previsioni del calcolo delle probabilith. Per fare questo basta calcolare le probabilith b(x; 10,0.5) per 0 5 x 5 10. Ovviamente, si suppone che le monete non siano truccate e che la probabilith di testa (o croce) sia costante e pari a 112. I risultati sono riportati in Fig. 2.3 e nella Tab. 2.3, dove si nota che fra le frequenze sperimentali e le probabilith teoriche vi sono sensibili differenze. Se esse fossero dovute solo alla dimensione limitata dell'esperimento (100 prove), potremmo affermare che a1 limite, per un numero infinito di prove, si otterrebbero i valori dati dalla distribuzione binomiale. Si dice in questo caso che teoria ed esperimento sono in accord0 entro le fluttuazioni statistiche. Se invece le differenze fossero dovute a un modello probabilistico sbagliato (il che avverrebbe nel caso di lanci correlati di monete, di monete con probabilith di testa o croce diversa da 112, o di monete dotate di memoria ...) dovremmo parlare di differenze sistematiche e non statistiche tra teoria e modello. Chi ci pub dire allora se le differenze in discussione sono fluttuazioni statistiche o sistematiche? La statistica. Ci spiace, ma dovrete aspettare fino a1 cap. 6 per una interpretazione definitiva e soddisfacente della Tab. 2.2. Come vedete, senza nozioni di statistica, le quali non sono affatto intuitive, n o n si pud interpretare correttamente n e m m e n o u n esperimento veramente banale come il lancio delle monete! Se ci credete sulla parola, possiamo anticiparvi che le differenze tra distribuzione binomiale ed esperimento delle 10 monete sono fluttuazioni statistiche e che l'accordo tra teoria ed esperimento k buono.
2.7 Variabili aleatorie continue Nel caso di variabili aleatorie che possono variare con continuith in un intervallo reale, finito o infinito, la definizione della funzione di densiti va fatta
50
Capitolo 2. Rappresentazione dei fenomeni aleatori
Tabella 2.3. Risultati dell'esperimento di Tab. 2.2 confrontate con le previsioni della legge binomiale. Le probabilith previste dalla distribuzione binomiale ponendo nella (2.30) n = 10, p = 112 sono riportate nella terza colonna, mentre la quarta e la quinta colonna riportano rispettivamente le frequenze cumulative dei dati e le probabilith cumulative calcolate inserendo nella (2.28) le probabilith della terza colonna proba - frequenza probabilita spettro fre cumulativa cumulativa (n. teste) quenza bilith 0.001 0.00 0.001 0 0.00 1 0.00 0.00 0.011 0.010 0.055 2 0.05 0.044 0.05 0.18 0.172 3 0.13 0.117 4 0.12 0.205 0.30 0.377 0.246 0.55 0.623 5 0.25 6 0.24 0.205 0.79 0.828 0.117 0.93 0.945 7 0.14 0.99 0.989 8 0.06 0.044 1.00 0.999 9 0.01 0.010 1.000 0.001 1.00 10 0.00
con cautela e per passi successivi. I1 procedimento B analog0 a quello spesso fatto in fisica, quando, ad esempio, si passa d a un insieme di cariche puntiformi entro un volume alla densith di carica, che fornisce la carica effettiva in una regione di spazio solo quando viene integrata sul volume corrispondente. Si possono costruire variabili aleatorie continue la cui funzione di ripartizione abbia dei punti di discontinuita, ma nella pratica 6 molto piii frequente incontrare variabili aleatorie continue con funzione di ripartizione continua. Ci limiteremo dunque a110 studio di queste ultime. Se allora vogliamo calcolare la probabilith che X assuma un certo valore, dato che {X = x) c {x - E < X 5 x) per ogni E > 0, dalle (1.14, 2.12) risulta: P{X=x)
> 0. Quindi lim [F(x) - F (x - E ) ] = 0
&+O
per la continuith di F(x). Risulta allora che la probabilitci di un valore assegnato x t: sempre nulla. Questo risultato B intuitivamente compatibile con il concetto di probabilith classica e frequentista: lo spettro continuo comprende una infinith non numerabile di valori e la probabilith, in una prova, di ottenere esattamente il valore x su un insieme infinito di casi possibili (probabilith a priori) o di ottenere esattamente il valore x su numero infinito di prove (probabilita frequentista) deve essere nullo. Per i valori di una variabile continua X hanno quindi senso solo le probabilith di localizzazione entro un intervallo; valgono pertanto le uguaglianze:
2.7 Variabiii aleatorie continue
51
Fig. 2.5. Densit& di probabilita (in basso) e corrispondente funzione cumulativa (in alto) per variabili aleatorie continue. L'ombreggiatura evidenzia come alle aree parziali della densit&corrispondano gli incrementi nelle ordinate della cumulativa
le quali mostrano che includere o meno gli estremi in un intervallo di probabilita i: indifferente. Consideriamo ora una variabile X continua che assume valori in [a, b]. Dividiamo questo intervallo in sottointervalli [a = x l , x2], [x2,x3], . . ., [x,-~, x, = b] di ampiezza Axk. Definiamo una variabile aleatoria discreta X' che assume valori solo nei punti medi xi di questi intervalli e sia
la densit& di X', che fornisce la probabiliti che X sia compresa entro il k-esimo intervallo. La densiti p p ( A x k ) , essendo funzione dell'ampiezza del canale, & una quantiti che dipende dalla scelta arbitraria di Ax, poich6 lo spettro i: continuo. Tuttavia, i: possibile definire una funzione p(x) nel mod0 seguente:
dove xk i: un punto interno (ad esempio il punto medio) a1 canale kesimo. In base alla definizione di integrale di Riemann, possiamo ora scrivere la (2.26) come:
La funzione p(x) cosi definita i: la densiti di probabiliti cercata della variabile aleatoria continua X. Arriviamo pertanto alla
52
Capitolo 2. Rappresentazione dei fenomeni aleatori
Definizione 2.7 (Densith di probabilith per variabili continue). La densitci di probabilitci di u n a variabile continua X E IR 6 u n a funzione p(x) 2 0 che soddisfa, per ogni x, l'equazione:
Dalla definizione risulta che la probabiliti di ottenere valori in [xk,x ~ + di~ ] ampiezza Ax it allora data da (vedere Fig. 2.5):
e che la proprietA di normalizzazione (2.26) si scrive in questo caso come:
Se l'intervallo i! piccolo rispetto alla scala di variazione della funzione, si pub approssimare p(x) con un tratto di retta entro ogni Ax (approssimazione lineare) e la (2.34) viene sostituita dalla (2.31), dove xk 6 il punto medio del canale. Possiamo dunque indicare simbolicamente il passaggio dallo spettro discreto a quello continuo come
da cui si vede che si passa da una funzione a valori discreti a1 prodotto di una funzione a valori continui per un differenziale. La quantith differenziale p(x) dx fornisce la probabilit2, di ottenere valori di X contenuti in [x, x dx]. Nei punti dove F ( x ) i: derivabile, dalla (2.33) si ottiene anche I'importante relazione:
+
Le funzioni di densit&e di ripartizione (o cumulative) hanno come dominio lo spettro della variabile aleatoria e come codominio un insieme di valori reali; esse possono essere messe in corrispondenza con leggi o distribuzioni del tip0 (2.7), come mostrato in Fig. 2.6.
2.8 Media, Varianza e Deviazione Standard La descrizione di un fenomeno aleatorio in termini di media e varianza i: un mod0 meno completo di quello che fa uso della funzione di densith, ma che ha il pregio di essere semplice e di risultare spesso adeguato per molte applicazioni pratiche. In sostanza, la media individua dove i! il baricentro dei valori
2.8 Media. Varianza e Deviazione Standard
53
Fig. 2.6. Assegnazione di una probabiliti P ( A ) ad un evento A dello spazio campionario S. La variabile aleatoria X ( a ) = x trasforma il risultato di una prova a E A in un codominio dell'asse reale x E h,che chiarniamo spettro; le funzioni di densit& e di ripartizione permettono di calcolare, a partire dai valori dello spettro delI'evento, la probabiliti P(4
della variabile X , mentre la deviazione standard, che i: la radice quadrata della varianza, fornisce una stima della dispersione dei valori intorno alla media. Nel trattare questi argomenti riteniamo utile, per aiutare la vostra intuizione, trattare prima la media e la varianza di un insieme di dati (anche se questo tema verra approfondito piii avanti, in statistica) e poi media e varianza di una distribuzione. Introduciamo prima una notazione che ci accompagneri per tutto il testo: Definizione 2.8 ( P a r a m e t r i veri e P a r a m e t r i campionari). I parametri media, varianza e deviazione standard di u n a variabile aleatoria X verrann o indicati con lettere greche; i parametri campionari o sperimentali, ottenuti da insiemi finiti di valori xi, con lettere latine. L a probabilitd '%era" verrd invece sempre indicata con p e la frequenza relativa sperimentale con f 7 poic h i questa 6 ormai la notazione standard della maggior parte dei testi di statistica. Definiamo ora media e varianza di un insieme di dati sperimentali: Definizione 2.9 (Media e varianza di un insieme di dati). S e xi (i = 1 ' 2 . . . N ) sono le N realizzazioni numeriche di u n a variabile aleatoria, la media e la varianza campionarie sono definite rispettivamente come:
54
Capit010 2. R a ~ ~ r e s e n t a z i o ndei e fenomeni aleatori
dove p 2: il valore della media assegnato a priori. La varianza rispetto alla media campionaria m della (2.37) 2: invece data da:
Avrete notato che nel denominatore della varianza calcolata rispetto alla media campionaria compare il termine N - 1 invece di N: il motivo, concettualmente non banale, i: di natura statistica e ve lo spiegheremo pih avanti, nel cap. 6. Dal punto di vista pratico, il fattore N / ( N - 1) k importante solo per campioni molto piccoli. Quando si trascura questa differenza, scriveremo s2 = S% E 5;. La radice quadrata s = 0k detta deviazione standard campionaria o scarto quadratic0 medio. E necessario ricorrere alla radice quadrata per misurare la dispersione dei dati nella stessa unit& di misura in cui i: definita la media. Dato che la differenza (xi- p) i:detta scarto del dato i-esimo dalla media, la varianza pub essere vista come la media dei quadrati degli scarti. Quando i valori di una variabile X discreta sono rappresentati in istogrammi, la media e la varianza, invece che dalle (2.37-2.38), possono essere calcolate anche come:
dove C i: il numero dei canali dell'istogramma, nk, f k e xk sono rispettivamente il contenuto (frequenza assoluta), la frequenza relativa e l'ascissa del canale. Nelle (2.37-2.38) la somma viene fatta direttamente su tutti i dati, come ad esempio (3 3 4 2 4 . . .), mentre nelle (2.40, 2.41) la stessa somma viene eseguita nel mod0 compatto (2 2 . 3 2 - 4 . . .). Pertanto, nel caso dello spettro discreto, i due procedimenti danno un risultato assolutamente identico. Quando lo spettro k continuo, le formule (2.40, 2.41) possono ancora essere usate assegnando a xk il valore del punto medio dell'ascissa del canale. Tuttavia in questo caso esse forniscono risultati approssimati. Vediamo ora di definire media, varianza e deviazione standard quando si conosce a priori della densita di probabilit& di una variabile X. Le formule, per una variabile aleatoria discreta, non sono altro che la spontanea generalizzazione delle (2.40. 2.41), ottenuta sostituendo alle frequenze misurate fk le probabilit&a priori pk date dalla funzione di densit&.Per una variabile
+ + + + +
+
+
+
2.8 Media, Varianza e Deviazione Standard
55
aleatoria continua, le formule si trovano con un process0 di limite analogo a quello fatto nella (2.32). Arriviamo pertanto alla seguente Definizione 2.10 (Media e varianza di una variabile aleatoria). La media (o valore atteso) p e la varianza a2 di una variabile X sono date da:
xkpk
=
p
(per variabili discrete)
,
k=l
-
-
L
+00
xp(x) dx
(per variabili continue)
,
X -L p)2pk
(per variabili discrete)
,
00
a2 =
~
(
k=l -
L
+m
(x - p)2p(x) dx
(per variabili continue) .
(2.43)
Come nel caso di un campione, la deviazione standard i: data da CJ = @. La definizione (2.42) si assume valida solo se esiste il limite della serie o dell'integrale dei valori assoluti. Dato che pk, p(x) 0, questa condizione equivale a porre:
>
Le (2.44) ovviamente implicano le (2.42). Perch6 si richieda anche l'inverso i: una questione pih sottile: nel calcolo delle probabiliti, si assume sempre che l'ordine dei termini nelle serie sia indifferente e che valgano relazioni del tip0 x k ~ i (f x k ) g ( ~ i )e, questo, come sappiam0 dalxkf (xk) ?jig(yi) = l'analisi matematica, i:possibile solo le serie sono assolutamente convergenti. Un discorso analogo vale nel caso degli integrali. Nel seguito l'esistenza dei valori medi implicheri, sempre anche l'esistenza dei valori medi assoluti. Per quanto riguarda la varianza, la definizione B ovviamente valida se le serie o gli integrali (2.43) (a valori sempre positivi) non sono divergenti. Vi sono tuttavia casi (per fortuna molto rari) di variabili aleatorie che non hanno varianza finita; in questo caso si deve rinunciare a caratterizzare la dispersione dei dati in termini di varianza e si deve ricorrere a110 studio delle funzioni di densit&o di ripartizione. Si pub mostrare che la successione di momenti calcolati dalla funzione generatrice (si veda l'appendice B):
zk
xi
consente di determinare in mod0 univoco la funzione di ripartizione di una variabile casuale X 1221. I1 momento per k = 1 i: la media e quindi, una volta noti i momenti, si possono determinare anche i momenti rispetto alla media:
56
Capitolo 2. Rappresentazione dei fenomeni aleatori
Si noti che A2 E n2 e che il momento Al i: sempre nullo. Infatti:
Le prime due quantith significative sono allora la media e la varianza. Come vedremo, per la quasi totalith delle applicazioni pratiche che considereremo esse sono sufficienti a definire univocamente o in mod0 accettabile le distribuzioni statistiche. Nel seguito utilizzeremo molto raramente i momenti di ordine superiore a1 secondo. La media k forse il parametro piil efficace per valutare il baricentro di una distribuzione, poich6 il momento del secondo ordine, se calcolato rispetto alla media, risulta minimo. Infatti:
e la derivata si annulla in un minimo solo se p B la media (2.42), nel qua1 caso A2 = a 2 . La varianza, se si sviluppano i quadrati nelle (2.39, 2.43), pub anche essere espressa come differenza tra la media dei quadrati e il quadrat0 della media:
Queste relazioni sono a volte utili nei calcoli pratici, come vedremo nell'esercizio 2.6. I momenti di una funzione di densith, varianza compresa, sono indipendenti dalla posizione della media, cioi: invarianti per traslazioni lungo l'asse x. Questa proprietd i: ovvia (ma importante), poich6 la misura della larghezza intrinseca di una funzione non pub dipendere dalla posizione di questa lungo l'asse delle ascisse. Si pub comunque dimostrare questo fatto in mod0 formale, definendo una generica traslazione
2.8 Media. Varianza e Deviazione Standard
dx' = dx
,
p(x)
57
+ p(x' - a) -- p1(x') ,
e verificando che A
X
= =
- plnp(x) dx = - p')np'
( d ) ds'
/
(x' - P')~P(x' - a ) dx'
I A,
(sf) .
(2.51)
Riassumendo, la media, la varianza ed i momenti della (2.45) nel caso di istogrammi di campioni sperimentali o di variabili aleatorie sono date, indicando con una freccia il passaggio da una variabile discreta ad una continua, da:
E bene far rilevare ancora la notazione in lettere greche o latine, che ci accompagnera nel seguito del testo. I1 calcolo di media e varianza da un insieme x di dati grezzi second0 le (2.37, 2.39), pub essere effettuato con le funzioni SCILAB mean(x> e variance(x1 . Se invece i dati sono in forma di istogrammi, il calcolo va fatto con le (2.53, 2.56) e vanno usate le funzioni mediaf (xdata,fre) e variancef (xdata,fre) , dove xdata 6 lo spettro della variabile aleatoria e f r e B il corrispondente vettore delle frequenze o del numero delle prove favorevoli.
58
Capitolo 2. Rappresentazione dei fenomeni aleatori
2.9 Operatori Come abbiamo visto, le formule per il calcolo della media e della varianza assumono forma diversa a seconda che l'insieme dei dati sia finito o infinito, le variabili aleatorie siano discrete o continue e i dati siano grezzi o raggruppati in istogrammi. Per questo motivo B comodo considerare media e varianza non solo come numeri, ma anche come operatori su variabili aleatorie od insiemi di dati, con i quali si indica il tip0 di operazione che si effettua, a prescindere dalla particolare rappresentazione utilizzata per i dati o le variabili. Indicheremo con lettere latine e variabili minuscole:
medie, varianze e deviazioni standard ricavate da insiemi di valori sperimentali di una variabile X in una ben determinata prova o campionamento. Si noti il simbolo (x)per la media, che B una notazione molto usata da fisici e ingegneri. L'operatore media di una variabile aleatoria viene solitamente indicato con (. . .) oppure con E[.. .], l'operatore varianza con Var[. . .I. Le variabili su cui agiscono gli operatori saranno sempre indicate con lettere maiuscole:
Nel testo verrh usata preferenzialmente la notazione (X), Var[X]. Per l'operatore deviazione standard useremo la notazione ,[XI. A questo punto vi consigliamo di riguardare ancora la Tab. 2.1, dalla quale risulta che le funzioni che operano sulle variabili aleatorie sono le probabilit& e gli operatori: la variabile aleatoria risulta quindi sempre racchiusa tra parentesi grafle, quadre o tra i simboli (. . .). Useremo questa convenzione in tutto il seguito del testo. I1 mettere in evidenza in tutte le formule l'aspetto operatoriale di media e varianza, sebbene sia corretto, non B sempre indispensabile ed appesantisce notevolmente il formalismo. Per alleggerire la notazione, noi indicheremo talvolta media, varianza e deviazione standard come:
(notate i pedici scritti con lettere minuscole). La scrittura p e a2 (oppure p, e a: se i: necessario specificare il tip0 di variabile) va intesa come il risultato numeric0 del corrispondente operatore statistico. La scrittura in lettere greche (valori veri), definisce comunque in mod0 univoco il tip0 di operazione fatta, evitando possibili confusioni. E facile ora verificare, ricorrendo alle (2.52-2.56), che gli operatori media e varianza godono delle proprieth seguenti:
2.9 Operatori
Var[Xl = ((X -
w2),
(ax) = (X) , Var[aX] = a2Var[X] (X+cu) Var[X+a]
(2.61) (2.62) (2.63) (2.64)
,
(X)+cu, ((X+a- ( ~ + a ) ) ~ ) = ( ( ~ + c u - (X) - a ) 2 )=Var[X]
59
= =
,
(2.65)
dove cu 6 una costante. Le ultime due relazioni mostrano, come 5 ovvio, che la media di una costante coincide con la costante e che la dispersione di una costante & nulla. Sfruttando le (2.61, 2.62), possiamo riscrivere in notazione operatoriale la (2.50), che esprime la varianza come media dei quadrati meno il quadrat0 della media: Var[X] = ((X-p)') = =
( ( X - (X)I2)
=
(x')-(x)~
(x2)- 2 (X) ( X ) + ( x ) ~ .
(2.66)
L'operatore di media permette la definizione in generale del valore medio vero di una qualunque funzione di variabile aleatoria del tip0 (2.9): Definizione 2.11 (Valore atteso). S e f (X) i: u n a funzione di u n a variabile aleatoria X avente densita di probabilita p(x), si definisce come valore di aspettazione o valore atteso (expected value) di f ( X ) la quantitb:
dove con la freccia si 2 indicato il passaggio da u n a variabile X discreta ad una continua. Le funzioni di variabili aleatorie verranno trattate in dettaglio pi^ avanti, nel cap. 5. In base a questa definizione, la media Vera p pub essere considerata come il valore atteso di X . Termini sinonimi di valore atteso sono aspettazione, valore di aspettazione, speranza matematica o semplicemente valore medio. Come nel caso della definizione 2.10, perchi: la definizione di valore atteso di una variabile f (X) abbia senso, si deve imporre che esista la somma CkIf (xk)lp(xk) o l'integrale 1 f (x)lp(x)dx. Per questo si assume sempre che una variabile o funzione di variabile, per la quale si definisce il valore atteso (2.67), sia assolutamente sommabile o integrabile sulla corrispondente densita di probabilita. In pratica, si richiede, per una variabile continua, che la densita di probabilitg tenda a zero per x + fco almeno come l/lxla con cu > 2. Tutte le densith che considereremo in seguito godono di questa proprieta.
60
Capitolo
2. Rappresentazione dei fenomeni aleatori
Esercizio 2.5 S i consideri con probabilitci pl e l'evento (A2), indipendente dal primo, col valore xz con probabilitci p2. Calcolare la media della somma ( X I X 2 ) dove X 1 e X 2 sono due variabili indicatrici definite come X 1 ( A 1 )= X I , X 2 ( A 2 ) = 2 2 e X I (A1)= 0 , ~ 2 ( A 2 = ) 0.
+
+
Risposta. Lo spettro della somma b dato dai quattro valori ( 0 O ) , ( 0 f x 2 ) , (x1+0), ( X I +x2), aventi, i n base a1 teorema delle probabilitci composte (1.20), probabilith rispettivamente pari a ( 1 - p l ) ( l - p 2 ) , ( 1 - p1)p2, p l ( l - p 2 ) e plp2. I n base alla (2.53) si ha allora:
Poiche' ( X I ) = ( 1 - p l ) - 0 + p l x l = p l x l , e lo stesso vale per X2, si pud anche scrivere: ( X l + X 2 ) = ( X l )+ ( X 2 ) , da cui si vede che la media della somma delle due variabili aleatorie b uguale alla somma delle medie.
con i valori dati dalla corrispondente distribuzzone binomiale. Risposta. Applicando la (2.52) ai dati della prima e terza colonna della tabella, si ottiene:
( x ) = m = (2.0.05
+ 3.0.13 + . . . + 9.0.01) = 5.21 ,
corrispondente ad u n totale di 521 teste su 1000 lanci. La media dei quadrati b data da:
Dalla (2.49) abbiamo allora
Applicando la stessa procedura alle probabilitci vere della quarta colonna, otteniamo:
2.10 11 c a m ~ i o n ecasuale
61
(x2)= 27.5. a2 = (x2)(x)' = (27.5 - 2 5 ) = 2.5 ,
(X) = 5.00, Var[X] = a
=
-
a= 1.58 .
S i noti l'assenza del fattore 100/99 nel calcolo della varianza, poiche' qui essa i! calcolata rispetto alla media vera. Anche in questo caso, la differenza tra i valori sperimentali m = 5.21, s = 1.57 e teorici p = 5.00, (7 = 1.58, verrci
2.10 11 campione casuale Consideriamo un esperimento che coinvolge una variabile aleatoria X ed effettuiamo N prove indipendenti. I1 risultato di questa operazione sia una N-upla di variabili (XI,X Z ,. . . ,XN), per le quali valga la condizione di indipendenza (2.10). Arriviamo quindi alla Definizione 2.12 (Campione casuale). L'insieme delle N variabili (XI, X2, . . . , X N ) indzpendenti ed aventi densitci di probabilztci p(x) viene detto campione casuale di dimensione N estratto dalla popolazione di densith p(x).
La dizione, corretta ma un po' lunga, di "popolazione di densith p(x)" , B a volte abbreviata con "popolazione p(x)". I1 concetto di popolazione, introdotto su basi intuitive nel par. 1.2, assume qui un significato preciso. Nel caso di un campione di una variabile discreta, la probabilith di ottenere un certo insieme di valori campionati, in base alla (2.10), vale:
Per capire il concetto di campione casuale ci si deve riferire ad una situazione in cui una variabile aleatoria X B campionata ripetutamente, secondo lo schema seguente: prim0 campione
x i , xb, . . . , x b
+ ml,
sf
,
secondo campione
,,,
111
Ill
, x2 , . . . , X N
terzo campione
x,
tutti i camwioni
X I . X?.
.. .. XN
4
ms, sz ,
4
M. S2 :
X1 rappresenta la variabile aleatoria "risultato della prima estrazione" o "primo elernento", mentre xy B il numero ottenuto alla prima estrazione nel secondo campione. I valori mi ed s: sono rispettivamente la media e la varianza del campione i-esimo:
62
Capitolo 2. Rappresentazione dei fenomeni aleatori
Questi valori, che stimano con un campione di dimensione finita le corrispondenti quantita vere p e a2,sono dette s t i m e della media e della varianza. Se ripetiamo la prova o il campionamento, otterremo ad ogni prova media e varianza differenti: medie e varianze campionarie m ed s vanno quindi considerate come realizzazioni delle variabili aleatorie M ed S , indicate nell'ultima riga della (2.69), che sono funzioni, nel senso della (2.9), delle variabili Xi:
Le variabili M ed S2sono funzioni del campione. In generale, queste quantitb si chiamano statistiche: Definizione 2.13 (Statistica). Dato un campione u n a densitci p(x), u n a funzione
(XI, X2, . . . , XN) da
che n o n contiene alcun parametro incognito, i u n a variabile aleatoria che prende il n o m e di statistica. Media e varianza campionarie sono quindi due statistiche che si possono ottenere dal campione. Come vedremo nel prossimo paragrafo, esse sono anche stimatori della media e della varianza.
2.11 Criteri di convergenza Occorre a questo punto precisare bene il significato dei limiti ed i criteri di convergenza utilizzati nello studio delle variabili aleatorie. Come abbiamo detto, il limite che compare nella definizione di probabilitb frequentista (1.3) k fatto sulle realizzazioni numeriche della variabile aleatoria: esso non ha un significato matematico precis0 ed indica che le prove v a n n o ripetute un n u m e r o infinito o finito di volte, m a comunque fino ad esaurire la popolazione. Questo B il significato da attribuire ad un limite ogni volta che esso B applicato ad una successione o somma di valori di una variabile (notazione in lettere rninuscole). Abbiamo chiamato questa operazione con il nome di limite frequentista. Va per6 subito chiarito che, in genere, si devono evitare scritture del tipo: 1 lirn N4oo N
rknk
= lirn
Ntoo
Enrf k = k
xxPk = ,u
(da evitare!) ,
k
perch6 nei termini pib a destra compaiono quantitb matematiche ben definite come somme, serie o funzioni, mentre a sinistra compare un limite
63
2.11 Criteri di convergenza
matematicamente indefinito. Facciamo notare, tuttavia, che questo limite i: giustificato nell'interpretazione frequentista (1.3) e che esso riproduce qualitativamente cib che succede in molti fenomeni aleatori. Ad esempio, se consideriamo il lancio di un dado {X = 1,2,3,4,5,6)ed assegniamo ad ogni faccia la probabilita di 116, secondo la (2.42) p = (1 2 3 4 5 6)/6 = 3.5. L'esperienza mostra che, lanciando un dado e facendo la media progressiva dei punteggi, secondo la (2.37), il risultato tende a 3.5 aumentando il numero dei lanci. Assegnando arbitrariamente ad ogni faccia la probabilita di 116, abbiamo simulato mediante calcolatore il lancio di un dado ottenendo, per N = 100, 1000, 100 000, 1000 000, rispettivamente le medie campionarie m = 3.46, 3.505, 3.50327, 3.500184. Per uno studio matematicamente rigoroso dei fenomeni aleatori, i: perb necessario stabilire il tip0 di convergenza di successioni di variabili aleatorie e l'entita dello scostamento dal valore limite all'aumentare della dimensione del campione. Una prima definizione rigorosa afferma che una successione di variabili X N converge verso una variabile X se, prefissato un numero e > 0 comunque piccolo, la probabilita che X N differisca da X per una quantita > e tende a zero per N -+ co:
+ + + + +
lirn P {IXN(a) - X (a)1 2 e) = 0
N+oo
,
o
lim P {IXN(a) - X (a)(
N+m
<
6)
=1
(2.72) Questo limite, che gode delle proprietA usuali dei limiti di successioni di numeri reali, viene detto limite in probabilitb A questo punto dobbiamo farvi notare un aspetto sottile del problema: dire che la probabilita nella (2.72) tende a zero non assicura affatto che tutti i valori lXN(a) - X(a)l, per ogni elemento a dello spazio campionario, si manterranno minori di 6 a1 di sopra di un certo N , ma solo che l'insieme dei valori che superano e ha una probabilita piccola, a1 limite nulla. Se si vuole che per la maggior part,e delle successioni si abbia IXN(a) - X(a)l 5 e per ogni a, si deve introdurre il limite quasi certo o in probabilita 1, sull'insieme degli elementi a dello spazio di probabilita (S, F,P):
P{ N-tcc lim (XN(a)-X(a)l 5 e) = 1 ;
(2.73)
in questo caso siamo sicuri che esiste un insieme di elementi a , che per M -+ co tende a coincidere con lo spazio campionario S, per i quali la successione di numeri reali XN(a) tende ad un limite nel senso ordinario dell'analisi matematica. I due tipi di convergenza in probabilita e quasi certa sono schematizzati in Fig. 2.7. I1 terzo ed ultimo tip0 di convergenza che si deve considerare k quello in legge o distribuzione. Una successione di variabili X N converge in legge ad una variabile X se, essendo Fx, e Fx le rispettive funzioni di ripartizione o cumulative, (2.74) lim Fx, (x) = Fx(x) N-tm
64
Capitolo 2. Rappresentazione dei fenomeni aleatori
Fig. 2.7. a) Convergenza in probabiliti: l'insieme dei valori IXN(a) - X(a)l che superano per N -t oc un valore E assegnato tende ad avere probabiliti nulla.
Questo non impedisce perb che vi siano singoli valori fuori dal limite (indicati dalle frecce). b) Convergenza quasi certa: la maggior parte delle successioni verificano la disuguaglianza IXN( a ) - X(a)[ 5 E a meno di un insieme di elementi a 6 S di probabilitb nulla
per ogni punto x in cui Fx(x) k continua. Questo limite & molto utilizzato in statistica quando si studia il tip0 di distribuzione d a assegnare, per grandi campioni, agli stimatori statistici fondamentali. Si pub dimostrare (come del resto B abbastanza intuitivo) che la convergenza quasi certa implica sia quella in probabilitb sia quella in legge e che la convergenza in probabilita implica quella in legge, mentre non vale il contrario. Inoltre, un fondamentale teorema di Kolmogorov, che potete trovare dimostrato in [34], assicura la convergenza quasi certa di successioni di variabili aleatorie indipendenti se vale la condizione
Tutti gli stimatori statistici considerati nel testo soddisfano questa proprietb, per cui, quando affronteremo la statistica, non avremo problemi di convergenza: tutte le variabili che considereremo convergeranno quasi certamente (e quindi anche in probabilitci) ai limiti stabiliti. I criteri di convergenza sono a volte importanti nella teoria delle funzioni stocastiche [63], che noi perb non considereremo. Riassumendo, abbiamo considerato quattro differenti limiti: quello frequentista (che agisce sulle variabili "minuscole"), quello in probabilitb e quello quasi certo (che agiscono entrambi sulle variabili "maiuscole") e quello in legge, che riguarda le funzioni di ripartizione. Le variabili aleatorie limite nelle (2.72,2.73) possono anche semplicemente essere delle costanti, come spesso accade considerando i limiti degli stimatori statistici.
2.11 Criteri di convergenza
65
N' campioni di N elementi
A
\ Ci (xi - CL) IN ' 2
/
I
mPZdiN3
/
.
media per N' infinito
--
'
< & ( $ - p ) 2/ N >
Fig. 2.8. Operazione di media di una varianza
Infatti, una statistica T N ( X ) ,funzione di un campione casuale di dimensione N second0 la (2.71), che converge in probabilith ad un valore costante
k detta stimatcre consist,ente di p. La teoria degli stimatori statistici, come quelli definiti nelle (2.70), v e r r j svolta in dettaglio pih avanti, nei capitoli 6 e 9. Tuttavia, qui vogliamo illustrarvi subito il significato di media e varianza di uno stimatore. Dato che dalle (2.66) risulta che la varianza pub essere ricondotta ad una operazione di media, sarh sufficiente discutere soltanto la media di uno stimatore. Chiediamoci ad esempio cosa significa la media della varianza:
Cib che sta tra parentesi ( ) i: una variabile aleatoria costruita eseguendo N prove della variabile X, ottenendo altrettanti valori dello spettro xi e calcolandone la varianza. La parentesi ( ) indica che si deve ripetere il procedimento un numero infinito di volte e fare la media delle infinite varianze cosi ottenute. Pertanto, nella visione frequentista, prima, si ottiene d a una serie di N' campioni di N elementi della stessa variabile X un campione della variabile (Xi - p)2I N , poi si fa la media di quest'ultimo campione per N' -+ oo. I1 procedimento i: schematizzato in Fig. 2.8. Applicando le proprietL (2.66) dell'operatore media, si ottiene:
xi
ovvero:
66
Ca~itolo2. Ra~~resentazione dei fenorneni aleatori
Questa relazione pub essere scritta come:
Gli stimatori consistenti che godono di questa proprieth sono detti corretti o non distorti. In sostanza, per questa classe di stimatori la media Vera di una popolazione costituita d a element,i TN, ciok d a stimatori ottenuti d a campioni di dimensione N , coincide con il limite all'infinito (valore vero) dello stimatore. Mostreremo pic avanti, nei parr. 6.10 e 6.11, che la media campionaria (2.52) gode delle proprieth (2.76) e (2.78), mentre la varianza rispetto alla media campionaria (2.55), privata del fattore N / ( N - I ) , non soddisfa la (2.78). In genere lo studio delle proprieth asintotiche delle variabili aleatorie e degli stimatori a d esse associati risulta piG semplice se si applica l'operatore di media ad un insieme di stimatori TN(X), invece di studiare direttamente il limite dello stimatore (2.72) per N -+ GO.
2.12 Problemi 2.1. Calcolare la probabilita di ottenere 2 volte 6 nel lancio di tre dadi. 2.2. Assegnando all'evento testa (o croce) probabilita 112, calcolare la probabilita di ottenere 3 teste in 10 lanci come rapport0 tra i casi favorevoli e quelli possibili. 2.3. Un produttore sa che la percentuale di pezzi difettosi messi in vendita 6 del 10%. In un appalto accetta di pagare una penale se; in una scatola di dieci pezzi, piii di due risultano difettosi. Trovare la probabilitk di pagare la penale. 2.4. Un giocatore scommette 60 000 lire alla roulette puntando 50 000 lire sul rosso (strategia X ) e 10000 sul numero nero 22 (strategia Y). Tenendo presente che i numeri vanno da 0 a 36 e che il banco vince se esce lo 0 mentre paga una quota pari alla posta se esce il rosso e a 36 volte la posta se esce il numero 22, calcolare il valor medio del capitale dopo una puntata. Che significato ha questo risultato? 2.5. Una variabile X pub assumere i valori {X = 2,4,6,8,10) con uguale probabilit&. Trovare media e deviazione standard delle variabili X e Y = 2X 1. 2.6. Da un'urna contenente 3 biglie rosse e 7 nere vengono estratte, senza reimmissione, tre biglie. Determinare la densitk di probabilit8 discreta, la media e la deviazione standard del numero R di biglie rosse dopo le tre estrazioni. 2.7. Trovare la densit&di probabiliti p(x), la funzione di ripartizione F(x), media e deviazione standard di una variabile continua XI definita in [ O , l ] , avente densit& linearmente crescente e tale che p(0) = 0. 2.8. Trovare il 25-esimo percentile della distribuzione del problema precedente. 2.9. Per coprire la distanza di andata e ritorno tra due punti A e B, distanti 100 Km, un'auto viaggia alla velociti di 25 Km/h all'andata e di 50 Km/h a1 ritorno. Calcolare la velocitk media del viaggio. 2.10. Dai dati di tab. 2.2 trovare il numero totale di teste sul totale di mille lanci.
+
3. Calcolo elementare delle probabilith
" La questione non i: tanto se Dio giochi a dadi, ma come lo faccia." Im Stewart, "DIO GIOCA A DADI?".
3.1 lntroduzione In questo capitolo approfondiremo le proprietb della distribuzione binomiale e dedurremo via via, utilizzando il calcolo delle probabilith, tutte le distribuzioni statistiche fondamentali. Nello sviluppare questi argomenti, ci sforzeremo di sottolinearne pic gli aspetti concettuali che quelli formali. Non eviteremo comunque nessun passaggio matematico importante, poichk riteniamo che questo aiuti ad avere quella visione coerente delle cose che vi permetterb, analizzando un qualunque problema, di capirne immediatamente gli aspetti statistici e probabilistici e di trovarne la soluzione utilizzando le distribuzioni statistiche piii appropriate. Termineremo il capitolo accennando a come utilizzare il calcolo delle probabilith nella verifica delle ipotesi. Questo argomento, che sarb sviluppato in mod0 completo piu avanti, in statistica, vi far&apprezzare meglio cib che avrete imparato e vi consentirb di compiere un salto di qualitb notevole nella comprensione di molti fenomeni naturali.
3.2 ProprietA della distribuzione binomiale La densitb binomiale, introdotta nel par. 2.6, i! la legge di una variabile aleatoria X che rappresenta il numero x di successi che si possono ottenere in n tentativi indipendenti, ognuno dei quali ha una probabilitA di success0 costante. Le proprieta di questa densith ci permetteranno di costruire per passi successivi lo schema di base del calcolo delle probabilitb per variabili aleatorie monodimensionali. La densitb binomiale & normalizzata, poichk dalla formula del binomio di Newton e dalla (2.30), si ha:
68
Capitolo 3. Calcolo elementare delle probabiliti
La media della distribuzione binomiale 6 data dalla (2.42), dove la somma va estesa a tutti i valori 0 5 x 5 n , e la probabilith pk 6 data dalla (2.30): n
n
p
= xxb(x;n,p)=
-
x=o
2=0
-
5x!(nn! z)! px (1 - P)~-"
n
n(n - I)! ppx-l(l x=1 z ( z - l)!(n - z)!
Ex
-
P)~-"
dove va notato, nell'ultimo membro, il cambiamento della somma-su x da 0 a 1, poich6 per x = 0 il termine della sommatoria i: nullo. Ponendo ora nella (3.2) z1=x-1, ni=n-I, nl-x'=n-z (3.3) otteniamo, utilizzando la (3.1): n'
( X ) = n~
C
n'! (n, -
z1=0
1!
Px'(l - p)nr-x' -np,
(3.4)
un risultato in accord0 con l'intuizione, che considera la media come valore atteso, cioi: il prodotto dei tentativi per la probabilit& di ogni tentativo. Niente affatto intuitivo e, come vedremo, estremamente importante, k il valore della varianza, alla quale si pub arrivare facilmente calcolando la media dei quadrati con lo stesso procedimento della (3.2) ed utilizzando ancora la notazione (3.3):
In base alle (2.66) e (3.4), si pub allora scrivere: Var[X] = n p [(n - l ) p
+ I]
-
n2p2 = n p (1 - p) .
(3.5)
In definitiva, si ottengono le formule fondamentali: p =n p
,
(r2
=np(l -p)
, c=JnPT1-))
(3.6)
le quali stanno alla base del calcolo delle probabilith. I1 valore della media & intuitivo, quelli della varianza e della deviazione standard non lo sono, ed k utile che li mandiate a memoria fin d a ora.
3.2 Proprieti della distribuzione binomiale
69
Esercizio 3.1 Trovare media, t~nrinn,zne devinzione standard oere per l'esperimento delle 10 m.onete riportnto in Tab. 2.2. Risposta. Poich6 nell'csperimento delle 10 monete si ndottatn la distribuzione binoniiale con n = 10 e p = 0.5, dalle (3.6) si ha immediatamente:
I risultnti sono identici a quelli ottenuti nell'esercizio 2.6, dove si sono applicnte le formule di base (2.5.z 2.50) alle probnbilitd bin~omialiriportate nella qnarta colonna della Tnb. 2.2. Esercizio 3.2 Ln probabilitd di centrare un bersn.qlio i, pari all'SO%. 'Rovare In densitd di probabilitd del nnmero n di prove necessarie per efettunre vn ceniro. Quanto on1,qono in media e la devindone standard di n ? Risposta. Si chiede di tlavnre la probabelit& del nnmero di terrtntivi n dn effettuare per avere S U C C ~ S S O ,quando la probabilitd 2: p. In qeesto cnso la variabile alentorin da considerare non 6 pi< costituita dnl numero X cli successi in TL tentatiei fissati (elre port@ alla distribuzione binomiale), ma dal numero di tentatisi n essendo il numero di successi fissnto e pnri n z = 1. A,finchi il ten,tatiuo wesinro sia coronato da successo, & necessario nacre primn n: = 0 successi in n - 1 prove; la plabahilitii di questo evento 2 data dalla denaitd binominlc (2.30):
La densitd che cerchianro, clne i. la probnbilitri di avere un successo alln esimn prom, sard qnindi data dalla probabilitd mmposta:
71,-
che prende il nome di densit&geometrica. E.ssa pud quindi essere vista come ?ma semplice applicnzione della 1eg.q~delle probnbilitd composte (I.=), dove 1e dne probabilitd si riferiscono nd n - 1 in,mccessi consecntdvi segzltti dn n n successo alla n-eszma prooa. La densitd c? nomnlizznta, perchi 2 noto dalln teorda delle ~ e r i eche
70
Capitolo 3. Calcolo elementare delle probabiliti
e quindi:
Media e varianza si trovano dalle (2.42) e (2.66) sfruttando Ee proprietci della serie geometrica. Diflerenziando due volte la seconda delle (3.8), dopo facili calcoli si ottiene:
D a queste fovmule segue che
La varianza b allora data da: 1-P . a,2 -- ( n2 ) - ( n )2 = p2
(3.12)
Probabilitci, media e deviazione standard nel caso considerato valgono:
Una media p = 1.25 sta a significare che in 12-13 prove mediamente si avranno 10 prove i n cui il success0 capita a1 primo tentativo.
3.3 La distribuzione di Poisson I1 calcolo della densit&binomiale non 6. agevole se n 6. molto grande, a causa dei fattoriali che compaiono dalla formula (2.30). Se, oltre alla condizione n >> 1, la probabilitb dell'evento i? piccola (p << l ) , allora si avranno pochi successi (x << n) e si pub scrivere:
Ponendo poi y = (1 - P ) ~ - " e passando ai logaritmi, si ha:
3.3 La distribuzione di Poisson
I1 limit,e della densiti binomiale per n >> 1 e p lim b ( x ; n , p ) =
,ti00
P+O
lim
I L - , ~
P-10
71
<< 1 diventa allora:
n,! x ! ( n - z)! p3(1 - p)ll-"
da cni, ricordando le (3.6) e ponendo p = n p , ot,teniamo la densiti discreta di Poisson: (3.14) p(x; p) = g e - " ,
x!
che rapprescnta la probabilitA di ottenere u n valore x quando la media dei valon e p. La poissoniaria viene ritenuta in pratica una approssimazione accet,tabile ddla binomiale gii a partire da p > 10 e p < 0.1, come mostrato in Fig. 3.1. Esercizio 3.3 171 11n eittii di 50000 abitanti si veriJicano i n media 5 suicidi l'anno. Galcolare la probabilitri che se ne ar7ifichino 10. Risposta. Applicando la formula binomiale (9.30)abbiamo:
Dalla poissoniana otteniamo inveee:
La. densitA di Poisson 6 normaliezat,a. Infatti:
La media e la varianza. dclla dist,ribuzione di Poisson possono essere trovat,e con lo stesso metodo usato per la distribuzione binomiale nellc (3.2-3.5). Lasciamo come csercizio il calcolo della media, che fornisce, come devc esscre, il paramet,ro p che compare in chiao nella (3.14). Per la w i a n z a , utilizzando lc (2.66, 3.3), si ottiene:
72
Caoitolo 3. Calcolo elementare delle ~robabilith
Fig. 3.1. Densith poissoniana (linea piena) e binomiale (linea tratteggiata) per
n = 10,p = 0.1, p = n p = 1. Per facilitare il confront0 i valori discreti delle curve sono uniti da tratti di retta
Abbiamo pertanto le formule:
da cui risulta che la poissoniana ha media uguale alla varianza.
3.4 Densit3 di Gauss o normale Un altro importante caso limite della densita binomiale & la densita normale o di Gauss. Questa approssimazione B possibile quando il numero di prove i! molto grande: in questo caso solo i valori dello spettro in un intorno del massimo della densita sono importanti. Pensate, ad esempio, a 1000 lanci di una moneta: i valori dello spettro dell'evento testa vanno da 0 a 1000, ma i valori importanti saranno concentrati intorno a1 valore atteso 500, che presumibilmente i: il valore di pib alta probabilita. Non si otterranno praticamente mai valori come 5, 995 e cosi via. Consideriarno allora il caso in cui
ed approssimiamo il fattoriale con la formula di Stirling, valida per x
x! = &xxe-"
e-'=
21
&xxe-x
,
>> 1: (3.18)
73
3.4 Densiti di Gauss o norrnale
dove lexl 5 1/(12x). Questa t: gia una approssimazione molto buona per x 10, dato che exp[-1/120] = 0.992, corrispondente ad un errore relativo de11'8 per mille, come potete facilmente verificare col vostro calcolatore tascabile. Notate pure che ora x B, come richiesto, una variabile continua, che approssima il fattoriale per valori interi. Utilizzando la formula di Stirling, la densita binomiale (2.30) assume la forma:
>
Sviluppiamo ora la densita binomiale nell'intorno del suo punto di massimo. Passando ai logaritmi, otteniamo: In b(x;n,p) = Inn! - lnx! - In(n - x)!
+ x l n p + (n - z ) ln(1 - p) .
I1 punto di massimo si ottiene annullando la derivata prima di In b, utilizzando la formula di Stirling e considerando quindi x come variabile continua:
Con le approssimazioni fatte, la derivata di In x!, vale:
-
1 1 -+l+lnx-1=-+Inx-+ 22 2s
Poichi: d(ln x!)/dx
2
x,>1
lnx
(3.21)
In x, la (3.20) diventa:
Abbiamo ottenuto un primo risultato: per p >> 1, ovvero x >> 1, il valor medio diventa anche il punto di massimo. Eseguiamo ora lo sviluppo in serie di Taylor a1 second'ordine nell'intorno di questo valore. Ponendo sempre y(x) = In b otteniamo:
74
Cawitolo 3. Calcolo elementare delle wrobabiliti
dove la derivata seconda 8 stata ottenuta derivando la (3.22) e il termine in (l/n2) derivando ancora la derivata seconda. Dopo facili calcoli si ottengono le equazioni:
Dato che e g ( n p ) non 8 altro che la densit& binomiale cdcolata nel punto di massimo x = np con la formula di Stirling, dalla (3.19) otteniamo facilmente: b(x = np; n, P)
1
1
-
6
~
~
da cui:
Questa i: una forma approssimata della binomiale che vale per valori di x nell'intorno di p = np, a patto di trascurare i termini di ordine superiore a l / n nello sviluppo di Taylor (3.23). La funzione g(x; n , p), che approssima la binomiale per valori interi di x, pud essere considerata come funzione continua di x. Infatti, il fattore 1
nt=~m'
che compare nella (3.26), 6 una quantita indipendente da x, che 0i per n + oo e che assume il significato di differenziale della variabile t data da:
E allora possibile, passando a1 limite di Riemann, calcolare la somma delle probabilita di un insieme di valori di X , per valori grandi di n , come: P(xl
< X 5 x ~ ) =n+m lirn
$2
b(z; n,p) = lim 1
nt+a
x2
c xl
1
1 ( 2 - n ~ ) at ~
[--
2 np(1 - P)
Questo fondamentale risultato 6 detto teorema di DeMoivre-Laplace. Introducendo p e e definiti nelle (3.6) otteniamo infine:
I
3.4 DensitP di Gauss o norrnale
dove si 6 fatto uso dell'integrale notevole (vedere esercizio 3.4)
75
exp (-z2) dz=
J;;. La densith gaussiana o normale: 1
dx;!-b c)=
exp
[- (x it)2] ,
B quindi normalizzata e permette di calcolare, quando B integrata, la probabilith che un valore x cada in un intervallo vicino alla media p quando la varianza B u 2 . Questa i: di gran lunga la piti importante funzione di densita del calcolo delle probabilita e andrebbe pertanto ricordata a memoria. Esercizio 3.4 Dimostrare che
+m [a
exp(-x2) dx = fi .
(3.29)
Risposta. Posto
e, in coordinate polari:
da cui I = fi.Analogamente, si pud dimostrare che
La media e la varianza della distribuzione binomiale sono ovviamente date, per costruzione, dai parametri p e u che compaiono in chiaro nella (3.28). Tuttavia, utilizzando gli integrali (3.29,3.30), si pui, anche dimostrare direttamente che:
/-, x exp [-2 aff 1
(X) =
-
+0°
(3.31) cT2
76
Capitolo 3. Calcolo elementare delle probabiliti
t
Fig. 3.2. Densit&gaussiana (linea piena) e binomiale (punti) per n = 10, p = 0.4
In statistica dovremo utilizzare il momento di ordine 4 della gaussiana; tramite integrali del tip0 (3.29, 3.30), si pub mostrare che:
A,=-/
1
f i a
+O0
(T - p), exp -,
[- it)2] (x
dx = 3 04 .
(3.33)
La densiti di Gauss approssima la binomiale per p >> 1. Grazie alla rapida convergenza dell'approssimazione di Stirling (3.18), in molti casi si commette un errore minore di qualche per cento gia per p 2 10. Come regola pratica, la funzione di Gauss pub essere sostituita alla binomiale quando sono valide le condizioni p =np
> 10 ,
n(1- p)
> 10
(in ~ratica!) ,
(3.34)
che giustificano in mod0 ragionevole l'approssimazione dello sviluppo (3.23). Se p e 1 - p non sono molto vicine agli estremi dell'intervallo [O, 11, basta la condizione p 2 10. Se invece le probabilita sono molto sbilanciate occorre verificare entrambe le condizioni della (3.34). Si veda la Fig. 3.2, dove viene riportata l'approssimazione gaussiana di una densita binomiale b(x; 10,0.4). In questo caso media e varianza sono date da p = n p = 10 - 0.4 = 4 e 02 = np(1 -p) = 2.4. Pur essendo p = np = 4, n ( l - p ) = 6 < 10, l'approssimazione & gia piu che accettabile. Esercizio 3.5 Utilizzando la distribuzione di Gauss, mlcolare le probabilitlt di ottenere u n dato numero di teste nell'esperimento delle 10 monete di Tab. 2.2.
Risposta. Nell'esperimento delle 10 monete, di cui ci stiamo servendo ripetutamente per afinare la vostra sensibilitci statistica, i valori di media, varzanza e deviazione standard sono dati da:
3.5 Calcolo di distribuzioni in SCILAB
77
Questi valori, inseriti nella (3.28), permettono il calcolo delle probabilitb gaussiane richieste:
Se ricopiamo la Tab. 2.2 e riportiamo i n u n a colonna le probabilith cosi calcolate, otteniamo il risultato: spettro (n. teste)
n. di prove
frequenza
0
0
0.00
probabilitk binom. 0.001
probabilitj gauss. 0.002
d a cui si vede che, pur essendo n p = n ( 1 - p) = 5 < 10, la densitb gaussiana fornisce risultati gici in buon accord0 con la densitb binomiale. P e r questo motivo spesso la condizione (3.34) viene ulteriormente allargata ponendo
3.5 Calcolo di distribuzioni in SCILAB In ambito SCILAB h possibile calcolo di tutte le principali distribuzioni di probabilit2. Esistono infatti delle funzioni di sistema cdfxxx per il calcolo delle cumulative; i caratteri xxx sono riservati a1 tipo di distribuzione richiesta: ad esempio, se xxx vale bin, nor, poi, si ottiene rispettivamente il calcolo delle cumulative delle densitb binomiale, normale o poissoniana. Per tutte queste funzioni, sono possibili i seguenti tipi di chiarnata (per fissare le idee, consideriamo il caso della distribuzione binomiale con parametri n, p): [P,l-P]=cdfbin("Pq",X,n,p,l-p)
78
Capitolo 3. Calcolo elementare delle probabilita
[n]=cdfbin("Xn" ,p,1-p,P, l-P,X) [p,1-p] =cdfbin("PrOmprl',P, 1-P ,X ,n)
In modalita "PQnsi calcola in P il valore cumulativo da zero ad X; la modalith "S" calcola il valore X corrispondente a1 valore cumulativo P; con "Xn" viene fornito il numero n di tentativi relativo ad una binomiale con probabilit& elementare p quando il valore cumulativo tra zero e X i. pari a P; infine, con la chiamata "PrOmpr" viene trovata la probabilith p a partire da n e dal valore cumulativo P tra zero e X. Questa modalith di chiamata sono comuni a tutte le distribuzioni e possono subire alcune variazioni a seconda dei parametri matematici in gioco, che variano da caso a caso. E bene quindi, prima di utilizzare queste routine, consultare il manuale in linea di SCILAB.
3.6 Legge 3-sigma e gaussiana standard La densita gaussiana, oltre ad essere una ottima approssimazione delle distribuzioni binomiale e poissoniana B anche, come vedremo nel prossimo paragrafo, la densita limite della combinazione lineare di pi6 variabili aleatorie. Per queste ragioni essa rappresenta di certo la distribuzione pi6 importante del calcolo delle probabiliti Vogliamo qui discutere una proprieth matematica molto importante di questa funzione, detta legge 3-sigma (o 3a):
0.683 per 0.954 per 0.997 per
k=l k =2 k =3
(3.35)
che, espressa a parole, suona cosi : se X 6 una variabile gaussiana di media ( X ) = p e deviazione standard u[X] = 5, la probabilitb di ottenere u n valore x compreso i n u n intervallo centrato sulla media p e di ampiezza f a b di circa il68%, mentre se l'zntervallo k ampio 1 2 0 essa k di circa il95%; inoltre il valore x pud cadere fuori da u n intervallo di ampiezza f 3 5 solo con una probabilitb di 3 casi su mille In molti casi pratici si assume che i valori dello spettro siano tutti contenuti in un intervallo entrato su p e largo f35 (da cui il nome della legge (3.35)).Le probabilit& definite dalla (3.35) sono dette anche livelli o valori di probabilitb gaussiani. I1 calcolo dell'integrale (3.35) & difficile in pratica, perch6 la primitiva E(x) della gaussiana:
79
3.6 Legge 3-sigma e gaussiana standard
non k nota anditicamente (strano, ma vero!). L'integrale viene di solito valutato con metodi numerici, sviluppando in serie l'esponenziale e calcolando numericamente il limite della serie integrata. Si ottengono in questo mod0 i livelli di probabilita della (3.35). Sembrerebbe a questo punto necessario, per ogni gaussiana di media e deviazione standard assegnate, procedere per via numerica a1 calcolo delle probabilita cumulative negli intervalli di interesse. Questa complicazione pub essere perb evitata ricorrendo ad una gaussiana universale o gaussiana standard, che si ottiene definendo una variabile fondamentale in statistica, la variabile standard
T=
a
x-P , che assume i valori t = a
(3.37)
la quale misura lo scarto di u n valore x dalla sua media in unitci di deviazion e standard. Applicando le (2.62, 2.64, 2.65) k facile vedere che la variabile standard ha media nulla e varianza unitaria. Se ora operiamo il cambio di variabile (3.37) nell'integrale (3.36) otteniamo: 1 E(X) = -enp dt .
G
Ix (-g) 0
Questa primitiva, come B facile verificare, it legata alla nota funzione degli errori (error function) Erf(x) dalla relazione:
\
,
Essa pub essere calcolata una volta per tutte, essendo indipendente da p e a. PoichB la gaussiana B una curva simmetrica, vale anche la condizione
Considerando ora la trasformazione t = ziale, si ottiene:
4z ed integrando la serie esponen-
La somma di questa serie si trova tabulata in tutti i testi di statistica (nel nostro la trovate in appendice D nella Tab. D.1 a pagina 481), ed k presente come routine di libreria in molti prodotti software di uso scientifico. In
80
Caoitolo 3. Calcolo elementare delle wrobabilita
Fig. 3.3. Gaussiana standard g(z; 0'1) (3.42) e corrispondente cumulativa @(z) (3.43)
SCILAB i: disponibile la funzione degli errori erf con 7 cifre decimali. Invertendo la (3.39) l'integrale E(x), pub essere calcolato con l'istruzione: 0.5*erf (x/sqrt (2))
che pub essere usata in alternativa alla Tab. D.l, ottenendo anche un risultato piii accurato con 7 cifre significative. La primitiva (3.38) corrisponde ad una densith gaussiana standard
di media zero e deviazione standard unitaria. Una distribuzione avente densit&gaussiana (3.28) viene chiamata normale ed indicata spesso con N(p, g2); la variabile aleatoria corrispondente a volte viene indicata con X -- N(p, 0 2 ) , o T N(0, I), se i: standard. I1 simbolo significa "distribuito come". La funzione cumulativa della gaussiana standard, rappresentata in Fig. 3.3, viene invece indicata solitamente con @(x): N
N
Essa i! legata alla funzione (3.38) dalla relazione:
che vale anche per x < 0 grazie alla (3.40). In sostanza, il calcolo delle probabilitA integrate, con qualunque gaussiana, pub sempre essere ricondotto a1 caso della gaussiana standard, di media nulla e varianza unitaria, per il quale esiste una tabella universale. Chiariamo ~ ' U S O di questa tabella con alcuni esempi.
3.6 Legge 3-sigma e gaussiana standard
81
Esercizio 3.6 Trovare la pro Risposta. La variabile standard (3.37), nei due estremi del17intervallo da considerare, vale i n questo caso * l ; dalla Tab. D.1, riportata i n appendice D, per t = 1.00 (1.0 si legge nella riga e l'ultimo zero nella colonna i n alto) si ha P = 0.3413. Poiche' la tabella dci l'integrale tra zero e t , dobbiamo raddoppiare questo valore. Otteniamo pertanto P { p - CJ X 5 ,LA CT} = 2 x 0.3413 = 0.6826, i n accordo con la (3.35). S i noti che la tabella fornisce valori solo per 0 t 5 0.5, dato che la gaussiana standard i! simmetrica rispetto all 'origine.
<
+
<
Esercizio 3. Qual i! la pro deviazione standard 3, valori di X pid grandi di 12 oppure -2 5 X
5 12?
Risposta. La variabile standard (3.37) vale in questo caso
Dalla cumulativa @(z)di Fig. 3.3 si vede che la probabilitci di ottenere valori x > 2.33 b molto piccola. Un valore precis0 lo si pud ottenere dalla Tab. D.l, dove i n corrispondenza di questo valore si legge il valore 0.4901, che rappresenta la probabilitci di ottenere valori tra 0 e 2.33. Le probabilitci cercate sono date allora da:
Esercizio 3.8 Quali sono gli no del95% 2 Risposta. Si chiede di trovare u n numero reale t tale che P { p - t a 5 X 5 p t a ) = 0.95. Dalla Tab. D.1 si legge, i n corrispondenza di una probabilith pari a 0.95/2 = 0.475, il valore t = 1.96. La risposta 6 pertanto: la probabilitci del 95% si ottiene integrando la gaussiana i n u n intervallo ampio 1 . 9 6 ~e~ centrato sulla media. Infatti
+
82
Capitolo 3. Calcolo elernentare delle probabiliti
3.7 11 teorema Limite Centrale: universalit2 della gaussiana La densit&gaussiana appare fin qui come limite per medie elevate della densiti binomiale. Tuttavia, un teorema fondamentale, proposto da Gauss e da Laplace nel 1809-1812 e dimostrato in mod0 generale agli inizi del '900, assegna ad essa un ruolo cruciale nel calcolo delle probabilitk, sia per le variabili continue sia discrete. Questo i: il Teorema 3.1 (Limite Centrale o C e n t r a l e Limite). Sia Y u n a variabile aleatoria combinazione lineare di N variabili aleatorie Xi (si veda la(2.9)) con la relativa discussione)
dove ai sono coeficienti costanti. S e a) le variabili Xisono tra loro indipendenti (si veda la (2.10)); b) le variabili X i hanno varianza finita; c) le varianze ( o deviazioni standard) sono tutte dello stesso ordine di grandezza:
n[X'l = 0(1) per ogni i , j ; (3.46) 4Xjl allora, per N + oo, la variabile aleatoria YN converge i n legge, secondo la (2.74), verso la distribuzione gaussiana. S i ha pertanto, in termini dz funzioni dz ripartizione:
dove @(z) R la funzione di ripartizione della gaussiana standard (3.43). Dimostrazione. La dimostrazione del teorema, per variabili auenti tutte la stessa distribuzione, fa uso delle funzioni generatrzci ed b riportata in appendice B. Anche la formula di DeMoivre-Laplace (3.27) v a vista come u n caso particolare del teorema nel caso della s o m m a di variabili di Bernoulli. S i puo anche dimostrare, pi3 in generale, che il teorema vale per s o m m e di variabili, sia discrete sia continue, aventi ognuna u n a distribuzione diversa [22]. Tuttavia, b essenziale che le variabili Xi siano tra loro indipendenti (condizione a)), e che esse, se prese singolarmente, abbiano debole influenza sul risultato finale (condizioni b) e c)). Va per6 subito notato un fatto piuttosto strabiliante e di estrema importanza, che si verifica in pratica: alla condixione N -t oo si pud sostituire con buona approssirnaxion,e la condixione N 2 10. 0
83
3.7 11 teorema L i m i t e Centrale: universalit5 della gaussiana
In sostanza il teorema afferma che una variabile aleatoria tende ad avere densitB di Gauss se essa B la sovrapposizione lineare di piu variabili aleatorie indipendenti, numerose, e, se prese singolarmente, di debole influenza sul risultato finale. Parlando un po' liberamente, possiamo dire che il teorema assegna alla gaussiana il ruolo di una funzione universale a cui tendono le variabili di sistemi ad "alto equilibrio statistico". Ancora piG interessante B il fatto che la pratica e le simulazioni a1 calcolatore mostrano che N non deve essere poi tanto grande. Come gia evidenziato nella dimostrazione del teorema, B lecito utilizzare la condizione N 10. Spesso si dice: "gli sperimentatori usano la gaussiana perch6 pensano che i matematici abbiano dimostrato che essa i: la curva universale; i matematici la usano perch6 pensano che gli sperimentatori ne abbiano in pratica dimostrato I'universalitB ...". Questa affermazione, un po' semplicistica, andrebbe sostituita con la seguente: spesso le variabili aleatorie seguono la distribuzione gaussiana perch6 sono verificate abbastanza bene le condizioni del teorema Limite Centrale. Esistono tuttavia numerose ed importanti eccezioni a questa regola generale, la quale va considerata spesso come un indispensabile punto di riferimento, ma non va applicata alla cieca. Ecco alcuni esempi di variabili aleatorie che, in accord0 col teorema, si distribuiscono in mod0 gaussiano:
>
l'altezza o il peso di una popolazione di individui etnicamente omogenei; il peso dei fagioli contenuti in una scatola (provare per credere ...); r i valori dei quozienti di intelligenza di un gruppo di persone; r la media di un campione con numero di eventi maggiore di una decina: in questo caso le condizioni a)-c) del teorema sono senz'altro soddisfatte, perch6 le variabili sono indipendenti e le loro varianze sono tutte uguali; r le componenti della velocita delle molecole di un gas perfetto. r
r
Le grandezze seguenti non sono invece di tip0 gaussiano: l'energia delle molecole di un gas perfetto: essa B proporzionale a1 modulo quadrat0 del vettore velocith (che ha componenti gaussiane) e quindi viene meno la condizione di linearit& (3.45). Dimostreremo tra breve che il modulo quadro di un vettore di componenti gaussiane indipendenti segue una distribuzione particolare, detta di X 2 (chi-quadrat0 o chi-quadro). In tre dimensioni, questa distribuzione i: la famosa distribuzione di Maxwell, ben nota ai fisici; come vedremo tra breve, i tempi di arrivo di eventi poissoniani non si distribuiscono second0 una gaussiana.
84
Capitolo 3. Calcolo elementare delle probabiliti
3.8 Processi stocastici poissoniani Nei processi stocastici le variabili aleatorie dipendono da un parametro continuo o discreto. In q u e s t ~paragrafo tratteremo un caso molto frequente, quello in cui il parametro continuo che si considera i: il tempo. Per questa classe di fenomeni la distribuzione di Poisson riveste un ruolo fondamentale: essa non va pertanto considerata solo come una semplice approssimazione matematica della distribuzione binomiale, ma, analogamente a1 caso della gaussiana, come una legge universale della natura. Consideriamo un processo stocastico in cui una sorgente genera eventi
a) discreti, in mod0 tale che in un intervallo infinitesirno di tempo dt si generi a1 piQ un evento; b) con probabilith per unit&di tempo X costante e uguale per tutti gli eventi generati. Questa quantit&, di dimensione s-l, rappresenta la frequenza di emissione per unit& di tempo (per esempio, il numero di eventi a1 secondo). Questa proprieth implica che il numero medio di eventi contati in un intervallo dipenda solo dalla larghezza dell'intervallo, e non dalla sua posizione lungo l'asse dei tempi; c) indipendenti tra loro. In altre parole, i conteggi degli eventi in intervalli di tempo disgiunti sono variabili aleatorie indipendenti. Un fenomeno stocastico che obbedisce alle condizioni a)-c) si chiama processo stazionario di Poisson. Quale s a r i la legge statistica del numero di eventi generati entro un intervallo di tempo misurabile At ? La risposta B facile se si definiscono le quantith seguenti: 0
0
il numero di tentativi N = A t l d t . Se At i! una quantith macroscopica misurabile e dt i: un differenziale, si ha sempre N >> 1. Notate che si considera come durata di un tentativo utile alla generazione di un evento la quantith differenziale o comunque molto piccola dt; i: questa l'ipotesi cruciale di tutto il ragionamento che stiamo sviluppando; la probabilith p = Xdt di osservare un evento in un tentativo di durata dt. Si ha sempre p << 1 se il processo di emissione B discreto e dt i: un differenziale; il numero medio p = XAt di eventi generati entro At.
I1 processo di emissione degli eventi pub allora essere visto come la probabiliti binomiale di avere {X = n ) successi in N = ( A t l d t ) >> 1 tentativi quando la probabilith elementare di un successo B p = X dt << 1. Tenendo presente i risultati del par. 3.3, 6 immediato dedurre che il conteggio X(At) in un intervallo At in un processo di emissione discreto non pub che essere una variabile aleatoria che segue la legge di Poisson, con p = XAt. Dalla (3.14) otteniamo: (AAtIn e-AAt P { X ( A t )= n) = p, (At) = n!
3.8 Processi stocastici ~ o i s s o n i a n i
85
E facile mostrare che, se vale la (3.47), i conteggi in intervalli di tempo disgiunti sono variabili aleatorie indipendenti (si veda il problema 3.13). Alla legge di Poisson obbedisce una classe veramente vasta di fenomeni: il numero di pesci pescati in un70rain condizioni ambientali costanti, il numero di auto che si fermano a un semaforo a paritj di giorno ed ora nel corso, poniamo, di un mese (se non vi sono eventi eccezionali), il numero di fotoni emessi da un insieme di atomi eccitati, il numero di particelle nucleari emesse da una sorgente radioattiva, il numero di stelle cadenti osservate in 10 minuti in una sera di agosto, il numero di incidenti stradali in un anno se non vengono presi nuovi provvedimenti per la sicurezza, . . . insomma, tutti quei casi in cui una sorgente stabile (A costante) emette eventi discreti (Xdt << 1) ed indipendenti. Fin qui abbiamo considerato le proprieta della sorgente degli eventi; qua1 B il ruolo dell'osservatore o dell'apparato di conteggio? L'osservazione del fenomeno non altera la statistica poissoniana se l'apparato di rivelazione o conteggio (l'occhio, uno strumento o un apparato comunque complicato) ha un tempo morto e un tempo di risoluzione piccoli rispetto a1 tempo medzo rli arrivo degli even&. Per tempo morto si intende il tempo d~xranteil quale lo strumento resta inattivo dopo il conteggio di un evento (in un contatore Geiger, ad esempio, questo tempo b dell'ordine del millisecondo); per tempo di risoluzione si intende il tempo a1 di sotto del quale l'apparato non registra pih tutti i conteggi (per l'occhio questo tempo i! di poco inferiore a1 secondo, per gli strumenti meccanici si va dalla frazione a1 millesimo di secondo, per gli strumenti elettronici si arriva a1 miliardesimo di secondo o anche meno). In sostanza, un evento che arriva entro il tempo morto non viene registrato, due o pib eventi che arrivano entro il tempo di risoluzione vengono registrati come un solo evento. E chiaro allora che la statistica poissoniana originale non viene alterata se la probabilita di arrivo di un evento entro il tempo morto e la probabilita di arrivo di piu di un evento entro il tempo di risoluzione sono entrambe trascurabili. I1 numero di eventi emessi e/o contati in un tempo finito At non i: l'unica variabile aleatoria importante di un process0 stocastico: fondamentale b anche la variabile deatoria tempo di arrivo T dell'evento successivo rispetto al precedente. Dimostriamo ora un'ulteriore e importante legge statistica fondamentale della natura: la legge esponenziale negativa dei tempi di arrivo. Azzeriarno l'orologio ad un tempo arbitrario t = 0 oppure su117ultimo evento registrato: il tempo T che scorre prima che arrivi un altro evento B una variabile aleatoria che & determinata dalla probabilitii composta di non registrare nulla fino a un tempo t e che venga registrato un evento in (t, t+ dt]. Ponendo nella (3.47) n = 0, abbiamo po ( t )= e c x t , mentre, in base alla definizione di A, la probabilita di arrivo in (t,t + d t ] b data semplicemente da X dt. La variabile T ha dunque una densith di probabilita di tip0 esponenziale negativo: (3.48) e(t) dt = po (t)X dt = ~ e - ' ~dt , t 0 .
>
86
Ca~itolo3. Calcolo elernentare delle probabilita
Fig. 3.4. La densita dei tempi di arrivo i: di tip0 esponenziale negativo come mostrato nella curva a) della figura, che si riferisce ad un flusso medio di 0.1 eventils (A = 0.1 sP1, 1 evento ogni 10 secondi). La curva b) B una gaussiana di media 10 secondi e deviazione standard arbitraria di 4 secondi, che costituisce un esempio della rappresentazione intuitiva (ma errata!) che spesso si ha dei fenomeni stocastici
t (secondi)
E facile vedere che essa & normalizzata e che media e varianza sono date da:
L'equivalente nel discreto della densith esponenziale B la densitb geometrica (3.7). E facile infatti vedere che, per p <( 1, il logaritrno di questa equazione diventa: lng(n) = lnCp(1 - P)~-'] = l n p
+ (n
-
1) In(1- p)
+ lnp
-
(n - l ) p ,
e quindi: g(n) p
y pe-(n-l)~
.
(3.50)
I1 risultato ottenuto si presta ad alcune considerazioni interessanti. La rappresentazione intuitiva che spesso si ha dei tempi di arrivo di un flusso di eventi (10 eventi a1 secondo, poniarno) F: di tip0 gaussiano: gli eventi dovrebbero arrivare ad intervalli di circa 1/10 di secondo, con piccole fluttuazioni simmetriche intorno a questo valore. Questa rappresentazione intuitiva d completamente sbagliata: l'arrivo degli eventi F: regolato dalla legge esponenziale, secondo la quale eventi ravvicinati nel tempo sono molto pi& probabili di eventi separati da lunghi intervalli di attesa (si veda la Fig. 3.4). Questo effetto F: ben visibile con i contatori che spesso si usano in laboratorio: gli eventi sembrano arrivare "a grappoli" separati da lunghe attese, dando l'impressione ai non esperti di malfunzionamenti strumentali. In realta, questa apparente correlazione temporale & proprio dovuta alla assoluta mancanza di correlazione tra gli eventi! Eventi rari come gli incidenti o le calamith naturali spesso avvengono a breve distanza di tempo, generando la (falsa) credenza di misteriose correlazioni tra le sciagure. In realtb si tratta quasi sempre di effetti dovuti
87
3.8 Processi stocastici poissoniani
a1 caso, che si riflettono in alcuni detti popolari quali "non c'e il due senza il tre . . .", oppure "le disgrazie non vengono mai sole . . .". Forse questi sono da annoverare tra i pochi proverbi che hanno un qualche fondamento sperimentale . . .. Dato che la densith esponenziale negativa non h a la classica forma "a campana" , la media in questo caso non dice molto su dove i dati si localizzano. E allora pih utile rifarsi alla funzione cumulativa della (3.48), che si ottiene facilmente dalla (2.34):
Questa funzione fornisce la probabilitj di arrivo di almeno u n evento in [0, t]. La probabilitj di non osservare eventi fino a t & ovviamente data da:
che coincide con la densith di Poisson (3.47) quando n = 0. Esercizio 3.9
veicoli. Qua1 b la probabilitd di osservare, tra u n veicolo ed il successive, u n intervallo di tempo minore di 10 secondi ed uno di pili Zungo di 5 minuti? Risposta. I1 tempo medio tra due veicoli successivi b dato da
cui corrisponde una probabilitd o frequenza media di arrivo pari a
Applicando la (3.51) con t = 10 s si ottiene:
La probabilitd di osservare intervalli pi3 lunghi di t = 5 m i n = 300 s b data invece da:
Vogliamo ora mostrare che l'esponenziale negativa B l'unica forma funzionale che assicura I'indipendenza temporale degli eventi. Siano A = {T > t At) e 3 = {T > t ) gli eventi: "non si sono registrati arrivi fino a t At" e "fino a
+
+
88
Caoitolo 3. Calcolo elementare delle orobabilits
+
t" rispettivamente. Ovviamente {T > t At) c {T > t ) , perch6 se si verifica A si B verificato anche B, per cui P ( A n B) = P ( A ) (l'intersezione degli eventi non corrisponde a quella degli intervalli di tempo!). La probabilith condizionata (1.19) vale in questo caso:
Come si vede, I'informazione sull'assenza di eventi fino a t non ha alcuna influenza sulla legge di probabilitb dei tempi successivi. La legge esponenziale rimane invariata, qualunque sia l'istante t in cui si decide di azzerare l'orologio; essa descrive pertanto i sistemi detti senza memoria. Basta perb combinare tra lor0 piG sistemi senza memoria per avere sistemi con memoria le cui densith di probabilita temporali non soddisfano la (3.53); si vedano, nei prossimi due capitoli, l'esercizio 4.1 ed il problema 5.8. L'indipendenza t r a i conteggi in intervalli di tempo separati (condizione c) di pagina 84) implica anche l'indipendenza degli eventi "c'i: un arrivo a1 tempo t" e "non ci sono arrivi in (t, t At]". Vale pertanto la relazione:
+
P{T
> AtlT = t )
= P{T
> At}
= e P X A t,
da cui si vede che i tempi t r a gli arrivi (intertempi) sono uariabili aleatorie indipendenti di legge esponenziale negatiua. Per descrivere sistemi biologici o dispositivi dotati di memoria, che tendono a "invecchiare", di solito si usa una variante della funzione esponenziale, detta densit&di Weibull:
I parametri a e b vengono spesso determinati empiricamente dall'analisi dei dati. La curva di Weibull, per a = b = 1, i: l'esponenziale negativa; tende invece ad assumere una forma a cam ana per b > I. La corrispon7 dente funzione cumulativa vale F ( t ) = So w(t) dt = 1 - exp(-atb/b). Se ad esempio a = 2, b = 2, allora w(t) = 2texp(-t2) e dalla (3.53) risulta P{T > t + At It} = e x ~ [ - ( A t )-~ 2tAtl. La probabilith di non avere eventi fino a t + A t (ovvero la probabilith di vita, se l'evento i: la rottura del sistema) diminuisce se aumenta t. Generalizziamo ora la legge esponenziale ad eventi poissoniani non contigui, dove interessa il tempo del k-esimo evento. Gli eventi registrati sono in questo caso separati da k - 1 eventi, come in Fig. 3.5. Ponendo nella (3.48) pk-1 (t) a1 posto di po(t), otteniamo facilmente la densita erlanghiana di ordine 5 o densita gamma di Fig. 3.6: ek(t) = A- (At)'.-I .-At_ ( k - I)!
-
A* tk-1 e - A t r(k)
,
t
20 ,
(k
-
1)
>0,
(3.55)
3.8 Processi stocastici poissoniani
89
I
tempo zero
tempo zero
Fig. 3.5. Definizione di evento k-esimo nella densith gamma, relativa ai tempi di arrivo di eventi non contigui
dove r ( k ) = (k - I)! per k intero (andate a vedere, pih avanti, la 3.63). La media e la varianza di questa densit& sono date da:
Per eventi contigui, k - 1 = 0 e riotteniamo le (3.48-3.49). Quando k aumenta, la media e la varianza aumentano e la densit& del flusso X L = l / p diminuisce. La densit&gamma B per costruzione la densith della somma di k variabili aleatorie esponenziali negative indipendenti. Si pub ottenere questo risultato anche con la teoria delle funzioni di variabili aleatorie, che svilupperemo nel cap. 5 (si veda il problema 5.5). Tra le densit&di Poisson e di Erlang 6 facile mostrare che sussiste l'utile relazione: -dpkI' - e i (t) - e i + (t) ~ . dt Abbiamo visto che dalle condizioni a)-c) di pagina 84, che definiscono il process0 stazionario di Poisson, discende la (3.47), che implica la densit& esponenziale negativa dei tempi di arrivo. Mostreremo ora che vale anche l'inverso se gli intertempi sono indipendenti e di legge esponenziale negativa. Infatti, sviluppando in serie le (3.51, 3.52) segue che la probabilith di osservare un evento in un intervallo infinitesimo vale Xdt e quella di osservare pic eventi B trascurabile (un infinitesimo di ordine superiore). Inoltre, se si verificano k conteggi entro t , significa che t sta tra i tempi di arrivo Tk e Tk+l, dell'evento k-esimo e (k 1)-esimo rispettivamente. Dato che P I T k t)= P{Tk 5 t < T ~ + I } + P { T ~ + t }~,vale la relazione:
<
+
<
dove nell'ultimo passaggio si i: fatto uso della (3.57). Avendo ritrovato la legge di Poisson, che implica l'indipendenza dei conteggi in intervalli di tempo disgiunti, in definitiva si arriva a1 seguente
90
Ca~itolo3. Calcolo elementare delle probabilit2
Fig. 3.6. Densith gamma per X = 1 e vari vaiori di k
Teorema 3.2 (Indipendenza stocastica). Condizione necessaria e S U B ciente perch4 u n process0 sia stazionarzo di Poisson b che gli intertempi siano indipendenti ed abbiano Eegge esponenzzale negativa.
3.9 La densita X 2 Se un vettore ha come componenti delle variabili aleatorie gaussiane, quale sar&la densit& di probabilit& del suo modulo quadrato? Questo problema riguarda la determinazione della densitb di probabilitb di una variabile aleatoria funzione di pih variabili aleatorie e verrb affrontato in generale nel cap. 5. Tuttavia, qui anticipiamo un risultato particolare, relativo alla densitb x2,la quale ha un ruolo importante nell'ambito delle densitb di probabilitb monodimensionali, che stiamo qui illustrando. Vogliamo trovare la funzione di densitb della variabile
somma dei quadrati di n variabili standard gaussiane tra lor0 indipendenti. Notiamo subito che la trattazione vale in generale per variabili gaussiane indipendenti, perch6 una variabile aleatoria pub sempre essere resa standard attraverso la trasformazione (3.37). Indichiamo con FQ( q ) la cumulativa della funzione di densitb che stiamo cercando: essa db la probabilita P{Q 5 q ) che la variabile Q sia compresa entro una ipersfera di raggio &. Poichk le variabili Xi provengono dalla densitii gaussiana standard (3.42) e sono indipendenti, la probabilitb cercata sarh data, in base alle (1.22, 1.23. 2.10), dal prodotto delle probabilitb di
ottenere un insieme di valori (21,x2,. . . ,xn) sommato (integrato) su tutti gli x: 5 q. Si ha quindi: insiemi che soddisfano alla condizione
Ci
dove la produttoria nell'integrando viene dal teorema delle probabilita composte e dalle (1.22, 1.23) ed il legame funzionale tra Q e le variabili Xi compare solo nella definizione del dominio di integrazione. Se passiamo alle coordinate sferiche ponendo = r , l'integrando risulta indipendente dagli angoli e il vincolo funzionale (3.58) dB luogo ad una integrazione sul raggio dell'ipersfera. Per un noto risultato della geometria differenziale, sappiamo che l'elemento di volume integrato sugli angoli si trasforma, passando da una sfera tridimensionale a.d una. ipersfera di uno spazio ad n dimensioni, come: Jdn
=Idn
r2sen 6 d r df3 dq5 = 4nr2 dr
+ D rn-'
dr
dove D b una costante ottenuta integrando sulle variabili angolari. L'integrale (3.59) diventa allora:
dove Fo comprende tutti i fattori costanti apparsi nel calcolo. Se ora operiamo il cambio di variabile
e conglobiamo ancora tutti i fattori costanti in Po, possiamo esprimere FQ (q) come: e-3 q2-' dq , F Q ( ~ )= FO (3.60)
iq
che i:la primitiva della funzione di densita X 2 che stiamo cercando. Abbiamo pertanto, dalla (2.36):
Ovviamente, questa funzione 6 definita solo per q imponendo la condizione di normalizzazione
2 0. La costante Fo si trova
92
C a ~ i t o l o3. Calcolo elementare delle orobabiliti
Per la valutazione di questo integrale si deve ricorrere all'integrale notevole (lo potete trovare su molte tavole standard di matematica):
dove r ( p ) , detta funzione gamma, si pub ottenere integrando ripetutamente per parti la (3.62):
r(p+i)
(i) (k) fi
= P ( ~ - I ) ( ~ - ~ ) . .-.
per p semi-intero.
Dalle (3.61-3.62) otteniamo infine la densiti:
la quale individua la distribuzione statistica del modulo quadro di un vettore di n componenti gaussiane indipendenti. Se le componenti linearmente indipendenti fossero pari a v < n, allora nella (3.58) la somma pub essere trasformata in una combinazione lineare dei quadrati di u variabili gaussiane indipendenti e la funzione di densiti 6 sempre data dalla (3.64), se si opera la sostituzione n + v. Le variabili linearmente indipendenti di una distribuzione X 2 si chiamano gradi di liberth. Nella letteratura fisica internazionale si usa quasi sempre la notazione unica X 2 per indicare la distribuzione, la variabile aleatoria e le sue realizzazioni numeriche (!) . Poichk questa ci sembra una disinvoltura eccessiva, per restare (parzialmente) coerenti con il nostro testo, noi indicheremo con Q una variabile aleatoria che ha una distribuzione X2 di densita (3.64) e con x2 (e non con q) i valori numerici di Q ottenuti in prove specifiche. Diremo quindi che Q (v) X2(u) assume valori x2. Con questa notazione la densit&(3.64) con u gradi di liberta della variabile Q viene scritta come:
-
la quale, come & facile vedere dalle (3.62, 3.63), ha media e varianza pari a
93
3.9 La densita y 2
Fig. 3.7. Densit&X 2 ridotto per vari gradi di liberth
1
/
( Q ) = ---;22r(2)
Spesso si usa la distribuzione
X2
00
~ ( x ) g - l e - %d x Z v
0
ridotto della variabile
la quale, in base alle (2.62, 2.63, 3.66, 3.67), ha media e varianza date da:
Nella Tab. D.3 dell'appendice D sono riportati i valori dell'integrale della densitj x2 ridotto (vedere Fig. 3.7):
11(") & 00
P { Q R ( 2~ ~ k ( v ) I =
vT
~f-'exp(-?)
ds,
(3.70)
ottenuto applicando la trasformazione (3.68) alla (3.65). La tabella fornisce la probabilita di superare un valore assegnato di Di essa si far& ampio uso in statistics. Possiamo riassumere questi risultati, trovati d a Helmert nel 1876 e generalizzati da Pearson nel 1900, con il
Xi.
Teorema 3.3 (di Pearson). La somma dei quadrat2 di v variabili gaussiane indipendenti b una variabile aleatoria che ha densitci chi-quadrat0 (3.65) con v gradi di libertci, detta X 2 (v).
94
Capitolo 3. Calcolo elementare delle probabiliti
Sar&utile nel seguito anche il seguente
Teorema 3.4 (Additivith della variabile x2). Siano Q1 e Q 2 due variabili aleatorie indzpendenti. S e esse hanno densitci X 2 con u1 e u2 gradi di libertci rispettivamente, la variabile
-
x2(vl ha una densitb x 2 ( v ) con v = vl + u2 gradi di libertci: Q Inoltre, se Q x 2 ( v ) e Q 1 X 2 ( u 1 ) ,allora Q 2 x2(v- U I ) .
+u~).
Dimostrazione. La dimostrazione della prima parte del teorema 6 immediata e pui, essere vista come u n lemma del teorema di Pearson 3.3: poiche' la somma dei quadrati di vl variabili standard indipendenti si distribuisce come x2, se a queste vl se n e aggiungono, tramite la (3.71), altre u2 indipendenti, la somma risultante b u n a s o m m a dei quadrati di y u2 variabili gaussiane standard indipendenti, da cui l'enunciato. Anche la dimostrazzone della seconda parte b facile se si utilizzano le funzioni generatrici dell'appendice B e la (B.lO). Nell'applicare il teorema occorre ricordarsi sempre che esso vale per variabili 0 Q x2, n o n per le variabili ridotte Q R X$ della (3.68).
+
-
-
In SCILAB le probabilita della distribuzione X 2 non ridotto con DF gradi di libertL vengono calcolate con la funzione cdlchi nei modi seguenti: [P, I-PI =cdf chi ("PQ",X ,DF) [XI =cdf chi ("X" ,DF,P, I-P) [DF] =cdf chi ("DF" ,P,1-P ,XI
Nel mod0 "PQ" il risultato P contiene il valore cumulativo da zero ad X; la modalit& "X" calcola il valore X corrispondente a1 valore cumulativo P; con "DF" viene calcolato il numero DF di gradi di liberta per il quantile Xp, cio& quando ad un valore X dello spettro corrisponde una probabilita cumulativa P.
Come vedremo nei prossimi esercizi, la densit& x2 h di importanza fondamentale non solo in statistica, ma anche in fisica.
Esercizio 3.10 Trovare la distribuzione statistica del modulo R di un vettore tridimensionale avente componenti gaussiane indipendenti ( X , Y,Z) di media nulla e varianza g2.
Risposta. Supponiamo per un momento le componenti siano standard con varianxa unitaria. La densitd del modulo quadrat0 del vettore b data allora dalla (3.64) con n = 3:
poiche'r(3/2) = r ( 1 / 2 + 1 ) = f i / 2 dalle (3.63). Questa densitd rappresenta la probabilitd che il quadrato del modulo del vettore sia compreso i n ( q , q+dq). Dato che d richiesto il modulo del vettore ( n o n il suo quadrato), operiamo la trasformazione
ottenendo: (3.72) Finora abbiamo considerato le variabili ( X ,Y ,2 ) come gaussiane standard. Per tenere conto della varianza n o n unitaria, operiamo la trasformazione
che porta a ridefinire r come:
Sappiamo che R t: il nzodulo di u n vettore di componenti gaussiane n o n standard ( X ,Y ,2 ) aventi varianza finita f f 2 . Inserendo la trasformazione nella
che b la famosa densitd di Maxwell o maxwelliana. Poiche' R2/a2 b u n a variabile X 2 con 3 gradi di lzbertd (cioh X 2 ( 3 ) ) , essa ha come media e varianza, i n base alle (2.63, 3.66, 3.61;), i valori
e quindi
( R ~=) 3a2 ; v~I-[R'] = 6a4 .
(3.74)
Esercizio 3.11 Trovare la densitd di energia delle molecole di u n gas perfetto alla temperatura assoluta T .
(V,, V,, V,) della velocitd delle molecole sono variabili aleatorie che soddisfano alle condizioni del teorema Limite Centrale 3.1. 11 modulo della velocita sara pertanto dzstribuito secondo la maxwelliana (3.73). Se teniamo conto delle note relazioni tra l'energia cinetica e la velocitd di una molecola di massa m:
Risposta. I n u n gas perfetto le componenti
98
Capitolo 3. Calcolo elementare delle probabilita
-
Dimostrazione. La probabilitd che un valore X sia compreso entro [xl,x2] 13 identical per costruzione, alla probabilitd che la variabile cumulativa C sia compresa entro i valori [q G ~ ( x l )c2, c ( x ~ ) ] Utilizzando . la (2.34) abbiamo allora:
da cui si vede che C
N
U ( O , l ) lpoiche' soddisfa la relazione (3.81) con (b-a) =
1.
0
L'importanza concettuale e pratica del teorema non vi deve sfuggire: la variabile cumulativa 2 sempre u n i f o m e , qualunque sia la distribuzione d'origine. Se l'integrale (3.82) k noto per via analitica, allora i valori della variabile cumulativa C sono esprimibili come una funzione nota c = F(x). Se questa funzione 6 invertibile, allora la variabile
h a densit2 p(x). Se si dispone di un generatore di variabili uniformi in [O,1] (una roulette o una funzione random su calcolatore), si possono generare variabili aventi u n a densitd qualsiasi utilizzando l'equazione:
X = F - I (random) .
(3.85)
L'estensione del teorema 3.5 a variabili discrete richiede un minimo di attenzione e l'utilizzo della (2.29) di pagina 46. Se C i: una variabile uniforme, tenendo presente che la cumulativa F(x) k definita in [0, 11, dalla (3.81) otteniamo:
L'equiwlente nel discreto della (3.85), se si dispone di un generatore random, diventa allora:
{X = xk) se {F(zk-1) < random
< F(xk))
(se k = 1, F(xO) = 0) . (3.87) Sulle (3.85, 3.87) si fondano tutti i metodi di simulazione Monte Carlo, su cui torneremo in dettaglio nel cap. 7. La formula (3.84) ha una convincente interpretazione grafica, che riportiamo in Fig. 3.9. Consideriamo le probabilita P ( x l 5 X 5 x2) e P{x3 5 X 5 2 4 ) definite entro i valori [x1,x2] e [x3,x4]: esse sono rappresentate dalle aree sottese dalla funzione di densit&p(x) ed ombreggiate in Fig. 3.9. L'area relativa ai valori meno probabili compresi in [xl , x2] 6 minore
96
Capitolo 3. Calcolo elernentare delle probabiliti
possiamo scrivere:
Se ora usiamo la nota relazione tra varianza e temperatura,
dove K 6 la costante di Boltzmann, otteniamo infine:
che 4 la famosa funzione di Boltzmann. Dalle (3.74, 3.75) si ottiene u n altro fondamentale risultato della terrnodinarnica, quello che lega l'energia cinetica media ( U ) della molecola alla temperatura assoluta:
A questo punto vorremmo farvi notare che abbiarno ottenuto, in questo esercizio e nel precedente, alcuni risultati fondamentali della j-isica statistica utilizzando come ipotesi jisiche solo il teorema Limite Centrale e le relazioni (3.75).
3.10 La densiti uniforme Una variabile deatoria X continua, che assume valori nell'intervallo finito [a,b], si dice uniforme in [a,b] e si denota con X U ( a ,b) quando ha una densitj di probabilith costante, detta densit&uniforme o piatta (riportata in Fig. 3.8), data da:
-
E facile vedere che la condizione di normalizzazione
i: soddisfatta e che media e varianza sono date da:
3.10 La densit3 uniforme
97
Fig. 3.8. Densit& uniforme u(x) e corrispondente funzione cumulativa F ( x ) di
una variabile aleatoria che assume valori compresi in
a
g2
=
(3.79)
b-a
dove l'ultimo integrale pub essere facilmente valutato operando la sostituzione y = n: - (b+a)/2, dy = dx e integrando t r a gli estremi -(b-a)/2 e (b-a)/2. Spesso si considera la densita uniforme per valori compresi tra gli estremi a = 0 e b = A. Ovviamente in questo caso media e varianza sono date da:
<
+
x 5 p A12 e la deviazione standard vale La densit&esiste per p - A/2 =A I ~ . Per una variabile aleatoria a 5 X 5 b, avente densitb uniforme, la probabilita di localizzazione in (XI,2 2 ) B proporzionale all'ampiezza dell'intervallo: ff
Viceversa, se una variabile aleatoria continua soddisfa alla (3.81), essa B distribuita in mod0 uniforme. Veniarno ora ad un teorema molto semplice, ma importante ed estremamente generale.
Teorema 3.5 (Variabili aleatorie cumulative). S e X b u n a variabile aleatoria avente densitci p(x) continua, la variabile aleatoria cumulativa C :
b uniforme i n [O,l], cioB C
N
U(0,l).
3.10 La densita uniforrne
XI
x2
X3,
99
Fig. 3.9. Interpretazione grafica del teorema sulle variabili cumulative. Le funzioni p(x) e F ( x ) sono rispettivamente una generica densit& di probabilit& e la sua corrispondente cumulativa
X4
X~
di quella relativa ai valori pic probabili compresi in [x3,x4]. Il valore di queste due aree i: identico, per costruzione, alla lunghezza degli intervalli [ q ,c z ] e [c3,c4] di Fig. 3.9, ottenuti dalla funzione cumulativa F ( x ). Se ora consideriamo sull'asse delle ordinate della cumulativa una variabile C U(0, I), essa cadra pih frequentemente in [cs,c4] che in [cl,c2] con probabilita date esattamente dalla ampiezza di questi intervalli. Pertanto, se in corrispondenza di un valore co assunto dalla variabile uniforme C ricaviamo (per via grafica o analitica) il corrispondente valore xo indicato in Fig. 3.9 e ripetiamo il procedimento pih volte, otterremo un campione di valori della variabile X di densit&p ( x ) .
-
Esercizio 3.12
Disponendo s u calcolatore di un valore random ~ n i f o r m ~ e r n e n compreso te in [O, 11, estrarre a caso i tempi di arrivo di eventi stocasticamente indipendenti.
Risposta. Se gli eventi sono stocasticamente indipendenti, la distribuzione dei tempi di arrivo 6 esponenziale negativa e la corrispondente cumulativa, che dd la probabilitd di un arrivo in [0,t],i: data dalla (3.51). I n base a1 teorema 3.5 questa funzione i: u n a variabile aleatoria unzforme. Abbiamo pertanto:
random = 1 - e-xt
.
Invertendo questa equazione otteniamo: 1 X
t = - - In(1 - random) , Poichd, analogamente aEEa variabile random, anche (1-random) 2: la relazione precedente risulta equivalente a:
(3.88) U(0, I),
100
Capitolo 3. Calcolo elementare delle probabiliti
Le (3.88, 3.89) sono u n esempio delle formule generali (3.84, 3.85).
3.11 Disuguaglianza di Tchebychev La deviazione standard, che B un indicatore della dispersione dei valori di una variabile aleatoria intorno alla media, gode di un'importante e generale propriet&, che andiamo a illustrare. Consideriamo una generica distribuzione statistica di media p e di di varianza a2finita e consideriamo l'intervallo dei valori [ p- K a , p KO],dove K B un numero reale positivo. Ovviamente, i punti fuori da questo intervallo sono definiti dalla condizione lx - pI > K a . Considerando l'espressione della varianza di variabili continue (2.561, possiamo scrivere:
+
Dall'ultima relazione otteniamo:
che B la disuguaglianza di Tchebychev. Questa B una relazione dimostrabile facilmente anche per variabili discrete ed i: del tutto generale, perch6 l'unica condizione che i! stata imposta su p(x) B la varianza finita. Vediamo ora quali informazioni sono contenute in questa legge generale. Analogamente alla (3.35), essa pub essere messa nella forma:
0 per K = 1 0.75 per K = 2 K2 0.89 per K = 3 , (3.91) da cui si vede che negli intervalli centrati sulla media e ampi 2 0 e 30 sono compresi rispettivamente almeno il 75% e 21 90% della probabilitci totale. La (3.91) dh luogo a una legge 30 generalizzata, che consiste nel ritenere trascurabili per qualunque distribuzione statistica, le probabilith di avere valori fuori d a [p - 3a, p + 3a].
P{JX - pI 5 K a) =
LKU p+Kc
p(x) dx
2 1- - =
{
3.12 Come utilizzare il calcolo delle ~robabilita
101
Generalmente questa B una approssimazione molto buona, perch6 la disuguaglianza di Tchebychev, che prevede non piii di un 10% di probabilitb a1 di fuori di f3~7,k quasi sempre una notevole sovrastima dei valori effettivi. Ad esempio, nel caso della densit&di Gauss, "fuori da 3a" (cosi si dice in gergo) abbiarno solo lo 0.3% dei valori, nel caso della densitb uniforme tutti i valori sono compresi entro zk2a (controllate come esercizio). L'uso di considerare solo i valori entro 3a B molto difhso, ed in genere porta, come si B detto, a dei risultati corretti. Tuttavia, in casi particolari, se si ha a che fare con densitb "molto larghe", B bene ricordarsi che con questo metodo si pub compiere un errore sensibile, fino a1 lo%, come mostrato dalla (3.91).
3.12 Come utilizzare il calcolo delle probabilita In Fig. 3.10 ed in Tab. 3.1 sono riportate le distribuzioni statistiche fondamentali che abbiamo fin qui ottenuto col calcolo delle probabilita. I1 punto di partenza B la distribuzione binomide (2.30), relativa agli eventi generati in mod0 discreto, indipendente e con probabilitb p costante. I1 limite per np, n ( l - p) >> 1 (in pratica np, n ( l - p) > lo), tlove n B il numero dei tentativi effettuati, porta alla densitb gaussiana o normale, mentre il limite per n >> 1,p << 1 (in pratica n > 10, p < 0.1) porta alla densitb poissoniana. Quest'ultima densitb, quando np > 10 (e quindi anche n ( l - p) > 10, dato che p << l ) , evolve anch'essa verso la densith gaussiana, mantenendo perb sempre la relazione (3.16) p = a2,tipica dei processi poissoniani. Abbiamo anche visto che la gaussiana e la poissoniana, lungi dall'essere solo casi limite della densitb binomiale, sono le distribuzioni di riferimento di molti fenomeni naturali di notevole importanza. La gaussiana B la densit&limite della sovrapposizione lineare di variabili aleatorie indipendenti, nessuna delle quali B preponderante sulle altre. Questo risultato viene normalmente chiamato teorema Limite Centrale (o Centrale Limite) ed B stato da noi riportato come teorema 3.1. La distribuzione statistica del modulo quadrat0 di un vettore di componenti gaussiane B individuata dalla densita x2,che in tre dimensioni prende il nome di densita di Maxwell o maxwelliana. La distribuzione poissoniana B invece la distribuzione universale del numero di eventi indipendenti generati in mod0 discreto con probabilitb costante nel tempo (generazione stocastica). I1 tempo di arrivo tra questi eventi segue anch'esso delle distribuzioni universali, l'esponenziale negativa e la distribuzione gamma o erlanghiana. Infine, anche la densitb uniforme k di importanza generale, perch6, come mostrato nel teorema 3.5, essa individua la distribuzione di tutte le variabili aleatorie cumulative. Come vedremo, questo principio B la base del metodo di simulazione Monte Carlo.
102
Capitolo 3. Calcolo elementare delle probabiliti
lu>l,
p<
(in pratica n>tO, p<0.1)
u
np>>l/ (inpratica npzlo)
tempi tra eventi poissoniani
/ 1
gausslam L'
Fig. 3.10. Connessione tra le distribuzioni statistiche fondamentali del calcolo delle probabilitk
Crediamo che vi sia gi8 chiaro, e lo s a d comunque sempre di pih nel seguito, come le distribuzioni statistiche dedotte col calcolo delle probabilit a elementare forniscano uno schema coerente per I'interpretazione di una quantith veramente notevole di fenomeni naturali. Questo schema dovrebbe essere parte essenziale della formazione culturale dello scienziato, del ricercatore e, in genere, di chiunque voglia osservare la realta con occhio scientifico. Cercheremo ora di spiegare meglio questo punto, con una serie di esempi ed alcuni approfondimenti. La sola intuizione non 6 sufficiente per interpretare i fenomeni aleatori: se lanciamo in aria una moneta 1000 volte intuiamo che mediamente avremo testa (o croce) 500 volte, ma se otteniamo 450 teste e 550 croci come facciamo a sapere se il risultato i! cornpatibile col caso o se invece la moneta & truccata o i lanci non sono stati regolari? (A tra poco la risposta, nell'esercizio 3.13).
103
3.12 Come utilizzare il calcolo delle probabilita
Tabella 3.1. Le densiti fondamentali del calcolo delle probabilita
nome
gaussiana
densit&
media
- ir)2/2021 ~XP[-(X
deviazione standard
u
&u
chi-quadrato
(x2)% -' exP(-G) 25r(;)
poissoniana
P
~ e- - ~ ~t
r(k)
uniforme
&
modulo di un vettore gaussiano
&
conteggi
tempi tra variabili poissoniane
k X
v%
somma di k variabili esponenziali negative
A -
A -
X
2t 1 -
A
(OlxlA)
costante combinazione lineare d i variabili indipendenti
1' -
esponenziale
gamma
commenti
2
X
a?
variabili lative
cumu-
Utilizzando il calcolo delle probabilitb possiamo affrontare in mod0 quantitativo questi problemi, utilizzando funzioni di densitb p(x) (continue o discrete) e risolvendo somme (per variabili discrete) o integrali (per variabili continue) del tipo:
P{a 5 X che forniscono il live110 di probabilitci, cio5 la probabilitb di ottenere, se il modello rappresentato da p ( ~ &) valido, eventi con valori compresi nell'intervallo di probabilitci [a,b]. E possibile quindi giudicare se un certo scostamento dal valore atteso & cornpatibile col caso oppure no. Come abbiamo gi8 accennato a1 par. 2.6, nel primo caso si dice che si i: in presenza di una normale fluttuazione statistics
104
Capitolo 3. Calcolo elementare delle probabiliti
e che il modello rappresentato da p(x) i: valido (o meglio, che non i: stato falsificato dall'esperienza); nel secondo caso si interpreta il risultato come una deviazione significativa e si rigetta il modello. In questo tip0 di analisi si possono in molti casi utilizzare, in alternativa agli integrali del tip0 (3.92)' i valori quantili (2.19) oppure la media e la deviazione standard della distribuzione modello. In questo mod0 l'analisi risulta pi^ rapida e permette di acquisire utili automatismi mentali, facili da ritenere a memoria, che consentono di giudicare anche "a occhio", ma in mod0 rapido e corretto, i risultati sperimentali. Se sono noti i valori quantili della distribuzione, ponendo a = x, e b = xg, l'intervallo di probabiliti, rappresentato anche in Fig. 3.11, diventa:
Se X ha una densith simmetrica, spesso si usa la scrittura:
In molti casi to sono i quantili della curva normale standard (che si ricavano con facili passaggi dalla Tab. D.1); oppure della densit& di Student(che vedremo piG avanti). I quantili gaussiani su molti testi sono scritti come 2,. Livelli usati di solito in statistica sono 1 - a = 0.90,0.95,0.99,0.999, cui corrispondono i valori quantili gaussiani tl-,lz = 1.64,1.96,2.58,3.29. In alternativa, come faremo spesso in questo testo, si pub adottare la convenzione, usuale tra i fisici, che parametrizza l'intervallo di probabilith secondo la legge 30 (3.35). La deviazione standard k considerata come l'unitci di misura internazzonale delle fluttuazioni statistiche. Per calcolarne il valore, non si pub procedere per via intuitiva, ma si deve utilizzare il calcolo delle probabilith. Allora, un valore di 450 successi in 1000 lanci, & una fluttuazione statistica rispetto a 500 oppure una deviazione significativa? La risposta 6 nell'esempio che segue.
Esercizio 3.13
risultato con Z'ipotesi di Eanci casuali di una moneta non truccata?
3.12 Come utilizzare il calcolo delle ~robabilita
105
Risposta. Il modello assunto come riferimento, che in statistics verrci chiamato ipotesi nulla (null hypothesis), prevede che la probabilitci a priori di ottenere testa in u n singolo lancio sia p = 0.50 e che le probabilitci dei valori possibili di mille lanci, che vanno da 0 a 1000, si possano calcolare dalla distribuzione binomiale con media e deviazione standard date dalle (3.6):
I1 valore della frequenza empirica, cioR dell'evento osservato, 6 invece f = 0.45, che corrisponde ad un valore della variabile standard pari a
I1 risultato si scosta dal valore medio della distribuzione prevista dz 3.16 deviaxioni standard. Dato che n p = n(1 - p ) = 1000.0.5 = 500 >> 10, possiamo utilizzare l'approssimazione gaussiana per la variabile standard, ed utilizzare la Tab. D.1 della funzione gaussiana degli errori, riportata in appendice D. D a questa tabella leggiamo, i n corrispondenza di t = 3.16, il valore 0.4992. L'area della coda alla sinistra di t R data da:
che
t!
la probabilitci di ottenere per puro caso, se il modello 6 valido, valori
< 450. Fate ora bene attenzione a questo passo cruciale: se rifiutiamo il modello quando & vero, la probabilitd che abbiamo di sbagliare non i: piG grande di 8 su 10 000. S i dice anche che il dato 2 i n accordo col modello con u n livello di significativitd di 8 . I n conclusione, dato il livello di significativitci molto piccolo, possiamo dire, con una piccola probabilitci di sbagliare, che 450 successi s u mille Eanci rappresenta u n evento i n disaccordo con il modello binomiale con p = 1/2, che assume lanci indipendenti di u n a moneta n o n truccata. In genere si ritiene falsificata l'ipotesi quando il livello di significativitd osservato & a1 di sotto dell'l-5%. Tuttavia, la decisione dipende dal tip0 di problema che si sta considerando, ed i: di tip0 soggettivo. Se invece della bontb o meno di una moneta stessimo considerando la sicurezza di un aereo e un certo risultato sperimentale ci fornisse un livello di significativit& dell'l per mille rispetto all'ipotesi nulla di un difetto di progettazione, probabilmente non ce la sentiremmo di rigettare l'ipotesi e concludere che l'aereo B ben progettato. Infatti, il test indica in questo caso che un aereo su mille potrebbe cadere. I1 calcolo delle probabilitii permette di quantificare le possibilitb che vengono prese in considerazione nello studio di un problema, ma
106
C a ~ i t o l o3. Calcolo elementare delle ~ r o b a b i l i t h
spesso nella decisione finale occorre fare una analisi costi/benefici che tenga in considerazione anche fattori non strettamente matematici e statistici. Vi sono comunque casi in cui la decisione 5 facile, perch6 si raggiunge un livello di significativith cosi piccolo da coincidere in pratica con la certezza. Ad esempio, se nei mille lanci della moneta si ottenessero 420 teste, la variabile standard varrebbe 5.1 e la probabilith di sbagliare rigettando l'ipotesi "moneta buona" sarebbe praticamente nulla. Nell'esperimento reale di Tab. 2.2, come risulta dal problema 2.10 di pagina 66, si sono ottenute 479 teste su milk lanci. Questo risultato corrisponde ad un valore della variabile standard t = 1500 - 479)/15.8 = 1.39, alla quale la Tab. D.l assegna un valore di 0.4177, corrispondente ad un livello di significativith dell' 8.2%. Abbiamo qui un primo punto fermo nell'analisi dell'esperimento di Tab. 2.2 (sul quale siamo tornati e torneremo pih volte nel corso del testo): il numero globale di teste ottenute 2: in ragionevole accord0 col modello binomiale ed una probabilith a priori di 1/2. Nell'esercizio precedente si 6 fatto ricorso a1 cosiddetto test a una coda. Nell'esempio che segue si effettua invece il test a due code, in cui si scartano i valori a1 di fuori di un intervallo, cioit quelli troppo piccoli o troppo grandi. Esercizio 3.14 Qua1 i. la proba finire una moneta buona (ciod con probabilitd 112) u n numero di successi in mille lanci compreso tra 450 e 5508 Risposta. Utilizzando i dati dell'esercizio precedente otteniamo immediatamente il risultato:
il cui significato d che si scartano circa 2 monete buone su 1000 nell'ipotesi che tutte le monete provate siano buone. Chiediamoci ora, riferendoci all'ultimo esercizio, quante monete cattive si accettano. Qua1 &, in altri termini, la probabilitA di accettare come giusta una ipotesi sbagliata? In genere trovare questa probabilitb non i: facile, perch6 si dovrebbero conoscere tutte le probabilith a priori delle variabili coinvolte nel problema. Nel caso delle monete, dovrebbero essere note le probabilith vere di tutte le monete utilizzate nel test, come chiarito nell'esercizio che segue. Esercizio 3.15 Nello stock di m o n priori p = 0.6 per la faccia di interesse. Qzlal d la probabilitci di accettarla come buona adottando ancora come regola di decisione 450 x 5 5502
<
Risposta. Dobbiamo calcolare P{450 5 X 5 550) per una gaussiana di media e deviazione standard pari a:
107
3.12 Come utilizzare il calcolo delle ~robabilita
Considerando i due valom' standard:
dalla Tab. D.l in appendice D otteniamo la probabilita:
Negli esempi trattati finora si 6 sempre usata l'approssimazione gaussiana della distribuzione binomiale. Ecco ora un caso diverso.
_
Esercizio 3.16 e ~ a ~ ~ w A:L;-M=-TL~.~~:,. ~ ~ ~ - _ i tc ~~ i _ -~ ~ i ~ ~~ ~~4~ i *, ~ UI / i ~ 11i j ~ I n una popolazione dz 10 000 abitanti i dati storici riguardanti una malattia rara fanno registrare 4 casi l'anno. S e in un anno si vem'ficano 10 casi, siamo i n presenza di un zncremento della malattza o si tratta semplicernente di u n a fluttuazione statistzca? j i , ~ ~
Risposta. L'ipotesi di lavoro pi& ragionevole sta nell'assumere come modello del fenomeno la distribuzione di Poisson di media p = 4. I n questo caso n o n possiamo utilizzare l'approssimazione gaussiana, che richiede p > 10 e siamo costretti ad utilizzare la (3.92). La probabilita di osservare, per puro caso, almeno 10 casi di malattia quando la media annuale 6 4 vale allora:
I n aalternativa, si pud usare E'zstruzione SCILAB:
che dct come m'suktato x=0081322. Questo numero rappresenta il live110 di significativith osservato dell'ipotesi,
~
-
108
Capitolo 3. Calcolo elementare delle probabilita
ciod la probabilitri di scartare u n a ipotesi giusta. Possiamo allora ragionevolmente dire che siamo in presenza di un increment0 della malattia, con u n a probabilitd di sbagliarci di circa 1' 8 per mille. Da ultimo, consideriamo un esempio molto istruttivo, che si pub considerare come il paradigma del mod0 di operare della scienza per cib che riguarda il rigetto (falsificazione) o meno di una teoria. Esercizio 3.17
-= == ----+
d
Una commissione di astrologi interroga u n a persona, di cui ignora le generalitd anagrafiche, cercando di identificarne il segno zodiacale. Alla fine dell'interrogatorio vengono sottoposti alla commisszone 3 segnz zodiacalz, uno corretto, gli altri due erratz. S e la commissione ottenesse almeno 50 successi s u 100 prove, si potrebbe ragionevolmente attribuire all'astrologia u n a qualche validztd sczentifica? Risposta. Assumiamo come ipotesi nulla la pura casualita. I n questo caso la probabilitd che la commissione ha di dare la risposta giusta tirando a indovinare d pari a 113 per ogni persona interrogata. I termini del problema sono allora: 0 0
e
funzione di densitd: binomiale; numero di tentativi: n = 100; probabilitd di success0 i n u n tentativo: p = 113; numero di successi ottenuti: a: = 50; media attesa della distribuzione: p = n p = 33.3; deviazione standard: D = = 4.7.
Dato che valgono le condizioni n p > 10, n ( l - p ) > 10, possiamo utilizzare le probabilitci gaussiane e trovare il live110 di signijicativitb del valore standard
La probabilitb di ottenere almeno 50 successi b calcolabile con la Tab. D.l dell'appendice D:
oppure con l'istruzione S C I L A B 0.5-0.5*erf(3.55/sqrt( 2 ) 1=O.0001926 spiegata a pagina 80. Possiamo pertanto rigettare l'ipotesi della casualith, con u n a probabilitd di sbagliare di circa 2 s u 10000. S e si ottenesse u n a sem'e di risultati di questo genere, l'astrologia acquisterebbe dignitd scientifica e potrebbe essere a buon titolo insegnata nelle scuole. Tuttavia, la realta 6 ben diversa: nel 1985 la rivista Nature [15] ha riportato i risultati dz questo test, compiuto da u n a commissione mista di scienziati e astrologi. La percentuale dei successi, in 120 prove, d stata del 34%. A
3.13 Problerni
109
tutt'oggi, tanto per l'astrologia come per molte altre pseudoscienze come la telepatza e la chiaroveggenza, n o n t: m a i stato pubblicato, su nessuna rzvista accredztata presso la comunitci scientifica internazionale, alcun risultato che si discosti significatiwamente dalle leggi del caso. I n altre parole, possiamo dzre che zn questo genere di esperimentr l'zpotesi della pura casualitci n o n b mat stata falsijicata, ovvero che astrologia, telepatia e chiaroveggenza n o n hanno validitci scientifica. a
--
* = : * = > a
9
---
-e~~~~k~--*-&z-E*-*~=~~*~*~~%~-~a
In questi ultimi esercizi abbiamo discusso se accettare o meno u n valore sperimentale avendo adottato a priori un certo modello probabilistico. Questi argomenti, che sono oggetto della statistica, verranno discussi dettagliatamente pi^ avanti, a partire dal cap. 6. Crediamo comunque che vi sia stato utile avere dato uno sguardo preliminare a questi interessanti problemi.
3.13 Problemi 3.1. Risolvcre il problema 1.9 (valutare la probabilith P { X 5 Y ) per due variabili uniformi 0 5 X, Y 5 1) senza ricorrere ad argomenti geometrici. 3.2. Passeggiata a caso: una particella procede per passi e ad ogni passo pub staie ferma xo = 0 oppure effettuare una deviazione di X I = +1, con uguale probabilit8. Calcolare, dopo 500 passi, il valor medio e la deviazione standard del percorso X.
3.3. A differenza del problema precedente, questa volta la particella sceglie ad ogni passo, con uguale probabilita p = 112, le deviazioni xo = -1 e X I = $1.
Calcolare la probabilita 3.4. La probabilita di trasmettere un bit sbagliato b che a) in un numero di 16 bit vi sia un bit sbagliato e b) il valor medio o atteso dei bit sbagliati. 3.5. La probabilita che in una certa stagione una persona abbia il virus dell'influenza b del 20%. Trovare la probabiliti che in una sala di 200 persone i portatori dell'influenza siano tra 30 e 50. 3.6. Trovare, per n -+ co,la funzione di densita della variabile Y = X I X ~...X,, dove le Xisono variabili aleatorie positive che soddisfano le condizioni del teorema Limite Centrale. 3.7. A volte, per caratterizzare la larghezza di una funzione di densitb, si usa la "semi-larghezza a meth altezza", detta anche FWHM (dall'inglese Full Width at H a g Maximum), definita come FWHM= 1x2 - X I 1, dove XI) = p(x2) = pmax/2. Trovare la relazione tra FWHM e cr per una gaussiana.
3.8. In un ospedale si registra in media un parto gemellare ogni tre mesi. Supponendo una distribuzione esponenziale negativa, determinare: a) la probabilith di non avere parti gemellari per almeno 8 mesi; b) la probabilita di non avere parti gemellari entro un mese se sono passati 8 mesi senza parti gemellari. 3.9. La somma dei quadrati di 10 variabili standard vale 7. Trovare la probabiliti di sbagliare affermando che le variabili non sono gaussiane ed indipendenti.
110
Capitolo 3. Calcolo elementare delle probabilith
3.10. I dati storici fanno registrare 8500 morti l'anno per incidenti stradali. L'anno successivo all'introduzione delle cinture di sicurezza i morti calano a 8100. Considerando il dato storico come valore medio vero e il dato annuale come variabile aleatoria, valutare se le cinture di sicurezza hanno fatto diminuire il numero dei morti in mod0 significativo, ad un live110 dell'l%. 3.11. Se la frequenza media di eventi poissoniani B di 100 a1 secondo, calcolare la frazione di intervalli di tempo tra due eventi minori di 1 millisecondo. 3.12. Una certa quantiti di sostanza radioattim emette una particella ogni due secondi. Eseguendo un test su un campione, non si registrano conteggi per 10 secondi e si conclude che la sostanza i: assente. Qua1 i! la probabilita che la conclusione sia errata? 3.13. Dimostrare che, se vale la legge di Poisson (3.47), i conteggi in intervalli di tempo disgiunti sono variabili aleatorie indipendenti. 3.14. Trovare l'intervallo, centrato sulla media, che contiene con probabilitA del 50% i vvalri di una variabile gaussiana standard. 3.15. Trovare media e deviazione standard di una gaussiana sapendo che la probabilitk in una prova di ottenere valori maggiori di 4.41 vale il 21% e quella di ottenere valori maggiori di 6.66 i! il 6%. 3.16. Un fenomeno poissoniano fa registrare 100 eventi in 5 giorni. Calcolare quanti giorni in media devono trascorrere prima di registrare 4 eventi in un'ora. 3.17. Utilizzando il teorema 3.5, trovare un algoritmo di generazione casuale di variabili aleatorie dalla densit%p(x) = 22 - 2,1 5 x 2.
<
4. Calcolo delle probabilitii per piu variabili
" Qui, in effetti, la geometria dei picchi e delle valli B a n dimensioni... ed i: intrattabile." David Ruelle, "CASOE CAOS".
4.1 lntroduzione In questo capitolo affronteremo argomenti un po' pih complessi di quelli del capitolo precedente. Questa fatica sarA perb ripagata dai risultati che ot,terremo, che saranno indispensabili per capire e trattare i problemi che coinvolgono pih variabili aleatorie. Per non complicare inutilmente il formalismo matematico, i problemi saranno discussi inizialmente per il caso di due variabili aleatorie. Successivamente, poich6 l'ipotesi di due sole variabili non entrer5 mai nelle dimostrazioni dei teoremi e nella discussione, i risultati saranno facilmente estesi ad un numero qualunque di variabili. I risultati saranno inoltre prevalentemente ottenuti in forma integrale, considerando variabili continue. n passaggio a1 caso di variabili discrete B immediata.mente ottenuto con trasformmioni del tip0
dove (. . .) indica una qualunque espressione contenente variabili aleatorie e parametri. La (4.1) B immediatamente estendibile anche a1 caso di piG variabili.
4.2 Distribuzioni statistiche multidimensionali Se X e Y sono due variabili casuali definite sullo stesso spazio di probabilit8, definiamo come A l'evento in cui un valore z B compreso tra due valori XI e xz {XI 5 X 5 22) e analogamente l'evento B come {yl 5 Y 5 y2). Scriviamo la probabilith composta P(AB) come:
112
C a ~ i t o l o4. Calcolo delle orobabiliti wer ~ i i variabili r
che i: la probabilita che il valore di (x, y) cada in una funzione p(x, y) 2 0 tale che
[XI, x2] x
[ y ~yz]. , Se esiste
si dice che p(x, y) 6 la densitci congiunta di probabilita delle due variabili. Essa b l'estensione bidimensionale della funzione di densitb definita nel par. 2.7. pi^ in generale, se A E R2, si pub dimostrare che, se p(x, y) soddisfa la (4.3), la probabilitb che (X, Y) E A (ad esempio x + y 5 a, con a costante) i! data da [2]: p{(X, y ) E A} =
j
r
P(X,Y)dx dy
A
,
(4.4)
la quale diventa I'analogo del generic0 integrale (3.92) e della funzione cumulativa o di ripartizione (2.34) quando
5 a,-oo I Y 5 b ) .
P{(X,Y) € A ) = P { - o o < X
La condizione di normalizzazione, le medie e le varianze delle variabili coinvolte si ottengono come immediata generalizzazione delle corrispondenti formule monodimensionali:
dove l'integrazione si intende estesa in (-co,+oo), ovvero in tutto l'intervallo di esistenza della funzione di densit&. Come nel caso monodimensionale (si veda la def. 2.10), per l'esistenza dei valori medi si richiede l'assoluta integrabilita o sommabilit8. Nel seguito l'integrazione multipla verra indicata semplicemente col simbolo di integrale singolo. Se X e Y sono stocasticamente indipendenti second0 la (2.10), il teorema delle probabilitb composte e le (1.20, 1.23, 2.10) permettono di scrivere, per ogni coppia (XI,xz) e (yl ,yz):
cio6: p(x, y) dx dy =
lr
PX ($1
dx
lr
P ~ Ydy)
e quindi di definire la densita congiunta come: p(x, y ) = p x (x) p y (y)
(se X e Y sono indipendenti)
,
(4.6)
4.2 Distribuzioni statistiche multidimensionali
113
dove p x (x) e py (y) sono le densita di probabilita delle variabili X e Y. E possibile anche definire medie e varianze di combinazioni di variabili. Ad esempio:
E facile mostrare, dalla seconda e dalla terza delle (4.5) e dalla seconda delle (4.7),che (X+ Y ) = (X) (Y) (4.8)
+
e che, se X e Y sono stocasticamente indipendenti, dalla prima delle (4.7) e dalla (4.6) segue: ( X U )= ( X ) ( Y ) (4.9) Fin qui non sembra esserci qualcosa di nuovo, se non la ovvia generalizzazione delle formule monodimensionali. Invece, le distribuzioni multidimensionali riservano subito delle sorprese, perch6 t? possibile la definizione di almeno tre nuove importanti quantita, la densitb marginale, la densitb condizzonata e la covarianza tra le variabili.
Definizione 4.1 (Densith marginale). S e X e Y sono due varzabilz aleatorie con densith p(x,y) ed A 6 u n intervallo dell'asse reale, la densitd marginale px (x) i. definita dalla relazione
da cui:
La densita marginale py(y) dz y si ottiene dalla formula precedente scambiando x con y .
E facile vedere che le densita marginali sono normalizzate:
Le densit&marginali danno la probabilitj di eventi del tip0 {X E A) per ogni valore di Y (e viceversa); esse rappresentano pertanto le densit&di probabilita monodimensionali delle variabili X e Y. PoichC spesso e importante stabilire se due o pih variabili sono indipendenti, risulta molto utile il seguente
114
C a ~ i t o l o4. Calcolo delle urobabilitl uer uih variabili
T e o r e m a 4.1 ( I n d i p e n d e n z a d i variabili). Due variabili aleatorie ( X ,Y ) , di densitci congiunta p(x, y ) , sono stocasticamente indipendenti se e solo se esistono due finzioni g ( x ) ed h ( y ) tali che, per ogni x , y E R, si abbia:
Dimostrazione. Se le wariabili sono indipendenti, la (4.6) dimostra la prima parte del teorema con g ( x ) = p x ( x ) e h ( y ) = p y ( y ) . Nel caso invece valga la (4.12), i n generale si avrh:
Dato che p ( x , y ) b una densitci normalizzata, dalla prima delle (4.5) risulta (sottointendendo i limiti di integrazione):
E possibile allora definire le due densitci rnarginali normalizzate:
da cui, dato che HG = 1, si ottiene la (4.6):
In corrispondenza di u n valore fissato zo la funzione p ( x 0 , g ) deve rappresentare la densit& di probabilita monodimensionale della variabile Y . Tuttavia, poiche p(xo, y ) non 6 normalizzata, tenendo presente la (4.11), si pub definire la D e f i n i z i o n e 4.2 ( D e n s i t h c o n d i z i o n a t a ) . Se X e Y sono due wariabili aleatorie con densitci p ( x , y), la densitd condizionata p ( y ( x o ) di y per ogni x = xo fissato e tale che p x ( x 0 ) > 0 , 6 data da: P(ZO,Y) ~ ( ~ 1 x=0 pxo )
P(XO,
Y)
foo
J_,
~
(
~
Y 0) d1y
Anche in questo caso la densitd condizionata; p ( x J y ) di x rispetto ad y si ottiene scambiando le due variabili nella formula precedente. Le densit& condizionate cosi definite sono normalizzate. Infatti:
4.2 Distribuzioni statistiche multidimensionali
115
E importante notare che la densiti condizionatap(yJx)2! funzione della sola y, essendo x un valore fissato (parametro). Lo stesso vale per p(xly) scambiando le due variabili. E quindi sbagliato scrivere:
in quanto p(ylz) B funzione solo di y. Per trovare la scrittura corretta occorre rifarsi alla definizione di probabilita condizionata data dalla (1.19):
Sempre per un determinato valore fissato a priori, F: possibile definire gli operatori media e varianza condizionati. Ad esempio, il valore atteso di Y condizionato d a un valore z B dato da:
dove px(x) = Jp(x, y) dy i: un numero essendo x fissato. Le densitb marginale e condizionata discendono dal teorema 1.2 delle probabiliti composte. Infatti, invertendo la (4.13), possiamo scrivere:
che corrisponde alla formula delle probabilitb composte (1.20) per variabili continue: la densit&di (X, Y) i: data dalla densita in Y per la densita di X per ogni Y fissato (o viceversa). Quando le variabili sono indipendenti, dalle (4.6, 4.13) si ottiene: p(x1y) = px (x)
,
p(y jx) = py(y) ,
( X ed Y indipendenti).
(4.16)
La differenza tra densita marginale e condizionata pub essere ben cornpresa con l'aiuto di Fig. 4.1; la densit& marginale si ottiene proiettando semplicemente la curva in una dimensione, mentre la densita condizionata B la proiezione della curva sull'asse y (ciok la densita probabilita di y) per un determinato valore x (o viceversa). Notiamo anche che le medie e le varianze definite nelle (4.5) possono essere espresse utilizzando le densitb marginali:
116
Ca~itolo4. Calcolo delle probabiliti oer pih variabili
Fig. 4.1. La densit&marginale p y ( y ) di y rappresenta la proiezione sull'asse y della densiti dei punti (x, y) per qualunque valore di z. La funzione p ( x o , y) rappresenta invece la proiezione sull'asse y della densita dei punti in corrispondenza di un determinato valore xo (linea tratteggiata). Questa funzione, normalizzata con la (4.13)' rappresenta la densit&condizionata della variabile Y in corrispondenza del valore
xo
Occupiamoci ora della quarta delle (4.7); poichh dalla (4.8) risulta che la media della somma i: pari alla somma delle medie, otteniamo:
dove Cov[X, Yl
=
I
(x - Px) (Y - P ~ ) P ( XY) , dx dY -
Introduciamo pertanto la
Definizione 4.3 (Covarianza di due variabili). La covarzanza dz due variabili aleatorie X e Y 2 definita come
Questa grandezza ii una sorta di definizione "incrociata" rispetto alle due varianze possibili a: e a: definite nelle (4.5). Essa ii una grandezza quadratica, avente come dimensione il prodotto delle dimensioni di X e Y. A titolo di esercizio, trascriviamo la definizione generale (4.20) per i vari casi possibili,
4.2 Distribuzioni statistiche multidimensionali
117
analogarnente a quanto fatto per la varianza nelle (2.38, 2.41, 2.66). Quando si ha una densit& discreta p x y la covarianza diventa:
dove la somma si intende estesa a tutti i valori dello spettro delle due variabili. I1 calcolo diretto da un insieme di dati va invece eseguito sulla somma di tutte le realizzazioni numeriche delle variabili:
Qui la somma va fatta solo su un indice, cio&su tutte le coppie (xi, yi) che si sono ottenute, dividend0 per N - 1 quando si calcolano gli scarti dalle medie campionarie e non dalle medie "vere" assegnate a priori. L'insieme di queste coppie esaurisce, per N + oo, l'insieme dato dalle coppie (xi, yk) quando gli indici i e k rappresentano i valori dello spettro delle due variabili. Questo & un punto formale ma importante che va tenuto presente per eseguire calcoli corretti: quando la covarianza ?I calcolata attraverso la funzione di densit&, la sommatoria 2 doppia e va fatta sulle probabilitd delle coppie dei valori possibili delle due variabili; quando la covarianza b calcolata da u n insieme sperimentale di dati, la somma 6 singola e va fatta su tutte le coppie ottenute nel campionamento. I1 software SCILAB fornisce la funzione che calcola la covarianza dalla (4.21), dove x e y sono du delle probabilith o frequenze di tutte le coppie possibili (xi, yj). Per calcolare e di dati (xi, y i ) con le (4.22,4.23), abbiarno scritto dove x e y sono i vettori dei valori misurati. I1 ei commenti della funzione, k un vettore contenente la covarianza ed il coefficiente di correlazione con il relativo errore statistico, che verrA introdotto pih avanti, nel capitol0 6. Per finire, notiamo che in notazione operatoriale abbiamo:
Vale anche la relazione notevole, analoga alla (2.50):
dalla quale si vede che la covarianza k data dalla media dei prodotti meno il prodotto delle medie.
118
Capitolo 4. Calcolo delle probabilith per pih variabili
L a covarianza gode di proprieth particolarmente interessanti che verranno discusse nel prossimo paragrafo. Esercizio 4.1 p = l / X = 1000 ore
(si veda la 3.49). Viene realizzato u n dispositivo costituito dai due elementi i n parallelo, il che significa che esso funziona finche' almeno u n o dei due dispositiui 6 funzionante. Quanto 6 maggiore il tempo di vita medio del dispositivo i n parallelo rispetto a quello del singolo dispositivo? Dopo u n tempo pari a 2000 ore, qua1 t: la probabilitd che il dispositivo singolo e quello i n parallelo siano ancora funzionanti? Risposta. S e tl e t z sono i tempi di guasto dei due dispositivi, il parallelo cesserd di funzionare ad u n tempo t tale che t = m a x ( t l , t 2 ) .La probabilitb di funzionamento fino a t, cio; di u n guasto al tempo t, sara data dalla probabilitb composta che il primo dispositivo e il second0 cessino di funzionare. Dato che i due dispositivi sono indipendenti, basta allora integrare i n [ O , t ] la densitci congiunta dei tempi (4.6), come previsto dalle (4.4, 4.12): P { r n a x ( T l , T z )5 t ) = P{Tl
< t ,T2 5 t ) =
el ( t ) d t
e z ( t )d t
poiche' le due distribuzioni esponenzialz el ed ez sono uguali, dalla (3.51) si ha immediatamente:
la quale rappresenta la funzione di ripartizione monodimensionale dei tempi di guasto del dispositivo i n parallelo. Derivando la funzione di ripartizione otterremo, in base alla (2.36)) la densitd di probabilitb e p ( t ) corrispondente. S i ha pertanto: e,(t) = 2 ~ e - ' ~(1- e-'t) , la quale n o n B u n a esponenziale semplice. La media dei tempi di guasto:
corrisponde ad u n increment0 nella vita media del 50 %. Veniamo alla seconda parte del problema. La probabilitd di funzionamento dopo un tempo to = 2000 ore b data, per il dispositivo singolo, dalle (3.51, 3.52):
4.3 Covarianza e correlazione
119
La stessa probabilith, per il parallelo, k data da:
Dopo 2000 ore l'aumento di afidabilitci b quasi del 100 %. 29
4.3 Covarianza e correlazione La covarianza di due variabili aleatorie gode dell'importante proprieta di annullarsi quando le variabili sono indipendenti. Infatti in questo caso la densitb p(x, y) che compare nella (4.20) si pub scrivere, in accord0 con la (4.6)' come il prodotto px(x)py(y). Si ottiene allora immediatamente, dato che pX (x)e py ( y ) sono normalizzate:
Segue immediatarnente dalla (4.19) che, per variabili Xi tra lor0 indipendenti, la varianza della somma B pari alla somma delle varianze:
La covarianza si presta quindi ad essere un indicatore statistic0 della correlazione: tanto pih essa B diversa d a zero tanto pih le variabili sono correlate. Come, valutare per6 il grado massimo di correlazione? Come renderlo indipendente dall'insieme di dati che si sta esaminando? Questa difficolta si pub superare grazie a1
Teorema 4.2 (di Cauchy-Schwarz). Se le variabili X e Y hanno varianze finite, allora vale la disuguaglianza:
Dimostrazione. La (4.28) pub essere scritta come:
5.3 Funzioni di pih variabili aleatorie
151
0.41
Fig. 5.3. Convoluzione di una gaussiana standard con p = 0 e c = 1 (linea tratteggiata) con una densit2 uniforme limitat a tra -2 e 2 (linea tratto-punto). La curva risultante e la linea piena
Risposta. Dalle (3.28, 3.77) 5.32) si ha immediatamente:
Questa densitci non 2 altro che una gaussiana di media ( z - p) e varianza a2 integrata entro i limiti della densitd uniforme di partenza. Ricorrendo alla gaussiana cumulativa (3.43) possiamo scrivere:
Nelle misure di grandezze fisiche, spesso a110 strumento viene associata una dispersione casuale di tipo uniforme, mentre alle operazioni di misura una dispersione di tip0 gaussiano (vedi cap. 11). I n questi casi la (5.34) fornisce la legge di dispersione totale della misura, ed b pertanto importante nello studio della propagazione degli errori, che verrci svolto nel par. 11.6. La Fig. 5.3 mostra che la forma di questa densitci risultante b abbastanza simile ad una gaussiana.
Esercizio 5.2
somma di due variabili indipendenti X , Y
-
U(0,l).
4.3 Covarianza e correlazione
121
Evidentemente, la definizione dipende dal coefficiente di correlazione che viene usato nella analisi dei dati. Per il momento, usiarno il coefficiente di correlazione definito nella (4.31) ; nel seguito, nella (10.lo), daremo la definizione piir generale di questo coefficiente. Notiamo anche che qui il significato di correlazione B molto tecnico e non coincide necessariamente con il senso che il linguaggio comune assegna a questo termine. Fatte queste premesse, analizziamo in dettaglio il problema. Notiamo subit0 che, se le variabili sono correlate (cioi?il coefficiente p,, della (4.31) non 15 nullo), allora tra di esse deve esistere un certo grado di dipendenza. Tuttavia, l'inverso non B vero. Per dimostrare questo fatto, basta un controesempio: consideriamo le variabili X = U V e Y = U - V, dove U e V sono variabili uniformi in [O, I]; X e Y sono dipendenti perchi: non vale la (4.12), ma hanno coefficiente di correlazione nullo perchi: B nulla la covarianza. Infatti, dato che(U+V)=le(U-V)=0:
+
Cov[X,YI = ((X- (X))(Y - (Y))) = ((U+V-(U+V))(U-V-(U-V))) = ((U+V-1)(U-V)) = ( u 2 - v 2 - u + v ) = =
(u2)- (v2)- (U) + (V) = 0 "
poich6 U e V hanno la stessa distribuzione. Un altro punto chiave, dimostrato nella (4.26), i:che, se due variabili sono statisticamente indipendenti, allora esse sono anche incorrelate. Possiamo riassumere la discussione nei punti seguenti: condizione sufficiente perch6 vi sia dipendenza statistica B la presenza di correlazione; condizione necessaria per l'indipendenza statistica B la mancanza di correlazione (pZy = 0). Queste proprieta sono riassunte in Fig. 4.2. Esercizio 4.2 -swai2 W L S e T ,U e V U(0, l), calcolare zl coeficzente di correlazione lzneare tra la variabile: X =T
e Ee variabili:
Fare inoltre u n a verifica con dati sirnulati a1 calcolatore. Risposta. T e n e n d o presente le (3.80), per u n a generica variabile unifoforme U valgono le relazioni:
~
122
Ca~itolo4. Calcolo delle ~robabilitaper pih variabili
correlate
I incorrelate /
Fig. 4.2. Legarne tra correlazione e dipendenza statistica. Per variabili gaussiane gli insiemi delle variabili correlate e dipendenti e quelli delle variabili indipendenti e incorrelate coincidono.
mentre per u n a coppia (U, V ) di variabili unzformi indipendenti si ha: (UV)=
~
I
1
~ ( rdT)
Dalle (4.24? 4.31) otteniamo facilmente:
PPX,EI
=
( ( T - 1/2)(-T [ ( ( T - 1 / 2 ) 2 ) ((-T
S
8~
( sds) = 114
+V ) )
- --1
+ v ) ~ )-] ' a ~~ " -0.7071
.
I diagrammi di dispersione delle tre coppie di variabili sono riportati in Fig. 4.3, dove 1: possibile vedere chiaramente lo diflerenza tra due variabiY l ) e due li incorrelate ( X , Y ) , due variabili con correlazione positiva (X, variabili con correlazione negativa ( X , Yz). Si pub verificare l'esercizio con u n a simulazione utilizxando SCILAB e la noP e r generare N = 20 000 variabili uniformi x, y , correlazione basta porre: x=rand(l, 20000) ; y=rand(i,20000) ; v=rand(l, 20000) ;
yl= x + v; y2= -x + v; Corcov(x,y); / / vengono mostrati i d a t i
Corcov(x,yl) ; Corcov(x,y2) ;
...
4.4 Densit3 gaussiana bidimensionale
123
II coeficiente di correlazione p[X, Y] ( e analogamente i coeficienti p[X, Yl] e p[X,Y2]) sono stimati dalla routine con le formule;
dove si sono usati i simboli latini perche' si tratta di valori campionari (si veda la def. 2.8). La couarianza viene calcolata dai dati con u n a sommatoria unica, utilizzando la (4.22). Inoltre, si usa il fattore N - 1 al posto di N perche' le varianze e covarianze sono state calcolate rispetto alle medie empiriche e n o n rispetto a quelle vere. Questa misteriosa correzione, gici introdotta nella (2.391, verrci finalmente spiegata nel cap. 6. Dalla simulazione abbiamo ottenuto i valori:
Imparerete a decidere se la differenza tra questi valori "sperimentalz" e quelli teorici 0 , 0.7071, -0.7071 i: significativa o m e n o nel cap. 6, quando vi zntrofornisce anche gli errori sulle stime della couarianza e he sranno discussi piti avanti, nel cap. 6. d##i=wU!#%M~ll#m%%liB= - & W % d ~ V !
-A?&$-:
JJjvLdqn@l.~#d8LwL-~~J
-%bl:-
9
4.4 Densit3 gaussiana bidimensionale Anche nel caso multidimensionale moltissimi problemi possono essere trattati in mod0 esatto o approssimato supponendo di avere a che fare con variabili normali o gaussiane. Risulta pertanto quasi indispensabile studiare a questo punto la densitii gaussiana bidirnensionale. Per prima cosa, notiamo subito che la densit& g(x,y) di due variabili gaussiane indipendenti s a r i data, in base alle (3.28, 4.6), dalla semplice espressione:
124
Capitolo 4. Calcolo delle probabilith per pih variabili
2'
Fig. 4.3. Diagrammi di dispersione delle coppie di variabili considerate nell'esercizio 4.2: assenza di correlazione (a), correlazione positiva (b) e correlazione negativa (c)
I'analogo bidimensionale della densit& gaussiana standard (3.42) sar& dato
La densit&generale che vogliamo trovare deve per6 riferirsi a due variabili normali tra lor0 dipendenti e quindi, in generale, correlate con coefficiente di correlazione lineare p, p # 0. La densit&standard corrispondente dovrh percib soddisfare le proprieta non essere fattorizzabile in due termini dipendenti rispettivamente solo da u e solo da v; r avere distribuzioni marginali gaussiane standard; r soddisfare I'equazione a , , = p; a soddisfare la condizione di normalizzazione. Verifichiamo se esiste una forma funzionale del tipo
che soddisfa a tutte queste condizioni. Esse si traducono nel sistema di equazioni:
4.4 Densit3 gaussiana bidimensionale
125
Questi integrali possono essere risolti col metodo indicato nell'esercizio 3.4 e forniscono un sistema di 4 equazioni nelle 4 incognite a, b, c, d. Poichk il procedimento dettagliato, per quanto laborioso, non b particolarmente difficile n6 istruttivo, qui ne riportiamo solo il risultato finale. Se volete, potete facilmente controllare a posteriori la correttezza del risultato, che, se p # f1, risulta essere:
La (4.36) risulta allora:
E facile vedere che questa densith, come richiesto, d&luogo a due densit2 marginali gaussiane standard, per ogni p # fl. Infatti, aggiungendo e sottraendo nell'esponente il termine p2u2 ed integrando in y otteniamo:
dove si i? posto z = (v - p u ) / 4 v , dv = J m d z e si b utilizzato l'integrale notevole (3.29) dell'esercizio 3.4. Lo stesso risultato si ottiene ovviamente per la densith marginale in v. Tornando dalle variabili ridotte a quelle normali, dalla (4.38) otteniamo infine la densita:
che rappresenta la forma pi^ generale di gaussiana in due dimensioni.
126
Capitolo 4. Calcolo delle probabilith per pih variabili
A questo punto possiamo enunciare una notevole propriet& delle variabili gaussiane: quando il coefficiente di correlazione lineare i: nullo, esse sono indipendenti. Infatti, ponendo p = 0 nella (4.40), si ottiene una densith corrispondente a1 prodotto di due gaussiane in x e y. In base a1 teorema 4.1, questa B la densita di due variabili aleatorie indipendenti. La condizione p = 0, che in generale B solo necessaria per l'indipendenza, in questo caso diventa anche sufficiente. Vale pert anto il Teorema 4.3 (Indipendenza di variabili gaussiane). Condizione necessaria e sufficiente affinche' due variabili aleatorie congiuntamente gaussiane (normali) siano indipendenti, i: che il loro coeficiente di correlazione lineare sia nullo. Vediamo quindi che I'esistenza di una covarianza nulla (che implica p = 0) tra variabili gaussiane assicura la indipendenza statistica e quindi l'assenza di un legame di causa-effetto tra di esse (si veda la Fig. 4.2). Riconsiderando ora le distribuzioni marginali ridotte (4.39), notiamo che, passando dalle variabili standard a quelle normali si ottengono in x e y due distribuzioni gaussiane monodimensionali del tip0 (3.28), nelle quali non compare il coefficiente di correlazione. Emerge qui un. altro fatto importante: la conoscenza delle due distribuzioni marginali, ciok delle proiezioni della gaussiana sui due assi x e y, non basta per una conoscenza completa della densita bidimensionale, perch6 variabili correlate o incorrelate danno in entrambi i casi proiezioni gaussiane. La conoscenza della covarianza o del coefficiente di correlazione i3 quindi essenziale per la determinazione completa della distribuzione statistica delle variabili. Facciamo ora qualche considerazione sulla forma della gaussiana bidimensionale. La Fig. 4.4 riporta tre casi: variabili incorrelate, parzialmente correlate e totalmente correlate. Se immaginiamo di tagliare la curw con piani di quota costante, l'intersezione dB luogo ad una curva di equazione: u2 - 2puv $ u2 = costante
,
(4.41)
per variabili standard, e ad una curva
per variabili normali. Queste curve in generale rappresentano delle ellissi, dette ellissi di concentrazzone, con centro nel punto (px,p,). Se p = 0, l'ellisse ha gli assi principali paralleli agli assi di riferimento e degenera in una circonferenza se D~ = oy.Infine, se p = f1, le variabili sono completamente correlate e l'ellisse degenera in una retta di equazione
4.4 Densit%naussiana bidimensionale
127
Fig. 4.4. Gaussiana in due dimensioni nel caso di variabili incorrelate a), parzialmente correlate b), totalmente correlate c). Sono ankhe mostrate le distribuzioni marginali per un determinato valore xo, la retta di regressione ( Y l x ) e la corrispondente dispersione ~ [ Y l x ]
In questo caso la curva normale si schiaccia completamente su un piano, come . ha allora a che fare con una sola variabile aleatoria mostrato in Fig. 4 . 4 ~ ) Si (X o Y) essendo l'una completamente dipendente dall'altra attraverso una relazione matematica. A questo punto B necessario soffermarsi su di un'importante proprietb della gaussiana bidimensionale: quando gli assi principali dell'ellisse sono paralleli agli assi di riferimento, allora p = 0, le variabili sono incorrelate e qnindi, per il teorema 4.3, anche indipendenti. E allora sempre possibile, operando una rotazione di assi, trasformare una coppia di variabili gaussiane dipendenti in variabili gaussiane indipendenti. Questa proprieta che, come vedremo, B generalizzabile ad un numero qualunque di dimensioni, sta a fondamento del test X 2 applicato alla verifica di ipotesi in statistica. L'espressione dell'angolo di rotazione la si trova in mod0 abbastanza semplice operando sulle variabili standard (4.34) una generica rotazione di un angolo a! degli assi di riferimento:
Se non vi ricordate questa formula potete consultare un qualunque testo di fisica o geometria. Le nuove variabili A e B per essere incorrelate e indipendenti devono avere la covarianza (e quindi il coefficiente di correlazione) uguale a zero. Imponiamo dunque:
128
Capitolo 4. Calcolo delle probabilith per piir variabili
(AB) = ((Ucosa+Vsena)(-Usena+Vcosa)) = - sen a cos a ((u2)- (v2)) (cos2a - sen2 a ) (UV) 1 = - - sen 2a ((U2) - (V2)) cos 2 a ( U V ) = 0 . 2
+
+
Poichk per le variabili standard (U2) = (V2) = c2 = 1, si ottiene la condizione
Per questo valore di a il sistema (4.44) diventa:
Sono naturalmente valide le relazioni inverse:
ed anche la conservazione della norma in una rotazione, come B facile verificare: (4.48) A ~ + B ~ = u ~ + v ~ . Sostituendo le (4.46-4.48) nella (4.41) otteniamo:
Se ora consideriamo l'esponente della gaussiana standard (4.38), passando alla notazione minuscola, vediamo che esso si trasforma come:
Poich6 lo jacobiano della trasformazione (4.47) vale: du 8th d a d b -
1
-
1
I
a 1
1 1 =-+-=I 2 2
'
otteniamo:
1 1 - 2 ~ e ~ [-5 p
(5+ hi)]
da, db, ,
4.4 Densitl aaussiana bidimensionale
129
dove:
Le (4.50, 4.51) contengono due risultati di fondamentale importanza. I1 primo i! che, date due variabili gaussiane con p # f1, k sempre possibile, passando alle variabili standard ed operando una rotazione di un angolo a = f45O, definire due nuove variabili ( A ,B) tra lor0 incorrelate. L'angolo corrisponde ad una rotazione che porta gli assi principali dell'ellisse di concentrazione paralleli agli assi di riferimento. I1 doppio segno nell'angolo indica semplicemente che la rotazione pub consistere indifferentemente nel portare un determinato asse dell'ellisse parallelo all'asse a: oppure all'asse y del sistema di riferimento. I1 second0 fatto importante & che dalle variabili incorrelate (A, B) 6 possibile ottenere due variabili (A,, B,) che sono gaussiane standard indzpendenti. Poichk la somma dei quadrati di variabili gaussiane standard indipendenti, in base a1 teorema di Pearson 3.3, si distribuisce come x2,se ne deduce che due variabili gaussiane con coefficiente di correlazione p # f1, con legame funzionale dato dall'esponente della gaussiana bidimensionale (4.40), danno luogo ad una variabile X 2 ( 2 ) con due gradi di liberth:
Se p = f1, tra A e B esiste una relazione deterministica e i gradi di liberth scendono a uno soltanto. Mostreremo tra poco che la relazione fondamentale (4.52) vale per un numero qualunque di dimensioni. I1 fatto che la (4.52) sia una variabile x2 Q un fatto importante in s6, e non richiede di conoscere la forma esplicita delle variabili gaussiane indipendenti che vi compaiono: i: sufficiente sapere che esse possono sempre essere trovate, se p # 1. I1 calcolo del X 2 viene fatto di solito con le variabili di partenza del problema, anche se esse sono correlate. Per finire, studiamo le densiti normali condizionate. La densith g(ylx), per un certo x fissato, si trova facilmente applicando la definizione (4.13). Nel nostro caso questo comporta la divisione della densita (4.40) per la densit& marginale gx (x), che, in base a quanto gig detto, non 6 altro che una densit& gaussiana monodimensionale g ( x ; p x , a,) data dalla (3.28). Dopo una facile rielaborazione, si ottiene:
Dato che x B costante, questa curva corrisponde ad una gaussiana monodimensionale di media e varianza date da:
130
Capitolo 4. Calcolo delle probabilith per piir variabili
Fig. 4.5. Differenza tra retta di regressione e assi principali
dell'ellisse di concentrazione
x
Le formule appena trovate mostrano che la media di Y condizionata ad x si dispone, nel piano (x, y) ed a1 variare di x, lungo una retta, detta retta di regressione. Si dice anche che tra le medie condizionate della gaussiana bivariata esiste un legame di regressione lineare. La varianza di Y, a1 contrario, si mantiene costante e dipende d a x solo attraverso il coefficiente di correlazione. Uno sperimentatore che esegue una serie di esperimenti consistenti nel campionare Y per diversi valori x mantenuti costanti, osserva una media che si sposta lungo la retta (4.54) ed una varianza costante (4.55). La varianza condizionata Var[Y 1x1 misura la dispersione dei dati intorno alla retta di regressione ed 6 sempre 5 di quella proiettata a:. Essa dipende dall'angolo che gli assi principali dell'ellisse di concentrazione formano con gli assi di riferimento. Se p = 0 le due coppie di assi sono parallele, le rette di regressione coincidono con gli assi dell'ellisse, non c'i: correlazione e le due varianze sono uguali; se p = 1, Var[Ylx] = 0 e lungo la retta di regressione non si osserva dispersione (Fig. 4.4). La densit& condizionata g(xly), per un prefissato valore di y, e le corrispondenti media, varianza e retta di regressione si ottengono dalle formule precedenti scambiando y con x. E possibile, tra variabili gaussiane, una correlazione non lineare? I calcoli appena svolti mostrano che, se le densit& marginali (proiettate) sono entrambe gaussiane, la relazzone deve essere lineare: una relazione non lineare distorce la forma gaussiana su almeno uno dei due assi. Vi anticipiamo anche che la dipendenza non lineare verra trattata in modo dettagliato pih avanti, nel cap. 10. Notiamo infine che le rette di regressione sono, per costruzione, il luogo dei punti di tangenza all'ellisse delle rette parallele agli assi e quindi non coincidono con gli assi principali dell'ellisse (Fig. 4.5). --- Esercizio 4.3 Sono date due variabili gaussiane, X dz media p = 25 e deviazzone standard & -
131
4.4 Densith ~ a u s s i a n abidimensionale
dove YR 21 gaussiana di parametri p,, = 0 e a,, = 6 (nel cap. 10 indicheremo con S T A T X Y questo tipo di legame tra le variabili X ed Y). Determinure la covarianza e il coeficiente di correlazione tra le due variabili. Verificare i risultati con u n a simulazione. Risposta. Media e deviazione standard dz Y valgono:
(Y) = p, = 10 + ( X ) = 35
, a[Y] = o, =
da; + a:,
= 8.48
.
Definendo A X = X - p,, AY = Y - p Y , dalla (4.241 possiamo calcolare la covarianza tra le variabili come: COV[X,Y]= (AX AY) = ( A X ( A X + AYR)) = (A2x) =
02
= 36
,
(4.57)
dove si b s f m t t a t o il fatto che (AXAYR) = 0 , essendo le variabili X ed YR incorrelate per costruzione. I1 coeficiente di correlazione vale:
S i noti che, dalla (4.551, risulta Var[Yjx] = a i ( l - p 2 ) = 8.482(1- 0 . 7 0 7 ~ )= 62 -- a2y RVerifichiamo ora i risultati con u n a simulazione. Come vi spiegheremo in dettaglio nel cap. 7, disponendo del generatore r a n d o m di variabili uniformi, b possibile ~ r o d u r r e "attraverso u n calcolatore delle variabili casuali gaussiane di media e deviazione standard prefissate. Utilizzando il codice S C I L A B : x=grand(i,200000,'norJ,25,6); // 200000 variabili normali y=grand(1,200000,JnorJ, 0,6); / / di media 0 e 25 e std dev 6 y=io.+x+y; xbasc0 ; // viene pulita la f inestra grafica Hist3d(x,y,20,20,plot4=1); // grafico di Fig. 4.6
si ottengono 200 000 valori sirnulati della coppia (X, Y) in accord0 con la (4.56). Dato che S C I L A B n o n possiede routine eficaci per la rappresentaistogrammi bidimensionali, abbiamo fatto uso della nostra che fornisce un risultato come quello di Fig. 4.6, corredato die, deviazioni standard, covarianza e coeficiente di correlazione. Poiche' la correlazione tra X e Y b di tipo lineare, gli istogrammi marginal2 g(x) e g(y) hanno u n a forma di tipo gaussiano, come si pui, vedere facilmente dai grafici di Fig. 4.6. Le medie e le deviazioni standard di questi istogrammi sono u n a stima delle corrispondenti quantitci vere delle densitci g x (s)e g y ( y ) . Esse si possono calcolare tramite le (2.37, 2.39, 4.23). Dalle 200 000 coppie simulate abbiamo ottenuto:
132
Capitolo 4. Calcolo delle probabiliti per piij variabili
Fig. 4.6. Campione di 200 000 eventi, simulato a1 calcolatore utilizzando una popolazione avente la densit& gaussiana bivariata dell'esercizio 4.3. Istogramma bidimensionale g(x,y), istogrammi marginali g(x) e g(y) e vista dall'alto con le curve di densit%(in basso a destra)
Le dispersioni sono state calcolate dividend0 per ( N - 1) = 199 999 poiche' si sono utilizzate le medie empiriche. Queste quantit4 sono state indicate con lettere latine perch6 sono stime campionarie delle (4.17, 4.18). I1 coeficiente di correlazione stimato vale allora:
4.5 Generalizzazione i n uih dimensioni
133
Dato che il campione simulato contiene u n grande numero di eventi, tutti i valori che abbiamo ricauato dai dati coincidono, entro "qualche per mille", con quelli veri. Questi aspetti di convergenza saranno trattati nel cap. 6.
4.5 Generalizzazione in piir dimensioni La generalizzazione delle formule di questo capitol0 a1 caso di piu di due variabili B abbastanza immediata e non presenta difficolth particolari. La densith di probabilith congiunta di n variabili aleatorie 6 data da una funzione non negativa: P(xI,x~,-..,x~) (4.59) tale c h e , s e A & IW", P{(2,x2; . . . ,5,) E A) =
L
p(x1, 5 2 , . . . , 5%)dx1 dxz . . . dx, .
Nel caso di variabili indipendenti si ha:
La media e la varianza della variabile X k si ottengono generalizzando le (4.5):
Nel caso di pi6 variabili la covarianza pub essere calcolata con la (4.20) per una qualunque coppia di variabili (xi, xk):
Si hanno pertanto n(n - 1)/2 covarianze diverse ed n varianze. Esse sono spesso scritte in una matrice simmetrica V, detta matrice delle covarianze: Var[XI] COV[X~, Xz] . . . COV[XI,Xn] . . . Cov [X2,X,] Var[X2] ...
...
. .. . ..
. .. . ..
. ..
Var[XnI
1
(4.63)
,
dove gli elementi diagonali sono le n varianze e quelli non diagonali le n(n 1)/2 covarianze. La matrice B simmetrica perch6 ovviamente Cov[Xi, Xk]= Cov[Xk,Xi]: per questo motivo essa B stata scritta esplicitamente solo sopra la diagonale. In totale gli elementi diversi della matrice sono
134
Capitolo 4. Calcolo delle probabiliti per pih variabili
n(n - 1) 2
+n=
+
n(n I) 2 -
Sovente si introducono i coefficienti di correlazione p[Xi, X k ] ottenuti generalizzando la (4.31) e la matrice delle covarianze viene espressa anche come:
Se le variabili sono incorrelate, i termini fuori dalla diagonale sono tutti nulli, ed i termini diagonali coincidono con le varianze delle singole variabili. Invece della matrice delle covarianze talvolta si usa la matrice di correla-
la quale 6 anch'essa simmetrica. Generalizzando la (4.24) in pii3 dimensioni, la matrice delle covarianze si pub esprimere come:
dove (X - p ) 1: un vettore colonna e il simbolo t indica l'operazione di trasposizione. In questo mod0 il prodotto righe per colonne tra un vettore colonna ed uno riga fornisce la matrice quadrata simmetrica (4.63). I1 calcolo della matrice delle covarianze e dei coefficienti di correlazione a partire d a un insieme di dati pub essere fatto con la nostra routine Covarda%. Le istruzioni per l'uso si trovano nei cornmenti al codice. Le matrici V e C compaiono spesso nel calcolo delle probabilith multidimensionale. Si pub rnostrare che esse godono della fondamentale proprieth di essere definite positive: x t ~ x > O , (4.67) dove l'uguaglianza vale solo se tutti gli n elementi del vettore x sono nulli. Notate che nella forma quadratica (4.67) a sinistra compare un vettore riga x t ed a destra un vettore colonna x , in mod0 da ottenere un numero (non una matrice) che, nel caso V sia diagonale, i: una somma di quadrati del tip0
C "?Xi.
Poichi: ~t = V, (V-l)t = V-l, se x = V-'y si ottiene la relazione:
la quale mostra che anche la rnatrice inversa B definita positiva. Un'altra utile proprietii i: che, per ogni matrice definita positiva, V esiste una matrice H tale che:
4.5 Generalizzazione i n pib dirnensioni
135
dove 1 15la matrice unita. Tutte queste proprietii sono dimostrate in dettaglio nel classico testo di Cram& [22]. E possibile anche generalizzare le (4.11, 4.13) ed ottenere varie distribuzioni marginali e condizionate di una o pih variabili integrando su quelle rimanenti. La generalizzazione B ovvia e non la riportiamo. Quando le X sono variabili gaussiane, esse hanno una funzione densita data dalla generalizzazione multidimensionale della gaussiana bivariata (4.40):
dove V B la matrice delle covarianze (4.63). La densit& (4.70) B detta gaussiana multivariata e pub essere ricavata estendendo in pib dimensioni gli argomenti con i quali si B dedotta la gaussiana bivariata. Ovviarnente, i:facile verificare che la gaussiana multivariata contiene quella bivariata come caso particolare. Infatti, se p f f1:
da cui la (4.40). Se H i: una matrice che soddisfa la (4.69), attraverso la trasformazione
la forma definita positiva che compare nell'esponente della gaussiana si trasforma in:
dove si B utilizzata la terza delle (4.69). L'equazione (4.71) B pertanto l'equivalente della rotazione bidimensionale (4.44). Le move variabili Z sono ancora gaussiane perch6 combinazioni lineari di variabili gaussiane (si veda l'esercizio 5.3 del prossirno capitolo); inoltre, B facile vedere che esse hanno media nulla e che, in base alle (4.66, 4.71) ed alla terza delle (4.69), sono anche variabili standard incorrelate:
-
Dal teorema 4.3 segue che le Zisono mutuamente indipendenti e che pertanto la (4.72) B u n a variabile Q x2(n). La relazione (4.52) vale quindi anche per il caso n-dimensionale.
136
Capitolo 4. Calcolo delle probabilith per pib variabili
Se / V J= 0, tra le n variabili esistono una o piil relazioni di dipendenza lineare; 6 allora necessario individuare un nurnero r < n di variabili linearmente indipendenti e riformulare la (4.70). Pensiamo sia utile ricordarvi che due variabili sono stocasticamente indipendenti (o dipendenti) se vale (o non vale) la (4.12); la dipendenza matematica di tip0 lineare implica invece l'esistenza di equazioni di vincolo ben definite tra le variabili. Due variabili linearmente dipendenti o vincolate corrispondono statisticamente ad una sola variabile. Se l'equazione B lineare, dal teorema 4.2 di Cauchy-Schwarz risulta p = f1. Pertanto, quando si ha a che fare con variabili aleatorie espresse da forme quadratiche definite positive del tip0
dove le X sono variabili gaussiane e W 6 una matrice simmetrica, occorre sempre verificare se I WI = 0. In questo caso B necessario ridurre il numero di variabili determinando, se vi sono tra le variabili p equazioni lineari, (n - p) nuove variabili linearmente indipendenti. La teoria dei sistemi lineari assicura che B sempre possibile determinare queste nuove variabili in mod0 da ottenere ancora una forma quadratica definita positiva di dimensione n - p, per la quale valgono ancora le (4.72, 4.73). E quindi possibile esprimere la forma quadratica come somma di n - p variabili gaussiane standard indipendenti
Ti:
Possiamo a questo punto generalizzare il teorema di Pearson 3.3 come segue:
Teorema 4.4 (Forme quadratiche). Una variabile aleatoria Q -- X2(v) 2 data dalla somma dei quadrati di v variabili standard gaussiane stocasticamente indipendenti, oppure dalla forma quadratica definita positiva (4.74) di variabili gaussiane. I grad2 di libertci sono dati in questo caso dal numero di variabili presenti m e n o il numero di eventuali relazioni lineari che esistono tra di esse.
4.6 lnsiemi di probabiliti in pih dimensioni Consideriamo ora il calcolo dei livelli di probabilitL in piil dimensioni. L'analogo bidimensionale dell'integrale (3.92) B dato da:
Esso fornisce la probabilith che in una prova si ottengano le realizzazioni numeriche delle due variabili aleatorie entro dei limiti fissati. L'intervallo di
4.6 lnsiemi di probabilita in pih dimensioni
137
probabilitii si trasforma in questo caso in un rettangolo, come mostrato in Fig. 4.7a). Quando i limiti inferiori sono a = -co,c = -CQ, la (4.75) fornisce I'analogo bidimensionale della funzione di ripartizione (2.34). La (4.75) pub essere estesa in pih dimensioni considerando una variabile X = (XI, X2, . . . ,X,) e una regione D nello spazio n-dimensionale. La probabilita che una prova fornisca un vettore compreso in D 6 data allora da: p(xl, x2,. . . ,x,) dxl dx2.. . dx, .
(4.76)
Nel caso di variabili gaussiane indipendenti la (4.75) dB luogo a1 prodotto di due integrali di densit&gaussiane monodimensionali. Quando gli intervalli di probabilitii di X e Y sono simmetrici e centrati sulle rispettive medie, i livelli di probabilitii si possono ottenere come prodotto delle funzioni (3.38) definite a pagina 79:
I livelli di probabilita corrispondenti alla legge 3a monodimensionale si ottengono pertanto come prodotto dei livelli di probabilitb monodimensionali (3.35). Ad esempio, la probabilitii che entrambe le variabili siano comprese entro f a , cio&entro una deviazione standard, 6 data da: P { ( X - pxl
< a,,
IY
- pVI 5 ay) = 0.683.0.683 = 0.466
.
(4.78)
Consideriamo ora la gaussiana bivariata standardizzata per il caso di variabili incorrelate (4.35) ed operiamo la trasformazione in coordinate polari:
Poich6 l'elemento di superficie du dv si trasforma in r d r d8 (lo jacobiano della trasformazione & r ) , la (4.35) si trasforma nella funzione:
la quale non i: altro che la densitii X2 con due gradi di liberta; essa mostra che, utilizzando le variabili standard, 17eZlisse di concentrazione di Fig. 4 . 7 ~ ) si trasforma i n u n cerchio col centro nell'origine (Fig. 4.7b). Da qui & poi facile ricavare le probabilith di cadere entro l'ellisse di concentrazione avente gli assi principali pari a k volte le deviazioni standard delle due variabili:
138
Capitolo 4. Calcolo delle probabilith per pih variabili Fig. 4.7. Regione relativa alla probabilita P{IX - p z l 5 cz, IY p,l 5 a,) ed ellisse di concentrazione corrispondente per variabili normali incorrelate (a); nel caso di variabili standard, il rettangolo e I'ellisse si trasformano rispettivarnentein un quadrato e in un cerchio di semi-lato o raggio unitario centrati nell'origine (b)
da cui ottiene una sorta di legge 3u nel piano:
+ (Y - &'I2
< k2
c$
0.393 per 0.865 per 0.989 per
k =1 k =2
lc = 3
(4.81) Notate che l'intervallo di probabilita rettangolare &a della (4.78) ha una probabilith maggiore (0.466 contro 0.393) di quello della corrispondente ellisse (4.81), la quale per 5 = 1ha i lati del rettangolo come assi principali. Questo fatto B mostrato anche in Fig. 4.7, dove si vede che il rettangolo o il quadrat0 di probabilita contiene l'ellisse o il cerchio di concentrazione. Se, invece di due variabili standard (U, V), consideriamo due variabili gaussiane (X, Y) di media nulla ed aventi la stessa varianza o2 e nell'integrale (4.80) operiamo la sostituzione r + ria, otteniamo la funzione
1 r p(r) = - - exp 27r a2 la quale, integrata in dr dB, d& la densit& di probabilith nel piano per due variabili gaussiane indipendenti (X, Y) di uguale dispersione. Questa funzione B detta densith di Rayleigh, ed B l'analogo bidimensionale della densit& di Maxwell (3.73), che i: valida nello spazio. Vi sarete accorti che gli intervalli di probabilita di una certa variabile sono diversi a seconda del numero globale di variabili che viene fatto variare e del tip0 di dominio D che viene considerato nella (4.76). Fissando le idee a1 caso di due variabili (X, Y), per un certo livello di probabilitzl fissato (ad esempio 68.3%), possiamo definire ben cinque intervalli di probabilita: un intervallo (x f a,) relativo alla probabilith del 68.3% di trovare un valore di X per un qualunque valore di Y e l'analogo scambiando X con Y (e sono due), oppure l'intervallo ((Ylz) f dVar[ylz])delle (4.54, 4.55) relativo alla probabilith del 68.3% di trovare un valore di Y per un valore fissato xo e l'analogo per X per un valore fissato yo (e sono quattro) ed infine possiamo definire una
4.6 lnsierni di probabilith in pib dimensioni
139
regione bidimensionale D in cui cade il 68.3% dei punti di (X, Y). Le densita coinvolte nei cinque casi sono rispettivamente le densita marginali px(x), p y (y), le densita condizionate p(y lzo),p(xlyo), e la densitb congiunta p(x, y). La regione del piano D dove effettuare le stime multidimensionali it quasi sempre l'ellisse di concentrazione:
dove l'espressione a destra della freccia vale ovviamente in caso di variabili incorrelate. Questa regione possiede delle proprietA importanti che esaminiamo brevemente. Nel caso di n variabili gaussiane, in base a1 teorema 4.4, la variabile Q ha distribuzione x2(n). Questo permette di utilizzare, nel calcolo dei livelli di probabilita associati all'ellisse di concentrazione rnultidimensionale (4.83), le tabelle D.3 e D.4 dei livelli di significativitA della densit& x2 riportate in Appendice D. Dato che la densith marginale di ogni variabile B gaussiana, la variabile
segue la densit&x2(-1).I livelli di probabilita corrispondenti a {Qi = 1,4,9) non sono altro, come sappiamo, che i livelli di probabilita gaussiani del = 1,2,3) della variabile 68.3%, 95.4% e 99.7% corrispondenti ai valori gaussiana standard non quadrata: P{Qi 5 X 2 ) = P{Ti Le tabelle D.3 e D.4 sono due modi diversi di calcolare le probabilita relative alla distribuzione x2: per ottenere i valori riportati nella Tab. D.4 per un determinato livello di probabilith a: basta trovare il corrispondente livello 1 - a in Tab. D.3 e moltiplicare il chi-quadrat0 ridotto x;(v) della tabella per i gradi di liberta v del problema (si noti infatti che la Tab. D.4 riporta i valori di del X 2 totale, non di quello ridotto). La differenza tra i livelli di probabilit& di ogni singola variabile e quelli congiunti i. mostrata, per il caso bidimensionale, in Fig. 4.8, dove il valore x2 = 2.30 i:tratto dalla Tab. D.4 per v = 2. Guardando la figura dovete fare attenzione ad un fatto importante, che useremo spesso in seguito: le proiezioni sugli assi della curva corrispondente a X 2 = 1 definiscono gli intervalli ad 1a delle variabili, riferite alle rispettive densitci marginali. Questa proprieth, ovvia in una dimensione, si dimostra anche per due variabili ponendo uguale ad 1 la funzione x2 (4.52):
{a
< a).
e considerando l'intersezione di questa curva con la retta di regressione (4.54) v = pu. Si trova facilmente la soluzione, che Q u = f1, corrispondente ad un intervallo ( f i x icx).Lo stesso vale ovviamente per la proiezione sull'asse y.
140
Ca~itolo4. Calcolo delle ~robabilitaaer aii! variabili uesta banda contiene 8.3 % dei valori di x
Fig. 4.8. Regioni di probabilita in una e due dimensioni. La curva corrispondente a X 2 = 2.30 contiene il 68.3% delle coppie di variabili. La proiezione sugli assi della curva X 2 = 1fornisce gli intervalli di probabilith ad 1c per ognuna delle variabili
l'ellisse contiene
Analogamente a1 caso monodimensionale, spesso il modello gaussiano & ragionevolmente valido anche per una gran parte di fenomeni statistici in piii dimensioni. L'uso dell'ellisse di concentrazione e della densita X2 fornisce allora un mezzo molto potente per prevedere la probabilitk di un risultato sperimentale costituito da una n-upla di valori (XI, x2, . . ., x,). Se invece il problema non consente l'uso del modello gaussiano, 2 necessario ricorrere alla risoluzione degli integrali (4.76) definendo opportune regioni di probabilitb, di solito ipercubiche o ellittiche, e tenendo conto con cura delle correlazioni tra le variabili. Spesso, per raggiungere questo difficile obiettivo, si ricorre ai metodi di simulazione Monte Carlo descritti nel cap. 7.
4.7 La distribuzione multinomiale La densit2 binomiale (2.30) individua la distribuzione di probabilith della variabile I = (Il,I2) definita come istogramma sperimentale di N eventi suddivisi in due canali con conteggi Il ed I2 rispettivarnente, quando le probabilita vere che una osservazione cada nei canali 1 e 2 sono rispettivamente p = p l e (I-p)=p2:
+
+
\
,
con (PI p ~ = ) 1 e (nr nz = N). Questa equazione si presta ad una immediata generalizzazione al caso di un istogramma generic0 con un numero 5 di canali. La densit2 che si ottiene, detta multinomiale, rappresenta la probabilit& che la variabile aleatoria I = (11, Iz, . . . , Ik)fornisca un iptogramma sperimentale con un numero determinato di eventi ni in ognuno dei canali, quando sono note le probabilita a priori pi:
141
4.7 La distribuzione rnultinomiale
(PI
+ p2 + . . . + p k ) = 1,
(n1
+ n2 + .. . + nk) = N
.
(4.88)
Poich6 ogni variabile, rispetto a tutte le altre, soddisfa i requisiti della densit& binomiale, valgono le relazioni:
Le variabili (11, 4 , . . . ,I k ) sono perb dipendenti a causa della seconda delle (4.88). La lor0 covarianza puh essere calcolata direttamente con la (4.62) oppure in mod0 molto piu semplice utilizzando la legge di trasformazione della varianza. I1 calcolo verrb svolto nel prossimo capitolo, nell'esercizio 5.11. I1 risultato 6 la formula (5.86), che qui anticipiamo:
La covarianza 6 negativa, perch6 l'aumento del numero di eventi in un canale comporta la diminuzione del numero degli eventi negli altri canali. Nel caso monodimensionale, la densita binomiale tende rapidamente alla densita gaussiana. La stessa proprieth vale anche per 13 densitb multinomiale, il che i: un fatto di grande importanza per studio degli istogrammi che faremo in statistica. L'equazione (3.24), valida per Np, N ( 1 - p) > 10, si pub infatti anche scrivere come:
- - -
dove l'ultima uguaglianza, ottenuta ponendo p p l , (1 - p) pz, n n l , ( N - n) n2, suggerisce una forma simmetrica che pub essere generalizzata a1 caso di n variabili (trovate la traccia della non facile dimostrazione in [42]). Possiamo pertanto scrivere il risultato fondamentale:
dove la somma va estesa a tutte le k variabili che compaiono nelle somme (4.88). Abbiarno pertanto approssimato la densitb multinomiale con una densit6 gaussiana multidimensionale, dove nell'esponenziale compare la somma dei quadrati delle variabili. Tuttavia, le variabili sono correlate attraverso la (4.88) e quindi i gradi di libert& sono in realta solo k - 1. Se ora combiniamo questo risultato con il teorema 4.4, arriviamo all'importante conclusione che possiamo enunciare come: Teorema 4.5 (Somma di Pearson). I n un istogramma di k canali, costruito a partire da u n campione casuale dz dimensione N e avente probabilitb Vera pi i n ogni canale, la variabile
142
Capitolo 4. Calcolo delle probabilith per piir variabili
dove Ii & il numero d i eventi osservati in ogni canale, tende ad avere, per + co,densitci X 2 con k - 1 gradi d i liberta.
N
Questo teorema, come vedremo, Q l a chiave di volta per l'impiego del test in statistics e pub gi8 venire applicato con ottima approssimazione se
X2
Npi> 10. Notiamo anche che nella (4.93) n o n compare la somma dei quadrati di variabili standard, perch6 la varianza delle variabili Ii & d a t a dalla (4.89) e le variabili sono correlate. Pertanto il teorema generalizza in mod0 non banale i risultati del teorema 3.3, che si riferivano a somme di quadrati di variabili gaussiane standard indipendenti.
4.8 Problemi 4.1. Se X e Y sono due variabili uniformi ed indipendenti negli intervalli 10, a] e [0,b] rispettivamente, trovare la densit&congiunta p(x,y).
4.2. Se Xi, i = 1,2,3 sono tre variabili gaussiane indipendenti di media pi e varianza u:, trovare a) la striscia che contiene il 90% dei valori di X I , b) l'ellisse che contiene il 90% dei valori delle coppie ( X I ,X2) e C) l'ellissoide che contiene il 90% delle n-uple (XI,Xz, X3).
4.3. Se X e Y sono variabili aleatorie indipendenti, vale l'uguaglianza (Ylz) = (Y)? 4.4. Calcolare approssimativamente per via grafica il coefficiente di correlazione dall'ellisse di concentrazione di Fig. 4.6 (in alto a destra).
4.5. Se Z = a x
+ b e U = cY + d con ac # 0, calcolare p[Z,U ] .
4.6. In una popolazione la statura B una variabile gaussiana pari a (X) fa [ X ]= 175 f8 cm per gli uomini e (Y) fu[Y]= 165 f6 cm per le donne. Supponendo che non vi sia correlazione, trovare la percentuale di coppie con uomo e donna pih alti di 180 e 170 cm rispettivamente.
4.7. Come risolvereste, in linea di principio, il problema precedente nel caso piii realistic0 (le coppie tendono infatti ad avere statura omogenea) di un coefficiente di correlazione p = 0.5 tra la statura del marito e quella della moglie? 4.8. Nel lancio indipendente di due dadi si accetta il valore del secondo dado solo se il numero & dispari, altrimenti si assume come secondo valore quello del primo dado. Indicando con X e Y la coppia di valori ottenuti in ogni prova, trovare, per le due strategie, la densit&di probabilith, le densith marginali di X e Y, la media e le deviazioni standard di X e Y e la loro covarianza.
5. Funzioni di variabili aleatorie
" I libri di testo traboccano di trionfi dell'analisi lineare, i cui insuccessi sono sepolti cod in profondita che le tombe non sono segnate e la loro esistenza passa inosservata. " Ian Stewart, L L D GIOCA ~ ~ A DADI?" .
5.1 lntroduzione Prima di passare alla statistica ci rimane ancora questo capitolo, in cui affrontiamo il problema seguente: se consideriamo pih variabili aleatorie X, Y ,. . . definite sullo stesso spazio di probabilith e le combiniamo in una funzione Z = f (X, Y,. . .) del tip0 (2.9), otteniamo u n a nuoua uariabile aleatoria 2; se conosciamo la densith di probabilith congiunta pxy...(z, y; . . .) delle variabili aleatorie di partenza, quale sara la densita p z (2) della variabile Z? Per fissare le idee, consideriamo il caso di due variabili X e Y. Sono allora coinvolte due densit&di probabilit5 pxy e p z e una funzione f (x, y), second0 lo schema seguente:
Le densiti pxy b nota, f (x, y) rappresenta un legame funzionale assegnato (somma, prodotto, esponenziale o altro) e il problema consiste nel determinare la densita p z della nuova variabile casuale 2. Questo schema, che pub essere esteso in mod0 ovvio ad un qualunque numero di variabili, rappresenta I'essenza del problema che vogliamo risolvere. Le densit&di probabilith verranno sempre indicate con la. lettera p(. . .), i legami funzionali con la lettera
f ( - . .). La variabile aleatoria Z resta definita in funzione dei risultati a e b delle prove che realizzano X e Y, second0 lo schema di Fig. 5.1:
Nel caso di variabili discrete, la probabilit& che Z appartenga ad un certo insieme numeric0 & 6 allora data, in base a1 teorema 1.1, dalla probabilith di ottenere {X E Rx} e {Y E Ry } (ovvero a E A e b E B) sommata su tutti i casi che soddisfano la condizione x E Rz:
144
C a ~ i t o l o5. Funzioni di variabili aleatorie
I
I
campo reale
Fig. 5.1. Definizione della variabile aleatoria Z = f ( X ,Y )
(5.1) Se X e Y sono indipendenti, dal teorema 1.2 delle probabilitii composte si ha anche: P{ZERZ)= P { X € R x ) P { Y E Wy). (5.2) [ G Y : ~(Z,Y)ERZI
La Fig. 5.1 mostra schematicamente il significato della (5.1). Consideriamo ora un semplice esempio: siano X e Y i punteggi che si ottengono lanciando due volte un dado (1 5 X, Y 5 6) e sia Z = f (X,Y) = X + Y la somma dei due punteggi. Definiamo IRz l'insieme dei risultati minori di 5 ( Z = X +Y < 5) e calcoliamo la probabilitA P{Z E Rz ). Se le due prove sono indipendenti, vale la (5.2) e la probabilitd di ottenere una coppia (z, y) vale 116 x 116 = 1/36. La (5.1) prescrive di sommare le probabilita di tutte le coppie per le quali Z < 5: (1,1), (1,2), (1,3), (2,1), (2,2), (3,l). Si hanno 6 coppie e quindi P{Z < 5) = 6/36 = 116. Nel seguito procederemo per passi successivi, considerando prima una variabile, poi due variabili, ed indicando infine come estendere il procedimento a n variabili. Mostreremo anche come sia possibile, limitandosi solo a110 studio della trasformazione della media e della varianza attraverso la funzione f , arrivare ad una soluzione semplice e generale, anche se approssimata, del problema.
5.2 Funzione di una variabile aleatoria Sia X una variabile casuale continua di densitd px(z) e sia Z una variabile casuale legata a X dalla relazione funzionale:
Per determinare la densit&p ~ ( z basta ) applicare le note regole sul cambia-
5.2 Funzione di una variabile aleatoria
145
mento di variabile in una funzione,,facendo per6 attenzione a come si trasformano gli intervalli di probabilita. E quindi opportuno ricorrere agli integrali di probabilith definiti dalla funzione di ripartizione ed utilizzare le relazioni chiave (2.29, 2.36). Oltre a queste equazioni, ci serviremo del teorema di Leibnitz di derivazione di un integrale, la cui dimostrazione pub essere trovata su molti testi di analisi matematica. Data una funzione z = f (x), se x = f-'(z) esiste ed it derivabile in [xl , x2], vale la relazione:
dove l'apice indica l'operazione di derivata. Consideriamo ora una generica funzione f (X) continua come in Fig. 5.2, e determiniamo la probabilith che Z sia minore di un determinato valore zo. In sostanza, dobbiamo trovare la probabilit2 che Z si trovi al di sotto della retta z = zo di Fig. 5.2. Dalle (2.29, 5.1) e dalla figura otteniamo:
dove Fz it la funzione cumulativa di Z e gli intervalli A isono indicati sempre in Fig. 5.2. Questi intervalli, tranne il primo e l'ultimo, hanno come estremi le radici reali X I ,x2,. . .,xn dell'equazione (5.3):
L'equazione (2.36) ci assicura che, deriwndo la (5.5), otterremo la densith di probabilith cercata. Poichk dalla Fig. 5.2 si vede che l'estremo inferiore di ogni
146
Caaitolo 5. Funzioni di variabili aleatorie
intervallo Ai non dipende da z (e quindi h a derivata nulla) oppure, quando dipende da z , ha derivata sempre negativa (la funzione decresce), applicando la formula di Leibnitz (5.4) alla (5.5) possiamo scrivere la densit&pz(z) come somma di termini tutti positivi, prendendo il valore assoluto delle derivate delle radici reali (5.6):
-
d F z (2) PX (21) PX (22) = pz ( z ) = ------ + -+...+-px(xn) dz I f ' ( 4 lf1(x2)1 Ifl(xn)I '
(5.7)
dove il membro a destra i! una funzione di zo z tramite l'inverso delle (5.6). II risultato 6 sempre positivo, come si richiede per una densit& di probabiliti. Quando esiste una sola radice reale dell'equazione (5.3) e p ( ~ ) 0, questa formula coincide con il solito metodo di sostituzione di variabile in un integrale. Questo metodo 15 gih stato tacitamente applicato negli esercizi 3.10 e 3.11 sulle distribuzioni di Maxwell e di Boltzmann. Applichiamo ora l'equazione fondamentale (5.7) a qualche altro caso significativo. Nel caso in cui l'equazione (5.3) sia data da:
>
la (5.6) ammette la sola soluzione:
Poichk f '(a)= a, dalla (5.7) si ottiene:
Se invece consideriamo il legame funzionale:
Z = f (X) = a x 2 , la (5.6) ammette le soluzioni:
che danno luogo alle derivate:
le quali, inserite nella ( 5 . 7 ) ,permettono di determinare la densit& cercata:
5.3 Funzioni di pib variabili aleatorie
147
Se la densith px(x) di partenza k la gaussiana (3.28) e si applica l'equazione (5.8), la (5.9) diventa:
la quale k una gaussiana di media e varianza date da
Notiamo che, poich6 la trasformazione (5.8) i! lineare, le (5.14) si possono dedurre direttamente anche dalle (2.62, 2.63). Nel caso di una trasformazione quadratica (5.10) di una variabile proveniente da una distribuzione gaussiana di media nulla, la (5.12) diventa:
che B la densita gamma (3.55) con k = 1/2. La media e la varianza possono essere ottenute dalle (3.56), oppure integrando per parti le (2.53, 2.56), e sono date da: pz = U(T2 , a : = 2a 2 04 . (5.16)
5.3 Funzioni di pib variabili aleatorie Generalizziarno i risultati del paragrafo precedente a1 caso di funzioni di piG variabili aleatorie. Consideriamo per primo il caso semplice di una sola variabile Z funzione di n variabili aleatorie:
L'analogo della funzione di ripartizione o cumulativa (5.5) i: in questo caso dato dall'equazione:
(5.18) dove p x (xl, 22, . . . ,x,) k la densith di probabilita delle n variabili e D B I'insieme che comprende tutte le n-uple X = (XI,xz, . . . , x,) tali che P{Z zo), in accord0 con la (5.1). E bene notare che la densith di probabilith delle variabili X compare solo come argomento dell'integrale, mentre il legame funzionale Z = f ( X ) compare esclusivamente nella determinazione del dominio di integrazione D. La derivazione della cumulativa (5.18) risolve in molti casi il problema della determinazione della densit&p,. Questo metodo B Ia generalizzazione
<
148
Capitolo 5. Funzioni di variabili aleatorie
di quello usato nel par. 3.9, dove abbiamo derivato la (3.59) per ottenere la densit&X 2 . Per trattare il caso piii generale di n variabili Z funzioni di n variabili aleatorie X di partenza, in alternativa all'uso della funzione cumulativa o di ripartizione, si pub ricorrere ad una celebre formula basata sul teorema generale del cambiamento di variabile in una funzione integranda. Poich6 questo teorema si trova dimostrato su molti testi di analisi matematica, qui ne riportiamo soltanto l'enunciato:
Teorema 5.1 (Cambiamento di variabile in funzioni densith). Sian o X = (XI, X2, . . . ,X,) n variabili casuali con densitci congiunta p~ (x) e siano Z (Z1, Z2, . . . , 2,) n variabili legate alle X dalle n relazioni funzionali
le quali siano tutte invertibili e deriuabili con derivata continua rispetto a tutti gli argomenti (vi sia cio6 u n a corrispondenza biunivoca tra i due domini delle X e delle 2, per cui X1 = f c 1 ( 2 ) , ecc..). La densitci di probabilitd pz i: data allora da:
dove [JI 6 lo Jacobiano, definito come il valore assoluto del determinante:
IJI
=
Ovviamente, la trasformazione 6 possibile se tutte le derivate sono continue e IJI # 0. Nel caso n o n vi sia un'unica trasformazione fi (i = 1 , 2 , . . . ,n) che sia invertibile, occorre suddividere i domini delle X e delle Z i n m sottoinsiemi tra loro disgiunti tra i quali esista u n a corrispondenza biunivoca e sommare la (5.20) s u tali domini:
5.3 Funzioni di pib variabili aleatorie
149
Il teorema pub essere applicato anche a1 caso della trasformazione particolare (5.17). Consideriamo infatti una variabile Z funzione di 2 variabili:
Per applicare il metodo del determinante jacobiano, definiamo Z1E Z e una variabile ausiliaria 2 2 = X2. La (5.19) diventa:
=
La densit& di Z 21pub essere allora trovata applicando la (5.20) ed integrando poi sulla variabile ausiliaria 2 2 = X2. Dato che lo jacobiano vale:
dalla (5.20) si ottiene:
La densit&della variabile Z si ottiene integrando sulla variabile ausiliaria Z2:
Ricordando che
21
-
2,X2 = Z2 e che quindi
possiamo scrivere la (5.26) come:
che rappresenta la densit& di probabiliti cercata. Questa formula rappresenta una alternativa alla (5.18) per trovare la densit&p z ( z ) quando il legame funzionale B del tipo Z = f(X1,X2). Se le variabili XI e X2 sono indipendenti, allora la densit&p~ si fattorizza second0 la (4.6), e la (5.27) diventa:
150
Cavitolo 5. Funzioni di variabili aleatorie
Quando la variabile Z B data dalla somma:
la funzione inversa f
-'e la sua derivata da inserire nella (5.27) sono date da:
per cui si ottiene:
Se le due variabili X1 e X 2 sono indipendenti, allora la densitb di probabilita di partenza, che B del tip0 (4.3), si fattorizza nella (4.6) e otteniamo l'integrale:
1
+m
pz (2) =
P X ~( 2 - 2 2 ) px2 (22) dx2
,
(5.32)
-00
che i: detto integrale di convoluzione. Esso si incontra molte volte, sia in statistica sia in fisica sperimentale nell'analisi di misure di laboratorio (si veda il cap. 11). Dopo tanta matematica, vi facciarno notare che quest'ultimo integrale ha una semplice spiegazione intuitiva: la.probabilitb di osservare un valore Z = z B dato dalla probabilitb di avere realizzato un valore x2, per la probabilitb di avere un valore X I = z - rc2 che assicuri l'uguaglianza z = XI 22. Questa probabilitb va sommata su tutti i possibili valori di X2. L'integrale di convoluzione appare quindi come una ulteriore applicazione delle leggi fondamentali (1.22, 1.23) per variabili continue. Notiamo anche che la (5.31) pub essere trovata anche tramite la funzione cumulativa (5.18). Infatti, in questo caso si ha:
+
P{(X+Y
< z)}
= Fz(z) = / ( X + Y s z J P X (21r 2 2 ) dxl dz2
e, derivando rispetto a z tramite la (5 In SCILAB i! presente la funzione due funzioni date per punti. Copiando risolvere l'esercizio seguente e, con poche modifiche, anche gl in generale molti semplici problemi di convoluzione.
somma di due varzabili indipendenti X -- N ( p , a2) e Y -- U ( a ,b).
5.3 Funzioni di pib variabili aleatorie
151
Fig. 5.3. Convoluzione di una gaussiana standard con p = 0 e a = 1 (linea tratteggiata) con una densit&uniforme limitat a tra -2 e 2 (linea tratto-punto). La curva risultante i:la linea piena
Risposta. Dalle (3.28, 3.77, 5.32) ssi ha immediatamente: 1
PZ(Z) = b-a
l &?% b
1
exp
[-
(Z -;g~
&I2]
dy
Questa densitd n o n .4 altro che u n a gaussiana dz media ( z - ,u) e varianza c2 integrata entro i limiti della densith uniforme di partenza. Ricorrendo alla gaussiana cumulativa (3.43) possiamo scrivere:
Nelle misure di grandezze fisiche, spesso a120 strumento viene associata u n a dispersione casuale di tip0 uniforme, mentre alle operaxioni dz misura u n a dispersione di tipo gaussiano (vedi cap. 11). I n questi casi la (5.34) fornisce la legge di dispersione totale della misura, ed 2 pertanto importante nello studio della propagazione degli errorz, che verrd svolto nel par. 11.6. La Fig. 5.3 mostra che la forma di questa densith risultante i? abbastanza simile ad u n a gaussiana.
Esercizio 5.2
s o m m a di due variabili indipendenti X , Y
-
U(0,l)
152
Capitolo 5 . Funzioni di variabili aleatorie
Risposta. Poiche' 0 5 X, Y 5 1, ovviamente 0 5 Z caso, dalle (3'. 77, 5.32) si ha immediatamente:
5
2. Anche i n questo
dove u(x)rappresenta la densitd uniforme: u(x)=
1 per 0 < x < 1 0 altrimenti .
Gli argomenti della densitci uniforme, che sono le variabili ( z - z ) e ( x ) , devono quindi mantenersi limitati tra 0 e 1. L'integrale si scompone allora n e i due termini:
ed ha come risultato: per O < z < l per 1 < z 5 2 altrimenti
.
(5.35)
Questa densitb b normalizzata, compresa tra 0 e 2 , di forma triangolare e con massimo i n z = 1. Anche questa funzione verrd discussa i n dettaglio nello studio della gropagazione degli errori di due misure aflette da errori strumentali, che verrti svolto nel par. 11.6. Esercizio 5.3 Dovare la densitci della variabile
dove X, Y
N ( p , c 2 )sono due variabili gaussiane indipendenti.
Risposta. Anche in questo caso, dalle (3.28, 5.32) otteniamo immediatamente:
L'integrale che compare in questa formula pud essere risolto con i metodi indicati nell'esercizio 3.4. Esso b del tipo:
5.3 Funzioni di pih variabili aleatorie
153
dove:
S i ottiene pertanto la densitd:
la quale d u n a gaussiana di media e deviazione standard date da
Poiche' la trasformazione d lineare e le variabili sono indipendenti, le (5.38) sono in accordo con le (4.8, 4.19). L7esercizio ci dice perd u n fatto nuovo e molto importante: la composizione lineare di variabili gaussiane da luogo ancora a densita gaussiane. La (5.37) pub essere facilmente dimostrata anche utilizzando la proprietci ' (B.4) delle funzioni generatrici dell'appendice B. Quando u n a densitd conserva la sua forma funzzonale per composizione lineare di pi4 variabili, si dice che essa b stabile. E utile a questo punto ricordare il teorema Limite Centrale 3.1, secondo il quale la somma di N variabili aleatorie qualsiasi si distribuisce secondo la gaussiana per N abbastanza grande, i n pratica per N > 10. Ebbene, se le variabili di partenza sono gih gaussiane, questa condizione pub essere rimossa e la proprietd vale per qualunque N . L'insieme di queste proprietd sta alla base del ruolo centrale che la densiti gaussiana o normale assume sia nel calcolo delle probabiliti sia in statistics. Esercizio 5.4
dove X e Y sono due variabili intere poissoniane indipendenti rispettivamente di media p~ e p2. Risposta. La (5.32), per variabili intere X , Y 2 0 , va riscm'tta come:
dove la densitd px, py ii la poissoniana (3.14).
Sz ha pertanto:
154
Capitolo 5. Funzioni di variabili aleatorie
Moltiplicando e dividend0 per z ! e ricordando la formula del binomio di Newton:
si ottiene:
+
.
.
da cui rzsulta che la densitd cercata P: una poissoniana di media (pl p2). Notiamo che, diversamente dal caso gaussiano, solo la somma, ma non la differenza di variabili poissoniane b poissoniana. Infatti, se Z = Y - X , b possibile avere Z 5 0 e nella (5.40) compare il termine ( z + x)! invece del termine ( z - z ) ! . E chiaro allora che la distribuzione della dijferenza 12 diversa da quella di Poisson. Nei due esercizi che seguono determineremo le densit&di Student e di Snedecor, di cui ci serviremo pih avanti in statistica. Quindi, non saltate gli esercizi (leggetene almeno l'enunciato e la soluzione) e fate attenzione.
Esercizio 5.5
una variabile gaussiana standard e la radice quadrata di una variabile Q R di densitd X 2 ridotto con v gradi di libertci. La variabile gaussiana e la variabile Q R siano tra loro indipendenti. Risposta. Denotiamo con X la variabile gaussiana standard di densitci (3.42) e con Y la variabile X 2 di densith (3.65). Dobbiamo allora trovare la densith della variabile
Poiche' le variabili sono indipendenti, possiamo applicare la (5.28), dove
Abbiamo allora, utilizzando il prodotto delle densitci (3.42, 3.65):
Operiamo ora nell'zntegrale il cambio di variabile:
5.3 Funzioni di pih variabili aleatorie
155
ed otteniamo:
Ricordando l'espressione integrale (3.62) della funzione gamma, ed operando le necessarie semplificazioni algebriche, otteniamo infine:
Questa B la famosa densitci t di Student. Generalmente essa viene scritta come densith di una variabile t , ponendo anche fi = I'(1/2), come risulta dalle (3.63). Ecco pertanto il risultato finale, relativo a una variabile t espressa come rapport0 tra una variabile gaussiana standard e la radice quadrata di una variabile ( u ).
xi
I valori integrali della densitci di Student sono riportati nella Tab. D.2 in appendice D a pagina 482. Dalla tabella e dalla Fig. 5.4 potete verificare che,
per u n numero di gradi di libertci > 20 - 30, la densitci coincide praticamente con una gaussiana. I valori della media e della varianza della distribuzione si possono ricavare, come sempre, dalle (2.53, 2.56), ottenendo:
da cui risulta che la varianza 6 definita solo per u > 2 . Per u 5 2 la funzione s,(t) B u n esempio, insolito m a n o n impossibile, di densitci che n o n possiede varianza. I n questo caso la parametrizzazione dell'intervallo di probabilztd (3.92) zn termini dz deviazzone standard n o n B pi& possibile, ed B necessario, per ricavare i livelli di probabilith n'chiesti da u n problema, calcolare direttamente l'integrale della densita entro i lzmiti assegnati. Queste probabzlzta si possono anche ricavare dalla Tab. 0 . 2 . In S C I L A B esiste la funzione c d f t per il calcolo della densitci di Student. Le sequenze di chiamata sono le seguenti: Cp, ql = c d f t ("PQ",t ,Df) [t] =cdft ("T", D f ,p,q)
C ~ f l= ~ d f t ( + ~ D f " , p , q , t )
156
Capitolo 5. Funzioni di variabili aleatoric
Fig. 5.4. Densit&di Student per 1, 5 e 20 gradi di libertb. La linea tratteggiata 6 la gaussiana standard
C o n la chiamata TQ" viene calcolato 1'integrale.p (ed il suo complement o q = I-p) tra -oo ed il valore t nel caso di D f gradi dz liberth. C o n la chiamata 'T" viene calcolato il quantile t corrispondente alla probabilitci p, mentre con la chiamata 'Df " vengono trovati i gradi di libertti corm'spondenti
Esercizio 5.6
due variabili indzpendenti x2 ridotto con p e v gradi di libertri:
Poiche' la tradizione vuole che si indichi il rapport0 (5.44) seempre in lettere maiuscole, indicheremo con F i ualori assunti dalla variabile di Snedecor F . Risposta. P e r n o n appesantire la notazione, definiamo:
Y = f-'(F,X)
=F X ,
at-1
----
=x.
8F La densitri x2 ridotto con u gradi di liberti b data dall'integrando della (3.70):
dove:
5.3 Funzioni di piS variabili aleatorie
157
I n questo caso la relazzone base (5.28) diventa:
Eseguendo ora il cambio di variabile:
d
otteniamo infine:
Ricordando la (5.45) e notando che l'integrale non 13 altro che la funzione v)/2] i n accord0 con la (3.63), otteniamo finalmente:
r[(p
+
=
C,,
F ~ ( P -(@~ ) + v)-
;(p+u)
>
(5.46)
che rappresenta la famosa densitci F di Snedecor per la variabile F . Essa d riportata i n Fig. 5.5. La media e la varianza si calcolano come a1 solito dalle (2.53, 2.561, e sono date da:
Queste due equazzoni sono definite per u > 2 e v > 4, rispettivamente. Per i gradi di libertci p,v + oo la densitb F tende ad essere gaussiana; tuttavia, come si vede dalla figura, la conuergenza verso questa forma & piuttosto lenta. I valom' del rapport0 F F,(p, v) corrispondenti ai percentzlz del 95% (u = 0.95) e del99% (u = 0.99) e quindi ai livelli di szgnzficativitu del5% e dell'l% a destra della media,
=
158
Capitolo 5. Funzioni di variabili aleatorie
sono molto usati in statistics nell'analisi della varianza. Essi sono riportati nelle tabelle D.5 e D.6 dell'appendzce D , alle pagine 485 e 486. I percentili (u = 5%) e (u = I % ) , coincidenti coi livelli di significativitci delle code a sinistra della media, i n genere n o n vengono dati, perch6 tra i walori quantili sussiste la relaxione: 1 La (5.49) pud essere dimostrata notando che, per dejinizione:
e che, dato che la variabile F 6 u n rapporto: 1 se F segue p,,,(F) allora - segue p , , ( F ) F S i pud dun,que scriwere:
da cui la (5.49). In SCILAB esiste la funzione cdff per zl calcolo della densitct F . Le sequenze di chiamata sono le seguenti:
C o n la chiamata 'PQ" viene calcolato l'integrale p (ed il suo complemento q = tra -w ed il valore f nel caso di Dfn e Dfn gradz dz libertd. C o n la chiamata T " uiene calcolato il quantile t corrispondente akka probabilztd p, mentre con le chiamata 'Dfn" e 'Dfd" vengono trovati i gradi di libertd corrispondenti ai parametri indicati nella funxione. Sul problema delle funzioni di variabili aleatorie si possono scrivere dei libri (ed infatti sono stati scritti...). Se vi piace l'analisi e volete approfondire ulteriormente l'argomento, potete consultare il testo di Papoulis 1631.
5.4 La trasformazione della media e della varianza Come avete visto, la determinazione della densit2 di probabilitb di una variabile espressa come funzione di altre variabili aleatorie k un argomento
5.4 La trasformazione della media e della varianza
159
Fig. 5.5. Densitb della va-
0
1
2
3
4
5
6
7
F
8
riabile F di Snedecor d* ta d d rapport0 di due variabili X 2 ridotto aventi rispettivamentep e v gradi di libertA
piuttosto complesso. Negli esempi che abbiamo fin qui sviluppato, abbiamo gig incontrato discrete complicazioni matematiche, pur essendoci limitati al caso piG semplice di due sole variabili indipendenti. . Fortunatamente, come nel calcolo delle probabilith elementare, quasi sempre una soluzione approssimata ma soddisfacente del problema pub essere ottenuta determinando, invece che le forme funzionali complete, solarnente il valore centrale (media) e la dispersione (deviazione standard) delle funzioni densit&coinvolte. Questo B quanto ora ci proponiamo di fare. Cominciamo dalla situazione piii semplice, quella di una variabile Z funzione di una sola variabile aleatoria X
di densith nota px (2). Supponendo che f sia invertibile, X = f - l ( Z ) e la media della variabile Z si ottiene dalla (2.53),dalla (5.7) e differenziando la (5.50):
Risulta pertanto che la media di Z & data dalla media di f (X) sulla densit&di partenza p x ( x ) , in accord0 con la (2.67), che 6 la definizione di valore atteso. Questo risultato, valido anche nel caso multidimensionale sotto le condizioni del teorema 5.1, consente di ottenere in mod0 corretto e abbastanza semplice il valore centrale della densith di 2. In molti casi si ricorre per6 ad una formula approssimata, che si ottiene sviluppando a1 second0 ordine in serie di Taylor la funzione f (x) nell'intorno
160
Capitolo 5. Funzioni di variabili aleatorie
del valor medio p della variabile di partenza X:
Inserendo questo sviluppo nella (5.51), si verifica facilmente che il termine associato alla derivata prima si annulla e che vale pertanto la relazione
dove 0 6 la deviazione standard di X. Questa importante relazione mostra che la media della funzione f (cioi di 2) t: pari alla funzione della media piQ u n termine correttivo che dipende dalla concavitd della funzione nebl'zntorno della media e dalla varianza di X . Se la relazione (5.50) 6 di tip0 lineare,
allora la derivata seconda nella (5.53) si annulla e si ottiene:
Nel caso non lineare, si pub mostrare che (2)2 f ( ( X ) )se f" ((X)) > 0, mentre ( 2 )5 f ((X)) se f" ((X)) < 0 . Veniamo ora alla trasformazione della varianza. Analogamente alla (5.51) si pub scrivere:
Ricordando il risultato approssimato (5.53) ed utilizzando per la funzione f lo sviluppo a1 second0 ordine (5.52), possiamo scrivere:
Svolgendo il quadrat0 nell'integrando e ricordando la definizione (2.58) dei momenti di una distribuzione, dopo una rielaborazione un po' lunga ma facile si ottiene:
dove Ai sono i momenti definiti nella (2.58) di pagina 57. Dato che questa i: comunque una relazione approssimata, spesso 6 sufficiente conoscere solo l'ordine di grandezza dei momenti per poter effettuare una stima accettabile
161
5.4 La trasformazione della media e della varianza
della varianza di Z. Se la densit&di X i:simrnetrica intorno alla media, allora. A3 = 0. Se, oltre ad essere simmetrica, la densita i:gaussiana, allora, in base alla (3.33), A4 = 3 c4 e la (5.56) diventa:
Se la densit&px (x) 6 sirnmetrica ma non gaussiana, in genere non si commette un grande errore utilizzando comunque la (5.57). Quando la deviazione standard di px(x) B piccola, cioB quando g2 >> g4, i: valida l'ulteriore approssimazione:
che diventa esatta quando tra Z ed X esiste una relazione lineare. In quest'ultimo caso le (5.54, 5.58) coincidono con le (2.62, 2.63). E utile anche verificare che quando Z = ax2e X segue la densith gaussiana, le (5.53, 5.57) forniscono il risultato corretto (5.16). Trattiamo ora il caso piti generale, costituito da una variabile Z funzione di n variabili Xi: (5.59) = f (XI, x 2 , . . . ,X,) f (X)
=
z
.
Questo caso rimane trattabile in mod0 semplice se si utilizza l'approssimazione lineare delle (5.54, 5.58). In altre parole, si suppone che la media della funxione f coincida con la ,finxione delle medie e che la varianza di Z dzpenda solo dalle deriuate prime di f e dalle varianze delle distribuzioni delle X. Per cominciare, consideriamo il caso sernplice di due variabili,
e linearizziamo la funzione f nell'intorno delle medie p l , p2 delle due variabili di partenza X I , X2:
dove le derivate sono calcolate in XI = p1,x2 = p2. La media di Z si ottiene considerando la (5.51) estesa a due variabili: (2) =
1
f (XI,$2) PX ( ~ 1 ~ xd1.1 ) dm2 ,
(5.61)
e sostituendo ad f (xl,xz) lo sviluppo (5.60). PoichB i termini del tip0 (xi- pi) P X (XI, x2) si annullano integrando, il risultato finale B semplicemente, come sempre nell'approssimazione lineare, che la media della funzione coincide con la funzione delle medie:
162
Capitolo 5. Funzioni di variabili aleatorie
(2) = f (PI, P2)
-
(5.62)
La generalizzazione a1 caso di n variabili 6 ovvia:
(2) =f(Pi,P2,...,Pn) .
(5.63)
La varianza di Z si trova invece considerando la generalizzazione della (5.55):
e sostituendo ad f (xl, x2) - f (pl, pa) lo sviluppo (5.60). I1 risultato contiene ora delle novit&interessanti: 0:
[g]
' / ( ~ X i ) ' p ~(xi, 52) dxl dx2
La varianza di z , nell'approssimazione lineare, risulta funzione delle varianze CT? delle singole variabili, della lor0 covarianza 012, e delle derivate calcolate nei punti xl = pl, 2 2 = 11% Questa legge generalizza la (4.19) di pagina 116. Se le due variabili sono indipendenti, esse hanno covarianza nulla e si ottiene:
Quando Z = XI + X2 B data dalla somma di due variabili indipendenti, la densith risultante B data dall'integrale di convoluzione (5.32) e il calcolo esplicito di pz e a: pub risultare molto complicato, se lo sono le densith delle variabili di partenza. Tuttavia, in questo caso le (5.62) e (5.66) sono esatte e forniscono il risultato:
che permette di conoscere esattamente la media e la varianza dz 2,anche se la forma esplicita della densit2 corrispondente non k nota o B troppo complicata da calcolare. Nel caso di trasformazioni lineari, B quindi sempre possibile, utilizzando i criteri dell'intervallo di probabilitb e della legge 30 illustrati nei parr. 3.6,
5.4 La trasformazione della media e della varianza
163
3.11, valutare in mod0 approssimato, ma estremamente semplice e in molti casi pic che soddisfacente, la dispersione dei valori di z intorno a1 valor medio. Le (5.62, 5.66) forniscono in genere buoni risultati (ma approssimati!) anche quando Z i! il prodotto o il rapporto di due variabili indipendenti. In questo caso la (5.66) fornisce, sia per il prodotto sia per il rapporto, l'unico risultato (verificatelo come esercizio): XI z=x1x2,z=-,Z=-
Var [ Z ]- Var [XI] (,q2 Wd2
X2
+-,Var [X2]
( ~ 2 ) ~ (5.68) il quale rnostra che la varianza relativa di Z (detta anche quadrato del'coefficiente di variazione a / p ) i: la somma delle varianze relative delIe variabili di partenza. Tuttavia, questo i: un risultato approssimato, come mostrato nell'esercizio che segue. x 2
x 1
~ ~ J 4-*, f % *"-~~#C-~&+~-3d~4~k23#l~ Esercizio 5.7 Trovare la formula esatta della varzanza per il prodotto XY di due variabili aleatorie indipendenti.
Risposta. Se le due variabili sono indipendenti, sappiamo, dalla (4.9), che la media del prodotto i: il prodotto delle medie. La varianza del prodotto i: data allora da:
Tenendo presente la (2.66) possiamo scrivere:
che i: la soluzione del problema. Possiamo confrontare questa equazione con la (5.68) se ne dividiamo ambo i membri per il prodotto delle medze al quadrato:
Quest'ultima equazione mostra che la (5.68) 6 valida solo si verifica la condizione
z1 che avviene solo se le vamanze relatzve sono piccole. -?%&n16"-
%%kT M
TIbk -tCM WW %m7Pv
164
Capitolo 5. Funzioni di variabili aleatorie
Torniamo ora alla (5.65) e notiamo che essa puo essere espressa nella forma matricide:
dove V B la matrice simmetrica delle covarianze (4.63) scritta per il caso bidimensionale, T i: la matrice delle derivate, detta anche gradiente o matrice del trasporto e t indica l'operazione di trasposizione. Si puo interpretare questa equazione dicendo che le varianze e covarianze delle variabili di partenza vengono trasformate o "trasportate" dalle matrici delle derivate, attraverso la funzione f , per ottenere la dispersione della variabile 2. La (5.72) i: immediatarnente generalizzabile a1 caso n-dimensionale contemplato nella (5.59):
Se tutte le variabili sono indipendenti, le covarianze sono nulle e la (5.73) fornisce direttamente la generalizzazione della (5.66):
dove le derivate sono calcolate, come sempre, nei valori medi delle Xi. Ricordiamo che le formule (5.60 - 5.74) sono esatte solo nel caso di trasformazioni lineari del tip0 Z = b C aiXi con a e b coefficienti costanti. Esse per6 forniscono risultati abbastanza accurati anche nei casi non lineari, quando le densith coinvolte sono abbastanza simmetriche, il numero delle variabili di partenza b elevato e le varianze relative sono piccole. Per i casi complicati fortunatamente esiste un metodo, basato sulle tecniche di simulazione, che permette di effettuare in mod0 molto semplice ed efficace il calcolo della varianza di una funzione di pih variabili. Esso sarh descritto in dettaglio nel par. 7.9.
+
5.5 Medie e varianze per n variabili Trattiamo ora il caso pih generale, quello di m variabili Zk funzioni di n variabili Xi :
5.5 Medie e varianze per n variabili
165
Restando sempre nell'ambito dell'approssimazione lineare, le m medie delle variabili Z sono date ovviamente da:
Per determinare le varianze (e le covarianze!) delle variabili Zk, occorre generalizzare la (5.73). La procedura non presenta difficolth concettuali: si deve partire dalla matrice delle covarianze (4.63) delle variabili X , effettuare il prodotto righe per colonne con le matrici del trasporto T e Tt ed ottenere la matrice delle covarianze delle variabili 2:
Le matrici V ( X ) e V(Z) sono matrici quadrate e simmetriche di dimensione n x n e m x m rispettivamente, mentre la matrice T del trasporto i! una matrice m x n data da:
mentre Tt B la matrice n x m trasposta di T. Ricordiamo che, per la definizione 4.3, Cov[Xi, Xi] ? Var[Xi] = aii, Cov[Xi, Xj] = aij. Se introduciamo la notazione compatta:
possiamo scrivere la (5.77) come:
166
Capitolo 5. Funzioni di variabili aleatorie
Questa equazione permette di calcolare in mod0 abbastanza semplice le dispersioni delle variabili Z e le lor0 eventuali covarianze, ovvero le lor0 eventuali correlazioni. Ad esempio, se le variabili di partenza sono indipendenti, le covarianze sono nulle, cioi: aij = 0 per i # j e la (5.80) diventa:
Poich6 spesso capita di effettuare calcoli di covarianze per funzioni di variabili aleatorie, vogliarno mostrarvi in dettaglio come fare. Tratteremo il caso di due variabili Z1, Z2 e X I , X2, essendo ovvia la generalizzazione ai casi contenenti un numero maggiore di variabili. I1 problema consiste, essendo state ricavate dai dati le varianze e covarianze delle X I , &, nel determinare le varianze e covarianze delle variabili Z1, Zz. In realth, tutto i: gi8 contenuto nella (5.80). La covarianza Cov[Z1, Zz] i3 data infatti da:
dove nell'ultimo passaggio si i: utilizzata l'uguaglianza 0 1 2 = Ozl. La notazione matriciale B comoda e compatta, ma, afEnch6 non perdiate il senso di quello che si i: fatto, vi ricordiamo che la (5.82) pub essere dimostrata anche direttamente, ricorrendo alla definizione di covarianza (4.24) e sviluppando in serie a1 primo ordine le variabili z nell'intorno della lor0 media. Si ha infatti:
Se si prosegue il conto tenendo presente che
si ottiene esattamente la (5.82).
167
5.5 Medie e varianze per n variabili
--
r- -- -. -- : - =-ZrL --,:=----+ Esercizio 5.8 AT=---%=,. , :sic-= & -+- d-*% Due variabili Zl e Z2 dipendono da due variabzli gausssane standard indipendenti X e Y second0 le funzzoni: ;u
-,d+---
%F.
Trovare il coeficiente di correlazione lineare di Z1 e
-&---
22.
Risposta. P u r essendo X e Y indipendenti, la relazione funzionale crea u n a dzpendenza tra Z1e 22. Definendo XI X e X 2 3 Y ed utilizzando la notazione (5.79), si trovano facilmente le derivate da utilizzare nei calcoli:
(w2) =5 ,
(a2f2)= I .
Per determinare il coefficzente di correlazione Eineare, dato dalla (4.31), occorre prima determinare le varianze e la covarianza di Zl e Z2. Le variabili di partenza sono indipendenti, quindi per determinare 2e varianze delle Z basta applicare la (5.81) e tenere presente che le variabili standard hanno varianza unitaria:
Dato che le variabili X e Y sono standard e indipendenti, la covarianza tra le variabzli Z si trova applicando la (5.82) con 0; = 0; = 1 e a12 = 0:
Dalla (4.31) otteniamo infine:
Esercizio 5.9 2 pz, pCly, az , a:, uZY.S i opera la trasfomnazione:
Trovare la covarianza
Cov[Zl,ZZ]tra
21e Zz
168
Capitolo 5. Funzioni di variabili aleatoric
Risposta. Siano p~ e ,LQ rispettivamente le medie di 21 e 2 2 . Dalla (5.83)) sviluppando in serie le due nuove variabili in funzione delle vecchie otteniamo:
a21 a 2 2 - -A AX)^)
ax ax
az, az, (Axnu) +ax au
Poiche' lo sviluppo zn serie sz mtende fatto nell'zntorno dez valori medz, le variabili X e Y , che compaiono in questa equazione come b u t t o delle derivate, sono i n realtd z valori p, e py assuntz come noti. I1 problema 6 quindi completamente risolto. = = = - -- - - -- - -+k-- yp- =--= -
-
%
rn
gn
"a
=
Esercizio 5.10 y come variabili aleatorie di deviazione standard di 0.2 c m i n x e 0.4 c m
in y . Le misure n o n sono correlate. Trovare la matrice delle covarianze in coordinate polari nel punto (x,y ) = (1,l). Risposta. Poiche' le misure n o n sono correlate, la matrice delle covarianze delle variabili di partenza vale:
La trasformazione in coordinate polari ? data da:
Ad essa corrisponde la matrice del trasporto:
la quale, calcolata nel punto (x,y ) = ( 1 , 1 ) , cui corrisponde in coordinate 7r/4), diventa: polari il punto (r,9)=
(a,
5.5 Medie e varianze per n variabili
169
Il problema pub essere ora risolto applicando la (5.77):
La radice quadrata degli elementi diagonali della matrice V,,, fornisce le deviazioni standard delle variabili r , y . Pertanto, i n corrispondenza della misura x=lf0.2cm, g=lst0.4crn, la trasformazione in coordinate polari fornisce i valori:
Gli elementi n o n diagonali della matrice mostrano anche che la trasformazione di variabili che si b operata ha introdotto u n a correlazione positiva tra r e y. Esercizio 5.11
distribuzione multinomiale. Risposta. I n u n a distribuzione multinomiale i contenuti {Ii = ni)dei canali sono correlati dalla relazione:
+
f (ni)E (nl nz -t . . . + n k ) = N .
(5.85)
Dato che N b u n a costante, V a r [ N ]= 0.Applicando alla (5.85) la legge di trasformazione (5.80) otteniamo:
Dall'ultimo passaggio di questa equazione e dalle (4.89) otteniamo.
dove si 6 tenuto conto che
Dalla precedente relazione otteniamo la (4.90): C o v [ I i ,Ij]
oij
= -Npipj
170
Capitolo 5. Funzioni di variabili aleatorie
Per finire, ricordiamo che in questo paragrafo abbiamo utilizzato solo l'approssimazione lineare e che per essa valgono t u t t e le limitazioni gi&discusse in precedenza.
5.6 Problemi 5.1. Se X
w
U(0, I ) , utilizzando la funzione cumulativa trovare la densitA di
Z = -1nX 5.2. Trovare la densita di probabilita di Z = x2dove la densita di X k px(x) =
2(1 - x), 0 5 x
5 1.
5.3. Trovare la densita di probabilita p z ( z ) della variabile Z = X / Y conoscendo la densita congiunta p x ~ ( xy). , 5.4. Le variabili X e Y sono indipendenti e hanno densitipx(x) = exp[-x], x 2 0 e py(y) = exp[-y], y 2 0 rispettivamente. Trovare la densita di Z = X Y.
+
5.5. Trovare la densita di X = Cy'l Ti, dove Tisono tempi aleatori indipendenti di legge esponenziale negativa.
5.6. Sapendo che le variabili X e Y sono indipendenti e hanno densita p x ( z ) = exp[-x], x 2 0 e py(y) = exp[-y], y 0 rispettivamente, calcolare la densitb pzw(z, w ) delle variabili Z = X / ( X Y ) ,W = X + Y e commentare il risultato.
+
>
5.7. Trovare la densiti di Z = X Y dove X e Y sono due variabili uniformi U(0,l) e calcolare (2) e Var[Z]. 5.8. Due componenti Tl e Tz, entrambi con tempo medio di vita 1 / X , funzionano in parallelo. I1 second0 componente entra in funzione solo dopo il guasto del primo. Se il tempo di funzionamento dei due componenti segue la legge esponenziale, trovare la densitb di probabilita deI tempo T di funzionamento del sistema e la sua vita media.
+
5.9. Sono date due variabili aleatorie 21= 3X 2Y e Z2 = X Y , dove X e Y sono variabili indipendenti. Trovare media, varianza, covarianza e coefficiente di correlazione lineare di 2 1 e Zz quando a) X e Y sono variabili standard e quando b) X e Y sono variabili di media e varianza unitaria. 5.10. Una ditta produce alberi di acciaio il cui diametro B una variabile gaussiana di parametri ( X ) = 5.450 e c[X] = 0.020 mm e cuscinetti il cui d i m e t r o interno k anch'esso una variabile gaussiana di parametri ( Y )= 5.550 e a [ Y ]= 0.020 mm. L'albero va alloggiato entro il cuscinetto e l'accoppiamento B accettabile quando il gioco albero/cuscinetto k compreso tra 0.050 e 0.150 mm. Trovare la percentuale di assemblaggi scartati. 5.11. Lungo una strada passano in media, nell'unita di tempo, p veicoli d a A a B e X veicoli nell'altro senso, da B ad A. Trovare la densit2 di probabilita del numero totale di veicoli N e la probabiliti di osservare k veicoli da A a B su un totale di n.
6. Statistica di base
"DoveAlinardo sembra dare informazioni preziose e GuglieImo rivela il suo metodo per arrivare a una verita probabile attraverso una serie di errori sicuri." Umberto Eco, "IL NOME D E L L A ROSA".
6.1 lntroduzione Nei capitoli precedenti crediamo di avervi presentato tutti i risullati veramente importanti del calcolo delle probabilith. Vediamo ora di entrare nel mondo affascinante della statistica iniziando con il porci la domanda fondamentale: cos'8 la statistica e in cosa differisce dal calcolo delle probabilitii? Una prima risposta la si pub ottenere meditando attentamente sui due punti seguenti: 0
0
u n problema di calcolo delle probabilita: se ad una moneta attribuiamo una probabilitii Vera pari a 112 di ottenere testa in un lancio, qual B la probabilith di ottenere in 1000 prove meno di 450 teste? Questo problema 6 stato risolto nell'esercizio 3.13 di pagina 104; lo stesso problema i n statistica: se in 1000 lanci di una moneta si ottengono 450 teste, qual B la stima che si pub dare della probabilit2 Vera di ottenere testa, cioi! quella che si otterrebbe in un numero infinito di lanci?
Come si vede, nell'approccio probabilistic0 si definisce un intervallo di probabilit&calcoEato con i valori veri dei parametri della distribuzione assunta come modello e si stima la probabilitA di ottenere un certo risultato sperimentale. Nell'approccio statistico, invece, partendo dal valore sperimentale si deve trovare un intervallo per localizzare il valore vero della probabilitii. Ci accorgiamo a questo punto che per compiere questa stima manca un ingrediente essenziale: l'equivalente statistico della deviazione standard. Anticipiamo qui un risultato approssimato che verrh discusso nei prossimi paragrafi: spesso in statistica B lecito eseguire la stima delle deviazioni standard sostituendo alle quantitii vere quelle misurate: a -. s. La deviazione standard stimata s cosi definita viene spesso chiamata da fisici ed ingegneri (e in genere d a chi 6 abituato ad eseguire misure di laboratorio) come errore statistico. In sede internazionale [39], il termine consigliato per i risultati provenienti da misure
172
Capitolo 6. Statistica di base
& quello di incertezza statistica (statistical uncertainty). Abbiamo quindi tre sinonimi: deviazione standard stimata (termine matematico), errore statistico (linguaggio dei fisici) ed incertezza statistica (termine consigliato in sede internazionale). Nel seguito noi useremo prevalentemente il termine errore statistico. Utilizzando le formule dell'esercizio 3.13, otteniamo la tabella 6.1, che fornisce gli intervalli di probabilith: p CL e
xfs
500.0 4~ 15.8 21 500 i 16 = [484,516] (calcolo delle probabilith) = 450.0 f 15.7 2: 450 f 16 = [434,466] (statistica) . =
Nonostante l'apparente analogia, questi due intervalli hanno un significato profondamente diverso: il primo, noti p e e, assegna una probabilita ad un insieme di valori di X, il second0 fornisce una previsione sul d o r e di p. Tabella 6.1. Differenza tra calcolo delle probabilitk e statistica nel caso elementare di a: = 450 successi in n = 1000 lanci di una moneta CALCOLO DELLE
STATISTICA
PROBABILITA probabilitii di valori dello spettro probabilitii Vera: p = 0.5 valore atteso: (X) = 500 deviazione standard: n [ X ]= d
m = 15.8
stima di parametri @) frequenza: f = x / n = 0.45 valore misurato: x = 450 errore statistic0 o incertezza: s=
= 15.7
L'esempio appena discusso si riferisce alla stima di un parametro vero incognito partendo dai dati. Come vedremo, questa operazione viene fatta attraverso gli stimatori consistenti, definiti nella (2.76) come variabili aleatofunzioni di un campione casuale di dimensione N che convergono rie TN(X) in probabilith ad un valore determinato. Vi ricordiamo che la definizione 2.12 di campione casuale b a pagina 61. L'altro campo di applicazione della statistica, la verifica delle ipotesi, cerca di rispondere a domande del tipo: se ripetendo due volte l'esperimento consistente in mille lanci di una moneta si ottengono 450 e 600 successi, quanto b probabile che nei due esperimenti si sia usata la stessa moneta? In questo capitol0 affronteremo la verifica delle ipotesi nel caso pic semplice, quello del rigetto o meno di una ipotesi iniziale. Pic avanti, nel cap. 9, spiegheremo come ottimizzare la scelta tra pih ipotesi alternative. I concetti finora esemplificati col lancio della moneta possono essere definiti rigorosamente tramite lo spazio di probabilita (1.11),introducendo una notazione leggermente diversa:
6.2 lntervalli di confidenza
173
dove Po B una probabilita dipendente da un parametro 0, che fornisce una legge per il campione casuale (XI, Xz, . . . ,XN). Nel caso del lancio della moneta la probabilita B discreta e p(x;8) = b(x; 1000,p), con 0 = p. E dunque nel parametro 0 che cercheremo una stima e sul parametro 0 che vedremo come procedere alla verifica di ipotesi, formalizzando quanto esposto in via intuitiva negli esercizi 3.13-3.17. Le sezioni seguenti fino alla 6.13 sono dedicate alla stima, le successive alla verifica di ipotesi. Per facilitarvi lo studio e la applicazione pratica di questi metodi abbiamo suddiviso l'esposizione per problemi (studio della probabilit&,della media, della varianza, ecc.) e abbiamo intenzionalmente intitolato i paragrafi come "stima di ..." quando si tratta di un problema di stima dei parametri e come "verifica di ..." quando si discute di verifica di ipotesi.
6.2 lntervalli di confidenza Nell'esempio introduttivo di Tab. 6.1 abbiamo definito, in mod0 intuitivo, un intervallo di ampiezza 2s per stimare la probabilita di ottenere testa come:
n f J m ~ 4 5 0 1f6 sulla base del risultato di mille lanci. Immaginiamo ora di ripetere lo stesso esperimento per ottenere un nuovo intervallo, che, prima di osservare il risultato dei lanci, 6 chiaramente un intervallo aleatorio che potremmo definire come X-IS. In statistica, la probabilith che questo intervallo ha di contenere la Vera probabilit&p di osservare testa si chiama livello di confidenza dall'inglese confidence level, e si indica con CL r (1 -a), mentre a B detto livello di significativitk. E nostro interesse che questo intervallo abbia contemporaneamente un livello di confidenza elevato e un'ampiezza ridotta perch6 sia utile. Cherchiamo allora di definire un criterio per scegliere un intervallo con il CL desiderato seguendo l'interpretazione frequentista adottata nelle scienze sperimentali sulla base del famoso lavoro di Neyman [61]. Consideriamo la densit&p(x;6) di forma funzionale nota, e supponiamo di voler determinare il valore del parametro 6 fisso ed incognito. Se 0 B un parametro di posizione come la media, per valori diversi di 0 la densit&scorrer&lungo l'asse x come mostrato in fig. 6.1. Le aree non ombreggiate delle densita di fig. 6.1 corrispondono ai livelli di probabilitb:
174
Capitolo 6. Statistica di base
Fig. 6.1. Costruzione di un intervallo di confidenza di livello CL per il parametro di posizione 8. Le aree chiare non ombreggiate di p(x; 0) valgono tutte CL. Variando il valore di 8 varia la posizione di p(x; 8) lungo l'asse dei valori misurati x. Introducendo l'asse verticale dei parametri O, si ottiene la situazione della figura, in cui si vede la fascia di confidenza di Neyman [81(x), 02(x)], la cui larghezza in x B l'intervallo di p(x; 0) che sottende un'area CL.Ottenendo in un esperimento il valore x e determinando le intersezioni della retta passante per x e parallela all'asse O con la fascia di confidenza, si determina l'intervallo [B1, $21 che contiene il valore vero B con un livello di confidenza CL = 1 - a,dove 0 = cl cz 8 la somma delle due aree ombreggiate.
+
dove a k la somma delle aree delle due code ombreggiate. L'unione di tutti gli intervalli [xl, 2 2 1 di fig. 6.1 dh luogo ad una regione, nel piano (x, 8),detta fascia di confidenza di livello CL = 1-a. Questa fascia, se si guarda la fig. 6.1 dall'alto, appare come nella fig. 6.2. Le due curve che la delimitano sono funzioni monotone crescenti B1 (x) e Q2(x).Questo non it vero in generale ma spesso ci si pub ricondurre a questa situazione riparametrizzando il problema (ad esempio, nel caso della distribuzione esponenziale negativa, utilizzando la media anziche la probabilith per unit2 di tempo come parametro). Tenendo sempre presente le figg. 6.1 e 6.2, supponiamo ora di aver misurato X ottenendo un valore x; tracciamo da questo punto una parallela all'asse dei parametri, le cui intersezioni con la fascia di confidenza individuano l'intervallo [&, 821. Notiamo che questo intervallo B aleatorio, perch6 il valore x varia ad ogni esperimento. In generale dovremo quindi indicarlo con [@I, 0 2 1 . Se il valore vero del parametro incognito B 8, dalle figure si vede che ad esso corrisponde sull'asse dei valori misurati l'intervallo [xl, x2] e, per costruzione, si ha P(xl 5 X 2 2 ) = CL. Dato che quando x = $1 sull'asse dei parametri 8 = O2 e quando x = xz si ha invece B = 01, per costruzione z E [XI,xz] se e solo se 8 E [$I, $21. Vale allora la relazione fondamentale:
<
6.2 lntewalli di confidenza
175
Fig. 6.2. Guardando dall'alto la fig. 6.1 ap-
X~
X2
pare la fascia di confidenza di Neyman per un CL fissato, che permette la determinazione dell'intervallo di confidenza 6 E [@I,621 a vartire da un valore misurato x.
che definisce l'intervallo di confidenza 02]di livello di confidenza C L = 1- a. Quanto detto finora pub essere riassunto nella Definizione 6.1 (Intervallo di confidenza). ate due statistiche 01 e (nel senso della def. 2.13 di pagina 62) con 01 e 0 2 variabili continue e 01 5 0 2 con probabilitd 1, si dice che I = [01,02] 6 un interval10 di confidenza per u n parametro 6 , di livello di confidenza 0 < C L < 1, se, per ogni 0 appartenente a110 spazio dei parametri, la probabilitci che I contenga 6 vale CL: p{015e 5 02)= CL . (6.5) e O2 sono variabili discrete, l'intervallo di confidenza 6 l'intemallo piG Se piccolo che soddisfa la relazione:
e2
Per evidenziare meglio questo concetto di intervallo che "ricopre" il parametro 6 con una certa probabilitd, il livello di confidenza viene anche chiamato "copertura" . In inglese viene usato il termine coverage probability [16] e la condizione (6.6) viene detta di m i n i m u m overcoverage. I1 fatto importante da notare i: che nell'intervallo di confidenza (6.5) gli estremi sono variabili aleatorie, mentre il parametro B i. fissato; di conseguenza, il livello di confidenza va sempre riferito all'intervallo I = [ e l , 0 2 1 ed indica la frazione di esperimenti che individuano correttamente il valore vero, in un insieme infinito di esperimenti ripetuti, ognuno dei quali troua u n intervallo di confidenza diverso. Cib equivale ad affermare che ogni particolare intervallo [el, 02] viene ricavato con un metodo che dB il risultato corretto in una frazione C L degli esperimenti. Questa interpretazione dei risultati statistici, che ha un chiaro significato operativo, molto vicino a quanto succede nella vita reale nelle misure di
176
Capitolo 6. Statistica di base
laboratorio e in genere negli esperimenti ripetuti, B detta interpretazione frequentista ed B quella diventata prevalente nelle scienze applicate grazie a1 lavoro pubblicato dallo statistic0 J. Neyman nel 1937 [61]. In statistica B lecito chiamare intervallo di confidenza sia l'intervallo aleatorio I = [GI,G2]sia le sue realizzazioninumeriche [dl,d2].Talvolta si afferma che il CL B la probabilita che il valore vero 8 sia contenuto in [B1, 821 ma si deve sempre essere consci che questa dizione, nell'interpretazione frequentista, & scorretta perch6 6' non B una variabile aleatoria [20]. In pratica, avendo ottenuto un valore z di una variabile X continua e conoscendo la densita p ( ~8); della (6.2), se 8 B un parametro di posizione come la media, i valori [81,02],relativi ad una realizzazione dell'intervallo aleatorio [@I, 0 2 1 second0 il C L assegnato, possono essere trovati, come mostrato in fig. 6.1, con le relazioni (fate attenzione alla posizione di 81 e 82): ~ m P ( z ; % l ) d=ze l
,
L
~ ( z62) ; d.2 = c2 ,
(6.7)
dove C L = 1-el -c2. Nel caso X sia una variabile discreta, agli integrali vanno sostituite le somme sui corrispondenti valori dello spettro, come vedremo tra poco. Se si sceglie un intervallo simmetrico, allora valgono le condizioni el = c2 = (1 - CL)/2. La scelta dell'intervallo simmetrico non B ovviamente l'unica ma B la piil comune poichk, nel caso di densit& di probabilitb di forma regolare "a campana", questo i: l'intervallo di ampiezza minima. A volte si vuole determinare, per un certo CL, solo il limite superiore di 8, ciog l'intervallo (-m, 01; in questo caso nelle (6.7) va posto 8 = 81 = 82 e cl = CL, c2 = 1 - CL. Per il limite inferiore, cioB per I'intervallo [8,+m), valgono invece le condizioni 8 = 81 = e CI = 1- CL, c2 = CL. I1 tip0 di intervallo da utilizzare B in genere determinato dalla natura del problema. E perb di fondamentale importanza tenere presente che la scelta va fatta prima di eflettuare la misura. Decidere ad esempio, nel caso di eventi rari, se dare un intervallo simmetrico o un limite superiore a seconda che la misura fornisca o meno dei risultati (tecnica detta di "flip-flopn) porta ad un calcolo errato dei livelli da associare agli intervalli di confidenza [33]. Notiamo che le (6.7) valgono in generale, poichk quasi sempre un problema di stima richiede la individuazione di uno stimatore T N ,second0 la (2.76) di pag. 65 (dove /I 8). La densita di TN dipende in genere dal parametro da stimare e pub essere indicata come p ( t ; 8), con 8 parametro di posizione. Infatti, ( T N )= t p(t; 6) dt = .r(%), con ~ ( 8 = ) 8, se lo stimatore B corretto (questi concetti verranno approfonditi piih avanti, nel cap. 9). Se si riesce a trovare questa densita, si pub effettuare la stima di 8 attraverso le (6.7).
6.3 Determinazione degli intervalli di confidenza Abbiamo fin qui visto due modi per determinare l'intervallo di confidenza: il semplice metodo grafico di fig. 6.1, che richiede perb la costruzione della fascia
6.3 Deterrninazione degli intervalli di confidenza
177
Fig. 6.3. Nel caso la forma della densiti sia invariante per traslazione del parametro p, il calcolo dell'intervallo di confidenza viene fatto in mod0 semplice con la formula (6.9.)
di confidenza di Neyman, oppure il calcolo degli int.egrali (6.7). Entrambi questi metodi sono in genere impegnativi dal punto di vista computazionale. Fortunatamente, se la forma della funzione densith ha qualche proprieth di invarianza rispetto ai parametri da stimare, si possono trovare metodi particolarmente semplici. Consideriamo il caso in cui il parametro 8 di Fig. 6.1 i: la media di una curva normale, 8 =: p. Allora la forma di ~ ( x,u); i: invariante per traslazioni e le funzioni &(x) e &(x) di fig. 6.2 sono due rette parallele. Dalla fig. 6.3 risulta la proprith seguente:
che si pub scrivere come:
P{p-to 5 X
< p+ta)
= Pi-to
<X-p
5 t o ) = P{X-to 5 p 5 X+to) .
(6.9) In altre parole, i livelli di probabilit6 dell'intervallo centrato su p coincidono con i livellz dz confidenza dell'intervallo aleatorio centrato su X . Ad ogni esperimento il valore di X varia, ma la probabilita di copertura di p i: uguale all'intervallo di probabilith p f to (si veda la fig. 6.3). In termini di funzione di ripartizione F(z;8) (per 8 ed z scalari) questa proprietii pub essere scritta come: F ( z ;8) = 1 - F(8;z ) . (6.10) Abbiamo percib trovato la seguente regola pratica: nel caso gaussiano, o comunque quando vale la (6.10), basta centrarsi sul valore misurato ed assumere come livelli di confidenza i livelli di probabilith corrispondenti all'ampiezza dell'intervallo di stima centrato sulla media.
178
C a ~ i t o l o6. Statistica di base
Ad esempio, nel caso di Tab. 6.1, dato che sappiamo che il numero x di successi in n = 1000 lanci di una moneta i: una variabile gaussiana (perch6 np, n(1- p) )> lo), possiamo stimare la probabilita Vera come: x&d x f2d x k3 d
m m m
=
450 f 16 (CL = 68.3%)
= 450 f 32
(CL = 95.4%)
= 450 f 48
(CL = 99.7%) .
Come abbiamo appena visto, la variabile aleatoria Q = (X-p), pur contenendo il parametro p, ha distribuzione N(0, n2) indipendente d a p. Le variabili aleatorie la cui distribuzione non dipende dal parametro che si vuole stimare sono dette quantith-pivot o quantith pivotali. Un altro esempio si ha quando 8 B un parametro di scala, cioi: p(x; 8) = h(x/8)/8; in questo caso Q = XI0 i:una quantith pivotale per 0. Generalizzando la discussione, possiamo dire che se Q(X, 0) 2 una quantith pivotale, la probabilith P { Q E A) non dipende da 0 per ogni A E R. Se questa distribuzione ha una densitd nota (gaussiana standard, Student, X 2 , . . .), in corrispondenza di un CL assegnato si possono determinare facilmente i quantili ql e q2 tali che
Se la relazione ql 5 Q(X, 0) 5 q2 pub essere risolta rispetto a 0, possiamo scrivere, come nella (6.9) : P{ql I Q ( X ,8) 5 q2) = P{81(X)
5 0 5 82(X)) = P { 0 1 I 0 I 0 2 1 ,
(6.12) ottenendo cosi la (6.5). Come si vede, se si trova una quantiti pivotale risolubile rispetto a 8 second0 la (6.12), l'intervallo di confidenza pub essere determinato senza ricorrere agli integrali (6.7).
6.4 Cenno all'approccio bayesiano Le considerazioni fin qui svolte stanno alla base dell'approccio frequentista per la stima dei parametri. Nell'approccio bayesiano, cui abbiamo accennato nel par. 1.3, il parametro da stimare viene considerato come u n a variabile aleatoria e l'intervallo di confidenza rappresenta la conoscenza ottenuta, dopo la misura, sul valore del parametro. Avendo ottenuto 450 teste in mille lanci di una moneta, in approssimazione normale ed attribuendo a1 valore atteso una probabilith a priori costante, risulta che dopo l'esperimento il valore atteso vale 450 f 16 con un grado di credibilith (probabilith o belief) del 68%. In questo caso 17approcciobayesiano fornisce un risultato numeric0 uguale a quello frequentista, ma interpretato in altro modo. L'intervallo bayesiano dipende perb
6.5 Alcune notazioni
179
dalle informazioni a priori. Se sapessimo che la moneta i: fabbricata bene (p = 0.5) con una incertezza sulla bilanciatura di tip0 gaussiano con, po~ 0.1%, potremmo sostituire alla distribuzione a priori uniforniamo, o p / = me (probabilit8 costante) quella gaussiana N(p, a;), ottenendo un risultato diverso anche numericamente da quello frequentista. Non approfondiremo ulteriormente questi aspetti, che sono trattati in dettaglio, dal punto di vista statistico, in [16] e [65]. Ricordiamo infine che in fisica sono state recentemente proposte analisi bayesiane quando non i: facile trovare quantita pivotali, come nel caso di piccoli campioni contenenti conteggi in presenza di fondo o di campioni provenienti da popolazioni gaussiane con vincoli fisici sulle variabili misurate (ad esempio, se X B una massa, vale la condizione a priori {X 2 0)) [20, 241. Recentemente B stato per6 proposto, anche per questi casi, un approccio frequentista, che non necessita di assunzioni a priori sulla distribuzione dei parametri [33] e che sta incontrando il favore dei fisici sperimentali [48].
6.5 Alcune notazioni Nel seguito sarA importante tenere presente le notazioni usate per le stime puntuali e le stime per intervalli di confidenza. La stima puntuale di una quantitA vera si effettua attraverso i valori degli stimatori; ad esempio la media di un campione i: una possibile stima della media vera. La notazione che useremo 6: m = fi. Tratteremo in mod0 esteso le stime puntuali nei capp. 9 e 10. In questo capitol0 tratteremo invece in mod0 completo le stime per intervalli. Nel caso gaussiano, un valore vero 0 B contenuto con live110 di confidenza 1 - a! = CL in un intervallo simmetrico centrato su x quando
dove s E (T e tcu12 = -tl-a/2 sono i quantili della gaussiana standard. E facile verificare che gli indici dei quantili si possono scrivere in termini del CL come: a 1-CL a! 1+CL In statistica spesso si scrive l'intervallo ad l a come:
La prima notazione i: preferita dai matematici, la seconda da fisici ed ingegneri, i quali quasi sempre sostituiscono il simbolo di appartenenza con quello di uguaglianza: fisici ed ingegneri ~ E X I ~ S + 0=xfs (6.16)
180
Capitolo 6. Statistica di base
Se gli errori a destra e sinistra del valore centrale sono diversi, la notazione dei matematici ovviamente non cambia, mentre l'altra diventa:
Solitamente viene considerato improprio assegnare ad s piu di due cifre significative; se ad esernpio la prima cifra significativa dell'errore s i:il metro, non ha senso dare il risultato con la precisione del millimetro. Vale la seguente regola pratica, che qui riportiamo come Affermazione 6.2 (Cifre significative dell'errore statistico). In statistica i risultati finali del tipo x fs vanno presentati con l'errore statistico s dato a n o n p i i di due cifre significative e x arrotondato di conseguenza. Se n o n si segue questa regola, occorre spiegarne le ragioni.
Notiamo che nei risultati intermedi, per ridurre gli errori di troncamento, 6 lecito usare un numero pih elevato di cifre significative; tuttavia, nei risultati finali, si dovrebbe sempre seguire la regola 6.2. E pertanto scorretto scrivere: 35.923*1.407,
35.923f1.4,
35.9&1.407,
perch4 nel primo caso vi sono troppe cifre significative, nel secondo e nel terzo vi 6 discordanza tra le cifre significative del dato e dell'errore. E invece corretto scrivere: 35.9 f 1.4 oppure 36 i 1 .
6.6 Stima della probabilita da grandi campioni Ci poniamo il problema seguente: se eseguiamo una prova di n tentativi bernoulliani e otteniamo x successi e quindi una frequenza f = x l n , come possiamo stirnare la probabilith Vera dell'evento in esame? Dal calcolo delle probabilit8, sappiamo che effettuando n tentativi su un sistema che genera eventi con probabilitap costante si pub ottenere un numero x di successi (spettro) compreso tra 0 ed n. Tuttavia, questi risultati non sono equiprobabili, ma si distribuiscono secondo la densith binomiale (2.30). Sappiamo anche che i valori capitano piG di frequente intorno a1 valor medio np, con varianza g2 = np(l - p), e che la forma della densith binomiale diventa gaussiana per np, n(1- p) > 10. Con questo tipo di prova si osservano le realizzazioni numeriche f = x / n della variabile aleatoria frequenza F = X l n , che, in base alle (2.63, 3.4, 3.6)' ha media e varianza pari a
181
6.6 Stirna della probabilita da grandi campioni
Possiamo quindi definire la variabile standard (3.37) -
T = ----- , 4FI
che assume i valori
f
-P
(6.20)
Se ora eseguiamo una prova, f i3 noto e p i: incognito; utilizzando l'approccio statistico, possiarno allora determinare i valori d i p per i quali il valore assunto dalla variabile standard risulta minore di un certo limite t assegnato:
Eliminiamo i valori assoluti elevando a1 quadrat0 ambo i membri e risolviamo, rispetto all'zncognita p, I'equazione di I1 grado risultante:
Poich6 il termine in p2 B sempre positivo, la disuguaglianza 2 soddisfatta per valori di p compresi nell'intervallo: PC
(t2+ 2f n )
% Jt4
+ 4f2n2 + 4t2nf - 4t2nf2 - 4n2f2 2(t2 + n)
7
da cui, in forma compatta:
I1 parametro t sta ad indicare un qualunque valore della variabile standard
T; porre t = 1 corrisponde a considerare una unita di errore statistico. Si noti che l'intervallo non 6 centrato sul valore misurato f , ma nel punto (f + t2/2n)/(t2/n + I ) , che i: funzione di f e del numero dei tentativi effettuati. Questo effetto 5 dovuto alla notevole asimmetria della densita binomiale per
piccoli n, come si vede daIla Fig. 2.4. Per n >> 1 l'intervallo tende a centrarsi sul valore misurato e la (6.21), per C L = 1- a, diventa:
che viene spesso scritta convenzionalmente ad l a con tlPal2 = 1:
182
Capitolo 6. Statistica di base
Moltiplicando per il numero di tentativi n , la (6.23) pub essere facilmente espressa in funzione del numero di successi x. L'intervallo che si ottiene B allora relativo al numero atteso di successi, ovvero alla speranza matematica
I.L: Questa formula, che viene usata in pratica per nf, n ( l - f ) > 20'30, 6 stat a utilizzata in Tab. 6.1 nell'esempio introduttivo a1 capitolo. Essa & facile da ricordare, perch4 l'intervallo B centrato sul valore misurato, la varabile T della (6.20) k pivotale perch6 T N(0, I), vale la (6.9), l'errore statistic0 ha la stessa espressione della deviazione standard della distribuzione binomiale (con la probabilith p sostituita dalla frequenza misurata f ) e i livelli di confidenza CL sono gaussiani. Gli intervalli (6.21) e (6.23) sono gli intervalli di confidenza rispettivamente per piccoli e grandi campionamenti. Come abbiamo appena osservato, per grandi campionamenti la densit& binomiale assume una forma gaussiana e l'intervallo di confidenza, come mostrato in Fig. 6.4a, 6 simmetrico. I1 valore misurato f definisce in questo caso due code che valgono entrambe (1 - CL)/2, in mod0 tale da avere le due aree tra f e pl e tra f e pz uguali ognuna a CL/2. Nel caso di piccoli campioni, come mostrato in Fig. 6.4b, le due code di area (1 - CL)/2 assumono forma diversa e l'intervallo di confidenza i! asimmetrico rispetto alla frequenza osservata. La variabile T della (6.20) non 6 pivotale e non i! piG possibile assegnare in mod0 generale i livelli di confidenza all'intervallo (6.21). Trattiamo per primo il caso dell'intervallo (6.23), relativo ai grandi campioni, che B il caso pih facile. Se B valida la condizione n f , n ( l - f ) > 10, i livelli di confidenza associati all'intervallo (6.23) sono quelli della legge 30 gaussiana (3.351, riportati nella tab. D.1. E allora molto facile effettuare stime affidabili, come mostrato nell'esempio che segue. Esercizio 6.1
de, campionate casualmente dalla popolazione totale di schede in scrutinio. I1 partito A ha ottenuto 600 voti. Dare la previsione finale (proiezione) del risultato. Risposta. Dato che n = 3000, f = 600/3000 = 0.20 e nf, n ( l - f ) >> 10 possiamo utilizzare l'intervallo (6.23), con i livelli di confidenza gaussiani. Otteniamo pertanto:
6.6 Stima della probabiliti da nrandi campioni
183
spondente nel caso simmetrico (a) alla somma di due aree relative agli intervalli (npl ,x) e (z,npa), corrispondono due code di area (1 - C L ) / 2 che sono uguali nel caso di grandi campionamenti (a), di forma diversa nel caso di piccoli campioni (b)
S i noti la sorprendente precisione che si ottiene pur con u n numero limitato di schede elettorali. A m'gore, dato che la popolazione in questo caso B molto grande m a finita (milioni di elettori), a questi risultati andrebbe apportata, come mostreremo tra poco nel par. 6.13, u n a correzione che perd qui b assolutamente trascurabile. La Vera dificoltit, in questo tipo di previsioni, sta nel170ttenere un campione veramente rappresentativo della popolazione totale. I n generale si definisce come rappresentativo o casuale u n campione nel quale u n individuo di qualunque gruppo ha u n a probabilitd di entrare proporzionale alla dimensione del gruppo rispetto alla popolazione totale (si ueda anche la def. 6.4 piu avanti). I n campioni relativi ad un fenomeno naturale di tzpo fisico, come quelli che si ottengono in laboratorio, se n o n si commettono errori sistematici durante le misure b la natura stessa che provvede a fornire un campione casuale. La situazione b invece molto diversa nel caso delle scienze sociali o biologiche, dove le tecniche di campionamento da u n a popolazione (sampling) sono tanto importanti e dificili da costituire u n ramo speciale delEa statistics. Chi 2: interessato a questi metodi pud consultare [la]. La (6.22) permette anche di trovare la dimensione del campione necessaria per mantenere l'errore statistico a1 di sotto di un valore assoluto prefissato a priori. Si arriva facilmente a questo risultato se eleviamo a1 quadrat0 l'errore statistico presente nell'equazione e sostituiarno a f il valore vero p, ottenendo la varianza:
184
Capitolo 6. Statistica di base
Per inciso, notiamo che questa equazione i: identica alla (3.5), a meno della divisione per il fattore n" dato che qui consideriamo la variabile F = X l n . Se ora uguagliamo a zero la derivata rispetto a p, otteniamo:
Sostituendo il valore di massimo p = 112 nella (6.25), otteniamo il limite superiore per la varianza Vera, in funzione del numero di tentativi n:
La proprieta notevole di questa formula i:che essa dB un limite superiore per la varianza indipendentemente dal valore della probabilitci Vera p. E pertanto possibile determinare una formula universale per il numero di tentativi necessari per mantenere l'intervallo di stima ftl-,12 a,, a1 di sotto di un certo valore prefissato, in corrispondenza di un certo livello di confidenza CL = 1- a. Essa si ottiene dalla (6.26):
Esercizio 6.2 Trovare il n u m e stima assoluto minore d e l 4 per mille con un livello di confidenza del99%. Risposta. Poiche' il problema si riferisce ai grandi campionamenti, possiamo usare la Tab. D.l da cui risulta che ad u n C L del99%, pari a u n a semi-area gaussiana d i 0.495, corrisponde u n valore tl-o.oos = 2.57. Inserendo questo valore nella (6.25') otteniamo immediatamente:
6.7 Stima della probabilitA da piccoli campioni Veniamo ora alla seconda parte del problema relativo alla stima di una probabilith, cioQa1 caso dei piccoli campioni, in cui x = n f < 10. In questo caso dovremmo usare l'intervallo (6.21), per il quale non sono perb definiti livelli di confidenza universali, perch6 la forma della densit& binomiale dipende fortemente, per piccoli campionamenti, sia dal numero di
6.7 Stirna della probabilith da piccoli campioni
185
tentativi n sia dal valore di p. Risolviamo pertanto il problema con le (6.7) trascritte per una variabile discreta; se C L it il livello di confidenza richiesto, i valori pl e pa del corrispondente intervallo di confidenza sono determinati dagli estremi delle due code di Fig. 6.4b:
Nel caso simmetrico CI = ca = (1-CL)/2 = a/2. La risoluzione di queste due equazioni rispetto a pl e p2 permette la stima corretta della probabilitb d a piccoli campioni. Abbiamo risolto questo problema con un metodo ricorsivo, che riportiamo a pagina 186. mediante il codice Durante l'inser ei dati, l'utente pub scegliere, tramite una finestra di dialogo, se fare la stima a due code simmetriche oppure se procedere alla stima ad una coda a destra (r 'estremo inferiore) o a sinistra (estremo superiore). Nel primo cas risolve le equazioni (6.28, 6.29) con una ricerca dicotomica che t r dimezzando il passo s ad ogni ciclo, finch6 il valore q = c2 =(1- CL)/2 calcolato s l o s2 differisce da quello previsto SL1 o SL2 a meno della quantitb SMALL, che determina l'acNella ricerca dicotomica viene usata la routine e calcola i valori cumulativi (indicati con la sie binomiale b ( X ;AT,p). Per non contare due volte il valore k = x il codice include il punto x = k sia nella (6.28) sia nella (6.29) contemporaneamente, pesando le relative probabilita con un fattore 112. L'algoritmo scelto contiene un margine di arbitrarietb: avremmo ugualmente potuto scegliere di calcolare le equazioni due volte, escludendo il punto x = k prima nella (6.28), poi nella (6.29) e scegliendo il piG piccolo tra i due intervalli (pl, p2) cost calcolati; i risultati che si ottengono sono in questo caso leggermente diversi. Questa ambiguith intrinseca del problema it dovuta a1 fatto che, per piccoli campioni, l'intervallo di confidenza it asimmetrico e la probabiliti corrispondente a x = k it diversa a seconda che si consideri la coda di destra o di sinistra. Come mostrato in Fig. 6.4, l'ambiguita sparisce per grandi campioni, quando le densitb diventano gaussiane e le code di destra e sinistra hanno area uguale. osti pari a (1- CL) e si Nei casi di sti che con il codice d'uso utilizza la routine PrOmpr trova direttamente la probabilitb p della binomiale b(x;N,p) per la quale il valore misurato x it un quantile pari a CL. In uscita il codice stampa i valori pl ,p2 e, per la stima a due code, il livello di confidenza calcolatol-s I-s2 che, a meno degli errori di arrotondamento numerico, coincide con il valore assegnato in ingress0
186
C a ~ i t o l o6. Statistica di base
Fig. 6.5. Stima dei limiti inferiori e superiori di un probabilith con CL assegnato. Nei casi limite in cui x = 0 es x = n si ha rispettivamente (1- ~ 2 = )1 -~ C L e p;2 = 1 - CL.
Nel caso x = 0 e nel caso rc = n le (6.28, 6.29), con cl = cz = 1 - C L , forniscono due importanti casi limite, mostrati nella Fig. 6.5:
Da queste formule otteniamo, per un CL prefissato, il limite inferiore di una probabilith quando tutti i tentativi hanno avuto successo: pl =
q
m = e$'n(l-CL)
-
10$'~g(l-CL)
(6.32)
dove l'uso dei logaritmi in base e o base 10 pub essere utile nel caso di n molto grande. Nel codice questi casi limite vengono trattati automaticamente se viene ric tima ad una coda. Nel caso della stima a due code, se si verifica la condizione pI
6.7 Stima della probabilita da piccoli campioni
187
// SCILAB script Stiprob: stima della probabilita' per piccoli carnpioni / / con il metodo di Neyman
stl=I1Lastima a due code viene fatta"; st2="solo per valori pI
N
=
X
= input("numero dei successi
X: ' I )
;
if X>N then warning("X deve essere <= N ! Stop"); abort; end; CL = input("Livel10 di Confidenza CL (range [0,11) :"1 ; YN=x-choose(["due code","lim. inf","lim. sup."1,[llQualestima?"] ;
/ / stima a due code if YN==1 then SLl=O.5* (1-CL) ; SL2=SLl; //ricerca dicotomica di pl pl=O.5; s=pl; sl=O; while abs(s1-SLl)>SMALL & pl>SMALL, if X==O then cwnl=O; else cuml=cdfbin("PQ",X-l,N,pl,l-pl) ; end ; sl=l - cum1 - (cdfbin("PQ",X,N,pl,l-pi)-cuml)/2; s=s/2; if sl<SLl then pl=pl+s; else pl=pl-s; end ; end ; //ricerca dicotomica di p2 p2=0.5; s=p2; s2=0; while abs (s2-SL2)>SMALL & (1-p2) >SMALL, if X==O then cum2=0; else cum2=cdfbin("PQ" ,X-l,N,p2,I-p2) ; end ; s2=cum2 + (~dfbin('~PQ",X,N,p2,1-p2)-cum2)/2; s=s/2; if s2<SL2 then p2=p2-s; else p2=p2+s; end ; end ; end ;
/ / stime a una coda
188
Capitolo 6. Statistica di base
if (YN==3 I pl
pari a circa lo 0.6%. L'interpretazione di N e y m a n del risultato B la seguente: una pompa con probabilitd di panne maggiore d e l 6 per mille pub partire per 500 volte consecutive, m a questo accade in m e n o del 5% dei test. Si noti che questo risultato vale nello schema di prove indipendenti. Esercizio 6.6 Quante prove mare, con u n a confidenza del95%, che u n dispositivo si guasterd: i n m e n o del 3% dei casi?
Risposta. Utilizzando i logaritmi decimali, dalla (6.33) si ottiene facilmente: n=
log(1- C L ) - log(1 - 0.95) = 98.4 log(1-p) log(1-0.03)
,
6.8 Stima di valori limite ~oissoniani
191
pari a circa 100 prove. Un dispositivo con probabilith di guasto > 3% pud aflrontare con success0 100 prove, m a questo succede in meno del 5% dei test.
6.8 Stima di valori limite poissoniani Quando n B grande e non si sono registrati successi, pa B piccola. Sviluppando a1 primo ordine l'esponenziale nella (6.33) intorno a1 punto iniziale pz = 0, si ottiene allora l'approssimazione: ~2 N
1 --ln(1 n
- CL)
,
(6.35)
che corrisponde all'equazione:
la quale non i: altro che B la probabilita poissoniana di non ottenere eventi quando la media 6 p = npz La procedura fin qui applicata pub essere quindi estesa anche a1 caso poissoniano. Nel caso di eventi rari, si pub utilizzare in mod0 approssimato il codipagina 186 con n molto grande (ad esempio n = 1000), oppure, nza di un numero x di eventi osservato, stimare esattamente p risolvendo le equazioni, analoghe alle (6.28, 6.29):
dove nella prima equazione la somma va estesa fino a valori tali da rendere trascurabile l'errore di troncamento. Nel caso simmetrico si ha come sempre C l = C 2 = (1 - CL)/2. La seconda delle (6.37), con cz = 1 - CL, permette anche di risolvere in mod0 generale e non approssimato il problema di trovare, per un CL assegnato, il limite superiore poissoniano a1 numero medio di eventi avendo ottenuto x eventi. Per x = 0,1,2, ponendo pa p , si ha ad esempio (si veda anche la Fig. 6.7):
-
e cosi via. La Tab. 6.2 pub evitarvi la fatica di risolvere queste equazioni. A titolo di esempio, essa mostra che, quando p > 2.3, mediamente non si
192
Capitolo 6. Statistica di base
0
1 2 3 4 5 6 7 8 9 1 0 1 1
Fig. 6.7. Rappresentazione grafica della seconda delle (6.37) per z = 1
otterranno successi in un numero di esperimenti < 10%. Analogamente, se 4.74 B il limite superiore per x = 1 e CL = 95%, significa che, quando C , L > 4.74, si possono ottenere i valori x = 0 , l solo in un numero di esperimenti < 5%, come mostrato anche in Fig. 6.7. In alternativa alla tabella, si possono calcolare le probabilita cumulative poissoniane con la essa risolve la priso Xlam. Con la chiamata ma delle (6.37) fornendo conda delle (6.37) si otti Ad esempio, potete ver mu=cdfp o i ("XlamI7, . I , .9,0) , si ottenga il limite superiore mu=2.302585 per x = 0 e CL = 90010, in accord0 con la Tab. (6.2).
6.9 Stima della media da grandi campioni A differenza della media Vera p, che 6. una quantita fissa, la media di un campione (o media campionaria) k una variabile aleatoria. Infatti se produciarno un campione casuale di dimensione N da una distribuzione, ne facciamo la Tabella 6.2. Limiti superiori p2 poissoniani a1 numero medio di eventi per x eventi osservati, per livelli di confidenza del 90 e 95%
6.9 Stima della media da grandi campioni
193
media:
e ripetiamo il procedimento piu volte, otterremo ogni volta un risultato diverso. La media campionaria va quindi vista come uno stimatore
del tip0 (2.9, 2.70), second0 lo schema di pagina 61. Applicando l'operatore varianza alla variabile M otteniarno, sfruttando le solite proprieta (4.19, 5.74):
Poich6 le variabili Xi appartengono tutte allo stesso campione e sono indipendenti, Var[Xi] = a 2 , dove n2 6 la varianza della distribuzione campionaria. Otteniamo dunque l'importante e semplice risultato:
Poich6 cr2 in genere non 6 nota, possiamo approssimarla con la varianza s2 calcolata direttamente dal campione ed ottenere cosi l'intervallo ad la
centrato sul valor medio e di ampiezza pari all'errore statistic0 s / a , che contiene la media Vera. Con quale live110 di confidenza? I1 teorema Limite Centrale 3.1 afferma che la densith della media campionaria sarh, gaussiana per N >> 1, condizione che in pratica diventa N > 10. Nel caso gaussiano dalla (6.9) risulta allora che i livelli di confidenza cercati sono dati dai livelli di probabilita rispetto alla media della corrispondente densith gaussiana. I1 problema Q quindi completamente risolto, almeno per grandi campioni. Spesso, per indicare esplicitamente che per N grande i livelli di confidenza sono gaussiani, la (6.40) viene messa nella forma:
dove le N variabili Xihanno media p e deviazione standard (T e @ k la funzione cumulativa della gaussiana standard (3.43). Vediamo ora per quali valori di N Q lecito sostituire nella (6.40) la varianza (o la deviazione standard) Vera con quella osservata.
194
Capitolo 6. Statistica di base
Rappresentiamo il campione discusso nel paragrafo precedente, per la stima della probabilitb, con un istogramma, assegnando il valore 0 agli insuccessi, ed il valore 1 ai successi. Nell'approssimazione N - 1 -. N , la media e la varianza di questo campione si ottengono dalle (2.52, 2.54):
d a cui si vede che, con la rappresentazione scelta, la media misurata del campione i? uguale alla frequenza $ e la varianza misurata k uguale a f (1 - f). Utilizzando ora la (6.40), otteniamo immediatamente:
Per capire bene il significato di questo risultato, .& bene ricordare che esso si basa sulla sostituzione della varianza Vera con quella misurata e sull'approssimazione per grandi campioni N 21 N - 1. Esso mostra che Ee approssimazioni su cui si basa la (6.23) sono le stesse della (6.40). Se si tiene presente la discussione del par. 6.6, si pub allora dedurre che l'effetto di sostituire nella (6.40) la varianza misurata a quella Vera diventa nella pratica trascurabile per N > 20,30. Riassumendo, la (6.40) & una buona approssimazione per N > 20,30, ed i livelli di confidenza sono gaussiani per N > 10. Dato che la condizione N > 20,30 i: quella prevalente, possiamo scrivere la formula che stima ad la la media Vera per grandi campioni come: S
p Em& -
JN '
(N > 20,30, CL gaussiani) .
Tratteremo tra breve il caso dei piccoli campioni (N < 20,30).
6.10 Stima della varianza da grandi campioni In statistica si possono definire due tipi di varianze: l'una rispetto alla media Vera, l'altra rispetto alla media campionaria:
le quali, per N + oo,tendono, nel senso della (2.76), alla varianza Vera c2. In genere si indica semplicemente con S2 la varianza rispetto ad M, che B
6.10 Stirna della varianza da nrandi campioni
195
detta varianza campionaria. Solo se sara strettamente necessario, nel seguito distingueremo le due varianze con la notazione della (6.44). Per prima cosa, diamo ragione del fattore N - 1 che compare in S2 della (6.44). I1 punto della questione sta nella relazione algebrica:
dove nell'ultimo passaggio si & sfruttato il fatto che C i ( X i - M ) = 0. Ora osservate bene la (6.45): essa indica che la dispersione dei dati intorno alla media vera B pari alla dispersione dei dati intorno alla media campionaria pih un termine che tiene conto della dispersione d e b media campionaria intorno alla media vera. Questa somma di fluttuazioni i: proprio l'origine del termine N - 1. Infatti, invertendo la (6.45), abbiamo:
Applichiamo ora l'operatore di media a tutti i membri di questa relazione, seguendo la tecnica discussa nel par. 2.11. Dalle (2.61, 4.8, 6.39) otteniamo:
Si ha in definitiva la giustificazione della seconda delle (6.44)' poichB risulta che lo stimatore S2 B non distorto in quanto gode della proprieth (2.78):
La varianza campionaria (non corretta)
& un esempio di stimatore non corretto o distorto (biased). Infatti dalla (6.47) risulta: N
(6.50) i= 1
196
Capitolo 6. Statistica di base
Come abbiamo gi&accennato nel par. 2.11, uno stimatore i:distort0 quando la media degli stimatori TN,calcolati da un campione di dimensione N , differisce dal limite per N + co (2.76) dello stimatore. Nel nostro caso, la media differisce dal parametro che si vuole stimare, che i: la varianza, per un fattore (N - 1 ) l N = 1 - 1 / N . I1 termine 1 / N si chiama fattore di distorsione (bias); nel nostro caso perb esso si annulla al limite per N = co. Si dice allora che lo stimatore B asintoticarnente corretto, poichQla media di stimatori ottenuti con N sufficientemente grande B molto vicina a1 limite in probabiliti dello stimatore. Tutti questi concetti saranno poi approfonditi nel cap. 9. L'equazione (6.48) si pub anche interpretare richiamando il concetto di gradi di libertd, introdotto per la prima volta nel par. 3.9 a proposito della distribuzione x2. Se si stima la media dai dati, la somma degli N quadrati degli scarti B in realta formata da N - 1 termini, perch6 la media B vincolata ad essere proporzionale alla somma dei dati. La varianza di un campione i: pertanto una grandezza univoca, a patto che la media dei quadrati degli scarti venga fatta sui gradi di liberth della statistica. In mod0 abbastanza generale, possiamo quindi dire:
Definizione 6.3 (Gradi di liberth di una statistica). I1 nurnero dei gradi di liberth v di una statistica T = t(X1, X 2 , .. . ;XN, 6) dipendente da u n insieme noto di pararnetri 8, ii dato dal nurnero N di variabili del campione m e n o il numero k di pararnetri 0 stimati dai dati:
Cerchiamo ora di trovare ... la varianza della varianza. Questo non i: un paradosso, perch6 la varianza campionaria, come la media, i: una variabile aleatoria, che tende alla varianza Vera per N 4 oo. Analogamente a quanto abbiamo fatto per la media, possiamo applicare l'operatore varianza alle quantita St e S2 della (6.44) ed applicare la trasformazione (5.74). I1 formalism~operatoriale, definito nelle (2.59, 2.66) e gi&applicato nella (6.47), semplifica di molto il calcolo, almeno nel caso di S&.Abbiamo infatti:
dove il momento di ordine 4 i: stato indicato con la notazione dell& (2.58). Sostituendo ai valori veri A4 e a2 i valori stimati dai dati s: e
otteniamo la relazione: var[S;]
D4 - :S
E
N '
6.10 Stima della varianza da grandi campioni
197
che permette di scrivere ad la l'intervallo di confidenza della varianza come:
Un calcolo di questo genere pub essere ripetuto per la varianza S2, ma in questo caso bisogna tenere conto anche della varianza della media campionaria M intorno alla media Vera. I1 risultato finale, abbastanza laborioso da ottenere, mostra che, rispetto alla (6.52), compaiono termini correttivi di ordine 1/N2 che pertanto, per grandi campioni, possono essere trascurati. La (6.52) pub allora essere utilizzata anche in questo caso, sostituendo ad N il numero ( N - 1) di gradi di libertk Nel seguito utilizzeremo la notazione:
(
; */ * /=s2,
D4 - S;
media nota,
D4 - s4
s2
N-1
(6.53) media ignota .
Quali sono i livelli di confidenza da associare alla (6.53)? Si pub mostrare che la varianza campionaria per variabili X qualsiasi tende alla densitb gaussiana, ma solo per campioni con N > 100. Se le variabili del carnpione sono gaussiane, allora, come vedremo meglio nel prossimo paragrafo, la distribuzione campionaria della varianza B riconducibile alla densit2 X2, la quale converge alla densit& gaussiana un po' piG velocemente, all'incirca per N > 30. In generale la variabile aleatoria "varianza campionaria" tende a diventare una variabile gaussiana molto pic lentamente della corrispondente media campionaria, che lo B gib per N > 10. Questo fatto B del tutto naturale se si tiene conto che nella varianza la combinazione delle variabili campionarie i! quadratica invece che lineare. Per trovare l'intervallo di confidenza della deviazione standard, conoscendo l'intervallo [sf, sg] della varianza per un CL assegnato, basta porre a E @]. In modo approssimato, basta applicare la legge di trasforRitenendo solo mazione non lineare (5.56), dove z = s2 e z = s = & = il primo termine, abbiamo:
[fi,
a.
L'intervallo di confidenza ad l a per la deviazione standard B allora:
4(N - l)s2 '
(N
> 100 , CL gaussiani)
Se le variabili che compongono il campione sono gaussiane, allora vale la relazione (3.33) A4 = 3 a 4 , e le (6.53, 6.55) divengono rispettivamente:
198
Capitolo 6. Statistics di base
da cui, per CL = 1 - a:
dove tl-,12 sono i quantili della densitb gaussiana e dove a N - 1va sostituito N se le dispersioni sono calcolate rispetto alla media Vera. Le formule (6.43, 6.53, 6.55, 6.57, 6.58) risolvono il problema della stima di media, varianza e deviazione standard per grandi campioni. A volte, invece delle (6.57, 6.58), si usano un po' impropriamente le (6.56) dove a a si sostituisce s nella formula dell'errore. Daremo tra breve alcuni esempi di stime statistiche, dopo che avremo trattato il problema della stima con piccoli campioni.
6.11 Stima di media e varianza da piccoli campioni La stima di media e varianza per piccoli campioni (N < 20,30 per la media e N < 100 per la varianza) porta ad intervalli e livelli di confidenza che dipendono dal tip0 di popolazione del campione. Per questa ragione non B possibile, a differenza di quanto appena visto per i grandi campioni, arrivare in questo caso a formule di validith generale. Tuttavia, applicando le nozioni di calcolo delle probabilita che abbiamo fin qui sviluppato, B possibile arrivare a una soluzione semplice e completa almeno per il caso pi6 frequente ed importante, quello relativo ai campioni estratti da densit&gaussiane. La teoria dei campioni gaussiani si basa su due punti fondamentali. I1 primo punto B che, come mostrato nell'esercizio 5.3, la media campionaria M , se i: la somma di N variabili gaussiane, B anch'essa gaussiana per qualunque N. Allora, in base alla (6.39), anche la variabile
i: una variabile standard gaussiana per qualunque N, cioi: una quantit& pivotale. I1 second0 punto pub essere condensato in due importanti teoremi: Teorema 6.1 (Indipendenza di M e S 2) . Se ( X I ,X2, . . . ,X N ) 2 u n campione casuale di dimensione N estratto da u n a popolazione avente densith normale g ( x ; p, a ) , M ed S2 sono variabili aleatoric indzpendenti.
6.11 Stima di media e varianza da piccoli campioni
199
Dimostrazione. Dato che le Xi sono variabili gaussiane indipendenti, esse hanno una densitci congiunta prodotto di N gaussiane monodimensionali. Introducendo le variabili standard Ti = (Xi - p ) / c , la densitci congiunta diventa:
E facile verificare le relazioni:
xi
dove M = Ci Xi/N, Mt = Ti/Nsono le medie campionarie di X e T ed S2 2 data dalla (6.44). Poiche' la gaussiana standard g ( t ) ha simmetria sferica, essa h a forma funzionale invariante per trasformazioni ortogonali del tipo
corrispondenti ad una rotazione degli assi. Le nuove variabili Zisono anch'esse gaussiane standard indipendenti N ( 0 , l ) . Scegliamo ora u n a trasformazzone ortogonale che soddisfa alle (6.61) e tale che:
dove si 2 tenuto conto d e l k (6.60) e del fatto che che la (6.59) si pud scrivere come:
xZ1
= N . Risulta dungue
Dal teorema di fattorizzazione 4.1 segue allora l'indipendenza di M e S2. Teorema 6.2 (Varianza campionaria). S e ( X I ,X2, . . . ,X N ) 2: un campione casuale estratto da u n a popolazione auente densita normale g ( z ; p, a ) , la variabile
200
Ca~itolo6. Statistics di base
ha densitd (3.70) x2 ridotto con N - 1 gradi di libertd. Essa d pertanto u n a quantitd pivotale rispetto a a2. Dimostrazione. Dal teorema precedente risulta che ( N - 1)S2/a2 b somma dei quadrati di ( N - 1) variabili standard indipendenti Zi(i = 2,3,. . . ,N), da cui I 'asserto. S i noti che dividend0 la (6.46) per o2 e scambiando i termini risulta:
-- S2 ( M - ,u)2 ( N - 1) - f o? 02/N = N-1
1
C i
N
(Xi - P ) ~ a2
>
gradi di liberta
in accord0 col teorema di additivitd 3.4 delle variabili X2.
0
L'intervallo di confidenza per la media pub allora essere trovato sfruttando i risultati dell'esercizio 5.5. Infatti la variabile (5.41), che in questo caso vale: I
essendo il rapport0 tra una variabile gaussiana standard e la radice quadrata di una variabile X2 ridotto, tra lor0 indipendenti, si distribuisce second0 la nota densit&di Student con N - 1 gradi di Eibert6, i cui quantili sono tabulati in Tab. D.2 (notate che nella (6.63) compare N, ma che la variabile T ha densith con N - 1 gradi di liberth). La (6.63) mostra che l'uso della variabile di Student permette di eliminare dall'intervallo di confidenza la varianza Vera (incognita) o2 e di definire una quantith pivotale per la stima di p. Infatti, se tlFa12 = -tala sono i valori quantili di T corrispondenti a1 live110 di confidenza CL = 1- a fissato come in Fig. 6.8, invertendo la (6.63) si ha:
Come i! facile vedere dalla Tab. D.2 e dalla Fig. 5.4, per n > 20,30 la densit& di Student in pratica coincide con la densit& gaussiana e la (6.64) coincide con la (6.43). Rimandiamo a tra poco gli esercizi sull'uso di queste formule ed occupiamoci prima della stima della varianza. In questo caso la (6.62) fornisce la quantitii pivotale S2/02 x;(N - 1). Seguendo il procedimento indicato nelle (6.11, 6.12), definiamo prima l'intervallo di probabilith:
6.11 Stima di media e varianza da piccoli campioni
201
Fig. 6.8. Intervalli di confidenza associati ai valori quantili tala < tl-,la della variabile di Student a) e della variabile chi-quadrat0 ridotto b) nelle stime di media e varianza con piccoli campioni gaussiani
dove x&,12 , x R2 ( l - ~ n , sono i valori quantili della variabile Qn corrispondenti a1 live lo di con denza CL prefissato, come rnostkto in Fig. 6.8. Quindi, dall'intervallo (6.65) otteniamo per inversione l'ntervallo di stima della varianza in corrispondenza di un valore misurato s2:
1'
s2 2 XR(1-al2)
s2
, N - 1 gradi di libert2 .
(6.66)
XR(a/2)
I quantili a sono legati a1 live110 CL dalle (6.14). L'intervallo di confidenza per la deviazione standard 6 dato semplicemente da:
Per valori N > 30, la densit&x2 pub gi&considerarsi quasi gaussiana, quindi simmetrica, centrata sul valor medio ( Q R ) = 1 e con deviazione standard
in accord0 con le (3.69). In questo caso si possono scrivere i valori quantili come: 2 2 X E ( ~ /= ~ ) - t l - a / 2 OU , X R ( ~ - ~ /=~ ) t l - a / 2 > e l'ampiezza dell'intervallo di confidenza con CL = 1- a diventa:
+
che coincide con l'intervallo (6.57).
202
Capitolo 6. Statistica di base
6.12 Come utilizzare la teoria della stima Nei paragrafi precedenti abbiamo dedotto le formule fondamentali della stima di parametri. Esse sono quelle di uso corrente nelle analisi dei dati e vengono impiegate nei campi pih diversi, ddla fisica, dl'ingegneria e alla biologia. I1 quadro d'insieme i: riassunto nella Tab. 6.3. Tabella 6.3. Gli intervalli di confidenza ad l a e le distribuzioni d a utilizzare per i livelli di confidenza (CL)nella stima di parametri. I campioni con N > 30 per la stima della media ed N > 100 per la stima della varianza sono detti in statistica
grandi campioni VARIABILI GAUSSIANE
INTERVALLO
CL
Probabilith N f <10
N f > 10 N(l- f) Media
N
VARIABILI Q U A L U N Q U E
INTERVALLO
CL
eq. (6.21)
binomiale
f*/qT)
> 1C
< 30
Gauss
Student
N > 30
Gauss
Gauss
Varianza
N
< 100
N
> 100
eq. (6.57)
Gauss
s2 A
/-
- s4 N-1
D4
Gauss
Dev. S t d N
< 100
N > 100
d& 2q.
(6.58)
/-&
Maxwell
Gauss
D4 - s4
Gauss
La tabella mostra che, per quelli che in statistica vengono detti grandi campioni (N > 30 per la media ed '\I > 100 per la varianza), le formule ottenute risolvono il problema della stima in modo semplice e generale. Risulta altresi evidente che il caso relativo alla stima della media e della dispersione per piccoli carnpioni non gaussiani resta ancora non ben definito.
6.12 Come utilizzare la teoria della stima
203
Tuttavia, questo 5 un caso che nella pratica capita assai rararnente e per il quale non & possibile dare una soluzione generale, in quanto sia gli intervalli sia i livelli di confidenza dipendono dal tip0 di distribuzione coinvolta nel problema. Le soluzioni, per alcuni casi di particolare interesse, si trovano nelle riviste specializzate o in libri un po' pih tecnici del nostro. Se sfortunatamente vi capitera di dover risolvere un problema di questo genere, potete consultare il testo [58] ed i riferimenti li riportati. Dalla Tab. 6.3 risulta che tutte le varianze degli stimatori frequenza, media, varianza, ecc. per grandi campioni sono della forma a i / N , dove g o B una costante. Risulta pertanto pienamente verificata la condizione di Kolmogorov (2.75), sufficiente per la convergenza quasi certa di tutte queste stime verso i valori veri. Anche la convergenza debole risulta pertanto verificata, come si pub vedere direttamente dalla disuguaglianza di Tchebychev. Infatti, la (3.91) pub anche essere messa nelle forme:
dove, nell'ultima forma, si B posto K = E / C . Se ora T di Tab. 6.3, Var[Tjv] = a $ / N ed otteniamo:
= TN B uno stimatore
Per N + cm,la (2.72) B quindi verificata. La convergenza quasi certa della media campionaria verso la media vera con l'aumentare delle dimensione del campione i: detta anche legge dei grandi numeri. Copiando dal nostro sit0 la routine S t i m s e studiandone il codice, potete esplorare numericamente le formule per la stima di media e varianza nel caso gaussiano, per piccoli e grandi campioni. Esercizio 6.7
standard s = 5. Stzmare, con u n live110 di confidenza del95%, media, varianza e deviazione standard nei due casi N = 10 ed N = 100. Risposta. Poiche' E i campione 6 gaussiano, possiamo utilizzare le (6.64, 6.66, 6.67), che richiedono la valutazione dei quantili a: = 0.025 e 0.975 delle distribuzioni di Stadent e X 2 . Queste distribuzioni sono tabulate ne117appendice D. Poiche' la densitd di Student 6 simmetrica, dalla Tab. 0 . 2 risulta: -t0.025
= t0.975 =
2.26 per 1.98 per
N = 10 (9 gradi di libertii) N = 100 (99 gradi di liberth)
Dalta (6.64) otteniamo allora la stima della media:
204
Capitolo 6. Statistica di base
P e r la stima della dispersione, dobbiamo ricorrere ai quantili della densitd Tab. D.3 otteniamo:
Xk. Dalla
2 2 XR0.025'XR0.975
0.30 , 2.11 per 0.74 , 1.29 per
=
N = 10 (9 gradi di libert&) N = 100 (99 gradi di liberth).
Dalla (6.66) e dalla sua radice quadrata otteniamo allora la stima della varianza e della deviazione standard: o2 E
[x 2.11 251 0.3 = [11.9 , 83.31 (N= 10, C L = 95%)
o2 E
[& ,
&I
= [19.3 , 33.81 ( N = 100, C L = 95%)
(6.70)
C o m e utile confronto, applichiamo le formule approssimate, che presuppongono livelli di conjidenza gaussiani. Dal17esercizio 3.8, oppure direttamente da Tab. D.1, ricaviamo che i n corrispondenza di C L = 0.95 si ha t = 1.96. P e r la stima della media possiamo allora utilizzare la (6.43):
la quale fornisce (entro gli arrotondamenti) u n risultato identico alle (6.69) per N = 100, ed u n risultato leggermente sottostimato per N = 10. Infatti, come si pud vedere dalla Fig. 5.4, le code della densitd di Student sottendono aree leggermente maggiori di quelle sottese dalla gaussiana standard. P e r stimare in modo approssimato i parametri di dispersione con C L = 95%, utilizziamo le (6.57, 6.58) ancora con t = 1.96:
6.12 Come utilizzare la teoria della stima
205
-
S e confrontiamo quest2 risultati con i risultati corretti (6.70, 6.71), vediamo che le dzspersioni approssimate sono accettabili solo per N = 100. Sz possono usare anche le (6.56) con s cr nez termini a destra, ottenendo gli intervalli g 2 E [ 1 . 9 , 4 7 . 1 ] , a ~ [ 2 . 7 , 7 . 3 ] p e r N = 1 0 e a€[18.1,31.9],aE[4.3,5.7] 2 per N = 100. Come si vede, per grandz campioni si possono usare anche le (6.56). Potete anche risolvere 21 problema con la routine Stimvs . Esercizio 6.8 - 2 1 ~ 6:M~T+%-'uw L'analzsi di u n campione di 1000 che del valore 1000 R prodotte da una ditta ha mostrato che z valori sz distribuzscono approsszmatzvamente second0 una gausszana dz devzazione standard s = 10 R (zn effetti z processz di produzione delle reszstenze a impasto seguono abbastanza bene le condizzoni del teorema Limzte Centrale 3.1). Sz deczde dz mantenere costante questo standard di produzione egettuando u n controllo di qualatci mzsurando perzodicamente con u n multimetro di grande accuratezza n n campione di 5 resistenze. Definire z lzmiti statisticz del controllo di qualitci ad u n livello di confidenza del 95%.
Risposta. Dobbiamo assumere il ualore nominale delle resistenze come valore medio vero della produzione: p = 1000 R . La dispersione Vera dei valori delle resistenze intorno alla media si pud stimare dalla misura fatta sul campione di 1000 resistenze, applicando con s a la (6.56):
--
da cui si vede che il campione di 1000 resistenze consente di stimare la dispersione con una incertezza relativa del 2 %. Possiamo pertanto assumere s = 10 R come valore vero della deviazione standard. Dato che si d osservato un campione di tipo gaussiano, dalla tab. D.l possiamo dire che entro 1000 f 1.96 a E 1000 f 20 0 cadra il95% dei valori. I n sostanza solo 5 resistenze su cento devono stare a1 di fuori di
I1 problema b ora istituire dei controlli sulle resistenze prodotte per verificare che le condizioni iniziali si mantengano ragionevolmente costanti. Campionando 5 resistenze, possiamo istituire u n buon control10 di qualitd attraverso la media del campione. Infatti, se vengono assunti come valori veri
/ l . = i ~ ~ ~an=, s = i o n ,
i n base alla (6.40), la media campionaria di 5 elementi sard compresa nell7intervallo cl p f - = 1000.0 f 4.5 R .(6.73)
d5
206
Capitolo 6. Statistica di base
con livelli di confidenza gaussiani. I n questo caso la distribuzione di Student n o n va usata, perche' il campione b gaussiano ed abbiamo supposto di conoscere la deviazione standard vera. S e questa n o n fosse nota dalla misura delle 1000 resistenze, essa andrebbe dedotta dal campione ridotto delle 5 resistenze campionate; varrebbe ancora la (6.73), m a i n questo caso avremmo a1 posto di a la deviazione standard s delle 5 resistenze, e i livelli di confidenza seguirebbero la distribuzione di Student con 4 gradi di libertd, dato che N < 10. Per u n primo controllo di qualitd si pub allora utilizzare la (6.73), con u n livello di confidenza del 95%, che dalla Tab. D.l risulta associato ad un intervallo di circa f1.96 a. I n q u e s t ~caso la probabilitd di sbagliare giudicando la produzione scadente b del 5%. U n primo controllo di qualitci segnalerci allora u n a possibile cattiva produzione quando la media del campione 2: a1 di fuori dell'intervallo
ovvero 991 R 5 m(R)5 1009 R
(I controllo qualit&,CL = 95 %) .
(6.74)
I1 controllo globule pud essere ulteriormente perfezionato verificando anche che la deviazione standard del campione n o n superi il valore iniziale dz 10 0. Infatti, invertendo la (6.67) e prendendone l'estremo superiore abbiamo:
, variabile x2 ridotto con 4 gradi dove a = 10 0 e X&, b il valore di & ~ ( 4 )la di libertd corrispondente a1 livello di confidenza prestabilito. Per u n C L = 95%, dalla tabella D.3 otteniamo:
I1 secondo controllo di qualitci segnalerci allora una possibile cattiva produzione quando la dispersione deZ campione di 5 resistenze supera il limite di 15 0: s ( R ) I 15 0
(I1 controllo qualitii, CL = 95%) .
S e si richiede che i controlli di qualzta I e I1 siano contemporaneamente soddisfatti, si assicura il mantenimento corretto sia del valore nominale sia della dispersione iniziale delle resistenze elettriche, entro il livello di confidenza arbitrariamente scelto. Avendo richiesto un CL = 0.95, avremo un superamento di questi limiti mediamente 5 volte s u cento. U n segnale fuori dalla fascia di confidenza, m a
6.12 Come utilizzare la teoria della stima
207
Fig. 6.9. Caxta di controllo per il c a o della produzione di resistenze elettriche discusso nell'esercizio 6.8
entro i limiti della statistica prevista, si chiama falso allarme. La situazione viene spesso sintetizzata graficamente nella carta di controllo della qualit&, i n cui si sceglie una zona di normalitci, a1 di sopra o a1 di sotto della quale vi sono due fasce di allarme ed al di j%ori di queste la zona proibita. La Fig. 6.9 mostra una possibile carta di controllo per il valor medio delle resistenze, relativa a1 problema che stiamo discatendo.' La zona di normalitci corrisponde all'intervallo (6.74) di ampiezza f1.960; la zona di allarme va da 1.96 a 3.0 a , mentre la zona proibita 2 a1 di fuori di f3.0 a. U n valore nella zona proibita pud capitare in condizioni normali solo 3 volte su 1000 controlli (legge 3n), u n evento che pub giustificare la sospensione della produzione e l'attivazione dei processi di manutenzione delle macchine (attenzione: questa 2 una decisione soggettiva che pud variare da caso a caso). Come esercizio, utilizzando la (6.75) potete fare una carta simile (carta S ) anche per la dispersione. Nella zona di allarme mediamente dovremo avere 5 valori ogni cento controlli, vale a dire una probabilitci a priori y = 0.05. I1 control10 di qualitci pub allora essere ulteriormente rafinato segnalando se capita u n numero eccessivo di falsi allarmi, anche in assenza di segnali nella zona proibita. Se n 2 il numero di falsi allarmi avuti i n N controlli si pud applicare la (6.20), poiche' qui assumiamo di conoscere la probabilitci Vera y:
ed arrestare la produzione, applicando ancora la legge 37, quando t, > 3.0. Per una variabzle gaussiana, questo valore corrzsponde a una probabilitci di sbagliare di 2 1.5 per mille. L'approssimazione gaussiana 2 lecita per n > 10, cui corrisponde N y > 10, ciob N > 200 nella (6.76). Per N = 200, risulta che bisogna procedere alla manutenzione se n 2 19.
r ~ ~ a ~ i ~ ~ ~ ~ ~ ~ 7 ~ ~ ~ = 3 PF ~ -=war ~ ~ -318~*Uh?~lh8F-4flih?%p3h ~ r . - - ~ ~ r ~n5 t ~: :w ~~7 ~~ v~ m ~ ~ r ~~ ~m ~ f i ~
208
Capitolo 6. Statistica di base
6.13 Stime da una popolazione finita Nelle stime fin qui eseguite abbiamo supposto che la popolazione fosse costituita da un insieme infinito di elementi. I risultati ottenuti valgono anche per popolazioni finite, a patto che, dopo ogni prova, l'elemento estratto venga reinserito nella popolazione (campionamento con reimmissione). E intuitivo perb che vi siano delle modifiche da fare nel caso di campionamento senza reimmissione da una popolazione finita, poichk, se si esaurisse la popolazione, le quantita in esame diventerebbero certe e non sarebbero piu stime statistiche. Iniziamo con la Definizione 6.4 (Campione casuale da una popolazione finita). U n campione S di N elementi estratto da u n a popolazione finita di Np elementi b detto casuale se b u n o dei N,!/[N!(N, - N)!] possibili insiemi ognuno dei quali ha la stessa probabiliti di essere scelto.
Se X B la variabile aleatoria che si vuole stimare attraverso il campione S, possiamo scrivere:
dove la seconda somma B fatta su tutti gli elementi N, della popolazione e Ii i: una variabile indicatrice (vedere eq. 2.8), definita come:
Ii =
1 s e x i ~ S , 0 altrimenti.
Iii: una variabile binomiale a due valori e corrisponde pertanto a1 numero di successi che si possono ottenere in un solo tentativo, di probabilith N/N,.Si ha pertanto:
Otteniamo allora:
da cui si vede che anche i n questo caso la media campionaria t? uno stimatore corretto della media Vera. Troviamo ora la varianza della somma delle variabili campionate; ricordando la (5.65) possiamo scrivere:
209
6.13 Stime da una popolazione finita
Il calcolo della covarianza di (Ii, I j ) richiede la conoscenza della media (&Ij). Ricorrendo alle definizioni generali di pagina 57 e scrivendo solo i valori non nulli, abbiamo:
[,
Dalla (4.25) di pagina 117 possiamo esprimere la covarianza come:
N N-1 N2 - N ( N p - N ) COV[I~, Ij] = (&Ij) - (Ii) (Ij) = - --- - - - NpNp-1 N. Np2(Np-I)' Inserendo questo risultato nella (6.80) abbiamo: Var
x
]
X: - 2 N(Np - N, xi li = - ------NP NP i=1 N;@P - 1)
Ricordando che ( x i xi)2 = algebra otteniamo infine:
xix: + 2 xi C j < i zixj, dopo un po' di facile
dove (X2) = C X:/Np e ( x ) ~ = campionaria vale allora:
-
. (6.81)
.ix j
(CXi)2/Np2. La varianza
Var [XI Np - N N N Np-1
-
-
var[xl (1 N
della media
)
.(6.83)
Questa equazione B il risultato fondamentale per la stima da popolazioni finite: dal confront0 con le formule analoghe per popolazione infinita di Tab. 6.3, si vede che le varianze di medie, frequenze e proporzioni, calcolate da campioni estratti da popolazioni finite, vanno corrette col fattore (Np - N)/(Np - 1) N (1 - N/Np). Lo stesso fattore va applicato se nella (6.83) alla varianza Vera a2 si sostituisce quella stimata s2. Ad esempio, nel caso dell'esercizio 6.1, considerando 30 milioni di elettori, la correzione sarebbe dell'ordine di V/1 - 3/30 000. Diverso B il caso dell'estrazione senza reimmissione da un'urna: se la frequenza delle biglie di un certo tip0 fosse ad esempio f = 15/30 = 0.50 e l'urna contenesse 100 biglie, l'errore della frequenza passerebbe da d0.5(1- 0.5)/30 = 0.09 (popolazione infinita) a1 valore J0.5(1- 0.5)/30 = 0.08. La varianza si annullerebbe se si estraessero tutte le 100 biglie.
210
Capitolo 6. Statistica di base
La varianza campionaria, a differenza della media, deve essere corretta per popolazioni finite. Infatti, dalle (6.47, 6.83) si ha:
(6.84) Risulta allora che lo stimatore non distort0 per la varianza di una popolazione
La correzione per la varianza Var[S2] i: pih complicata e pub essere trovata in [52].
6.14 Verifica di una ipotesi Abbiamo gih accennato alla verifica delle ipotesi negli esercizi 3.13-3.17. Approfondiamo ora l'argomento considerando la verifica (accettazione o rifiuto) di una ipotesi, detta ipotesi nulla o, pi6 semplicemente, ipotesi. L'argomento verrh poi completato piti avanti, nel cap. 9, dove discuteremo i criteri per ottimizzare le scelte tra pic ipotesi in alternativa. Consideriamo dunque la densitb di probabilitb p(x; 6 ) della variabile X definita nella (6.2), dipendente da un parametro B e supponiamo che, in base ad argomenti a priori o a stirne statistiche, venga assunta l'ipotesi 6 = OO. Se l'esperimento fornisce un evento {X = a}, occorre decidere se accettare o meno il modello corrispondente all'ipotesi, in base a1 risultato ottenuto. Lo schema che si utilizza i: in genere quello di Fig. 6.10: come si vede, l'intervallo di variabilith di X viene suddiviso in due regioni, una regione favorevole all'ipotesi ed una regione contraria, detta regione critica. I limiti di queste regioni sono date dai valori quantili x,/z, x ~ - , / ~corrispondenti , ad un livello di significativitb a stabilito a priori, detto anche livello del test. Si rifiuta l'ipotesi se il livello di significativith osservato a0 < a , la si accetta in caso contrario. Avendo osservato l'evento {X = x), nell'ipotesi corrispondente a p(x; Qo), di media p, occorre quindi calcolare le probabilith:
P { X < x) = a0 , test a una coda (a sinistra), P{X > x) = a0 , test a una coda (a destra), P{IX - pI > ix - pi} = a. , test a due code.
(6.86) (6.87) (6.88)
Se si scarta l'ipotesi, la probabilitb di sbagliare, cioi: di ottenere per puro caso valori "nelle code", per i quali le (6.86-6.88) danno a0 < a essendo vera l'ipotesi, non supera mai a. Questo tip0 di errore i: detto di I tip0 (scartare una ipotesi giusta), per distinguerlo dall'altro possibile errore (accettare una
6.14 Verifica di una ipotesi
-1-a
si accetta l'ipotesi
si rifiuta I'ipotesi
1
-la/2
-
si rifiuta si I'ipotesi
211
12ipotesi si rifiuta
I'ipotesi
Fig. 6.10. Test a una coda a) o a due code b). L'uso dell'uno o dell'altro dipende dal tip0 di problems, come evidenziato dagli esempi discussi nel testo. I1 livello confidenza CL tt il valore dell'area ombreggiata definita dai valori quantili XI-,, 2,p e x ~ - ~ I1 p livello . del test a = 1- C L B il valore dell'area delle code a1 di fuori dell'intervallo di confidenza
ipotesi sbagliata), detto di I1 tipo, che verrh trattato pih avanti. I1 valore a! viene anche detto dimensione dell'errore di I tipo. Il livello di significativith osservato (szgnzficance level) definito nelle (6.866.88), che indicheremo spesso con SL, nella letteratura inglese viene detto anche p-value. La verifica di una ipotesi pui, essere fatta anche con statistiche T = t(X1, X2, . . . ,XN) che stimano il valore del parametro 8, cioi: con degli stimatori. In questo caso alla densith p(z;80) attribuita a1 campione si deve sostituire la densith della distribuzione campionaria dello stimatore e tutto procede come appena spiegato. Se lo stimatore non 6 distorto, in base alla (2.78), (TN(X)) = Bo. Stabilito allora un valore a! per il livello del test, si rigetta l'ipotesi se, ottenuta una stima {T = to), risulta: P{T < to) = S L < a! , test a una coda (a sinistra), P{T > t o ) = S L < a! , test a una coda (a destra), P{IT - 801 > (to - 60' 1) = SL < a , test a due code.
(6.89) (6.90) (6.91)
I1 livello del test a! viene scelto in mod0 arbitrario. In genere si scelgono valori piccoli, di circa 1'1-5%. Se l'evento ha un SL minore di a, esso si trova nelle code della densith di riferimento. In questo caso si giudica piu probabile la falsith dell'ipotesi 6' = Oo che non la sua validith. I1 caso contrario viene interpretato come una fluttuazione statistics, lo scostamento viene attribuito a1 caso e l'ipotesi viene accettata.
212
Capitolo 6. Statistica di base
Per finire, notiamo che in alcuni casi il confront0 tra livello del test ed S L presenta ambiguit 8: a per una variabile aleatoria discreta, i livelli S L di due valori contigui possono "stare a cavallo" del valore deciso per il test. Ad esempio, nel test a una coda a destra, pub succedere che:
con XI > x2. In questo caso si accetta l'ipotesi se {X = x2}, la si respinge se {X = xl}. In alternativa, se si dispone di un generatore di variabili uniformi 0 U 5 1 (ad esempio, la routine random di un calcolatore), si pub randomizzare il test definendo una probabilita p tale che:
<
Se si verifica l'evento {X = XI), si scarta l'ipotesi se dalla routine random si ottiene {U = u 5 p}, la si accetta in caso contrario. In questo modo, per costruzione, il livello S L dell'evento coincide esattamente col livello del test a; nel caso del test a due code, ad un livello a possono corrispondere limiti fiduciari diversi, cioit intervalli di estremi diversi ma con lo stesso livello di confidenza C L = 1- a. Generalmente in questo caso si scelgono i due estremi, a destra e sinistra, che sottendono "code" di area uguale a/2. Questa convenzione 6 stata in effetti utilizzata nella (6.88).
6.15 Verifica di compatibiliti tra due valori Affrontiamo ora, per la prima volta, un semplice problema di verifica di ipotesi, la verifica di compatibilita tra due valori. Supponiamo che siano stati eseguiti due esperimenti o campionamenti differenti e che si voglia verificare se i risultati XI e xz sono in accord0 tra loro, ovvero se i dati provengono dalla stessa popolazione. Se alla popolazione si attribuisce una densita nota con parametri fissati a priori, allora si pub affrontare il problema col calcolo delle probabilita, verificando la compatibilitA di ogni singolo dato con in valori assunti come veri. Esempi di questa tecnica sono stati dati negli esercizi 3.13-3.17. Tuttavia, spesso i parametri della la densit&non sono noti ed i: necessario procedere in ambito esclusivamente statistico. Un mod0 elegante per affrontare il problema sta nel definire una nuova variabile aleatoria differenza
la quale ha valore atteso nullo nell'ipotesi che i due valori X I e X2 provengano dalla stessa popolazione.
6.15 Verifica di c o r n ~ a t i b i i i ttra i due valori
213
Poich6 la varianza di una differenza Q data, per variabili indipendenti, dalle (5.66, 5.67), possiamo scrivere:
dove nell'ultimo passaggio si Q utilizzata l'approssimazione per grandi campioni (si veda la Tab. 6.3) sostituendo ai valori veri incogniti quelli delle varianze misurate. Possiamo allora definire il valore standard:
e calcolarne il live110 di significativita second0 le densita di probabilith coinvolte nelle misure. Poichk la (6.93) presuppone l'approssimazione per grandi campioni, per il calcolo dei livelli di probabilita si usa quasi sempre la densit&gaussiana, perch6 (come mostrato anche nell'esercizio 5.3) la differenza di due variabili gaussiane indipendenti i! anch'essa gaussiana. Generalmente la (6.93) viene usata per confrontare due frequenze oppure due medie campionarie. Nel caso di due frequenze fl ed f 2 , indicando con Nl ed N2 (invece che con n) il numero di tentativi effettuati nelle due prove, dalla (6.23)' valida per grandi carnpioni, si ottiene immediatamente:
con livelli di probabilith gaussiani. Invece che in termini di probabilita, se Nl = N2 = N , il confronto pub l successi XI e x2, utilizzando sempre anche essere fatto in termini di numero d la (6.93) e la varianza definita nella (6.24):
Se Nl f N2, occorre rinormalizzare uno dei due valori (ad esempio xl + x1Nl/N2) ricalcolandone la varianza, ma in questo caso 6 piu conveniente il confronto in termini di frequenza, attraverso la (6.94). Per il confronto di due medie ml ed ma, provenienti da due campioni diversi con varianze s:, s$ e numero di elementi Nl, Nz rispettivamente, dalla (6.43) si ottiene il valore standard:
a1 quale, se Nl, N2 gaussiani.
> 20,30, vanno ovviamente applicati livelli di probabilita
214
Capitolo 6. Statistica di base
ed affermano che entrambe Ee misure sono di tip0 gaussiano. Verificare se le misure sono tra loro compatibili. Risposta. Dalla (6.93) otteniamo:
Poiche' si deve trovare lo scostamento assoluto tra le due misure, b necessario fare il test a due code. Dalla Tab. D.l risulta:
pari ad u n live110 di signzficativitd del20%. Poiche' la probabilitd di sbagliare rigettando l'ipotesi di compatibilitd 2 troppo alta, le due misure si devono ritenere compatibili. Notate bene che non si afferma che le misure sono compatibili, m a solo che esse n o n possono essere messe in dubbio sulla sola base della statistica. Com e dovreste aver gM capito da parecchio tempo, la distinzione pud sembrare sottile, m a 2 fondamentale! Esercizio 6.10 z : ~ ~ * -~ ~ d p -i ~ P-LC~ =-:y :a~ :~:= ~ ~ v-=t%@$ywg - * . -~-? ~5~=;: I n u n esperimento di percezione extrasensoriale (ESP) sono state predisposte 5 scatole, numerate da 1 a 5 e, nella scatola n . 3, b stato posto u n oggettobersaglio. Duecento persone sono state invitate ad indovinare i n quale scatola si trovasse il bersaglio e 62 di queste hanno indicato proprio la n. 3. I n una prova di controllo con tutte le scatole vuote, facendo sempre credere alla platea che i n una delle scatole si trovasse u n bersaglio, le persone che hanno indicat0 la scatola n. 3 sono state 50. Stabilire se l'esperimento rivela o meno eflettz ESP. Risposta. Se utilizziamo il calcolo delle probabilitci, possiamo procedere come nell'esercizio 3.17 ed assumere come ipotesi nulla che, se le persone tirano a indovinare, ognuna delle 5 scatole abbia una eguale probabilitd di 115 di essere scelta. Allora la distribuzione teorica assunta come Vera b binomiale, di media e deviazione standard date da:
6.15 Verifica di compatibilitP tra due valori
215
Poiche' i successi sono stati pari a 62, la variabile standard (3.37) di questo dato vale: a cui corrisponde, come da Tab. D . l , u n livello di significativitci estremamenL'ipotesi di presenza di efletti E S P sembra confermata te basso, < 1 . dall'esperzmento. Tuttavia, la psicologia sperimentale aflenna che il numero 3 d psicologicamente fauorito (in genere lo sono tutti i numeri dispari rispetto a quelli pari). I n altre parole, in una prova a vuoto con scatole numerate da 1 a 5, la maggior parte delle scelte dovrebbe localizzarsi sudla scatola n. 3, anche in assenza di bersaglio, semplicemente perch6 il 3 21 u n numero " p i i simpatico" degli altri. Occorre allora, i n mancanza di u n modello a priori, abbandonare il calcolo delle probabilitci e aflrontare il problema in ambito statistico, utilizzando solamente il numero di successi con bersaglio (xl = 62) e quello a scatola vuota (x2 = 50). Gli errori statistici da associare a queste osservazioni si ottengono dalla (6.24):
Combinando adesso i risultati della prova a vuoto e di quella col bersaglio nella formula (6.95) abbiamo immediatamente:
A questo valore della variabile gaussiana standard corrisponde in Tab. D.1 u n livello di significativitci sulle due code di
L'analisi mostra pertanto che nel 18% dei casi, tirando ad indovinare ed essendo psicologicamente condizionati a favore del numero 3, si possono avere scostamenti di pi3 di 1 2 punti (in piti o in meno) tra la prova a vuoto e la prova col bersaglio, Il risultato b pertanto compatibile con il caso e non rivela aflatto probabili effetti ESP. Se i due carnpioni sono piccoli e la distribuzione campionaria i: gaussiana, si pub ancora fare uso della densit& di Student, se si suppone che le due medie provengano da campioni aventi, oltre che la stessa media, anche la a. In questo caso la variabile standard della stessa dispersione: a1 = a2 differenza assume il valore:
216
Capitolo 6. Statistica di base
Utilizzando la (6.62), nella quale la varianza dei dati i! calcolata rispetto alla media campionaria, definiamo il valore di X"non rzdotto):
+
a1 quale, in base al teorema 3.4, vanno assegnati Nl N2 - 2 gradi di liberth. In base ai risultati del17esercizio5.5, possiamo dire che il valore (5.41), che in questo caso diventa:
+
si distribuisce second0 la densit2 di Student con NI N2 - 2 gradi di liberth. In questo mod0 il test sulla differenze delle medie pub essere risolto in mod0 soddisfacente anche per campioni con almeno una decina di eventi, per i quali la media si pub considerare una variabile gaussiana. SCILAB fornisce la routine nand%ed(xl,xZ,eonf) per il test tra le medie di due campioni xi e x2, in forma di vettori contenenti i dati grezzi. In uscita si ottengono due numeri: la differenza tra le medie e il valore s = tCodsl2J(I/N~) (l/Nz) della (6.99), dove t B il quantile di Student per campioni con meno si 100 eventi, altrimenti i! quello gaussiano. Per grandi campioni, l'errore vale s 1.tc,,,f J($/N~) + (sg IN2), in accord0 con la (6.96). Si tenga presente che c o n f B il valore cumulativo ed B legato a1 live110 CL del test a due code dalla relazione conf= 0.5 + CL/2. Se si vuole ottenere la stima ad lo de117errores sulla diffferenza delle medie si deve porre conf = 0.5 0.68312 = 0.8415. Occupiamoci infine della verifica di compatibilith tra due varianze. Essa, per campioni con meno di un centinaio di eventi, non pub essere fatta utilizzando la densit&gaussiana o di Student. Tuttavia, per campioni gaussiani esiste un test molto semplice ed utile, che fa uso della densita F di Snedecor trovata nell'esercizio 5.6. Se s& ed s& sono due varianze ottenute da due campioni indipendenti rispettivamente con N ed M eventi e provenienti da popolazioni di densith gaussiane aventi la stessa varianza 02, dalla (6.62) sappiamo che il valore
+
+
6.16 Stima della densit2 di una popolazione
217
essendo il rapporto tra due valori X 2 ridotto indipendenti, si distribuirh secondo la densith F di Snedecor (5.46) con (N - 1, M - 1) gradi di IibertA. L'uso combinato della (6.100) e dei quantili della densit2 F delle tabelle D.5, D.6 viene detto analisi della varianza o F usare la nostra routine =i&2y. , che utilizz dalla distribuzione p N M ( F )il valore cumula per il calcolo di F a partire dal valore cu Esercizio 6.1 1 s ~ r ~ e ~ , Due sperimentatori, che aflermano di aver eseguito u n campionamento dalla stessa popolazione avente densit&gaussiana, hanno trovato rispettzvamente varianze pari a = 12.5 , s; = 6.4
ST
con campioni di 20 e 40 eventi rispettivamente. Verificare se le due varianze campionarie sono compatibili con u n unico valore vero g2 ad u n livello del 2%. Risposta. La variabile F 2. data da:
Se sceglzamo di fare la verifica di compatibikitit ad u n livello di significativitit del 2%, il rapporto sperimentale F deve essere minore del valore di F a1 99% che si ricava da Tab. D.6:
e maggiore del valore di F all'l %, che si ricava con la relazione (5.49):
i due valori sono compatibili ad u n livello del 2%. etere l'eserci ;m:*&<6-~*rasc=
test. J T e :.--
6.16 Stima della densita di una popolazione Dopo l'analisi della media e della dispersione del campione, passiamo ora all'analisi della struttura globale (forma) del campione, con l'obiettivo di ottenere informazioni sulla densit& della popolazione da cui 5 stato estratto.
218
Capitolo 6. Statistica di base
. . .
1501
':i 90 *h
I Fig. 6.11. Due rappresentazio-
. da h
... ..
da
0
.
100
ni possibili di un istogramma ottenuto simulando a1 calcolatore l'estrazione di 1000 eventi da un popolazione di densitk gaussiana di media ,u = 70 e deviazione standard u = 10
La media e la varianza campionarie non sono le sole variabili aleatorie di interesse. Quasi sempre il campione viene presentato in forma di istogramma, suddiviso in un numero K di canali, di solito di ampiezza fissa Ax, in ognuno dei quali cade un numero di eventi ni. Le quantitb ni danno la forma complessiva del campione e sono di cruciale importanza se si B interessati a studiare la struttura della densith della popolazione da cui il campione i: stato estratto. Queste quantith vanno considerate come variabili aleatorie li, perch6 variano da campionamento a campionamento. L'istogramma spesso viene normalizzato, nel qual caso, invece delle quantit& ni, vengono date le frequenze o probabilita misurate fi = ni/N, dove N & il numero totale di eventi presenti nel campione. In Fig. 6.11 e nella (6.101) viene riportato, a titolo di esempio, un istogramma non normalizzato ottenuto simulando a1 calcolatore un campione di N = 1000 eventi estratto da una densitb gaussiana con pararnetri p = 70 , a = 10. Nella (6.101) xi e ni = n(xi) sono rispettivamente il punto medio e il contenuto del canale, il passo vale Ax = 5:
Se p(x) 6 la densit& della popolazione del campione, definendo le variabili aleatorie I ed F associate agli eventi {Ii= ni} ed {Fi = ni/N}, dalla (2.34)
6.16 Stima della densit2 di una popolazione
219
segue che:
dove A x b la larghezza del canale e xo un punto interno ad esso. I1 termine pib a destra nelle equazioni viene dal teorema della media integrde. Se l'ampiezza del canale i: sufficientemente piccola e la densit8 i: una funzione abbastanza regolare (funzione smooth), si pub assumere che essa vari linearmente entro il canale; in questo caso, in base alla regola trapezoidale, so i:il punto medio del canale. Nel caso di variabili aleatorie discrete, nelle (6.102, 6.103) all'integrale su A x va sostituita la sommatoria sulle probabilitb vere corrispondenti ai valori contenuti in A x . Nel par. 4.7 abbiamo visto, per un carnpione casuale di ampiezza N , che la probabilitb globale di ottenere un particolare istogramma a partire da probabilith vere pi, (i = 1,2,. . . ,k) date, tramite la (6.103), da una densit8 p ( ~ ) , segue la distribuzione multinomiale (4.87). Abbiamo gi8 notato, a proposito della (4.87), che il numero di eventi Ii caduti in un generic0 canale i-esimo (xi,xi+l) di ampiezza A x segue la distribuzione binomiale. Infatti: se il fenomeno stocastico i:stazionario nel tempo, la probabilitii pi di cadere nel canale resta costante; la probabilitb di cadere nel canale non dipende dagli eventi che sono caduti o che cadranno negli altri canali. Pertanto, possiamo dire che la variabile aleatoria Ii,numero di eventi in un canale dell'istogramma, b data d d verificarsi di eventi indipendenti determinati da una probabilith costante. Se il numero totale di eventi N b un parametro predeterminato, risulta allora che la probabilitb che la variabile aleatoria Ii assuma il valore ni sar8 data dalla legge binomiale (2.30) con probabilitii elementare pi (si veda anche la (4.87)):
dove (1 - pi) indica la probabilitii di cadere in un qualunque altro canale dell'istogramma diverso da quello considerato. La deviazione standard della binomiale considerata vale:
Questa quantit8 pub essera stimata dai dati attraverso l'incertezza si z s(ni). Se il canale ha pib di 5, 10 eventi, poichb a maggior ragione N(l -pi) =
( N - ni) > 5, 10, si pub utilizzare la (6.24), con x
ni ed n
E
N:
220
Capitolo 6. Statistica di base
Se l'istogramma B normalizzato, la (6.106) va divisa per N , ottenendo cosi un risultato ben noto, l'errore statistico (6.23) sulla probabilita misurata fi = ni/N: (6.107) Le due formule appena mostrate sono di fondamentale importanza nell'analisi degli istogrammi e vengono dette fluttuazzoni casuali (o statistiche) dei canali. Se l'istogramma non i! ottenuto con numero totale N di eventi costante, ma B raccolto controllando altri parametri, ad esempio un certo intervallo di tempo At, il numero N si trasforma da costante a variabile statistica N poissoniana e le fluttuazioni del contenuto dei canali vanno calcolate in mod0 diverso. Questo B un argomento statistico abbastanza sottile e vogliamo fare subit0 un esempio per chiarirvi le idee. Se esaminiarno pi^ istogrammi, ognuno dei quali si riferisce a1 peso di 100 neonati, le fluttuazioni del numero dei neonati entro un certo intervallo di peso (percentile, come dicono i medici) obbediranno alle (6.106, 6.107). Se invece raccogliamo gli istogrammi del peso dei neonati mese per mese, alle fluttuazioni del numero dei neonati entro un certo intervallo di peso si aggiungeranno quelle del numero totale N dei neonati in un mese, che saranno poissoniane nell'intorno di un valore medio stabile (se si suppone, per semplificare, che le nascite siano stabili di mese in mese) . Procedendo nella discussione, osserviamo che, in base alla legge delle probabilitb composte, in questo caso la probabilith di osservare N eventi, dei quali {Ii = ni)nel canale i-esimo, s a r i data dal prodotto della probabilitk poissoniana (3.14) di ottenere un totale di {N = N ) eventi quando la media B X e dalla probabilita binomiale (2.30) di avere ni eventi nel canale in esame, su un totale di N , quando la probabilita Vera B pi:
Se ora definiamo mi = N - ni, ed utilizziamo le identit&:
possiamo esprimere questa probabilitb nella forma:
la quale non B altro che il prodotto di due poissoniane, di media Xpi e X(l -pi) rispettivamente. Da questo fatto, in base a1 teorema 4.1 di pagina 114, si
6.16 Stirna della densits di una ~ o ~ o l a z i o n e
221
deduce che le variabili Ii, numero di eventi nel canale i-esimo, ed (N - Ii), numero di eventi caduti negli altri canali dell'istograrnma, sono entrambe variabili poissoniane indipendenti. Detto in altre parole, se N i: una variabile poissoniana ed Ii, per {N = N ) fissato, una variabile binomiale, allora Ii ed (N - Ii) sono variabili poissoniane indipendenti. PoichC sappiamo che la deviazione standard della poissoniana i: pari alla radice quadrata della media, possiamo immediatamente modificare la (6.106) nella forma: s(ni) = 6 , .[Ii] ui =
6-
dove ai valori veri si sono sostituiti quelli misurati. L'errore statistic0 dei canali i, dato allora da:
Riassumiamo ora in uno schema coerente i risultati ottenuti. La stima del numero di eventi vero pi (speranza matematica o valore atteso) nel canale i-esimo i: dato dalla (6.102) ed il corrispondente intervallo di confidenza approssimato, di live110 68.3%, i: dato da:
per istogrammi raccolti con numero di eventi N determinato e da
per istogrammi in cui il numero totale di eventi N i: una variabile poissoniana. Per gli istogrammi normalizzati, le (6.109 e 6.110) si trasformano rispettivamente in:
che rappresentano gli intervalli di stima per le quantith vere (6.103). Queste formule sono valide per ni 2 5, 10, cioi: per canali popolati da almeno una decina di eventi e in questo caso, come sappiamo, valgono i livelli di confidenza gaussiani. Per canali con meno di 10 eventi, alla (6.111) va sostituita la (6.21) (con N a1 posto di n), e alla (6.109) la (6.21) moltiplicata per N. Le formule poissoniane (6.110, 6.112) restano invece invariate. In questi casi, tuttavia, i livelli di confidenza non sono gaussiani e vanno ricavati dalle distribuzioni binomiale e poissoniana, a seconda che N sia fisso o variabile.
Ca~itolo6. Statistica di base
222
100
* I
40
*
+
* . -
50
60
I
70
80
--
1 I I I
90
100
Fig. 6.12. Istogramma di Fig 6.11 completato eon le
barre d'errore
Le conclusioni cui siamo pervenuti si prestano ad una soddisfacente rappresentazione intuitiva delle fluttuazioni del contenuto dei canali di un istogramma. Se consideriamo ad esempio un istogramma a due canali, nel caso di N costante il numero di eventi nl ed n z nei due canali B completamente correlato, dato che n~ na = N . In realtb si ha a che fare con una sola vaxiabile aleatoria e in questo caso gli errori statistici nei due canali sono uguali, come risulta evidente dalla (6.107), che i: simmetrica in f e (1 - f ) , oppure dalla (6.106) dopo un minimo di algebra. In generale il fatto di avere N costante determina una correlazione tra i canali, data dalla covarianza (4.90)' che statisticamente, per ni, n j > 10, pub essere stimata con buona approssimazione come: (6.113) s(ni,nj) = - N f i f j .
+
Quando invece N 6 una variabile poissoniana, ogni canale dell'istogramma si comporta come un contatore poissoniano e indipendente di eventi e le fluttuazioni vanno come la radice quadrata del numero degli eventi. La rappresentazione gradica dell'istogramma, per essere corretta, va completata con la rappresentazione degli errori statistici. Per convenzione questi errori, calcolati con le (6.106,6.107) a seconda dei casi, si riportano in grafico come intervalli fsi centrati sui valori ni. Questi intervalli, chiamati barre d'errore (error bars), definiscono una banda entro cui sono localizzati i valori veri pi o pi delle (6.102, 6.103). Tuttavia, come sempre, bisogna ricordarsi che i livelli di confidenza, se ni > 5, 10, seguono la legge 3a. Pertanto, la banda totale entro cui sono contenuti con ragionevole certezza questi valori B in realth larga 3 volte le barre d'errore riportate nei grafici. L'istogramma di Fig.6.11, completato con le barre d'errore calcolate con la (6.106)' B mostrato in Fig. 6.12.
6.17 Verifica di compatibilita tra campione e popolazione
fluttuazione - - .- - binorniale o poissoniana
223
valore misurato
%
_--
Fig. 6.13. Valore misurato, valore atteso in base ad un modello qualunque di densita e fluttuazione statistica del canale dell'istogramma. L'area ombreggiata va immaginata useente ortogonalmente a1 foglio
,-.--
densita' teorica 1
I
Abbiamo dimostrato che le fluttuazioni negli eventi contenuti in un certo canale dell'istogramma obbediscono alle leggi di probabilita binomiale o poissoniana; questa k una legge del tutto generale, indipendente dalla densit& p(x) della popolazione da cui il campione proviene, che pub essere qualunque. Come illustrato in Fig. 6.13, la densit&determina invece la struttura globale del campione, che B data dai valori medi o centrali del contenuto dei canali. Come verificare se la forma del campione sia o meno in accord0 con un modello di densit& scelto per la popolazione i: l'argomento del prossimo paragrafo.
6.17 Verifica di compatibiliti9 tra campione e popolazione In questo paragrafo completiamo lo studio del campione (6.101). La media e la varianza calcolate dai dati valgono:
Poich4 N = 1000, gli intervalli di confidenza per media, varianza e deviazione standard si possono calcolare dalle (6.43, 6.56):
cr
E
sfs
1
= 9.77
f 0.22
e poich6 i livelli di confidenza da associare a questi intervalli sono gaussiani, si pub affermare che i risultati sono compatibili con i valori veri p = 70 e 0 = 10.
224
Caoitolo 6. Statistica di base
Verifichiamo ora se la popolazione del campione ha una densit&gaussiana, assumendo che i valori della media e della deviazione standard siano quelli veri, p = 70, cr = 10. I valori veri o attesi del numero degli eventi in ogni canale sono allora dati dalla (6.102), dove p(x) & una gaussiana, N = 1000 e AX = 5 :
E utile ora costruire la Tab. 6.4, dove nelle colonne da (1) a (7) sono riportati Tabella 6.4. Dati necessari per il confront0 tra l'istogramma di Fig.6.12 e la densiti
gaussiana della (6.114)
nell'ordine: il valore dello spettro nel punto medio del canale (I), il numero di eventi (2), il valore vero del numero di eventi calcolato con la (6.114) (3), l'errore statistico s i della (6.106) (4), la deviazione standard
del numero vero di eventi ( 5 ) , i valori della variabile standard
del numero misurato di eventi in ogni canale calcolata con l'errore statistico (6) e infine i valori
6.17 Verifica di compatibilita tra campione e popolazione
225
Fig. 6.14. Confront0 tra l'istogramma di Fig. 6.12 ed i va-
lori attesi sulla base della densit& gaussiana di media 70 e deviazione standard 10 calcolati con la deviazione standard Vera (7). In Fig. 6.14 i: riportato l'istogramma di Fig. 6.12 (colonne 1,2 e 5 di Tab. 6.4) con. l'aggiunta della linea continua, che rappresenta i valori veri (attesi) provenienti dalla gaussiana (6.114) e calcolati in colonna 3 di Tab. 6.4. Una prima valutazione dell'accordo tra dati e modello pub essere fatta "ad occhio": circa il 68 % dei punti sperimentali deve "toccare", entro una barra d'errore, il corrispondente valore vero. Nel nostro caso, dalla colonna 7 di Tab. 6.4 e dalla Fig. 6.14, risulta che su 13 punti si ottiene l'accordo col valore atteso per 9 punti (69 %) entro +ai, 12 punti (92 %) entro +2ai, 13 valori (100 %) entro +3 mi. Come si vede, le fluttuazioni sembrano rispettare molto bene le percentuali della legge 30 (3.35), il che significa che la densita assunta come modello fornisce una buona rappresentazione dei dati. Notiamo che si arriva alle stesse conclusioni anche utilizzando gli errori statistici, cioi! le variabili standard di colonna 6. L'unico canale anomalo i: quello corrispondente a1 valore zi = 92.5, che fornisce in questo caso un valore standard stimato di 3.38, a fronte di un valore corretto di 2.26.11 disaccordo 6 origiriato dal basso contenuto del canale, che contiene solo 7 eventi. Per questo motivo, se si usano gli errori statistici, in genere si accettano discrepanze maggiori di 3 a nei canali con meno di 10 eventi. Oltre a questo test qualitative, in statistica i! possibile fare test quantitativamente precisi, il piG importante dei quali, per il confront0 tra densita della popolazione e istogramma, & il test x2 (chi-square test). Per eseguire questo test occorre conoscere (o assumere come ipotesi nulla) le probabilitL vere pi di ogni canale ed eseguire la somma su tutti i K canali:
226
Capitolo 6. Statistica di base
Se il numero totale N di eventi B variabile e si somma sui canali con pi^ di 5, 10 eventi, la (6.115) risulta essere approssimativamente la somma del quadrato di K variabili gaussiane standard indipendenti (dato che per una distribuzione di Poisson 0; = pi) e pertanto, in base a1 teorema di Pearson 3.3, essa si distribuisce approssimativarnente come la densit& x2 (3.64) con K gradi di liberti. I valori integrali della corrispondente densit&X 2 ridotto (3.70) sono riportati in Tab. D.3. Se invece il numero totale N di eventi B costante, le variabili della somma (6.115) sono correlate, ma il teorema 4.5 della somma di Pearson ci assicura ancora che il risultato B una variabile X 2 , ma questa volta con (K - 1) gradi di liberti. Notiamo che, se N 6 costante, B sbagliato scrivere: K
(ni - N P ~ ) ~
= i=l N p i ( l -pi)
(falso!)
,
perch6 la somma i: si composta dal quadrato di variabili standard, ma queste sono correlate. In conclusione, occorre sempre sommare il quadrato delle diffirenze tra le frequenze osservate e quelle vere e dividere per le frequenze vere, avendo cura di ricordarsi che i gradi di liberth sono pari al nurnero dei canali se N 6 una variabile poissoniana, mentre vanno diminuiti ,di una unit& se N & costante. Tutto questo deriva dal teorema 4.5 di Pearson applicato all'analisi statistica degli istogrammi. Eseguiamo ora il test x2 sui dati dell'istogramma (6.101). Nel nostro caso, poich6 il primo canale contiene solo un evento (il contenuto non & una variabile gaussiana), occorre sommare tra lor0 i primi due canali e poi sommare gli altri undici canali rimanenti. I1 valore X 2 ridotto che si ottiene dai dati di Tab. 6.4 B allora:
Poicht! N B costante, il numero dei gradi di liberta B uguale al numero dei punti della somma meno uno, cioB 11. Col calcolo del x2 si raggiunge, per cosi dire, il massimo della sintesi, perch6 i risultati di Tab. 6.4 e di Fig. 6.14, relativi a1 confront0 tra dati e modello, vengono condensati in un solo numero, nel nostro caso 0.82. Ovviamente, se rifacessimo un altro esperimento, otterremmo un numero diverso, della (6.116) i: il valore assunto da una variabile aleatoria che perch6 il ha la densit&di Tab. D.3. Procediamo ora a1 test X 2 vero e proprio. Cerchiamo in Tab. D.3, nella riga corrispondente a 11 gradi di libertii, l'area corrispondente a1 valore di 0.82: troviamo un valore di circa il 60 %. In termini formali, la situazione corrisponde all'equazione: :
Xi
227
6.17 Verifica di corn~atibilitatra cam~ionee ~opolazione
Fig. 6.15. Livello di significativitk osservato nel caso di test a due code (aree ombreg iate) quando il valore trovato XR corrisponde a) ad una probabilith
d
",
xg
P(Q >
xi) < 0.5
P(Q z
xi ) > 0.5
1
P{QR> X: < 0.5 oppure b) a P{QR> xRa}> 0.5. Le zone ombreggiate hanno aree uguali
dove Q R i? una variabile che segue la densita x2 ridotto con 11gradi di liberta. Definendo il livello di significativita come:
se il modello i: valido, sono possibili valori di x2 ridotto minori di quello trovato in almeno il 40 % delle prove. Poichk un livello di significativita del 40% rende altamente probabile l'errore di I tipo, l'ipotesi va accettata. In conclusione, abbiamo generato a1 calcolatore un campione di 1000 eventi da una distribuzione gaussiana con p = 70 e a = 10. Successivamente, abbiamo eseguito I'analisi del campione ed effettuato i test statistici rispetto alla densita vera. Questi test hanno mostrato buon accord0 tra dati e modello. Come vedete, la logica del test X2 i:esattamente uguale a quella utilizzata con la Tab. D.1 per le variabili gaussiane. Cib che cambia i: solo il tip0 di variabile e la funzione di test. Non occorre quindi ridiscutere il livello di significativitb e l'errore di I tipo in ulteriore dettaglio. L'unico punto su cui fare attenzione, come abbiamo giA spiegato, i: che la densit&x2, a differenza della gaussiana, non i: simmetrica. Si rende pertanto necessario tabulare i valori integrali in tutto il campo di esistenza della funzione, invece che in una sola delle due met&,e questo fatto porta a probabilitb cumulative estratte dalla tabella che possono superare il 50%. I1 test X2 pub essere fatto ad una o due code. Nel test ad una coda il livello del test riguarda in genere la coda a destra ed il livello di significativita osservato SL (o p-value) vale
Se il test 2: a due code, come in Fig. 6.15, allora
228
Capitolo 6. Statistica di base
Occorre fare ancora alcune ulteriori considerazioni quando i valori di X2 sono troppo alti o troppo bassi: in ognuno di questi due casi test indica che le Jtuttuaxioni dei dati intorno ai valori assunti come veri n o n sono di tipo statistico. Quando la (6.117) fornisce valori troppo piccoli:
il valore di x2 ridotto trovato si situa nella coda a destra e risulta troppo alto. In questo caso & altamente probabile che la densit&della popolazione assunta come modello non sia quella Vera. Pub anche essere che gli errori assegnati ai canali siano stati calcolati male e risultino sottostimati. Se si 6 sicuri di aver calcolato bene gli errori, il risultato del test 6 il rifiuto dell'ipotesi. Molto pih raramente capita che il valore di X2 sia troppo piccolo:
Questo caso si verifica quando le probabilith, a priori pi sono calcolate da una popolazione che, avendo un numero eccessivo di parametri, tende ad interpolare i dati, oppure quando gli errori sono stati erroneamente sovrastimati. Approfondiremo meglio questi concetti nel cap. 10. Spesso il x2 di un istogramma viene calcolato dividend0 per le frequenze misurate invece che per quelle vere:
In questo caso il denominatore di ogni addendo & approssimato ma B indipendente da ogni modello. Se si opera nell'ambito di un modello, 6 pih corretto e consistente dividere per le frequenze vere. Tuttavia, se nella verifica di ipotesi si considerano solo i canali con pih di 5-10 eventi, l'uso delle frequenze misurate porta quasi sempre a risultati equivalenti a quelli ottenuti con quelle vere. Nei test con procedure di minimizzazione, che vedremo nei capitoli 9 e 10, si utilizzano spesso a1 denominatore le frequenze misurate, perchb, essendo indipendenti dai modelli, esse restano costanti durante la procedura di adattamento del modello ai dati, semplificando di molto gli algoritmi di calcolo. La nostra routine , assegnati in ingress0 la matrice dei dati n, quella dei valo adi di liberta nu, calcola il X 2 con la (6.115) e fornisce in uscita un vettore & tre posizioni: X 2 , x2/v, SL; . Esercizio 6.1 Fare l'analisi e Fig. 2.1, assumendo come modello che i lanci siano indipendenti e che tutte le monete abbiano una probabilitd a priori testa/croce pari a 1/2. Risposta. I dati sono riportati ancora per comoditd nella nuova Tab. 6.5, dove sono state anche calcolate le quantzth di base che ci semiranno nella
229
6.17 Verifica di cornpatibilith tra carnpione e popolazione
Tabella 6.5. Istogramma relativo all'esperimento costituito d a 1V = 100 prove, ognuna consistente nel lancio di 10 monete da 50 lire (vedi anche Tab. 2.2). Le colonne contengono: il numero di teste possibili (1)' il numero di volte (successi) in cui si 15 ottenuto il numero di teste riportato in prima colonna (2), le speranze matematiche, o numero vero di eventi, date dal numero di prove per la probabilita binomiale della (2.30) con n = 10, p = 1/2 (3), l'errore statistic0 dell'istogramma calcolato col numero vero di eventi (4) oi = (5) si =
m ni
1 - - , i valori del
X2
J 41 -3 , e con quello misurato p.
-
per ogni punto, ottenuti utilizzando nel
I
calcolo la probabilitii Vera (6) e la frequenza misurata (7) spettro (n. teste)
successi
binomiale
dev. std. "vera"
dev. std. stimata
xL
xL
"vero"
stimato
analisi. Per n o n fare confusione, occorre per prima cosa definire i parametri:
- numero di lanci per prova: n = 10; - numero di prove: N = 100; - numero totale di lanci: N .n = M = 1000.
Il primo test che possiamo fare i: quello sul numero totale di successi, cioB sul numero totale di teste. Dalle colonne 1 e 2 della tabella otteniamo: J:
=2 .5
+ 3 . 1 3 + . . . = 521
successi .
Poiche' la speranza matematica B M p = 500 e la dispersione vera, calcolata con la (3.5), vale (T = J ~ o o ( I -1/21 = 15.8, otteniamo zl valore standard:
a1 quale corrisponde i n Tab. D.l a n livello di significativitd
230
Capitolo 6. Statistics di base
il quale permette di aflermare che, ripetendo varie volte mille lanci indipendenti con monete non truccate, i n circa 2118% dei casi si avranno scostamenti (in piu o i n meno) da 500 maggiori di 21. Nell'esercizio 2.6 abbiamo calcolato la media e la varianza dell'istogramma di Tab. 6.5: m = 5.21 , s2 = 2.48 , s = 1.57 , ed i corrzspondentz valori veri della binomiale con n = 10 e p = 1 / 2 :
I1 test sulla media, eseguito con la (6.40), fornisce allora:
ll test sulla media risulta uguale a1 test sul numero totale di lanci, perch4 vale 1 'identiti Mp-x
Nnp - NxIN
np - x l N
b-m
Per il test sulla varianza possiamo utilizzare la formula per grandi campioni (6.56) e calcolare il valore standard:
cui corrisponde i n Tab. D.l u n livello di significativitd
Veniamo ora a1 test x2, che i: il test finale complessivo sulla forma del campione. Raggruppando i primi e gli ultimi 3 canali, i n modo da avere sempre u n numero di eventi per canale 5, otteniamo:
>
Il numero dei gradi di liberti i. uguale a 6, poiche' il numero totale di eventi 6 Jissato e nella somma compaiono 7 termini. A questo valore di X & corrisponde i n Tab. 0 . 3 u n livello di signzficativith
6.18iVerifica di iootesi con test non oararnetrici
231
Fig. 6.16. Dati sperimentali con barre d'errore e previsioni della densit%binomiale (quadrati vuoti) per 100 prove consistenti nel lancio di 10 monete d a 50 lire. Per facilitare il confronto, i punti discreti della densiti binomiale sono stati uniti d a tratti di retta
deE50% czrca: in pratzca abbiamo ottenuto un evento {QB = x;} nell'intorno del valore piu probabale. S e nel calcolo del X2 avesszmo divwo per le frequenze misurate come nella (6.119), avremmo ottenuto & = 7.4216 = 1.24 ed u n live110 di significatiwith di circa il 25%. I due risultati, per quanto analoghi dal punto di vista statistico, dzgeriscono sensibilmente a causa della dimensione del campione (N = 100) piuttosto ridotta per il test x2. In tutti i test eseguits si sono ottenuti livelli di significativitii molto elevati, il che dimostra u n buon accord0 statistico tra i dati e il modello che assume lanci indipendenti di monete n o n truccate, I dati sperimentali con i relativi errori statistici e i valori teorici dati dalla distribuzione binomiale sono riportati anche in Fig. 6.16. Abbiamo finalmente analizzato in modo completo ed esauriente l'esperiment o delle 10 monete, la cui presenza ... incombeva minacciosa da tempo. V i facciamo notare che n o n si tratta di un esperzmento tanto facile da interpretare, se ci sono volute 231 pagine di testo per completarne l'analisi.
--
a-
4
-
.
.= -
-- -
= ---- -<--- -"2
%
---
- -- -
"
-- -
-- -
4 z = = s
6.18 Verifica di ipotesi con test non parametrici Abbiamo visto come applicare il test X 2 nel confronto tra un istogramma e una densit&modello dipendente da parametri. Vediamo ora come modificare questa procedura quando si confrontano tra loro due o pi?, campioni, senza assumere per la loro popolazione una specifica funzione di densit&. Questi test vengono detti n o n parametrici. Notiamo prima di tutto che, se il dato sperimentale consiste in una sola frequenza corrispondente ad un numero di successi > 10, l'uso del test X 2 2:
232
Capitolo 6. Statistica di base
equivalente all'uso del test gaussiano a due code s u una variabile standard. Infatti, le variabili
seguono l'una la densita gaussiana, l'altra quella X 2 con un grado di libertk. Potete facilmente controllare come, assegnando a caso un valore di T ed eseguendo il test a due code con la Tab. D.l ed eseguendo il test ad una coda per la variabile Q(1) con la Tab. D.3, si ottengano risultati identici. Nel caso di una coppia di variabili gaussiane, la verifica di compatibilita pub essere effettuata con la densit& gaussiana o di Student, second0 il metodo della differenza del par. 6.15. In alternativa, se l'esperimento misura la frequenza di realizzazione di un evento in due carnpionamenti indipendenti, spesso viene usata l'analisi delle tabelle di contingenza con il test x2. Questo metodo consiste nel costruire una tabella contenente il numero di successi n, ed n b ottenuti con due serie di tentativi N, ed Nb:
I
SUCCESS1
I
INSUCCESSI
TOTALE
1
Supponendo che i due campioni provengano da un medesimo process0 stocastico con probabilita Vera p, si costruisce la tavola di contingenza attesa:
(
CAMPIONE CAMPIONE TOTALE
A B
SUCCESS1
INSUCCESSI
pNb p(Na
(1(1- p)Nb (1- P ) (Na
I pNa
+ Nb)
TOTALE
I
+ Nb)
Na Nb Na
+ Nb = N
Ogni riga della tabella di contingenza sperimentale costituisce un istogramma a due canali e la tabella attesa associata fornisce il corrispondente valore atteso del numero di successi e insuccessi. In base ai teoremi di Pearson 4.4, 4.5 ed al teorema 3.4 di additivita del X 2 la quantita
si pub considerare come il valore assunto d a una variabile X 2 con 2 gradi di liberta. Se p ii incognita e l'ipotesi nulla afferma solo che essa B la medesima per i campioni A e B, si pub effettuarne una stirna puntuale dai dati. Se i successi e gli insuccessi osservati sono tutti > 10, allora si pone
233
6.18 Verifica di ipotesi con test non pararnetrici
Poich6 questa assunzione introduce una ulteriore relazione di dipendenza tra i dati, in base alla definizione 6.3 la (6.120) rappresenta i valori presi da una variabile X 2 con un solo grado di libertd. Notiarno che il metodo 6 approssimato, perch6 la probabilitii Vera i! stata stimata dalla frequenza osservata (6.121). La tendenza verso la densith di x2 della variabile (6.120) si ha ovviamente per I T , Nb + w. Tuttavia il metodo viene accettato e fornisce buoni risultati quando vale la condizione N > 40, n,, n b > 10, la quale assicura che il numero di successi sia gaussiano e che la stima della probabilith Vera sia affidabile. Vi ricordiamo che questo punto i: stato ampiamente discusso nel par. 6.6. Esercizio 6.13 gt+yjx ~ ~ e ~ ~ s ~ . ~ 2 y ~ ~4 , ~y ~z ~ ~- 2G7 :~ P e r provare la validitd di u n vaccino, si sono studiati due gruppi di cavie, u n o vaccinato, 17altro n o n vaccinato. I risultati sono riportati nella seguente tavola di contingenza:
I
1
I
AMMALATE
1
10 18 28
1
CAVIE VACCINATE CAVIE NON VACCINATE TOTALE
SANE
II
41. 1 29 1 70 1
TOTALE
I
51 47 98
1 1
Dire se i risultati sono significativi per it test a una coda a destra ad u n live110 del 5%. Risposta. S e assumiamo come zpotesi nulla Ho che il vaccino n o n sia efficace, allora le dzflerenze tra i due gruppi di cavie sono solo casuali. Sotto questa ipotesi la miglior stima della probabilitci di contrarre la malattia sard data dalla frequenza (6.121):
Analogamente, la probabilitd di n o n contrarre la malattia sarci pari a 0.714. Possiamo allora costrmire la tavola di contingenza attesa (ciod dei valori attesi sotto Ho: 0.286 . 5 1 = 14.6, ecc.): CAVIE VACCINATE CAVIE NON VACCINATE TOTALE
Dalla formula (6.120) abbiamo:
I
AMMALATE
SANE
14.6 13.4 28.0
36.4 33.6 70.0
TOTALE
I
1
51 47 98
~
~
234
Capitolo 6 . Statistica di base
-
Dalla Tab. 0 . 3 si vede che S L = 5% corrisponde, con un grado di libertd, ad un valore X2(1) = 3.84, mentre il valore trovato, x2(1) = 4.24, corrisponde a S L 4%. Concludiamo che il vaccino supera il test di eficacia a1 live110 del 5%, perch6 la probabilitd di sbagliare, scartando Ho ed aflermando che il vaccino d eficace, b solo del4%. Dato che questo problema richiede 17uso di u n a tavola di contingenza a due entrate, possiamo usare i n alternativa il metodo del par. 6.15 e la formula (6.94). Dalla tabella di contingenza sperimentale si ha i n questo caso:
Notate che qui n o n si utilizza la tabella di contingenza attesa. I1 valore t; = 4.30 corrisponde ad u n x2 con u n grado di libertci in accordo col valore 4.24 trovato i n precedenza con la tavola di contingenza attesa. Avremmo trovato due valori identici se nella (6.122) avessimo usato a1 denominatore, invece che le frequenze sperimentali, quelle della tabella di contingenza attesa. Dalla Tab. D.l si ottiene, per t = 2.07, un valore di 0.4808, pari ad u n live110 di significativitci, per u n test a due code, di:
i n accordo col test X2 eflettuato i n precedenza. V a notato che entrambi i metodi usatz sono approssimati: zl metodo che utilizza la tabella dz contingenza attesa assume che le probabilitci vere coincidano con le frequenze calcolate dai dati supponendo che il vaccino sia ineficace, mentre zl metodo della differenza utilzzza, a1 posto degli errorz veri, glz errori statistzcz calcolatz dalle frequenze sperzmentali.
------ *
-- -
--* = --
= ~ = ? * ~ - = -=. - : & ~ - ~ ~
- --
-=
Mostriamo ora come il test del X2 possa essere esteso a tavole di contingenza di qualunque dimensione. In generale, possiamo considerare la tabella di contingenza seguente:
I
CAMPIONE
I
CAMPIONE
2
...
1 I
CANALE 7211
1
CANALE 1212
2
... ...
CANALE C wc
I
TOTALE C i n l j
...
la quale 5 composta d a T righe (i campioni in forma di istogramma) e c colonne (i canali degli istogrammi). Nel caso di un solo istogramma, il test si riduce a1 caso discusso nel par. 6.17. Come a1 solito, supponiamo di voler verificare se i campioni sono omogenei, se cioi: provengono tutti dalla stessa popolazione. Se questa ipotesi
6.18 Verifica di ipotesi con test non parametrici
235
nulla B Vera, allora ad ogni colonna della tabella potremo associare una probabiliti Vera (incognita) pj, che moltiplicata per il numero totale di elementi Cjnij = Nidi ogni campione (riga), forniri, in ogni cella, il valore vero o atteso pjNi del numero di eventi. Tenendo presente anche in questo caso i teoremi di Pearson 4.4, 4.5 ed il teorema 3.4 di additivita del x2, possiamo dire che la quantitii
segue una distribuzione di X 2 . I1 valore incognito della probabilitb si pub stirnare dai dati generalizzando la (6.121) e sommando per colonne:
dove N B il gran totale della tabella. Veniamo ora a1 calcolo dei gradi di liberti. Dal teorerna di Pearson 4.5 sappiamo che ogni riga contribuisce con ( c - 1) gradi di libertb. Tuttavia questo numero, che vale r(c - I), va diminuito di una valore pari a1 numero di relazioni (6.124) con le quali abbiamo stimato le probabilita vere. Queste ultime non sono pari a a1 numero di colonne c, ma a ( c - I ) , perch6 la probabilitb dell'ultima colonna resta determinata dalla relazione di chiusura:
Abbiarno pertanto un numero di gradi di libertb che vale:
In conclusione, per la verifica di una ipotesi Ho, con un livello di significativita S L = a prefissato (in genere a = 0.01-0.05), su uno o pi6 istogrammi raccolti in una tabella di contingenza con (i = 1,2,. . . , r ) righe e ( j = 1,2,. . . ,c ) colonne, si procede come segue: si calcola il X 2 ridotto
dove Ni sono i totali di riga, N i: il gran totale della tabella e Ijj B data dalla (6.124); si rifiuta Ho ad un livello di significativitb cw se dalla Tab. D.3 risulta
236
Capitolo 6. Statistics di base
Questo test B il pilastro della analisi statistica non parametrica delle frequenze. Si noti che, nel caso non parametrico, non si rigetta l'ipotesi quando il x2 B piccolo ed i valori di probabilitb sono alti, poich6 non va preso in considerazione il caso in cui il modello a priori di densitb contenga un numero troppo elevato di parametri. I1 test i! quindi sempre a una coda, quella di destra. Tuttavia, i! bene notare che un valore di x2 troppo piccolo, corrispondente a valori di probabilitB > 0.99 nella (6.128), indica una coincidenza sospetta tra la tabella di contingenza sperimentale e quella attesa, dovuta in genere a jluttuazioni non casuali o a correlazioni nei dati. In questi casi occorre cautela nell'accettare l'ipotesi nulla, specialmente se si B in presenza di un numero elevato di gradi di libert8. Vi raccomandiamo, a questo proposito, il problema 6.11. Potremmo evitare di usare il test X2 e ricorrere sempre a1 test gaussiano delle differenze come nel caso delle tabelle di contingenza (2 x 2)? La risposta 6 negativa e vogliamo spiegarvene il motivo. Nel caso di tavole di contingenza con pih di due dimensioni potremmo pensare di fare una somma di differenze di frequenze divise per il relativo errore, come nella (6.94). Se togliamo il valore assoluto della differenza, anche la somma di queste variabili aleatorie sar&gaussiana e potremmo eseguire il test di significativita con la Tab. D.1. Tuttavia, una somma di grandi fluttuazioni (positive e negative) potrebbe fornire un buon valore della variabile standard anche nel caso di una ipotesi grossolanamente sbagliata. Se, per evitare questo inconveniente, mantenessimo il valore assoluto nella somma delle differenze, allora non avremmo piii una variabile finale gaussiana e non potremmo pertanto eseguire il test. La variabile X2, invece, essendo una somma di quadrati di fluttuazioni, combina sempre positivamente tutte le fluttuazioni dei dati rispetto a1 valore vero ed i: pertanto pih affidabile. In linguaggio tecnico, possiamo dire che il test x2, rispetto a quello gaussiano delle differenze, minimizza l'errore di I1 tip0 (accettare una ipotesi sbagliata) e che pertanto, in base alla terminologia che introdurremo nel cap. 9, B un test piii potente. In ambito SCILAB una routine estremamente sintetica, che abbiamo chiamato per l'analisi di tabelle di contingenza t a b e l di qualsiasi dimenslone: // // // //
f u n z i o n e SCILAB p e r il c a l c o l o d e l c h i q u a d r a t o , d e l c h i quadrato r i d o t t o e d e l l i v e l l o d i s i g n i f i c a t i v i t a ' SL a p a r t i r e d a una t a b e l l a d i contingenza t a b e l Output: [contl = [chi2 ; c h i 2 r i d o t t o ; l i v e l l o SL]
f u n c t i o n [cont] =Tabcont ( t a b e l )
//
r i l e v a z i o n e dimensioni t a b e l l a
6.18 Verifica di ipotesi con test non parametrici
// //
237
gran totale GT = sum(tabe1) ; probabilita' vere stimate (matrice riga somma delle colonne)
P = sum(tabe1,'r') ./GT; //
totali per riga (matrice colonna s o m a delle righe)
T = sum(tabe1,'c'); //
creazione della tabella di contingenza attesa tabatt = T*P;
//
calcolo del chi quadrat0 cont = Chisq(tabe1, tabatt, (r-l)*(c-1))
;
endfunction
La routine sfrutta la funzione SCILAB *sum per sommare righe e colonne della tabella. P B la matrice delle probabilit&(6.124), T quella dei totali di riga N, della (6.126). I1 prodotto righe per colonne T*P 2 la tabella di contingenza attesa N&. I1 vettore di usc , che contiene i valori di x2, x 2 / v , SL, viene ottenuto con la routine descritta a pag. 228, che potete copiare dal nostro sito.
Esercizio 6.14 mi= j i ~ ~ A i o w ~ ~ ~ ~ m ~ ~ - ~ r ~ ~ , ~ ~ I n una ditta di cinghie dentate di gomma tre operatori X , Y e Z eseguono u n test uisiuo sulla bontd del prodotto. Essi possono accettare il pezzo oppure scartarlo per un difetto di tipo A o B. U n controllo ha fornito la tabella seguente:
I
I
OPERATORE OPERATORE OPERATORE TOTALE
X I Y
TIPO
A 10 20 30 60
B 54 50 35 139
TIPO
BUONO
26 50
35 111
I TOTALE 1
90 120 100 310
Stabilire se i cm'tem' di controllo dei tre operatori sono omogenei ad un liuello dell'l%. Kisposta. Utilizzando la (6.124) otteniamo le probabilitd
Queste probabilitd permettono di ottenere la tabella di contingenza attesa: OPERATORE OPERATORE OPERATORE TOTALE
X Y 19.3 60.0
44.8 139.0
35.8 111.0
310
238
Capitolo 6 . Statistica di base
Se rifate i conti, potrete trovare qualche piccola difjerenza rispetto ai valori sopra riportati a causa degli arrotondamenti. ll valore del X 2 ~iottiene dalla (6.126):
I n base alla (6.127), i gradi di libertd sono:
I1 X2 ridotto (6.126) vale pertanto:
Dalla Tab. D.3 risulta che a questo valore corrisponde u n livello di szgnixg(4)) molto pzccolo, poiche' a1 valore xL(4) = 3.71 ficativztci P{QR(4) corrisponde gici u n livello di significativitci del 5 per mille; il valore trovato dz 4.73 corrisponde danque ad u n livello ancora minore. La routz Possiamo concludere che gli opera fornisce znfatti S L = 8.3 cm'teri dzversi, poiche' l'ipotesi di omogeneitci, ad u n live110 dell'l%, va rzfiutata.
>
6.19 Stima della correlazione Quando si calcola da un insieme finito di dati (xi, yi) il coefficiente di correlazione campionario si ottiene generalmente un valore diverso da zero, anche quando le variabili sono incorrelate. Il problema B quindi, avendo ottenuto dai dati un coefficiente di correlazione r , verificare se esso B compatibile o meno con un valore nullo (verifica di ipotesi), oppure stimare l'intervallo di confidenza entro il quale i: localizzato il coefficiente di correlazione vero p (stima di un parametro). La stima campionaria del coefficiente di correlazione (4.31) per un insieme finito di N elementi richiede prima la definizione della covarianza carnpionaria S ( X ,Y) S x y . Senza perdere di generalit2 possiamo considerare una coppia di variabili centrate (a media Vera nulla), per le quali la covarianza Vera vale;
Per individuare eventuali fattori di distorsione (bias) B necessario, analogamente a quanto fatto per la varianza nella (6.47), trovare il valor medio vero della somma campionaria:
6.19 Stima della correlazione
239
the in generale avrh {Mx= ms # 0}, {My = my # 0) anche quando i valori veri delle medie sono nulli. Applicando le proprieta di linearita dell'operatore media e notando che
e cod via, abbiamo:
L'ultimo termine di questa equazione si pub scrivere come:
Ora, Xi ed Yj sono indipendenti, perch6 sono valori provenienti da eventi diversi campionati indipendentemente (ricordiamo che la correlazione esiste nella coppia (Xi, Y,),relativa alla stessa prova!). Dalla (4.9) si pub allora scrivere (X&) = (X) (Y) = 0 , poich6 per ipotesi le medie vere delle due variabili sono nulle. Dato che XU) = N (XY), la (6.130) si risolve nell'equazione:
(x
F ( X i - Mx)(Y, - MY))=(?xi+
(?Xix)
= (N-1)
(xi-) ,
i=l
(6.131) che, ricordando la (6.129), implica:
In definitiva, la covarianza campionaria nun distorta vale:
240
Capitolo 6. Statistica di base
Questo risultato mostra che tanto per la varianza che per la covarianza, se le stime sono fatte rispetto alle medie campionarie, il fattore N a1 denominatore va sostituito con N - 1. I1 coefficiente di correlazione lineare campionario assume allora la forma compatta:
S x sy
(6.134) dove nell'ultimo passaggio b stata utilizzata la (4.25). A questo valore corrisponde la variabile "coefficiente di correlazione campionario R" . Per i1 calcolo n insieme di dati grezzi, potete usare la nostra routine dove x b la matrice r x c contenente c valori di r vari ato B la (6.133) quando flag=O e la (6.134) quando f lag=i. La densit& di probabilith di R B stata trovata nel 1915 da R.A. Fisher. Questa distribuzione (dedotta anche in [22]), nel caso di N variabili gaussiane con coefficiente di correlazione vero p = 0, ha densitii di probabilita data da:
dove v = N - 2. Anche la stima del coefficiente di correlazione vero a partire dai dati campionari k un problema difficile, la cui brillante soluzione B dovuta sempre a R.A. Fisher, che nel 1921 dimostrb il teorema:
Teorema 6.3 (Variabile Z di Fisher). S e R b un coeficiente di correlazione campionario ottenuto da N coppie di variabili normali, la variabile
possiede, per N
+ oo, distribuzione normale con media e varianza date da:
essendo p il coeficiente di correlazione vero. Dimostrazione. La dimostrazione completa del teorema d piuttosto complicata e generalmente i testi rimandano all'articolo originale di Fisher oppure al suo celebre testo [37]. Tuttavia, possiamo dare u n a parziale dimostrazione del teorema considerando, come in (401, il caso in cui p = 0 ed applicando alla densitci (6.135) la trasformazione inversa della (6.136):
6.19 Stima della correlazione
241
dove tanh rappresenta la tangente iperbolica. Dato che: 11 - tanh2 x = -cosh2 x '
1 d tanh x -dx cosh2 x '
-
indicando con A tutti i coeficienti costanti della (6.135) e tenendo presente che v = N - 2, dalla uguaglianza c ( r ) d r f (2)dz, si ottiene: 1 cosh2 z
-= A
f ( z ) = A (1 - tanh2
1 coshN-2 z
'
P e r il coseno iperbolico vale lo sviluppo in serie: 1 coshz = -(eZ 2
-
+ e-")
=1
.z2 z4 +++ .. . 2! 4!
dove l'ultima approssimazione vale per z dell'ordine dell'unita. A causa della presenza del logaritmo, i valori di z si mantengono abbastanza limitati, tranne che nel caso estremo r f1. Possiamo allora, con buona approssimazione, arrestare questo sviluppo in serie a1 second0 ordine e scrivere:
Risulta dunque che la variabile Z b approssimativamente normale, con media nnlla e vam'anza Var[Z] = 1 / ( N - 2). Il risultato corretto b tuttavia 0 rappresentato dalle (6.137). In realt& il teorema & molto potente, perch6 in pratica vale per N > 10 e d& buoni risultati anche con variabili non gaussiane. Per mostrarvi le prodigiose proprieta della trasformazione di Fisher, abbiamo riportato in Fig. 6.17 l'istogramma di 50 000 coefficienti di correlazione campionari r ottenuti con 20 coppie di variabili uniformi (X, X V) dell'esercizio 4.2 e il relativo istogramma della variabile Z. Nella stima della correlazione da un insieme di dati ({R = r ) , { Z = z)) si esegue la trasformazione (6.136)' si applica la teoria della stima per variabili gaussiane ed infine si antitrasforma applicando I'esponenziale ad ambo i membri della (6.136):
+
Una formula pih semplice per I'intervallo di stima pub essere ottenuta trovando l'errore su r applicando alla (6.138) la legge di propagazione degli errori e la (6.137):
242
Capitolo 6. Statistics di base
SOO 0.4
8.2
rho
0.6
Fig. 6.17. Istogramma di 50 000 coefficienti di correlazione tra 20 coppie di variabili uniformi (X,X + V) a); corrispondente istogramma della variabile Z di Fisher e della gaussiana (curva piena) che rneglio si adatta ai dati b)
z di Fisher
e sostituendo poi il valore di z della (6.136): ST
=
1 - r"
-
Jm
da cui
p Erf
1-r2
'
- CL rr 68%.
d7C3
(6.139)
La procedura 6 chiarita negli esempi che seguono. Esercizio 6.15 Valutare la compatibilitd tra valori veri e simulati nell'esercizio 4.2 di pagina 121.
Risposta. L'esercizio si riferisce a 10000 coppie di dati simulati, per i quali si sono ottenuti i valori:
a fronte di valori veri dati da:
Trasformiamo i valori sperimentali con la (6.136) e i valori veri con la prima delle (6.137):
I valori zi sono relativi ad una variabile gaussiana di media pi e deviazione standard: 0
=
J&
=
,,I& = 0.0100 .
243
6.19 Stirna della correlazione
Tabella 6.6. Statura e perimetro toracico (in cm) di 1665 soldati italiani della prima guerra mondiale. I dati sono riportati da [lo] PERIMETRO TORACICO
-72
S T
150 154 158
3
76 1 7 7
80 7 27 69
84 2 39 118
92 1 6 21
88 2 28 87
Possiamo allora costruire le tre variabili standard:
alle quali, come si vede dalla Tab. D.l, com~spondonoelevati livelli di significativitd. I dati si scostano infatti di 1.38, 0.42 o 1.21 deviazioni standard dalla loro media, indicando u n buon accord0 tra simulazione e valori attesi. mrFaw--Tq%
=
~
~
-
m
~
~
>
~
~
~
~
~
=: *~ ~ G~~--g . r*-:~: e q~~*:= *
*
d
~
>
=
Esercizio 6.16 Determinare dai dati di Tab. 6.6 il coeficiente di correlazione altezza/torace. Risposta. La tabella, riprodotta anche i n Fig. 6.18, rappresenta u n istogramm a bidimensionale. DalEa sua strmttura si deduce facilmente l'ampiezza delle classi: ad esempio, i soldati con perimetro toracico tra 78 e 8.2 cm (valore centrale 80) e altezza tra 160 e 164 c m (valore centrale 16.2) sono i n numero di 110 e cosi via. Se ti ed si sono i valori spettrali del torace e della altezza, gli istogrammi marginali n(ti) e n ( s i ) hanno forma di tipo gaussiano, come si pub vedere facilmente dai grafici (fatelo per esercizio). Le medie e Ee deviazioni standard degli istogrammi marginali sono una stima delle corrispondenti quantitd vere delle densitci marginali delle altezze e dei perimetri del torace. Esse si possono calcolare tramite le (2.40, 2.41). Con ovvia notazione, si ottiene:
~
a
~
v
244
Capitolo 6. Statistics di base
Fig. 6.18. Istogramma bidimensionale dei dati di Tab. 6.6
Le due dispersioni st ed s, sono state calcolate dividend0 per (1665 - I ) , poiche' si sono utilizzate le medie empiriche. La stima ad l a delle medie della statura e del torace d data dalla (6.40):
Veniamo ora a110 studio della correlazione. I dati dovrebbero essere correlati, perch6 l'esperienza mostra che uomini piccoli con torace enorme, o viceversa, sono molto rari. Calcoliamo pertanto la covarianza campionaria (4.25'):
I1 coeficiente di correlazione campionarzo (6.134) vale allora:
Vi ricordiamo che, per il calcolo di sst o di r,t potete usare le routine di S C I L A B -%dk$ Stimzamo ora, con un C L = 95%, zl coeficiente di correlazione altezza/torace dei soldatz. Per przma cosa, calcoliamo la variabile Z corrzspondente alla correlazzone campionaria r = 0.266:
6.20 Problemi
245
Questa B una variabile approssimativamente gaussiana, di deviazione standard data dalla seconda delle (6.137). Poiche' i dati si riferiscono a 1665 soldati, abbiamo:
Per una variabile gaussiana, i limiti di confidenza a1 95% sono data da una variabile standard t = 1.96:
L'intervallo che abbiamo trovato contiene con C L = 95% il valore p,. L'zntervallo di conjidenza per il coeficiente di correlazione vero p si trova infine inserendo nella seconda delle (6.138) i valori (0.225,0.319):
Come si vede, dai dati risdta in mod0 certo la correlazione altezza/torace. Lo stesso risultato pub essere ottenuto in questo caso anche con la formula approssimata (6.139). Poniamoci ora la domanda: u n soldato alto sui 170 cm, che torace deve avere per essere considerato nella norma? Se assumiamo l'istogramma della tabella come campione di riferimento, possiamo rispondere alla domanda stimando dai dati, con le (4.54, 4.55), la media (sulla retta dz regressione) e la deviazione standard del torace t condizionate dalla statura s: m ( t l s ) = mt
+ r,t
St
- ( s - m,) = 85.71
+ 0.204 (170 - 163.71) -4 86.9 crn
S,
Sempre nell'ipotesz di u n modello gaussiano, posszamo dire che il perzmetro toracico del soldato, per essere nella norma, deve essere compreso, con legge 3 0 , nell'intervallo 86.9 f 4.3 cm.
6.20 Problemi 6.1. Da un'urna contenente 400 biglie rosse e nere (in proporzione sconosciuta) si estraggono 30 biglie, di cui 5 rosse. Trovare, ad un livello di confidenza del 95%, il numero iniziale di biglie rosse R contenute nell'urna nel caso di a) estrazione er grandi campioni, b) estrazione con reinserimento utilizzando l'appro con reinserimento utilizzando il codic c) estrazione senza reinserimento utilizzando I'approssimazione per gran
246
Cawitolo 6. Statistica di base
6.2. In un esperimento si sono ottenuti 20 conteggi. Trovare il limite superiore del valore atteso dei conteggi, con CL = 90%. Utilizzare I'approssimazione gaussiana della distribuzione di Poisson. 6.3. Lo scarto quadratic0 medio del peso di una popolazione adulta B a = 12 Kg. Trovare la media ( S ) e la deviazione standard u[S] per un campione di N = 200 individui. 6.4.
