519.2(07) M545
№ 3179
Составители: И.П.Фирсов, О.С. Семерий
ТАГАНРОГСКИЙ ГОСУДАРСТВЕННЫЙ РАДИОТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
Методические указания к лабораторным работам по математической статистике с применением ЭВМ. Таганрог: Изд-во ТРТУ, 2001, 66 с.
КАФЕДРА ВЫСШЕЙ МАТЕМАТИКИ
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
УДК 519.22(07.07)
Методические указания предназначены для студентов второго курса всех специальностей, изучающих математическую статистику. Целью работы является обучение студентов решению задач математической статистики с использованием математических пакетов Maple, Mathematica, Matlab и Mathcad. Указания содержат теоретические сведения, необходимые при подготовке к лабораторным работам, варианты заданий и контрольные вопросы для самопроверки, а также, примеры решения задач с помощью указанных пакетов.
МЕТОДИЧЕСКИЕ УКАЗАНИЯ к лабораторным работам по
математической статистике с применением ЭВМ для студентов II курса всех специальностей ЕГФ
Табл. 3. Библиогр.: 3 назв. Рецензент: А.А. Афонин, канд. физ.-мат. наук, доцент кафедры высшей математики ТРТУ.
ЕГФ ТАГАНРОГ 2001 2
Введение
1. Equation Section 1Метод наименьших квадратов
Статистические расчеты без помощи ЭВМ являются сложными и требуют применения многочисленных таблиц функций и квантилей стандартных распределений. Поэтому они не дают возможности почувствовать элемент новизны в изучаемом материале, изменять произвольно условия задач и т.д. Специализированные математические пакеты не могут использоваться для обучения, т.к. их использование требует достаточно высокого уровня подготовки в математической статистике. Поэтому в данных указаниях предлагается использовать универсальные математические пакеты Maple 6, Mathematica 3, Matlab 5.3 и Mathcad 7 Professional. Весь материал разбит на шесть лабораторных работ. На каждом занятии студент получает индивидуальное задание, которое выполняет самостоятельно под руководством преподавателя. В конце каждой лабораторной работы приведены варианты заданий, контрольные вопросы и примеры, демонстрирующие способы решения поставленных задач с помощью математических пакетов. Таким образом, методические указания позволяют, во-первых, интенсифицировать практическую составляющую обучения математической статистике и, во-вторых, обучить студентов навыкам использования основных универсальных математических пакетов. Преподаватель может организовать выполнение лабораторных работ следующим образом: первые три работы – на математическом пакете Maple, оставшиеся лабораторные работы – на других пакетах; либо все работы – на каком-либо одном математическом пакете. При этом, даже в последнем случае студенты получат навыки работы со всеми пакетами, так как решение задачи подробно разбирается только на одном математическом пакете, для каждой лабораторной – своём. Методические указания могут также быть использованы для проведения практики по теории вероятностей и статистике параллельно – первую на практических занятиях, а вторую на лабораторных, поскольку применение математических пакетов значительно сократит время на решение задач статистики. С этой целью в указаниях приводятся необходимые теоретические сведения по математической статистике.
Пусть на вход некоторого устройства подается сигнал x , а на выходе измеряется сигнал y . Известно, что величины x и y связаны функциональной зависимостью, но какой именно – неизвестно. Требуется приближенно определить эту функциональную зависимость y = ϕ ( x ) по опытным данными. Пусть в результате n измерений получен ряд экспериментальных точек ( xi , yi ) . Известно, что через n точек можно всегда провести кривую, аналитически выражаемую многочленом ( n − 1) -й степени. Этот многочлен называют интерполяционным. И вообще, замену функции ϕ ( x ) на функцию ψ ( x ) так, что их значения совпадают в заданных точках ϕ ( xi ) = ψ ( xi ) , i = 1, 2,..., n ,
(1.1)
называют интерполяцией. Однако такое решение проблемы не является удовлетворительным, поскольку yi ≠ ϕ ( xi ) из-за случайных ошибок измерения и влияния на измерения значений yi помех и шумов в устройстве. Так что yi = ϕ ( xi ) + δ i ,
(1.2)
где δ i – некоторая случайная ошибка. Поэтому требуется провести кривую так, чтобы она в наименьшей степени зависела от случайных ошибок. Эта задача называется сглаживанием (аппроксимацией) экспериментальной зависимости и часто решается методом наименьших квадратов. Сглаживающую кривую называют аппроксимирующей. Задача аппроксимации решается следующим образом. В декартовой прямоугольной системе координат наносят точки ( xi , yi ) . По расположению этих точек высказывается предположение о принадлежности искомой функции к определенному классу функций. Например, линейная функция ϕ ( x ) = a0 + a1 x , квадратичная ϕ ( x ) = a0 + a1 x + a2 x 2 и т.д. В общем случае ϕ ( x ) = ϕ ( x, a0 , a1 ,..., ar ) . Неизвестные параметры функции a0 , a1 ,..., ar определяются из требования минимума суммы квадратов случайных ошибок, т.е. минимума величины n
n
i =1
i =1
δ = ∑ δ i2 = ∑ ( yi − ϕ ( xi , a0 , a1 ,..., ar ) ) .
3
2
(1.3)
Величина δ называется также суммарной невязкой. Необходимым условием минимума функции нескольких переменных является обращение в нуль частных производных невязки: 4
n
∑( y i =1
i
− ϕ ( xi , a0 , a1 ,..., ar ) )
∂ϕ = 0 , j = 0,1,..., r . ∂ aj
(1.4)
Решая систему уравнений (1.4), находим неизвестные параметры a j и тем самым полностью определяем функцию, которая наилучшим образом (в смысле наименьших квадратов отклонений от исходных точек или наименьшей суммарной невязки) аппроксимирует (приближает) искомую функцию ϕ ( x ) . Остановимся подробнее на линейной зависимости ϕ ( x ) = a0 + a1 x . Дифференцируя (1.3), получим следующую систему уравнений ⎧ n ⎪∑ ( yi − a0 − a1 xi ) = 0, ⎪ i =1 (1.5) ⎨ n ⎪ ( y − a − a x ) x = 0. 0 1 i i i ⎪⎩∑ i =1 Из первого уравнения находим a0 = My − a1 Mx , где 1 n 1 n xi , My = ∑ yi . ∑ n i =1 n i =1 Подставляя выражение для a0 во второе уравнение, найдем Mx =
a1 =
Kxy , S2
(1.6)
(1.7)
где Kxy =
1 n 1 n 2 ( xi − Mx )( yi − My ) , S 2 = ∑ ( xi − Mx ) . ∑ n i =1 n i =1
(1.8)
Таким образом, Kxy ⎛ ⎞ Kxy Mx ⎟ + 2 x (1.9) S2 ⎝ ⎠ S есть искомая линейная функция. Ввиду простоты расчетов аппроксимация линейной зависимости используется довольно часто. Кроме того, многие функции, зависящие от двух параметров, можно линеаризовать путем замены переменных. Для этого необходимо подобрать такое преобразование исходной зависимости y ( x ) = ϕ ( x, a0 , a1 ) , в результате которого она приобретает
ϕ ( x ) = ⎜ My −
линейный вид v = b0 + b1 ⋅ u . Далее решается задача линейной аппроксимации для новой зависимости и вычисленные коэффициенты b0 и b1 пересчитываются в коэффициенты a0 и a1 . Для ряда часто встречающихся двухпараметрических зависимостей возможные замены переменных (а также, обратные замены для 5
пересчета b0 и b1 в a0 и a1 ) приведены в табл. 1.1. Таблица 1.1. Вид зависимости Гиперболическая a y = a0 + 1 x Логарифмическая y = a0 + a1 ln x
Замена переменных 1 x
v=y
u=
v=y
u = ln x
Показательная y = a0 ea1 x
v = ln y
Степенная y = a0 x a1
v = ln y
Комбинированная 1 y = a0 + a1e − x
Ограничения
u=x
Обратная замена переменных
x≠0
a0 = b0
a1 = b1
x>0
a0 = b0
a1 = b1
y>0
a0 = eb0
a1 = b1
a0 = eb0
a1 = b1
a0 = b0
a1 = b1
a0 > 0 x>0 y>0
u = ln x
a0 > 0 v=
1 y
y≠0
u = e− x
Следующие примеры реализуют аппроксимацию нелинейной зависимости методом наименьших квадратов с помощью универсальных математическх пакетов.
Пример 1.1 (Maple) Подготовка к работе, подключение статистических библиотек > restart: with(stats): randomize(): Размерность списков с экспериментальными точками > n:=10: Список с точками прообраза экспериментальной зависимости > X:=evalf([i $i=1..n]); X := [ 1., 2., 3., 4., 5., 6., 7., 8., 9., 10. ] Вид исходной зависимости y ( x ) > y:=x->a[0]+a[1]/x; y := x → a0 +
a1 x
Параметры зависимости y ( x ) и шума > a[0]:=2: a[1]:=-1: mu:=0: sigma:=0.1: 6
Список с точками исходной зависимости > Z:=map(y,X): Список с точками нормального шума > W:=[random[normald[mu,sigma]](n)]: Список с точками образа экспериментальной зависимости Y ( X ) > Y:=Z+W: Графики исходной y ( x ) и экспериментальной зависимости Y ( X ) > pXY:=[[X[i],Y[i]] $i=1..n]: XRange:=x=X[1]..X[n]: > arg2:=color=[blue,red],style=[point,line], symbol=circle: > pic1:=plot([pXY,y(x)],XRange,arg2,labels=[x,y]): > pic1;
Линеаризация экспериментальной зависимости Y ( X ) > f1u:=x->1/x: f1v:=y->y: > U:=map(f1u,X): V:=map(f1v,Y): График линеаризованной зависимости U (V ) > pUV:=[[U[i],V[i]] $i=1..n]: > pUZ:=[[U[i],Z[i]] $i=1..n]: > plot([pUV,pUZ],arg2,labels=['U','V']);
Вычисление вспомогательных величин > Mu:=1/n*sum(U[i],i=1..n); Μ := .2928968254 > Mv:=1/n*sum(V[i],i=1..n); Mv := 1.676928568 > Kuv:=1/n*sum((U[i]-Mu)*(V[i]-Mv),i=1..n); Kuv := -.06733231929 > S2:=1/n*sum((U[i]-Mu)^2,i=1..n); S2 := .06918822278
Вычисление параметров линеаризованной зависимости U (V ) > b[1]:=Kuv/S2: b[0]:=Mv-b[1]*Mu: Вычисление невязки для линеаризованной зависимости U (V ) > delta:=sum((V[i]-(b[0]+b[1]*U[i]))^2,i=1..n); δ := .1395645549 Обратный переход к экспериментальной зависимости Y ( X ) > ae[0]:=b[0]: ae[1]:=b[1]: Оценка исходной зависимости ϕ ( x ) > phi:=x->ae[0]+ae[1]/x: y=phi(x); .9731760202 y = 1.961968735− x Вычисление невязки для оценки исходной зависимости ϕ ( x ) > delta1:=sum((Y[i]-phi(X[i]))^2,i=1..n); δ1 := .1395645549 Проверка решения > fit[leastsquare[[x,y],y=a0+a1*1/x]]([X,Y]); .9731760203 y = 1.961968735− x Графики зависимостей Y ( X ) , y ( x ) и ϕ ( x ) > pic2:=plot(phi(x),XRange,color=black): > plots[display](pic1,pic2);
Применяем метод линейной аппроксимации к зависимости U(V) 7
8
Пример 1.2 (Mathematica)
Решение для другой предполагаемой нелинейности > phi2:=x->1/(c[1]+c[2]*exp(-x)); 1 φ2 := x → ( −x ) c1 + c2 e > f2u:=x->exp(-x): f2v:=y->1/y: Оценка исходной зависимости > psi:=rhs(fit[leastsquare[[x,y],y=b0+b1*x]]( [map(f2u,X),map(f2v,Y)])); ψ := .5359537861+ 1.566474743x
Параметры оценки исходной зависимости ϕ 2 ( x ) > c:=[coeffs(psi)]; c := [ .5359537861, 1.566474743] Вычисление невязки для оценки исходной зависимости ϕ 2 ( x ) > delta2:=sum((Y[i]-phi2(X[i]))^2,i=1..n); δ2 := .2296252509 Графики зависимостей Y ( X ) , y ( x ) и ϕ 2 ( x ) > pic3:=plot(phi2(x),XRange,color=black): > plots[display](pic1,pic3);
9
<
{Blue,PointSize[.03]}]; p2=Plot[y[x],{x,X[[1]],X[[n]]},PlotStyle->{Red}]; pic1=Show[{p1,p2}]; f1u[x_]:=1/x; f1v[y_]:=y; U=Map[f1u,X]; V=Map[f1v,Y]; pUV=Transpose[{U,V}]; pUZ=Transpose[{U,Z}]; p1=ListPlot[pUV,PlotStyle->{Blue,PointSize[.03]}]; p2=ListPlot[pUZ,PlotStyle->{Red}, PlotJoined->True]; Show[{p1,p2}]; Mu=1/n*Apply[Plus,U] Mv=1/n*Apply[Plus,V] Kuv=1/n*Apply[Plus,(U-Mu)*(V-Mv)] S2=1/n*Apply[Plus,(U-Mu)^2] b[1]=Kuv/S2; b[0]=Mv-b[1]*Mu; delta=Apply[Plus,(V-(b[0]+b[1]*U))^2] ae[0]=b[0]; ae[1]=b[1]; phi[x_]:=ae[0]+ae[1]/x; y2=phi[x] delta1=Apply[Plus,(Y-phi[X])^2] Fit[pXY,{1,1/x},x] p2=Plot[y2,{x,X[[1]],X[[n]]}]; Show[{pic1,p2}]; f2u[x_]:=Exp[-x]; f2v[y_]:=1/y; U=Map[f2u,X]; V=Map[f2v,Y]; pUV=Transpose[{U,V}]; psi=Fit[pUV,{1,x},x] c=CoefficientList[psi,x] phi2[x_]:=1/(c[[1]]+c[[2]]*Exp[-x]); y3=phi2[x] delta2=Apply[Plus,(Y-phi2[X])^2] p2=Plot[y3,{x,X[[1]],X[[n]]}]; Show[{pic1,p2}];
10
Пример 1.3 (Matlab)
Y := Z + W
n=10; X=1:10 a0=2; a1=-1; mu=0; sigma=0.1; y=inline('a0+a1*1./x','x','a0','a1'); Z=y(X,a0,a1); W=normrnd(mu,sigma,1,n); Y=Z+W; x1=X(1):0.1:X(n); y1=y(x1,a0,a1); plot(X,Y,'bo',x1,y1,'r'), pause U=1./X; V=Y; plot(U,V,'bo',U,Z,'r'), pause Mu=1/n*sum(U) Mv=1/n*sum(V) Kuv=1/n*sum((U-Mu).*(V-Mv)) S2=1/n*sum((U-Mu).^2) b1=Kuv/S2, b0=Mv-b1*Mu delta=sum((V-(b0+b1*U)).^2) ae0=b0, ae1=b1 delta1=sum((Y-y(X,ae0,ae1)).^2) y2=y(x1,ae0,ae1); plot(X,Y,'bo',x1,y1,'r',x1,y2,'k'), pause phi2=inline('1./(c1+c2*exp(-x))','x','c2','c1'); U=exp(-X); V=1./Y; c=polyfit(U,V,1) delta2=sum((Y-phi2(X,c(1),c(2))).^2) y3=phi2(x1,c(1),c(2)); plot(X,Y,'bo',x1,y1,'r',x1,y3,'k')
2.5
a := 2
a := −1
0
a 0
( i)
Z := y X
i
T
0
X = 0
1
1
2
2 3
3 4
4 5
σ := 0.1
μ := 0
1
y ( x) := a + i
X := i + 1
i := 0 .. n − 1
2
y ( x)
1
f1u( x) :=
1.5
Yi
f1v( y ) := y
x U := f1u X
1
( i)
i
0.5
5
( i)
V := f1v Y i
10
x, Xi 2.5
Mu :=
2
Zi
n
∑ Ui i
∑
1 0.5
1
Mu = 0.293 1 Mv := ⋅ V i n
1.5
Vi
i
0
0.5
1
Mv = 1.7
Ui , Ui
1
Kuv :=
S2 :=
Пример 1.4 (Mathcad) n := 10
T
Y = 0.956 1.432 1.619 1.655 1.631 1.838
b :=
1 n
⋅
⋅
∑ (Ui − Mu )⋅(Vi − Mv )
Kuv = −0.078
i
∑ (Ui − Mu )
2
S2 = 0.069
i
Kuv
1
δ :=
n
S2
b = −1.131 1
∑ ⎡⎣Vi − (b0 + b1⋅Ui)⎤⎦
2
b := Mv − b ⋅ Mu 0
1
b = 2.031 0
δ = 0.092
i
1
ae
x T
Z =
W := rnorm( n , μ , σ)
ae := b 0
1
1.5 1.667 T
1.75
0
ae := b 1
φ( x) := ae +
1
0
δ1 :=
2 ∑ (Yi − φ( Xi))
δ1 = 0.092
i
11
x
1.8 1.833 1.857
W = -0.044 -0.068 -0.047 -0.095 -0.169
12
F1( x) := ⎛⎜ 1
⎝
1
⎞ ⎟ x⎠ 1
T
linfit( X , Y , F1) =
⎛ 2.031 ⎞ ⎜ ⎟ ⎝ −1.131 ⎠
f2u( x) := exp( −x)
( (
Yi
2
1 y
T
1.5
φ( x)
1 0.5
) )
⎯⎯→ U := reverse f2u( X) ⎯⎯→ V := reverse f2v( Y)
2.5
y ( x)
f2v( y ) :=
5
10
F( x) := ( 1 x ) c := linfit( U , V, F) ⎛ 0.536 ⎞ c=⎜ ⎟ ⎝ 1.375 ⎠ 1 φ2( x) := −x c + c ⋅e 0
x, Xi , x
δ2 :=
2.5
Контрольные вопросы 1. Что такое интерполяция и аппроксимация? Чем они отличаются? 2. В чем заключается метод наименьших квадратов? 3. Являются ли необходимые условия минимизации (1.5) также и достаточными? 4. В каком случае можно линеаризовать аппроксимирующую кривую? 5. С какой целью и каким образом проводится линеаризация?
1
∑ (Yi − φ2( Xi))
Считая, что зависимость между переменными x и y имеет вид 2
i y ( x)
δ2 = 0.138
2
Yi φ2( x) 1.5
1
5
Поскольку вид зависимости первоначально неизвестен, следует проделать вычисления для всех пяти зависимостей и выбрать ту из них, которая обеспечивает наименьшую из всех вычисленных суммарную невязку δ . Эти данные заносятся в протокол выполнения работы и служат основанием для составления отчета с выводами по работе.
10
x, Xi , x
y = β 0 + β1 x + β 2 x 2 , в задачах 6 и 7 найти оценки параметров по следующим выборкам (Задачи № 7.1 и 7.4 гл.15 [2]). 6. x 0 2 4 6 8 10 y 5 -1 -0,5 1,5 4,5 8,5 7. x -2 -1 0 1 2 y 4,8 0,4 -3,4 0,8 3,2
В задачах 8 и 9 найти оценки параметров β 0 и β1 , считая, что зависимость между переменными
Задание В табл. 1.2 (см. ниже) приведены экспериментально полученные точки, определяющие зависимость между переменными x и y по одной из пяти функций, приведенных в табл. 1.1. Необходимо на одном из математических пакетов реализовать линеаризацию зависимости, подобрать параметры a0 и a1 по методу наименьших квадратов и проверить правильность вычислений с помощью известной зависимости (см. примеры 1.1-1.4). Правильно составленный документ будет давать пренебрежимо малую невязку в том случае, когда значения Y вычисляются точно по заданной зависимости (ошибки будут возникать только за счет округлений при вычислении). 13
(Задачи № 7.5 и 7.6 гл.15 [2]). 8. x 2 y 8 9. x 5,67 4,45 y 6,8 8,5
x
4 5,25 3,84 10,5
14
и
y
имеет вид
y = β0 +
6 3,50
12 3,25
3,74 10,2
3,73 6,8
2,18 11,8
β1 x
1 2 3 4 5
х -1 у -6,78 х 0,01 у 34,23 х -2 у 16 х 0,3 у 15,33
-0,55 -0,1 -,35 0,8 1,25 1,7 -6,56 -6,14 -5,31 -3,68 -0,85 5,81 0,56 5,97
1,11 1,28
Таблица 1.2 2,15 2,6 3,05 18,15 42,4 90,03
1,66 2,21 2,28 3,3 3,85 4,4 4,95 -1,54 -3,54 -5,09 -6,36 -7,44 -8,37 -9,2
-1,6 -1,2 10,24 5,76
-0,8 2,56
-0,4 0,53
0 0
0,4 0,64
0,8 2,56
1,2 5,76
1,57 4,55
4,11 2,97
5,38 2,74
6,65 2,6
7,92 2,59
9,19 2,44
10,46 11,73 2,38 2,34
-0,95 -0,1 0,12 0,19
0,75 0,2
1,6 0,29
2,45 0,31
3,3 4,15 0,325 0,33
4,86 0,74
5,65 1,3
6,43 1,58
2,84 3,41
1,6 10,24
х -3,5 у 0,01 х 0,15 у -9,69
-2,65 -1,8 0,03 0,07 0,94 -4,2
1,72 2,51 3,29 4,08 -2,37 -1,25 -0,43 0,21
х 0,35 у 6,86 х -1 у 4,14
0,82 5,23
1,28 4,78
1,75 4,57
2,21 4,45
2,675 3,14 4,37 4,35
3,605 4,07 4,28 4,25
4,535 4,22
-0,8 4,2
-0,6 4,3
-0,4 4,45
-0,2 4,67
0,0 5
0,4 6,85
0,8 8,95
х 2 у 2,67 10 х -5 у 0,01
2,3 4,06
2,6 6,16
2,9 8,13
3,2 3,5 3,8 4,1 4,4 4,7 10,92 14,29 18,29 22,97 28,39 34,6
-4 0,02
-3 0,05
-2 0,11
-1 0,21
0 0,38
1 0,42
2 0,47
3 0,49
4 0,5
11 х у 12 х у 13 х у 14 х у 15 х у
1,21 3,39
1,47 2,19
1,74 1,34
2,0 0,88
2,26 0,61
2,52 0,54
2,78 0,33
3,05 0,28
3,31 0,19
0,35 0,82 16,99 8,83
1,28 6,61
1,75 5,56
2,21 4,96
2,68 4,62
3,14 4,29
3,61 4,09
4,07 3,93
4,535 3,8
-1,7 -1,43 -1,16 -0,89 -0,62 -0,35 -0,08 0,19 0,46 26,96 14,46 7,17 2,92 0,45 -0,98 -1,35 -2,31 -2,6
0,73 -2,77
-5 0
-3,5 0,01
-2 0,06
-0,5 0,28
1 0,87
2,5 2,05
4 2,92
5,5 3,23
7 3,31
8,5 3,33
-2 6,8
-1,4 3,33
-0,8 1,09
-0,2 0,02
0,4 0,27
1,0 1,7
1,6 4,35
2,2 8,23
2,8 3,4 13,33 19,65
6 7 8 9
0,95 8,16
15
0,2 5,49
0,6 7,32
7,22 1,93
16 х у 17 х у 18 х у 19 х у 20 х у 21 х у 22 х у 23 х у 24 х у 25 х у 26 х у 27 х у 28 х у 29 х у 30 х у
0,4 0,86 1,32 -20,5 -11,2 -8,3
1,78 2,24 -6,93 -6,5
Табл. 1.2 (продолжение) 2,7 3,16 3,62 4,08 4,54 -5,59 -5,3 -4,93 -4,83 -4,54
0,01 0,51 -1,14 2,39
1,52 3,37
2,51 3,83
1,01 3,01
2,01 3,63
3,0 3,99
3,05 4,13
-5 0
-3,91 -2,82 -1,73 -0,64 0,45 1,54 -0,01 -0,01 -0,03 -0,07 -0,18 -0,2
-2,1 0,28
-1,79 -1,48 -1,17 -0,86 -0,55 -0,24 0,07 0,29 0,3 0,32 0,36 0,48 0,78 1,52
0,01 0,53 15,22 3,31
1,05 1,26
0 0,3
0,8 1,2 11,37 14,5
0,4 7,5
1,57 0,05
4,0 4,25
4,5 4,35
2,63 3,72 4,81 -0,23 -0,24 -0,25 0,38 3,41
0,69 8,21
2,09 2,61 3,12 3,64 4,16 4,68 -0,81 -1,74 -2,17 -2,48 -2,88 -3,23 1,6 2,0 17,24 19,9
2,4 2,8 3,2 3,6 21,98 24,11 26,12 28,04
-4 -3,01 -2,02 -1,03 -0,04 0,95 1,94 2,93 3,92 4,91 -0,02 -0,05 -0,12 -0,26 -0,49 -0,72 -0,87 -0,94 -0,98 -0,99 0,4 1,8
0,81 0,53
1,22 0,12
1,5 2,04 2,45 2,86 3,27 3,68 4,09 -0,09 -0,21 -0,31 -0,35 -0,39 -0,43 -0,46
-1 -0,72 -0,44 -0,17 0,12 -4,95 -4,89 -4,74 -4,39 -3,6
0,39 0,67 -1,93 2,42
0,95 1,22 1,5 12,08 34,33 85,55
0,01 0,51 -4,76 2,29
2,51 5,06
3,51 5,76
1,01 3,52
1,51 4,24
2,01 4,76
3,01 5,48
4,01 6,0
4,51 6,21
-5 -3,95 -2,9 -0,01 -0,03 -0,8
-1,85 -0,8 0,25 1,3 2,35 3,4 4,45 -0,2 -0,49 -0,96 -1,45 -1,76 -1,91 -1,97
0,5 2,41
1,4 3,32
3,2 4,3
0,11 6,27
0,499 0,89 0,6 -0,1
0,01 8,82
0,59 1,17 1,75 2,33 2,91 -3,41 -5,93 -6,67 -7,53 -8,2
2,3 4,1
4,1 4,64
5,0 4,94
5,9 5,0
6,8 5,43
7,7 5,64
8,6 5,84
1,28 1,67 2,055 2,44 2,83 3,22 3,61 -0,37 -0,52 -0,61 -0,67 -0,69 -0,75 -0,78 3,48 4,06 4,64 5,22 -8,74 -9,15 -9,61 -9,96
-2 -1,62 -1,24 -0,87 -0,49 -0,11 0,27 37,63 19,33 10,19 5,55 3,21 2,02 1,64
16
0,65 1,11
1,02 0,96
1,4 0,88
2. Equation Section (Next)Оценка функции и плотности распределения случайной величины Различают дискретные и непрерывные случайные величины. Например, число попаданий в цель при n выстрелах есть дискретная случайная величина ξ . Ее возможные значения 0,1, 2,K , n . Ошибка при измерении тока или напряжения – пример непрерывной случайной величины. Совокупность всех возможных значений xi дискретной случайной величины и соответствующих вероятностей pi = p (ξ = xi ) на-
зывают рядом распределения. Как дискретная, так и непрерывная случайные величины могут быть заданы функцией распределения F ( x ) = p (ξ < x ) . (2.1) Функция F ( x ) монотонно возрастает на всей числовой оси, причем F ( −∞ ) = 0 , F ( +∞ ) = 1 . Плотностью распределения случайной вели-
чины ξ называют функцию f ( x) = F ′( x) .
(2.2)
Если плотность распределения определяется формулой ⎛ ( x − μ )2 ⎞ 1 ⎟, (2.3) f ( x) = exp ⎜ − 2 ⎜ ⎟ σ 2 2πσ 2 ⎝ ⎠ то говорят, что случайная величина ξ распределена по нормальному Можно доказать, что случайная величина n
(2.4)
i =1
где ξi – независимые случайные величины, распределенные по нор-
мальному закону N ( 0,1) , распределена по закону Пирсона (или по за-
кону χ 2 ) с n степенями свободы. Ее плотность распределения задается формулой −1
∞ ⎛ n ⎛ n ⎞ ⎞ n−2 − x f ( x ) = ⎜ 2 2 Γ ⎜ ⎟ ⎟ x 2 e 2 , Γ ( u ) = ∫ e− x xu −1dx , (2.5) ⎝ 2 ⎠⎠ ⎝ 0 где Γ ( u ) – гамма-функция; a Γ ( u + 1) = uΓ ( u ) – основное ее свойство.
17
ξ n χ n2
, где ξ – случайная величина, рас-
пределенная по нормальному закону N ( 0,1) , а χ n2 – случайная величина, распределенная по закону Пирсона, будет распределена по закону Стьюдента с n степенями свободы. Ее плотность распределения задается формулой ⎛ n +1⎞ n +1 Γ⎜ − ⎟ 2 ⎠ ⎛ t2 ⎞ 2 ⎝ . (2.6) f (t ) = ⎜1 + ⎟ n⎠ ⎛n⎞ ⎝ Γ⎜ ⎟ π n ⎝ 2⎠ Можно отметить, что распределения χ n2 и Стьюдента стремятся к нормальному распределению при n → ∞ . Если закон распределения случайной величины ξ неизвестен, то его можно приближенно определить (оценить) опытным путем. С этой целью над величиной ξ проводят ряд независимых испытаний (измерений). Вся мыслимая (бесконечная) совокупность этих измерений называется генеральной совокупностью, а каждый конкретный ряд измерений ( x1 , x2 ,..., xn ) называют простой случайной выборкой. Если повторить измерения той же случайной величины ξ , то в силу наличия случайных ошибок мы получим несколько другие значения ( x1′, x2′ ,..., xn′ ) . Поэтому сами измерения нужно рассматривать как случайные величины, распределенные по одному и тому же закону, совпадающему с законом распределения случайной величины ξ . Функцию
закону N ( μ , σ ) , где μ и σ – некоторые параметры.
χ n2 = ∑ ξ i2 ,
Случайная величина tn =
распределения F ( x ) случайной величины ξ
называют функцией
распределения генеральной совокупности. Если простую выборку упорядочить по возрастанию, то ее называют вариационным рядом. Если для каждого неповторяющегося элемента вариационного ряда xi указать относительную частоту его mi , то такой вариационный ряд называют статистиn ческим рядом распределения случайной величины ξ . Здесь mi – число повторений xi (абсолютная частота появления элемента), а n – общее число измерений, или объем выборки. Имея вариационный ряд, легко построить эмпирическую (статистическую) функцию распределения
появления pi∗ =
18
mx . (2.7) n Здесь mx – число членов вариационного ряда, лежащих левее от x , Fn ( x ) =
а m x n – частота попадания выборочного значения левее x ; F n ( x ) – ступенчатая неубывающая функция, заданная на всей числовой оси, со скачками в точках xi . Величина скачка равна частоте pi∗ . Поскольку n
сумма абсолютных частот ∑ mi = n , то сумма относительных частот i =1
p
n
∗ ∑ pi = 1 . Можно доказать, что Fn ( x ) → F ( x ) при n → ∞ . Отсюда ясно,
i =1
что эмпирическую функцию распределения можно использовать как оценку теоретической функции распределения F ( x ) . Последовательность случайных величин ξ n называют сходящейся к ξ по вероятности (пишут
ξ
p
n
→ ξ ), если для всякого ε > 0 lim p ( ξ n − ξ > ε ) = 0 .
распределения и гистограмма) являются непараметрическими оценками функции и плотности распределения. Чтобы получить приближенные аналитические выражения для этих функций, их сглаживают. Для этого предполагают, что вид функции известен, но не известны параметры, входящие в функции. Таким образом, задача сводится к нахождению параметров. Это уже параметрический способ оценки закона распределения. Существуют различные методы оценки неизвестных параметров. В данной работе мы воспользуемся методом наименьших квадратов (см. работу 1). Следующие примеры демонстрирют методы оценки функции и плотности распределений. В первой части примеров показана обработки выборки небольшого объема. Элементы выборки задаются вручную. Затем получается вариационный ряд для введенной выборки. Далее рассматривается анализ выборки большой объем. Для получения значений непрерывной случайной величины с заданной функцией распределения F ( x ) применяется метод обратных функций. F ( x)
n →∞
При большом объеме выборки вычисления становятся громоздкими и, с целью упрощения вычислений, элементы выборки объединяют в группы (разряды). Для этого интервал, содержащий все множество элементов выборки, разбивают на k непересекающихся интервалов. При этом правый конец каждого интервала исключают из соответствующего множества, а левый включают. Ради простоты интервалы обычно выбирают одинаковой длины h = R k , где R = xmax − xmin – размах выборки. Если mi – число элементов выборки в i -м разряде, то mi n – его частота. Совокупность разрядов или их середин и соответствующих частот называют группированным статистическим рядом. Геометрически его изображают в виде группированной статистической функции распределения или в виде гистограммы. Гистограмма строится следующим образом. По оси абсцисс откладывают интервалы и над каждым интервалом, как на основании, строят прямоугольник, высота которого равна m значению плотности распределения для данного интервала i h . Таким n образом, площадь каждого прямоугольника гистограммы равна его частоте, а общая площадь равна единице. С увеличением объема выборки n и уменьшением длины интервала гистограмма будет стремиться к кривой плотности распределения f ( x ) , поэтому гистограмму используют в качестве оценки для плотности распределения. Построенные ступенчатые функции (статистическая функция 19
1 r
x xr
Идею метода обратных функций можно пояснить с помощью рис. 2.1. Пусть дана непрерывная случайная ξ , имеющая функцию величина распределения
F ( x) .
Так
0 ≤ F ( x ) ≤ 1 , то величину
Рис. 2.1
как
r = F ( x)
можно рассматривать как случайную величину, равномерно распределенную на отрезке [ 0,1] (см. рис. 2.1).
Зафиксируем некоторое значение r , тогда ему будет соответствовать значение xr = F −1 ( r ) , где F −1 ( r ) – функция, обратная F ( x ) . Величина xr будет распределена по закону, определяемому функцией F ( x ) .
Таким образом, для получения значений случайной величины, распределенной по заданному закону, необходимо найти функцию, обратную F ( x ) , и получаемые равномерно распределенные случайные числа пересчитывать с помощью обратной функции F −1 ( r ) . Например, для показательного закона распределения с F ( x ) = 1 − eα x пересчет выполняется с помощью обратной функции по формуле x = (или x =
1
α
ln ( r ) ).
20
1
α
ln (1 − r )
В лабораторной работе закон распределения задается функцией арктангенса с параметрами a0 и a1 : 1
1 F ( x ) = arctg ( a0 + a1 x ) + , (2.8) π 2 Значения параметров задаются преподавателем. Следующие разделы примеров показывают, как по заданной выборке вычисляются эмпирические характеристики исследуемой случайной величины. Результатом вычислений примеров являются таблицы значений эмпирической функции распределения Fg и середин разрядов xs . По этим данным необходимо решить задачу методом наименьших квадратов для двухпараметрической функции (2.8). В случае, когда задачи получения и обработки выборки и аппроксимации функции распределения решены правильно, полученные при аппроксимации значения оценок параметров a%0 и a%1 будут близки к значениям параметров, заданных при получении выборки, что легко проверить.
m := [ 5, 2, 2, 1 ]
Относительные частоты > p:=evalf(m/n,1);
p := [ .5, .2, .2, .1 ]
Статистический ряд для исходной выборки > 'X'=X,'p'=p; X = [ 10, 12, 20, 30 ], p = [ .5, .2, .2, .1 ] > xp:=evalf(scaleweight[1./n](xm),1); xp := [ Weight( 10, .5 ), Weight( 12, .2 ), Weight( 20, .2 ), Weight( 30, .1 ) ]
Статистическая функция распределения > F:=y->sum(p[i]*Heaviside(y-X[i]),i=1..k); F := y →
k
∑ pi Heaviside( y − Xi )
i=1
График статистической функции распределения > plot(F,X[1]-1..X[k]+1,0..1,labels=['X','F']);
Пример 2.1 (Maple) Часть 1. Обработка выборки малого объёма > restart: with(stats): with(transform): randomize(): Исходная выборка > x:=[10,10,10,30,20,12,10,12,20,10]: Объём выборки > n:=nops(x): Вариационный ряд для исходной выборки > Y:=sort(x); Y := [ 10, 10, 10, 10, 10, 12, 12, 20, 20, 30 ] Построение статистического ряда для исходной выборки Группировка повторяющихся элементов > xm:=tally(Y); xm := [ Weight( 10, 5 ), Weight( 12, 2 ), Weight( 20, 2 ), 30 ] Неповторяющиеся элементы > X:=statvalue(xm); X := [ 10, 12, 20, 30 ] Количество неповторяющихся элементов > k:=nops(X): Абсолютные частоты для элементов вектора X > m:=frequency(xm); 21
Часть 2. Обработка выборки большого объёма с группировкой Объём выборки > n:=500: Заданная функция распределения > f:=x->arctan(a[0]+a[1]*x)/Pi+0.5; arctan( a 0 + a1 x ) f := x → + .5 π Плотность распределения > df0:=diff(f(y),y): df:=unapply(df0,y); a1 df := y → 2 ( 1 + ( a0 + a1 y ) ) π Обратная функция распределения 22
> g0:=solve(f(y)=z,y): g:=unapply(g0,z); a0 + cot( 3.141592654z ) g := z → −1. a1
Параметры закона распределения > a[0]:=0: a[1]:=10: Равномерно распределённые случайные числа > eps:=1e-2: Y:=[random[uniform[0+eps,1-eps]](n)]: Числа, распределённые по закону арктангенса > X:=map(g,Y): Вариационный ряд > Y:=sort(X): Число разрядов для группировки > k:=10: Размаха выборки > R:=Y[n]-Y[1]; R := 5.183944585 Длина разряда > h:=R/k;
Относительные частоты > p:=evalf(frequency(xp),3); p := [ .00600, .00200, .0200, .0260, .496, .402, .0300, .0100, .00200, .00600] Группированная статистическая функция распределения > F:=x->sum(p[i]*Heaviside(x-xr[i]),i=1..k): > plot([F,f],Y[1]..Y[n],0..1,labels=['Y','F']);
h := .5183944585
Границы разрядов > xr:=[Y[1]+i*h $i=0..k]: xr[k+1]:=xr[k+1]+1e-4: Интервалы разрядов > xrr:=[(xr[i]..xr[i+1]) $i=1..k]: Середины разрядов > xs:=evalf([xr[i]+0.5*h $i=1..k],3); xs := [ -2.33, -1.81, -1.29, -.771, -.254, .265, .783, 1.30, 1.82, 2.34 ] Группированный статистический ряд > xp:=scaleweight[1/n](statsort(tallyinto(Y,xrr))): Гистограмма > pic2:=statplots[histogram](xp): > plots[display](plot(df,Y[1]..Y[n]),pic2);
Оценка параметров закона распределения Накопленные частоты > Fg:=evalf(cumulativefrequency(xp),3); Fg := [ .00600, .00800, .0280, .0540, .550, .952, .982, .992, .994, 1. ] Линеаризация > yg:=evalf(map(y->tan((y-0.5)*Pi*(1-2*eps)),Fg)): Оценка параметров методом наименьших квадратов > fit[leastsquare[[y,z]]]([xs,yg]); z = 3.495959435+ 10.72620093y
Пример 2.2 (Mathematica)
23
<
x={10,10,10,30,20,12,10,12,20,10}; n=Length[x]; Y=Sort[x]; xm=Frequencies[Y]; X=Column[xm,2] k=Length[X]; m=Column[xm,1]; p=N[m/n] xp=Transpose[{N[Column[xm,1]/n],Column[xm,2]}] f[y_]:=Sum[p[[i]]*UnitStep[y-X[[i]]],{i,k}]; Plot[f[y],{y,X[[1]]-1,X[[k]]+1}]; n=500; a0=0; a1=10; eps=0.01; f[x_]:=ArcTan[a0+a1*x]/Pi+0.5; df=D[f[y],y]; g[z_]:=-( a0+Cot[Pi* z])/a1; Y=RandomArray[UniformDistribution[0+eps,1-eps],n]; X=Map[g,Y]; Y=Sort[X]; k=10; R=Y[[n]]-Y[[1]]; h=R/k xr=Table[Y[[1]]+i*h,{i,0,k}] xs=Table[Y[[1]]+(i-1/2)*h,{i,k}] m=BinCounts[Y,{Y[[1]],Y[[n]],h}]; m[[1]]+=1; m p=N[m/n] p1=BarChart[Transpose[{p,xs}],BarStyle->{Blue}]; p2=Plot[df,{y,Y[[1]],Y[[n]]},PlotStyle->{Red}]; pic1=Show[{p1,p2}]; F[y_]:=Sum[p[[i]]*UnitStep[y-xr[[i]]],{i,k}]; Plot[{F[y],f[y]},{y,Y[[1]],Y[[n]]}, PlotStyle->{Red,Green}]; Fg=CumulativeSums[p] ygf[y_]:=Tan[(y-0.5)*Pi*(1-2*eps)]; yg=Map[ygf,Fg]; pXY=Transpose[{xs,yg}]; psi=Fit[pXY,{1,y},y]
x1=Y(1):0.1:Y(n); y1=df(x1,a0,a1); plot(x1,y1,'r'), hold off, pause Fg=cumsum(p); stairs(xr,Fg), hold on y2=f(x1,a0,a1); plot(x1,y2,'r'), hold off, pause yg=tan((Fg-0.5)*pi*(1-2*eps)), c=polyfit(xs,yg,1)
Пример 2.4 (Mathcad) T
x := ( 10 10 10 30 20 12 10 12 20 10 ) Y := sort ( x)
Y = 10 10 10 10 10 12 12 20 20 30 T
X := ( 10 12 20 30 )
m := i
n := length ( x)
T
∑ if(xj
k := length ( X)
)
m = (5 2 2 1)
X , 1, 0 i
i := 0 .. k − 1
T
j := 0 .. n − 1
p :=
j
F( x) :=
∑ pi⋅Φ (x − Xi)
m n
T
X = ( 10 12 20 30 )
i T
p = ( 0.5 0.2 0.2 0.1 )
1
F( y ) 0.5
Пример 2.3 (Matlab) x=[10,10,10,30,20,12,10,12,20,10]; n=length(x); Y=sort(x), X=[10,12,20,30], k=length(X); m=[0,0,0,0]; for i=1:k, for j=1:n, if Y(j)==X(i), m(i)=m(i)+1; end end, end m, p=m/n, f=cumsum(p), stairs(X,f) n=500; a0=0; a1=10; eps=1e-2; f=inline('atan(a0+a1*x)/pi+0.5','x','a0','a1'); df=inline('a1./((1+(a0+a1*x).^2)*pi)',... 'x','a0','a1'); g=inline('-(cot(pi*x)+a0)/a1','x','a0','a1'); Y=unifrnd(0+eps,1-eps,1,n); X=g(Y,a0,a1); Y=sort(X); k=10; R=Y(n)-Y(1), h=R/k, i=0:k-1; xr=Y(1)+i*h, [m,xs]=hist(Y,k), p=m/n, F=p/h bar(xs,F,'histc'), hold on
25
10
20
30
y
n := 500 f ( x) :=
1 π
j := 0 .. n − 1
(0
d f ( x) dx Y := sort ( X) df ( x) :=
)
⋅ atan a + a ⋅ x + 1
0
1
g ( x) := −
2
k := 10 i := 0 .. k − 1
n− 1
−Y
h :=
0
R k
R = 5.484 h = 0.548
26
1
cot ( π⋅ x) + a
Y := runif ( n , 0 + ε , 1 − ε) R := Y
−2
ε := 10
a := 0 a := 10
a
0
1
( j)
X := g Y j
xr := Y 0
xr
i+ 1
0
m := hist ( xr, Y) p :=
m n
F :=
m =
p
Fg := p 0
h
xr := xr + 10
i
T
5
xr
−4
:= xr + h
k
5
5
k
9
i+ 1
i
59 391
j := 1 .. k − 1
0
xs := 16
j
j− 1
i
2
4
Fg := Fg
+ xr
2
+p
4
j
1 Fi
Fgi
1
df ( y )
0.5
f(y)
2
0
2
2
0
xri , y
T
0.09
0.63
1.18
T
Fg = 0.01 0.02 0.03 0.05 0.17 0.95 0.98 0.99 0.99 g2( x) := tan ⎡⎣( x − 0.5) ⋅ π⋅ ( 1 − 2⋅ ε)⎤⎦ T
Контрольные вопросы
xri , y
xs = -2.66 -2.11 -1.56 -1.01 -0.46
F1( x) := ( 1 x )
2
c := linfit( xs , yg , F1)
( i)
1.73
2.28
1
yg := g2 Fg i
и значения середин разрядов. Эти данные являются исходными для оценки параметров функции распределения по методу наименьших квадратов (подобно тому, как это делалось в работе 1). 3. Аппроксимировать группированную статистическую функцию распределения известной функцией (2.8), используя ранее разработанный документ из работы 1 для решения задачи аппроксимации методом наименьших квадратов с линеаризацией. Формулы для линеаризации зависимости (2.8) вывести самостоятельно. 4. Вычисления повторить для разных объемов исходной выборки N=100, 500 и 1000. Исследовать влияние количества разрядов группировки на получаемые значения параметров функции распределения для объема выборки 1000. 5. Сравнить полученные по методу наименьших квадратов значения оценок параметров a%0 и a%1 с заданными преподавателем и сделать выводы о правильности проделанной работы.
T
c = ( 1.753 9.944)
Задание 1. Изучив теоретическое введение и примеры 2.1-2.4, разработать собственный документ , решающий следующие задачи : • получение выборки случайных чисел заданного объема с заданным законом распределения (2.8) с помощью метода обратных функций для заданный преподавателем значений параметров закона распределения a0 и a1 ; • получение вариационного ряда для негруппированной выборки; • вычисление размаха выборки; • группировка выборки; • построение статистической функции распределения Fn ( x ) для
группированной выборки с разным количеством разрядов; • оценка плотности распределения для группированной выборки. 2. Результатом работы документа должны быть массивы, содержащие значения группированной статистической функции распределения 27
1. Дайте определение генеральной совокупности, выборки, размаха выборки и объема выборки. 2. Что мы называем вариационным и статистическим рядом, функцией распределения и статистической функцией распределения? 3. Какими свойствами обладает статистическая функция распределения? 4. Дайте определение группированного статистического ряда. Как строится гистограмма? 5. Дать определение сходимости по вероятности. 6. Что такое гамма-функция? 7. Записать формулы плотности распределения для нормального, χ 2 и распределения Стьюдента. Для каждой из приведённых ниже выборок определить размах, а также построить вариационный и статистический ряды (Задачи № 1.1-1.3 гл.15 [2]). 8. 3, 8, 1, 3, 6, 5, 2, 2, 7. 9. 11, 15, 12, 0, 16, 19, 6, 11, 12, 13, 16, 8, 9, 14, 5, 11, 3. 10. 17, 18, 16, 16, 17, 18, 19, 17, 15, 17, 19, 18, 16, 16, 18, 18. 11. Решить задачи №1.4–1.15, гл. 15[2].
28
3. Equation Section (Next)Точечная оценка числовых характеристик. Методы оценок параметров Наиболее часто применяемыми числовыми характеристиками случайной величины ξ являются начальные и центральные моменты различного порядка. Для дискретной случайной величины моменты порядка k определяются следующими формулами: n
n
i =1
i =1
α k = ∑ xik pi , μ k = ∑ ( xi − mξ ) pi , k
(3.1)
для непрерывной случайной величины ξ :
αk =
∞
∫
−∞
x k f ( x ) dx , μ k =
∞
∫ ( x − mξ ) f ( x ) dx . k
−∞
Чаще всего используется первый начальный момент α1 = mξ , называемый математическим ожиданием случайной величины ξ , и второй центральный момент μ 2 = Dξ , называемый дисперсией. Матожидание – это среднее значение случайной величины, его называют еще центром распределения, дисперсия характеризует разброс случайной величины относительно центра распределения. Часто вместо дисперсии используют среднее квадратичное отклонение σ ξ = Dξ . Если закон распределения случайной величины неизвестен, то мы не сможем вычислить числовые характеристики. В этом случае их заменяют оценками, полученными как функции выборки x = ( x1 , x2 ,..., xn ) . Всякую функцию tn ( x ) от выборки называют статистикой. Подходящую статистику используют в качестве оценки числовой характеристики. Чаще всего оценками начальных и центральных моментов служат соответствующие выборочные начальные и центральные моменты 1 n 1 n k ak = ∑ xik , mk = ∑ ( xi − Mx ) . (3.2) n i =1 n i =1 Таким образом, оценкой математического ожидания служит выбо1 n рочное среднее Mx = ∑ xi , но в качестве оценки можно взять и, наn i =1 пример, величину 0,5 ⋅ ( xmax + xmin ) и другие величины.
Чтобы иметь практическую ценность, оценка некоторого параметра
θ должна удовлетворять следующим требованиям: 29
1. Оценка tn ( x ) должна приближаться к оцениваемому параметру θ по мере увеличения объема выборки. Если оценка стремится по вероятности к оцениваемому параметру, то она называется состоятельной. 2. Оценка не должна содержать систематической ошибки. Это означает, что ее математическое ожидание должно совпадать с оцениваемым параметром θ , т.е. M ⎡⎣tn ( x ) ⎤⎦ = θ . Такая оценка называется несмещенной. 3. Из всех состоятельных и несмещенных оценок предпочтительнее та, которая имеет наименьшую дисперсию. Такая оценка называется эффективной. Например, среднее выборочное Mx является состоятельной оценкой математического ожидания, а 0,5 ⋅ ( xmax + xmin ) – несостоятельной. Второй выборочный центральный момент 1 n 2 m2 = S 2 = ∑ ( xi − Mx ) (3.3) n i =1 является состоятельной оценкой дисперсии, но эта оценка смещенная. Несмещенными являются оценки n n 2 1 1 2 2 S% 2 = x − Mx S = xi − mξ ) . (3.4) и ( ) ( ∑ ∑ ∗ i ( n − 1) i =1 ( n − 1) i =1 Если случайная величина распределена по нормальному закону, то оценка S*2 является и эффективной. Пусть закон распределения известен, но зависит от одного или нескольких неизвестных параметров. Например, f ( x,θ ) – известная плотность распределения, а θ = (θ 1,θ 2,..,θ s ) – неизвестный параметр. Требуется по выборке x = ( x1 , x2 ,.., xn ) оценить параметр θ . Существует несколько методов оценки параметра θ . Мы рассмотрим два из них – метод моментов и метод функции правдоподобия. Метод моментов заключается в том, что теоретический момент k го порядка α k = α k (θ ) приравнивают к соответствующему выборочному моменту α k . Из полученного уравнения α k (θ ) = α k находят неизвестный параметр θ . Например, случайная величина ξ (время безотказной работы радиоаппаратуры) распределена по экспоненциальному закону 1 −t (3.5) f (t ) = e T , t ≥ 0 , T 30
где T – неизвестный параметр. Оценим его по методу моментов. Для этого найдем первый начальный момент ∞ ∞ t − 1 α1 = ∫ tf ( t ) dt = ∫ te Τ dt = Τ . Τ0 −∞ Так как первый выборочный момент равен Mx , то из равенства α1 = a1 получим T = Mx . Таким образом, оценкой неизвестного параметра T , найденной по методу моментов, является среднее выборочное Mx . Пусть L ( u ,θ ) – плотность распределения выборочного вектора x = ( x1 , x2 ,.., xn ) , θ = (θ 1,θ 2,..,θ s ) – неизвестный параметр. L ( u ,θ ) –
и случайного функция двух аргументов, неслучайного θ x = ( x1 , x2 ,.., xn ) , называется функцией правдоподобия. Так как L ( u ,θ ) – плотность распределения, то оценка параметра θ , доставляющая максимум функции правдоподобия, является наиболее вероятной. Отсюда ∂ L ( x, θ ) ∂ = 0 или ⎡ln L ( x,θ ) ⎤⎦ = 0 (3.6) ∂θ ⎣ ∂θ есть необходимые условия существования максимума. Оценка, полученная из условий (3.6), называется оценкой наибольшего правдоподобия. Пусть x = ( x1 , x2 ,.., xn ) – случайная выборка из генеральной совокупности, распределенной по нормальному закону f ( x,θ ) =
где θ = ( μ , σ )
1
−
( x − μ )2 2σ 2
, (3.7) 2πσ – неизвестный параметр. Запишем функцию правдопо2
e
добия. Так как xi – независимые случайные величины, распределенные по тому же закону, а плотность распределения вектора равна произведению плотностей составляющих вектора, то функция правдоподобия будет следующей: n 1 ⎡ 1 n 2⎤ exp L ( x,θ ) = ∏ f ( xi ,θ ) = (3.8) ⎢ − 2σ 2 ∑ ( xi − μ ) ⎥ . n i =1 ⎣ ⎦ i =1 2 2 (2πσ ) Пусть ξ – дискретная случайная величина, закон распределения которой зависит от неизвестного параметра p (ξ = xi ) = pi (θ ) . Будем рассматривать выборку x = ( x1 , x2 ,.., xn ) как реализацию того, что случайная величина приняла последовательно значения x1 , x2 ,.., xn . Веро-
31
ятность этого равна произведению вероятностей. Следовательно, функция правдоподобия будет n
L ( x,θ ) = ∏ P ( xi ,θ ) .
(3.9)
i =1
Например, для дискретной случайной величины, распределенной по закону Пуассона pk = p (ξ = k ) =
μk
e− μ , k = 0,1, 2,3,... (3.10) k! функция правдоподобия согласно (3.9) может быть записана в виде n
∑
xi
−1
⎛ n ⎞ − nμ (3.11) ⎜ ∏ xi !⎟ e . ⎝ i =1 ⎠ Здесь xi – целые неотрицательные числа. Однако при больших n вычисления по формуле (3.11) могут приводить к переполнениям разрядной сетки. Получение оценок параметров иллюстрируется примерами 3.1-3.4. В данных примерах создается выборка случайных чисел с нормальным законом распределения при заданных параметрах μ и σ . По полученной выборке вычисляются первый начальный момент и второй центральный момент, которые могут служить состоятельными несмещенными оценками математического ожидания и дисперсии случайной величины. Следующий раздел примеров показывает, как оценки этих параметров могут быть получены по методу максимального правдоподобия. Для этого вводятся функции правдоподобия и определяются их экстремумы. В примере приводятся графики функций правдоподобия. В примере также иллюстрируется использования метода наибольшего правдоподобия к оценке параметров дискретной случайной величины, распределенной по закону Пуассона. Находятся оценки параметра μ по методу моментов и по методу максимального правдоподобия. L ( x, μ ) = μ
i =1
Пример 3.1 (Maple) Часть 1. Оценка параметров нормального закона распределения > restart: with(stats): randomize(): Объём выборки > n:=50: Заданные параметры нормального закона > mu:=-1: sigma:=2: 32
Выборка с нормальным распределением > x:=[random[normald[mu,sigma]](n)]: Вычисление моментов 1-й начальный момент (оценка математического ожидания) > m1:=1/n*sum(x[i],i=1..n); m1 := -1.288963807
> m:=subs((op@op)(M)[1],[mu1,sigma1]); m := [ -1.288963807, 1.848418476]
График функции правдоподобия > plot3d(L(mu1,sigma1)/L(m[1],m[2]),mu1=m[1]-1.. m[1]+1,sigma1=m[2]-1..m[2]+1,axes=FRAME);
2-й центральный момент (оценка дисперсии) > m2:=1/(n-1)*sum((x[i]-m1)^2,i=1..n); m2 := 3.486378429 оценка ср. кв. отклонения > s:=sqrt(m2);
s := 1.867184626
Оценка параметров μ и σ нормального распределения Плотность нормального распределения > f:=(x,mu,sigma)->exp(-(x-mu)^2/2/sigma^2)/ sqrt(2*Pi*sigma^2); e
f := ( x, μ, σ ) →
2 ⎛ ⎜ − 1/ 2 ( x − μ ) ⎜ ⎜⎜ 2 σ ⎝
⎞ ⎟ ⎟ ⎟⎟ ⎠
2 π σ2
Функция правдоподобия > L:=(mu,sigma)->product(f(x[i],mu,sigma),i=1..n); L := ( μ, σ ) →
n
∏ f( xi, μ, σ )
i=1
Поиск наиболее правдоподобных значений параметров μ и σ > sys:={sigma1>0, diff(ln(L(mu1,sigma1)),mu1)=0, diff(ln(L(mu1,sigma1)),sigma1)=0}: > M:=solve(sys,{mu1,sigma1}); M := { σ1 = 1.848418476, μ1 = -1.288963807} Наиболее правдоподобные значения параметров > m:=subs(M,[mu1,sigma1]); m := [ -1.288963807, 1.848418476] Другой способ вычисления > M:=maximize(L(mu1,sigma1),mu1=-infinity.. infinity,sigma1=0..infinity, location)[2]; 1 M := { ⎡⎢ [ σ1 = 1.848418476, μ1 = -1.288963807], .189179040810-31 25 ⎤⎥ } ⎢ π ⎥⎦ ⎣ 33
Часть2. Исследование параметров выборки с распределением Пуассона Объём выборки > n:=20: Заданный параметр распределения Пуассона > mu:=5: Выборка с распределением Пуассона > x:=evalf([random[poisson[mu]](n)]); x := [ 4., 5., 4., 2., 8., 5., 4., 3., 5., 6., 1., 4., 6., 5., 3., 6., 7., 7., 6., 4. ] 1-й начальный момент > m1:=1/n*sum(x[i],i=1..n); m1 := 4.750000000 Плотность распределения Пуассона > p:=(x,mu)->exp(-mu)*mu^x/x!; ( −μ ) x e μ p := ( x, μ ) → x! Функция правдоподобия > L:=(mu)->product(p(x[i],mu),i=1..n); L := μ →
n
∏ p( xi, μ )
i=1
Наиболее правдоподобное значение параметра > m:=solve(diff(ln(L(mu1)),mu1)=0,mu1); m := 4.750000000 Другой способ вычисления 34
> M:=maximize(evalf(L(mu1)), mu1=0..infinity,location)[2]; M := { [ { μ1 = 4.750000000}, .325905629410-17 ] } > m:=subs((op@op)(M)[1],mu1); m := 4.750000000
График функции правдоподобия > plot(L(mu1)/L(m),mu1=m-2..m+2,labels=['mu','L']);
Пример 3.2 (Matematica) <<Statistics`ContinuousDistributions` <<Statistics`DiscreteDistributions` n=50; mu=-1; sigma=2; x=RandomArray[NormalDistribution[mu,sigma],n]; m1=1/n*Apply[Plus,x] m2=1/n*Apply[Plus,(x-m1)^2] s=Sqrt[m2] f[x_,mu_,sigma_]:=Exp[-(x-mu)^2/2/sigma^2]/ Sqrt[2*Pi*sigma^2]; L[mu_,sigma_]:=Apply[Times,f[x,mu,sigma]]; M=FindMinimum[-L[mu1,sigma1],{mu1,0},{sigma1, 1}] m={mu1,sigma1}/.M[[2]] Plot3D[L[mu1,sigma1]/L[m[[1]],m[[2]]],{mu1, m[[1]]-1,m[[1]]+1},{sigma1, m[[2]]-1,m[[2]]+1}, AxesLabel->{"mu","sigma","L"}]; n=20; mu=5; x=N[RandomArray[PoissonDistribution[mu],n]]; m1=1/n*Apply[Plus,x] p[x_,mu_]:=Exp[-mu]*mu^x/x!; L[mu_]:=Apply[Times,p[x,mu]]; M=FindMinimum[-L[mu1],{mu1,1}] m=mu1/.M[[2]] Plot[L[mu1]/L[m],{mu1,m-2,m+2}]; 35
Пример 3.3 (Matlab) n=50; mu=-1; sigma=2; x=normrnd(mu,sigma,1,n); m1=1/n*sum(x) m2=1/(n-1)*sum((x-m1).^2), s=sqrt(m2) f=inline(... 'exp(-(x-mu).^2/2/sigma^2)/sqrt(2*pi*sigma^2)',... 'x','mu','sigma'); L=inline('-prod(feval(f,x,theta(1),theta(2)))',... 'theta','f','x'); m=fminsearch(L,[0,1],[],f,x) mu1=m(1)-1:0.1:m(1)+1; sigma1=m(2)-1:0.1:m(2)+1; for i=1:length(mu1), for j=1:length(sigma1) L1(i,j)=L([mu1(i),sigma1(j)],f,x); end, end L1=L1/L(m,f,x); surfl(mu1,sigma1,L1), pause n=20; mu=5; x=poissrnd(mu,1,n); m1=1/n*sum(x) p=inline('exp(-mu)*mu.^x/factorial(x(1))',... 'x','mu'); L=inline('-prod(feval(p,x,theta))',... 'theta','p','x'); m=fminsearch(L,[1],[],p,x) mu2=m-2:0.1:m+2; for i=1:length(mu2), L2(i)=L(mu2(i),p,x); end L2=L2/L(m,p,x); plot(mu2,L2)
Пример 3.4 (Mathcad) n := 50 i := 0 .. n − 1 1 m1 = −1.081 m1 := ⋅ x i n
μ := −1 σ := 2
x := rnorm( n , μ , σ)
∑ i
m2 :=
1 ( n − 1)
f ( x, μ , σ) := μ1 := 0 Given
⋅
∑ (xi − m1)
2
m2 = 3.269
s := m2
s = 1.808
i
1 2
⎡ −( x − μ ) 2⎤ ⎥ ⎢ 2 ⎥ ⎣ 2⋅ σ ⎦
⋅ exp⎢
2⋅ π⋅ σ σ1 := 1
36
L( μ , σ) :=
∏ f(xi, μ , σ) i
d
σ1 > 0
dμ1 m := Find( μ1 , σ1)
p ( x, μ ) := μ1 := 1
dσ1
ln( L( μ1 , σ1) )
(
(
0
)
x
x!
⋅e
x := rpois ( n , μ )
μ := 5
m1 = 4
−μ
p x , μ ⎞ ⋅ 10 ⎜ ∏ ( i )⎟
L( μ ) := ⎛
⎝
i
⎛ d ln( L( μ1) ) , μ1⎞ ⎟ ⎝ dμ1 ⎠ 1
L( m)
0.5
0
Изучив теоретическое введение и примеры, разработать собственный документ, решающий следующие задачи: 1. получение выборки случайных чисел заданного объема с нормальным законом распределения N ( μ , σ ) (непрерывная случайная величина); 2. получение оценок параметров μ и σ по методу моментов; 3. получение оценки параметров μ и σ по методу максимального правдоподобия; 4. получение выборки случайных чисел заданного объема с распределением по закону Пуассона с заданным параметром μ (дискретная случайная величина); 5. получение оценок параметра μ закона Пуассона по методу максимального правдоподобия и по методу моментов. Расчитать по двум документам для объемов выборок 10, 50 и 100. Сравнить полученные результаты с теоретическими и сделать выводы о правильности проделанной работы. Записать функцию правдоподобия для закона Коши: ⎞ 1⎛ 1 ⎟. f ( x) = ⎜ 2 π ⎜⎝ 1 + ( x − θ ) ⎟⎠ Можно ли оценить параметр θ по методу наибольшего правдоподобия?
n
m := root ⎜
L( μ2)
)
1
i
μ
Задание
0
T
i := 0 .. n − 1
∑ xi
d
0
m = ( −1.081 1.79) L m − 1 + 0.1⋅ i, m − 1 + 0.1⋅ j 0 1 j := 0 .. 20 W := i, j L m ,m
i := 0 .. 20
n := 20 1 m1 := ⋅ n
ln( L( μ1 , σ1) )
2
4 μ2
37
Контрольные вопросы
⎠
m= 4
1. 2. 3. 4.
Назовите выборочные числовые характеристики. Что такое статистики и для чего они служат? Какими свойствами должны обладать оценки? Приведите примеры состоятельной, несмещенной и эффективной оценок. 5. Что такое функция правдоподобия? В чем сущность метода наибольшего правдоподобия ? 6. Пусть X 1 , X 2 ,K , X n – выборка из генеральной совокупности с известным средним m и неизвестной дисперсией σ 2 . Показать, что 1 2 несмещённой оценкой для σ 2 будет статистика S02 = ∑ ( X i − m ) n (Задача № 2.13 гл.15 [2]). 7. Решить задачи № 2.14, 2.21, 2.32-2.35 гл. 15 [2]. 38
4. Equation Section (Next)Интервальные оценки числовых характеристик В предыдущей работе были рассмотрены методы, дающие оценку параметра в виде некоторого числа или точки на числовой оси. Такие оценки называют точечными. Точечная оценка без указания степени точности и надежности не имеет практического значения, так как представляет собой только возможное значение случайной величины, т.е. сама точечная оценка является величиной случайной. Можно доказать, что в выборке объема n из генеральной совокупности, распределенной по нормальному закону N ( a, σ ) среднее выборочное Mx распределено
(
)
решают относительно θ . Рассмотрим нахождение доверительного интервала на примерах. Пример 1. Найдем доверительный интервал для математического ожидания mξ = a по заданной выборке x = ( x1 , x2 ,..., xn ) из генеральной совокупности, распределенной по нормальному закону
считая, что Mx и S – точечные оценки математического ожидания и дисперсии. Рассмотрим статистику tn ( x, a ) = ( Mx − a ) n − 1 S . Как отмечалось выше, она распределена по закону Стьюдента с n − 1 степенью свободы. Тогда δ
n . Величина nS∗2 / σ 2 распре-
также по нормальному закону N a, σ
делена по закону χ с n степенями свободы, а tn = ( Mx − a ) n − 1 S –
∫
2
по закону Стьюдента с n − 1 степенью свободы. Чтобы получить представление о точности и надежности оценки θ% для параметра θ , возьмем достаточно большую вероятность β и най-
(
)
дем такое δ > 0 , для которого P θ% − θ < δ = β
(
)
(
)
или P −δ < θ − θ% < δ = P θ% − δ < θ < δ + θ% = β .
(4.1)
Равенство (4.1) означает, что точное, но неизвестное значение паθ с вероятностью β накрывается интервалом раметра
(
)
l = θ% − δ ,θ% + δ . Этот интервал называют доверительным, а вероят-
ность β – доверительной вероятностью или надежностью оценки. Очевидно, чем меньше δ для заданного β , тем точнее оценка. В общем случае интервал, образованный статистиками U ( x ) и V ( x ) , называется доверительным для оцениваемого параметра θ , если
выполняется равенство P (U ( x ) < θ < V ( x ) ) = β .
−δ
θ , но распределение которой от этого параметра не зависит. Задают надежность β , и по закону распределения статистики tn ( x,θ ) находят доверительные границы из условия (4.2). Затем полученное неравенство 39
δ
f ( x ) dx = 2∫ f ( x ) dx = β .
(4.3)
0
В формуле (4.3) плотность f ( x ) определяется выражением (2.6), в которое вместо n следует поставить n − 1 . Неизвестное δ определяется из (4.3), а доверительный интервал – из неравенства
( Mx − a )
n −1 S < δ .
⎛ δS δS ⎞ , Mx + (4.4) Таким образом, l = ⎜ Mx − ⎟. n −1 n −1 ⎠ ⎝ Пример 2. В условии примера 1 найдем доверительный интервал для дисперсии Dξ = σ 2 .
Для этого выберем статистику tn ( x, σ 2 ) =
nS 2
. Согласно сказанноσ2 му выше она распределена по закону χ 2 с n − 1 степенью свободы. Определение доверительного интервала аналогично, но осложняется несимметричностью закона распределения χ 2 . Действительно, уравнение t2
∫ f ( x ) dx = β
(4.2)
Здесь x – выборочный вектор, надежность β выбирается близкой к единице. Концы интервала называются доверительными границами. Порядок нахождения доверительного интервала следующий. Подыскивают подходящую статистику tn ( x,θ ) , зависящую от параметра
N ( a, σ ) ,
2
(4.5)
t1
имеет неоднозначное решение относительно t1 и t2 . Здесь плотность f ( x ) определяется формулой (2.5), только n следует заменить на
n − 1 . Ради однозначности наложим дополнительные условия, а именно будем считать, что t1
∫
−∞
∞
f ( x ) dx = ∫ f ( x ) dx . t2
40
(4.6)
t1
∫
Поскольку
−∞
t2
∞
t1
t2
f ( x ) dx + ∫ f ( x ) dx + ∫ f ( x ) dx = 1 , то, учитывая равен-
ства (4.5) и (4.6), получим t1
∞
−∞
t2
2 ∫ f ( x ) dx = 1 − β , 2 ∫ f ( x ) dx = 1 − β .
Из (4.7) найдем t1 и t2 , а решая неравенство t1 <
(4.7) nS 2
σ2
< t2 , найдем
⎛ nS 2 nS 2 ⎞ , доверительный интервал l = ⎜ ⎟. t1 ⎠ ⎝ t2 Применение методов получения доверительных интервалов для оценок параметров иллюстрируют примеры 4.1-4.4. В начале примера создается выборка нормально распределенных чисел с заданными параметрами (математическим ожиданием и дисперсией). Далее в документе вычисляются оценки для этих параметров по методу моментов. Для дальнейших вычислений вводятся плотности распределений Стьюдента, χ 2 и нормального. Далее находятся доверительные интервалы для математического ожидания при известной и неизвестной дисперсии. В следующем разделе примеров решается задача определения доверительного интервала для дисперсии при известном и неизвестном математических ожиданиях.
Пример 4.1 (Mathematica) Получение выборки с заданными μ и σ <<Statistics`ContinuousDistributions` <<Statistics`ConfidenceIntervals` Объём выборки n=50; Заданные параметры нормального закона muX=3; sigmaX=2; Выборка с нормальным распределением x=RandomArray[NormalDistribution[muX,sigmaX],n]; Вычисление моментов 1-й начальный момент (оценка математического ожидания) Mx=1/n*Apply[Plus,x] 2.91748 2-й центральный момент (оценка дисперсии) Dx=1/n*Apply[Plus,(x-Mx)^2] 4.63328 Оценка ср. кв. отклонения 41
sigma=Sqrt[Dx] 2.1525 Плотность распределения нормального закона fn[x_,sigma_]:=Exp[-x^2/2/sigma^2]/ Sqrt[2*Pi*sigma^2]; Плотность распределения Стьюдента ft[t_,n_]:=Gamma[(n+1)/2]/Gamma[n/2]/ Sqrt[Pi*n]*(1+t^2/n)^(-(n+1)/2); Плотность распределения χ 2 fx[x_,n_]:=x^((n-2)/2)*Exp[-x/2]/2^(n/2)/ Gamma[n/2]; Случай 1. Оценка мат. ожидания при известной дисперсии Доверительная вероятность beta=0.95; Заданная дисперсия S=sigmaX^2; sigma1=Sqrt[S/n]; Нахождение доверительного интервала delta=z/.FindRoot[ 2*Integrate[fn[y,sigma1],{y,0,z}]-beta==0,{z,0}] 0.554362 dz=delta*sigma1; m={Mx-dz,Mx+dz}; Доверительный интервал для мат. ожидания Print["Mx=",Mx," ",m] Mx=2.91748 {2.76068,3.07428} Случай 2. Оценка мат. ожидания при неизвестной дисперсии Оценка дисперсия S=Dx; Нахождение доверительного интервала delta=z/.FindRoot[ 2*Integrate[ft[y,n-1],{y,0,z}]-beta==0,{z,0}] 2.00958 dz=delta*Sqrt[S/n]; m={Mx-dz,Mx+dz}; Доверительный интервал для мат. ожидания Print["Mx=",Mx," ",m] Mx=2.91748 {2.30574,3.52921} Случай 3. Оценка дисперсии при известном мат. ожидании alpha=1-beta 0.05 delta1=z/.FindRoot[ Integrate[fx[y,n],{y,0,z}]-alpha/2==0,{z,n}] 32.3574
42
delta2=z/.FindRoot[ Integrate[fx[y,n],{y,z,20*n}]-alpha/2==0,{z,n}] 71.4202 dz=n*S; s={dz/delta2,dz/delta1}; Доверительный интервал для дисперсии Print["Dx=",Dx," ",s] Dx=4.63328 {3.24367,7.15954} Случай 4. Оценка дисперсии при неизвестном мат. ожидании delta1=z/.FindRoot[ Integrate[fx[y,n-1],{y,0,z}]-alpha/2==0,{z,n}] 31.5549 delta2=z/.FindRoot[ Integrate[fx[y,n-1],{y,z,2*n}]-alpha/2==0,{z,n}] 70.2173 dz=(n-1)*S; s={dz/delta2,dz/delta1}; Доверительный интервал для дисперсии Print["Dx=",Dx," ",s] Dx=4.63328 {3.23325,7.19477}
Пример 4.2 (Matlab) n=50; muX=3; sigmaX=2; x=normrnd(muX,sigmaX,1,n); Mx=1/n*sum(x) Dx=1/(n-1)*sum((x-Mx).^2), sigma=sqrt(Dx) fn=inline(... 'exp(-x.^2/2/sigma^2)/sqrt(2*pi*sigma^2)',... 'x','sigma'); ft=inline(strcat('gamma((n+1)/2)/gamma(n/2)/',... 'sqrt(pi*n)*(1+t.^2/n).^(-(n+1)/2)'),'t','n'); fx=inline(... 'x.^(n/2-1).*exp(-x/2)/2^(n/2)/gamma(n/2)',... 'x','n'); df1=inline('2*quad(f,0,y,[],[],theta)-lambda',... 'y','f','theta','lambda'); df2=inline('2*quad(f,y,n,[],[],theta)-lambda',... 'y','f','theta','lambda','n'); zf1=inline('fzero(df,z,[],f,theta,beta)',... 'f','df','z','theta','beta'); zf2=inline('fzero(df,z,[],f,theta,beta,n)',... 'f','df','z','theta','beta','n'); beta=0.95; S=sigmaX^2; sigma1=sqrt(S/n) delta=zf1(fn,df1,0,sigma1,beta), dz=delta*sigma1; Mx, m=[Mx-dz,Mx+dz] S=Dx; delta=zf1(ft,df1,0,n-1,beta)
43
dz=delta*sqrt(S/n); Mx, m=[Mx-dz,Mx+dz] alpha=1-beta, delta1=zf1(fx,df1,n,n,alpha) delta2=zf2(fx,df2,n,n,alpha,5*n), dz=n*S; Dx, m=[dz/delta2,dz/delta1] delta1=zf1(fx,df1,n,n-1,alpha) delta2=zf2(fx,df2,n,n-1,alpha,5*n), dz=(n-1)*S; Dx, m=[dz/delta2,dz/delta1]
Пример 4.3 (Matcad)
x := rnorm( n , μX , σX)
n := 50 i := 0 .. n − 1 μX := 3 σX := 2 1 Mx = 2.919 Mx := ⋅ x i n
∑ i
Dx :=
(x − Mx) n ∑ i 1
⋅
2
Dx = 3.203
σ := Dx
σ = 1.79
i
2
−
1
fn( x, σ) :=
2⋅ π⋅ σ n
fx( x, n ) :=
−1 −
⋅e
⎛ n + 1⎞
Γ⎜
−
n+ 1
⎟ ⎛ 2 ⎝ ⎠ ⋅ ⎜ 1 + t ⎟⎞ ft( t , n ) := n n ⎠ ⎝ Γ ⎛⎜ ⎞⎟ ⋅ π⋅ n ⎝2⎠
2
2⋅ σ
2
x
⋅e
2
2 ⋅ Γ ⎛⎜
n⎞
x
2
2
x
n 2
β := 0.95 2
S := σX z := 0
⎟ ⎝2⎠ σ1 :=
S n
⎛⎜ ⌠ ⎞⎟ δ := root 2⋅ ⎮ fn( y , σ1) dy − β , z ⎜ ⌡ ⎟ z
⎝
⎠
0
T
dz := δ⋅ σ1
m := ( Mx − dz Mx + dz )
Mx = 2.919 S := Dx
m = ( 2.762 3.075)
T
44
δ = 0.554
2
z := 0
⎛⎜ ⌠ ⎞⎟ δ := root 2⋅ ⎮ ft( y , n − 1) dy − β , z ⎜ ⌡ ⎟ z
⎝
dz := δ⋅
S
z := n
⎠
0
T
m := ( Mx − dz Mx + dz )
n
Mx = 2.919 α := 1 − β α = 0.05 z := n
T
m = ( 2.41 3.427)
⎛⎜ ⌠ α ⎞⎟ δ1 := root ⎮ fx( y , n ) dy − , z ⎜ ⌡0 2 ⎟ z
⎝ ⎠ ⎛⎜ ⌠ 20⋅ n α ⎞⎟ δ2 := root ⎮ fx( y , n ) dy − , z ⎜ ⌡z 2 ⎟ ⎝ ⎠ s := ⎛⎜
Dx = 3.203
s = ( 2.244 4.945)
z := n
⎞ ⎟ δ1 δ2 ⎝ ⎠ dz dz
δ1 = 32.394
δ2 = 71.394
T
dz := n ⋅ S
z := n
δ = 2.008
T
⎛⎜ ⌠ α ⎞⎟ δ1 := root ⎮ fx( y , n − 1) dy − , z ⎜ ⌡0 2 ⎟ z
⎝ ⎠ ⎛⎜ ⌠ 20⋅ n α ⎞⎟ δ2 := root ⎮ fx( y , n − 1) dy − , z ⎜ ⌡z 2 ⎟ ⎝ ⎠
⎞ ⎟ ⎝ δ2 δ1 ⎠
δ2 = 70.201
T
dz := ( n − 1) ⋅ S
s := ⎛⎜
Dx = 3.203
s = ( 2.236 4.97)
dz dz
δ1 = 31.584
T
Пример 4.4 (Maple) > restart: with(stats): with(describe): randomize(): > n:=50: muX:=3: sigmaX:=2: > x:=[random[normald[muX,sigmaX]](n)]: > Mx:=moment[1](x); > Dx:=moment[2,mean,0](x); sigma:=sqrt(Dx); > fn:=(x,sigma)->exp(-x^2/2/sigma^2)/ sqrt(2*Pi*sigma^2):
45
> ft:=(t,n)->GAMMA((n+1)/2)/GAMMA(n/2)/ sqrt(Pi*n)*(1+t^2/n)^(-(n+1)/2); > fx:=(x,n)->x^((n-2)/2)*exp(-x/2)/2^(n/2)/ GAMMA(n/2); > beta:=0.95: > S:=sigmaX^2: sigma1:=evalf(sqrt(S/n)); > delta:=fsolve(2*int(fn(y,sigma1),y=0..z)-beta,z); > dz:=delta*sigma1: m:=[Mx-dz, Mx+dz]: 'Mx'=Mx, m; > S:=Dx: > delta:=fsolve(2*int(ft(y,n-1),y=0..z)-beta,z); > dz:=delta*sqrt(S/n): m:=[Mx-dz, Mx+dz]: > 'Mx'=Mx, m; > alpha:=1-beta; > delta1:=fsolve(int(fx(y,n),y=0..z)-alpha/2,z); > delta2:=fsolve(int(fx(y,n),y=z..20*n)-alpha/2,z); > dz:=n*S: s:=[dz/delta2, dz/delta1]: 'Dx'=Dx, s; > delta1:=fsolve(int(fx(y,n-1),y=0..z)-alpha/2, z,0..n); > delta2:=fsolve(int(fx(y,n-1),y=z..20*n)-alpha/2, z,n..20*n); > dz:=(n-1)*S: s:=[dz/delta2, dz/delta1]: > 'Dx'=Dx, s;
Задание 1. В условиях примера 1 записать формулы доверительного интервала математического ожидания mξ = a , считая дисперсию σ 2 известной. 2. В условиях примера 1 записать формулы для доверительного интервала дисперсии Dξ = σ 2 , считая математическое ожидание известной величиной. 3. Используя выборку из примера 2.1 (первая часть) и полагая, что доверительная вероятность β = 0,8; 0,9; 0, 95, вычислить доверительные интервалы: 1) для математического ожидания, считая дисперсию: а) известной величиной σ 2 = S 2 , б) неизвестной величиной (использовать оценку); 2) для дисперсии, считая математическое ожидание а) известной величиной mξ = Mx , в) неизвестной величиной. Результаты сравнить. Указание к заданию 1. Учесть, что статистика tn ( x, a ) = Mx − a рас⎛ σ ⎞ пределена по нормальному закону N ⎜ 0, ⎟. n⎠ ⎝
46
Указание к заданию 2. Рассмотреть статистику tn ( x, σ 2 ) = nS∗2 / σ 2 . Замечание к заданию 3. Считать, что генеральная совокупность, из которой взята выборка, распределена по нормальному закону. При этом в случае больших n распределения χ 2 и Стьюдента сходятся к нормальному закону, поэтому при n > 30 можно считать, что статистиMx − a S n − 1 , t n = ∗ 2n − 2n − 1 , ки t n = σ S пределены по нормальному закону N ( 0,1) .
S tn =
5. Equation Section (Next)Критерии согласия Допустим, что построенную по выборке статистическую функцию распределения Fn ( x ) мы сгладили с помощью некоторой гипотетической функции распределения F ( x ) . Возникает вопрос: а верна ли гипотеза о том, что функция распределения именно F ( x ) , а не какая-либо
2n − 2n − 3 рас-
другая? Точнее, не противоречит ли гипотеза о законе распределения F ( x ) результатам эксперимента? Чтобы ответить на этот вопрос, поль-
4. Провести расчеты доверительных интервалов для μ и σ , заданных преподавателем (смотри примеры 4.1-4.4), при объеме выборок 10, 50 и 100.
зуются критериями согласия. Под критерием согласия понимают некоторую величину Δ ( Fn , F ) ,
σ
Контрольные вопросы 1. Что называется доверительным интервалом и доверительной вероятностью? 2. Дайте общую схему построения доверительного интервала. 3. Как изменяется доверительный интервал с увеличением надежности? С увеличением объема выборки? 4. Как изменяется доверительный интервал в зависимости от того, известны ли другие параметры точно или нет?
которая отражает количественную меру расхождения гипотетического F ( x ) и эмпирического Fn ( x ) распределений. Эту величину можно выбрать многими способами, в соответствии с которыми получаются и различные критерии проверки интересующей нас гипотезы. Например, можно положить (5.1) Δ ( Fn , F ) = Dn = sup Fn ( x ) − F ( x ) или Δ ( Fn , F ) = ω 2 =
∞
∫ ⎡⎣ F ( x ) − F ( x )⎤⎦ n
2
dF ( x ) .
−∞
Выборочные оценки в задачах 5-8 определялись по результатам n наблюдений. Используя эти данные, найти 90%-ные и 99%-ные доверительные интервалы для математического ожиданияследующих характеристик (Задачи № 3.1–3.4 гл.15 [2]): 5. Ёмкость конденсатора, если x = 20 мкФ, n = 16 , с.к.о. известно и равно 4 мкФ. 6. Время безотказной работы электронной лампы, если x = 500 , n = 100 , с.к.о. известно и равно 10 ч. 7. Диаметр вала, если x = 30 мм, n = 9 , s 2 = 9 мм2. 8. Содержание углерода в единице продукта, если x = 18 г, n = 25 , s = 4 г.
В первом случае получаем критерий Колмогорова, во втором – критерий Мизеса. Схема применения критерия согласия следующая. Возьмём α > 0 настолько малым, чтобы осуществление события с вероятностью α можно было считать практически невозможным в единичном опыте. Зная закон распределения случайной величины Δ = Δ ( Fn , F ) , найдем ее
47
48
возможное значение Δ 0 из уравнения P ( Δ > Δ 0 ) = α . По данной выборке вычислим значение критерия согласия Δ1 = Δ ( Fn , F ) . Если окажется, что Δ1 > Δ 0 , то это значит, что произошло практически невероятное событие. Следовательно, эксперимент опровергает нашу гипотезу, и она отбрасывается. При этом вероятность того, что мы отбросили верную гипотезу, равна α . Если Δ1 < Δ 0 , то гипотеза не противоречит эксперименту и должна быть принята. Число α называется уровнем значимости критерия. Колмогоров нашел предельную функцию распределения величины λ = nDn . Эту функцию обычно обозначают K ( x ) :
K ( x ) = lim P n →∞
(
) ∑ ( −1)
nDn < x =
∞
k
e −2 k
2 2
x
, x > 0.
(5.2)
k =−∞
Формулой (5.2) можно пользоваться для больших n . Чтобы воспользоваться критерием согласия Колмогорова, нужно построить графики гипотетической и выборочной функций распределения, по графикам найти статистику Dn и вычислить величину
λ1 = nDn . Найти вероятность события P
(
nDn > λ1 по формуле
)
∞
nDn > λ1 = 1 − K ( λ1 ) = −2∑ ( −1) e −2 k k
2 2 λ1
.
(5.3)
k =1
Если эта вероятность меньше α , то гипотеза отвергается, если больше, то признается непротиворечащей эксперименту. Предположим теперь, что, например, из физических соображений мы можем высказать гипотезу только о виде закона распределения, а параметры, входящие в него, неизвестны. Тогда критерий согласия Колмогорова не применим. В таких случаях часто используют критерий согласия Пирсона. Всю числовую ось разобьем на r непересекающихся разрядов точками −∞ = x0 < x1 < x2 < ... < xr = ∞ . Примем гипотезу о функции распределения. Неизвестные параметры, входящие в нее, заменим их оценками. Таким образом, гипотетическая функция распределения F ( x ) будет известна, и можно будет найти вероятности pi = F ( xi ) − F ( xi −1 ) попадания случайной величины в i -й разряд.
Возьмем статистику r
tn = χ 2 = ∑
( mi − npi ) npi
i =1
2
.
(5.4)
Здесь n – объем выборки, r – число разрядов, mi – число значений в i -м разряде. За меру расхождения между гипотетической F ( x ) и эмпирической Fn ( x ) функциями распределения примем статистику tn = Δ ( Fn , F ) ,
определенную формулой (5.4). Фишером доказано, что предельным законом распределения статистики tn является распределение χ 2 с r − m − 1 степенями свободы, если параметры оценены по методу максимального правдоподобия. Здесь m – число параметров, входящих в гипотетическую функцию распределения. Доказано также, что при объеме выборки n > 30 с достаточной точностью можно пользоваться предельным законом распределения, если npi > 5 . 49
Схема применения критерия Пирсона следующая. По формуле (5.4) вычисляют значение статистики tn = Δ 0 . Вычисляют вероятность p ( Δ > Δ0 ) =
∞
∫ f ( x ) dx .
(5.5)
Δ0
Здесь f ( x ) определяется формулой (2.5), а n следует заменить на r − m − 1 . Если эта вероятность меньше уровня значимости α , то гипотезу следует отбросить. Применение критериев согласия иллюстрируют примеры 5.1-5.4. В начале генерируется (по методу обратных функций) выборка значений случайной величины, распределенной по показательному закону с заданным параметром a . Далее выборка группируется и находится группированная функция распределения, что необходимо для критерия Колмогорова. В соответствии со схемой применения критерия Колмогорова, задается теоретическая функция распределения F ( x ) , и по
этим значениям вычисляется статистика Dn . Вычисляется вероятность по формуле (5.3) и сравнивается с уровнем значимости α . В следующем разделе примеров применяется критерий Пирсона, Отметим, что, поскольку критерий Пирсона работает с плотностью распределения, для него может понадобиться другая группировка той же исходной выборки. Теоретическая плотность распределения может быть получена дифференцированием ранее введенной функции распределения. Теперь можно вычислить значение статистики и оценить вероятность (5.5), сравнивая ее с уровнем значимости α .
Пример 5.1 (Matlab) % Часть 1. Критерий Колмогорова % Получение выборки заданного объема n n=100; % Теоретическая функция распределения f=inline('1-exp(-a*x)','x','a'); % Теоретическая плотность распределения df=inline('a*exp(-a*x)','x','a'); % Обратная функция распределения g=inline('-log(1-x)/a','x','a'); % Параметр закона распределения a=2; % Равномерно распределённые случайные числа eps=1*1e-2; Y=unifrnd(0,1-eps,1,n); % Числа, распределённые по показательному закону X=g(Y,a);
50
% Группировка для критерия Колмогорова % Вариационный ряд Y=sort(X); % Число разрядов для группировки k=10; % Размах выборки R=Y(n)-Y(1) R=2.0231 % Длина разряда h=R/k h=0.2023 % Определение абсолютных частот и середин разрядов [m,xs]=hist(Y,k); % Относительные частоты p=m/n; % Накопленные частоты Fg=cumsum(p); % График эмпирической функций распределения stairs(xs,Fg), hold on % График теоретической функций распределения x1=Y(1):0.1:Y(n); y1=f(x1,a); plot(x1,y1,'r'), hold off, pause
j=1:n; PL=-2*sum((-1).^j.*exp(-2*j.^2*lambda1^2)) PL=0.9826 if PL>alpha sprintf('Гипотеза не противоречит эксперименту') else sprintf('Гипотеза противоречит эксперименту') end Гипотеза не противоречит эксперименту % Часть 2. Критерий Пирсона % Теоретические вероятности pr=df(xs,a)*h; chi2=n*sum((p-pr).^2/pr) chi2=0.1360 % Плотность распределения хи-квадрат fx=inline(... 't.^(n/2-1).*exp(-t/2)/2^(n/2)/gamma(n/2)',... 't','n'); dfx=inline('quad(f,0,y,[],[],n)-(1-alpha)',... 'y','f','n','alpha'); zx=inline('fzero(df,z0,[],f,n,alpha)',... 'f','df','n','alpha','z0'); r=k-1; w=zx(fx,dfx,r,alpha,r) w=16.9190 if chi2<w sprintf('Гипотеза не противоречит эксперименту') else sprintf('Гипотеза противоречит эксперименту') end Гипотеза не противоречит эксперименту
Пример 5.2 (Mathcad) n := 100
f ( x) := 1 − exp( −a⋅ x)
% Уровень значимости alpha=0.05; Ft=f(xs,a); epsilon=abs(Ft-Fg); Dn=max(epsilon) lambda1=sqrt(k)*Dn
g ( x) := −
Y := runif ( n , 0 , 1 − ε) Y := sort ( X)
Dn=0.1466 lambda1=0.4637
51
−2
j := 0 .. n − 1
( j)
a
X := g Y j
R := Y
k := 10 i := 0 .. k − 1
a := 2 ε := 10 ln( 1 − x)
n− 1
−Y
h :=
0
R
R = 2.186 h = 0.219
k
52
df ( x) :=
d f ( x) dx
xr := Y 0
xr
i+ 1
0
m := hist ( xr, Y) p :=
m
0
i
k
j := 1 .. k − 1
5
i
2
Fg := Fg j
+p
i
0.5
2
j
i
λ1 := k⋅ Dn λ1 = 0.504
2
xsi , y
( −1) ⋅ exp( −2⋅ j ⋅ λ1 )⎥⎤ ∑ ⎢ ⎥
PL := −2⋅ ⎡⎢
j := 1 .. n
⎣
j
2
2
n 2
−1 −
PL = 0.961
⎦
j
if( PL > α , "True" , "False" ) = "True" x
⋅e
2
2 ⋅ Γ ⎛⎜
n⎞
x
1
Dn := max( ε) Dn = 0.159 1
fx( x, n ) :=
2
2
εi := Ft − Fg
Fgi
r := k − 1
n 2
⎟ ⎝2⎠
( i)
pr := df xs ⋅ h
χ2 := n ⋅
∑
(
i
y := r
j− 1
i
( i)
i
i
3
+ xr
α := 0.05 Ft := f xs
1
f(y)
i+ 1
xs :=
k
m = 36 23 15 11 0
xr
−4
xr := xr + 10
T
Fg := p
n
:= xr + h
p − pr i
pr
)
y
⎣
0
if( χ2 < w , "True" , "False" ) = "True"
χ2 = 4.165
i
⎡⎢⌠ ⎤⎥ w := root ⎮ fx( x, r) dx − ( 1 − α ) , y ⎢⌡ ⎥
w = 16.893
⎦
Пример 5.3 (Maple) > restart: with(stats): with(transform): randomize():
53
n:=100: f:=x->1-exp(-a*x); df0:=diff(f(x),x): df:=unapply(df0,x); g0:=solve(f(x)=y,x): g:=unapply(g0,y); a:=2: eps:=1e-2: Y:=[random[uniform[0,1-eps]](n)]: X:=map(g,Y): Y:=sort(X): k:=10: R:=Y[n]-Y[1]; h:=R/k; xr:=[Y[1]+i*h $i=0..k]: xr[k+1]:=xr[k+1]+1e-4: xrr:=[(xr[i]..xr[i+1]) $i=1..k]: xs:=evalf([xr[i]+0.5*h $i=1..k],3): xp:=scaleweight[1/n](statsort(tallyinto(Y,xrr))): p:=evalf(frequency(xp),3): F:=x->sum(p[i]*Heaviside(x-xs[i]),i=1..k): plot([F,f],Y[1]..Y[n],0..1,labels=['Y','F']); alpha:=0.05: Fg:=cumulativefrequency(xp): Ft:=map(f,xs): epsilon:=map(abs,Ft-Fg): Dn:=max(op(epsilon)); lambda1:=evalf(sqrt(k)*Dn); PL:=-2*sum((-1)^j*exp(-2*j^2*lambda1^2),j=1..n); `if`(PLx^((n-2)/2)*exp(-x/2)/2^(n/2)/ GAMMA(n/2); > r:=k-1: > w:=fsolve(int(fx(t,r),t=0..y)-(1-alpha),y); > `if`(chi2<w,'true','false');
Пример 5.4 (Mathematica)
2
i
> > > > > > > > > > > > > > > > > > > > > > > > >
<
54
F[y_]:=Sum[p[[i]]*UnitStep[y-xs[[i]]],{i,k}]; Plot[{F[y],f[y]},{y,Y[[1]],Y[[n]]}, PlotStyle->{Red,Green}]; alpha=0.05; Fg=CumulativeSums[p]; Ft=Map[f,xs]; epsilon=Abs[Ft-Fg]; Dn=Max[epsilon] lambda1=Sqrt[k]*Dn PL=-2*Sum[(-1)^j*Exp[-2*j^2*lambda1^2],{j,n}] If[PL>alpha,"true","false"] pr=df[xs]*h; chi2=n*Sum[(p[[i]]-pr[[i]])^2/pr[[i]],{i,k}] fx[x_,n_]:=x^((n-2)/2)*Exp[-x/2]/2^(n/2)/ Gamma[n/2]; r=k-1; w=z/.FindRoot[ Integrate[fx[y,r],{y,0,z}]-(1-alpha)==0,{z,r}] If[chi2<w,"true","false"]
Задание 1. Получить выборку значений случайной величины, распределенной по показательному закону с заданным параметром a . 2. Используя критерий согласия Колмогорова, проверить гипотезу о том, что генеральная совокупность, выборка которой получена ранее, распределена по закону F ( x ) = 1 − e − ax . Уровень значимости
6. Equation Section (Next)Зависимость случайных величин, регрессия. Оценка регрессии методом наименьших квадратов Рассмотрим двумерную случайную величину (ξ ,η ) , т.е. упорядоченную пару случайных величин. Пусть, например, ξ – диаметр деревьев некоторого леса, а η – высота деревьев. Тогда mξ и mη – средние диаметр и высота деревьев, а σ ξ и σ η характеризуют разброс диаметра и высоты относительно средних значений. Интуитивно ясно, что диаметр и высота деревьев связаны некоторой зависимостью, однако эта зависимость не является функциональной, так как для деревьев, имеющих одинаковый диаметр ξ = x высота η является величиной случайной. Такую зависимость называют вероятностной или стохастической. Однако можно говорить о функциональной зависимости средней высоты деревьев от диаметра M (η x ) = g ( x ) . Здесь M (η x ) – условное математическое ожидание, т.е. средняя высота деревьев, имеющих диаметр x . Если f 2 (η x ) – условная плотность распределения η , то M (η x ) = g ( x ) =
Контрольные вопросы 1. Что такое критерий согласия? 2. Какие критерии согласия Вы знаете? 3. Опишите схему применения критериев согласия Колмогорова и Пирсона. 4. Запишите плотность распределения закона χ 2 с n − m − 1 степенью свободы. 5. Могут ли опытные данные одновременно согласовываться с несколькими гипотезами о законе распределения? 6. Решить задачи № 6.8, 6.12–6.16 гл. 15[2]. 55
∫ yf ( y x ) dy . 2
(6.1)
−∞
Аналогично
α = 0, 05 . 3. Используя критерий согласия Пирсона, проверить гипотезу о заданном распределении той же генеральной совокупности. Критерий значимости α = 0, 05 . 4. Провести расчеты по документу для объемов выборок 20, 50 и 100.
∞
M (ξ y ) = q ( y ) =
∞
∫ xf ( x y ) dx . 1
(6.2)
−∞
Здесь M (ξ y ) – средний диаметр деревьев высотой y . Функции y = g ( x ) и x = q ( y ) , определенные формулами (6.1) и (6.2), называют-
ся соответственно регрессией величины η на ξ и регрессией величины ξ на η . Графики этих линий называются кривыми регрессии. Плотности распределения f1 ( x ) и f 2 ( y ) (компоненты двумерной случайной величины) и условные плотности распределения связаны с плотностью f ( x, y ) двумерной случайной величины формулой f ( x, y ) = f1 ( x) f 2 ( y x ) = f 2 ( y ) f1 ( x y ) .
(6.3)
Если η и ξ связаны функциональной зависимостью, то при ξ = x
η = g ( x ) . При вероятностной зависимости будет неизбежно наблюдаться рассеяние η 56 величина
η
принимает единственное значение
ностной зависимости будет неизбежно наблюдаться рассеяние η около
ла (6.6) следующим образом:
центра g ( x ) . Мерой этого рассеяния естественно считать условную
ε = M (η − α − βξ ) =
дисперсию
= M ⎡⎣(η − mη ) − β (ξ − mξ ) + ( mη − α − β mξ ) ⎤⎦ = 2
∞
D (η x ) =
∫ ( y − g ( x ))
2
f 2 ( y x ) dy .
(6.4)
−∞
Величину D (η x ) можно рассматривать как среднюю квадратичную погрешность оценки величины η по наблюдаемому значению x случайной величины ξ , если за оценку берется регрессия g ( x ) . Эта погрешность зависит от x , т.е. от закона распределения ξ . Чтобы получить представление о точности оценки во всем диапазоне изменения ξ , величину D (η x ) усредняют. С учетом (6.3) и (6.4) получим
δ=
∞
∞
∫ D (η x ) f ( x ) dx = ∫ ∫ ( y − g ( x ) ) 2
−∞
=∫
∞
2
2
f 2 ( y x ) f1 ( x ) dxdy =
−∞
∫ ( y − g ( x ) ) f ( x, y ) dxdy = M (η − g ( x ) ) 2
(6.5) 2
.
−∞
Известно, что рассеяние, определяемое средним квадратом отклонения, минимально, если его вычислять относительно центра рассеяния. Отсюда следует, что величина δ = M (η − g ( x ) ) принимает свое 2
минимальное значение. Другими словами, регрессия η на ξ является наилучшей (в смысле минимума среднего квадратичного отклонения) оценкой зависимости η от ξ . Очевидно, что регрессия может служить оценкой зависимости, когда эта регрессия известна. Если регрессия неизвестна, то ищут оценку η в некотором классе функций случайной величины ξ и вместо (6.5) требуют минимума величины
ε = M (η − y% (ξ ) ) . 2
(6.6)
Оценка y% (ξ ) случайной величины η , принадлежащая определенному классу функций и доставляющая минимум величине η , определяемой формулой (6.6), называется средней квадратичной регрессией η на ξ . Будем, например, искать оценку y% (ξ ) среди класса линейных функций, т.е. y% (ξ ) = α + βξ . Коэффициенты α и β найдем из условия минимума ε , т.е. методом наименьших квадратов. Преобразуем снача57
(6.7)
= σ η2 + β 2σ ξ2 + ( mη − α − β mξ ) − 2 β Kξη . 2
Здесь Kξη = M ⎡⎣(ξ − mξ )(η − mη ) ⎤⎦ – корреляционный момент случайных величин ξ и η . Необходимыми условиями минимума функции (6.7) являются ∂ε ∂ε =0, =0 ∂α ∂β или ⎧⎪mη − α − β mξ = 0, (6.8) ⎨ 2 ⎪⎩ βσ ξ − Kξη = 0. Решая систему (6.8), найдем α , β и вместе с тем линейную оценку регрессии y% (ξ ) = α + βξ = mη + ρ
Здесь ρ =
Kξη
σ ξση
ση (ξ − mξ ) . σξ
(6.9)
– коэффициент корреляции. Линия
ση (6.10) ( x − mξ ) σξ называется прямой линией регрессии η на ξ . Коэффициент σ β1 = ρ η называется коэффициентом регрессии. σξ Аналогично можно получить прямую регрессии ξ на η σξ x = mξ + ρ (6.11) ( y − mη ) . ση Прямые (6.10) и (6.11) не совпадают, но обе проходят через центр распределения ( mξ , mη ) . Коэффициент корреляции ρ служит мерой y = mη + ρ
линейной корреляционной связи между ξ и η . Если ρ = ±1 , то ξ и η связаны линейной функциональной зависимостью, если ρ = 0 , то они не коррелированы. Прямые регрессии в этом случае параллельны осям 58
координат. Если числовые характеристики, входящие в уравнения регрессии, неизвестны, то их заменяют оценками mξ = M x ; m η = M y ; σ ξ = S x ;
σ η = S y ; Kξη = K xy ; ρ = r =
K xy Sx S y
,
где 1 n 1 n 1 n 2 xi ; S x2 = ∑ ( xi − M x ) = ∑ xi2 − M x2 ; ∑ n i =1 n i =1 n i =1 n n 2 1 1 1 n M y = ∑ yi ; S y2 = ∑ ( yi − M y ) = ∑ yi2 − M y2 n i =1 n i =1 n i =1 1 n 1 n K xy = ∑ ( xi − M x ) ( yi − M y ) = ∑ xi yi − M x M y . n i =1 n i =1 В результате получим эмпирические прямые регрессии Sy y = My + r (x − Mx ) Sx . Sx x = Mx + r ( y − My ) Sy Mx =
(6.12)
(6.13)
Задача нахождения регрессии тесно связана с задачей сглаживания экспериментально полученной зависимости по методу наименьших квадратов. В подтверждение этого можно сравнить формулы (6.13) и (1.9). Если генеральная совокупность имеет нормальное распределение, то можно считать при n ≥ 30 выборочный коэффициент корреляции r ⎛ (1 − r 2 ) ⎞ нормально распределенным: N ⎜ r , ⎟ . Выборочные коэффициенn ⎠ ⎝ Sy S ты регрессии b1 = r и b2 = r x также распределены нормально: Sy Sx ⎛ S x (1 − r 2 ) ⎞ ⎛ S y (1 − r 2 ) ⎞ N ⎜ b1 , ⎟ . ⎟ , N ⎜⎜ b2 , n ⎠ n ⎟⎠ ⎝ Sx ⎝ Sy Учитывая это, можно легко построить доверительные интервалы для ρ , β1 и β 2 . Линейная регрессия имеет важное практическое значение, поскольку генеральная совокупность чаще всего распределена нормально. В противном случае возможна нелинейная регрессия, а при большом диапазоне изменения величин линеаризация регрессии
59
неправомерна. В этом случае поступают следующим образом. Для каждого xi выборки вычисляют среднее значение yi . Наносят точки
( xi , yi )
и соединяют их ломаной линией. По этой ломаной линии
решают вопрос о виде нелинейной зависимости. Затем проводят сглаживание. Следующие примеры демонстрируют применение методов нахождения регрессии. Для моделирования стохастической зависимости генерируется массив нормально распределенных значений x и массив случайных величин v с нулевым математическим ожиданием (помеха). Величина y получается путем суммирования значений x и помехи v . Изменяя параметр σ для помехи v , можно регулировать степень случайности связи величин x и y , что оценивается визуально по виду графика, на котором наносятся точки. По данным из массивов x и y строятся эмпирические прямые регрессии. Для этого вычисляются оценки необходимых числовых характеристик и строятся прямые. Для сравнения здесь же еще раз приводится график исходных данных. Поскольку в данном случае коэффициент корреляции и выборочные коэффициенты регрессии распределены по нормальному закону, задаем надежность и определяем доверительные интервалы путем решения соответствующих функциональных уравнений.
Пример 6.1 (Mathcad) Получение выборок объёма n для нормально распределённых случайных величин X и Y с заданными параметрами μ и σ n := 20 i := 0 .. n − 1 μX := 10 Получение выборки в массиве x x := rnorm( n , μX , σX)
T
x =
σX := 2
9.961 10.064
μV := 0 σV := 2 10.53 10.983
Вспомогательная случайная величина v := rnorm( n , μV, σV)
T
v = -0.818 -1.348 -0.264
2.036
Получение выборки в массиве y y := x + v
T
y =
9.143
8.716 10.266 13.019 10.838
Изображение полученных точек
60
15
15 y
10 y
Y 5 0
10
y 5
10
My
15
5
x
Вычисление выборочных числовых характеристик 1 1 2 Mx = 9.531 Mx := ⋅ x Dx := ⋅ x − Mx i i n n
∑(
∑ i
Sx := Dx 1 My := ⋅ n
Dx = 3.646
My = 9.583
Dy :=
(y − My ) n ∑ i 1
⋅
2
Kxy = 2.678
r :=
i
b2 := r⋅
(i
)
i
График эмпирических прямых регрессии
15
β := 0.95
S :=
1−r
fn( x, μ , σ) :=
n
⎡ −( x − μ ) 2⎤ ⎥ ⋅ exp⎢ ⎢ 2 ⎥ 2 2⋅ π⋅ σ ⎣ 2⋅ σ ⎦ 1
Процедура определения доверительного интервала CInt( μ , σ) := y ← μ
Sy = 2.294
Sx
Kxy Sx⋅ Sy
r = 0.611
⎛⎜ ⌠ ⎞⎟ z ← root 2⋅ ⎮ fn( x, μ , σ) dx − β , y ⎜ ⌡ ⎟ y
⎝
b2 = 0.509
Sx Sy Эмпирические прямые регрессии Y := My + b1⋅ x − Mx X := Mx + b2⋅ y − My i
Dy = 5.265
i
b1 = 0.735
10 x, x, X , Mx 2
i
Sy
5
Определение доверительных интервалов
Sx = 1.909
∑ xi⋅yi − Mx⋅My
b1 := r⋅
)
i
∑ yi
Sy := Dy 1 Kxy := ⋅ n
0
(
i
dz ← z⋅
)
⎠
0
σ n
( μ − dz μ + dz ) Определение доверительного интервала для r r = 0.611 CInt( r , S) = ( 0.561 0.662) Определение доверительного интервала для b1 Sy ⎞ b1 = 0.735 CInt⎛⎜ b1 , S⋅ ⎟ = ( 0.668 0.801) Sx ⎠ ⎝ Определение доверительного интервала для b2 Sx ⎞ b2 = 0.509 CInt⎛⎜ b2 , S⋅ ⎟ = ( 0.47 0.547) Sy ⎠ ⎝ Пример 6.2 (Maple) > restart: with(stats): randomize():
61
62
> > > > > > > > > > > > > > > > > > > > > > > > > > > >
n:=20: muX:=10: sigmaX:=2: muV:=0: sigmaV:=2: x:=[random[normald[muX,sigmaX]](n)]: v:=[random[normald[muV,sigmaV]](n)]: y:=x+v: pxy:=[[x[i],y[i]] $i=1..n]: plot(pxy,style=point,symbol=circle); Mx:=1/n*sum(x[i],i=1..n); Dx:=1/n*sum((x[i]-Mx)^2,i=1..n); Sx:=sqrt(Dx); My:=1/n*sum(y[i],i=1..n); Dy:=1/n*sum((y[i]-My)^2,i=1..n); Sy:=sqrt(Dy); Kxy:=1/n*sum(x[i]*y[i]-Mx*My,i=1..n); r:=Kxy/Sx/Sy; b1:=r*Sy/Sx; b2:=r*Sx/Sy; Y:=evalm(My+b1*(x-Mx)): X:=evalm(Mx+b2*(y-My)): pxY:=[[x[i],Y[i]] $i=1..n]: pXy:=[[X[i],y[i]] $i=1..n]: plot([pxy,pxY,pXy,[[Mx,My]]],style=[point,line, line,point],symbol=circle,color=[red,green,blue, black],symbolsize=[10,10,10,20]); beta:=0.95: S:=evalf((1-r^2)/sqrt(n)): fn:=(x,mu,sigma)-> exp(-(x-mu)^2/2/sigma^2)/sqrt(2*Pi*sigma^2): CInt:=proc(mu,sigma) local z,dz,x,y; z:=solve(2*int(fn(x,mu,sigma),x=0..y)-beta,y); dz:=z*sqrt(sigma/n); RETURN([mu-dz,mu+dz]); end: 'r'=r, CInt(r,S); 'b1'=b1, CInt(b1,S*Sy/Sx); 'b2'=b2, CInt(b2,S*Sx/Sy);
Пример 6.3 (Mathematica) <{Red,PointSize[.03]}]; Mx=1/n*Apply[Plus,x] Dx=1/n*Apply[Plus,(x-Mx)^2] Sx=Sqrt[Dx]
63
My=1/n*Apply[Plus,y] Dy=1/n*Apply[Plus,(y-My)^2] Sy=Sqrt[Dy] Kxy=1/n*Apply[Plus,x*y-Mx*My] r=Kxy/Sx/Sy b1=r*Sy/Sx b2=r*Sx/Sy Y=My+b1*(x-Mx); X=Mx+b2*(y-My); pxY=Transpose[{x,Y}]; pXy=Transpose[{X,y}]; p2=ListPlot[pxY,PlotStyle->{Blue}, PlotJoined->True]; p3=ListPlot[pXy,PlotStyle->{Green}, PlotJoined->True]; p4=ListPlot[{{Mx,My}}, PlotStyle->{Black,PointSize[.05]}]; Show[{p1,p2,p3,p4}]; beta=0.95; S=(1-r^2)/Sqrt[n]; CInt[mu_,sigma_]:=Module[{z,dz},z=y1/.FindRoot[ 2*CDF[NormalDistribution[mu,sigma],y1]-beta==0, {y1,mu}][[1]];dz=z*Sqrt[sigma/n]; {mu-dz,mu+dz}]; Print["r=",r," ",CInt[r,S]] Print["b1=",b1," ",CInt[b1,S*Sy/Sx]] Print["b2=",b2," ",CInt[b2,S*Sx/Sy]]
Пример 6.4 (Matlab) function lab6 n=20; muX=10; sigmaX=2; muV=0; sigmaV=2; x=normrnd(muX,sigmaX,1,n); v=normrnd(muV,sigmaV,1,n); y=x+v; plot(x,y,'ro'), pause Mx=1/n*sum(x), Dx=1/n*sum((x-Mx).^2), Sx=sqrt(Dx) My=1/n*sum(y), Dy=1/n*sum((y-My).^2), Sy=sqrt(Dy) Kxy=1/n*sum(x.*y-Mx*My) r=Kxy/Sx/Sy, b1=r*Sy/Sx, b2=r*Sx/Sy x1=min(x):0.1:max(x); y1=min(y):0.1:max(y); Y=My+b1*(x1-Mx); X=Mx+b2*(y1-My); plot(x,y,'ro',x1,Y,'b',X,y1,'g',Mx,My,'kd'), pause beta=0.95; S=(1-r^2)/sqrt(n); rCI=CInt(r,S,beta,n); r, rCI b1CI=CInt(b1,S*Sy/Sx,beta,n); b1, b1CI b2CI=CInt(b2,S*Sx/Sy,beta,n); b2, b2CI
64
%-------------------------------------------------function CI=CInt(mu,sigma,beta,n) fn=inline(... 'exp(-(x-mu).^2/2/sigma^2)/sqrt(2*pi*sigma^2)',... 'x','mu','sigma'); dfn=inline('2*quad(f,0,y,[],[],mu,sigma)-beta',... 'y','f','mu','sigma','beta'); zn=inline('fzero(df,mu,[],f,mu,sigma,beta)',... 'f','df','mu','sigma','beta'); z=zn(fn,dfn,mu,sigma,beta); dz=z*sqrt(sigma/n); CI=[mu-dz,mu+dz];
Задание 1. Вывести равенство (6.7). 2. Найти теоретически кривые регрессии, если известна плотность вероятности системы случайных величин: f ( x, y ) = 0,5 ( x + y ) e − x − y , x > 0 , y > 0 . 3. Доказать, что при нормальном законе распределения двумерной случайной величины регрессии линейные. Указание. Плотность распределения имеет вид: 2 ⎡ x − mξ ) ( 1 1 ⎢ f ( x, y ) = exp − ⋅ − ⎢ 2 (1 − ρ 2 ) σ ξ2 2πσ ξ σ η 1 − ρ 2 ⎣ 2 2 ρ ( x − mξ )( y − mη ) ( y − mη ) ⎤ ⎥. − + ⎥ σξση σ η2 ⎦ x − mξ y − mη =u , Сделать замену переменных = v. 4. 5. 6.
7.
σξ ση Получить две выборки нормально распределенных случайных величин x и y . По выборкам найти выборочные числовые характеристики. Начертить прямые регрессии. Найти доверительные интервалы для r , β1 и β 2 при доверительной вероятности 0,95 , предполагая нормальное распределение генеральной совокупности. Провести расчеты по документу для объёмов выборок 10, 20 и 50.
65
Контрольные вопросы 1. В чем различие между функциональной и статистической зависимостями ? 2. Что такое условные математическое ожидание и дисперсия ? 3. Как найти плотности компонентов и условные плотности, если функция f ( x, y ) известна? 4. Что такое корреляционный момент, коэффициент корреляции, регрессия? 5. Вывести формулы (6.5) и (6.8). 6. Как решается вопрос: из какого класса функций искать оценку регрессии? 7. Решить задачу: Интерпретируя yi как диаметр деревьев, а xi как высоту (см. таблицу 6.1), найти средний диаметр деревьев, имеющих высоту 26 м. Таблица 6.1 22 28 24 25 31 X 0.6 0.6 0.3 0.2 0.8 Y 8. Решить задачи № 7.25–7.28 гл. 15[2].
Литература 1. Гмурман В.Е. Теория вероятностей и математическая статистика. М.: Высш. шк., I977. 2. Сборник задач по математике. Специальные курсы / Под редакцией Ефимова А.В. М.: Наука, I984. 3. Фирсов И.П., Никитина А.В., Бутенков С.А. Методические указания к практическим занятиям по математической статистике с применением ЭВМ. Таганрог: ТРТУ, 1997.
66
Фирсов Иван Парфенович Семерий Олег Сергеевич МЕТОДИЧЕСКИЕ УКАЗАНИЯ к лабораторным работам по математической статистике с применением ЭВМ для студентов II курса всех специальностей ЕГФ
Ответственный за выпуск О.С. Семерий Редактор Маныч Э.И. Корректор Проценко И.А.
ЛР№020565
Подписано к печати 22.04.97
Формат 60 X 84 1 16 Офсетная печать Усл.п.л.-3,6 Заказ №
Бумага газетная Уч.-изд. л.-3,4. Тир. 500 экз.
«C» Издательство Таганрогского государственного радиотехнического университета ГСП 17А, Таганрог, 28, Некрасовский, 44. Типография Таганрогского государственного радиотехнического университета ГСП 17А, Таганрог, 28, Энгельса, 1.
67
