Математика. Раздел 4. Теория вероятностей и математическая статистика. Тетрадь 4.2: Учебно-методическое пособие для менеджеров и экономистов

УДК 51:658.01 (075)

Казанцев Э.Ф. Математика. Раздел 4. Теория вероятностей и математическая статистика (тетрадь 4.2): Учебно-методическое пособие для менеджеров и экономистов. — М.: Международный университет в Москве, 2005. — 46 с. Тетрадь 4.2 учебно-методического пособия посвящена некоторым вопросам математической статистики. Приводятся основные сведения по выборочному методу, корреляционному анализу и теории случайных процессов. Может быть использовано как рабочая тетрадь при самостоятельной работе с домашними заданиями и как справочник для менеджера и экономиста по прикладной математике. Для студентов Международного университета в Москве, обучающихся по экономическим и управленческим специальностям.

© Международный университет в Москве, 2005 © Э.Ф.Казанцев, 2005

ОГЛАВЛЕНИЕ 4.3 Математическая статистика 4.3.1 Выборочный метод. . . . . . . . . . . . . . . . . . . . . . . . 4 4.3.2 Законы распределения. . . . . . . . . . . . . . . . . . . . . . 9 4.3.3 Корреляционный анализ . . . . . . . . . . . . . . . . . . . 15 Задания для самостоятельной работы . . . . . . . . . . . . 32

4.4 Случайные процессы 4.4.1 Основные понятия . . . . . . . . . . . . . . . . . . . . . . . 34 4.4.2 Цепи Маркова . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.4.3 Уравнение Чепмена–Колмогорова. . . . . . . . . . . . . . 41 Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

4.3 МАТЕМАТИЧЕСКАЯ СТАТИСТИКА 4.3.1 Выборочный метод 1) В огромном числе случаев предприятие не может контролировать качество своей продукции без полного ее уничтожения. В качестве примера рассмотрим завод производящий электрические лампочки. Лампочка считается стандартной, если способна гореть не менее 1200 часов. Если проконтролировать каждую лампочку, то все лампочки будут выведены из строя и не дойдут до потребителя. Как же судить о качестве лампочек? Практика показывает, что о качестве всех электрических лампочек можно судить по качеству небольшой их части, отобранной случайно. Аналогично обстоит дело и с консервами, тканями, строительными материалами, машинами и т.д. Метод анализа небольших партий называется выборочным методом. Определение 1. Вся подлежащая изучению совокупность объектов называется генеральной совокупностью. Та часть объектов, которая попала на проверку — называется выборочной совокупностью, или просто выборкой. Число элементов в генеральной совокупности и в выборке будем называть их объемами. 2) Характеристики генеральной и выборочной совокупностей. Пусть дана генеральная совокупность x K с соответствующими частотами N k :

åN

K

= N = N 1 + N 2 +K+N K —

K

объем генеральной совокупности. Определение 2: k

Генеральная средняя: x 0 =

åx

i

Ni

i =1

N

. 2

k

Генеральная дисперсия: s 20 = 4

å( x

(4.3.1)

i

- x0 ) ×N i

i =1

N

.

(4.3.2)

Пусть генеральная совокупность разбита на группы и объем отдельной группы равен n (n < N ): Определение 3: n

Выборочная (групповая) средняя: x =

å( x

i

ni )

i =1

(4.3.3)

n 2

n

Выборочная (групповая) дисперсия: s 2 =

å( x

i

- x ) ni

i =1

n

.

(4.3.4)

3) Ошибки выборочного наблюдения Для того, чтобы по данным выборки можно было достаточно уверенно судить об интересующем нас признаке генеральной совокупности необходимо, чтобы выборка была репрезентативна. Определение 4. Ошибками репрезентативности называются расхождения между сводными характеристиками признака в выборочной и генеральной совокупностях, возникающие только в результате того, что исследуется не вся совокупность, а лишь ее часть. Пример. Пусть из партии в 10000 электрических лампочек образована выборочная совокупность из 200 лампочек. Качество лампочек в генеральной и выборочной совокупностях характеризуется следующими данными: Генеральная совокупность срок службы количество (в час.) лампочек 900–1100 1000 1100–1300 6000 1300–1500 3000

Выборочная совокупность срок службы количество (в час.) лампочек 900–1100 10 1100–1300 120 1300–1500 70

Вычислить генеральные и выборочные средние и дисперсии. Решение. Генеральная средняя: x0 =

1000 ×1000 +1200 × 6000 +1400 × 3000 = 1240 час 10000 5

Генеральная дисперсия: s2 =

(1000 -1240) 2 ×1000 + (1200 -1240) 2 × 6000 + (1400 -1240) 2 × 3000 = 14400 10000 Выборочная средняя: x=

1000 ×10 +1200 ×120 +1400 × 70 = 1260 час 200

Выборочная дисперсия: s2 =

(1000 -1260) 2 ×10 + (1200 -1260) 2 ×120 + (1400 -1260) 2 × 70 = 12400. 200

Не трудно видеть, что генеральные и групповые характеристики различаются. Систематическая ошибка репрезентативности возникает при неправильном образовании выборочной совокупности. Разность между выборочной и генеральной средней и есть ошибка репрезентативности. Математическая теория выборочного метода состоит в определении средней величины случайных ошибок репрезентативности и возможных границ их при различных способах образований выборочной совокупности. Существуют следующие виды выборок: а) типический отбор — генеральную совокупность предварительно разбивают на непересекающиеся группы определенного типа. Затем из каждой группы отбирают неодинаковое число элементов — они и образуют выборочную совокупность. б) механический отбор — генеральную совокупность механически делят на несколько групп через определенные интервалы не различая типа. в) серийный отбор — объекты отби рают ся не по одному, а се рия ми. Если отобранный объект возвращается в генеральную совокупность, то выборку называют повторной. Если отобранный объект не возвращается в генеральную выборку, то выборку называют бесповторной. 6

Практика показывает, если объем выборки большой (не менее 30–40), то выборочная и генеральная дисперсии практически совпадают и вместо неизвестной генеральной дисперсии можно использовать выборочную дисперсию. Если же объем выборки небольшой (меньше 30–40), то вместо генеральной дисперсии можно пользоваться исправленной формулой: n

s 12 =

å( x

i

- x)

i =1

n -1

2

.

(4.3.5)

Определение 5. Вероятность, с которой гарантируются результаты выборки, называется доверительной вероятностью b. Определение 6. Наибольшее отклонение выборочной средней от генеральной, которое может иметь место с заданной доверительной вероятностью невыхода за эти границы, называется предельной ошибкой выборки D. Определение 7. Вероятность того, что отклонение случайной величины х, распределенной по нормальному закону, от ее математического ожидания Е не превзойдет по абсолютной величине D, равна: æDö P ( x - E £ D ) = Fç ÷, ès ø

(4.3.6)

где через s обозначена средняя квадратическая ошибка выборки, а функция F( x ) называется интегралом вероятности: F( x ) =

x æ t2 2 çexp ç 2 2 p ò0 è

ö ÷dt . ÷ ø

(4.3.7)

Данная функция нечетна и при x ® ¥ очень быстро приближается к своему пределу, который равен 1. Поэтому уже при х = 5 она практически не отличается от 1: Ф(5) =0,99999994. Интеграл вероятности табулирован и любые его значения можно найти в таблицах. Определение 8. Предельная ошибка выборки равна t-кратной величине средней квадратической ошибки, причем t есть то значение аргумента, при котором функция Ф(х) равна заданной доверительной вероятности b: 7

æDö Fç ÷ = b. ès ø

(4.3.8)

По таблице значений функции Ф(х) найдем значение аргумента t, при котором она равна b . Тогда последнее равенство приводит нас к соотношению: D = t, откуда D = t × s. s

(4.3.9)

Таким образом, предельная ошибка выборки вычисляется по следующим формулам: а) для повторной выборки D =t

s2 n

(4.3.10)

б) для бесповторной выборки æs2 æ n D = t × çç ç1 è n è N

öö ÷ ÷÷. øø

(4.3.11)

Пример. Требуется определить урожайность на большом массиве. Выборочное обследование урожайности дало следующие результаты: Обследованная территория (га) 100 250 450 200 1000

Урожайность (ц/га) 11–13 13–15 15–17 17–19

Решение. Примем доверительную вероятность b = 0,9973. Из таблицы для интеграла вероятности находим: Ф(t) = 0,9973, t = 3. Вычисляем дисперсию: s 2 = 315 , , n = 1000, N = 10000. æ 315 , æ 1000 ö ö D = 3 × çç , . ç1 ÷ ÷÷ » 016 1000 10000 è øø è 8

Таким образом, ошибка определения урожайности по выборочному обследованию составляет не более 16%. Из формулы (4.25) можно определить объем репрезентативной выборки: n=

t 2 × s 20 D2

,

(4.3.12)

где генеральная дисперсия заменена на выборочную. Для того же примера: n=

9 × 315 , » 1000. 016 , 2

4.3.2. Законы распределения 1) В разделе 4.1 мы узнали какую информацию можно извлечь при первичном анализе вариационных рядов — это среднее значение признака и дисперсия, как мера его рассеяния. Однако задачей всякого научно поставленного эксперимента или наблюдения является предвидение хода развития того или иного явления или процесса. Данную задачу позволяют решать сведения, полученные с помощью теории вероятностей. Итак, если есть вариационный ряд, то во-первых мы должны найти вид распределения интересующего нас признака в генеральной совокупности, а, во-вторых, проверить правильность нашего выбора, то есть проверить согласованность имеющегося эмпирического материала с предполагаемым теоретическим распределением признака в генеральной совокупности (поиск критериев согласия). 2) Чтобы найти закон распределения случайного признака, необходимо: а) вычислить среднюю арифметическую и дисперсию вариационного ряда, б) найденную среднюю арифметическую принять за математическое ожидание, а дисперсию вариационного ряда — за дисперсию искомой случайной величины, в) составить выражения плотности вероятности и функции распределения с параметрами, установленными в соответствии с указаниями в предыдущем пункте. 9

Пример. Рассмотрим данные таблицы 4.1 о распределении по росту взрослых рабочих. Требуется найти закон распределения данной случайной величины (роста). Решение. По теореме Ляпунова мы вправе предположить, что искомая величина распределена по нормальному закону. Основные параметры вариационного ряда 4.1 были вычислены ранее: x =165,53 см, s 2 = 36,5751, s = 6,048. Принимая эти величины соответственно за математическое ожидание, дисперсию и среднее квадратическое отклонение искомой случайной величины, мы получим выражения плотности вероятности и функции распределения искомой случайной величины: f н ( x) =

é ( x -165,53) 2 ù × exp êú 6,048 × 2 p ë 2 × 36,5751 û 1

1 æ x -165,53 ö F н ( x ) = 0,5 + × Fç ÷ 2 è 6,048 ø 3) Критерий согласия В рассмотренном выше примере, из 1000 мужчин 173 должны иметь рост от 161 до 164 см, между тем как в действительности их оказалось 181. Объяснения этих расхождений могут быть такие: а) Несовпадение между опытными и теоретическими данными объясняются случайностью отбора отдельных элементов или результатов единичных наблюдений, а выбранный закон нормального распределения случайной величины соответствует опытным данным. б) Различия между теоретическими данными и наблюденными объяснить случайностью нельзя, значит опытное и теоретическое распределения противоречат друг другу. Сделать правильный выбор между первым и вторым выводом, один из которых исключает другой, нам поможет критерий согласия. Критерий согласия и является тем правилом, которое дает возможность, опираясь на установленный закон распределения, установить, когда полученное в действительности указанное отклонение следует признать несущественным, случайным, а когда существенным, неслучайным. Предположим, что известен закон распределения случайной величины Х, которая характеризует функцию расхождений между теоре10

тическим и опытным распределениями. С другой стороны, имея опытное распределение признака и вычисленную на основе его эмпирическую функцию распределения, мы можем найти значение a , которое в рассматриваемом случае приняла случайная величина X. Закон распределения случайной величины Х определяет вероятность того, что она примет какое-нибудь значение, не меньше a . Пусть эта вероятность равна b: P( X ³ a ) = b Если вероятность b очень мала, то это будет означать, что наступило маловероятное событие. Но согласно принципу практической уверенности при однократном наблюдении маловероятное событие не должно было наступить, то есть расхождение между предполагаемым теоретическим и опытным распределениями не случайно и теоретический закон следует отвергнуть. Этот вывод базируется на том, что если бы в действительности изучаемый признак был распределен по предположительному закону, то такого значения случайная величина Х не должна была принять. Если же вероятность b велика (»1), то расхождение между эмпирическим и теоретическим распределениями следует признать несущественным, случайным, а потому должны считать, что опытное и теоретическое распределения согласуются друг с другом. Обычно считают вероятности, не превосходящие 0,01, уже «достаточно малыми» и принимают за границу маловероятных событий. Существует много критериев согласия. Рассмотрим наиболее распространенный критерий c-квадрат (Пирсона). Критерий согласия c-квадрат: Пусть в результате наблюдений получен вариационный ряд с опытными частотами, сумма которых дает объем совокупности: n = n1 + n 2 +K + n m Пусть мы выбрали некоторый теоретический закон распределения для рассматриваемого признака и сумма теоретических частот также равна объему совокупности: n = n10 + n 20 +K + n m0 В качестве меры расхождения теоретического и эмпирического рядов частот выберем величину: 11

2

m

c =å

(n

i =1

i

- n i0

)

2

(4.3.13)

n i0

Из этого выражения видно, что c 2 равна нулю лишь в том случае, когда все соответствующие эмпирические и теоретические частоты совпадают. В остальных случаях c 2 отлично от нуля и тем больше, чем больше расхождение между указанными частотами. Величина c 2 имеет c 2 -распределение. Число степеней свободы данного распределения равно: k =m-s,

(4.3.14)

где m — число групп эмпирического распределения, а s — число параметров теоретического закона, найденных с помощью эмпирического распределения, вместе с числом дополнительных соотношений, которым подчинены эмпирические частоты. Критерий c 2 требует, чтобы наблюденные частоты были не малы. Общая схема применения критерия c 2 выглядит так: а) на основе опытных данных выбрать в качестве предполагаемого закон распределения изучаемого признака и найти его параметры. б) определить теоретические частоты на основе полученного закона распределения. Если среди опытных частот имеются малочисленные, их необходимо объединить с соседними. в) вычислить по формуле (4.3.13) величину c 2 . Пусть она оказалась равной c 20 . г) определить число степеней свободы по формуле (4.3.14). д) по таблице для c 2 -распределения по полученным значениям c 2 и k найти вероятность того, что случайная величина, имеющая c 2 -распределение, примет какое-нибудь значение, не меньше c 20 . Пусть она равна b: P(c 2 > c 20 ) = b е) сформулировать вывод, руководствуясь общим принципом применения критерия согласия, а именно: если вероятность b окажется больше 0,01, то следует считать несущественными имеющиеся расхождения между теоретическими и опытными частотами, а опытное распределение — согласующимся с теоретическим. В противном случае 12

(b = 1) указанные расхождения признаются неслучайными, а закон распределения, избранный в качестве предполагаемого теоретического, отвергается. Пример. Проверить, согласуются ли данные Таблицы 4.1, с предположением о том, что рост мужчин является случайной величиной, распределенной по нормальному закону. Решение. Все основные данные были получены ранее. Число групп частот m = 11, s = 3. Значит k = 11 – 3 = 8. При c 20 = 13427 и k = 8 находим по таблице вероятность того, что , случайная величина, имеющая c 2 -распределение, примет значение не меньшее 1,3427: P(c 2 > c 20 ) = 0,99 Полученная вероятность значительно больше 0,01, следовательно имеющиеся расхождения между теоретическими и опытными частотами случайны, а предположение о том, что рост мужчин следует нормальному закону, хорошо согласуется с наблюдениями. 4) Дисперсионный анализ Пусть генеральная совокупность разбита на K групп. Среднюю арифметическую из выборочных (групповых) дисперсией будем называть внутригрупповой дисперсией (остаточной): s

2 вн.гр.

ås =

2 K

×N K

K

N

.

Средняя каждой группы может варьировать вокруг общей генеральной средней. В этой связи можно ввести межгрупповую дисперсию. s 2меж.гр. =

å( X

K

)

- X0 NK

K

N

.

Так как разбиение на группы обусловлено действием какого-то фактора, то межгрупповая дисперсия как бы отражает действие этого фактора. 13

По теореме сложения дисперсий: s 20 = s 2вн.гр. + s 2меж.гр. . Разделим полученные дисперсии на соответствующие им степени свободы К: S 02 =

s 2вн.гр. s 2меж.гр. s 20 2 2 ; S вн.гр. ; S меж.гр. . = = K0 K вн.гр. K меж.гр.

Отношение: F Ф =

2 S меж.гр. 2 S вн.гр.

служит критерием оценки влияния на

признак регулируемых факторов (критерий Фишера). Нулевая гипотеза предполагает, что обе дисперсии равны друг другу, то есть нет никакого действия внешнего фактора. Если дисперсии отличаются друг от друга, тогда сравнивают получаемое отношение с табличным значением F st для принятого уровня значимости и для известных чисел степеней свободы. Если F Ф > F st , для принятого уровня значимости, то нулевая гипотеза отвергается. Пример: Урожай кукурузы в трех повторностях при 4 уровнях фактора А: Урожай по повторности Xn n

А1 21,2 28,0 31,2 3

Градация фактора А (удобрений) А2 А3 А4 23,6 24,0 29,2 22,6 30,0 28,0 28,0 29,2 27,0 3 3 3

а 4 4 N =12

Дисперсия s 20 = 112,55; s 2A = 20,23; s 2вн.гр. = 92,32. K 0 = N -1 = 12 -1 = 11; K A = a -1 = 4 -1 = 3; K вн.гр. = N - a = 12 - 4 = 8. s 2вн.гр. 92,32 s 2 20,23 2 S A2 = A = = 6,743; S вн.гр. = = = 1154 , . KA 3 K вн.гр. 8 FФ = 14

1154 , = 1,71. 6,74

Табличное значение F st = 8,8, при K вн.гр. = 8 и K A = 3 для 5% уровня значимости, то есть F Ф < F st , таким образом нулевая гипотеза остается: фактор не влияет на урожай. 4.3.3 Корреляционный анализ 1) Математика изучает функциональные связи, например, между радиусом круга R и его площадью S: S = pR 2 . Функциональная связь имеет место по отношению к каждому отдельному наблюдению. В то же время существуют связи, которые проявляются только в среднем для большой совокупности наблюдений. Еще Гиппократ заметил, что между телосложением и темпераментом людей существует определенная связь. Можно привести несколько примеров из сельского хозяйства: связь между телосложением животного и его продуктивностью; связь между размером семян и их урожайностью и так далее. Такие связи называются статистическими или корреляционными (correlatio — связь). Корреляционная связь между признаками может быть линейной и нелинейной (криволинейной). Ограничимся рассмотрением двух признаков x и y. В статистике обычно имеют дело с варьирующими признаками. Определение 9: степень сопряженности между двумя варьирующими признаками x и y характеризуется показателем, который называют ковариацией (cov): cov =

1 [å( x i - x )(y i - y )]. n

Недостатком ковариации является то, что она не учитывает случаи, когда признаки x и y выражаются в разных единицах. Этот недостаток легко устранить, если взять отношение между отклонением ( x i - x ) и средне квадратическим отклонением s x . В результате мы приходим к понятию коэффициента корреляции. Корреляционные связи между признаками могут быть линейными и нелинейными. 15

2) Линейные корреляционные связи а) Пусть получено следующее распределение 100 га пахотной земли по количеству внесенных удобрений х и урожайности у: Таблица 4.3 УРОЖАЙНОСТЬ (ц/га) У 9–11 11–13 13–15 15–17 17–19 19–21 Итого (га) Д 0–20 9 4 1 — — — 14 О Б 20–40 1 10 9 3 — — 23 Р 40–60 — 2 6 14 6 — 28 Е Н 60–80 — — 1 10 18 6 35 И Я 16 17 27 24 6 100 (ц/га) Итого (га) 10 Например, число 4 в этой таблице показывает, что если на каждый гектар было внесено от 0 до 20 ц удобрений, то на 4 га урожайность оказалась от 11 до 13 ц/га. Переходя к дискретному распределению, получим корреляционную таблицу: Таблица 4.4 УРОЖАЙНОСТЬ (ц/га) У Д 10 О Б 30 Р 50 Е Н 70 И Я Итого (га) (ц/га)

10 9

12 4

14 1

16 —

18 —

20 —

Итого (га) 14

1

10

9

3

—

—

23

—

2

6

14

6

—

28

—

—

1

10

18

6

35

10

16

17

27

24

6

100

Совокупность значений х разбивается на четыре группы: I — 14 га , II — 23 га , III — 28 га , IV — 35 га. На каждую группу внесено одно и то же количество удобрений. 16

Средняя урожайность в каждой группе: 10 × 9 +12 × 4 +14 ×1 » 10,86 ц / га 14 10 ×1 +12 ×10 +14 × 9 +16 × 3 y2 = » 13,22 ц / га 23 12 × 2 +14 × 6 +16 ×14 +18 × 6 y3 = » 15,71 ц / га 28 14 ×1 +16 ×10 +18 ×18 + 20 × 6 y4 = » 17,66 ц / га 35 y1 =

Таким образом, увеличение количества удобрений ведет к увеличению урожайности: Таблица 4.5 кол. удобр. х 10 30 50 70

средн. урож. yi 10,86 13,22 15,71 17,66

изм. по сравн. с предш. — +2,36 +2,49 +1,95

График зависимости урожайности (y ) от количества внесенных удобрений (x) на рис. 4.12 соответствует прямой АВ:

Рис. 4.12

17

Не трудно видеть, что зависимость урожайности от количества удобрений близка к линейной: (4.3.15) y = ax + b Поменяем местами х и у. Совокупность данных разобьем на группы с одной и той же урожайностью. Таких групп шесть: I — 10 ц /га, II —12 ц/га, III — 14 ц/га, IV — 16 ц/га, V — 18 ц/га, VI — 20 ц/га. Каждому значению урожайности соответствует среднее количество внесенных удобрений: 10 × 9 + 30 ×1 = 12 ц 10 10 × 4 + 30 ×10 + 50 × 2 = = 27,5 ц 16 10 ×1 + 30 × 9 + 50 × 6 + 70 ×1 = = 38,2 ц 17 30 × 3 + 50 ×14 + 70 ×10 = = 55,2 ц 27 50 × 6 + 70 ×18 = = 65,0 ц 24 70 × 6 = = 70,0 ц 6

x1 = x2 x3 x4 x5 x6

На рис.4.12 полученная зависимость изображена прямой CD. Не трудно видеть, что и здесь наблюдается линейная зависимость: (4.3.16)

x = cy + d

Но прямая CD отличается от прямой AB. Таким образом мы установили, что связь между признаками линейная, но значений коэффициентов a,b,c,d мы пока не знаем. Уравнения (4.3.15) и (4.3.16) называются уравнениями регрессии. В общем случае: s

åx x=

i =1 s

s

ån i =1

18

åx

i nxi

= xi

i

i =1

n

nxi (4.3.17)

t

n x i = n i 1 + n i 2 +K+n i j +K+n i t = å n i j

(4.3.18)

i =1

t

åy y=

t

j

j =1

åy

n yj =

t

ån j =1

j

j =1

n yj (4.3.19)

n

yj s

n y j = n1 j + n 2 j +K+n i j +K+n s j = å n i j

(4.3.20)

i =1

s

t

s

t

i =1

j =1

n = å å ni j = å nxi = å n y j i =1 j =1

(4.3.21)

в) Метод наименьших квадратов Рассмотрим линейную корреляционную зависимость у на х. Наша задача — по данным корреляционной таблицы, по соответствующим частотам и групповым средним найти уравнение прямой регрессии у на х и отыскать параметры a и b. Построим в прямоугольной системе координат точки A1 ( x 1 ; y 1 ); A2 ( x 2 ; y 2 ); … As ( x s ; y s ) и произвольную прямую CD: y = ax + b.

Рис. 4.13

Искомой прямой будем считать ту, которая ближе всего расположена к точкам A1 ; A2 ;K As . Критерием близости является сумма наименьших квадратов. 19

Рассмотрим сумму квадратов отклонений по ординате точек A1 ; A2 ;K As от точек A10 ; A20 ;K As 0 , лежащих на прямой CD. Обозначим эту сумму S: S = n x 1 ( A1 A10 ) 2 + n x 2 ( A2 A20 ) 2 +K+n x s ( As As 0 ) 2

(4.3.22)

Из уравнения y = ax + b получаем ординаты точек Ai 0 : A1 A10 = ax 1 + b - y 1 A1 A20 = ax 2 + b - y 2 и т.д. Тогда (4.3.22) можно представить так: S = n x 1 (ax 1 + b - y ) 2 + n x 2 (ax 2 + b - y 22 )+K+n x s (ax s + b - y s2 ) (4.3.23) Таким образом, хорошо видно, что S — функция двух независимых переменных a и b. Для искомой прямой сумма S минимальна. Необходимым условием экстремума функции является обращение в нуль ее частных производных первого порядка по всем переменным: ¶S = n x 1 2(ax 1 + b - y 1 ) + n x 2 2(ax 2 + b - y 2 )+K+n x s 2(ax s + b - y s ) = 0 ¶b ¶S = n x 1 2(ax 1 + b - y 1 ) x 1 + n x 2 2(ax 2 + b - y 2 ) x 2 +K+n x s 2(ax s + b - y s ) x s = 0 ¶a Сокращая на 2 и группируя члены с a и b, получим: (n x 1 x 1 + n x 2 x 2 +K+n x s x s )a + (n x 1 + n x 2 +K+n x s )b = = n x 1 y 1 + n x 2 y 2 +K+n x s y s (n x 1 x 12 + n x 2 x 22 +K+n x s x s2 )a + (n x 1 x 1 + n x 2 x 2 +K+n x s x s )b = = n x 1 x 1 y 1 + n x 2 x 2 y 2 +K+n x s x s y s или s

åx a

i =1

åx 20

2 i

i =1

n

ån

nxi +b

n s

a

s

i

i =1

s

åy

xi

=

n

åx

+ b i =1

nxi

n

s

nxi

1

i =1

(4.3.24)

s

i

n

åx

ni =

i =1

i

y i nxi

n

Используя равенства (4.3.16)–(4.3.20) и свойство среднего: s

åy

nxi

i

i =1

=y

n

Из первого уравнения (4.3.24) получим: ax + b = y откуда: (4.3.25)

b = y - ax Подставим полученное значение b в (4.3.15): y - y = a( x - x )

Полученное уравнение показывает, что прямая CD проходит через точку с координатами ( x ; y ) — то есть это средняя точка корреляционного графика. Осталось найти коэффициент а. Коэффициент а называется коэффициентом регрессии у на х и обозначается r y x . Из второго уравнения (4.3.24) найдем а: для этого заменим b на (4.3.25), а коэффициент при нем — на x: s

åx ry

2 i

i =1

x

nxi + (y - r y x x ) x =

n

1 å nxi x i y i n

(4.3.27)

В правой части (4.3.27) заменим y i на (4.3.18): t

1 s å x i nxi n i =1

åy

s

i n ij

j =1

nxi

t 1 s = å x i å y j n ij = n i =1 j =1

t

åå x i =1 j =1

n

i

y j n ij = xy

(4.3.28)

и уравнение (4.3.27) приобретает вид: r y x ( x 2 - x 2 ) = xy - x × y

(4.3.29)

Но ( x 2 - x 2 ) = s 2x ,

(4.3.30)

поэтому ry

x

=

xy - x × y s 2x

(4.3.31) 21

Обозначим m = xy - x × y Тогда r y

x

=

(4.3.32)

m s 2x

(4.3.33)

Таким образом, задача о нахождении прямой регрессии у на х решена. Аналогично можно получить уравнение прямой регрессии х на у: (4.3.34)

( x - x ) = r x y (y - y ) где r x

y

=

xy - x × y m = 2 2 sy sy

(4.3.35)

s 2y = y 2 - y 2

(4.3.36)

Итак, для получения прямых регрессии необходимо вычислить средние x и y , дисперсии s 2x и s 2y и коэффициент регрессии r y x и r x y . Пример 1. По данным Таблицы 4.4 составить уравнения регрессии между количеством удобрений х и урожайностью у . Порядок вычислений: 2 • находим x = 46,8 ц/га; s x = 445,76 , ц/га; s 2y = 8,02 • находим y =1514 • определяем m = 50,448 • вычисляем коэффициенты регрессии r y • составляем уравнения регрессии:

x

= 0113 , ; rx

y

= 6,290

y = 0113 , x + 9,852 x = 6,290y - 48,431 г) После установления прямой и обратной регрессионной связи между х и у, возникает проблема выяснения силы (тесноты) этой связи, то есть оценки рассеяния случайной величины относительно линии регрессии. Мерой такой оценки может служить коэффициент корреляции. 22

Определение: коэффициентом корреляции r переменных х и у, между которыми предполагается линейная корреляционная связь, называется среднее геометрическое их коэффициентов регрессии: r = ± r y x ×r x y , причем знак «+» берется, когда оба коэффициента положительны, и знак «–», когда они отрицательны. У коэффициентов регрессии всегда знаки одинаковы. Используя формулы (4.3.33) и (4.3.35) можно получить следующую формулу для коэффициента корреляции: r=

m s xs y

Теперь уравнения регрессии примут вид: y -y = r x-x =r

sy sx

(x - x)

sx (y - y ) sy

Пример 2. По данным Таблицы 4.4 вычислить коэффициент корреляции между количеством удобрений и урожайностью. Решение. r y

x

= 0113 , ; rx

y

= 6,290; r = + 0113 , × 6,290 = 0,843.

Свойства коэффициента корреляции: 1. Абсолютная величина коэффициента корреляции не превосходит 1. -1 £ r £ 1 2. Необходимым и достаточным условием того, что х и у связаны линейной функциональной связью у=ах+b является равенство r=±1 (см. рис. 4.14). 3. Если регрессия у на х точно линейная и коэффициент корреляции равен нулю, то между у и х нет линейной корреляционной связи (см. рис. 4.15). 23

4. Если между переменными х и у отсутствует хотя бы одна из корреляционных связей, то коэффициент корреляции r равен нулю. 5. Выполнение условия r = ±1 является необходимым и достаточным для того, чтобы прямые регрессии у на х и х на у совпадали. 6. Коэффициент корреляции является мерой тесноты линейной корреляционной связи между х и у . Когда он равен нулю, х и у не могут находиться в линейной корреляционной зависимости. Степень их корреляционной связности растет при приближении r к ± 1, причем линейная связь будет функциональной, когда коэффициент корреляции равен ±1. (см. рис.4.16). д) Графическое изображение коэффициента корреляции Функциональная связь r =1

Отрицательная корреляция r = -1.

Рис. 4.14

Независимые признаки r = 0.

Рис. 4.15

24

Степень сгущения говорит о величине корреляции r = +0,8 r = +0,5

Рис. 4.16

3) Нелинейные корреляционные связи а) Пусть связь между х и у выражается примерно в виде параболы: Y = a0 + a1 x + a2 x 2

(4.3.38) Таблица 4.7 xi

yi

nxi

x1

y1

nx1

x2

y2

nx2

…

…

…

xi

yi

nxi

…

…

…

xs

ys

nx s

Искомой параболой будет та, для которой будет минимальной сумма квадратов отклонений по ординате точек A1 ; A2 ; …; As от соответствующих точек A10 ; A20 ; …; As 0 (с одинаковыми абсциссами). То есть следует найти минимум функции S: S = n x 1 ( A1 A10 ) 2 + n x 2 ( A2 A20 ) 2 +K+n x s ( As As 0 ) 2

(4.3.39)

Полагая в уравнении (4.3.38) x = x 1 ; x 2 ;K; x s , получим ординаты точек A10 ; A20 ;K; As 0 : 25

Y i = a0 + a1 x i + a2 x i2 Cледовательно: Ai Ai 0 = a0 + a1 x i + a2 x i2 - y i Подставив данные выражения в (4.3.39) получим: S = n x 1 (a0 + a1 x 1 + a2 x 22 - y 12 ) + n x 2 (a0 + a1 x 1 + a2 x 22 - y 22 ) + + n x s (a0 + a1 x 1 + a2 x 22 - y s2 ) Теперь мы получили S как функцию трех независимых переменных a0 ; a1 ; a2 . Условия экстремума данной функции: ¶S ¶S ¶S = 0; = 0; = 0. ¶a0 ¶a1 ¶a2 Нахождение частных производных аналогично случаю линейных корреляционных связей. Приведем окончательный вид системы уравнений: s

s

i =1

i =1

a0 å n x i + a1 å x i n x i + a2 å x i2 n x i = å y i n x i s

a0 å x i n x i + a1 å x i2 n x i + a2 å x i3 n x i = å x i y i n x i

(4.3.40)

i =1

a0 å x i2 n x i + a1 å x i3 n x i + a2 å x i4 n x i = å x i2 y i n x i Пример 1. Найти уравнение зависимости урожайности у от глубины орошения х. Таблица 4.8

г л у б и н а

26

0 10 20 30 40 50 Итого n y i

10 4 — — — — 2 6

Урожайность (y i ) 12 14 1 — 2 3 1 4 2 2 2 3 2 2 10 14

16 — 2 4 3 1 — 10

Итого n x i 5 7 9 7 6 6 40

Вычислим групповые средние у при различных значениях х: y 1 = 10,4; y 2 = 14; y 3 = 14,7; y 4 = 14,3; y 5 = 13,7; y 6 = 12. Не трудно заметить, что групповые средние сначала возрастают, а затем начинают убывать. Это дает основание предполагать, что между переменными х и у существует параболическая связь вида (4.3.38). Вычисляя коэффициенты в системе (4.3.40) получим следующую систему уравнений: 40a0 +1000a1 + 35200a2 = 536 1000a0 + 35200a1 +1402000a2 = 13500 35200a0 +1402000a1 + 60040000a2 = 463800 Решая данную систему (например, методом Гаусса), получим: a2 = -0,0055; a1 = 0,2913; a0 = 10,9575. Искомое уравнение параболической регрессии у на х имеет вид: y x = (0,9575 + 0,2913 x - 0,0055 x 2

(4.3.41)

Для обратной регрессии х на у: x y = b0 + b1 y + b2 y 2 коэффициенты b0 ; b1 ; b2 находим аналогично предыдущему случаю. б) Пусть связь между х и у выражается в виде гиперболы: yx =

a c + b или x y = + d x y

(4.3.42)

Такая связь называется гиперболической. Рассмотрим сначала гиперболическую связь у на х . Введем новую 1 переменную z = , тогда уравнение (4.3.42) будет иметь вид: x y x = az + b, то есть между y и z существует линейная корреляционная связь. Параметры a и b такие же как и в случае линейной корреляционной связи. Возвращаясь к переменной х и получаем систему уравнений: 27

s s 1 aå n x i + bå n x i = å y i n x i i =1 x i =1 s

aå i =1

1 1 1 n + bå n x i = å y i n x i 2 xi xi xi x

для определения параметров a и b. Аналогично получаем гиперболическую связь х на у. Пример 2. Даны распределение 30 предприятий по объему выпускаемой продукции за 1 день (х) и себестоимость единицы продукции (у) Таблица 4.9 Себестоимость (у) о б ъ е м

100

110

120

130

Итого n x i

50 100 150 200 250

— — — 1 4

— 3 6 4 1

1 3 2 — —

3 — 1 1 —

4 6 9 6 5

Итого n y

5

14

6

5

30

Требуется найти уравнение регрессионной зависимости х и у. Найдем групповые средние: 120 ×1 +130 × 3 110 × 3 +120 × 3 y1 = = 127,5; y 2 = = 115 4 6 y 3 = 114,4; y 4 = 111,7; y 5 = 102 Не трудно заметить, что между х и у наблюдается гиперболическая зависимость. Вычисляя необходимые параметры, получим систему уравнений: 0,25a + 30b = 3410 0,00283a + 0,25b = 29,36 Решаем данную систему: a =112,8; b =103,2. В итоге, уравнение гиперболической регрессии у на х: yx = 28

112,8 +103,2. x

в) Пусть связь между х и у выражается показательной функцией: y x = ba x или x y = dc y

(4.3.43)

Логарифмируем данное выражение: lg y x = x lg a + lg b То есть lg y x и х связаны линейной корреляционной связью с параметрами lg a и lg b. Следовательно, система уравнений имеет вид: s

s

i =1

i =1

lga × å n x i x i + lgb × å n x i = å lgy i × n x i s

(4.3.44)

s

2 i

lga × å n x i x + lgb × å n x i x i = å n x i x i × lgy i i =1

i =1

Решая данную систему, находим lga и lgb, по которым можем найти параметры a и b. 4) Множественная корреляция Известно, что урожайность зависит не только от количества внесенных удобрений, но и от сроков уборки, количества осадков и т.д. Пусть параметр z зависит от двух переменных х и у. Произведено n наблюдений с результатами: Таблица 4.10 xj x1

yk y1

zl z1

ni n1

x2

y2

z2

n2

K xm

K ym

K zm

K nm

—

—

n

Пусть наблюдается простейшая связь — линейная: z = ax + by + c

(4.3.45)

a, b, c — постоянные коэффициенты. Требуется найти такое уравнение, чтобы вычисленные значения z наилучшим образом, в смысле метода наименьших квадратов, воспроизводили опытные данные. 29

Подставляя в (4.3.45) значения x i и y i , получим величину Z i , отличную от значения zi из таблицы 4.10. Разность Z i - zi характеризует расхождение между наблюденными и вычисленными значениями. Сумма квадратов таких отклонений: m

S = å(ax i + by i + c - zi2) n i

(4.3.46)

i =1

Условие минимума S: m ¶S = 2 å(ax i + by i + c - zi ) n i = 0 ¶c i =1 m ¶S = 2 å(ax i + by i + c - zi ) y i n i = 0 ¶b i =1 m ¶S = 2 å(ax i + by i + c - zi ) x i n i = 0 ¶a i =1

Относительно коэффициентов a,b,c система уравнений примет вид: m

ån

m

åx

i

c i =1 n

+ a i =1

m

åy c

i

+ b i =1

n

åx

n +a

n m

c

åy

ni

m

i

i

i =1

n

+a

i

2 i

i =1

n

åy

y i ni +b

n

åx

ni

i

= m

i =1

m

åz n

n

n

m

i =1

åx

m

i

2 i

n m

i =1

n

=

åx

+ b i =1

i

n

åx

y i ni

n

c + ax + by = z cy + axy + by 2 = yz c x + ax 2 + bxy = xz Выразим с из первого уравнения: c = z - ax - by и подставим во второе и третье:

zi n i

i

i =1

m

или

30

åy

ni

m

ni

i

i =1

=

i

zi n i

i =1

n

a( xy - x × y ) + b(y 2 - y 2 ) = yz - y × z a( x 2 - x 2 ) + b( xy - x × y ) = xz - x × z Воспользуемся выражением для дисперсии: a( xy - x × y ) + bs 2y = yz - y × z

(4.3.47)

as 2x + b( xy - x × y ) = xz - x × z Используем, ранее выведенные соотношения: rxy =

xy - x × y yz - y × z xz - x × z ; rxz = ; r yz = s xs y s xs z s ys z

получим: xy - x × y = rxy s x s y xz - x × z = rxz s x s z yz - y × z = r yz s y s z Подставляя в (4.3.47): arxy s x + bs y = r yz s z as x + brxy s y = rxz s z находим a и b: a=

rxz - rxy × r yz s z × sx 1 - rxy2

b=

r yz - rxz rxy s z × sy 1 - rxy2

Таким образом, уравнение регрессии определено. Степень, или теснота, множественной линейной корреляционной связи Определяется совокупным коэффициентом корреляции: R=

rxy2 + r yz2 - 2 rxz r yz rxy 1 - rxy2 31

Свойства совокупного коэффициента корреляции: 1) Совокупный коэффициент корреляции изменяется от 0 до 1. 2) Если R равен нулю, то z не может быть линейно связан с х и у. 3) Если R равен 1, то z связан с х и у функциональной связью. 4) Если R отличен от 0 и 1, то при приближении R к 1 теснота линейной связи z с х и у увеличивается.

Задания для самостоятельной работы: 1. Выборочное обследование партии деталей объемом в 2000 штук дало следующий результат: брак

1

1

2

3

1

1

Обследованный объем

10

10

30

30

10

10

а) найти предельную ошибку выборки для доверительной вероятности b =0,7017 б) определить объем репрезентативной выборки. 2. Из партии в 10000 изделий проверено 2000. Среди них оказалось 400 изделий 2-го сорта. Какова предельная ошибка выборки деталей 2-го сорта для доверительной вероятности b =0,99. 3. При изучении расщепления признаков у растений томата по окраске плодов получено 310 красных плодов и 90 желтых. Теоретически ожидалось отношение 3:1. Определить, подтверждается ли принятая гипотеза на уровне значимости b = 0,05. 4. В 7 случаях из 10 фирма В действовала на рынке так, как будто ей заранее были известны решения, принимаемые фирмой-конкурентом А. На уровне значимости =0,05 определить, случайно ли это, или на фирме А работал осведомитель фирмы-конкурента. 32

5. Связь между х и у задана корреляционной таблицей: x/y 1 2 3 4

10 1 — — —

20 2 2 1 —

30 — 2 1 2

40 — — — 1

Найти уравнение регрессии у на х. 6. Связь между х и у задана корреляционной таблицей: x/y 1 3 5 7

2 3 — — —

4 2 2 1 —

6 — 3 3 2

8 — — — 1

Найти уравнение регрессии у на х.

33

4.4 СЛУЧАЙНЫЕ ПРОЦЕССЫ 4.4.1 Основные понятия 1) Случайным процессом будем называть множество случайных величин X (t ), изменяющихся в зависимости от времени или какого-либо другого параметра. Параметр t может быть дискретным или непрерывным. Случайные величины X (t ) тоже могут принимать дискретные или непрерывные значения. Так как речь идет о множестве случайных величин, то их взаимозависимость может быть охарактеризована только многомерными распределениями. Случайный процесс считается заданным, если для набора t 1 ,t 2 ,K,t n указано многомерное распределение: F t1 , t2 ,K, tn ( X 1 , X 2 ,K, X n ) = P{ X 1 (t 1 ), X 2 (t 2 ), K X n (t n )} Случайные процессы X (t ) называются процессами с независимыми значениями, если для любого набора t 1 ,t 2 ,K,t n случайные величины X 1 (t 1 ), X 2 (t 2 ), K X n (t n ) независимы, то есть многомерное распределение случайного процесса с независимыми значениями определяется одномерными распределениями: F t1 , t2 ,K, tn ( X 1 , X 2 ,K, X n ) = F t1 ( X 1 )F t2 ( X 2 )K F tn ( X n ). Математическим ожиданием (средним) случайного процесса X (t ) называется неслучайная функция E [( X (t )], значение которой при фиксированном значении t = t 0 равно математическому ожиданию случайной величины X (t 0 ). Дисперсией случайного процесса X (t ) называется неслучайная 2 функция s 2 (t ) = E[ X (t ) - E [ X (t )]] , значение которой при фиксированном значении t = t 0 равно дисперсии случайной величины X (t 0 ). Таким образом, и математическое ожидание и дисперсия случайного процесса определяются по его одномерным распределениям, поэтому не дают никакого представления о взаимозависимости случайных величин, образующих случайный процесс. Более эффективными характеристиками случайного процесса могут служить понятия ковариации и корреляции. 34

2) Ковариацией двух случайных величин X i и X j называется число s ij , равное математическому ожиданию произведения отклонений случайных величин X i и X j от своих математических ожиданий: s ij = cov( X i , X j ) = E [( X i - E ( X i )( X j - E ( X j ))] . Ковариацию иногда называют вторым смешанным центральным моментом случайных величин X i и X j . Нетрудно показать, что: s ij = E [( X i - E ( X i ))( X j - E ( X j ))] = = E [ X i X j - X j E ( X i ) - X i E ( X j ) + E ( X i )E ( X j )] = = E ( X i X j ) - E ( X j )E ( X i ) - E ( X i )E ( X j ) + E ( X i )E ( X j ) = = E ( X i X j ) - E ( X i )E ( X j ). От сю да лег ко по лу чить: ес ли X i и X j не за ви си мы, то cov( X 1 ; X 2 ) = 0, так как в этом случае E ( X i X j ) = E ( X i )E ( X r j ). Ковариационной матрицей случайного вектора X = ( X 1 ; X 2 K X n ) называется матрица å , элементами которой являются ковариации s ij = cov( X i X j ): æ s 11 ç çs å = ç K21 ç çs è n1

s 12 s 22 K s n2

K s 1n ö ÷ K s 2n ÷ . K K ÷ ÷ K s nn ÷ø

Ковариационная матрица является симметричной (s ij = s ji ) и ее диагональные элементы равны дисперсиям случайных величин X 1 , X 2 ,K, X n : s ii = s 2 ( X i ) . Определитель ковариационной матрицы å называется обобщенной дисперсией. Обобщенную дисперсию можно использовать как меру рассеяния n-мерой случайной величины. Если случайные величины X 1 ; X 2 K X n независимы, то матрица яв ля ется диагональной: cov( X 1 ; X 2 ) = 0. å 35

3) В качестве количественной характеристики зависимости случайных величин используют коэффициент корреляции r, равный ковариации нормированных случайных величин. Например, для двух случайных величин X 1 и X 2 : Y1 =

X1 - E(X1 ) s( X 1 )

; Y2 =

X 2 - E(X 2 ) s( X 2 )

é X - E(X1 ) X 2 - E(X 2 )ù r X 1 X 2 = cov ê 1 ; ú s( X 2 ) û ë s( X 1 ) или r X 1 X 2 =

cov( X 1 ; X 2 )

; cov( X 1 X 2 ) = r X X& s ( X 1 )s ( X 2 ). 1 2 s ( X 1 )s ( X 2 ) Для не за ви си мых слу чай ных ве ли чин: r X 1 X 2 = 0, так как cov( X 1 ; X 2 ) = 0. |r X 1 X 2 | £ 1. Обратное утверждение неверно. 4) Ковариационной функцией случайного процесса X (t ) называется неслучайная функция: B(t , s) = cov[ X (t ), X ( s)] = E [ X (t ) - E ( X (t ))( X ( s) - E ( X ( s))], значение которой при фиксированных значениях t = t 0 , s = s 0 равно коэффициенту ковариации двух случайных величин X (t 0 ) и X ( s 0 ). При t = s B(t , s) = s 2 (t ). Корреляционной функцией случайного процесса X (t ) называется нормированная ковариационная функция: r(s , s) =

B(t , s) . s (t )s ( s)

Для независимых процессов B(t , s) = 0б r(t , s) = 0. 5) Важным классом процессов, для которого E [ X (t )] и B(t , s) полностью определяют многомерные распределения, является гауссовский процесс, многомерное распределение случайных значений которого в моменты t 1 ,t 2 ,K,t n , задается следующей функцией распределения: 1 F t1 , t2 ,K, tn ( X 1 , X 2 ,K, X n ) = ´ n 22 (2 p) |B| X1 Xn r rü ì 1 r r ´ ò K ò exp í - ( X - a ) 2 × B -1 ( X - a )ý dx 1 Kdx n , î 2 þ -¥ -¥

36

где æ X1 ç r ç X2 X =ç M ç çX è n

ö æ E ( X 1 (t 1 )) ö ÷ ç ÷ ÷ r ç E ( X 2 (t 2 )) ÷ ÷; a = ç ÷; B = B(t i ;t j ) M ÷ ç ÷ ÷ ç E ( X (t )) ÷ n n ø è ø

|B| — определитель матрицы B.

r Корреляционной матрицей случайного вектора X = ( X 1 , X 2 ,K X n ) называется матрица R: æ 1 ç çr R = ç 21 L ç çr è n1

r12

r13

1 L

r 23 L

r n2

r n3

L r1 n ö ÷ L r2n ÷ . L L ÷ ÷ L 1 ÷ø

Диагональные элементы R равны 1, поскольку r ii = r X i X i =1. Так как r ij =

cov( X i ; X j ) s Xi s Xj

=

cov( X j ; X i ) s Xj s Xi

= r ji , то R является симмет-

ричной матрицей. |r X 1 X 2 | = 1 только тогда, когда X 1 и X 2 связаны линейной зависимостью, то есть X 2 = aX 1 + b; причем r X 1 X 2 = 1 если a > 0, и r X 1 X 2 = -1, если a< 0. Случайный процесс X (t ) называется стационарным если: E ( X (t )) = const; s 2 = const; B(t , s) = B( s - t ), s > t . 4.4.2 Цепи Маркова 1) Рассмотрим случайный процесс с дискретным временем и дискретным конечным множеством значений (состояний s1 , s 2 ,K s m ), в которых находится элемент (частица) процесса. 37

Пример 1. Каждый сотрудник предприятия в рабочий день может находиться в одном из следующих состояний: s1 — работает, s 2 — в командировке, s 3 — в отпуске, s 4 — болен (то есть состояния не обязательно числовые). Здесь будут рассматривать случайные процессы X (t ), в которых X (t ) принимает значение того состояния, в котором процесс (то есть его элемент) находится в момент времени t. Рассмотрим моменты t 1 ,t 2 ,K,t n : X i = X (t i ) и X i принимает значения s1 , s 2 ,K s m . Процесс называется марковским, если вероятность попасть в состояние X i = s j в момент t i зависит не от всего прошлого, а лишь от состояния X i -1 = s i , в котором процесс был в предыдущий момент времени t i -1 : P [ X (t i ) ] = s j [t i -1 ] = s i = pij , то есть это матри r ца с элементами pij . Матрица P называется матрицей вероятностей перехода, поскольку ее элементы — вероятности переходов из состояния i в состояние j. Пример 2. Множество состояний студента: s1 — первый курс, s 2 – второй курс, s 3 — третий курс, s 4 — четвертый курс, s5 — выпуск, s6 — специалист, окончивший вуз, s7 — отчисление. Составим матрицу переходов студента: p1 — вероятность выбыть на 1-м курсе и так далее; r1 — вероятность перехода на 2-й курс и так далее; q1 — вероятность остаться на 1-м курсе и так далее. Все остальные вероятности равны нулю. æ q1 r1 0 0 0 ç ç 0 q 2 r2 0 0 ç 0 0 q r3 0 3 r ç P = ç 0 0 0 q 4 r4 ç ç 0 0 0 0 q5 ç 0 0 0 0 0 ç è 0 0 0 0 0 s1 s 2 s 3 s 4 s5 38

0 0 0 0 r5 1 0 s6

p1 ö ÷ p2 ÷ p3 ÷ ÷ p4 ÷ ÷. p5 ÷ 1 ÷ ÷ 1 ø s7

Например, для второкурсника (состояние s 2 ) возможны переходы: в состояние s7 — выбыл ( p2 ); s 2 — остался (q 2 ); s 3 — перешел на третий курс (r2 ); p2 + q 2 + r2 = 1 и так далее. 2) Будем рассматривать марковские процессы, для которых разности смежных моментов наблюдения t i - t i -1 равны постоянному числу (шаг = 1) и все возможные состояния перечислены. Такие процессы называются цепями Маркова. Если вероятности переходов не зависят от t, то цепь Маркова называется однородной. Это такие цепи, где вероятности перехода стационарны во времени (это не значит, что стационарным должен быть и случайный процесс). То есть если задано текущее состояние, то вероятности различных состояний через n шагов зависят только от этих n шагов и не зависят от текущего времени. 3) Вычислим вероятность перехода между состояниями за n шагов. Пусть pij (t ) — вероятности переходов за n шагов из состояния s i в s j ; r P (t ) — матрица перехода с элементами pij (t ); t= 1,2,3,… Для t =1 вероятность pij (1) = pij и матрица P (1) = P – переход за 1 шаг. Рассмотрим момент времени t (1< t < t) и состояние s l . Вероятность перехода из состояния s i в состояние s j за время t отлична от 0, если возможен переход из s i в s l за время t (то есть pils > 0) и возможен переход из s l в s j за оставшееся время (t - t > 0), то есть pljt- t > 0 для какоголибо l. Таким образом, вероятность перехода из состояния s i в состояние s j через состояние s l равна pil( s ) ( s)× plj( t - s ) . Для получения вероятности перехода из s i в s j в соответствии с формулой полной вероятности следует пересуммировать также произведения вероятностей по всем промежуточным состояниям l. Имеем: m

pij (t ) = å pls=1 ( s) plj( t - s ) ,

(4.4.1)

l =1

или это можно записать как произведение матриц: r r r P (t ) = P ( s) × P (t - s). Таким образом, можно видеть, что 39

r r r r P (2) = P (1) × P (1) = P 2 , r r r r r r P (3) = P (2) × P (1) = P (1) × P (2) = P 3 и так далее. r r r r r r Итак, P (t ) = P (1)P (t -1) = P (t -1)P (1) = P t , что дает возможность найти вероятности перехода между состояниями за любое число шагов, зная матрицу переходов за один шаг. Нетрудно видеть, что: 1 ì ï pij = , если i - j = 1 2 í ï pij = 0 для остальных переходов, î 1 то есть мы получаем ситуацию: pi ,1 = ( pi -1 + pi + 1 ). Такие соотношения 2 называются рекуррентными. Цепь Маркова называется неприводимой, если каждое ее состояние может быть достигнуто из любого другого состояния; то есть для каждой пары состояний s i и s j существует pij > 0. Пусть {S} — множество всех возможных состояний цепи Маркова. Подмножество S 1 состояний называется замкнутым, если

{ }

нельзя за один шаг перейти из произвольного состояния подмножества S 1 в произвольное состояние подмножества S i1 (дополнено мно-

{ }

{ }

{ }). Если {S } состоит из единственного состояния S , то оно назы-

жеством S

1

1

i

вается поглощающим. Необходимым и достаточным условием того, чтобы состояние S i было поглощающим, является условие pii =1. Если само множество {S} замкнуто и не содержит никакого другого замкнутого подмножества, то оно является неприводимой цепью Маркова. Если же множество содержит замкнутые подмножества, то цепь называется приводимой. Предположим, что мы не хотим возвращаться в каке-либо состояние, в котором уже побывали. Обозначим вероятность такого событиявозвращения в j-состояние через f j — через t шагов. 40

Полная вероятность возвращения когда-либо в j-состояние: ¥

P = å f j = f j — это возвращение в состояние s j ; t — число шагов. t =1

4.4.3 Уравнение Чепмена–Колмогорова До сих пор мы рассматривали однородные марковские процессы, то есть процессы, для которых переходные вероятности не зависят от времени. Перейдем к более общему случаю, когда вероятности перехода зависят от времени. По-прежнему будем рассматривать дискретные цепи Маркова. Обозначим вероятность перехода системы из состояния s i на m-м шаге в состояние s j на n-м шаге (n > m) через pij (m, n). Если система из s i переходит s j , то в некоторый промежуточный момент q она находилась в некотором промежуточном состоянии s K . Все траектории могут проходить через различные промежуточные состояния, но некоторые промежуточные состояния могут и совпадать. Но обязательно траектория в момент q пройдет через одно промежуточное состояние. Таким образом, вероятность pij (m, n) равна: pij (m, n) = å piK (m,q) pKj (q, n)

(4.4.2)

K

Эти уравнения называются уравнениями Чепмена–Колмогорова для дискретных цепей Маркова. Если цепь Маркова однородна, то pij (m, n) = pi(,nj- m ) , и уравнения (4.4.2) переходят в уравнения (4.4.1). Уравнения (4.4.2) означают, что (n - m) шагов могут быть произвольным образом разбиты на (q - m) и (n - q) шагов и при этом для вычисления pij (m, n) надо взять все возможные произведения вероятностей из множества переходных вероятностей за (q - m) шагов на вероятности из множества переходных вероятностей за остальные (n - q) шагов, а затем просуммировать эти произведения по всем промежуточным состояниям, возможным в момент q. При этом допускаются произвольные разбиения временного интервала, что дает многочисленные приимущества в дальнейшем. Запишем уравrнение (4.4.2) в матричном виде. В однородной цепи Маркова матрица P состояла из вероятностей pij , не зависящих от времени. 41

Теперь эти вероятности зависят от времени,r поэтому обозначим матрицу вероятностей перехода за один шаг через P (n) = pij (n, n +1). r r Для однородной цепи P (n) = P. Обо r значим матрицу вероятностей перехода за несколько шагов через H (m, n) = pij (m, n). r r Заметим, что H (m, n +1) = P (n). Теперь уравнение (4.4.2) можно записать в виде: r r r (4.4.3) H (m, n) = H (m,q)H (q, n) r r при m £ q £ n. Обозначим H (m, n) = J — единичная матрица. Все рассматриваемые матрицы являются квадратными, и их размерность равна числу состояний цепи Маркова. Решение r r уравнения (4.4.3) сводится к тому, чтобы выразить H (m, n) через P (n). Так как выбор промежуточного состояния q произволен, положим сначала q = n -1, тогда уравнение (4.4.3) перепишем в виде: pij (m, n) = å piK (m, n -1) pKj (n -1, n)

(4.4.4)

K

или в матричной форме: r r r H (m, n) = H (m, n -1)P (n -1).

(4.4.5)

Уравнения (4.4.4) и (4.4.5) называются прямыми уравнениями Чепмена-Колмогорова для дискретных цепей Маркова, так как они относятся к «передниму» (самому близкому) концу рассматриваемого промежутка времени. С другой стороны, полагая q = m +1, получим: pij (m, n) = å piK (m, m +1) pKj (n +1, n)

(4.4.6)

K

или в материальной форме: r r r H (m, n) = P (m)H (m +1, n)

(4.4.7)

Уравнения (4.4.6) и (4.4.7) называются обратными уравнениями Чепмена–Колмогорова, так как они относятся к «заднему» (самому отдаленному) концу рассматриваемого промежутка времени. Так как прямые и обратные уравнения описывают одну и ту же цепь Маркова, то естественно ожидать, что решения этих уравнений совпадают. Это действительно так, и общее решение имеет вид: 42

r r r r H (m, n) = P (m)P (m +1)K P (n -1),

(4.4.8)

где m £ n -1. В этом можно убедиться непосредственной подстановкой (4.4.8) в (4.4.7) и (4.4.6). Из (3.3.8) также видно, что для однородной цепи: r r H (m, n) = P n - m . Аналогичные рассуждения приводят также к обобщению на случай зависимости от времени вероятности пребывания системы на n-ом шеге в состоянии S j : r ( n +1 ) r n r p = p P (n), решением которого является r r ( n +1 ) r ( 0 ) r r p = p P (0)P (1)K P (n). Все марковские процессы описываются уравнениями Чепмена–Колмогорова, но не всегда наоборот. Процесс размножения и гибели (дискретные процессы). Рассмотрим популяцию особей. Пусть в состоянии S k объем популяции равен k числам. Предположим, что объем популяции может изменяться не более чем на 1, так что рождение приводит к увеличению объема на 1, а гибель к уменьшению на 1. При этом не допускаются многократные одновременные рождения и гибели — то есть рассморим Марковский процесс. Рассмотрим однородную цепь Маркова, то есть Pij не зависит от времени, но допучкается зависимость от состояния системы. Таким образом, дискретный процесс размножения и гибели можно представить в следующем виде: j = i -1 ìd i , ï ï1 - bi - di , j = i Pij = í j = i +1 ï bi , ïî0, в остальных случаях Здесь di – вероятность того, что на следующем шаге произойдет одна гибель, уменьшится объем популяции до i -1, если на данном шаге объем был равен i; bi – вероятность рождения на следующем шаге, при43

водящему к увеличению объема популяции до i +1; 1- di - bi – вероятность того, что ни одно из этих событий не произойдет и на следующем шаге объем популяции не изменится. Ясно, что d0 = 0, так как гибель не может наступить, если некому погибать. Но, в противовес интуиции, допустим, что b0 > 0, то есть возможно рождение, когда в популяции нет ни одной особи. Здесь это выглядит как божественное творение, но в теории массового обслуживания (ТМО) такое предположение разумно. А именно: пусть популяция есть поток требований, поступающих в систему, гибель означает уход требований из системы, а рождение соответствует поступлению в систему нового требования. Матрица стационарных вероятностей для общего процесса размножения и гибели имеет следующий вид: b0 0 æ 1 - b0 ç 1 - b1 - d1 b1 ç d1 ç r 0 d2 1 - b2 - d2 P =ç K K ç K ç 0 0 ç 0 ç K K K è

0

K

0

0 b2

K K

0 0

K K K K di 1 - bi - di K K

K

0 Kö ÷ 0 0 K÷ 0 0 K÷ ÷. K K K÷ ÷ bi 0 K ÷ K K K ÷ø 0

Если цепь является конечной, то последняя строка матрицы записывается в виде: (0 0 K 0 dN 1 - dN ). Это соответствует тому, что не допускаются никакие размножения после того, как популяция достигает максимального объема N .

ЛИТЕРАТУРА 1. Колемаев В.А. Теория вероятностей и математическая статистика. Учебник. М.: ИНФРА-М, 2000, 301 с. 2. Гмурман В.Е. Теория вероятностей и математическая статистика. Учебное пособие. ВШ, 2004, 479 с. 3. Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистики. Учебное пособие. ВШ, 2000, 400 с. 4. Новорожкина Л.И., Морозова З.А. Основы статистики с элементами теории вероятностей для экономистов. Руководство для решения задач. Ростов-на-Дону, ФЕНИКС, 1999, 316 с. 5. Карасев А.И. Теория вероятностей и математическая статистика. Учебник. М.: Статистика, 1970, 344 с.

Эдуард Федорович Казанцев МАТЕМАТИКА РАЗДЕЛ 4. ТЕОРИЯ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА (Тетрадь 4.2)

Учебно-методическое пособие Печатается по решению Редакционно-издательского совета Международного университета в Москве Компьютерная верстка и дизайн: Д.А.Глазков Печатается в авторской редакции Подписано в печать 20.04.05 Гарнитура Times New Roman Формат 60´90 1/16 Бумага офсетная. Печать ризографическая Усл. печ. л. 3,2. Тираж 150 экз. Изд. № 23 Издательский дом Международного университета в Москве Москва, Ленинградский проспект, 17 Международный университет в Москве Тел. (095) 250-45-42