Математическая статистика и планирование эксперимента: Конспект лекций

Российский государственный университет нефти и газа им. И.М. Губкина Серия Прикладная математика в инженерном деле

В.В. Рыков, В.Ю. Иткин МАТЕМАТИЧЕСКАЯ СТАТИСТИКА И ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА

Конспект лекций для студентов специальности 230401 “Прикладная математика” РГУ нефти и газа им. И.М.Губкина

c Рыков В.В., Иткин В.Ю. 2009 ° Москва, 2009

Содержание Предисловие . . . . . . . . . . . . . . . . . . . . . Список обозначений . . . . . . . . . . . . . . . . . 1 ОБРАБОТКА СТАТИСТИЧЕСКИХ ДАННЫХ 1 Введение . . . . . . . . . . . . . . . . . . . . . . . 1.1 Предмет математической статистики и планирования эксперимента . . . . . . . . 1.2 Примеры задач математической статистики 1.3 Понятие о статистической модели . . . . . 1.4 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . Лабораторная работа №1 . . . . . . . . . . 2 Выборки и их представления . . . . . . . . . . . 2.1 Выборки . . . . . . . . . . . . . . . . . . . 2.2 Вариационный ряд . . . . . . . . . . . . . 2.3 Эмпирическая функция распределения . 2.4 Группировка данных . . . . . . . . . . . . 2.5 Представление многомерных данных . . . 2.6 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . Лабораторная работа №2 . . . . . . . . . . 3 Выборочные моменты . . . . . . . . . . . . . . . . 3.1 Определения . . . . . . . . . . . . . . . . . 3.2 Вычисление выборочных моментов по сгруппированным данным . . . . . . . . . 3.3 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . Лабораторная работа №3 . . . . . . . . . .

11 12 14 14 14 15 16 18 18 18 18 20 20 21 24 30 33 35 35 36 37 38 38 41 41 41 42 42

Содержание

2 ТОЧЕЧНЫЕ ОЦЕНКИ ПАРАМЕТРОВ 4 Постановка задачи. Требования к оценкам . . . 4.1 Пример: оценка неизвестной вероятности в схеме Бернулли . . . . . . . . . . . . . . 4.2 Постановка задачи. Требования к оценкам Состоятельность . . . . . . . . . . . . . . . Несмещенность . . . . . . . . . . . . . . . Эффективность . . . . . . . . . . . . . . . 4.3 Информация1 . . . . . . . . . . . . . . . . Понятие информации . . . . . . . . . . . . 4.4 Свойства информации . . . . . . . . . . . Аддитивность . . . . . . . . . . . . . . . . Точность . . . . . . . . . . . . . . . . . . . Убывание информации . . . . . . . . . . . 4.5 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . 5 Неравенство Рао-Крамера и эффективные оценки 5.1 Эффективные оценки . . . . . . . . . . . . 5.2 Неравенство Рао-Крамера . . . . . . . . . 5.3 Достаточное условие эффективности оценок 5.4 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . 6 Достаточные статистики . . . . . . . . . . . . . . 6.1 Определение. Примеры . . . . . . . . . . . 6.2 Необходимое и достаточное условие достаточности статистики . . . . . . . . . . . . 6.3 Теорема Блекуэлла-Колмогорова . . . . . 6.4 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . 1

4

Раздел не входит в обязательный курс.

43 43 43 44 45 46 48 48 48 50 50 51 51 52 52 53 54 54 56 58 61 61 61 62 62 63 64 65 65

Содержание

Упражнения . . . . . . . . . . . . . . . . . максимального правдоподобия . . . . . . Пример . . . . . . . . . . . . . . . . . . . . Определения . . . . . . . . . . . . . . . . . Свойства ОМП . . . . . . . . . . . . . . . . Состоятельность ОМП . . . . . . . . . . . Асимптотические эффективность и нормальность ОМП . . . . . . . . . . . . . . . Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . .

66 67 67 67 69 70

3 ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ 8 Постановка задачи . . . . . . . . . . . . . . . . . 8.1 Вводные замечания . . . . . . . . . . . . . 8.2 Определения . . . . . . . . . . . . . . . . . 8.3 Интервальная оценка м.о. для N (µ, 1) . . 8.4 Интервальная оценка вероятности p в схеме Бернулли . . . . . . . . . . . . . . . . . 8.5 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . 9 Интервальная оценка дисперсии нормальной с.в. 9.1 Постановка задачи . . . . . . . . . . . . . 9.2 χ2n -распределение . . . . . . . . . . . . . . Свойства χ2n -распределения . . . . . . . . 9.3 Интервальная оценка дисперсии при известном м.о. . . . . . . . . . . . . . . . . . 9.4 Интервальная оценка дисперсии при неизвестном м.о. . . . . . . . . . . . . . . . . . 9.5 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . .

78 78 78 80 80

7

Метод 7.1 7.2 7.3 7.4 7.5 7.6

72 76 76 76

81 83 83 85 85 85 88 89 90 92 92 93

5

Содержание

10

11

Интервальная оценка м.о. нормальной с.в. . . . . 10.1 Постановка задачи . . . . . . . . . . . . . 10.2 tn - распределение Стьюдента . . . . . . . 10.3 Интервальная оценка м.о. при неизвестной дисперсии . . . . . . . . . . . . . . . . 10.4 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . Лабораторная работа №4 . . . . . . . . . . Интервальные оценки параметров при больших выборках . . . . . . . . . . . . . . . . . . . . . . . ln L 11.1 Асимптотическая нормальность ∂ ∂θ . . . 11.2 Интервальные оценки параметров при больших выборках . . . . . . . . . . . . . . 11.3 Примеры . . . . . . . . . . . . . . . . . . . 11.4 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . Лабораторная работа №5 . . . . . . . . . .

4 ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ 12 Основные понятия. Постановка задачи . . . . . . 12.1 Понятие о статистической гипотезе . . . . Примеры . . . . . . . . . . . . . . . . . . . 12.2 Классификация гипотез . . . . . . . . . . 12.3 Критическая область. Размер и мощность критерия . . . . . . . . . . . . . . . . . . . 12.4 Статистики критерия и требования к ним 12.5 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . 13 Проверка простых гипотез . . . . . . . . . . . . .

6

94 94 94 96 97 97 98 98 99 99 101 102 103 103 104 104 105 105 105 105 106 107 109 111 111 111 112

Содержание

13.1 13.2 13.3 13.4

14

15

16

Теорема Неймана-Пирсона . . . . . . . . . 112 Пример . . . . . . . . . . . . . . . . . . . . 113 НКО и достаточные статистики . . . . . . 114 Проверка простой гипотезы против класса альтернатив . . . . . . . . . . . . . . . . . 115 13.5 Дополнения . . . . . . . . . . . . . . . . . 116 Вопросы для контроля . . . . . . . . . . . 116 Упражнения . . . . . . . . . . . . . . . . . 116 Проверка равенства м.о. нормальных с.в. . . . . 117 14.1 Постановка задачи . . . . . . . . . . . . . 117 14.2 Дисперсии равны и известны . . . . . . . 118 14.3 Дисперсии равны, но неизвестны . . . . . 121 14.4 Дополнения . . . . . . . . . . . . . . . . . 124 Вопросы для контроля . . . . . . . . . . . 124 Лабораторная работа №6 . . . . . . . . . . 124 Проверка равенства дисперсий нормальных с.в. 125 15.1 Постановка задачи . . . . . . . . . . . . . 125 15.2 Статистика критерия . . . . . . . . . . . . 125 15.3 F -распределение Фишера и его свойства . 127 Моменты . . . . . . . . . . . . . . . . . . . 127 Связь Fn,m с Fm,n , а также с Бетараспределением . . . . . . . . . . 129 Асимптотика Fn,m . . . . . . . . . . . . . . 130 15.4 Свойства критерия Фишера . . . . . . . . 131 15.5 Дополнения . . . . . . . . . . . . . . . . . 134 Вопросы для контроля . . . . . . . . . . . 134 Упражнения . . . . . . . . . . . . . . . . . 135 Лабораторная работа №7 . . . . . . . . . . 135 Параметрический критерий для больших выборок 136 16.1 Асимптотическое свойство отношения правдоподобий . . . . . . . . . . . . . . . . . . 136

7

Содержание

16.2

17

Пример: гипотеза о параметре распределения Пуассона . . . . . . . . . . . . . . . 16.3 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . Лабораторная работа №8 . . . . . . . . . . Критерии согласия и независимости . . . . . . . 17.1 Критерий Пирсона для проверки простой гипотезы . . . . . . . . . . . . . . . . . . . 17.2 Критерий Пирсона-Фишера для проверки сложной гипотезы . . . . . . . . . . . . . . 17.3 Критерий Колмогорова для проверки простой гипотезы . . . . . . . . . . . . . . 17.4 Предельное распределение Колмогорова и его свойства . . . . . . . . . . . . . . . . . 17.5 Критерий Колмогорова для проверки сложной гипотезы . . . . . . . . . . . . . . 17.6 График э.ф.р. в вероятностном масштабе 17.7 Сравнение критериев . . . . . . . . . . . . 17.8 Критерий проверки независимости . . . . 17.9 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . Лабораторная работа №9 . . . . . . . . . .

140 141 141 141 141 142 142 145 150 151 153 156 159 162 165 165 166 166

5 ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА 168 18 Понятие о статистической зависимости . . . . . . 168 18.1 Виды статистической зависимости. Модели 168 18.2 Характеристики зависимости и связи . . 170 18.3 Многомерное нормальное распределение . 175 18.4 Дополнения . . . . . . . . . . . . . . . . . 180 Вопросы для контроля . . . . . . . . . . . 180

8

Содержание

19

20

21

Упражнения . . . . . . . . . . . . . . . . . Лабораторная работа №10 . . . . . . . . . Метод наименьших квадратов . . . . . . . . . . . 19.1 Линейная регрессионная модель . . . . . Примеры . . . . . . . . . . . . . . . . . . . 19.2 ОМП коэффициентов линейной регрессии 19.3 Метод наименьших квадратов . . . . . . . 19.4 Свойства оценок наименьших квадратов . 19.5 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Упражнения . . . . . . . . . . . . . . . . . Задачи . . . . . . . . . . . . . . . . . . . . Лабораторная работа №11 . . . . . . . . . Планирование многомерного эксперимента . . . 20.1 Постановка задачи. Основные понятия . . 20.2 Цели планирования эксперимента и критерии оптимизации . . . . . . . . . . . . . 20.3 Ортогональные планы . . . . . . . . . . . 20.4 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . . Полный и дробный факторные эксперименты . . 21.1 ПФЭ типа 2k . . . . . . . . . . . . . . . . . 21.2 Свойства ПФЭ . . . . . . . . . . . . . . . . 21.3 Проверка значимости и адекватности в ПФЭ . . . . . . . . . . . . . . . . . . . . . . 21.4 Дробный факторный эксперимент . . . . 21.5 Свойства дробного факторного эксперимента . . . . . . . . . . . . . . . . . . . . . 21.6 Поиск максимума функции нескольких переменных . . . . . . . . . . . . . . . . . . 21.7 Дополнения . . . . . . . . . . . . . . . . . Вопросы для контроля . . . . . . . . . . .

181 181 182 182 182 183 186 188 190 190 190 190 192 193 193 196 198 199 199 200 200 202 204 208 212 212 214 214 9

Содержание

Упражнения . . . . . . . . . . . . . . . . . 214 Курсовая работа . . . . . . . . . . . . . . . 215 A ОБРАБОТКА ДАННЫХ НА КОМПЬЮТЕРЕ 1 Случайные величины . . . . . . . . . . . . . . . . 1.1 Введение . . . . . . . . . . . . . . . . . . . 1.2 Встроенные распределения . . . . . . . . . 1.3 Задание с.в. по произвольному закону . . 1.4 Числовые значения параметров . . . . . . 2 Выборки и манипуляции с ними . . . . . . . . . . 2.1 Типы выборочных данных . . . . . . . . . 2.2 Манипуляции с данными . . . . . . . . . . 2.3 Вариационный и статистический ряды . . 2.4 Э.ф.р. и выборочные квантили . . . . . . 2.5 Группировка наблюдений и гистограмма 3 Выборочные моменты . . . . . . . . . . . . . . . . 4 Оценивание параметров . . . . . . . . . . . . . . 5 Доверительные интервалы. Проверка гипотез . . 6 Метод наименьших квадратов . . . . . . . . . . .

216 216 216 218 220 223 229 229 231 233 235 239 245 254 260 268

B ЗАДАНИЯ ДЛЯ САМОСТОЯТЕЛЬНОЙ РАБОТЫ 274 C КУРСОВАЯ РАБОТА

285

D ТАБЛИЦЫ 294 7 Некоторые распределения вероятностей . . . . . 294 8 Распределение Колмогорова . . . . . . . . . . . . 295 Литература . . . . . . . . . . . . . . . . . . . . . . . . . 301

10

Предисловие

Предисловие Настоящее издание представляет собой конспект одноименного курса лекций, читавшегося в течение ряда лет студентам специальности 230401 — “Прикладная математика” Российского государственного университета нефти и газа им. И.М.Губкина. При подготовке курса использовались классические учебники, монографии и руководства по статистике. Однако, специфика подготовки специалистов по прикладной математике в области нефтегазовых отраслей промышленности, наложила свой отпечаток на курс. Большинство примеров ориентировано на применение в нефтегазовых отраслях промышленности. В приложении B использованы, с разрешения авторов, материалы для лабораторных работ Э.П.ЧенСин и О.Н.Кочуевой [8], а также задания для курсового проектирования по планированию экспериментов Я.А.Хургина, Э.В.Калининой и Т.М.Эсериной [6], за что автор выражает им искреннюю благодарность.

11

Список обозначений

Список обозначений В скобках приведены №№ страниц, где вводятся или впервые упоминаются соответствующие обозначения. P, M, D – символы вероятности, математического ожидания и дисперсии (14, 38, 39); 1A – индикатор события A (17); N – множество натуральных чисел (77); R – множество действительных чисел (16); с.в. – случайная величина (с.в. обозначаются заглавными латинскими буквами X, Y, Z а их значения – малыми x, y, z) (15); н.о.р. с.в. – независимые одинаково распределенные случайные величины (21); п.р. – плотность распределения (20); ф.р.– функция распределения (15); Φ(x) – функция стандартного нормального распределения (44); э.ф.р. – эмпирическая функция распределения (24); х.ф. – характеристическая функция (176); µ0k , µk – теоретические начальные и центральные моменты с.в. (38); m0k , mk – выборочные (эмпирические) начальные и центральные моменты с.в. (38); κ(X, Y ) = cov (X, Y ) – ковариация (40); ρ(X, Y ) = corr (X, Y ) – коэффициент корреляции (40); X ∈ F (x) – с.в. X имеет функцию распределения F (x) (15); X ∈ [a, b] – с.в. X равномерно распределена на интервале [a, b] (51); X ∈ exp(λ) – с.в. X имеет показательное распределение с параметром λ (77); X ∈ χ2n – с.в. X имеет распределение хи-квадрат с n степенями свободы (85);

12

Список обозначений

X ∈ N (µ, σ 2 ) – с.в. X имеет нормальное распределение с параметрами µ и σ 2 (51); ~ ∈ N (~ ~ имеет нормальное распреX µ, C) – случайный вектор X деление с вектором математических ожиданий µ ~ и ковариационной матрицей C (175); X ∈ tn – с.в. X имеет распределение Стьюдента с n степенями свободы (94); X ∈ Fn,m – с.в. X имеет распределение Фишера с n степенями свободы числителя и m степенями свободы знаменателя (127); ПСВ – простой случайный выбор (20); ЗБЧ – закон больших чисел (25); УЗБЧ – усиленный закон больших чисел (25); ЦПТ – центральная предельная теорема (44); ММП – метод максимального правдоподобия (67); МОП – метод отношения правдоподобий (112); ОМП – оценка максимального правдоподобия (68); ф.п. – функция правдоподобия (68); НКО – наилучшая критическая область (113); МНК – метод наименьших квадратов (182); ОНК – оценка наименьших квадратов (187); ПФЭ – полный факторный эксперимент (200); ДФЭ – дробный факторный эксперимент (208); МПЭ – матрица плана эксперимента (195); I – единичная матрица (176); θ~0 , x0 , A0 – символы транспонирования вектора и матрицы (137); det C – определитель матрицы C (177); L2 (X, P ) – гильбертово пространство с.в. X (54); plim an – предел по вероятности (45).

n→∞

13

Глава 1. ОБРАБОТКА СТАТИСТИЧЕСКИХ ДАННЫХ §1

Введение

1.1 Предмет математической статистики и планирования эксперимента В курсе теории вероятностей изучаются закономерности случайных явлений. Отправной точкой при этом является вероятностная модель случайного явления (Ω, F, P), где Ω – пространство элементарных событий рассматриваемого явления, F – σ-алгебра наблюдаемых событий и P – вероятностная мера на ней, которая предполагается известной. Однако, на практике почти всегда приходится сталкиваться со случайными явлениями, в которых вероятностная мера неизвестна. Возникает вопрос, можно ли, и если можно, то каким образом исследовать закономерности случайных явлений в этих ситуациях? Положительный ответ на поставленный вопрос дает математическая статистика; эта дисциплина занимается разработкой научно обоснованных методов исследования закономерностей случайных явлений в случаях, когда вероятностная мера заранее неизвестна. Таким образом, математическая статистика является инструментом измерения вероятностей, а ее задачи – в некотором смысле обратными по отношению к задачам теории вероятностей. Решение этих задач строятся на основе обработки статистических данных, которые получаются путем проведения активного или пассивного эксперимента над исследуемым явлением. В связи с этим возникает второй вопрос: как организовать (если это возможно) проведение эксперимента наилучшим, в некотором смысле, образом, например, с наименьшими затратами? Решением этих вопросов занимается раздел мате-

Глава 1. Обработка статистических данных

матической статистики, который носит название планирование эксперимента. Итак, математическая статистика занимается изучением случайных явлений в условиях неопределенности вероятностной модели, планирование эксперимента решает задачу наилучшей, в некотором смысле, организации эксперимента. С целью уточнения круга задач, решаемых в математической статистике, рассмотрим несколько примеров. 1.2

Примеры задач математической статистики

1. Пусть имеется возможность повторять эксперимент E, в ¯ результате которого возможно появление двух событий, A и A. Будем считать эксперименты независимыми. Если вероятность P(A) = p известна, то речь идет о схеме Бернулли, которая изучается в курсе теории вероятностей. Если же p неизвестна, то мы имеем дело со статистической задачей ее оценки. 2. Пусть в результате эксперимента E наблюдается случайная величина (с.в.) X, причем ее функция распределения (ф.р.) F (x) = P{X ≤ x} неизвестна. Как по серии наблюдений оценить неизвестную ф.р.? 3. Пусть в результате серии экспериментов были фиксированы значения x1 , x2 , . . . , xn с.в. X с ф.р. F (x; θ), зависящей от неизвестного (возможно, векторного) параметра θ. Как по серии наблюдений оценить этот параметр? Предположим, что в качестве оценки параметра θ выбрана функция b как функция от выборки, явθb = t(x1 , x2 , . . . , xn ), так что θ, ляется с.в. Что можно сказать о качестве оценки? В частности, каково ее распределение? 4. Возвратимся к примеру 1. Пусть известны результаты экс¯ A. При этом неизвестно, быпериментов, например: A, A, A, ли ли эти эксперименты независимы. Можно ли и каким обра15

§ 1 Введение

зом проверить гипотезу об их независимости? Приведенные примеры охватывают лишь небольшой круг статистических задач. Их можно разделить на три основные группы: • оценка распределений и их параметров; • изучение распределений оценок и их свойств; • проверка статистических гипотез. Прежде чем перейти к характеристике каждой из этих групп задач, остановимся на некоторых общих статистических понятиях и обозначениях. 1.3

Понятие о статистической модели

Как всякая математическая дисциплина, математическая статистика имеет дело с математической моделью рассматриваемого явления. При ее построении естественно опираться на вероятностную модель явления. В теории вероятностей в качестве модели рассматривается вероятностное пространство (Ω, F, P). Математическая статистика имеет дело с наблюдениями, которые проявляются в виде реализаций с.в. (одномерных или многомерных) или в виде событий. Чаще всего имеют дело с числовыми наблюдениями. Определение 1.1. Множество всех возможных результатов эксперимента (аналог множества элементарных событий в теории вероятностей) называют в статистике генеральной совокупностью или выборочным пространством. Генеральную совокупность будем обозначать через X . Так как X часто совпадает с евклидовым пространством, т.е. X = R, то σ-алгебра измеримых событий совпадает с множеством B всех борелевских подмножеств и обычно в модели 16

Глава 1. Обработка статистических данных

не указывается. В отличие от вероятностной модели, статистическая модель содержит не одну, а некоторое семейство P вероятностных мер P, и задача математической статистики состоит в выборе из этого семейства той меры, которая наилучшим образом согласуется с результатами эксперимента. Определение 1.2. Статистической моделью явления называется пара (X , P), где X – генеральная совокупность (множество доступных в данном явлении наблюдений), а P – семейство допустимых вероятностных мер. Замечание. Некоторые авторы в термин „генеральная совокупность“ включают также семейство распределений, при этом он становится синонимом понятия „статистическая модель“. Приведем статистические модели для рассмотренных в предыдущем разделе примеров. 1. В примере 1: X = {0, 1}, P = {p : 0 ≤ p ≤ 1}. 2. В примере 2: X = R, P – множество всех вероятностных мер на прямой. 3. В примере 3: X = R, P = {F (x; θ): θ ∈ Θ}. 4. В примере 4: X = [0; 1]n , P – множество всех вероятностных распределений на X , разбитое на два класса: класс    Y  P0 = pxi (1 − p)1−xi , p ∈ [0; 1], xi = 1i (A) ,   1≤i≤n

соответствующий гипотезе о независимости наблюдений, и его дополнение P1 = P0 . Здесь 1i (A) – индикатор события A в i-м эксперименте, ( 1, событие A наблюдалось в i-м эксперименте, 1i (A) = 0, иначе. 17

§ 1 Введение

Если семейство мер в статистической модели (X , P) параметризовано, т.е. меры зависят от некоторого (возможно векторного) параметра θ, то говорят, что решается задача параметрической статистики, в противном случае задача называется непараметрической. По умолчанию будем считать параметр θ скалярным, а в случае необходимости будем подчеркивать его векторный характер. 1.4

Дополнения

Вопросы для контроля 1. 2. 3. 4. 5. 6.

Чем занимается математическая статистика? Каковы задачи планирования эксперимента? Чем отличается статистическая модель от вероятностной? Дайте определение генеральной совокупности. Приведите примеры задач математической статистики. Дайте определение статистической модели. Упражнения

1. Приведите собственные примеры задач математической статистики и постройте для них статистические модели. 2. Приведите примеры одномерных и многомерных числовых наблюдений. 3. Постройте статистические модели для примеров предыдущего упражнения. Лабораторная работа №1 1. Проведите случайный эксперимент с 10-кратным бросанием монеты и вычислите частоту герба.

18

Глава 1. Обработка статистических данных

2. Проведите случайный эксперимент с 10-кратным бросанием игральной кости и вычислите частоту событий: а) A = {выпало нечетное число}, б) B = {выпало число < 3}, в) A ∪ B, г) A ∩ B, ¯ д) A, е) условную частоту события A при условии события B. 3. Повторите предыдущий эксперимент, бросая одновременно монету и игральную кость. Вычислите те же самые частоты. Вычислите условные частоты событий, связанных с монетой, относительно событий, связанных с игральной костью. Что можно сказать о статистической независимости экспериментов?

19

§ 2 Выборки и их представления

§2

Выборки и их представления

2.1

Выборки

Материалом для статистического анализа являются наблюдения x1 , x2 , . . . , xn над элементами генеральной совокупности, при этом элементы генеральной совокупности могут характеризоваться одним или несколькими признаками. В зависимости от этого величины xi будут скалярными или векторными (т.е. одномерными или многомерными). Результат x = (x1 , x2 , . . . , xn ) n наблюдений над элементами генеральной совокупности называют выборкой объема n из данной генеральной совокупности, или просто выборкой. Условия проведения наблюдений (или экспериментов) также могут быть различными. Наиболее простым для обработки и анализа (но не всегда доступным и наилучшим) является эксперимент, называемый простым случайным выбором (ПСВ), состоящий в проведении независимых наблюдений изучаемого явления в одинаковых (однородных) условиях. Это означает, что если исследуемый признак в генеральной совокупности распределен по закону с плотностью распределения (п.р.) p(x), то выборка x = (x1 , x2 , . . . , xn ) имеет п.р. Y p(x) = p(x1 , x2 , . . . , xn ) = p(x1 ) · · · p(xn ) = p(xi ). 1≤i≤n

Существуют и другие планы проведения экспериментов, однако в настоящем курсе мы ограничиваемся ПСВ. Замечание. Здесь уместно сделать очень важное замечание о двойственности понятий статистики. После проведения эксперимента, элементами выборки являются числа, о распределении которых говорить не приходится. Однако, на стадии планирования эксперимента, будущие наблюдения представляют 20

Глава 1. Обработка статистических данных

собой с.в. со значениями из генеральной совокупности. Причем в случае ПСВ они являются независимыми и одинаково распределенными (н.о.р.) с.в. Такая двойственность отношения к наблюдениям в математической статистике будет сопровождать нас на протяжении всего курса, и ее следует хорошо усвоить с самого начала. Обычно с.в. обозначаются прописными латинскими буквами, а их числовые значения – строчными. Несмотря на двойственную природу наблюдений мы будем обозначать их строчными буквами и, лишь при необходимости, прописными. В следующих разделах этого параграфа рассмотрим кратко основные понятия и приемы обработки статистических данных. 2.2

Вариационный ряд

Определение 2.1. Пусть имеется выборка x = (x1 , x2 , . . . , xn ) по одному числовому признаку. Упорядоченная в порядке возрастания элементов выборка x(1) , x(2) , . . . , x(n) ,

где

x(i) ≤ x(i+1) ,

называется вариационным рядом, а ее элементы вариантами, или порядковыми статистиками. При этом минимальный и максимальный члены выборки совпадают соответственно с первым и последним (крайними) членами вариационного ряда: xmin = min{xi : i = 1, n} = x(1) , xmax = max{xi : i = 1, n} = x(n) . Величина R = x(n) − x(1) называется размахом выборки. 21

§ 2 Выборки и их представления

Для исследования поведения вариационного ряда рассмотрим распределение порядковых статистик. Остановимся, прежде всего, на распределении крайних членов вариационного ряда. Имеем F(1) (x) = P{x(1) ≤ x} = 1 − P{x(1) > x} = = 1 − P{min xi > x} = 1 − P{xi > x, i = 1, n} = i

= 1 − (1 − F (x))n .

(2.1)

Аналогично, F(n) (x) = P{x(n) ≤ x} = P{max xi ≤ x} = i

= P{xi ≤ x, i = 1, n} = F n (x).

(2.2)

При выводе этих соотношений использовались независимость и однородность наблюдений. Дифференцированием получим p(1) (x) = n(1 − F (x))n−1 p(x),

(2.3)

p(n) (x) = nF n−1 (x)p(x).

(2.4)

и Переходя к вычислению распределения произвольной порядковой статистики, обозначим через Rn (x) число появлений события {X ≤ x} в n независимых экспериментах, так что величина Rn (x) имеет биномиальное распределение µ ¶ n P{Rn (x) = k} = F k (x)(1 − F (x))n−k . k Так как событие {x(k) ≤ x} имеет место тогда и только тогда, когда в n независимых экспериментах событие {X ≤ x} 22

Глава 1. Обработка статистических данных

повторяется по крайней мере k раз, то ф.р. k-ой порядковой статистики имеет вид X µn¶ F(k) (x) = P{x(k) ≤ x} = F i (x)(1 − F (x))n−i . (2.5) k k≤i≤n

Событие {x < x(k) ≤ x + dx} реализуется тогда и только тогда, когда в результате серии из n экспериментов одно из наблюдений xi попадает в интервал (x, x+dx), k−1 наблюдений меньше x, и остальные n−k наблюдений больше x+dx. Откуда, с учетом количества способов, реализующих эти события для соответствующей п.р., получим выражение µ ¶ n−1 p(k) (x) = n F k−1 (x)(1 − F (x))n−k p(x). (2.6) k−1 Тот же результат можно получить дифференцированием F(k) (x). Замечание. Приведенные рассуждения показывают, таким образом, что при упорядочивании выборки изменяются распределения ее членов. Интересно исследовать поведение распределений крайних членов вариационного ряда при n → ∞. Соответствующие предельные распределения появляются при решении многих задач статистики и теории вероятностей. Приведем предельные распределения максимального члена вариационного ряда (предельные распределения минимального выглядят аналогично). Так как с ростом n с.в. x(n) неограниченно возрастает (если носитель распределений исходной с.в. неограничен), то естественно искать постоянные an , bn такие, чтобы с.в. Yn = an x(n) + bn имела собственное распределение при

23

§ 2 Выборки и их представления

n → ∞. Имеются два типа предельных распределений в зависимости от поведения “хвостов” распределений исходной с.в., 1 − F (x) = P{X > x}. Положим 1 − G(x) = lim P{Yn > x}. Тогда справедливо n→∞ следующее утверждение. Теорема 2.1. Существуют такие числовые последовательности an и bn , что: • Если при x → ∞ функция 1 − F (x) имеет порядок e−x , то предельным при n → ∞ для Yn является распределение x Гумбеля с 1 − G(x) = e−e . • Если при x → ∞ функция 1 − F (x) имеет порядок x−α , α > 0, то предельным при n → ∞ для Yn является распреα деление Гнеденко-Вейбулла c 1 − G(x) = e−x . Доказательство этой теоремы выходит за рамки настоящего курса, его можно найти в специальной литературе (см., например, [12], [23]). 2.3

Эмпирическая функция распределения

Обозначим через Fn (x) долю среди n наблюдений x1 , . . . , xn тех, которые не превосходят x, т.е. Fn (x) =

Rn (x) k = n n

при x(k−1) < x ≤ x(k) .

(2.7)

Таким образом, величина Fn (x) является с.в. при любом фиксированном x, а функция Fn (x) представляет собой пример случайной функции. Определение 2.2. Функция Fn (x) называется эмпирической или выборочной функцией распределения (э.ф.р.).

24

Глава 1. Обработка статистических данных

Введем понятие выборочной вероятности 1 n

1X ˆ P(A) = 1k (A), n (

k=1

1, событие A наблюдалось в k-м эксперименте, 0, иначе. ˆ Тогда э.ф.р. можно задать как Fn (x) = P{X ≤ x}.

где 1k (A) =

Пример 2.1. Ниже приведены значения пористости некоторой породы: 0,204; 0,193; 0,211; 0,187; 0,188; 0,189; 0,184; 0,181; 0,163; 0,174; 0,191; 0,188; 0,191; 0,191; 0,191; 0,190; 0,139; 0,145; 0,126; 0,096; 0,047.

Построим вариационный ряд, упорядочив выборку: 0,047; 0,096; 0,126; 0,139; 0,145; 0,163; 0,174; 0,181; 0,184; 0,187; 0,188; 0,188; 0,189; 0,190; 0,191; 0,191; 0,191; 0,191; 0,193; 0,204; 0,211.

Построенная по этим данным э.ф.р. представлена на рис. 2.1. Значение э.ф.р. для математической статистики и связь с реальной ф.р. раскрываются следующими фундаментальными теоремами. Теорема 2.2. Для всех x имеет место предельное соотношение при n → ∞ Fn (x) → F (x)

по вероятности и с вероятностью 1.

Доказательство вытекает из обычного или усиленного ЗБЧ2 , если заметить, что с.в. Fn (x) имеет биномиальное распределение с параметром F (x). 1 Здесь и всюду в дальнейшем символом “ ˆ” обозначаются статистические аналоги вероятностных характеристик. 2 ЗБЧ – Закон больших чисел.

25

§ 2 Выборки и их представления

Fn (x)

1

0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0

0.05

0.1

0.15

0.2

0.25

x

Рис. 2.1. Э.ф.р. пористости из примера 2.1.

Обозначим теперь Dn = sup |Fn (x) − F (x)|. x∈R

Теорема 2.3 (Гливенко-Кантелли). Сходимость Fn (x) к F (x) почти наверное равномерная, т.е. Dn → 0

п.н.

Теорема 2.4 (Колмогоров). Если выборка получена из генеральной совокупности с непрерывной ф.р. F (x), то распределение статистики Dn не зависит от F (x) и при x > 0 справедливо предельное соотношение ∞ X √ 2 2 (−1)k e−2k x . lim P{ nDn ≤ x} = K(x) = 1 + 2

n→∞

26

k=1

(2.8)

Глава 1. Обработка статистических данных

Доказательство этих теорем также выходит за рамки настоящего курса (доказательство последней см., например, в [17]). Подробнее к этой теореме и распределению Колмогорова мы вернемся в § 17.4. Замечание. Теоремы 2.2-2.4 показывают, что э.ф.р. Fn (x) сходится к своему теоретическому аналогу F (x) и позволяют использовать ее в качестве оценки последней, причем теорема 2.4 дает также возможность вычислять как точность, так и надежность этой оценки. В случае наблюдений за дискретной с.в. или при небольшой точности наблюдений, в выборке могут встретиться много совпадающих значений, например, наблюдение x(1) встречается n1 раз, наблюдение x(2) – n2 раз и т.д., наблюдение x(k) – nk раз; при этом, конечно, n1 + n2 + · · · + nk = n. В этом случае удобно воспользоваться статистическим рядом, в котором указываются значения вариант x(i) и частот их наблюдения ni (таблица 2.1). Таблица 2.1. Статистический ряд.

варианта число наблюдений

x(1) n1

... ...

x(k) nk

Э.ф.р. для таких наблюдений будет иметь скачки величиной nni в точках x(i) . Пример 2.2. В примере 2.1 значения x(i) = 0, 188 и x(j) = 0, 191 встречались соответственно ni = 2 и nj = 4 2 раза. Поэтому э.ф.р. в этих точках имеет скачки величиной 21 4 и 21 . 27

§ 2 Выборки и их представления

Помимо э.ф.р. наблюдения над дискретными с.в. можно изобразить графически полигоном частот, в котором по оси абсцисс откладывают варианты, а по оси ординат - частоты (или относительные частоты). Т.е. полигон частот – это эмпирический (выборочный) ряд распределения дискретной с.в. Пример 2.3. На рис. 2.2 представлен полигон частот по n = 2000 наблюдениям с.в., имеющей биномиальное распределение с параметрами m = 10, p = 0, 5. 0.25

∆ F (x) n

0.2

0.15

0.1

0.05

0

0

1

2

3

4

5

6

7

8

9

10

x

Рис. 2.2. Полигон частот выборки из биномиальной генеральной совокупности.

Полезными характеристиками выборки являются эмпирические, или выборочные квантили, которые определяются аналогично теоретическим по э.ф.р. Далее через [x] обозначена целая часть числа x. Определение 2.3. Выборочным α-квантилем cˆα называется 28

Глава 1. Обработка статистических данных

такое число, левее которого лежат [nα] членов вариационного ряда. Аналогично определяются выборочные квартили и медиана. В частности, нижним квартилем является ¤ £ выборочным наблюдение с номером l = n4 +1, а верхним выборочным квар£ ¤ тилем – наблюдение с номером l = 3n + 1. 4 Выборочной медианой называется значение выборки, делящее ее на две равные части. Для выборки нечетного объема n = 2k + 1 выборочной медианой является k + 1-ый член вариационного ряда, cˆ0.5 = x(k+1) , а для выборки четного объема n = 2k за выборочную медиану можно принять любое из чисел в интервале [x(k) , x(k+1) ], однако мы будем полагать в этом случае, что выборочная медиана равна середине этого отрезка, x +x cˆ0.5 = (k) 2 (k+1) . Выборочные медиана и квартили позволяют дать простейшее наглядное представление выборки в виде “прямоугольной диаграммы” (boxplot). Прямоугольная диаграмма представляет собой прямоугольник с центром в точке cˆ0.5 и нижней и верхней стороной в точках cˆ[ n4 ]+1 и cˆ[ 3n ]+1 соответственно. До4 полнительно в этой диаграмме указывают минимальное и максимальное наблюдения (см. рис. 2.3). Особенно полезно строить такие диаграммы для сравнения аналогичных наблюдений над различными объектами. Пример 2.4. Проницаемость может измеряться двумя методами: промысловым и по шлифам. Первый метод дал следующие результаты: 0,55; 1; 7,7; 7,8; 5,6; 1,7; 0,9; 3,2; 0,74; 1,2; 4,5; 3,8; 0,4; 3,1; 4,2; 3,5, а второй: 0,13; 0,46; 10,9; 6,6; 9,3; 1,3; 3,4; 3,7; 1,5; 2,7; 3,7; 1,5; 0,6; 7,7; 4,2; 4,8.

На рис. 2.3 приведены прямоугольные диаграммы (boxplots) для этих выборок. 29

§ 2 Выборки и их представления

10 8 6 4 2 0 1

2

Рис. 2.3. Прямоугольные диаграммы проницаемости, построенные по промысловым и шлифовым наблюдениям.

2.4

Группировка данных

При наблюдении за непрерывно распределенной с.в., если объем выборки n велик, n >> 1, иногда оказывается неудобным хранить и обрабатывать такой большой массив данных. Для его сокращения (хотя и с некоторой потерей информации) часто прибегают к группировке данных и построению рядов распределений и э.ф.р. по сгруппированным данным. Группировка данных состоит в том, что весь интервал изменения наблюдаемой величины, т.е. интервал [x(1) , x(n) ] разбивают на k (обычно k = 10 − 20) подынтервалов ∆i (i = 1, k) одинаковой (или разной, но чаще одинаковой) длины, концы которых обозначим через yi (i = 0, k), вычисляют число вариант ni , попавших в каждый из подынтервалов (при этом необходимо позаботиться, чтобы каждую варианту считать только один раз, т.е. границы подынтервалов ∆i присоединять к одному из них) и составляют статистический ряд вида 30

Глава 1. Обработка статистических данных

Таблица 2.2. Группировка данных.

Интервалы Число наблюдений

(y0 , y1 ] n1

... ...

(yk−1 , yk ] nk

По сгруппированным данным можно строить э.ф.р., приписывая ее скачки каким-либо точкам (обычно центру) интервалов. Для наглядного представления непрерывно распределенной с.в. часто пользуются гистограммой частот (или относительных частот), которая строится по сгруппированным данным следующим образом: ось абсцисс разбивается на интервалы группировки и над каждым интервалом строится прямоугольni ник высотой nni или соответственно n∆ . Таким образом, плоi щадь получившейся фигуры равна соответственно x(n) − x(1) или 1. Пример 2.5. Рассмотрим группировку данных и построение э.ф.р. и гистограммы для данных из примера 2.1. Размах выборки равен R = 0, 211 − 0, 047 = 0, 164. Несколько расширяя интервал наблюдений примем за левый конец точку y0 = 0, 045, а за правый – точку y5 = 0, 215 и разобьем этот интервал на 5 равных частей величиной ∆ = 0, 034. Тогда интервалы группировки равны ∆1 = (0, 045; 0, 079], ∆2 = (0, 079; 0, 113], ∆3 = (0, 113; 0, 147], ∆4 = (0, 147; 0, 181], ∆5 = (0, 181; 0, 215]. Таблица частот приведена в таблице 2.3, а гистограмма – на рис. 2.4.

31

§ 2 Выборки и их представления

Таблица 2.3. Сгруппированные данные.

Интервалы Число наблюдений

∆1 1

∆2 1

∆3 3

∆4 2

∆5 14

25

20

15

10

5

0 0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

0.2

0.22

x

Рис. 2.4. Гистограмма пористости из примера 2.1.

32

Глава 1. Обработка статистических данных

2.5

Представление многомерных данных

Значительно сложнее обработка и представление многомерных данных. Наглядное представление в виде поля распределения или таблицы распределения (частот, относительных частот) возможно лишь в двумерном случае. Пусть имеется выборка x1 , . . . , xn наблюдений по двум признакам xi = (yi , zi ). Наглядное представление о двумерном распределении можно получить в виде поля наблюдений, которое представляет собой © ª в системе координат yOz множество точек (yi , zi ), i = 1, n . Пример 2.6. Рассмотрим пример построения двумерного поля. 12

y 10

8

6

4

2

0

0

1

2

3

4

5

6

7

8

z

Рис. 2.5. Поле наблюдений по данным о проницаемости из примера 2.4.

33

§ 2 Выборки и их представления

Первой компонентой является проницаемость, измеренная промысловым методом, а второй – по шлифам (см. пример 2.4). Из рисунка можно заключить, что между измерениями проницаемости двумя различными методами существует положительная зависимость. Другим способом наглядного представления двумерных данных является составление таблиц двумерных статистик, в ячейках которых указывается количество наблюдений, попавших в соответствующие интервалы значений признаков (таблица 2.4). Таблица 2.4. Сгруппированные двумерные данные проницаемости.

z/y [0,13; 2,8) [2,8; 5,5) [5,5; 8,2) [8,2; 10,9]

[0,4; 2,25) 6 1 0 0

[2,25; 4,1) 1 2 2 0

[4,1; 5,95) 0 1 0 1

[5,95; 7,8] 0 0 1 1

И, наконец, графическое представление таблицы частот 2.4 дает трехмерная гистограмма (рис. 2.6).

34

Глава 1. Обработка статистических данных

Рис. 2.6. Трехмерная гистограмма по данным о проницаемости из примера 2.4.

2.6

Дополнения

Вопросы для контроля 1. Дайте определения: а) б) в) г) д)

генеральной совокупности, выборки, простого случайного выбора, вариационного ряда, размаха выборки, 35

§ 2 Выборки и их представления

е) эмпирической функции распределения, ж) статистического ряда, з) гистограммы. 2. Сформулируйте теорему о предельном поведении максимального члена вариационного ряда. 3. Сформулируйте теоремы о сходимости эмпирической функции распределения к теоретической. 4. В чем состоит группировка данных и когда она применяется? 5. Что такое поле наблюдений? Упражнения 1. Рассмотрим случайную величину, связанную игрой в орлянку: ½ 0, если выпадает орел; Z= 1, если выпадает решка. Подкидывая монетку, выпишите выборку случайной величины Z различных объемов: по n = 10, 30 и 40 наблюдений. 2. Постройте теоретическую и выборочную функции распределения для случайной величины Z из предыдущего упражнения. 3. Постройте э.ф.р. для случайной величины X (таблица 2.5) и вычислите выборочные вероятности: ˆ P{X < −1};

ˆ P{X > 0, 1};

ˆ P{−1, 4 < X < −1}.

4. Постройте э.ф.р. для давления на забое P (таблица 2.6) и вычислите выборочные вероятности: ˆ P{P < −1};

36

ˆ P{P > 20};

ˆ P{12 < P < 25}.

Глава 1. Обработка статистических данных

Таблица 2.5. Выборка с.в. X.

-1,05 -0,280 -0,469

-0,470 -0,751 0,979

-2,43 -0,872 0,014

-0,360 1,335 -1,58

-0,420 0,029 1,27

-0,740 -1,02 0,085

-1,540 -1,33 -0,418

-1,370 0,551 -0,730

Таблица 2.6. Выборка значений забойного давления P (атм.)

18,8 17,2 18,7

14,9 13,2 18,5

21,0 12,6 25,4

25,1 16,1 19,7

24,8 16,9 19,3

26,9 11,5 17,9

11,3 17,7 27,9

19,1 18,4 23,5

24,4 20,5 29,5

15,7 18,5 17,4

Лабораторная работа №2 1. По индивидуальным статистическим данным, предложенным преподавателем из Приложения B, постройте: а) вариационный ряд, б) эмпирическую функцию распределения, в) гистограмму. 2. Используя двумерные статистические данные из индивидуального задания, постройте: а) поле наблюдений, б) трехмерную гистограмму.

37

§ 3 Выборочные моменты

§3

Выборочные моменты

3.1

Определения

В теории вероятностей при изучении с.в., как одномерных, так и многомерных, мы часто пользуемся числовыми характеристиками их распределений – моментами (математическим ожиданием, дисперсией, коэффициентами ковариации и корреляции и др.). При изучении выборок и их свойств в статистике пользуются аналогичными понятиями выборочных моментов. Определение 3.1. Выборочными или эмпирическими моментами называются моменты, вычисленные с помощью э.ф.р. В дальнейшем будет видно, какую важную роль играют выборочные моменты в статистике. Принято обозначать теоретические моменты греческими буквами, а выборочные – соответствующими латинскими. Таким образом, для с.в. X с ф.р. F (x) и п.р. p(x) через µ0k и µk обозначаются теоретические начальные и центральные моменты, т.е. Z 0 k µk = MX = xk p(x) dx, Z £ ¤ 0 k µk = M X − µ1 = (x − µ01 )k p(x) dx. Здесь и в дальнейшем, если пределы интегрирования не указаны, то подразумевается, что они равны −∞ и +∞. Через m0k и mk обозначаются соответствующие выборочные моменты: Z 1 X k 0 mk = xk dFn (x) = xi , n 1≤i≤n Z 1 X mk = (x − m01 )k dFn (x) = (xi − m01 )k . n 1≤i≤n

38

Глава 1. Обработка статистических данных

Первые два момента как теоретические, так и выборочные имеют специальные обозначения, µ01 = MX = µ, m01 m2

µ2 = DX = σ 2 ; 1 X = m=x ¯= xi , n 1≤i≤n 1 X = S2 = (xi − x ¯)2 , n 1≤i≤n

при этом x ¯, так же как и µ характеризует центр выборки, а S 2 , так же как и σ 2 – ее разброс. Здесь символы M и D обозначают математическое ожидание и дисперсию соответственно. В случае многомерных выборок выборочные характеристики компонент вычисляются по соответствующим маргинальным3 распределениям. Дополнительного пояснения требуют только смешанные моменты. Напомним, что для k-мерной с.в. X = (X1 , . . . , Xk ) с ф.р. F (x) = F (x1 , . . . xk ) = P{X1 ≤ x1 , . . . Xk ≤ xk } и п.р. p(x) = p(x1 , . . . xk ) =

∂kF ∂x1 · · · ∂xk

смешанным начальным моментом порядка s = (s1 , . . . , sk ) называется величина Z Z 0 µs1 ,...,sk = . . . xs11 · · · xskk p(x1 , . . . , xk ) dx1 · · · dxk . 3

Напомним, что маргинальным называется распределение одной или нескольких компонент многомерного распределения.

39

§ 3 Выборочные моменты

Аналогичный начальный смешанный выборочный момент по k-мерной выборке x1 , . . . , xn объема n, где xi = (xi1 , · · · , xik ) определяется соотношением 1 X s1 m0s1 ,...,sk = xi1 · · · xsikk . n 1≤i≤n

По аналогии с центральными смешанными моментами, Z Z µs1 ,...,sk = . . . (x1 −µ1 )s1 · · · (xk −µk )sk p(x1 , . . . , xk ) dx1 · · · dxk , определяются смешанные центральные выборочные моменты, 1 X ms1 ,...,sk = (xi1 − x ¯1 )s1 · · · (xik − x ¯k )sk . n 1≤i≤n

В дальнейшем нас будут интересовать только вторые смешанные моменты – ковариация Z Z κij = cov(Xi , Xj ) = · · · (xi −µi )(xj −µj )p(x1 , . . . , xk ) dx1 · · · dxk , и ее нормированный аналог – коэффициент корреляции, cov(Xi , Xj ) κij p ρij = √ = . σi σj DXi DXj Выборочные ковариация и коэффициент корреляции имеют соответственно вид 1 X (xli − x ¯i )(xlj − x ¯j ), kij = n 1≤l≤n

rij

=

kij . Si Sj

Из сходимости э.ф.р. к теоретической (см. теоремы 2.2 - 2.4 из § 2) следует сходимость эмпирических моментов к теоретическим в случае существования последних. 40

Глава 1. Обработка статистических данных

3.2 Вычисление выборочных моментов по сгруппированным данным Вычислить выборочные моменты можно и с помощью э.ф.р., построенной по сгруппированным данным. Нужно, однако, помнить, что при группировке данных истинные значения вариант смещаются (в центр или один из концов интервалов группировки) относительно своих частот. При этом значения моментов, вычисленные по сгруппированным данным, отличаются от соответствующих величин, полученным без группировки, т.е. обладают систематическими ошибками, зависящими от интервалов группировки. При некоторых условиях можно ввести поправки на группировку данных, называемые поправками Шеппарда, позволяющие устранить это смещение (см. [18]). 3.3

Дополнения

Вопросы для контроля 1. Дайте определения: а) выборочного среднего, б) выборочных дисперсии и стандартного отклонения, в) выборочных центральных и начальных моментов любого порядка, г) выборочных ковариации и корреляции. 2. Сформулируйте теоремы о сходимости эмпирических моментов к теоретическим. 3. Что такое поправки Шеппарда и когда они используется?

41

§ 3 Выборочные моменты

Упражнения 1. Вычислите выборочные среднее, дисперсию и стандартное отклонение для выборки, заданной таблицей 2.5. 2. Вычислите выборочные среднее, дисперсию и стандартное отклонение для давления на забое P , заданного таблицей 2.6. Лабораторная работа №3 По индивидуальным статистическим данным вычислите: а) выборочные средние, б) выборочные дисперсии и стандартные отклонения, в) выборочные ковариацию и корреляцию, г) выборочные медиану, нижний и верхний квартили и постройте прямоугольную диаграмму.

42

Глава 2. ТОЧЕЧНЫЕ ОЦЕНКИ ПАРАМЕТРОВ §4

Постановка задачи. Требования к оценкам

4.1 Пример: оценка неизвестной вероятности в схеме Бернулли Прежде чем перейти к общей формулировке задачи точечного оценивания рассмотрим простой пример схемы Бернулли. Статистическая модель в этом случае была сформулирована в примере 1 § 1.2 и имеет вид ¯ X = {A, A},

P = {p : p ∈ [0, 1]}

где P – набор возможных значений вероятности “успеха” в рассматриваемом эксперименте. Задача состоит в том, чтобы по выборке x1 , . . . , xn объема n (размер выборки определяется заранее), где ( 1, если в i-м эксперименте произошло событие A, xi = 0, иначе, оценить значение неизвестного параметра p, т.е. поставить в соответствие наблюдениям x1 , . . . , xn число pˆ, которое будем называть оценкой параметра p. Интуитивно ясно, что в качестве оценки неизвестной вероятности P(A) = p события A целесообразно рассмотреть частоту hn наблюдений события A в серии n испытаний, X νn , νn = xi . hn = n 1≤i≤n

Таким образом, pˆ = hn =

1 X xi . n 1≤i≤n

(4.1)

§ 4 Постановка задачи. Требования к оценкам

Из курса теории вероятностей известно, что согласно закону больших чисел при n → ∞ частота hn появления события A сходится по вероятности (и с вероятностью 1) к его вероятности, hn → p. Более того, следуя ЦПТ1 , можно оценить вероятности отклонений частоты hn от истинной вероятности p, ¯ ½¯ r ¾ ¯ νn − np ¯ n ¯ ¯ P {|hn − p| ≤ ε} = P ¯ √ ≤ε = ¯ npq pq µ r ¶ n − 1 → 1, (4.2) = 2Φ ε pq где Φ(x) – ф.р. стандартной нормальной с.в. Из этих рассуждений следует, что величину hn действительно можно рассматривать как оценку параметра p; более того, соотношение (4.2) позволяет оценить, в некотором смысле, точность и надежность этой оценки. Мы вернемся к этому примеру позже, а теперь рассмотрим естественные требования к оценкам. 4.2

Постановка задачи. Требования к оценкам

Пусть имеется возможность многократно наблюдать с.в. X с ф.р. F (x; θ), зависящей от неизвестного параметра θ ∈ Θ. Тогда мы имеем дело с параметрической статистической моделью (X , P), которая имеет вид (R, Pθ ). Требуется по наблюдениям x1 , x2 , . . . , xn построить функцию θˆn = T (x1 , x2 , . . . , xn ) такую, чтобы ее значения θˆn были близки в некотором смысле к истинному значению параметра θ. Определение 4.1. Измеримая функция T (x1 , . . . , xn ) от наблюдений называется статистикой. 1

44

ЦПТ – Центральная предельная теорема.

Глава 2. Точечные оценки параметров

Однако не всякая статистика является разумной оценкой. Рассмотрим требования, которые следует предъявлять к статистикам, чтобы их можно было рассматривать в качестве “разумных” оценок неизвестных параметров. Состоятельность Для того, чтобы статистику θˆn = T (x1 , . . . , xn ) можно было рассматривать в качестве оценки параметра θ необходимо, чтобы оценка приближалась к оцениваемому параметру при увеличении размера выборки. Такие оценки выделяются с помощью следующего определения. Определение 4.2. Оценка называется состоятельной, если она сходится по вероятности к оцениваемому параметру, plim θˆn = θ, т.е. n→∞

P{|θˆn − θ| < ε} → 1 для любых ε > 0 и θ ∈ Θ

при n → ∞.

Примеры 1. hn – состоятельная оценка p (см. п. 4.1); 2. x ¯ – состоятельная оценка µ. Действительно, согласно неравенству Чебышева, P{|¯ x − µ| ≥ ε} ≤

D¯ x . ε2

Отсюда, учитывая то, что D¯ x = σ 2 /n (см. упражнение 1), имеем σ2 → 1. n→∞ nε2

lim P{|¯ x −µ| < ε} = 1− lim P{|¯ x −µ| ≥ ε} ≤ 1− lim

n→∞

n→∞

45

§ 4 Постановка задачи. Требования к оценкам

Несмещенность Понятие состоятельности – асимптотическое. Однако на практике всегда приходится иметь дело с выборками конечного размера. Поэтому к оценкам необходимо предъявлять такие требования, чтобы они давали хорошие результаты для конечных выборок. Естественное требование состоит в том, чтобы вычисленные для различных выборок значения оценок θˆn группировались вокруг истинного значения параметра θ. Определение 4.3. Оценка θˆn называется несмещенной, если Mθ θˆn (x1 , . . . , xn ) = θ

для всех θ ∈ Θ.

Здесь Mθ означает символ математического ожидания, вычисленного по распределению Pθ с параметром θ. Примеры 1. x ¯ – несмещенная оценка µ в модели (X , Pµ ), где Pµ – произвольное семейство распределений с неизвестным математическим ожиданием µ. Действительно,   X 1 1 X 1 M¯ x = M xi  = Mxi = nµ = µ. n n n 1≤i≤n

1≤i≤n

P ¯)2 – смещенная оценка σ 2 в модели 2. S 2 = n−1 1≤i≤n (xi − x (X , P(µ,σ2 ) ), где P(µ,σ2 ) – произвольное семейство распределений с неизвестными математическим ожиданием µ и дисперси-

46

Глава 2. Точечные оценки параметров

ей σ 2 . Действительно:   X 1 MS 2 = M  (xi − x ¯)2  = n 1≤i≤n   X 1  = M ((xi − µ) − (¯ x − µ))2  = n 1≤i≤n   X 1  = M (xi − µ)2 − 2n(¯ x − µ)2 + n(¯ x − µ)2  = n 1≤i≤n   X 1  M (xi − µ)2 − n(¯ x − µ)2  = = n 1≤i≤n

1 2 = nσ − M(¯ x − µ)2 = n 2  X 1 (xi − µ) = = σ2 − M  n 1≤i≤n  X 1 = σ2 − 2 M  (xi − µ)2 + 2 n 1≤i≤n

= σ2 −

 X

(xi − µ)(xj − µ) =

1≤i<j≤n

n−1 2 1 σ . nσ 2 = 2 n n

Смещение можно устранить, используя оценку дисперсии S2 =

X 1 (xi − x ¯ )2 . n−1 1≤i≤n

47

§ 4 Постановка задачи. Требования к оценкам

Эффективность Реализации несмещенной оценки группируется вокруг оцениваемого параметра. Однако, естественно, что среди таких оценок лучшей будет та, у которой дисперсия наименьшая. А если при фиксированном n такой оценки не существует, она может существовать асимптотически. Определение 4.4. Несмещенная оценка, дисперсия которой минимальна среди всех возможных в рассматриваемой статистической модели называется эффективной. Для изучения этого понятия нам потребуются некоторые дополнительные сведения, которые будут изложены в следующем параграфе, а этот закончим полезными сведениями об информации. 4.3

Информация2

Понятие информации Слово “информация” происходит от латинского — разъяснение, изложение, осведомленность. В течение многих веков понятие информации не раз претерпевало изменения, то расширяя, то предельно сужая свои границы. Попытки количественного измерения информации предпринимались неоднократно. Первые отчетливые предложения об общих способах измерения количества информации были сделаны Р.Фишером (1921 г.) в процессе решения вопросов математической статистики. Проблемами хранения информации, передачи ее по каналам связи и задачами определения количества информации занимались Р.Хартли (1928 г.) и X.Найквист (1924 г.). Р.Хартли заложил основы теории информации, определив меру количества 2

48

Раздел не входит в обязательный курс.

Глава 2. Точечные оценки параметров

информации для некоторых задач. Наиболее убедительно эти вопросы были разработаны и обобщены американским инженером Клодом Шенноном в 1948 г. С этого времени началось интенсивное развитие теории информации вообще и углубленное исследование вопроса об измерении ее количества в частности. Определение 4.5. Информацией Фишера (или количеством информации) о параметре параметрической модели (X , Pθ ), содержащейся в выборке x = (x1 , . . . , xn ) называется величина · ¸ ∂ ln p(x; θ) 2 In (θ) = M . ∂θ где p(x; θ) – плотность совместного распределения выборки. Смысл этого определения раскрывается в свойствах величины, которые будут рассмотрены несколько позже, а сначала рассмотрим другую возможность ее представления. Теорема 4.1. Если: 1) область определения п.р. выборки {x : зависит от θ; 2) p(x; θ) дважды дифференцируема по θ, тогда

p(x; θ) 6= 0 } не

·

¸ ∂ 2 ln p(x; θ) In (θ) = −M . (∂θ)2

Доказательство. Так как p(x; θ) является плотностью, то Z p(x; θ) dx = 1. Rn

Дифференцируя последнее равенство по θ и замечая, что ∂p(x; θ) ∂ ln p(x; θ) = p(x; θ), ∂θ ∂θ 49

§ 4 Постановка задачи. Требования к оценкам

получим

Z Rn

∂ ln p(x; θ) p(x; θ) dx = 0 ∂θ

т.е. M

(4.3)

∂ ln p(x; θ) = 0. ∂θ

p(x;θ) Откуда, в частности, следует, что с.в. ∂ ln ∂θ центрирована ∂ ln p(x;θ) и что In (θ) = D ∂θ . Дифференцируя равенство (4.3) еще раз найдем ¶ Z µ Z 2 ∂ ln p(x; θ) 2 ∂ ln p(x; θ) p(x; θ) dx + p(x; θ) dx = 0. (∂θ)2 ∂θ Rn

Rn

Откуда

·

∂ ln p(x; θ) M ∂θ

4.4

¸2

·

¸ ∂ 2 ln p(x; θ) = −M . (∂θ)2

Свойства информации

Аддитивность Теорема 4.2. Если {x : p(x; θ) 6= 0} не зависит от θ, то количество информации прямо пропорционально объему выборки, In (θ) = nI1 (θ) = ni(θ), где i(θ) – количество информации о параметре θ, содержащейся в одном наблюдении. Доказательство следует из теоремы 4.1, а также из линейности операций дифференцирования и взятия математического ожидания. 50

Глава 2. Точечные оценки параметров

Замечание. Указанное свойство означает также, что все наблюдения имеют одинаковое значение для оценки параметра, что неверно, если область значений наблюдений с.в. зависит от параметра. Например, в случае равномерного на [0, θ] распределения решающую роль для оценки параметра θ, очевидно, играет наибольшее наблюдение. Точность Пусть X ∈ N (θ, σ 2 ) (т.е. X – нормально распределенная случайная величина), причем σ известно. Тогда, замечая, что 1 −(x − θ)2 p(x; θ) = √ exp 2σ 2 2πσ и

1 (x − θ)2 − , ln p(x; θ) = ln √ 2σ 2 2πσ

имеем:

µ ¶ ∂ 2 ln p(X; θ) 1 1 i(θ) = −M = −M − 2 = 2 , 2 (∂θ) σ σ

т.е. наблюдение несет тем большую информацию о параметре, чем меньше дисперсия распределения. Убывание информации Теорема 4.3. Информация, содержащаяся в какой-либо статистике всегда не больше, чем информация в выборке. Доказательство. Действительно, пусть T = T (x1 , . . . , xn ) – статистика от выборки x = (x1 , . . . , xn ) и g(t; θ) – плотность ее распределения. Для п.р. выборки p(x; θ) имеем p(x; θ) = g(t; θ) · h(x; θ|t), 51

§ 4 Постановка задачи. Требования к оценкам

где h(x; θ|t) – условная плотность распределения выборки при фиксированном значении t статистики T . Вычисляя в соответствии с теоремой 4.1 математическое ожидание от второй производной распределения p(x; θ) имеем ¸ · 2 ∂ ln h(x; θ|t) = IT (θ) + In|T (θ). In (θ) = IT (θ) − M (∂θ)2 Последний член представляет собой количество условной информации о параметре, содержащейся в выборке при известной статистике T , обозначаемое In|T (θ), и т.к. она положительна, то IT ≤ In . Замечание. Здесь также предполагалось, что область значений наблюдений с.в. не зависит от параметра θ, т.к. в противном случае · ¸ ∂ ln g(t; θ) ∂ ln h(x; θ|t) · , In (θ) = IT (θ) + In|T (θ) + 2M ∂θ ∂θ что не позволяет сделать вывод об убывании информации, т.к. знак последнего члена не известен. До настоящего времени не найдено ни одного примера возрастания информации, так что в общем случае вопрос об убывании информации остается открытым. 4.5

Дополнения

Вопросы для контроля 1. Как возникает проблема оценки параметров модели? 2. Что такое параметрическая статистическая модель? 3. Дайте определения: a) статистики, 52

Глава 2. Точечные оценки параметров

б) состоятельной оценки, в) несмещенной оценки, г) эффективной оценки. 4. Укажите место в доказательстве теоремы 4.1, где используется предположение (1) о независимости множества {x : p(x; θ) 6= 0} от параметра θ. 5. Дайте определение информации. 6. Сформулируйте основные теоремы об информации. Упражнения 2

1. Докажите, что D¯ x = σn . 2. Проверьте состоятельность оценок: а) б) в)

µ ˆ = 12 (x(1) + x(n) ); µ ˆ = k1 (x(1) + x(2) + · · · + x(2k−1) ), n = 2k; Fˆ (x) = Fn (x).

3. Проверьте несмещенность оценок: а) µ ˆ = x1 ; в) µ ˆ = 12 (x1 + x2 ); д) µ ˆ = 12 (x(1) + x(n) ); ж) σˆ2 = (x1 − x ¯)2 ;

б) µ ˆ = x(1) ; г) µ ˆ = 12 (x1 + xn ); е) σˆ2 = x21 ; з) σˆ2 = (x − x )2 ;

и) pˆ = hn ;

к) pˆ = 12 (x(1) + x(n) );

(n)

(1)

4. Приведите несколько самостоятельных примеров несмещенных и смещенных оценок.

53

§ 5 Неравенство Рао-Крамера и эффективные оценки

§ 5 Неравенство Рао-Крамера и эффективные оценки 5.1

Эффективные оценки

Остановимся сначала на некоторых свойствах эффективных оценок в предположении, что они существуют. Исследование этих свойств поможет в дальнейшем находить такие оценки. Введем гильбертово пространство L2 (X , P) с.в. X с системой норм Z ||X||P = DP X = (x − MP X)2 dFP (x), где FP (x) – ф.р. с.в. X, а MP и DP – ее математическое ожидание и дисперсия, отвечающие мере P. Статистики T (x) от выборки x = (x1 , . . . , xn ) объема n будут рассматриваться как элементы прямого произведения этих гильбертовых пространств L2 (X n , P n ). Докажем теперь единственность эффективной оценки в том смысле, что если существуют две таких оценки, то они совпадают с вероятностью 1. Рассмотрим общий случай оценки некоторой функции τ (θ) от неизвестного параметра θ. Теорема 5.1. Пусть T1 (x) и T2 (x) – две эффективные оценки для τ (θ). Тогда P{T1 (x) = T2 (x)} = 1. Доказательство. Рассмотрим наряду с оценками T1 (x) и T2 (x) оценку 1 T (x) = (T1 (x) + T2 (x)), 2 которая также является несмещенной оценкой τ (θ), так как 1 1 Mθ T (x) = (Mθ T1 (x) + Mθ T2 (x)) = (τ (θ) + τ (θ)) = τ (θ). 2 2 54

Глава 2. Точечные оценки параметров

Вычислим дисперсию этой оценки 1 Dθ T (x) = (Dθ T1 (x) + Dθ T2 (x) + 2 covθ (T1 (x), T2 (x))) (5.1) 4 По неравенству Коши-Буняковского в L2 (X n , P n ) имеем ¯R ¯ ¯ ¯ |covθ (T1 (x), T2 (x))| = ¯ (T1 (x) − τ ) · (T2 (x) − τ )p(x; θ) dx¯ ≤ qR qR (T1 (x) − τ )2 p(x; θ) dx · (T2 (x) − τ )2 p(x; θ) dx = ≤ p p = DT1 (x) · DT2 (x). (5.2) При этом равенство в этом неравенстве достигается тогда и только тогда, когда векторы T1 (x) и T2 (x) коллинеарны в рассматриваемом пространстве, т.е. когда T2 (x) − τ = k(θ)(T1 (x) − τ )

с вероятностью 1.

Подставляя (5.2) в (5.1) получим p 1 Dθ T (x) ≤ (Dθ T1 (x)+Dθ T2 (x)+2 Dθ T1 (x) · Dθ T2 (x)). (5.3) 4 Так как T1 (x) и T2 (x) – оценки с минимальной дисперсией, то обозначая V (θ) = Dθ T1 (x) = Dθ T2 (x), из (5.3) найдем 1 Dθ T (x) ≤ (2V (θ) + 2V (θ)) = V (θ), 4

(5.4)

откуда следует, что в неравенстве (5.4), а вместе с ним и в (5.2) достигается равенство (в противном случае Dθ T (x) < V (θ), что противоречит предположению о минимальности дисперсии V (θ) оценок T1 (x) и T2 (x)). Таким образом, T2 (x) − τ = k(θ)(T1 (x) − τ ), и covθ (T1 (x), T2 (x)) = V (θ). 55

§ 5 Неравенство Рао-Крамера и эффективные оценки

Далее, так как в неравенстве (5.2) в действительности имеет место равенство, то V (θ) = covθ (T1 (x), T2 (x)) = Z = (T1 (x) − τ )(T2 (x) − τ ) p(x; θ) dx = Z = (T1 (x) − τ )k(θ)(T1 (x) − τ ) p(x; θ) dx = = k(θ)Dθ T1 (x) = k(θ)V (θ),

откуда следует, что k(θ) = 1, т.е. T1 (x) = T2 (x) с вероятностью 1. (Если V (θ) = 0, то T1 (x) = T2 (x) = τ (θ) с вероятностью 1). Замечание. При доказательстве теоремы единственности и далее в этом параграфе не делается предположений о способе выбора, т.е. не предполагается, что p(x; θ) = p(x1 ; θ) · · · p(xn ; θ). 5.2

Неравенство Рао-Крамера

В предыдущем параграфе, при рассмотрении требований к оценкам было сказано, что при довольно общих предположениях относительно статистической модели и способе наблюдений дисперсия оценки ограничена снизу, т.е. невозможно построить оценку с дисперсией, меньшей некоторой величины, зависящей как от оцениваемого параметра, так и рассматриваемой модели. Ниже приводится неравенство (неравенство Рао-Крамера), указывающее соответствующую нижнюю грань. Сделаем следующие предположения: 1) множество значений x, для которых p(x; θ) 6= 0 не зависит от θ; 56

Глава 2. Точечные оценки параметров ¯ ¯ ¯ p(x;θ) ¯ 2) p(x; θ) дифференцируема по параметру θ и ¯ ∂ ln ∂θ ¯ < ∞; 3) оцениваемая функция τ (θ) дифференцируема по θ. Теорема 5.2 (Неравенство Рао-Крамера). При выполнении условий (1-3) для любой несмещенной оценки T (x) функции τ (θ) имеет место неравенство [τ 0 (θ)]2 h

Dθ T (x) ≥ Mθ

∂ ln p(x; θ) ∂θ

i2 =

[τ 0 (θ)]2 . In (θ)

(5.5)

i2 h θ) называетНапомним, что величина In (θ) = Mθ ∂ ln p(x; ∂θ ся информацией о параметре θ, содержащейся в выборке x. Чаще всего нас интересует сама оценка, т.е. τ (θ) = θ. В этом случае неравенство Рао-Крамера принимает вид 1 , In (θ) т.е. дисперсия оценки параметра не может быть меньше величины, обратной количеству информации об этом параметре. ˆ Dθ θ(x) ≥

Доказательство. Дифференцируя равенства Z p(x; θ) dx = 1, Z Mθ T (x) = T (x)p(x; θ) dx = τ (θ) по параметру θ под знаком интеграла, что возможно в силу p(x;θ) предположения (1) и т.к. частная производная ∂ ln ∂θ ограничена, получим Z Z ∂p(x; θ) ∂ ln p(x; θ) dx = p(x; θ) dx = 0, (5.6) ∂θ ∂θ Z ∂ ln p(x; θ) T (x) p(x; θ) dx = τ 0 (θ). (5.7) ∂θ 57

§ 5 Неравенство Рао-Крамера и эффективные оценки

Вычитая из равенства (5.7) равенство (5.6), умноженное на τ (θ), найдем Z ∂ ln p(x; θ) 0 τ (θ) = [T (x) − τ (θ)] p(x; θ) dx. (5.8) ∂θ Далее, из неравенства Коши-Буняковского в L2 (X n , P n ) следует, что ·Z ¸ [τ 0 (θ)]2 ≤ (T (x) − τ (θ))2 p(x; θ) dx × # "Z µ ¶ ∂ ln p(x; θ) 2 p(x; θ) dx = × ∂θ · ¸ ∂ ln p(x; θ) 2 = Dθ T (x) · Mθ , ∂θ откуда следует соотношение (5.5). 5.3

Достаточное условие эффективности оценок

Неравенство Рао-Крамера дает нижнюю границу для дисперсии оценки, следовательно, если при этом достигается равенство, дисперсия оценки оказывается минимальной, а сама оценка – эффективна. Теорема 5.3. Знак равенства в неравенстве (5.5) достигается тогда и только тогда, когда ∂ ln p(x; θ) = k(θ) (T (x) − τ (θ)) , (5.9) ∂θ ¯ ¯ ¯ (θ) ¯ где коэффициент k(θ) = ∓ ¯ Iτn0 (θ) ¯ не зависит от выборки x.

58

Глава 2. Точечные оценки параметров

Доказательство. Равенство в (5.5) достигается тогда и тольp(x;θ) ко тогда, когда с.в. ∂ ln ∂θ и T (x) − τ (θ), рассматриваемые как элементы пространства L2 (X n , P n ), коллинеарны, т.е. ∂ ln p(x; θ) = k(θ) (T (x) − τ (θ)) . ∂θ Найдем отсюда статистику T (x) и вычислим ее дисперсию. 1 ∂ ln p(x; θ) , k(θ) ∂θ Dθ T (x) = Mθ (T (x) − τ (θ))2 = · ¸ 1 ∂ ln p(x; θ) 2 I(θ) = Mθ = 2 . 2 k (θ) ∂θ k (θ) T (x) = τ (θ) +

(5.10)

(5.11)

Подставив полученное выражение в (5.5), найдем коэффициент ¯ ¯ ¯ I(θ) ¯ ¯ k(θ) = ∓ ¯ 0 ¯¯ . τ (θ)

Таким образом, (5.9) дает нам достаточное условие эффективности оценки. Пример 5.1. Рассмотрим оценку неизвестного математического ожидания нормально распределенной с.в., т.е. статистическую модель (R, N (θ, σ 2 )). В этом случае   µ ¶n   1 X 1 p(x; θ) = √ (xi − θ)2 exp − 2   2σ 2πσ 1≤i≤n

и

∂ ln p(x; θ) 1 X n = 2 (xi − θ) = 2 (¯ x − θ). ∂θ σ σ 1≤i≤n

Таким образом, для τ (θ) = θ статистика x ¯ является эффективной оценкой параметра θ, т.к. имеет место представление (5.9). 59

§ 5 Неравенство Рао-Крамера и эффективные оценки

Пример 5.2. Рассмотрим оценку параметра θ распределения Коши, плотность которого равна p(x; θ) =

1 , π(1 + (x − θ)2 )

−∞ < x < ∞.

В соответствии с методом максимального правдоподобия, подробно изложенным в § 7, оценка θˆn – решение уравнение p(x;θ) правдоподобия ∂ ln ∂θ = 0. Имеем 1 Y 1 p(x; θ) = n π 1 + (xi − θ)2 1≤i≤n

и уравнение правдоподобия имеет вид X xi − θ ∂ ln p(x; θ) = 0. =2 ∂θ 1 + (xi − θ)2 1≤i≤n

Это уравнение не имеет аналитического решения. Кроме p(x;θ) невозможно представить в виде (5.9), поэтому того, ∂ ln ∂θ равенство в неравенстве Рао-Крамера не достигается, т.е. достаточное условие эффективности не выполнено. Тем не менее, как будет установлено в теореме 7.2, эта оценка, как и всякая ОМП, будет асимптотически эффективна.

60

Глава 2. Точечные оценки параметров

5.4

Дополнения

Вопросы для контроля 1. Дайте определение эффективной оценки и сформулируйте теорему о ее единственности. 2. Сформулируйте условия, при которых выполняется неравенство Рао-Крамера. 3. Сформулируйте достаточное условие эффективности оценки. Упражнения 1. Найдите эффективную оценку неизвестной дисперсии нормального распределения при известном м.о., т.е. рассмотрите статистическую модель (X , Pθ ), где X = R и Pθ = N (µ, θ). 2. Найдите эффективные оценки параметров в модели (X , Pθ ), где X = R и Pθ = N (θ1 , θ2 ). 3. Найдите эффективную оценку неизвестного параметра пуассоновского распределения, т.е. рассмотрите статистическую модель (X , P), где X = {0, 1, 2, . . . }, а P задается семейx ством распределений p(x; θ) = θx! e−θ .

61

§ 6 Достаточные статистики

§6

Достаточные статистики

6.1

Определение. Примеры

При практической работе со статистическими данными большого объема очень важно уметь сжато представить содержащуюся в этих данных информацию. Это важно для сбора, хранения, передачи и переработки информации, содержащейся в этих данных. Важно отдавать себе отчет в том, что правильное представление статистической информации в сжатой форме зависит от решаемой задачи. Применительно к задаче оценки параметров проблема сжатого представления статистических данных решается с помощью понятия достаточной статистики. Определение 6.1. Статистика T = T (x), где x = (x1 , . . . , xn ), называется достаточной для параметра θ в параметрической модели (X , Pθ ), если условное распределение выборки x при условии T (x) = t не зависит от параметра θ, т.е. если p(x; θ|T (x) = t) = f (x, t).

(6.1)

Пример 6.1. В задаче оценки параметров нормального распределения X ∈ N (θ1 , θ2 ) имеем X 1 X θˆ1 = x ¯= xi = T1 ( xi ), n 1≤i≤n 1≤i≤n   X X 1 1  θˆ2 = (xi − x ¯)2 = x2i − n¯ x2  = n−1 n−1 1≤i≤n 1≤i≤n   X X = T2  x2i , xi  . 1≤i≤n

62

1≤i≤n

Глава 2. Точечные оценки параметров

В предлагается проверить, что функции Pкачестве упражнения P 2 являются достаточными статистиками. x и x 1≤i≤n i 1≤i≤n i Чтобы решить ту или иную статистическую задачу достаточно помнить лишь значения достаточных статистик или некоторых функций от них (а не всю выборку). Такое решение окажется ничуть не хуже, чем решение, использующее всю выборку. 6.2 Необходимое и достаточное условие достаточности статистики Теорема 6.1 (Неймана-Фишера). Для того чтобы статистика T (x) была достаточной для семейства распределений P = {Pθ } (параметра θ) необходимо и достаточно, чтобы было выполнено условие p(x; θ) = g(T (x); θ) · h(x),

(6.2)

где p(x; θ) – распределение (если с.в. X дискретна) или плотность распределения (если с.в. X непрерывна), отвечающее семейству мер P = {Pθ }. Доказательство проведем для случая дискретной статистической модели (X – дискретное множество). Достаточность. Обозначим наблюдения до эксперимента, рассматриваемые как с.в., через X, а их числовые реализации через x. Пусть имеет место (6.2). Рассмотрим Pθ {X = x|T (X) = t} = =

Pθ {X = x, T (X) = t} = Pθ {T (X) = t} g(t; θ) · h(x) P = f (x, t), g(t; θ) · x:T (x)=t h(x)

откуда следует достаточность условия. 63

§ 6 Достаточные статистики

Необходимость. Обозначая t = T (x) и имея в виду, что {X = x} ⊂ {T (X) = T (x) = t}, в соответствии с (6.1) найдем

p(x; θ) = Pθ {X = x} = Pθ {X = x, T (X) = t} = = Pθ {X = x|T (X) = t} · Pθ {T (X) = t}, т.е. выполняется соотношение (6.2), где Pθ {T (X) = t} = g(t; θ), а первый сомножитель в силу (6.1) не зависит от θ. Замечание. В случае абсолютно непрерывного распределения с плотностью p(x; θ) доказательство теоремы аналогично и лишь сопровождается некоторыми техническими сложностями. Следствие. Если для оценки T (x) в неравенстве Рао-Крамера имеет место строгое равенство, то эта оценка достаточна. Доказательство. Действительно, условием обращения неравенства Рао-Крамера в равенство является соотношение ∂ ln p(x; θ) = k(θ)[T (x) − τ (θ)] ∂θ и, следовательно, распределение p(x; θ) зависит от выборки x только через статистику T (x). 6.3

Теорема Блекуэлла-Колмогорова

Теорема 6.2 (Блекуэлла-Колмогорова). Пусть T1 (x) – достаточная статистика для τ (θ) и T2 (x) – эффективная оценка для τ (θ). Тогда T2 (X) = f (T1 (X)) с вероятностью 1. Доказательство. Обозначим Mθ [T2 (X)|T1 (X) = y] = f (y), и покажем, что T2 (x) = f (T1 (x)). Действительно, пусть

64

Глава 2. Точечные оценки параметров

F1 (y; θ) = Pθ {T1 (X) ≤ y} – ф.р. с.в. T1 (X), тогда Z τ (θ) = Mθ T2 (X) = Mθ [T2 (X)|T1 (X) = y] dF1 (y; θ) = Z = f (y)dF1 (y; θ) = Mθ f (T1 (X)), т.е. f (T1 (x)) – несмещенная оценка для τ (θ). По неравенству Иенсена для любой выпуклой функции φ(x) Mφ(X) ≥ φ(MX) (см. упражнение 5). Функция φ(x) = (x − a)2 выпукла вниз, поэтому имеем £ ¤ Mθ (T2 (X) − τ (θ))2 |T1 (X) = y ≥ ≥ [Mθ (T2 (X)|T1 (X) = y) − τ (θ)]2 = (f (y) − τ (θ))2 . Откуда £ ¤ Dθ T2 (X) = Mθ (T2 (X) − τ (θ))2 = Z = Mθ [T2 (X) − τ (θ)| T1 (X) = y]2 dF1 (y; θ) ≥ Z ≥ [f (y) − τ (θ)]2 dF1 (y; θ) = Dθ f (T1 (X)). Но т.к. T2 (x) эффективна для τ (θ), и, стало быть, единственна (теорема 5.1), то Dθ f (T1 (X)) = Dθ T2 (X) и T2 (X) = f (T1 (X)) с вероятностью 1. 6.4

Дополнения

Вопросы для контроля 1. Дайте определение достаточной статистики. 2. Сформулируйте необходимое и достаточное условие достаточности статистики. 3. Сформулируйте теорему Блекуэлла-Колмогорова. 65

§ 6 Достаточные статистики

Упражнения 1. Пусть x = (x1 , . . . , xn ) ПСВ из генеральной совокупности с нормальным распределением N (θ, 1). Покажите, что статисти1 P ка T (x) = x ¯ = n 1≤i≤n xi достаточна для θ. 2. Пусть x = (x1 , . . . , xn ) ПСВ из генеральной совокупности с нормальным распределением N (θ1 , θ2 ). Покажите, P что векторная статистика T = (T1 , T2 ), где T1 (x) = x ¯ = n1 1≤i≤n xi и 1 P T2 (x) = S 2 = n−1 ¯)2 , достаточна для вектор1≤i≤n (xi − x ного параметра θ~ = (θ1 , θ2 ). 3. Достаточная статистика называется полной, если для любой измеримой функции f (x) из Mθ f (T (x)) = 0 следует, что f (x) = 0 с вероятностью 1. Покажите, что любая функция от полной достаточной статистики является эффективной оценкой для своего м.о. Указание: пусть T (x) – полная достаточная статистика, t = f (T (x)), Mθ t = τ . Рассмотрите Dθ t(x) = Mθ (t − τ )2 = Mθ t2 − 2τ Mθ t + τ 2 = Mθ t2 − τ 2 . 4. Пусть x = (x1 , . . . , xn ) ПСВ из генеральной совокупности с равномерным на [0, θ] распределением. Покажите, что статистика T (x) = max1≤i≤n xi достаточна для θ. 5. Для выпуклой вниз функции φ(x) и с.в. X таких, что Mφ(X) < ∞ докажите неравенство Иенсена: Mφ(X) ≥ φ(MX) Указание. Для двузначной с.в. X, распределение которой задается соотношениями P{X = a} = p, P{X = b} = 1 − p, это неравенство совпадает с определение выпуклой функции. Для дискретных с.в. может быть получено индукцией. Для непрерывных – с помощью представления измеримых функций как предела ступенчатых. 66

Глава 2. Точечные оценки параметров

§7

Метод максимального правдоподобия

7.1

Пример

Рассмотрим задачу оценки неизвестной вероятности в схеме Бернулли. Что можно сказать, если в n испытаниях k раз наблюдалось событие A? Если νn (A) – случайное число появлений события A, то µ ¶ n k Pp {νn (A) = k} = p (1 − p)n−k = bk (n, p). k Естественно предположить, что истинное значение параметра p обеспечивает максимум вероятности события, которое мы наблюдали bk (n, p) → max . Тогда, решая уравнение µ ¶ µ ¶ ∂bk (n, p) n n k k−1 n−k = kp (1 − p) − p (n − k)(1 − p)n−k−1 = 0 ∂p k k или k(1 − p) = (n − k)p, найдем, что pˆ = nk = hn ; эта оценка, как мы знаем, является несмещенной, состоятельной и эффективной, т.е. “хорошей” во всех смыслах. Приведенные рассуждения лежат в основе общего метода максимального правдоподобия (ММП) оценивания параметров. 7.2

Определения

Одним из общих приемов получения оценок, обладающих, по крайней мере асимптотически, хорошими свойствами, является предложенный в 1921 г. Р.А. Фишером метод максимального правдоподобия. 67

§ 7 Метод максимального правдоподобия

Определение 7.1. Совместное распределение (плотность рас~ выборки x = (x1 , . . . , xn ), рассматриваемое пределения) p(x; θ) как функция неизвестного параметра θ~ = (θ1 , . . . , θk ), называется функцией правдоподобия (ф.п.). Чтобы подчеркнуть, что функция правдоподобия рассматривается как функция параметра, будем обозначать ее другой ~ x) = p(x; θ). ~ буквой: L = L(θ; ˆ Определение 7.2. Оценка θ~ = (θˆ1 , . . . , θˆk ), на которой функция правдоподобия достигает своего абсолютного максимума, называется оценкой максимального правдоподобия (ОМП). Другими словами, ОМП определяется из условия ~ˆ ~ x), L(θ(x); x) = sup L(θ;

(7.1)

~ θ∈Θ

или ~ˆ ~ x) x) ≥ L(θ; L(θ(x);

для всех

θ~ ∈ Θ и

x ∈ X n . (7.2)

В случае, когда θ ∈ Θ ⊂ R, а ф.п. дважды непрерывно дифференцируема, ОМП определяется условиями (a)

∂L(θ; x) = 0, ∂θ

(b)

∂ 2 L(θ; x) < 0. (∂θ)2

(7.3)

Первое из этих условий выделяет все внутренние стационарные точки, второе является достаточным условием максимума. В дальнейшем мы будем рассматривать именно одномерный параметр θ ∈ Θ ⊂ R, а при необходимости обобщать полученные результаты на многомерный случай. Замечание. Как будет видно в дальнейшем, и в теоретических построениях, и для практических нужд, целесообразнее 68

Глава 2. Точечные оценки параметров

пользоваться не ф.п. L(θ; x), а ее логарифмом, который будем обозначать l = l(θ; x) = ln L(θ; x). В силу монотонности функции y = ln x точки максимума функций L и l совпадают, что приводит к определению ОМП из уравнений ∂l(θ; x) ∂θ 2 ∂ l(θ; x) (∂θ)2

= =

1 ∂L(θ; x) = 0, L ∂θ 1 ∂ 2 L(θ; x) < 0, L (∂θ)2

(7.4)

первое из которых выделяет все стационарные точки функции l, а второе является необходимым условием максимума. В дальнейшем именно эти уравнения будем называть уравнениями правдоподобия. Укажем некоторые простые свойства ОМП. 7.3

Свойства ОМП

Лемма 7.1. Если существует оценка скалярной функции τ (θ) от параметра θ, для которой в неравенстве Рао-Крамера достигается равенство, то она может быть найдена методом максимального правдоподобия. Доказательство. Действительно, справедливо представление ∂ ln L = k(θ)(T (x) − τ (θ)), (7.5) ∂θ откуда видно, что решением уравнения правдоподобия (7.3) является оценка τˆ(θ) = T (x). Лемма 7.2. ОМП является функцией от достаточной статистики, если последняя существует.

69

§ 7 Метод максимального правдоподобия

Доказательство. В этом случае, как следует из (6.2), ф.п. представима в виде L(θ; x) = g(T (x); θ) · h(x) и, стало быть, уравнение правдоподобия ∂ ln L ∂ ln g(T (x); θ) = =0 ∂θ ∂θ приводит к оценке θˆ = f (T (x)). Рассмотрим другие существенные свойства ОМП. 7.4

Состоятельность ОМП

Теорема 7.1. Если ф.п. L(θ; x) является взаимно однозначˆ ной функцией в окрестности θ = θ0 , то ОМП θ(x) состоятельна. Доказательство. Приведем, следуя [14], с.64 (см. также [18], с.544), эвристические рассуждения, показывающие состоятельность ОМП. По определению ОМП для любых θ ∈ Θ, в том числе для θ = θ0 , где θ0 – истинное (хотя и неизвестное) значение параметра θ, имеем ˆ L(θ; x) ≤ L(θ(x); x). В силу неравенства Иенсена для с.в. η = θ 6= θ0 Mθ0 ln η ≤ ln Mθ0 η = 0,

(7.6) L(θ; x) L(θ0 ; x)

имеем для

так как L(θ; x) Mθ0 η = Mθ0 = L(θ0 ; x) 70

Z

p(x; θ) · p(x; θ0 ) dx = 1. p(x; θ0 )

(7.7)

Глава 2. Точечные оценки параметров

Таким образом, Mθ0 ln L(θ; x) ≤ Mθ0 ln L(θ0 ; x). Разделим обе части этого неравенства на n и, учитывая, что Y X ln L(θ; x) = ln p(xi ; θ) = ln p(xi ; θ) 1≤i≤n

1≤i≤n

имеем Mθ0

1X 1X ln p(xi ; θ) ≤ Mθ0 ln p(xi ; θ0 ), n n

(7.8)

Согласно ЗБЧ (и УЗБЧ) 1 1X ln L(θ; x) = ln p(xi ; θ) → Mθ0 ln p(X; θ) n n по вероятности (и с вероятностью 1), следовательно, при больших n 1 ln L(θ; x) = Mθ0 ln p(X; θ) + o(1). n Тогда неравенство (7.8) преобразуется в 1 1 ln L(θ; x) ≤ ln L(θ0 ; x) + o(1). n n

(7.9)

Неравенство (7.6) верно для любых θ, в частности для θ = θ0 . Прологарифмируем это неравенство и разделим его на n: 1 1 ˆ ln L(θ0 ; x) ≤ ln L(θ(x); x) n n Неравенство (7.9) также верно для любых θ, в частности для ˆ θ = θ(x): 1 1 ˆ ln L(θ(x); x) ≤ ln L(θ0 ; x) + o(1). n n 71

§ 7 Метод максимального правдоподобия

Таким образом, получим 1 1 1 ˆ ln L(θ0 ; x) ≤ ln L(θ(x); x) ≤ ln L(θ0 ; x) + o(1), n n n Следовательно, при n → ∞ 1 1 ˆ ln L(θ(x); x) → ln L(θ0 ; x) по вероятности. n n

(7.10)

Откуда в предположении, что L(θ; x) – взаимно однозначная ˆ функция в окрестности θ = θ0 , следует что θ(x) → θ0 по вероятности, т.е. оценка состоятельна. 7.5 Асимптотические эффективность и нормальность ОМП Покажем, следуя [14], с.67-70 (см. также [18], с.544-549), что при выполнении некоторых условий регулярности ОМП асимптотически нормальна и эффективна. Теорема 7.2. Пусть θ0 – истинное значение параметра θ и ф.п. L(θ; x) дважды дифференцируема по θ в окрестности Uθ0 . Пусть также ¯ ¯ (a) Mθ ∂ ln p(X;θ) = 0, ¯ ∂θ θ=θ0

(b) i(θ) = −Mθ ∂

2

ln p(X;θ) (∂θ)2

h = Mθ

∂ ln p(X;θ) ∂θ

i2

6= 0 для θ ∈ Uθ0 .

Тогда ОМП θˆn асимптотически нормальна с параметрами 1 Mθˆn = θ0 и Dθˆn = n i(θ . 0) Замечание 1. Условие (a) означает, что множество значений x, для которых p(x; θ) 6= 0 не зависит от θ, (см. также условие 1 в теореме 5.2 (неравенство Рао-Крамера)). 72

Глава 2. Точечные оценки параметров

Замечание 2. Напомним, что величина i(θ) называется количеством информации о параметре θ, содержащемся в одном наблюдении (см. § 4.3). Таким образом, дисперсия ОМП параметра θ обратно пропорциональна количеству информации об этом параметре. Доказательство. Раскладывая производную по θ от логарифма ф.п. в точке θˆn по формуле Тейлора в окрестности Uθ0 , имеем ∂ ln L ¯¯ ∂ ln L ¯¯ ∂ 2 ln L ¯¯ ¯ˆ = ¯ + (θˆn − θ0 ) ¯ , ∂θ θn ∂θ θ0 (∂θ)2 θ∗ ˆ ˆ где θ∗ заключено ¯ между θ0 и θn . Откуда, учитывая, что θn – ∂ ln L ¯ ОМП, т.е. ∂θ ¯ = 0, найдем θˆn ¯ .p ∂ ln L ¯ n i(θ0 ) p ∂θ ¯θ ¯0 . (θˆn − θ0 ) n i(θ0 ) = . (7.11) 2 ln L ¯ − ∂(∂θ) (n i(θ )) ¯ 0 2 θ∗ ¯ 2 ln L ¯ Очевидно, что − ∂(∂θ) – сумма н.о.р. с.в. с м.о. n i(θ0 ). 2 ¯ θ0

В силу состоятельности оценки θˆn (см. предыдущий раздел), ˆ знаменатель правой а также т.к. θ∗ заключено между θ0 и θ, части равенства (7.11) по УЗБЧ сходится к 1 с вероятностью 1. Далее, т.к. µ ¶ X ∂ ln p(xi ; θ) ¯¯ ∂ ln L ¯¯ ¯ = ¯ ∂θ ∂θ θ0 θ0 1≤i≤n

является суммой n н.о.р. с.в., каждая из которых имеет нулевое м.о. (предположение (а)) и дисперсию, равную по предположе-

73

§ 7 Метод максимального правдоподобия

нию (b) ·µ Dθ0

∂ ln p(X; θ) ∂θ

# "µ ¶¯ ¸ ¶ ∂ ln p(X; θ) 2 ¯¯ ¯ = = Mθ0 ¯ ¯ ∂θ θ0 θ0

∂ 2 ln p(X; θ) ¯¯ ¯ = i(θ0 ), (∂θ)2 θ0 p то числитель, а вместе с ним и величина (θˆn − θ0 ) n i(θ0 ) согласно ЦПТ сходится к стандартной нормальной с.в. N (0, 1). = −Mθ0

Следствие. Так как 1 1 = ¡ ∂ ln L ¢2 ¯¯ n i(θ0 ) M ∂θ ¯

θ0

является минимальной границей для любой функции от оценки в неравенстве Рао-Крамера (5.5), то ОМП θˆn асимптотически эффективна. Замечание 3. Обобщим теорему 7.2 для многомерного параметра θ~ ∈ Θ ⊂ Rr . Тогда при выполнении условий ¯ ~ ¯ p(X;θ) (a) Mθ~ ∂ ln ∂θ = 0, i = 1, r, ¯ i ~ θ~0 θ=

~ 6= 0 (b) det J(θ) " ~ = −M~ Jij (θ) θ

74

для

~ = [Jij (θ)] ~ θ~ ∈ Uθ~0 , где J(θ) i,j=1,r

# " # ~ ~ ∂ ln p(X; θ) ~ ∂ 2 ln p(X; θ) ∂ ln p(X; θ) = Mθ~ · . ∂θi ∂θj ∂θi ∂θj

Глава 2. Точечные оценки параметров ˆ Распределение ОМП θ~n будет асимптотически нормальным (многомерным) с вектором м.о. θ~0 и ковариационной матрицей 1 ˆ ˆ Dθ~0 (θ~ − θ~0 )(θ~ − θ~0 )0 = J −1 (θ~0 ). n ~ называется информационной матрицей. Матрица J(θ) Следует иметь ввиду, что индексы “n” и “0” относятся к объему выборки и истинному значению для многомерного па~ а индексы i, j относятся к компонентам вектора θ. ~ раметра θ, Замечание 4. На практике для оценки параметров часто пользуются также методом моментов, который состоит в следующем. Пусть имеется параметрическая модель (X , P = Pθ~ ), где θ~ = (θ1 , . . . , θr ). Тогда моменты являются функциями параметров µk = µk (θ1 , . . . , θr ) (k = 1, r) и, следовательно, если эти функции обратимы, то параметры можно выразить в терминах моментов θk = θk (µ1 , . . . , µr )

(k = 1, r)

и построить по ним оценку, заменяя теоретические моменты выборочными, θˆk = θk (m1 , . . . , mr )

(k = 1, r).

При этом, так так в силу ЗБЧ (УЗБЧ) при увеличении объема выборки n → ∞ имеет место сходимость выборочных моментов mk к теоретическим µk mk → µk

(k = 1, r),

то, если функции θk (µ1 , . . . , µr ) непрерывны (по крайней мере ˆ в окрестности Uθ~0 истинного значения параметра), оценка θ~n 75

§ 7 Метод максимального правдоподобия также сходится к оцениваемому параметру θ~0 , т.е. оценки по методу моментов по крайней мере состоятельны. В некоторых случаях (как, например, для нормального распределения) параметры либо совпадают с моментами, либо являются достаточно простыми функциями от них. В этом случае метод моментов позволяет достаточно просто оценивать параметры модели. Однако преимуществом ММП является его универсальность. 7.6

Дополнения

Вопросы для контроля 1. Дайте определения: a) функции правдоподобия, б) оценки максимального правдоподобия. 2. Как связаны эффективные оценки и ОМП? 3. Как связаны ОМП с достаточными статистиками? 4. Сформулируйте условия, при которых ОМП состоятельна и асимптотически нормальна. Упражнения 1. Пусть вероятность успеха в схеме Бернулли может принимать лишь два значения, p1 = 34 , p2 = 12 . Найдите ОМП. 2. Рассмотрите эту же задачу в предположении, что параметр p принимает произвольные значения в отрезке [0, 1]. 3. Найдите ОМП для равномерного распределения на отрезках: (а) [0, θ]; (б) [θ1 , θ2 ].

76

Глава 2. Точечные оценки параметров

4. Вычислите ОМП для параметров • геометрического распределения: p(k; p) = (1 − p)pk , k ∈ N; k • пуассоновского распределения: p(k; λ) = λk! e−λ , k ∈ N; x−µ2

1 • нормального распределения: p(x; µ, σ 2 ) = √2πσ e 2σ2 , x ∈ R; • показательного распределения: p(x; λ) = λe−λ x, x ≥ 0; • показательного распределения со сдвигом: p(x; λ, a) = λe−λ(x−a) , x ≥ a; 1 • равномерного распределения: p(x; a, b) = b−a , a ≤ x ≤ b.

77

Глава 3. ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ §8

Постановка задачи

8.1

Вводные замечания

Теория точечного оценивания параметров, рассмотренная в предыдущей главе, позволяет строить оценки θˆn неизвестных параметров θ в виде функций θˆn = T (x1 , x2 , . . . , xn ) от выборочных (наблюдаемых) значений x = (x1 , x2 , . . . , xn ). При этом нужно отдавать себе отчет в том, что даже наилучшие (эффективные) оценки позволяют оценивать неизвестные параметры лишь “в среднем”, т.е. с.в. θˆn группируется около оцениваемого параметра (если оценка несмещенная, Mθ θˆn = θ) и лишь с ростом n по вероятности сходится к оцениваемому параметру (если оценка состоятельна, plim θˆn = θ). Мерой отклонения n→∞ оценки от истинного значения параметра является дисперсия Dθ θˆn , которая, вообще говоря, также неизвестна и может быть приближенно заменена эмпирической дисперсией оценки. Естественно возникает вопрос о надежности (достоверности) оценок и не асимптотически (при больших n), а при конкретных фиксированных значениях объема выборки n. Для решения этого вопроса Дж. Нейман (1937) предложил теорию интервального оценивания, сущность которой состоит в следующем. Пусть θˆn = T (x) – оценка параметра θ. Тогда, т.к. θˆn является с.в. над семейством выборочных пространств (X , P = Pθ ), она имеет некоторое распределение Fθˆn (t; θ) = Pθ {θˆn ≤ t}, вообще говоря, также зависящее от параметра θ.

Глава 3. Интервальные оценки параметров

Однако, если удастся построить функцию от выборки g = g(x; θ), распределение которой не зависит от θ, т.е. Pθ {g(x; θ) ≤ t} = F (t)

при любых θ ∈ Θ,

то с помощью этого распределения можно делать так называемые доверительные утверждения, а именно: выберем числа α1 , α2 ∈ (0, 12 ) и найдем g1 , g2 так, чтобы выполнялись неравенства F (g1 ) ≤ α1 , F (g2 ) ≥ 1 − α2 . (8.1) Тогда полагая α1 + α2 = α имеем для любого θ ∈ Θ Pθ {g1 < g(x; θ) ≤ g2 } = F (g2 ) − F (g1 ) ≥ ≥ 1 − α2 − α1 = 1 − α,

(8.2)

т.е. с вероятностью не меньшей, чем 1 − α справедливо неравенство g1 < g(x; θ) ≤ g2 . (8.3) Далее, если функция g(x; θ) монотонна по второму аргументу, то используя обратную функцию θ = g −1 (g, x) = t(g, x) и решая неравенство (8.3), получим неравенство t1 (x) = t(g1 , x) < θ ≤ t(g2 , x) = t2 (x),

(8.4)

которое при всех θ ∈ Θ выполняется с вероятностью не меньшей, чем 1 − α. Замечание. Здесь параметр θ не является случайной величиной. Случайны (от выборки к выборке) концы интервала t1 (x) и t2 (x), и утверждение (8.4) следует понимать в том смысле, что с вероятностью не меньшей, чем 1 − α случайный интервал (t1 (x), t2 (x)] накрывает неслучайное значение параметра θ. Другими словами, если пронаблюдать N независимых выборок x1 = (x11 , . . . , x1n ), . . . , xN = (xN 1 , . . . , xN n ), то в среднем в (1 − α)N случаях неизвестное значение параметра θ окажется внутри интервала (t1 (x), t2 (x)], и лишь в αN случаях вне его. 79

§ 8 Постановка задачи

8.2

Определения

Определение 8.1. Вероятность 1 − α, с которой выполняется соотношение (8.4) при всех θ называется доверительной вероятностью, или коэффициентом доверия. Определение 8.2. Функции t1 (x) и t2 (x), для которых соотношение (8.4) выполняется для всех θ ∈ Θ с заданными вероятностями α1 и 1 − α2 называются нижней и верхней доверительными границами уровней α1 и 1 − α2 соответственно. Интервал (t1 (x), t2 (x)] называется доверительным интервалом с коэффициентом доверия 1 − α. Определение 8.3. Объединение доверительных интервалов по всевозможным выборкам, т.е. множество S = {(θ, x)} ⊂ Θ × X n , для которого Pθ (S) ≥ 1 − α для всех θ ∈ Θ, называется доверительной областью. 8.3

Интервальная оценка м.о. для N (µ, 1)

Пусть с.в. X имеет нормальное распределение с неизвестным математическим ожиданием µ и дисперсией σ 2 = 1. Чтобы по выборке x = (x1 , . . . , xn ) построить доверительный интервал для µ, заметим, что с.в. µ ˆ=x ¯ имеет нормальное распределе√ x − µ) n имеет станние1 с параметрами µ и n1 ; стало быть (¯ √ дартное нормальное распределение, (¯ x −µ) n ∈ N (0, 1). Таким образом, выбирая в качестве нижней и верхней доверительных 1

Напомним двойственное отношение к выборке в статистике (см. замечание на с.20)

80

Глава 3. Интервальные оценки параметров

границ соответствующие α1 - и (1−α2 ) - квантили стандартного нормального распределения, т.е. значения c1 , c2 такие, что Φ(c1 ) = α1 , Φ(c2 ) = 1 − α2 , получим √ P{c1 < (¯ x − µ) n ≤ c2 } = Φ(c2 ) − Φ(c1 ) = 1 − α2 − α1 . Решая неравенство в скобках левой части, найдем доверительный интервал для µ с коэффициентом доверия 1 − α = 1 − α1 − α2 в виде

c1 c2 ¯ − √ = t2 (x). t1 (x) = x ¯− √ ≤µ<x n n

В силу симметрии нормального распределения наименьшим будет интервал, для которого α1 = α2 = α2 . В этом случае c1 = −c2 = c, и доверительные границы принимают вид c t1,2 (x) = x ¯∓ √ , n

Φ(c) = 1 −

α . 2

8.4 Интервальная оценка вероятности p в схеме Бернулли Для построения интервальной оценки неизвестной вероятности p успеха в схеме Бернулли заметим, что число успехов νn при n испытаниях имеет биномиальное распределение, µ ¶ n k Pp {νn = k} = bk (n, p) = p (1 − p)n−k , k которое при соответствующей нормировке при n → ∞ очень быстро сходится к стандартному нормальному. Например, при

81

§ 8 Постановка задачи p = 12 уже при n = 3 это приближение очень хорошее. Поэтому в силу симметрии нормального распределения можно положить ¯ (¯ ) ¯ ν − np ¯ ¯ n ¯ Pp ¯ p ¯ ≤ c = 2Φ(c) − 1 = 1 − α ¯ np(1 − p) ¯ и найдя по заданному α величину c построить доверительную область из соотношения (νn − np)2 ≤ c2 np(1 − p) или для hn =

νn n

1 (hn − p)2 ≤ c2 p(1 − p) . n

(8.5)

Множество точек (hn , p), удовлетворяющих неравенству (8.5) лежит внутри эллипса (см. рис. 8.1). 1

p t

0.9 0.8

2

0.7 0.6 0.5 0.4

t1

0.3 0.2 0.1 0

0

0.2

0.4

0.6

h

0.8

1

hn

Рис. 8.1. 95%-я доверительная область для параметра p биномиального распределения при n = 10.

82

Глава 3. Интервальные оценки параметров

Таким образом, для любого наблюденного значения частоты hn можно получить соответствующий доверительный интервал для p, длина которого тем меньше, чем больше n. Из уравнения 1 (hn − p)2 = c2 p(1 − p) n найдем значения доверительных границ для p в зависимости от наблюденной частоты hn , q 2 c2 hn + c2 ∓ √cn hn (1 − hn ) + 4n t1,2 (hn ) = 2 1 + cn и длину интервала ∆ = t2 (hn ) − t1 (hn ) =

2c √ n

q hn (1 − hn ) + 1+

c2 n

c2 4n

,

подтверждающие высказанные суждения. Замечание. Можно вычислить также точные доверительные границы, пользуясь биномиальным распределением. 8.5

Дополнения

Вопросы для контроля 1. Почему необходима оценка точности и достоверности статистического оценивания параметров распределений? 2. В чем состоит сущность доверительного оценивания? 3. Дайте определения: а) доверительной вероятности; б) верхней и нижней доверительных границ; в) доверительного интервала; 83

§ 8 Постановка задачи

г) доверительной области. 4. Как построить доверительный интервал для неизвестного математического ожидания нормального распределения при известной дисперсии? 5. Как построить доверительный интервал для неизвестного параметра в схеме Бернулли? а) с помощью нормальной аппроксимации; б) точный, с помощью биномиального распределения.

84

Глава 3. Интервальные оценки параметров

§ 9 Интервальная оценка дисперсии нормальной с.в. 9.1

Постановка задачи

Рассмотрим задачу оценки неизвестной дисперсии σ 2 нормально распределенной с.в. с известным м.о. µ. Известно (см. § 6, упражнение 2), что достаточной для σ 2 является статистика 1 X S2 = (xi − µ)2 . n 1≤i≤n

Очевидно, распределение величины S 2 зависит от неизвестного параметра σ 2 . Чтобы построить доверительный интервал для него, необходимо найти такую функцию от статистики S 2 и параметра σ 2 , распределение которой не зависело бы от параметра σ 2 . Рассмотрим с этой целью величину X µ xi − µ ¶2 nS 2 . g(S , σ ) = 2 = σ σ 2

2

1≤i≤n

Каждое из слагаемых в правой части является квадратом стандартно нормально распределенной с.в., xiσ−µ ∈ N (0, 1). Поэто2

n совпадает с распределением му распределение статистики nS σ2 суммы n квадратов независимых стандартных нормальных величин. Распределение этой величины зависит лишь от числа слагаемых n и не зависит от исходного неизвестного параметра σ; оно называется χ2n - распределением с n степенями свободы.

9.2

χ2n -распределение

Определение 9.1. Случайная величина χ2n имеет χ2n распределение с n степенями свободы, если она представима в 85

§ 9 Интервальная оценка дисперсии нормальной с.в.

виде суммы квадратов n независимых стандартных нормально распределенных с.в., X χ2n = Zi2 , (9.1) 1≤i≤n

где Zi ∈ N (0, 1) (i = 1, . . . , n) – н.о.р. с.в. Характеристическая функция квадрата стандартной нормально распределенной с.в. равна f (t) = Me

itX 2

1 =√ 2π

Z∞ 2

eitx e−

x2 2

1

dx = (1 − 2it)− 2 .

−∞

Откуда для х.ф. fχ2n (t) найдем n

fχ2n (t) = (1 − 2it)− 2 .

(9.2)

Можно показать (пользуясь, например, формулой свертки для плотностей), что п.р. χ2n -распределения имеет вид (рис. 9.1) ( 0 x ≤ 0, (9.3) pχ2n (x) = n x −1 − 1 x 2 e 2 x > 0. 2n/2 Γ(n/2) Это распределение является частным случаем Γ - распределения, определяемого для любого α > 0 плотностью ( 0 x ≤ 0, (9.4) pΓ (x) = 1 α−1 −x e x>0. Γ(α) x с х.ф. fΓ (t) = (1 − 2it)−α . Сравнение (9.2) с (9.5) показывает, что распределение с параметром α = n2 . 86

(9.5) χ2n 2

имеет Γ-

Глава 3. Интервальные оценки параметров

Дифференцируя (9.2) при t = 0 найдем моменты χ2n - распределения Mχ2n = −ifχ0 2n (0) = n, 00

Dχ2n = −ifχ2n (0) + (fχ0 2n (0))2 = 2n.

n=1

n=2

3

0.8 0.6

2

0.4 1

0

0.2

0

2

4

6

0

0

n=7

5

10

15

n = 50

0.2

0.06

0.15

0.04

0.1 0.02

0.05 0

0

10

20

30

0

0

50

100

Рис. 9.1. Плотности распределения χ2n .

Из (9.4) видно, что при α > 1 мода Γ-распределения равна m = α − 1. Максимум плотности χ2n -распределения достигается 87

§ 9 Интервальная оценка дисперсии нормальной с.в.

• при x = n − 2 для n > 2; • при x = 0 для n = 2; • при x = 0 для n = 1. В первых двух случаях максимум конечен, а в последнем – бесконечен. Свойства χ2n -распределения Теорема 9.1.

χ2n n

→ 1 по вероятности и с вероятностью 1.

Доказательство непосредственно вытекает из УЗБЧ. Теорема 9.2. При n → ∞ справедливо соотношение χ2n − n Yn = √ → N (0, 1). 2n Доказательство следует из ЦПТ в форме Хинчина, обоснование которой для данного случая представлено ниже. Действительно, ½ ¾µ ¶ n nit 2it −2 fYn (t) = exp − √ 1− √ 2n 2n и Ã µ ¶ µ ¶! nit n 2it 1 2it 2 1 √ ln fYn (t) = − √ − −√ − +o = 2 2 n 2n 2n 2n µ ¶ 1 t2 t2 →− . = − +o 2 n 2

88

Глава 3. Интервальные оценки параметров

Обычно в литературе по статистике приводятся подробные таблицы χ2n -распределения. С массовым распространением компьютеров необходимость в них отпала, поскольку во всех статистических, математических и даже офисных приложениях имеются средства вычисления как ф.р., так и квантилей распределения χ2n . 9.3 Интервальная оценка дисперсии при известном м.о. В случае известного математического ожидания нормальной выборки для построения доверительного интервала для дисперсии можно использовать функцию χ2n

X µ xi − µ ¶2 nS 2 = 2 = . σ σ 1≤i≤n

Эта величина имеет, согласно определению, χ2n -распределения с n степенями свободы. Поэтому, задаваясь доверительным коэффициентом 1 − α, найдем α2 - и (1 − α2 )-квантили χ2n распределения, т.е. числа c1 и c2 такие, что P{χ2n ≤ c1 } = Fχ2n (c1 ) =

α 2

и P{χ2n ≤ c2 } = Fχ2n (c2 ) = 1 −

α . 2

Тогда P{c1 <

nS 2 α α ≤ c2 } = Fχ2n (c2 ) − Fχ2n (c1 ) = 1 − − = 1 − α, 2 σ 2 2

т.е. с вероятностью 1 − α выполняется неравенство c1 ≤

nS 2 < c2 , σ2 89

§ 9 Интервальная оценка дисперсии нормальной с.в.

а вместе с ним и неравенство nS 2 nS 2 ≤ σ2 < , c2 c1 определяющее искомый доверительный интервал. 9.4 Интервальная оценка дисперсии при неизвестном м.о. Рассмотрим теперь случай, когда м.о. µ неизвестно. В этом случае статистика S2 =

1 X (xi − x ¯)2 n 1≤i≤n

дает смещенную оценку2 ,   X 1 n−1 2 MS 2 = M  σ . (xi − x ¯)2  = n n 1≤i≤n

Поэтому устраним смещение и рассмотрим статистику S2 =

X 1 (xi − x ¯ )2 , n−1

(9.6)

1≤i≤n

которая является несмещенной оценкой и достаточной статистикой для дисперсии σ 2 . Если теперь, как и раньше, рассмотреть статистику ¶ X µ xi − x (n − 1)S 2 ¯ 2 2 2 , (9.7) g(S , σ ) = = σ2 σ 1≤i≤n

2

90

См. § 4.2, пример 2 на с. 46.

Глава 3. Интервальные оценки параметров

то она уже не будет иметь желаемого χ2n -распределения, так как составляющие сумму справа слагаемые зависимы. Для того, чтобы избавиться от этой зависимости, преобразуем сумму справа следующим образом ¶ X µ xi − x ¯ 2 = σ

1≤i≤n

¶ X µ xi − µ x ¯−µ 2 − = σ σ 1≤i≤n µ ¶ X µ xi − µ ¶2 x ¯−µ 2 = −n = σ σ 1≤i≤n  2 X X 1 = Yi2 −  Yi  , (9.8) n 1≤i≤n

1≤i≤n

где величины Yi = xiσ−µ ∈ N (0, 1) стандартно нормально распределены и независимы. Подберем теперь ортогональное преобразование U, Z = U Y , Z = (Z1 , . . . , Zn )0 , Y = (Y1 , . . . , Yn )0 такое, чтобы Zn = √1n (Yi + · · · + Yn ). В силу ортогональности P P 2 преобразования U 1≤i≤n Yi2 = 1≤i≤n Zi , поэтому совместное распределение величин Zi будет нормальным и величины остаются независимыми (см. упражнение 4). Тогда выражение (9.8) преобразуется к виду g(S 2 , σ 2 ) =

X (n − 1)S 2 = Zi2 − Zn2 = 2 σ 1≤i≤n

X

Zi2 = χ2n−1 ,

1≤i≤n−1 2

из которого следует, что величина (n−1)S имеет χ2n−1 σ2 распределение с n − 1 степенями свободы. Отсюда легко получим правило построения доверительных интервалов для неизвестной дисперсии σ 2 нормального распределения при неизвестном м.о. Задаваясь коэффициентом доверия 1 − α найдем α2 - и (1 − α2 )-квантили χ2n−1 -распределения, 91

§ 9 Интервальная оценка дисперсии нормальной с.в.

т.е. числа c1 и c2 , удовлетворяющие условиям α P{χ2n−1 ≤ c1 } = Fχ2n−1 (c1 ) = 2 и α P{χ2n−1 ≤ c2 } = Fχ2n−1 (c2 ) = 1 − . 2 Тогда эквивалентные неравенства c1 <

(n − 1)S 2 ≤ c2 , σ2

(n − 1)S 2 (n − 1)S 2 < σ2 ≤ , c2 c1 выполняются с вероятностью 1 − α. Последнее из этих неравенств задает доверительный интервал для неизвестной дисперсии с заданным коэффициентом доверия 1 − α. Замечание. При построении доверительных интервалов здесь использовались для простоты симметричные интервалы, хотя для χ2n -распределения этот интервал, возможно, не является наименьшим по длине. 9.5

Дополнения

Вопросы для контроля 1. Дайте определение χ2n -распределения. 2. Перечислите свойства χ2n -распределения. 3. Как построить доверительный интервал для неизвестной дисперсии нормального распределения при известном математическом ожидании? 4. Как построить доверительный интервал для неизвестной дисперсии нормального распределения при неизвестном математическом ожидании? 92

Глава 3. Интервальные оценки параметров

Упражнения 1. Выведите формулу (9.3) для п.р. χ2n -распределения. 2. Выведите формулу (9.2) для х.ф. χ2n -распределения. 3. Вычислите 4 момента χ2n -распределения. 4. Докажите что при ортогональном преобразовании U стандартно нормально распределенный вектор Y ∈ N (0, I) преобразуется в стандартно нормально распределенный вектор Z = U Y ∈ N (0, I).

93

§ 10 Интервальная оценка м.о. нормальной с.в.

§ 10

Интервальная оценка м.о. нормальной с.в.

10.1

Постановка задачи

В § 8.3 была рассмотрена интервальная оценка м.о. нормального распределения при известной дисперсии. В этом слуx ¯ − µ√ чае с.в. n имеет стандартное нормальное распределение, σ т.е. не зависит от параметра, что позволяет строить для м.о. µ доверительный интервал. Когда дисперсия σ 2 неизвестна (что является обычной ситуацией), естественно заменить ее оценкой x ¯ − µ√ n S 2 . Однако получающаяся при этом статистика Tn = √ S2

уже не будет иметь нормального распределения. Распределение с.в. Tn возникает во многих задачах математической статистики. Впервые это распределение ввел и рассмотрел лорд Госсет (W.S. Gosset), работавший под псевдонимом Стьюдент, откуда и произошло название – распределение Стьюдента. 10.2

tn - распределение Стьюдента

Определение 10.1. Случайная величина Tn имеет tn распределение Стьюдента с n степенями свободы, если она представима в виде Y √ Tn = p n (10.1) Xn2 где Y ∈ N (0, 1), Xn2 ∈ χ2n , с.в Y и Xn2 независимы. П.р. tn -распределения имеет вид (рис. 10.1) pTn (x) = √ nB( 12 , где B(p, q) =

R1 0

94

1 n 2 )(1

+

x2 n+1 2 n)

,

−∞ < x < ∞,

(10.2)

xp−1 (1 − x)q−1 dx (p > 0, q > 0) – Бета-функция.

Глава 3. Интервальные оценки параметров

p Tn (x) 0.4

0.35

0.3

0.25 ←− 2

0.2 ←1 0.15

0.1

0.05 ←− 3 0 −8

−6

−4

−2

0

2

4

6

8

x

Рис. 10.1. П.р. Стьюдента при n = 1 (1), n = 4 (2) и п.р. N (0, 1) (3).

Моменты tn -распределения существуют только для k < n, причем в силу симметрии плотности tn -распределения нечетные моменты равны 0, а для четных справедлива формула µ2k = nk

Γ(k + 21 ) · Γ( n2 − k) , Γ( 12 ) · Γ( nk )

2k < n.

В частности, второй момент равен µ2 = n

Γ( 32 ) · Γ( n2 − 1) n = . n−2 Γ( 21 ) · Γ( n2 ) 95

§ 10 Интервальная оценка м.о. нормальной с.в. 2

Т.к. по теореме 9.1 Yn = χnn → 1 с вероятностью 1, то при n → ∞ справедливо соотношение Tn → N (0, 1) c вероятностью 1.

(10.3)

10.3 Интервальная оценка м.о. при неизвестной дисперсии Следуя § 10.2, для построения доверительного интервала в этом случае возьмем статистику x ¯−µ √ x ¯−µ √ √ n n x ¯ − µ√ σ σ √ r = Tn−1 = n= ¡ ¢ P xi −¯x 2 n − 1. S S2 σ 1≤i≤n

σ

Воспользуемся ортогональным преобразованием § 9.4 и приведем ее к виду Zn P

Tn−1 = r

1≤i≤n−1

Zi2

√ n − 1,

где Zi ∈ N (0, 1) – н.о.р. с.в. x ¯ − µ√ Очевидно, что статистика Tn−1 = n имеет распредеS ление Стьюдента с n−1 степенью свободы. Таким образом, для построения доверительного интервала с коэффициентом доверия 1 − α следует искать нижнюю и верхнюю доверительные границы из условий P{Tn−1 ≤ c1 } = α1 ,

и

P{Tn−1 ≤ c2 } = 1 − α2 .

При этом неравенство c1 < 96

x ¯ − µ√ n ≤ c2 S

(10.4)

Глава 3. Интервальные оценки параметров

а вместе с ним и неравенство c1 S c2 S x ¯− √ <µ≤x ¯+ √ n n выполняются с вероятностью 1 − α1 − α2 = 1 − α. Замечание. В силу симметрии tn−1 -распределения Стьюдента доверительный интервал, найденный из условия (10.4) будет минимальным при выборе c2 = −c1 = tn−1,1− α2 , где tn−1,1− α2 – квантиль распределения Стьюдента, Ftn−1 (tn−1,1− α2 ) = 1 −

α . 2

При этом доверительный интервал принимает вид x ¯− 10.4

tn−1,1− α2 S tn−1,1− α2 S √ √ <µ≤x ¯+ . n n

Дополнения

Вопросы для контроля 1. Дайте определение tn -распределения Стьюдента с n степенями свободы. 2. Перечислите основные свойства tn -распределения Стьюдента. 3. Как построить доверительный интервал для неизвестного математического ожидания нормального распределения при неизвестной дисперсии?

97

§ 10 Интервальная оценка м.о. нормальной с.в.

Упражнения 1. Пусть с.в. T имеет распределение Стьюдента с n степенями свободы. Докажите, что M(T 2k−1 ) = 0, если 2k < n, и M(T 2k−1 ) = ∞ в противном случае. 2. Докажите соотношение (10.3). Лабораторная работа №4 По заданным статистическим данным постройте доверительные интервалы для параметров нормального распределения.

98

Глава 3. Интервальные оценки параметров

§ 11 Интервальные оценки параметров при больших выборках 11.1

Асимптотическая нормальность

∂ ln L ∂θ

Покажем, что при выполнении некоторых условий регулярln L имеет асимптотически нормальное распределение. ности ∂ ∂θ Именно, докажем теорему Теорема 11.1 (Крамер, 1946). Пусть (1) эксперимент состоит в ПСВ; (2) p(x; θ) дважды дифференцируема по θ; (3) выполняется неравенство i(θ) = −Mθ0

∂ 2 ln p(X; θ) < ∞; (∂θ)2

(4) {x : p(x; θ) 6= 0} не зависит от θ. Тогда величина ∂ ln L(θ;x) асимптотически нормальна с пара∂θ метрами (0, n i(θ)), т.е. при n → ∞ ∂ ln L(θ; x) 1 p → N (0, 1). ∂θ n i(θ)

(11.1)

Замечание. Напомним, что величина i(θ) называется количеством информации о параметре θ, содержащемся в одном наблюдении (см. § 4.3). Доказательство. В силу предположения 1 о ПСВ имеем X X ∂ ln p(xi ; θ) ∂ X ∂ ln L(θ; x) = = Yi ln p(xi ; θ) = ∂θ ∂θ ∂θ 1≤i≤n

1≤i≤n

1≤i≤n

99

§ 11 Интервальные оценки параметров при больших выборках i ;θ) где Yi = ∂ ln p(x – н.о.р. с.в., следовательно, в силу ЦПТ ве∂θ ∂ ln L(θ;x) имеет асимптотически нормальное распределичина ∂θ ление. По предположению 4 Z Z ∂p(x; θ) ∂ ln p(x; θ) · p(x; θ) dx = dx = MYi = ∂θ ∂θ Z ∂ p(x; θ) dx = 0. = ∂θ

Рассмотрим далее тождество Z p(x; θ) dx = 1. Дифференцируя его дважды по θ имеем в силу предположений 2, 3 и 4 Z Z ∂ ln p(x; θ) ∂ p(x; θ) dx = · p(x; θ) dx = 0; ∂θ ∂θ ¶ # µ Z " 2 ∂ ln p(x; θ) ∂ ln p(x; θ) 2 · p(x; θ) dx = 0. + (∂θ)2 ∂θ Откуда Z µ

MY

2

¶ ∂ ln p(x; θ) 2 = · p(x; θ) dx = ∂θ Z 2 ∂ ln p(x; θ) = − · p(x; θ) dx = i(θ), (∂θ)2

или, поскольку MY = 0, имеем DY = MY 2 − (MY )2 = i(θ).

100

Глава 3. Интервальные оценки параметров

Таким образом, ∂ ln L(θ; x) ∂ ln L(θ; x) = 0, D = n i(θ). ∂θ ∂θ Следовательно, получаем, что при n → ∞ M

∂ ln L(θ; x) → N (0, n i(θ)) ∂θ в смысле сходимости соответствующих ф.р. 11.2 Интервальные оценки параметров при больших выборках В силу доказанной в предыдущем разделе теоремы имеем, что

∂ ln L(θ; x) 1 → N (0, 1). g(x; θ) = p ∂θ n i(θ) Используя этот факт, можно строить приближенные доверительные интервалы для θ, если функция g(x; θ) монотонна по θ. Действительно, выбирая по указанному коэффициенту доверия 1 − α числа g1 и g2 из таблиц нормального распределения так, чтобы α P{g(x; θ) ≤ g1 } = Φ(g1 ) = 2 и α P{g(x; θ) ≤ g2 } = Φ(g2 ) = 1 − 2 получим, что неравенство g1 < g(x; θ) ≤ g2 выполняется с вероятностью 1 − α. Далее, разрешая это неравенство относительно θ, что возможно в силу монотонности функции g(x; θ) по θ, найдем, что эквивалентное неравенство t1 (x) = g −1 (x; g1 ) < θ ≤ g −1 (x; g2 ) = t2 (x) 101

§ 11 Интервальные оценки параметров при больших выборках

выполняется с той же вероятностью 1 − α. 11.3

Примеры

1. Рассмотрим выборку из нормальной совокупности с дисперсией σ 2 = 1. В этом случае (полагая, что θ = µ) имеем ∂ ln L(µ; x) = n(¯ x − µ); ∂µ и величина g(x; µ) =

−

∂ 2 ln L(µ; x) =n (∂µ)2

n(¯ x − µ) √ √ = n(¯ x − µ) n

имеет нормальное распределение, g(x; θ) ∈ N (0, 1), для любых n, а не только асимптотически. Последнее соотношение позволяет строить доверительные интервалы для любых выборок. 2. Рассмотрим выборку из генеральной совокупности с распределением Пуассона. В этом случае (полагая, что θ = λ) имеем λx −λ e , x ∈ N, p(x; λ) = x! n ∂ 2 ln L(λ; x) ∂ ln L(λ; x) n¯ x = (¯ x − λ); − = 2; 2 ∂λ λ (∂λ) λ · 2 ¸ ∂ ln L(λ; x) n n n 1 M − = 2 M¯ x = 2 nλ = . 2 (∂λ) λ λ n λ Откуда g(x; λ) =

n x − λ) λ (¯ pn λ

r =

n (¯ x − λ) → N (0, 1). λ

Хотя функция g(x; λ) не монотонна, но доверительный интервал можно построить. Например, для α = 0, 05 имеем 102

Глава 3. Интервальные оценки параметров

g1,2 = ∓zα = ∓1, 96, так что r n (¯ x − λ) ≤ zα . −zα < λ Отсюда для доверительных границ λ1,2 имеем уравнение λ2 − (2¯ x+

zα2 )λ + (¯ x)2 = 0, n

из которого находим z2 =x ¯+ α ∓ 2n

r

x ¯zα2 z4 + α2 , n 4n .√ или с точностью до членов порядка 1 n имеем r x ¯ λ1,2 = x ¯ ∓ zα , n так что r r x ¯ x ¯ ≤λ≤x ¯ + zα . x ¯ − zα n n λ1,2

11.4

Дополнения

Вопросы для контроля 1. Сформулируйте теорему Крамера об асимптотическом поln L ведении ∂ ∂θ при n → ∞. 2. В чем состоит основная идея построения доверительных интервалов для параметров при больших выборках? 3. Как построить доверительный интервал для неизвестного математического ожидания нормального распределения при известной дисперсии, пользуясь теорией больших выборок? 4. Как построить доверительный интервал для неизвестного параметра распределения Пуассона при большом числе наблюдений? 103

§ 11 Интервальные оценки параметров при больших выборках

Упражнения 1. Постройте доверительный интервал при большой выборке для параметра показательного распределения. 2. Постройте доверительные интервалы для параметров Γраспределения при большой выборке. Лабораторная работа №5 По заданным статистическим данным постройте доверительные интервалы для параметров показательного распределения и распределения Пуассона.

104

Глава 4. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ § 12

Основные понятия. Постановка задачи

12.1

Понятие о статистической гипотезе

Понятие статистической гипотезы отличается от общего понятия научной гипотезы тем, что предполагает: 1) возможность проведения наблюдений над некоторыми величинами, связанными с гипотезой; 2) наличие некоторого статистического распределения этих наблюдений. Примеры 1. Пусть моделью некоторого случайного явления является с.в. X ∈ N (µ, 1). Гипотеза H0 : µ = 0 является статистической, так как требования 1), 2) выполнены. 2. Гипотеза “рост мужчин и женщин имеет нормальное распределение с одинаковыми м.о.” является статистической, т.к. рост можно измерять и предполагается наличие статистического распределения каждой из совокупностей. 3. Гипотезы “рост мужчин (или женщин, или людей) описывается нормальным распределением” – статистические, т.к. рост измеряем, и предполагается наличие распределения этих измерений. 4. Гипотеза о том, что выборка x1 , . . . xn представляет собой независимые наблюдения над с.в. X ∈ F (x) также представляет пример статистической гипотезы.

§ 12 Основные понятия. Постановка задачи

В отличие от приведенных примеров гипотезы: 1. о возможности высадки человека на Марс до 2030 года; 2. о существовании органической жизни на Венере; 3. об исчезновении Наполеона Бонапарта с острова св. Елены и т.п. не являются статистическими, т.к. для их проверки либо невозможно проведение наблюдений, либо если таковые (или хотя бы косвенные) возможны, им невозможно сопоставить никакого разумного статистического распределения. 12.2

Классификация гипотез

Приведенные примеры дают достаточно четкое представление о статистических гипотезах. С целью дальнейшего изучения и разработки методов проверки статистических гипотез их удобно разделить на параметрические и непараметрические, а также на простые и сложные. Определение 12.1. Гипотеза называется параметрической, если распределение наблюдений, отвечающих проверяемой гипотезе, задано с точностью до неизвестных параметров, а значения этих параметров или область этих значений проверяется гипотезой; в противном случае гипотеза называется непараметрической. Другими словами, параметрическая гипотеза – это гипотеза, высказываемая относительно неизвестных параметров заданного параметрического семейства распределений. Из перечисленных в предыдущем разделе примеров к параметрическим гипотезам относятся гипотезы, рассмотренные в примерах 1 и 2. Остальные примеры представляют непараметрические гипотезы.

106

Глава 4. Проверка статистических гипотез

Определение 12.2. Гипотеза называется простой, если ей отвечает единственное распределение наблюдений в выборочном пространстве; в противном случае гипотеза называется сложной. Простыми являются гипотезы в примерах 1 и 4, сложными – в примерах 2 и 3. 12.3 Критическая область. Размер и мощность критерия Для проверки какой-либо гипотезы H0 мы располагаем выборкой наблюдений x = (x1 , . . . xn ) ∈ X n и возможностью вычислять распределения pH0 (x) наблюдений выборки при выполнении гипотезы H0 . На основании этого материала нужно построить правило (критерий) проверки гипотезы. Как должно выглядеть это правило? Пример 12.1. Представим себе сначала простой вырожденный случай, когда гипотеза H0 приводит, скажем, к положительному значению (X > 0) некоторой наблюдаемой величины X, а ее невыполнение – к отрицательному (X < 0). Тогда, очевидно, для проверки гипотезы H0 достаточно провести одно наблюдение и гипотезу H0 принять, если X > 0 и отвергнуть, если X < 0. Таким образом, критерий (правило) проверки гипотезы состоит в данном случае в разбиении области возможных наблюдений (выборочного пространства) X на две области: {X < 0} – область, где проверяемая гипотеза отвергается и {X > 0} – где гипотеза не отвергается (согласуется с данными наблюдений). Замечание. Уже в этом простом примере видно, насколько сильно правило проверки гипотезы зависит от возможной альтернативы, которая обозначается через H1 . Например, если бы 107

§ 12 Основные понятия. Постановка задачи

альтернативная гипотеза H1 могла приводить как к положительным, так и отрицательным наблюдениям, то высказанное правило проверки гипотезы было бы уже, по крайней мере, не очевидным, а возможно и неверным. Обобщая рассмотренное в примере правило, критерий проверки гипотезы сводят к построению критической области W . Определение 12.3. Критическая область W в выборочном пространстве X n , W ∈ X n – это подмножество наблюдений, при котором проверяемая гипотеза отвергается, как не отвечающая данным наблюдений. Чтобы высказать разумные требования к критериям проверки гипотез, рассмотрим сначала, к каким последствиям приводит нас класс предложенных правил проверки гипотез. В общем случае как проверяемая, так и альтернативная гипотезы могут приводить к любым наблюдаемым точкам x из выборочного пространства X 1 . Поэтому, базируя критерий проверки гипотезы на любой критической области W , мы можем допустить ошибки двух видов. Определение 12.4. Ошибка первого рода состоит в возможности отвергнуть верную гипотезу. Вероятность этой ошибки называется размером критерия или уровнем значимости критерия и обозначается через α = PH0 (W ). Замечание 1. Обозначение PH0 (W ) лишь по форме записи похоже на условную вероятность, но ничего общего с понятием условной вероятности не имеет, так как распределения в пространстве гипотез не задано. 1

Ясно, что точки, которые заведомо не могут наблюдаться при проверяемой гипотезе следует включать в критическую область.

108

Глава 4. Проверка статистических гипотез

Замечание 2. Ошибка I рода, вообще говоря, неизбежна, если распределения наблюдений при проверяемой гипотезе собственное, т.е. сосредоточено на всем выборочном пространстве. Если задать α = 0, то критическая область окажется пустой (W = ∅), и мы должны будем принять гипотезу в любом случае. Определение 12.5. Ошибка второго рода состоит в возможности принять неверную гипотезу. Вероятность ошибки II рода обозначается через ¯ ), β = PH¯ 0 (W ¯ 0. она зависит, очевидно, от класса альтернативных гипотез H Определение 12.6. Величину 1 − β = PH1 (W ) ¯ 0 называют мощнопри фиксированной альтернативе H1 ∈ H стью критерия. Функция (1 − β)(H1 ) = PH1 (W ), рассматриваемая как функция альтернативных гипотез (или значений параметров, в случае проверки параметрических гипотез) называется функцией мощности критерия. 12.4

Статистики критерия и требования к ним

Построение критической области W в многомерном пространстве X n довольно утомительная (а без дополнительных ограничений и неразрешимая) задача. Поэтому обычная процедура проверки гипотез состоит в построении некоторой статистики (статистики критерия) h = h(x) = h(x1 , . . . , xn ) и сведении многомерной критической области к одномерной w, W = {x : h(x) ∈ w} 109

§ 12 Основные понятия. Постановка задачи

Очевидно, при этом размер α и мощность 1 − β критерия проверки H0 против H1 равны соответственно α = PH0 (W ) = PH0 {h(x) ∈ w}, 1 − β = PH1 (W ) = PH1 {h(x) ∈ w}. При проверке параметрических гипотез такая статистика строится обычно на основе достаточных для рассматриваемого параметра статистик. При построении непараметрических критериев выбор такой статистики определяется искусством исследователя. Рассмотрим требования к статистике критерия при проверке параметрических гипотез. Определение 12.7. Статистика h(x) для проверки гипотезы H0 против класса альтернатив H называется состоятельной, если при любой альтернативе H1 ∈ H вероятность отвергнуть H0 стремится к 1, при n → ∞. Пусть wn – критическая область для статистики h(x) при объеме выборки n. Тогда определение 12.7 можно записать так: lim PH1 {h(x) ∈ wn } = 1 ∀H1 ∈ H.

n→∞

(12.1)

Определение 12.8. Будем говорить, что статистика h(x) для проверки гипотезы H0 против простой альтернативы H1 является несмещенной, если для критической области w любого размера α выполняется условие 1 − β = PH1 {h(x) ∈ w} ≥ α.

(12.2)

В противном случае статистика h(x) и соответствующий ей критерий называются смещенными.

110

Глава 4. Проверка статистических гипотез

Определение 12.9. Если альтернативная гипотеза H – сложная, а соотношение (12.2) выполняется для каждой простой гипотезы H1 ∈ H, то h(x) называется несмещенной статистикой для проверки H0 против сложной альтернативы H. 12.5

Дополнения

Вопросы для контроля 1. Каковы основные требования к проверке статистических гипотез? 2. Дайте определения: а) параметрической и непараметрической гипотез, б) простой и сложной гипотез. 3. Дайте определения: а) б) в) г)

критической области, ошибок I и II рода при проверке гипотез, размера и мощности критерия, функции мощности критерия.

Упражнения Приведите примеры: а) параметрических и непараметрических гипотез, б) простых и сложных гипотез.

111

§ 13 Проверка простых гипотез

§ 13

Проверка простых гипотез

13.1

Теорема Неймана-Пирсона

Пусть по выборке x = (x1 , . . . , xn ) ∈ X n требуется проверить простую гипотезу H0 : X ∈ F0 (x) против простой же альтернативы H1 : X ∈ F1 (x). Гипотезы H0 и H1 могут быть как параметрическими, так и непараметрическими. Пусть p0 (x) и p1 (x) – п.р. выборок (или распределения в дискретном случае) при гипотезах H0 и H1 соответственно. Тогда задача проверки гипотезы сводится к построению критической области W заданного размера α, Z PH0 {x ∈ W } = p0 (x) dx ≤ α, (13.1) W

обладающей максимальной мощностью Z PH1 {x ∈ W } = p1 (x) dx = 1 − β ⇒ max .

(13.2)

W

Для определения таких критических областей Дж.Нейман и К.Пирсон в 1933 г. предложили метод, получивший название метода отношения правдоподобий (МОП). Теорема 13.1 (Неймана-Пирсона). Наиболее мощной среди критических областей заданного размера α является критическая область, определяемая отношением правдоподобий, ¾ ½ p1 (x) ≥ cα , W = x: p0 (x) где постоянная cα определяется размером критической области. 112

Глава 4. Проверка статистических гипотез

Доказательство. Очевидно, что точки x, для которых p0 (x) = 0, а p1 (x) > 0 целесообразно включать в область W , так как они, не изменяя размера α области W , увеличивают ее мощность 1−β. Для остальных точек представим соотношение (13.2) в виде Z p1 (x) 1−β = · p0 (x) dx ⇒ max . p0 (x) W

Очевидно, что последнее соотношение будет принимать максимальное значение, если в область W включать точки, для которых отношение pp10 (x) (x) максимально. Отсюда следует указанное правило: наилучшей критической областью (НКО) будет область W , для которой ½ ¾ p1 (x) W = x: ≥ cα , p0 (x) где постоянная cα выбирается из условия (13.1). 13.2

Пример

Рассмотрим задачу проверки простой гипотезы H0 : µ = µ0 против простой же альтернативы H1 : µ = µ1 о математическом ожидании нормально распределенной с.в. X ∈ N (µ, 1). Имеем     X 1 1 exp − (xi − µk )2 , k ∈ {0, 1}. p(x; µk ) = p  2  (2π)n 1≤i≤n

113

§ 13 Проверка простых гипотез

Отсюда p(x; µ1 ) p(x; µ0 )

  1 X £ ¤ = exp (xi − µ0 )2 − (xi − µ1 )2 = 2  1≤i≤n nn £ ¤o 2x ¯(µ1 − µ0 ) + µ20 − µ21 , = exp 2

или

1 1 W = {x : (µ1 − µ0 )¯ x ≥ (µ21 − µ20 ) + ln cα } 2 n и, стало быть, вид критической области вполне определяется статистикой x ¯ и постоянными µ0 , µ1 и cα . Таким образом, при фиксированных µ0 и µ1 имеем ( {¯ x ≤ c0α } если µ0 > µ1 , W = {¯ x ≥ c0α } если µ0 < µ1 , cα 1 где c0α = µ0 +µ + n(µln1 −µ определяется размером критерия α. 2 0) Заметим очень важный факт, что вид критической области W определяется здесь единственной статистикой h(x1 , . . . , xn ) = x ¯, хотя и зависит от альтернативной гипотезы, а именно от значения параметра µ1 (µ0 > µ1 или µ0 < µ1 ). Здесь редукция задачи о построении критической области к задаче о выборе статистики критерия получилась сама собой. Наличие свободной от параметров статистики критерия h(x) = x ¯ позволяет довольно просто определять границу критической области c0α и вычислять мощность критерия.

13.3

НКО и достаточные статистики

Если обе сравниваемые гипотезы относятся к значению параметра θ, для которого существует достаточная статистика

114

Глава 4. Проверка статистических гипотез

T (x), то из представления ф.п. в этом случае следует, что НКО имеет вид ½ ¾ ½ ¾ p1 (x) g(T (x); θ1 )k(x) W = x: ≥ cα = x : ≥ cα , p0 (x) g(T (x); θ0 )k(x) т.е. она полностью определяется достаточной статистикой T (x), ½ ¾ g(T (x); θ1 ) W = x : h(x) = ≥ cα . g(T (x); θ0 ) Таким образом, при наличии достаточной статистики задача построения критической области сводится к задаче построения статистики критерия, в качестве которой можно взять достаточную статистику или некоторую функцию от нее, распределение которой табулировано. 13.4 Проверка простой гипотезы против класса альтернатив Задача проверки простой гипотезы против сложной (или против класса альтернатив) в общем случае значительно сложнее. Однако, если сравниваемые гипотезы параметрические, для которых известна достаточная статистика, то рассуждения предыдущего раздела показывают, что и в этом случае НКО может быть получена с помощью статистики критерия, которая является функцией от достаточной статистики. Таким образом, задача сводится к построению удобной статистики критерия.

115

§ 13 Проверка простых гипотез

13.5

Дополнения

Вопросы для контроля 1. Сформулируйте теорему Неймана-Пирсона о проверке простой гипотезы против простой альтернативы. 2. Объясните, почему наилучшей критической областью будет область ½ ¾ p1 (x) W = x: ≥ cα , p0 (x) 3. Какой вид имеет НКО, если обе сравниваемые гипотезы относятся к значению параметра θ, для которого существует достаточная статистика T (x)? Упражнения 1. С помощью теоремы 13.1 Неймана-Пирсона постройте статистику критерия для гипотезы о равенстве параметра распределения Пуассона λ = λ0 против гипотезы λ = λ1 . 2. Решите предыдущую задачу для параметра показательного распределения.

116

Глава 4. Проверка статистических гипотез

§ 14

Проверка равенства м.о. нормальных с.в.

14.1

Постановка задачи

Рассмотрим задачу проверки равенства математических ожиданий (средних) двух нормальных с.в. Точнее задача формулируется следующим образом. Пусть X ∈ N (µ1 , σ 2 ), Y ∈ N (µ2 , σ 2 ) – независимые нормально распределенные величины и x = (x1 , . . . xn ), y = (y1 , . . . ym ) – наблюдения, полученные путем ПСВ над с.в. X и Y соответственно. Требуется проверить гипотезу H0 : µ1 = µ2 против класса альтернатив H1 : µ1 6= µ2 . Отметим, что в данном случае мы имеем дело с проверкой сложной гипотезы H0 (так как она не выделяет единственного распределения в выборочном пространстве) против сложной же альтернативы. Таким образом, теория Неймана-Пирсона не применима к решению поставленной задачи. Однако, так как в данном случае для проверяемых параметров существует достаточные статистики, равные, соответственно, выборочным средним, то естественно проверку равенства математических ожиданий µ1 = µ2 основывать на близости соответствующих выборочных средних x ¯ и y¯. Для построения статистики критерия рассмотрим два случая: 1) когда дисперсии равны и известны, σ12 = σ22 = σ 2 ; 2) когда дисперсии равны, но неизвестны, σ12 = σ22 . Замечание. Случай, когда дисперсии не равны, σ12 6= σ22 , приводит к более сложному правилу проверки гипотезы и здесь рассматриваться не будет. Соответствующее правило можно найти, например, в [7].

117

§ 14 Проверка равенства м.о. нормальных с.в.

14.2

Дисперсии равны и известны 2

2

В этом случае x ¯ ∈ N (µ1 , σn ), y¯ ∈ N (µ2 , σm ), и в качестве статистики критерия можно выбрать x ¯ − y¯ Z(x, y) = q , 1 σ n1 + m которая при выполнении гипотезы H0 : µ1 = µ2 имеет стандартное нормальное распределение, Z(x, y) ∈ N (0, 1). Таким образом, в качестве критической области W следует выбрать множество наблюдений такое, что W = {x, y : |Z(x, y)| ≥ cα }, где cα определяется размером критерия α из соотношения α = PH0 (W ) = PH0 {|Z(x, y)| ≥ cα } = = 1 − (Φ(cα ) − Φ(−cα )) = 2(1 − Φ(cα )), или Φ(cα ) = 1− α2 , так что cα является (1− α2 )100% - квантилем стандартного нормального распределения, cα = N1− α2 (0, 1). Чтобы исследовать мощность предложенного критерия заметим, что при конкурирующей гипотезе H1 : µ1 6= µ2 имеем (¯ x − µ1 ) ∈ N (0,

σ2 ), n

(¯ y − µ2 ) ∈ N (0,

σ2 ), m

так что статистика (¯ x − µ1 ) − (¯ y − µ2 ) x ¯ − y¯ µ1 − µ2 q = q − q 1 1 1 σ n1 + m σ n1 + m σ n1 + m имеет также стандартное нормальное распределение.

118

Глава 4. Проверка статистических гипотез

p(x) 0.4 0.35 ←2

←3

0.3 ←1 0.25 0.2 0.15 0.1 0.05 0 −4

−2

0

2

4

6

8

10

x

Рис. 14.1. Распределение статистики Z при нулевой (1) и альтернативной гипотезах при объемах выборки n = m = 30 (2) и n = m = 800 (3).

Следовательно (см. рис. 14.1),   µ − µ 1 2 Z(x, y) ∈ N  q , 1 . 1 1 σ n+m Как видно из рисунка, при малых объемах выборок неверная гипотеза легко может быть принята, а при больших почти наверняка отвергается. C ростом объема выборок распределение статистики Z при альтернативной гипотезе “уезжает” в бесконечность, в то время как ее распределение при нулевой гипотезе практически не меняется. 119

§ 14 Проверка равенства м.о. нормальных с.в.

Вычислим теперь мощность критерия аналитически: ¯) = β = PH1 (W

PH1 {−cα < h(x, y) ≤ cα } =     µ − µ µ − µ 2 1 2 1 + cα  − Φ  q − cα  . = Φ q 1 1 1 1 σ n+m σ n+m

Таким образом, 







µ2 − µ1 µ2 − µ1 1 − β = 1 − Φ q + cα  + Φ  q − cα  1 1 1 σ n+m σ n1 + m

(14.1)

1−β 1

0.9 ←3 0.8 ←2

0.7

0.6

0.5

←1

0.4

0.3

0.2

0.1

0 −1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

µ2 − µ1 σ

Рис. 14.2. Мощность Z-критерия при n = 30,m = 30 (1), n = 100, m = 100 (2) и n = 500, m = 500 (3); α = 0, 05.

120

Глава 4. Проверка статистических гипотез

14.3

Дисперсии равны, но неизвестны

В этом случае естественно заменить неизвестное значение σ 2 его несмещенной оценкой   X X 1  S2 = (xi − x ¯)2 + (yj − y¯)2  , n+m−2 1≤i≤n

1≤j≤m 2

функция от которой χ2n+m−2 = (n+m−2)S в предположении о σ2 2 равенстве дисперсий имеет χn+m−2 -распределение с n + m − 2 степенями свободы. Таким образом, в качестве статистики критерия можно использовать статистику tn,m =

x ¯ − y¯ q = 1 S n1 + m

σ

¯−¯ y qx 1 1 + n m S σ

σ

=q

¯−¯ y qx 1 1 + n m

χ2n+m−2

√ n + m − 2, (14.2)

которая, как можно показать, пользуясь ортогональным преобразованием § 9.4, имеет при выполнении гипотезы H0 распределение Стьюдента с n + m − 2 степенями свободы. При этом критическая область W принимает вид W = {x, y : |tn, m | ≥ cα } , где cα определяется размером критерия α из соотношения α = PH0 (W ) = 1 − P{−cα < tn+m−2 ≤ cα } = 2(1 − Ftn+m−2 (cα )). Откуда cα = tn+m−2,1− α2 является (1 − α2 )-квантилем распределения Стьюдента с n + m − 2 степенями свободы. Что касается мощности критерия, то в этом случае ее не удается найти аналитически, так как в этом случае распределение статистики tn,m (x, y) при альтернативной гипотезе H1 : µ1 6= µ2 не выражается через стандартные распределения. В этом случае можно воспользоваться методом статистического моделирования. 121

§ 14 Проверка равенства м.о. нормальных с.в.

Пример 14.1. С помощью датчика случайных чисел проведем численный эксперимент: получим две нормальные выборки с м.о. µ1 = 2 и µ2 = 1 при одинаковой дисперсии σ 2 = 1. Объем каждой выборки возьмем n. В предположении, что дисперсии выборок одинаковы, но неизвестны, вычислим статистику Стьюдента tn,n по формуле (14.2). Проведем множество таких экспериментов, например 1000 или 2000. Здесь мы ничем не ограничены, кроме мощности компьютера. Исследуем полученную выборку tn,n при разных n, т.е. построим гистограммы (рис. 14.3) и оценим мощность критерия, задав α = 0.05: 1 − β10,10 ≈ 0.49, 1 − β120,120 ≈ 1.

Как видно из примера, мощность критерия так же, как и в предыдущем случае, растет с увеличением объема выборки. Замечание 1. Заметим, что при больших объемах выборок n >> 1, m >> 1 статистики x ¯ и y¯ в силу ЦПТ асимптотически нормальны независимо от распределения исходных с.в. Таким образом, при больших выборках для сравнения математических ожиданий можно пользоваться приведенным критерием при любых исходных распределениях. Для оценки мощности критерия в этом случае можно пользоваться формулой (14.1). Замечание 2. Мы начали изучение с простых параметрических критериев проверки равенства м.о., в следующих разделах будут рассмотрены критерий Фишера проверки равенства дисперсий, а затем мы перейдем к более сложным критериям согласия и независимости. В практической работе порядок исследования будет обратным: вначале следует убедиться, что 122

Глава 4. Проверка статистических гипотез

0.7

0.6 ←3 0.5 ←2 0.4

0.3

0.2 ← 1

0.1

0 −4

−2

0

2

4

6

8

10

Рис. 14.3. Распределение статистики Стьюдента при нулевой (1) и альтернативной гипотезах при объеме выборок n = 10 (2) и n = 120 (3).

наблюдения независимы, затем выяснить, из какого распределения они получены. Если выборки нормальные, то можно воспользоваться критерием Фишера для проверки равенства дисперсий. И, лишь убедившись в том, что дисперсии равны, переходить к проверке равенства м.о.

123

§ 14 Проверка равенства м.о. нормальных с.в.

14.4

Дополнения

Вопросы для контроля 1. Сформулируйте задачу о проверке равенства средних нормальных совокупностей. 2. Какое распределение имеет статистика x ¯ − y¯ q 1 S n1 + m при выполнении гипотезы H0 о равенстве м.о. и какова критическая область? 3. Чем необходимо заменить значение σ 2 в случае, когда дисперсии равны, но неизвестны? Лабораторная работа №6 По заданным статистическим данным из Приложения B проверить гипотезы о равенстве м.о. двух нормальных выборок.

124

Глава 4. Проверка статистических гипотез

§ 15 Проверка равенства дисперсий нормальных с.в. 15.1

Постановка задачи

Рассмотрим задачу проверки гипотезы о равенстве дисперсий двух нормальных с.в. Точнее, задача формулируется следующим образом. Пусть X ∈ N (µx , σx2 ), Y ∈ N (µy , σy2 ) – независимые нормально распределенные величины и x = (x1 , . . . xn ), y = (y1 , . . . ym ) – наблюдения, полученные путем ПСВ над с.в. X и Y соответственно. Требуется проверить гипотезу H0 : σx2 = σy2 против класса альтернатив H1 : σx2 6= σy2 . Здесь мы так же, как и в предыдущем параграфе, имеем дело с проверкой сложной гипотезы H0 против сложной же альтернативной гипотезы H1 . Для решения задачи построим некоторую статистику (статистику критерия) h(x, y), с помощью которой по заданному размеру критерия α будем строить критическую область W , а затем исследуем свойства этой статистики и основанного на ней критерия. 15.2

Статистика критерия

Как показано в § 13.3, НКО для проверки сложных параметрических гипотез относительно параметров, для которых имеются достаточные статистики, полностью определяется некоторой функцией от достаточной статистики. В рассматриваемом случае достаточными статистиками для параметров, участвующих в формировании гипотезы, являются величины Sx2 =

X 1 (xi − x)2 n−1 1≤i≤n

и

Sy2 =

X 1 (yj − y)2 . m−1 1≤j≤m

125

§ 15 Проверка равенства дисперсий нормальных с.в.

Для проверки равенства дисперсий σx2 = σy2 естественно использовать близость их оценок Sx2 и Sx2 . При этом в качестве показателя близости можно использовать различные соотношения, такие как |Sx2 − Sy2 |,

Sx2 Sy2

(Sx2 − Sy2 )2 ,

и др. Р.А.Фишер предложил использовать последнее соотношение, вычислил распределение соответствующей статистики и предложил правило (критерий) проверки равенства дисперсий нормальных совокупностей. Заметим, что величины (n − 1)Sx2 σx2

и

(m − 1)Sy2 σy2

имеют χ2n−1 - и χ2m−1 -распределения соответственно с n − 1 и m − 1 степенями свободы. Для проверки гипотезы H0 : σx2 = σy2 о равенстве дисперсий двух выборок из нормальных совокупностей используется 2 отношение Fn−1,m−1 = SSx2 . При выполнении гипотезы H0 велиy

чина Fn−1,m−1 – это отношение независимых с.в., имеющих χ2 распределения, нормированных их числом степеней свободы. Действительно, разделив числитель и знаменатель статистики Fn−1,m−1 на σ 2 ≡ σx2 = σy2 , получим: P 2 χ2n−1 (n − 1)−1 1≤i≤n (xiσ−x) Sx2 2 . (15.1) = χn−1 Fn−1,m−1 = 2 = P 2 (yj −y)2 Sy −1 m−1 (m − 1) 2 1≤j≤m

σ

m−1

Таким образом, для построения критерия и исследования его свойств необходимо вычислить распределение статистики Fn,m , которое было изучено Р.А.Фишером и носит имя. В настоящее время оно табулировано и включено во все статистические компьютерные пакеты. Критерий, основанный на этом распределении, также называется критерием Фишера. 126

Глава 4. Проверка статистических гипотез

15.3

F -распределение Фишера и его свойства

Определение 15.1. Случайная величина Fn,m имеет Fn,m распределение Фишера с n степенями свободы числителя и m степенями свободы знаменателя, если она представима в виде Fn,m =

χ2n /n , χ2m /m

где χ2n и χ2m независимы и имеют χ2 -распределения с n и m степенями свободы соответственно. В обозначении распределения Фишера первым указывается число степеней свободы числителя n, вторым – число степеней свободы знаменателя m. С.в. Fn,m принимает неотрицательные значения, ее распределение при n > 0, m > 0 имеет плотность  0, x < 0, n m n pFn,m (x) = (15.2) n 2 m 2 x 2 −1 x≥0  n m n+m , B ( 2 , 2 )(nx+m) 2 вид которой для различных значений параметров n > 0, m > 0 представлен на рис. 15.1 и 15.2. Здесь B(p, q) – Бета-функция, Z1 xp−1 (1 − x)q−1 dx.

B(p, q) = 0

Моменты Из формулы для п.р. распределения Фишера следует, что с.в. Fn,m имеет ограниченное число моментов. Действительно, для сходимости интеграла Z µk = xk pFn, m (x)dx 127

§ 15 Проверка равенства дисперсий нормальных с.в.

n = 1, m = 1

n = 1, m = 10

1

1.4 1.2

0.8 1 0.6

0.8 0.6

0.4

0.4 0.2 0.2 0

0

5

10

15

20

0

0

n = 2, m = 1 1

0.8

0.8

0.6

0.6

0.4

0.4

0.2

0.2

0

10

10

15

20

n = 2, m = 10

1

0

5

20

30

0

0

5

10

15

Рис. 15.1. Плотности распределения Фишера. n необходимо, чтобы m+n 2 − 2 + 1 − k > 1. Откуда m > 2k,£ так ¤ что число моментов Fn,m - распределения не больше, чем m 2 . Непосредственным вычислением можно убедиться, что м.о. и дисперсия Fn,m -распределения равны соответственно

µ = µ1 = (0)

σ 2 = µ2

128

=

m для m > 2, m−2 2m2 (n + m − 2) для n(m − 2)2 (m − 4)

(15.3) m > 4. (15.4)

Глава 4. Проверка статистических гипотез

n = 50, m = 1

n = 50, m = 3

0.5

0.7 0.6

0.4 0.5 0.3

0.4 0.3

0.2

0.2 0.1 0.1 0

0

5

10

15

20

0

0

2

n = 50, m = 50

4

6

8

10

2

2.5

n = 50, m = 1000

1.5

2

1.5 1 1 0.5 0.5

0

0

1

2

3

0

0

0.5

1

1.5

Рис. 15.2. Плотности распределения Фишера.

Связь Fn,m с Fm,n , а также с Бета-распределением 1 Так как Fn,m = Fm,n , то распределение и плотность с.в. Fm,n можно получить исходя из распределения и плотности с.в. Fn,m соответственно. −1 Fm,n (x) = P{Fm,n ≤ x} = P{Fn,m ≤ x} = ¾ µ ¶ ½ 1 1 = 1 − Fn,m . = P Fn,m ≥ x x

(15.5)

Отсюда следует соотношение для квантилей распределения Фишера 1 cn,m = m,n . (15.6) γ c1−γ 129

§ 15 Проверка равенства дисперсий нормальных с.в.

Для Fn,m - распределения составлены подробные таблицы, а также таблицы квантилей этого распределения. В таблицах обычно приводятся значения Fn,m (x)-распределения при n ≥ m. Для вычисления характеристик распределения при n < m следует пользоваться свойствами (15.5) и (15.6). Отметим также связь Fn,m -распределения с Бета-распределением. Для этого заметим, что с.в. µ ¶ nFn,m −1 m B = 1+ = m m + nFn,m имеет распределение µ µ ¾ ½ ¶¶ m m 1 FB (x) = P ≤ x = 1 − Fn,m −1 m + nFn,m n x с плотностью µ µ ¶¶ n m dFB (x) m 1 m (1 − x) 2 −1 x 2 −1 pB (x) = = pFn,m −1 · 2 = , dx n x nx B( n2 , m 2) которая представляет собой частный случай Бета-распределения с параметрами n2 , m 2 . Таким образом, для вычисления квантилей Fn,m -распределения можно пользоваться также таблицами неполной Бета-функции, ½ µ ¶ ¾ ½ ¾ m 1 m P{Fn,m ≤ x} = P −1 ≤x =P B ≥ = n B m + nx ¶ µ n m m ; , . = 1−B m + nx 2 2 Асимптотика Fn,m Так как с ростом m справедливо предельное соотношение → 1 с вероятностью 1, то можно ожидать, что в этом случае nFn,m имеет приближенно χ2n -распределение. Действительно, справедливо следующее утверждение. 1 2 m χm

130

Глава 4. Проверка статистических гипотез

Теорема 15.1. По вероятности и с вероятностью 1 имеет место предельное соотношение nFn,m → χ2n

при

m → ∞.

Если число степеней свободы числителя и знаменателя независимо друг от друга приближаются к бесконечности, Fm,n - распределение приближается к нормальному. Точнее, справедлива Теорема 15.2. С.в. Fm,n асимптотически нормальна, т.е. ) ( Fn,m − MFn,m p ≤ x → Φ(x), n, m → ∞. P DFn,m Эти теоремы докажите самостоятельно (см. упражнение 3). 15.4

Свойства критерия Фишера

Гипотезу о равенстве дисперсий следует отвергнуть, если 2 статистика SSx2 далека от 1, причем не существенно, в меньшую y или в большую сторону. Поэтому для построения критической области необходимо по заданному уровню значимости α найm−1 ти квантили Fn−1, m−1 -распределения cn−1, (меньший 1) и α 2

n−1, m−1 c1− (больший 1). Тогда критическая область состоит из α 2 тех наблюдений x = (x1 , . . . , xn ), y = (y1 , . . . , ym ), для которых

½ W =

¾ Sx2 Sx2 n−1, m−1 n−1, m−1 x, y : 0 < 2 ≤ c α или 2 ≥ c1− α . 2 2 Sy Sy

m−1 = Поскольку cn−1, α 2

1 n−1 cm−1, 1− α

в силу (15.6), критическую

2

область можно записать в виде 131

§ 15 Проверка равенства дисперсий нормальных с.в.

( W

= =

Sy2 S2 n−1 m−1 или x2 ≥ cn−1, x, y : 2 > cm−1, 1− α 1− α 2 2 Sx Sy ( ( ) ) Sy2 Sx2 n1 , m1 x, y : max , > c1− α , 2 Sx2 Sy2

) = (15.7)

(

( n − 1, Sx2 > Sy2 m − 1, Sx2 > Sy2 где n1 = ; m1 = . m − 1, иначе n − 1, иначе Что происходит с распределением статистики Фишера при альтернативной гипотезе при увеличении объема выборок n и m, видно из рис. 15.3. С ростом объема выборок распределение статистики Fn,m “сжимается” вокруг истинного отношения дисперсий, мощность критерия при этом стремится к 1. n = m = 50 1.5 ←1 1

0.5 ←2 0

0

1

2

3

4

5

6

7

8

5

6

7

8

n = m = 500 5 4 3

←1

2 1 0

←2 0

1

2

3

4

Рис. 15.3. Распределение статистики Фишера при нулевой (1) и альтернативной (2) гипотезах.

132

Глава 4. Проверка статистических гипотез

Найдем мощность критерия аналитически. Пусть σx2 6= σy2 . Тогда отношение Fn−1, m−1

Sx2 /σx2 Sy2 /σy2

=

по-прежнему име-

ет Fn−1, m−1 -распределение. Обозначив cl

=

m−1 cn−1, и α 2

m−1 cr = cn−1, , получим 1− α 2

¾ Sx2 + PH 1 PH1 > cr = Sy2 ( ) ( ) σy2 σy2 Sx2 /σx2 Sx2 /σx2 PH1 ≤ 2 cl + PH1 > 2 cr = Sy2 /σy2 σx Sy2 /σy2 σx à ! à ! σy2 σy2 Fn−1, m−1 cl + 1 − Fn−1, m−1 cr . σx2 σx2 ½

1−β

= = =

Sx2 ≤ cl Sy2

¾

½

1−β 1 0.9 ←3 0.8 ←2 0.7 ←1 0.6 0.5 0.4 0.3 0.2 0.1 0

0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

5

σx2 σy2

Рис. 15.4. Мощность критерия Фишера при n = m = 30 (1), n = m = 100 (2) и n = m = 500 (3); α = 0, 05.

133

§ 15 Проверка равенства дисперсий нормальных с.в.

Замечание 1. Следует иметь o что распределение стаn 2 ввиду, Sy Sx2 ∗ тистики Fn−1, m−1 = max S 2 , S 2 существенно отличается x y ∗ от распределения Фишера, в частности, Fn−1, m−1 всегда больше 1, а Fn−1, m−1 может быть и меньше. Можно показать (см. упражнение 6), что для x ≥ 1 ∗ ∗ Fn−1, m−1 (x) = P{Fn−1, m−1 ≤ x} =

= Fn−1, m−1 (x) + Fm−1, n−1 (x) − 1. Здесь нет противоречия с критической областью (15.7), т.к. если m 6= n, то от наблюдений зависит не только статисти1 , m1 ка критерия, но и критическая точка, т.е. cn1− – случайная α 2 величина. Если же m = n, то (1 − α2 ) - квантиль Fn,n -распределения ∗ - распределения. совпадает с (1 − α) - квантилем Fn,n Замечание 2. Можно построить другой критерий проверки ∗ равенства дисперсий – на основе статистики Fn−1, m−1 . В этом ∗ случае нужно численно решить уравнение Fn−1, m−1 (x) = 1 − α, т.к. для этого распределения нет таблиц и стандартных процедур в компьютерных пакетах. Мощность такого критерия за2 висит от отношения дисперсий σσx2 и объемов выборок n и m. y В некоторых случаях она будет выше, а в некоторых – ниже, чем для классического критерия Фишера (см. упражнение 7). При m = n эти критерии эквивалентны. 15.5

Дополнения

Вопросы для контроля 1. Сформулируйте задачу о проверке равенства дисперсий. 2. Какие соотношения оценок дисперсий можно использовать в качестве показателя их близости? 134

Глава 4. Проверка статистических гипотез

3. Сформулируйте и обоснуйте выбор критерия проверки о равенстве дисперсий из двух возможных соотношений 2 S2 Fn,m = SSx2 и Fm,n = Sy2 . y

x

Упражнения 1. Выведите формулу (15.2) для п.р. F -распределения, считая п.р. χ2 -распределения известной. 2. Вычислите два момента F -распределения. 3. Докажите теоремы 15.1 и 15.2. ¡ ¢ m 4. Докажите, что с.в. B = m+nF ∈ B n2 , m 2 . n,m 5. Докажите, что Fm,n (x) = 1 − Fn,m ( x1 ). Какова связь F распределения с Бета-распределением? 6. Вычислите распределение статистики ) ( Sy2 Sx2 ∗ , . Fn−1, m−1 = max Sx2 Sy2 7. Найдите мощность критерия, основанного на статистике ∗ Fn−1, m−1 . В каких случаях этот критерий более мощный, чем классический критерий Фишера? Лабораторная работа №7 По заданным статистическим данным из приложения B проверьте гипотезу о равенстве дисперсий двух нормальных выборок.

135

§ 16 Параметрический критерий для больших выборок

§ 16 Параметрический критерий для больших выборок Рассмотренные в предыдущих разделах этой главы методы относились в основном к проверке гипотез, связанных с нормальным распределением. В настоящем параграфе будут рассмотрены некоторые вопросы проверки общих параметрических гипотез при больших выборках. 16.1 Асимптотическое свойство отношения правдоподобий Рассмотрим гипотезу о параметре некоторого распределения в общем многомерном случае, т.е. H0 : θ~ = θ~0 , где θ~ ∈ Θ ⊂ Rr . Пусть эксперимент состоит в простом случайном выборе, т.е. функция правдоподобия имеет вид ~ x) = p(x1 ; θ)...p(x ~ ~ Ln (θ; n ; θ). Будем обозначать через θ~0 истинное значение параметра, а через U0 некоторую его окрестность, и сделаем следующие предположения: П.1. Для любых θ~1 , θ~2 ∈ U0 , θ~1 = θ~2 тогда и только тогда, когда p(x; θ~1 ) = p(x; θ~2 ) почти всюду; ~ = M~ ln Ln (θ~0 ;x) непрерывна в точке θ~0 ; П.2. Функция φ(θ) θ0

~ Ln (θ;x)

~ x) равномерно непрерывна в окрестноП.3. Функция Ln (θ; сти U0 ; ~ x) имеет единП.4. При любых n ≥ 1 и x ∈ X n функция Ln (θ; ственный локальный максимум, и он достигается, т.е. оценка максимального правдоподобия существует и совпадает с локальным максимумом;

136

Глава 4. Проверка статистических гипотез ~ x) = p(x; θ) ~ трижды дифференцируема по П.5. Функция Ln (θ; θ~ и все ее частные производные ограничены. ~ Теорема 16.1. Пусть θ~0 – истинное значение параметра θ, и Ln (θ~0 ; x) Ln (θ~0 ; x) . λ(θ~0 ; x) ≡ λn (x) = = ~ x) sup Ln (θ; ~ˆ x) Ln (θ; ~ θ∈Θ

Тогда при выполнении условий П.1-П.5 имеет место предельное соотношение ~ˆ x) − 2 ln Ln (θ~0 ; x) → χ2 , −2 ln λn (θ~0 ; x) = 2 ln Ln (θ; r где r – размерность параметрического множества Θ. Доказательство. 1) Разложим функцию ~ x) = ln Ln (θ;

n X

~ ln p(xk ; θ)

k=1

~ˆ Имеем: по формуле Тейлора в окрестности случайной точки θ. X ∂ ln Ln (θ; ~ x) ¯¯ ˆ ~ ~ ln Ln (θ; x) = ln Ln (θ; x) + ¯~ ~ˆ(θi − θˆi ) + ∂θi θ=θ 1≤i≤r

+

~ x) ¯¯ 1 X ∂ 2 ln Ln (θ; ¯~ ˆ(θi − θˆi )(θj − θˆj ) + R, 2 ∂θi ∂θj θ=θ 1≤i,j≤r

или полагая θ~ = θ~0 и записывая это соотношение в векторной форме, получим ~ˆ + ~ˆ x), (θ~0 − θ)) ~ˆ x) = (grad ln Ln (θ; ln Ln (θ~0 ; x) − ln Ln (θ; √ 1√ ~ ~ˆ 0 An n(θ~0 − θ) ~ˆ + R, (16.1) + n(θ0 − θ) 2 137

§ 16 Параметрический критерий для больших выборок

где An – случайная матрица с элементами (n)

aij =

~ x) ¯¯ ~ ¯¯ 1 ∂ 2 ln Ln (θ; 1 X ∂ 2 ln p(xk ; θ) ¯~ ~ˆ = ¯~ ~ˆ. n ∂θi ∂θj n ∂θi ∂θj θ=θ θ=θ 1≤k≤n

2) Так как элементы матрицы An есть средние арифметические с.в., то при n → ∞ по ЗБЧ при гипотезе H0 имеет место сходимость по вероятности (n)

aij → Mθ~0

~ ∂ 2 ln p(X; θ) ∂θi ∂θj

при

n → ∞.

При этом для произвольного θ~ справедливо

= = = =

Z 2 ~ ~ ∂ 2 ln p(X; θ) ∂ ln p(x; θ) ~ dx = Mθ~ = p(x; θ) ∂θi ∂θj ∂θi ∂θj µ ¶ Z ∂ 1 ∂p ~ dx = p(x; θ) ∂θi p ∂θj Z Z 2 ~ 1 ∂p ∂p ∂ p(x; θ) ~ − p(x; θ) dx + dx = p2 ∂θi ∂θj ∂θi ∂θj ¶µ ¶ Z µ Z 1 ∂p 1 ∂p ∂2 ~ ~ dx = − p(x; θ) dx + p(x; θ) p ∂θi p ∂θj ∂θi ∂θj # " ~ ~ ∂ ln p(X; θ) ∂ ln p(X; θ) ~ · ≡ −Jij (θ), −Mθ~ ∂θi ∂θj

т.е. матрица An сходится к матрице −J(θ~0 ), которая была введена в замечании к теореме 7.2, An → −J(θ~0 ) при n → ∞. ˆ 3) Т.к. θ~ – оценка максимального правдоподобия, то ~ˆ x) = 0 grad ln Ln (θ;

138

Глава 4. Проверка статистических гипотез

и, согласно замечанию к теореме 7.2, она асимптотически норˆ ˆ ~ˆ θ~0 )(θ− ~ˆ θ~0 )0 = 1 J −1 (θ~0 ). мальна с M~ θ~ = θ~0 и D~ θ~ = M~ (θ− θ0

θ0

θ0

n

4) Далее, так как J(θ~0 ) – симметричная положительно определенная матрица, то существует B такая, что B 0 = B, и J(θ~0 ) = B 0 B = B 2 . Тогда √ ˆ ξ~ = B(θ~ − θ~0 ) n → N (0, I). Меняя знак в равенстве (16.1) и умножая его на 2, получим ~ˆ x) − 2 ln Ln (θ~0 ; x) → 2 ln Ln (θ;

√ √ ~ˆ 0 B 0 B n(θ~0 − θ) ~ˆ = ξ~ 0 ξ. ~ n(θ~0 − θ)

С.в. ξ~ 0 ξ~ асимптотически имеет χ2 -распределение с r степенями свободы, ˆ 2 ln Ln (θ~n ; x) − 2 ln Ln (θ~0 ; x) → χ2r , где r – размерность параметрического пространства. Таким образом, доказанная теорема позволяет предложить метод проверки параметрических гипотез при больших выборках, а именно: если n велико, то, выбирая в качестве статистики критерия функцию отношения правдоподобий λn , построим критическую область в виде W = {x : −2 ln λn > cα }, где постоянная cα легко вычисляется по заданному размеру критерия из соотношения PH0 (W ) = PH0 {−2 ln λn > cα } = P{χ2r > cα }, так как при выполнении гипотезы H0 статистика −2 ln λn асимптотически имеет χ2 -распределение с r степенями свободы. 139

§ 16 Параметрический критерий для больших выборок ∂ ln L(θ;x) 1 , ∂θ n i(θ)

Замечание. Статистика g(x; θ) = √

согласно

теореме Крамера 11.1, стремится к стандартной нормальной с.в. N (0, 1), поэтому ее также можно использовать для проверки простой однопараметрической гипотезы. 16.2 Пример: гипотеза о параметре распределения Пуассона Рассмотрим применение предложенного метода для проверки гипотезы о параметре распределения Пуассона. Пусть θ – истинное значение параметра распределения Пуассона. Функция правдоподобия в этом случае имеет вид n P

Ln (θ; x) = p(x; θ) =

n Y k=1

xk

θk=1 p(xk ; θ) = e−nθ , x1 !...xn !

так что l(θ, x) = ln Ln (θ, x) = −nθ +

n X

xk ln θ − ln(x1 !x2 !...xn !),

k=1

и

n

∂ 1X xk = 0. l(θ, x) = −n + ∂θ θ k=1

Откуда легко найдем ОМП θˆ = λ(θ; x) =

1 n

n P k=1

L(θ; x) = ˆ x) L(θ;

xk = x ¯. Таким образом,

µ ¶n¯x θ en(¯x−θ) x ¯

и следовательно µ ¶ θ − 2n (¯ x − θ) → χ21 . −2 ln λ(θ; x) = −2¯ x ln x ¯ 140

Глава 4. Проверка статистических гипотез

Таким образом, критическая область будет W = {x : −2 ln λ(θ; x) > c1−α } , где c1−α – (1 − α) - квантиль χ21 -распределения. 16.3

Дополнения

Вопросы для контроля 1. Сформулируйте условия, при которых имеет место асимптотика отношения правдоподобий. 2. Сформулируйте теорему о предельном распределении отношения правдоподобий. 3. Как используется асимптотическое свойство отношения правдоподобий для проверки статистических гипотез? 4. Почему для применения χ2 -критерия для проверки гипотез необходимо иметь дело с большими выборками? Упражнения 1. Докажите, что всякая положительно определенная матрица C может быть представлена в виде квадрата самосопряженной матрицы, C = B 0 B = B 2 , где B 0 = B. 2. Постройте статистику критерия для проверки гипотезы о параметре показательного распределения при большой выборке. Лабораторная работа №8 По заданным статистическим данным проверьте гипотезу о равенстве параметра распределения Пуассона λ = λ0 .

141

§ 17 Критерии согласия и независимости

§ 17

Критерии согласия и независимости

Особое место в статистике занимают критерии проверки согласия выборки с некоторым гипотетическим распределением, т.е. критерии проверки гипотезы H0 о принадлежности выборки x1 , . . . , xn к данному распределению F (x) или семейству (обычно параметрическому) распределений F = {F (x; θ)}. В настоящем параграфе будут рассмотрены два таких критерия – критерий Пирсона и критерий Колмогорова. Кроме того, обычно в статистических исследованиях предполагается независимость наблюдений, но, если выборка взята не из первых рук, необходимо проверить, действительно ли данные получены путем независимых наблюдений. В последнем разделе этого параграфа строится критерий проверки гипотезы о независимости наблюдений в выборке. 17.1 Критерий Пирсона для проверки простой гипотезы Пусть требуется проверить гипотезу H0 о том, что выборка наблюдений x1 , . . . , xn над с.в. X согласуется с распределением F (x), X ∈ F (x). Если распределение F (x) – дискретное, то определим количество различных наблюдений k, их частоты νi , (i = 1, k) и вероятности pi в соответствии с предполагаемым распределением. Для непрерывного распределения разобьем генеральную совокупность (в данном случае, скажем, R) на k интервалов ∆i = (yi−1 , yi ] (i = 1, k) и вычислим вероятности pi = F (yi ) − F (yi−1 ) попадания с.в. X в интервалы в соответствии с гипотетическим распределением. Найдем также для каждого интервала значения νi – число наблюдений, попавших в интервал (yi−1 , yi ]. Каждое наблюдение xi заменяется

142

Глава 4. Проверка статистических гипотез серединой интервала xei = yi +y2 i−1 , в который это наблюдение попало. Таким образом мы сведем непрерывное распределение к дискретному. С.в. νi имеет биномиальное распределение с параметром pi (если, конечно, верна нулевая гипотеза). Тогда согласно ЦПТ при выполнении гипотезы H0 статистика νi − npi

Zi = p

npi (1 − pi )

асимптотически нормальна, Zi → N (0, 1), поэтому следует ожидать, что статистика X2 =

X

Zi2 =

1≤i≤k

X (νi − npi )2 npi (1 − pi )

(17.1)

1≤i≤k

имеет в пределе χ2 - распределение с k − 1 степенями свободы (число степеней свободы на единицу меньше числа слагаемых из-за наличия дополнительной связи, ν1 + · · · + νk = n). Действительно, имеет место утверждение Теорема 17.1. Пусть гипотеза H0 верна и вероятности pi > c > 0 (i = 1, k) не зависят от выборки x. Тогда распределение статистики X 2 (17.1) сходится при n → ∞ к χ2k−1 - распределению с k − 1 степенями свободы. Замечание 1. Интуитивные соображения по поводу указанной сходимости были даны выше. Строгое доказательство опускаем, его можно найти, например, в [13], [18]. Замечание 2. Отметим, что на практике вместо статистики, приведенной в формуле (17.1) используется статистика X2 =

X (νi − npi )2 , npi

1≤i≤k

143

§ 17 Критерии согласия и независимости

которая отличается от приведенной ранее отсутствием близкого к единице сомножителя в знаменателе. Эмпирически замечено, что такая модификация улучшает ее сходимость к χ2k−1 распределению. Замечание 3. Условия теоремы 17.1 требуют, чтобы вероятности pi не зависели от выборки. Поэтому нельзя подгонять под выборку границы интервалов yi , иначе распределение статистики X 2 изменится, несколько “прижмется” к нулю. Замечание 4. По условиям теоремы 17.1 константа c > 0 произвольна, но в [14] рекомендуется выбирать c = n5 . Чтобы обеспечить требование pi > c, можно разбить генеральную совокупность на большое количество равных интервалов, а затем объединить интервалы, для которых это требование не выполняется, с соседними. Статистика X 2 позволяет строить критерий (критическую область W = {x : X 2 ≥ cα }) проверки согласия таким образом, чтобы P{x : X 2 ≥ cα } ≤ α. (17.2) Фактически неравенство {X 2 ≥ cα } выделяет определенную критическую область W в пространстве наблюдений X n , однако для проверки гипотезы нет необходимости рассматривать эту критическую область, достаточно сравнить статистику X 2 c (1 − α)-квантилем χ2k−1 -распределения. К аналогичной статистике приводит критерий отношения правдоподобий для проверки простой гипотезы H0 : X ∈ F (x) против сложной альтернативы H1 : X ∈ G(x) 6= F (x). Действительно, при фиксированной выборке объема n, разбитой на k интервалов с частотами νi и теоретическими вероятностями pi , функция правдоподобия при нулевой гипотезе H0 соответ-

144

Глава 4. Проверка статистических гипотез

ствует мультиномиальному распределению и равна e) = L(p; x

Y ν n! pi i , ν1 ! . . . ν k ! 1≤i≤k

а оценками максимального правдоподобия неизвестных вероятностей pi являются относительные частоты наблюдения соответствующих событий, pˆi = νni , так что отношение правдоподобий примет вид Y µ pi ¶νi e) L(p; x L(p1 , . . . , pk ; ν1 , . . . , νk ) n λ= , = =n e) L(ˆ p; x L(ˆ p1 , . . . , pˆk ; ν1 , . . . , νk ) νi 1≤i≤k

и, следовательно, статистика −2 ln(λ) = −2 n ln(n) − 2

X

µ νi ln

1≤i≤k

pi νi

¶

асимптотически имеет χ2k−1 -распределение. 17.2 Критерий Пирсона-Фишера для проверки сложной гипотезы Часто приходится проверять гипотезу о согласии выборки не с фиксированным распределением (в этом случае гипотеза ~ зависябыла бы простой), а с классом распределений F (x; θ), ~ т.е. сложную гипотезу. щих от некоторого параметра θ, При оценивании параметра мы искусственно приближаем гипотетические вероятности к эмпирическим, поэтому распределение статистики критерия становится “уже” и “прижимается” к нулю (см. рис. 17.1). Кроме того, распределение статистики X 2 будет зависеть от способа оценивания параметра. К самому простому распределению статистики X 2 приводит оценка максимального 145

§ 17 Критерии согласия и независимости ~ˆ вычисленная по сгруппированной выборке правдоподобия θ, (см. [24]). При группировке каждое наблюдение xi заменяется серединой интервала xei = yi +y2 i−1 , в который это наблюдение попало, а непрерывное гипотетическое распределе~ заменяется дискретным с вероятностями ние с ф.р. F (x; θ) ~ = F (yi ; θ) ~ − F (yi−1 ; θ), ~ также зависящим от параметра. pi (θ) ˆ ОМП θ~ получается путем минимизации ф.п. сгруппированной ~ x e) → min, где выборки, L(θ; Y ν ~ x ~ e) = L(θ; pi i (θ). 1≤i≤k

Как обычно, будем искать минимум логарифма ф.п., X ~ x ~ → min, e) = ln L(θ; νi ln pi (θ) 1≤i≤k

т.е. решим систему уравнений X νi ∂pi (θ) ~ x ~ e) ∂L(θ; = = 0, ~ ∂θj ∂θj p ( θ) i 1≤i≤k

j = 1, r.

(17.3)

Тогда, если гипотеза H0 верна, статистика X 2 асимптотически имеет χ2k−1−r -распределение, где r – размерность параметра θ~ = (θ1 , ..., θr ). Более строго этот факт сформулирован в теореме Фишера-Крамера. Теорема 17.2 (Фишер-Крамер). Пусть выполнены следующие условия: 1) Вероятности pi зависят от векторного параметра ~ ~ причем pi (θ) ~ > c > 0 (i = 1, k). θ ∈ Θ ⊂ Rr , pi = pi (θ), ~ 2) Функция p(θ) дважды дифференцируема. 3) Информационная матрица Фишера, относящаяся к одному наблюдению x ei сгруппированной выборки, – невырожден~ 6= 0, где ная, det J(θ) 146

Глава 4. Проверка статистических гипотез

"

~ ~ ∂ ln p(e x; θ) x; θ) ~ = M ∂ ln p(e J(θ) ∂θj ∂θl



#

= r×r

X

1≤i≤k

 ~ ~ 1 ∂pi (θ) ∂pi (θ)  ~ ∂θj ∂θl pi (θ)

r×r

~ будет в этом случае информационной матрицей kJ(θ) e. всей сгруппированной выборки x ˆ ~ 4) Оценка θ получена путем решения системы уравнений (17.3). Тогда, если верна гипотеза H0 , статистика X 2 асимптотически имеет χ2 распределение с k−1−r степенями свободы. ~ˆ в отличие от случая проЗамечание 1. Вероятности pi (θ), стой гипотезы, зависят от выборки, но только через оценен~ Границы интервалов разбиения по-прежнему ный параметр θ. не должны быть случайными, иначе распределение статистики X 2 еще больше “прижмется” к нулю, причем степень “прижатия” будет зависеть от метода подгонки интервалов. Замечание 2. Система уравнений (17.3) достаточно сложна и не имеет аналитического решения для большинства используемых на практике распределений, поэтому удобнее оценивать параметры по всей выборке. В этом случае, как показано в [24], распределение статистики критерия отличается от χ2k−1−r . Но при разумной группировке данных это отличие невелико, поскольку различные оценки достаточно близки, а вероятности ~ не очень чувствительны к малым колебаниям параметров. p(θ) Это видно на рис. 17.1, где для вычисления статистики X 2 применялись МП-оценки параметров по исходной выборке. Гистограмма X 2 для сложной гипотезы больше отличается от п.р. χ2k−1−r -распределения, чем гистограмма X 2 для простой гипотезы от п.р. χ2k−1 -распределения. Однако, этим отличием все же можно пренебречь. 147

.

§ 17 Критерии согласия и независимости

1)F (x) = Φµ,σ 2 (x) 0.2 0.15 ←−−−− 2 0.1

←−−−− 1

0.05 0

0

5

10

15

20

25

2)F (x) = Φx¯,S 2 (x) 0.2 0.15 ←−−−− 2 0.1

←−−−− 1

0.05 0

0

5

10

15

20

25

30

Рис. 17.1. Распределение статистики Пирсона для простой (1) и сложной (2) гипотез о согласии выборки с нормальным распределением. Гистограммы получены методом статистического моделирования.

Пример 17.1. Рассмотрим применение критерия ПирсонаФишера для проверки гипотезы о согласии выборки 2, 3, 3, 5, 6, 7, 8, 8, 9, 9, 13, 15, 16, 17, 18, 20, 21, 25, 28, 35, 37, 53, 56, 69, 77, 86, 98, 119

с экспоненциальным распределением при уровне значимости α = 0, 1. Объем выборки n = 28. Разобьем область наблюдения [0, 120] на 5 интервалов следующим образом: [0, 7], (7, 20], (20, 30], (30, 60], (60, 120]. 148

Глава 4. Проверка статистических гипотез

0.035

0.03

0.025

0.02

0.015

0.01

0.005

0

0

20

40

60

80

100

120

140

x

Рис. 17.2. График плотности показательного распределения и гистограмма выборки.

Вычислим для каждого интервала число наблюдений, попавших в него, n1 = 5,

n2 = 10,

n3 = 4,

n4 = 4,

n5 = 5.

Оценим параметр λ. Численное решение системы уравнений ˆ = 0, 0342, а МП-оценка по исходной вы(17.3) дает значение λ борке ˆ = n = 0, 0324, λ n P xk k=1

149

§ 17 Критерии согласия и независимости

так что расхождение невелико. Теперь вычислим теоретические вероятности p1 = 0, 2029,

p2 = 0, 2739,

p3 = 0, 1448,

p4 = 0, 2352,

p5 = 0, 1226

и статистику X2 =

5 X (ni − npi )2

npi

i=1

= 2, 5214.

0,9-квантиль χ25−1−1 -распределения равен χ23; 0,9 = 6, 25. Таким образом, так как X 2 < χ23; 0,9 , проверяемую гипотезу на уровне значимости α = 0, 1 отклонять не следует. 17.3 Критерий Колмогорова для проверки простой гипотезы А.Н. Колмогоров в 1933 г. для проверки согласия выборки с гипотетическим непрерывным распределением предложил использовать статистику Dn = sup |Fn (x) − F (x)|,

(17.4)

x∈R

где F (x) – гипотетическая (теоретическая) ф.р., а Fn (x) – выборочная (эмпирическая) ф.р. Для практических расчетов можно пользоваться формулой · Dn = max

1≤k≤n

k−1 k − F (x(k) ), F (x(k) ) − n n

¸ (17.5)

Если выборка соответствует предполагаемому распределению, то и расстояние Dn между эмпирической и истинной ф.р. 150

Глава 4. Проверка статистических гипотез

должно быть небольшим. А.Н. Колмогоров доказал, что в случае простой гипотезы (т.е. параметры F (x) заданы, а не оценены по выборке) распределение Dn не зависит от вида ф.р. F (x). Распределение с.в. Dn называется распределением Колмогорова. Для малых n рассчитаны таблицы процентных точек (см. таблицу 8.1 Приложения D), а для больших (n > 100) можно пользоваться предельным распределением Колмогорова. 17.4 Предельное распределение Колмогорова и его свойства Напомним приведенную в п. 2.3 теорему 2.4: Теорема 17.3 (Колмогоров). Если выборка получена из генеральной совокупности с непрерывной ф.р. F (x), то распределение статистики Dn не зависит от F (x) и для статистики √ Kn = nDn при x > 0 справедливо предельное соотношение lim P{Kn ≤ x} = K(x) = 1 + 2

n→∞

∞ X 2 2 (−1)k e−2k x ,

(17.6)

k=1

Доказательство см. в [14], т.2, с.605-610. Ряд в формуле (17.6) сходится медленно при малых x и очень быстро при больших. Для x > 1 достаточно вычислить 4 слагаемых. При x = 0 ряд расходится, но, поскольку статистика Kn по определению неотрицательна, можно положить K(0) = 0. Почленное дифференцирование (17.6) даст нам формулу плотности предельного распределения Колмогорова (см. также рис. 17.3): k(x) = −8x

∞ X

(−1)k k 2 e−2k

2 x2

.

(17.7)

k=1

151

§ 17 Критерии согласия и независимости

Ряд в этом выражении также быстро сходится при больших x, медленно – при малых и расходится при x = 0. Однако по непрерывности можно доопределить k(0) = 0.

1.8

k(x) 1.6

1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

x

Рис. 17.3. Плотность предельного распределения Колмогорова.

Ряд (17.7) сходится неравномерно по x, поэтому характеристики распределения Колмогорова не имеют аналитического выражения, но их можно найти численно:

152

Глава 4. Проверка статистических гипотез

Таблица 17.1. Характеристики предельного распределения Колмогорова.

µ 0,8687

σ 0,2603

медиана 0,8276

мода 0,7355

17.5 Критерий Колмогорова для проверки сложной гипотезы Если теоретическое распределение относится к некоторому параметрическому классу и его параметры неизвестны, то их следует оценивать по выборке (например, методом максимального правдоподобия). Однако, при этом меняется распределение с.в. Kn . Это происходит из-за того, что, оценивая параметры, мы искусственно приближаем гипотетическую функцию распределения к эмпирической. Кроме того, теряется свойство независимости распределения Kn от распределения исходной с.в. Для каждого класса распределений (нормального, показательного и т.д.) приходится рассчитывать свои таблицы критических значений распределения статистики Колмогорова (см. таблицу 8.3 в Приложении D). В некоторых случаях, например для гамма-распределения, распределение статистики Kn зависит даже от самого значения оцененного параметра. Но для нормального, показательного и других сдвигово-масштабируемых2 классов распределений значения параметров роли не играют. 2

можно свести распределение к Если заменой переменных y = x−a b стандартному виду (т.е. a = 0, b = 1), то a называется параметром сдвига, b – параметром масштаба, а данный класс распределений сдвиговомасштабируемым

153

§ 17 Критерии согласия и независимости

В работе [19] методом статистического моделирования показано, что распределение статистики Kn хорошо приближается логнормальным и гамма-распределениями, параметры которых зависят от класса распределения и количества оцененных параметров. Например, для нормального распределения исходной с.в., когда оценены оба параметра, хорошо подходит логнормальное распределение с параметрами µ = −0.4849, σ = 0.2254. На рис. 17.4 показаны результаты статистического моделирования. С помощью датчика случайных чисел были получены 2000 нормальных выборок по 200 наблюдений в каждой. В первом случае использовались истинные параметры µ и σ 2 , а во втором – их выборочные оценки x ¯ и S2. 1)F (x) = Φµ,σ 2 (x) 3 2.5 ← 1 2 1.5 1 ←2 0.5 0

0

0.5

1

1.5

2

2.5

2

2.5

2)F (x) = Φx¯,S 2 (x) 3.5 3 2.5

← 1

2 1.5 1 ←2

0.5 0

0

0.5

1

1.5

Рис. 17.4. Распределение статистики Колмогорова для сложной (1) и простой (2) гипотез.

154

Глава 4. Проверка статистических гипотез

Очевидно, что для проверки сложной гипотезы нельзя пользоваться предельным распределением Колмогорова. Замечание 1. Формула (17.6) теоремы Колмогорова позволяет оценить погрешности приближения распределения с.в. Kn логнормальным с заданными параметрами. Замечание 2. Погрешность вычисления выборочных квантилей совпадает с погрешностью э.ф.р. Если проверяемая гипотеза неверна, то распределение статистики Колмогорова не имеет аналитического выражения. Можно лишь утверждать, что оно отличается от распределения Колмогорова и построить гистограмму методом статистического моделирования (рис. 17.5). Степень отличия существенно зависит от того, насколько различаются истинное и предполагаемое распределения выборки (подробнее см. § 17.7), а также от объема выборки n. 3 2.5 ← 1 2 1.5

←2

1 0.5 0

0

0.5

1

1.5

2

2.5

Рис. 17.5. Распределение статистики Колмогорова в случае верной (1) и неверной (2) гипотез.

155

§ 17 Критерии согласия и независимости

17.6

График э.ф.р. в вероятностном масштабе

Анализируя данные, мы обычно опираемся не только на формальные критерии, но и на графические представления. Так, графическим аналогом критерия Пирсона является график плотности и гистограмма (рис. 17.2). Графики этого типа мы использовали и для иллюстрации к самим критериям согласия (рис. 17.1 и 17.4). Для критерия Колмогорова естественно сравнить графики функций распределения – эмпирической и гипотетической. Но подобные диаграммы не обладают необходимой наглядностью: все функции распределения имеют одну и ту же форму, они возрастают от нуля к единице3 . Поэтому к функциям распределения следует применить некоторое преобразование, которое сделает очевидным их соответствие (или различие). Известно, что человеческий глаз хорошо отличает прямую линию от кривой. Поэтому, строя графики ф.р. и э.ф.р., применяют различные варианты спрямления. Вариант 1. Преобразуем ось ординат к обратному вероятностному масштабу, т.е. будем откладывать не y, а F −1 (y). Гипотетическая функция распределения в этом масштабе будет прямой линией: F −1 (F (x)) = x. Если исследуемая с.в. действительно имеет распределение F (x), то и график э.ф.р. в этих осях будет близок к прямой (рис. 17.6). Замечание 1. Для сдвигово-масштабируемых классов распределений обычно применяют масштаб ф.р. со стандартными значениями параметров. В этом случае график ф.р. остается прямой, но может не проходить через начало координат: −1 F0,1 (F (x)) = x−a b . Этот способ позволяет также приближенно 3

Строго говоря, “не убывают”, а 0 и 1 – значения лишь в пределе, но в данном случае все это несущественно.

156

Глава 4. Проверка статистических гипотез

оценить параметра сдвига и масштаба, пользуясь значением точки пересечения графика с осью ординат и ее наклоном. F −1 (Fn (x))

Fn (x) 1

2.5

0.9

2

0.8

1.5

0.7

1

0.6

0.5

0.5

0

0.4

−0.5

0.3

−1

0.2

−1.5

0.1 0 −4

−2 −2

0

2

4

−2.5 −3

−2

−1

0

1

2

3

x

x

Рис. 17.6. График э.ф.р. (ось ординат в обратном вероятностном масштабе).

Замечание 2. В “докомпьютерную эпоху” применялась вероятностная бумага (чаще всего для нормального распределения), на которой строился график э.ф.р. Сетка была неравномерной, а метки на оси ординат соответствовали вероятностям (рис. 17.7). Fn (x)

Fn (x)

1 0.9

0.99 0.98

0.8

0.95 0.90

0.7 0.75

0.6 0.5

0.50

0.4

0.25

0.3 0.10 0.2

0.05

0.1

0.02 0.01

0 −4

−2

0

2

4

−2

−1

0

1

x

2

x

Рис. 17.7. График э.ф.р. на “вероятностной бумаге”.

157

§ 17 Критерии согласия и независимости

Вариант 2. Преобразуем ось абсцисс к вероятностному масштабу, т.е. будем откладывать не x, а F (x) (ось ординат при этом остается в обычном линейном масштабе). Т.к. по оси абсцисс откладывается теоретическая, а по оси ординат эмпирическая функции распределения, то этот график иногда называют “вероятность-вероятность” (рис. 17.8). Fn (x)

Fn (x)

1

1

0.9

0.9

0.8

0.8

0.7

0.7

0.6

0.6

0.5

0.5

0.4

0.4

0.3

0.3

0.2

0.2

0.1

0.1

0 −4

−2

0

2

4

x

0

0

0.2

0.4

0.6

0.8

1

F (x)

Рис. 17.8. График э.ф.р. (ось абсцисс в вероятностном масштабе).

График выборочных квантилей также может использоваться для визуального исследования распределений. При этом либо ось ординат должна быть в вероятностном масштабе, либо ось абсцисс должна быть в обратном вероятностном масштабе (т.е. по оси абсцисс откладываются теоретические, а по оси ординат выборочные квантили, поэтому этот график иногда называют “квантиль-квантиль”). Все виды спрямления э.ф.р. и выборочных квантилей эквивалентны, поэтому наиболее предпочтительным является график “вероятность-вероятность”, не требующий вычисления квантилей.

158

Глава 4. Проверка статистических гипотез

17.7

Сравнение критериев

Какой же из критериев согласия лучше? Во-первых, у них разные области применения: критерий Колмогорова предназначен лишь для непрерывных распределений, а критерий Пирсона универсален – годится как для непрерывных распределений, так и для дискретных. Но в непрерывном случае критерий Пирсона зависит от произвола исследователя – при разных вариантах группировки можно получить разные результаты. С другой стороны, распределение статистики Пирсона не зависит от предполагаемого распределения выборки как для простой, так и для сложной гипотезы, в то время как критерием Колмогорова удобно пользоваться лишь при проверки простой гипотезы – для сложной распределение статистики Колмогорова разное для разных классов предполагаемых распределений, а для некоторых (таких как гамма-распределение) вообще нет возможности составить таблицы процентных точек. Таким образом, критерий Пирсона более универсален и более удобен в применении, за исключением произвола в группировке выборки. Как это часто оказывается, за универсальность приходится платить, в данном случае, основным показателем качества – мощностью критерия. Напомним, что мощность критерия 1 − β – это вероятность отвергнуть неправильную гипотезу. Мощность критерия согласия сильно зависит от того, насколько различаются истинное F1 (x) и предполагаемое F (x) распределения выборки4 . Поэтому мощность критерия следует оценивать для каждой альтернативы отдельно. Аналитическое представление мощности критерия – весьма сложная, а часто и нерешаемая задача, поэтому обычно при4

В качестве меры различия kF1 − F k = max |F1 (x) − F (x)|.

можно

взять,

например

норму

x

159

§ 17 Критерии согласия и независимости

меняется метод статистического моделирования. Пример 17.2. С помощью генератора случайных чисел построим 2000 выборок из tk -распределения Стьюдента с k степенями свободы по 200 наблюдений в каждой. Затем проверим гипотезы их согласия с нормальным распределением, уровень значимости зададим α = 0, 05. Параметры распределения µ и σ оценим для каждой выборки отдельно, т.е. будем проверять сложные гипотезы. Для каждой выборки вычислим статистики критериев Пирсона X 2 и Колмогорова Kn . В итоге получим оценки мощностей этих критериев 1 − β для различных альтернатив (рис. 17.9). −β 1 ←1 0.9

0.8

0.7

0.6

0.5 2→ 0.4

0.3

0.2

0.1

0

0

5

10

15

20

25

30

35

40

45

50

k

Рис. 17.9. Мощность критериев Колмогорова (1) и Пирсона (2) при проверке гипотезы согласия tk -выборки с нормальным распределением.

Как видно из рис. 17.9, с ростом количества степеней свободы k мощность падает для обоих критериев, постепенно пре160

Глава 4. Проверка статистических гипотез

вращаясь в свою противоположность – уровень значимости, поскольку само распределение Стьюдента стремится к нормальному. Но для всех вариантов критерий Колмогорова является более мощным. Пример 17.3. Проведем аналогичный эксперимент с распределением Фишера Fk,k (рис. 17.10). Критерий Колмогорова вновь оказывается более мощным. 1−β 1

0.9

0.8 2→

←1

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0

0

20

40

60

80

100

120

140

160

180

200

k

Рис. 17.10. Мощность критериев Колмогорова (1) и Пирсона (2) при проверке гипотезы согласия Fk,k -выборки с нормальным распределением.

Пример 17.4. И последний эксперимент – с Γ1,k -распределением. Снова критерий Колмогорова – более мощный.

161

§ 17 Критерии согласия и независимости

−β 1

0.9

0.8

0.7

0.6 ←1

0.5

2→

0.4

0.3

0.2

0.1

0

0

10

20

30

40

50

60

70

80

90

100

k

Рис. 17.11. Мощность критериев Колмогорова (1) и Пирсона (2) при проверке гипотезы согласия Γ1,k -выборки с нормальным распределением.

Приведенные примеры еще не являются доказательством того, что критерий Колмогорова лучше для всех альтернатив. Это лишь свидетельство того, что критерий Колмогорова в некоторых случаях лучше, чем критерий Пирсона. 17.8

Критерий проверки независимости

Во всех предыдущих разделах, во всяком случае при построении конкретных процедур, использовалась независимость наблюдений x1 , . . . , xn . Однако, если данные получены со стороны, не может быть полной уверенности в чистоте проведения эксперимента, в частности, в независимости наблюдений. Можно ли, пользуясь статистическими методами, проверить гипо162

Глава 4. Проверка статистических гипотез

тезу о независимости наблюдений x1 , . . . , xn ? Статистика дает положительный ответ на этот вопрос, и ниже приводится одна из возможных процедур проверки независимости наблюдений. Предположим, что наблюдения x1 , . . . , xn проведены над числовой непрерывной с.в., и, следовательно, все значения различны с вероятностью 1. Тогда независимость наблюдений эквивалентна “беспорядочности” в некотором смысле результатов наблюдений. Именно, если бы данные измерений “случайным образом” расположились при проведении эксперимента в порядке возрастания или убывания, это указывало бы на то, что либо само исследуемое явление не случайно (что противоречит исходным предпосылкам), либо между последовательностью наблюдений существует некоторая зависимость. Пусть x1 , . . . , xn – результаты наблюдений, полученные в “естественном” порядке и x(1) , . . . , x(n) – соответствующий вариационный ряд, и пусть x(1) = xi1 , . . . , x(n) = xin , т.е. ik есть естественный номер наблюдения k-го члена вариационного ряда. Рассмотрим подстановку µ ¶ 1 2 ... n σn = i1 i2 . . . in и обозначим через ξn число инверсий в перестановке ¡n¢σn , которое принимает все целочисленные значения от 0 до 2 . Эта с.в. является мерой беспорядка в последовательности наблюдений x1 , . . . , xn и может быть использована как статистика критерия независимости наблюдений. Обозначим через µ ¶ n pn (r) = P{ξn = r}, r = 0, 1, . . . , (17.8) 2 распределение числа инверсий в выборке объема n. Лемма 17.1. При выполнении гипотезы H0 о независимости наблюдений распределение числа инверсий в выборке объема n 163

§ 17 Критерии согласия и независимости

удовлетворяет рекуррентному соотношению 1 pn (r) = n

r X

pn−1 (i).

(17.9)

i=r−n+1

Доказательство. При выполнении гипотезы H0 для распределения числа инверсий в выборке объема n справедливо стохастическое рекуррентное соотношение ξ1 = 0,

ξ2 = ξ1 + η2 , . . .

ξn = ξn−1 + ηn ,

(17.10)

где ηn – число инверсий, которое образует n-ое наблюдение при подстановке его в вариационный ряд из первых n − 1 наблюдений. Из этого рекуррентного соотношения следует, что ξn = η1 + η2 + · · · + ηn , причем с.в. ηk независимы и равномерно распределены, P{ηk = i} =

1 , k

i = 0, k − 1.

Откуда pn (r) = =

n−1 X

P{ξn−1 = r − i}P{ηn = i} =

i=0 n−1 X

1 n

P{ξn−1 = r − i} =

i=0

1 n

r X

pn−1 (i).

i=r−n+1

Из леммы вытекает критерий проверки независимости наблюдений в выборке: для того, чтобы проверить гипотезу H0 о независимости наблюдений в выборке с уровнем значимости α следует определить числа kα0 и kα00 так, чтобы 00

kα X 0 r=kα

164

pn (r) ≥ 1 − α

Глава 4. Проверка статистических гипотез P полагая, например, r≤kα0 pn (r) ≤ этом гипотеза отвергается, если ξn < kα0

или

α 2

и

P 00 r≥kα

pn (r) ≤

α 2.

При

ξn > kα00 ,

т.е. критическая область имеет вид: [ W = {x : (ξn < kα0 ) (ξn > kα00 )}. Для выборок большого объема процедуру проверки можно упростить, воспользовавшись ЦПТ. В этом случае в силу независимости наблюдений получим, что с.в. Zn =

ξn − n(n−1) ξn − M ξn 4 √ =q Dξn n(2n+5)(n−1) 72

асимптотически нормальна. Отсюда вытекает другой критерий проверки независимости наблюдений в выборке при больших n: задаваясь уровнем значимости, строим критическую область W = {|Zn | > cα } с помощью стандартного нормального распределения, т.е. полагая cα равным α2 -квантили стандартного нормального распределения, cα = N1− α2 . Затем по подстановке вычисляем число инверсий ξn и статистику Zn , сравниваем Zn со значением cα = N1− α2 : гипотезу следует отвергнуть, если Zn > N1− α2 . 17.9

Дополнения

Вопросы для контроля 1. В чем состоит проблема проверки согласия? 2. Почему необходима проверка согласия при решении статистических задач? 165

§ 17 Критерии согласия и независимости

3. Приведите выражение статистики Пирсона для проверки согласия и объясните почему асимптотически она имеет χ2 распределение и каково при этом число степеней свободы. 4. Сформулируйте правило проверки согласия в соответствии с критерием Пирсона. 5. Приведите выражение статистики Колмогорова проверки согласия и сформулируйте правило проверки согласия в соответствии с критерием Колмогорова. 6. Зачем нужна проверка независимости наблюдений в выборке? 7. На чем базируется критерий проверки независимости наблюдений? 8. Сформулируйте критерий проверки независимости наблюдений в выборке. 9. Как выглядит модифицированный критерий проверки независимости наблюдений при больших объемах выборки? Упражнения 1. Проверьте согласие наблюдений пористости в табл. 3 из приложения B с нормальным распределением по критерию Колмогорова. 2. Проверьте согласие наблюдений скорости фильтрации, взятых из табл. 8 приложения B с равномерным распределением по критерию Пирсона. 3. Проверьте независимость выборки в примере 17.1. Лабораторная работа №9 1. По заданным статистическим данным проверьте гипотезы об их согласии с заданным распределением.

166

Глава 4. Проверка статистических гипотез

2. По заданным статистическим данным проверьте гипотезу о независимости наблюдений. 3. Постройте таблицу критических значений критерия Колмогорова для показательного распределения, если параметр λ неизвестен. Для этого нужно: (a) Сгенерировать 2000 выборок по 200 наблюдений, задав параметр λ произвольно. (b) Построить выборку статистики Колмогорова Kn1 , используя истинные значения параметра λ. (c) Построить выборку статистики Колмогорова Kn2 , используя выборочные значения параметра λ. (d) Найти выборочные квантили для Kn1 и Kn2 . (e) Построить оценки максимального правдоподобия логнормального распределения для выборки Kn2 . (f) Найти квантили логнормального распределения для выборки Kn2 . (g) Оценить погрешность вычисления квантилей по теореме Колмогорова. (h) Сравнить полученный результат с табл. 8.3 Приложения D.

167

Глава 5. ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА § 18

Понятие о статистической зависимости

18.1

Виды статистической зависимости. Модели

В рамках детерминистической теории математика изучает единственный вид зависимости – функциональную (хотя эта зависимость может быть довольно сложной и выраженной в неявном виде). Основным видом зависимости при изучении случайных явлений является статистическая зависимость, хотя часто возникают задачи изучения функциональных зависимостей, зашумленных случайными искажениями, например, в результате ошибок измерения. В статистике обычно изучают три вида зависимостей: 1) функциональная зависимость в “шуме”; 2) статистическая зависимость; 3) статистическая взаимозависимость. Несмотря на то, что как в постановках задач, так и в методах их решения много общего, целесообразно рассматривать задачи 1) – 3) и соответствующие модели отдельно. 1. Под задачей исследования функциональной зависимости в шуме будем понимать задачу исследования функциональной зависимости между неслучайными (детерминированными) величинами (x1 , . . . , xn , y1 , . . . , ym ), предполагая наличие некоторой функциональной (неизвестной) связи между ними y1 = f1 (x1 , . . . , xn ), y2 = f2 (x1 , . . . , xn ), ... ym = fm (x1 , . . . , xn ),

Глава 5. Планирование эксперимента

когда какие-либо из величин x1 , . . . , xn , y1 , . . . , ym или все подвержены ошибкам наблюдений. Пример 18.1. Зависимость расхода топлива автомобиля от длины пути можно считать детерминированной, при этом реальный расход зависит также от случайных факторов: качества топлива, состояния дороги, пробок, стиля вождения и т.д. Совокупность неучтенных факторов можно моделировать случайной величиной – “шумом”. Пример 18.2. Время, проведенное пассажиром в метро, линейно зависит от количества станций и количества пересадок. Случайная составляющая определяется непредвиденными задержками в пути и неравномерностью расстояний между станциями на разных линиях. 2. Под задачей исследования статистической зависимости понимают задачу исследования связи между величинами (X1 , . . . , Xn , Y1 , . . . , Ym ) подразумевая, что величины Y1 , . . . , Ym являются зависимыми (статистически) от независимых (но случайных) величин X1 , . . . , Xn . Пример 18.3. Пусть (X, Y ) представляют собой количество выпавших осадков и урожайность некоторой сельскохозяйственной культуры в определенном районе. Ясно, что имеет место статистическая зависимость Y от X, но бессмысленно говорить о зависимости X от Y . Задача 1, когда все переменные наблюдаются с ошибками, фактически идентична задаче 2, хотя между ними существует принципиальное различие, состоящее в том, что в задаче 1 предполагается наличие определенной функциональной зависимости между величинами yj и xi . Принципиальное отличие задача 1 исследования функциональной зависимости получает, когда величины xi не только доступ169

§ 18 Понятие о статистической зависимости

ны точному измерению, но и выбору, т.е. когда можно планировать точку проведения эксперимента x = (x1 , . . . , xn ). Решение задач 1 и 2 основывается на теории регрессии. При этом независимые переменные называют обычно регрессионными переменными. 3. Под задачей исследования статистической взаимозависимости будем понимать задачу исследования связи между величинами (X1 , . . . , Xn ) без указания, какая из величин является зависимой, а какая независимой переменной. Пример 18.4. Пусть (X1 , X2 ) представляют собой рост и вес человека. Интуитивно ясно, что между этими величинами существует взаимозависимость, причем не являющаяся функциональной, так как ее можно выразить только “в среднем”. Задачи о статистической взаимозависимости решаются обычно в рамках корреляционной теории. 18.2

Характеристики зависимости и связи

1. Если исследуется вопрос о функциональной зависимости “зашумленной” ошибками измерений, то по самому существу задачи предполагается некоторый вид этой зависимости y = f (x),

y = (y1 , . . . , ym )0 ,

x = (x1 , . . . , xn )0 .

Эта зависимость ищется обычно в виде полиномов X (j) yj = ai1 ...ik xi1 . . . xik

(18.1)

(18.2)

или в виде разложения yj =

170

X

(j)

ai φi (x1 . . . xn )

(18.3)

Глава 5. Планирование эксперимента

по некоторой заданной системе функций φ1 (x1 , . . . , xn ), . . . φk (x1 , . . . , xn ) При этом в качестве системы функций {φi (x1 , . . . , xn )} удобно использовать систему ортогональных (в некоторой метрике) функций. Например, для представления одной функции одной переменной на отрезке [a, b] ортогональной является система тригонометрических функций cos

2πjx , b−a

sin

2πjx , b−a

j = 0, 1, . . . , k.

2. При исследовании статистической зависимости векторной с.в. Y = (Y1 , . . . , Ym )0 от векторной с.в. X = (X1 , . . . , Xn )0 эту зависимость, заключенную в совместном распределении векторов X и Y, FX,Y (x, y) = P{Xi ≤ xi , Yj ≤ yj (i = 1, n, j = 1, m)}, удобно представлять в виде регрессионной зависимости yj = M[Yj | Xi = xi , (i = 1, n)] ≡ fj (xi , . . . , xn )

(18.4)

(j = 1, m). Здесь мы сталкиваемся с новым понятием регрессионной зависимости, или регрессии. Определение 18.1. Регрессией с.в. Yj по набору с.в. Xi , (i = 1, n) называется функция fj (x1 , . . . , xn ), определяемая равенством (18.4). График этой функции в одномерном случае называется линией регрессии. Важным частным случаем регрессии является случай линейной регрессии, когда зависимость (18.4) линейна относительно 171

§ 18 Понятие о статистической зависимости

переменных x1 , . . . , xn , yj

= M[Yj | Xi = xi , (i = 1, n)] = (j)

(j)

= β0 + β1 x1 + · · · + βn(j) xn . (j)

При этом коэффициенты βi грессии.

(18.5)

называются коэффициентами ре-

Замечание. Важно отметить, что регрессионная зависимость является одним из возможных способов функционального выражения статистической зависимости и выражает эту зависимость “в среднем”. В частности, при исследовании статистической зависимости двух с.в. Y от X эта зависимость может быть выражена с помощью регрессионной зависимости y = f (x) = M[Y |X = x]. 3. Взаимозависимость системы с.в. X1 , . . . , Xn также можно выражать с помощью регрессионной зависимости какойлибо одной случайной переменной, например Xj , от одной Xi , группы Xi1 , . . . Xir или всех остальных случайных переменных X1 , . . . Xj−1 , Xj+1 , . . . Xn . Важно отметить, что здесь наряду с регрессией Xj по Xi , y = φ(x) = M[Xj |Xi = x] полезно рассматривать регрессию Xi по Xj , y = ψ(x) = M[Xi |Xj = x]. При этом функции φ(x) и ψ(x), конечно, различны и, вообще говоря, не являются взаимно обратными, как это обычно бывает в случае функциональной зависимости, когда φ(ψ(y)) ≡ y. 172

Глава 5. Планирование эксперимента

При исследовании статистической зависимости и взаимозависимости (или связи) полезно иметь количественную меру зависимости или связи между отдельными с.в. или группами с.в., т.е. полезно иметь некоторые числовые характеристики, выражающие глубину или силу такой взаимозависимости. Представляя статистическую зависимость в виде регрессионной зависимости мы имеем такие характеристики в виде коэффициентов линейной регрессии только в очень частном случае линейной регрессии. Известно, что симметричным коэффициентом, выражающим меру взаимозависимости (или взаимосвязи) пары с.в. (X, Y ) является коэффициент корреляции cov(X, Y ) cov(X, Y ) √ ρ = ρX,Y = corr(X, Y ) = √ = , σX σY DX DY

(18.6)

где cov(X, Y ) = M[(X − µX )(Y − µY )],

µX = MX, µY = MY.

Если имеется совокупность с.в. X = (X1 , . . . , Xn )0 , то для каждой пары с.в. (Xi , Xj ) с помощью маргинального распределения можно определить маргинальный коэффициент корреляции ρij = ρXi ,Xj =

cov(Xi , Xj ) , σi σj

σi = σXi , σj = σXj .

(18.7)

С другой стороны, фиксируя значения, скажем Xk = xk (k 6= i, k 6= j), остальных с.в., кроме Xi и Xj , мы получим некоторое условное распределение FXi ,Xj (xi , xj | xk , k 6= i, k 6= j).

173

§ 18 Понятие о статистической зависимости

Вычисленный по этому распределению условный коэффициент корреляции имеет вид κij (xk, k6=i,k6=j ) p . (18.8) σi (xk, k6=i,k6=j ) σj (xk, k6=i,k6=j )

ρij (xk , k 6= i, k 6= j) = p где

κij (xk , k 6= i, k 6= j) = M [(Xi − µi )(Xj − µj )| Xk = xk , k 6= i, k 6= j] −

условный коэффициент ковариации с.в. Xi , Xj и σr (xk, k6=i,k6=j ) = D [Xr | Xk = xk , k 6= i, k 6= j]

(r = i, j) −

условные дисперсии с.в. Xi и Xj при фиксированных значениях остальных с.в. В случае совместного нормального распределения условный коэффициент корреляции (18.8) не зависит от значений фиксированных переменных Xk = xk и называется частным коэффициентом корреляции. Лемма 18.1. В случае многомерного нормального распределения условный коэффициент корреляции имеет вид Cij . ρij (Xk = xk k 6= i, k 6= j) = − √ p Cii Cjj

(18.9)

где Cij – алгебраические дополнения в ковариационной матрице. Доказательство проведите сами в виде упражнения 1. Определение 18.2. Частным коэффициентом корреляции любой (не только нормальной) векторной с.в. называется величина, задаваемая формулой (18.9).

174

Глава 5. Планирование эксперимента

18.3

Многомерное нормальное распределение

Нормальное распределение играет в теории вероятностей и математической статистике особую роль. Рассмотрим многомерное нормальное распределение. Пусть Xi ∈ N (0, 1) (i = 1, n) – н.о.р. с.в. Тогда их совместная плотность имеет вид    1 X  Y 1 p(x) = p(xi ) = √ exp − x2i . (18.10)  2  ( 2π)n 1≤i≤n

1≤i≤n

0.16 0.14 0.12 0.1 0.08 0.06 0.04 0.02 0 3 2 1 0 −1 −2 −3

−3

−2

−1

0

1

2

3

Рис. 18.1. Плотность двумерного стандартного нормального распределения.

175

§ 18 Понятие о статистической зависимости

Определение 18.3. Распределение вектора X = (X1 , . . . , Xn )0 с п.р. p(x) (18.10) назовем n-мерным стандартным нормальным распределением (рис. 18.1) и обозначим через N (0, I)), где I – единичная матрица. Характеристическая функция распределения (18.10), очевидно, имеет вид h 0 i h i f (t) = M ei t x = M ei(t1 X1 +...tn Xn ) =    1 X  Y f (ti ) = exp − (18.11) = t2i .  2  1≤i≤n

1≤i≤n

Вектор первых и матрица вторых моментов для этого распределения имеют вид: µ ~ = MX = (MX1 , . . . , MXn )0 = (0, . . . , 0)0 = 0, DX = [M(Xi Xj )] = [δij ] = I. Рассмотрим распределение вектора Y = AX + b,

A = [aij ]i=1,n, j=1,m ,

b = (b1 , . . . , bm ) (18.12)

Вычислим сначала для него вектор первых и матрицу центральных вторых моментов, MY = (MY1 , . . . , MYm )0 = AMX + b = b, £ ¤ £ ¤ DY = M (Y − MY)(Y − MY)0 = M AXX0 A0 = AA0 = C. Полученная в результате вычислений матрица C обладает свойствами, содержащимися в следующей лемме. Лемма 18.2. Ковариационная матрица вектора Y обладает свойствами: 176

Глава 5. Планирование эксперимента

1) симметрии: C 0 = C; 2) неотрицательной определенности: для любых комплексных z1 , . . . , zm справедливо: X z0 C¯ z= cij zi z¯j ≥ 0. ij

Доказательство. 1) C 0 = (AA0 )0 = A00 A0 = AA0 = C. 2) Действительно, для любых z = (z1 , . . . , zm )0 имеем: X ¯ = (z0 A, A0 z ¯) = (g 0 , g) = z0 C¯ z = z0 AA0 z |gi |2 ≥ 0. i

и равенство нулю имеет место тогда и только тогда, когда X aij zj = 0 i

для всех j = 1, m, т.е. если строки матрицы A линейно зависимы. Заметим, что при m > n так будет всегда. Характеристическая функция вектора Y = AX + b равна 0

fY (t) = Mei(t Y) = M exp{it0 AX + it0 b} = 0

0

0

= ei(t b) Mei(t AX) = ei(t b) fX (t0 A) = 1 0 = ei(t b) exp{− t0 AA0 t} = 2 1 0 = ei(t b) exp{− t0 Ct}. 2

(18.13)

177

§ 18 Понятие о статистической зависимости

Рассмотрим п.р. вектора Y, предполагая, что m = n и det A 6= 0, Y pY (y) dyi = P{y ≤ Y < y + dy} = 1≤i≤n

= P{y ≤ AX + b < y + dy} = = P{y − b ≤ AX < y − b + dy} = = P{A−1 (y − b) ≤ X < A−1 (y − b) + dA−1 y} = Y dyi , = pX (A−1 (y − b)) det A−1 1≤i≤n

поскольку при линейном преобразовании координат элемент объема умножается на определитель матрицы преобразования. Из этих соотношений следует, что pY (y) = det A−1 pX (A−1 (y − b)) = ½ ¾ 1 1 0 −10 −1 = p exp − (y − b) A A (y − b) . 2 (2π)n det A Чтобы привести последнее выражение к естественным параметрам распределения вектора Y, заметим, что AA0 = C, где C = CY является ковариационной матрицей вектора Y. Если det A 6= 0, то det C = det A · det A0 = (det A)2 и, стало быть, C −1 = (AA0 )−1 = A0−1 A−1 , откуда ½ ¾ 1 1 0 −1 exp − (y − b) C (y − b) . (18.14) pY (y) = p 2 (2π)n det C Таким образом, линейное преобразование Y = AX + b с невырожденной матрицей A над стандартным нормальным вектором X ∈ N (0, I) приводит к случайному вектору с плотностью (18.14), где b – произвольный вектор, а C – невырожденная симметричная неотрицательно определенная матрица. 178

Глава 5. Планирование эксперимента

Определение 18.4. Распределение вектора Y = (Y1 , . . . , Ym ) называется многомерным нормальным распределением, если его характеристическая функция имеет вид (18.13) и невырожденным нормальным, если его п.р. имеет вид (18.14). Для произвольного многомерного нормального распределения с вектором математических ожиданий µ ~ и ковариационной матрицей C введем обозначение N (~ µ, C). Замечание 1. Если Z = BY + c, то Z = B(AX + b) + c = BAX + Bb + c = DX + f , т.е. для Z также имеет место представление (18.12). Замечание 2. Если C вырожденная матрица, то соответствующее распределение сосредоточено на подпространстве, соответствующем ее максимальному невырожденному минору. Лемма 18.3. Всякая неотрицательно определенная матрица C может быть представлена в виде C = AA0 . Доказательство проведите самостоятельно в виде упражнения 2. Замечание 3. С учетом леммы 18.3 можно утверждать, что всякий нормально распределенный случайный вектор является результатом линейного преобразования некоторого стандартного нормально распределенного случайного вектора. Лемма 18.4. Пусть Y ∈ N (~ µ, C), Z = BY + b. Тогда Z ∈ N (B~ µ + b, BCB 0 ). Доказательство проведите самостоятельно в виде упражнения 3. 179

§ 18 Понятие о статистической зависимости

Из (18.14) следует, что ковариационная матрица двумерного нормального вектора равна · ¸ (X1 − µ1 )2 (X1 − µ1 )(X2 − µ2 ) C = M = (X1 − µ1 )(X2 − µ2 ) (X2 − µ2 )2 · ¸ σ12 ρσ1 σ2 = , ρσ1 σ2 σ22 так что C −1

1 = 1 − ρ2

"

1 σ12 ρ σ1 σ2

ρ σ1 σ2 1 σ22

# ,

и, следовательно, его п.р. имеет вид ½ · 1 1 (x1 − µ1 )2 p p(x1 , x2 ) = exp − + 2(1 − ρ)2 σ12 2πσ1 σ2 1 − ρ2 ¸¾ (x1 − µ1 )(x2 − µ2 ) (x2 − µ2 )2 + + 2ρ . (18.15) σ1 σ2 σ22 18.4

Дополнения

Вопросы для контроля 1. Дайте определения: а) б) в) г)

функциональной зависимости с. в., статистической зависимости с.в., взаимозависимости с.в., многомерного нормального стандартного распределения.

2. Расскажите о характеристиках, вычисляемых для исследования взаимозависимости с.в. 3. Какими свойствами обладают ковариационные матрицы многомерных нормальных с.в.? 180

Глава 5. Планирование эксперимента

Упражнения 1. Докажите лемму 18.1. 2. Докажите лемму 18.3. 3. Докажите лемму 18.4. 4. Пусть вектор (X, Y ) равномерно распределен в единичном квадрате. Вычислите регрессию X по Y и Y по X. 5. Пусть вектор (X, Y ) равномерно распределен в единичном квадрате. Вычислите регрессию X 2 по Y 2 и Y 2 по X 2 . 6. Вычислите регрессию координат двумерного нормального распределения. Чему равны коэффициенты регрессии? Лабораторная работа №10 1. Исследуйте зависимость пористости от глинистости (таблица 1 Приложения B). 2. Оцените взаимозависимость пористости и проницаемости (таблица 1 Приложения B).

181

§ 19 Метод наименьших квадратов

§ 19

Метод наименьших квадратов

19.1

Линейная регрессионная модель

В прикладных задачах часто приходится сталкиваться с линейной регрессионной моделью при неслучайных регрессионных переменных вида Y = β~ 0 x + ε

(19.1)

где β~ 0 = (β0 , β1 , . . . , βk ) – вектор неизвестных параметров, x0 = (x1 , . . . , xk ) – вектор регрессионных переменных, ε – случайная ошибка наблюдения. Обычно предполагается, что ε ∈ N (0, σ 2 ). Примеры 1. Эмпирическая линейная зависимость. Пусть на основании априорных теоретических или эмпирических данных известно, что имеет место зависимость вида (19.1), коэффициенты которой неизвестны. 2. Эмпирическая нелинейная по x зависимость. Линейная регрессионная модель допускает исследование и нелинейных зависимостей от регрессионных переменных x0 = (x1 , . . . , xk ) вида X Y = β0 + βj φj (x1 , . . . , xk ) + ε. (19.2) 1≤j≤r

Здесь коэффициенты входят в формулу линейно, поэтому достаточно сделать замену, полагая zj = φj (x1 , . . . , xk ), чтобы свести модель к предыдущей. 3. Нормальный случайный вектор. Пусть известно, например, что случайный вектор X имеет многомерное нормальное распределение. Тогда координаты Xi зависят друг от друга 182

Глава 5. Планирование эксперимента

линейно, так что по наблюдениям необходимо оценить коэффициенты регрессии. 4. Линейное приближение зависимости. Когда нет оснований считать совместное распределение переменных нормальным, часто все-таки оказывается, что регрессия близка к линейной. Возникает задача приближения истинной регрессии линейной и оценки соответствующих коэффициентов. 19.2

ОМП коэффициентов линейной регрессии

Рассмотрим сначала задачу оценки неизвестных коэффициентов регрессии в линейной модели (19.1) при неслучайных регрессионных переменных x = (x1 , . . . xk ) по выборке y = (y1 , . . . , yn ) объема n. Вычислим оценки максимального правдоподобия (ОМП) коэффициентов регрессии в предположении, что ошибки наблюдений εi независимы и нормально распределены, εi ∈ N (0, σ 2 ). Функция правдоподобия в этом случае имеет вид ½ ¾ 1 ~ 0 C −1 (y − X β) ~ , (19.3) exp − (y − X β) ε 2 (2π)n det Cε

~ y) = p L(β;

1

где y = (y1 , . . . , yn ) – вектор наблюдений, X – матрица значений регрессионных переменных, а Cε – ковариацион~ˆ параметров ная матрица вектора ошибок. Оценки b = β β~ = (β0 , β1 , . . . , βk ) находятся из системы нормальных уравнений ∂ ~ y) = − 1 ∂ [(y − X β) ~ 0 C −1 (y − X β)] ~ = ln L(β; ε ∂βj 2 ∂βj 1 ∂ ~ = [−y0 Cε−1 X β~ − β~ 0 X 0 Cε−1 y + β~ 0 X 0 Cε−1 X β)] = − 2 ∂βj 1 ~ + (β~ 0 X 0 C −1 X)0 ] = = − [(y0 Cε−1 X)0 − X 0 Cε−1 y0 + X 0 Cε−1 X β ε 2 = X 0 Cε−1 y − X 0 Cε−1 X β~ (19.4)

0 =

183

§ 19 Метод наименьших квадратов

В последнем равенстве использована симметричность матрицы C, C 0 = C. Следовательно, X 0 Cε−1 X β~ = X 0 Cε−1 y. Но так как Cε = σ 2 I, т.е. Cε−1 = σ −2 I и, следовательно, ~ = X 0 y, то, предполагая, что матрица X 0 X не вырожX 0X β дена, получим ˆ b = β~ = (X 0 X)−1 X 0 y. (19.5) Вырожденность матрицы X 0 X означает линейную зависимость регрессионных переменных. На практике такое встречается редко, чаще встречается зависимость, близкая к линейной. В этом случае матрица X 0 X хоть и не вырождена, но плохо обусловлена, что приводит к большой вычислительной погрешности при определении коэффициентов (19.5). Такое явление называется мультиколлинеарностью. О методах борьбы с нею см. [9]. Пример 19.1. Рассмотрим простую линейную модель от одной регрессионной переменной, Y = β0 + β1 x + ε В этом случае   1 x1 1 x2    X = . .  ,  .. ..  1 xn так что · X 0X =

184

1 ... 1 x1 . . . xn

¸



 y1  y2    Y =  . ,  ..  yn

   1 x1 n   ×  ... ...  =  P xi 1 xn 1≤i≤n

P 1≤i≤n P 1≤i≤n

xi x2i

 ,

Глава 5. Планирование эксперимента

и, следовательно, P



x2i

1  1≤i≤n P P 2 P xi xi − ( xi )2 − n

(X 0 X)−1 =

1≤i≤n

1≤i≤n

¸ n x2 −¯ x ³ ´ . x 1 n2 x2 − (¯ x)2 −¯

=

·

−

P 1≤i≤n

xi

 =

n

1≤i≤n

Далее · X 0Y =

1 ... 1 x1 . . . xn

¸



  P  y1 · ¸ yi y¯  ..   1≤i≤n  P × . = =n xi yi xy yn 1≤i≤n

и, следовательно, ¸ · ¸ y¯ x2 −¯ x × = 2 2 xy −¯ x 1 x − (¯ x) · ¸ · ¸ 1 x2 y¯ − x x2 y¯ − x ¯xy ¯(xy − x ¯y¯ + x ¯¯) = 2 = −¯ xy¯ + xy −¯ xy¯ + xy Sx · 2 ¸ Sx y¯ − x ¯kxy . −kxy

ˆ b = β~ = (X 0 X)−1 X 0 Y = =

1 Sx2

=

1 Sx2

1

·

Здесь через kxy обозначена оценка коэффициента ковариации κxy величин X и Y , а через Sx2 эмпирическая дисперсия. При выводе использованы соотношения 1 X (xi − x ¯)(yi − y¯) = kxy = n 1≤i≤n   1 X = xi yi − n¯ xy¯ − n¯ xy¯ + n¯ xy¯ = n 1≤i≤n

¯y¯ = xy − x 185

§ 19 Метод наименьших квадратов

и   X X 1 1 Sx2 = (xi −¯ x)2 =  x2i − 2n¯ xx ¯ + n(¯ x)2  = x2 −(¯ x)2 . n n 1≤i≤n

1≤i≤n

Таким образом, используя обозначение rxy для выборочного коэффициента корреляции и соотношение rxy =

kxy , Sx Sy

найдем b0 = βˆ0 = y¯ −

Sy x ¯rxy , Sx

или y = y¯ −

b1 = βˆ1 =

Sy rxy , Sx

(19.6)

Sy Sy rxy x ¯+ rxy x. Sx Sx

Последнее равенство удобно переписать и запомнить в симметричной форме x−x ¯ y − y¯ = rxy . (19.7) Sy Sx 19.3

Метод наименьших квадратов

Итак, в предположении, что регрессионные переменные xj неслучайны, а ошибки наблюдений εi независимы и нормально распределены, было показано, что ОМП коэффициентов линейной регрессии зависимости (19.1) получаются путем минимизации квадратичной формы ~ 0 C −1 (Y − X β) ~ Q = (Y − X β) по переменным βj и имеют вид (19.5). 186

(19.8)

Глава 5. Планирование эксперимента

Теперь можно отказаться от предположения о нормальности распределения ошибок и их независимости, сохранив, однако, требование их некоррелированности cov(εi , εj ) = 0 при j 6= i и равноточности1 , Dεi = σ 2 , а также отсутствия систематической ошибки, Mεi = 0, и неслучайности регрессионных переменных xj . Напомним, что в случае нормальности распределения ошибок их независимость и некоррелированность эквивалентны. В этих более общих предположениях будем искать оценки коэффициентов регрессии, исходя из условия минимизации квадратичной формы (19.8). Обоснованием такого подхода является, во-первых, тот факт, что в нормальном случае соответствующие оценки совпадают с ОМП, и, во-вторых, то, что соответствующие оценки минимизируют “расстояние” между истинной регрессией и ее оценкой в “естественной” евклидовой метрике. Еще одним обоснованием приемлемости такого подхода являются свойства оценок, рассматриваемые в следующем разделе. Заметим, что в предположении о некоррелированности и равноточности ошибок наблюдений их матрица ковариаций имеет вид Cε = C = σ 2 I, откуда следует, что обратная матрица равна C −1 = σ −2 I. Таким образом, минимизация квадратичной формы (19.8) эквивалентна минимизации другой квадратичной формы ~ 0 (Y − X β) ~ (Y − X β) (19.9) ˆ Определение 19.1. Оценки β~ = b коэффициентов линейной регрессии, полученные путем минимизации квадратичной формы (19.8), называются оценками наименьших квадратов (ОНК), а метод их получения – методом наименьших квадратов (МНК). 1

Иногда используют также термин гомоскедастичность.

187

§ 19 Метод наименьших квадратов

Поскольку ОНК являются решением тех же самых нормальных уравнений (19.4), что и ОМП в предположении о нормальности распределений ошибок наблюдения, они, естестенно, имеют тот же вид (19.4), ˆ b = β~ = (X 0 X)−1 X 0 y. 19.4

Свойства оценок наименьших квадратов

Поскольку ОНК зависят от выборки, они являются случайными величинами. Найдем их математическое ожидание: ~ Mb = M(X 0 X)−1 X 0 Y = M(X 0 X)−1 X 0 (X β~ + ~ε) = β. т.е. ОНК – несмещенные. Теперь найдем ковариационную матрицу оценок: ~ ~ 0= Cb = M(b − β)(b − β) 0 ~ ~0= = M([(X 0 X)−1 X 0 Y − β][((X X)−1 X 0 Y − β] 0 ~ ~0= = M([(X 0 X)−1 X 0 (X β~ + ~ε) − β][((X X)−1 X 0 (X β~ + ~ε) − β] = M[(X 0 X)−1 X 0 ~ε][((X 0 X)−1 X 0 ~ε]0 = = M[(X 0 X)−1 X 0 ~ε~ε0 (X 0 X)−10 ] = = (X 0 X)−1 X 0 σ 2 IX(X 0 X)−10 = σ 2 (X 0 X)−10 = σ 2 (X 0 X)−1 . Таким образом, ошибка оценки зависит от выбора матрицы наблюдений X, что используется в дальнейшем при планировании экспериментов. Как следует из (19.5), ОНК являются линейными относительно наблюдений y. При этом они обладают важным свойством оптимальности. Именно, справедлива

188

Глава 5. Планирование эксперимента

Теорема 19.1 (Марков). Среди всех линейных относительно наблюдений y несмещенных оценок коэффициентов линейной регрессии ОНК обладают минимальной дисперсией. Другими словами, пусть t = T y – несмещенная оценка ~ где T – некоторая маткоэффициентов регрессии, Mt = β, рица. Тогда диагональные элементы ковариационной матрицы Ct минимальны тогда и только тогда, когда T = (X 0 X)−1 X 0 .

(19.10)

Доказательство. Из несмещенности вытекает, что ~ + ~ε) = MT X β ~ + MT ~ε = T X β ~ = β, ~ Mt = MT (X β т.е. T X = I. Далее ~ − β) ~ 0 = M[T (X β ~ + ~ε) − β][T ~ (X β~ + ~ε) − β] ~0= Ct = M(t − β)(t ~ + T ~ε − β][T ~ Xβ ~ + T ~ε) − β] ~0= = M[T X β ~ − β][T ~ X β~ − β] ~ 0 + M[(T X β~ − β)~ ~ ε0 T 0 ] + = M[T X β ~ 0 ] + M[T ~ε~ε0 T 0 ] = σ 2 T T 0 . + M[T ε(T X β~ − β) Теперь с учетом того, что T X = I из тождества T T 0 = [T −(X 0 X)−1 X 0 ][T −(X 0 X)−1 X 0 ]0 +[(X 0 X)−1 X 0 ][(X 0 X)−1 X 0 ]0 вытекает, что диагональные элементы матрицы T T 0 принимают минимальные значения равные (XX 0 )−1 при T = (X 0 X)−1 X 0 . Следствие. ОНК некоторой линейной функции от парамет~ обладают теми же свойствами оптиров, скажем, α ~ = Aβ, мальности и имеют вид a=α ~ˆ = A(X 0 X)−1 X 0 y.

(19.11) 189

§ 19 Метод наименьших квадратов

19.5

Дополнения

Вопросы для контроля 1. Дайте определения: а) б) в) г)

линейной регрессионной модели, оценок наименьших квадратов, метода наименьших квадратов, приведите формулы для оценки коэффициентов регрессии в двумерной нормальной регрессионной модели.

Упражнения 1. Выведите уравнение (19.4) с использованием функции правдоподобия в координатной записи. 2. Сформулируйте и докажите теорему Маркова. 3. Объясните, почему минимизация квадратичной формы ~ (19.9) дает оценку коэффициентов β. Задачи 1. Постройте регрессионную модель зависимости концентрации светлых нефтепродуктов, выкипающих при 350◦ , от плотности нефти (таблица 19.1). Таблица 19.1. Зависимость концентрации светлых нефтепродуктов c от плотности нефти ρ. ρ, г/см3 c, % ρ, г/см3 c, %

190

910 54 791 72.2

836 58.6 829 55.3

869 47.7 857 48.9

865 47.5 866 48.7

866 45.3 868 46.1

841 58.3 840 57.8

844 59 864 48.6

862 49.6 838 59.6

807 66.6 880 44

865 51.3 868 44.7

Глава 5. Планирование эксперимента

2. Постройте регрессионную зависимость цены квартиры y, тыс. $, от следующих факторов (таблица 19.2): а) б) в) г) д) е)

время пешком до метро x1 , мин.; этажность здания x2 ; этаж, на котором находится квартира, x3 ; общая площадь x4 , м2 ; жилая площадь x5 , м2 ; площадь кухни x5 , м2 .

Таблица 19.2. Зависимость цены квартиры y от ее параметров xi .

x1 15 2 20 10 12 10 10 15 10 7 1 10 10 15

x2 9 9 9 12 12 9 15 9 9 9 9 8 12 17

x3 7 3 8 3 6 7 7 7 3 3 6 2 10 7

x4 38 36 44 52 48 42 55 48 38 43 36 55 40 51

x5 22 25 28 31 30 25 31 30 24 27 22 34 24 30

x6 8 6 6 10 9.2 7 8.5 7 7.8 6 5.5 8 7.5 8.5

y 105 110 115 115 128 130 135 140 140 140 150 150 150 150

191

§ 19 Метод наименьших квадратов

Лабораторная работа №11 По индивидуальным данным, предложенным преподавателем из Приложения C, вычислить коэффициенты линейной регрессии и построить линии регрессии совместно с полем наблюдений.

192

Глава 5. Планирование эксперимента

§ 20

Планирование многомерного эксперимента

Вообще говоря, вся статистика занимается планированием эксперимента в широком смысле этого слова, так как для получения желаемых результатов необходимо выбрать количество опытов, обеспечивающих заданную точность оценки параметров, или оценить точность полученных результатов по имеющимся наблюдениям. Решение этих вопросов относится к планированию эксперимента. Однако в статистике под планированием эксперимента принято понимать довольно узкую область, связанную с планированием многомерного эксперимента, которая и будет рассмотрена в настоящем разделе. 20.1

Постановка задачи. Основные понятия

Одной из наиболее важных и распространенных задач многомерного статистического анализа является задача оценки коэффициентов βj линейной регрессионной модели y = β0 + β1 φ1 (x1 , . . . xk ) + . . . βr φr (x1 , . . . , xk )

(20.1)

и изучения их свойств. При этом предполагается, что неизвестные параметры входят в выражение (20.1) линейно, а сами регрессионные переменные xj , j = 1, k, вообще говоря, не обязательно линейно, а в виде некоторых известных функциональных зависимостей φj (x1 , . . . , xk ), j = 1, r. В простейшем случае наблюдаемая величина связана с регрессионными переменными (которые могут быть, вообще говоря, статистически зависимыми) также линейной зависимостью y = β0 + β1 x1 + . . . βk xk .

(20.2)

Предполагается, кроме того, что при наблюдениях возникают случайные ошибки, так что вместо y наблюдается с.в. Y , Y = β0 + β1 x1 + . . . βk xk + ε,

(20.3) 193

§ 20 Планирование многомерного эксперимента

причем ошибки наблюдений в различных опытах независимы и одинаково нормально распределены, ε ∈ N (0, σ 2 ). Определение 20.1. Переменные x1 , . . . , xk называются регрессионными, или факторными переменными, или просто факторами, а множество их допустимых значений факторным пространством. Зависимость (20.1) часто называют функцией отклика или просто откликом, а геометрическое место точек, отвечающее этой зависимости, – поверхностью отклика. Замечание. Если величины x1 , . . . , xk недоступны точному измерению, т.е. являются случайными величинами, то вопросы анализа зависимостей (20.1, 20.2) обычно решаются в рамках корреляционной теории. Иногда различают термины “фактор” и “регрессионная переменная”, понимая под фактором качественную переменную, а под регрессионной – количественную (как непрерывную, так и дискретную) переменную. Задачи, связанные с качественными переменными можно решать также средствами дисперсионного анализа. Вид поверхности отклика для случая двухфакторной модели представлен на рис. 20.1. Здесь заштрихованный в плоскости x1 Ox2 прямоугольник представляет собой факторное пространство. Если регрессионные переменные неслучайны, то проводя независимые эксперименты в различных точках факторного пространства X , будем получать в качестве наблюдений yi реализации н.о.р. с.в. Yi , i = 1, n. Определение 20.2. Матрица X = [xij ]1≤i≤n, 1≤j≤k , составленная из координат точек xij проведения экспериментов, назы-

194

Глава 5. Планирование эксперимента

y

x2

x1

Рис. 20.1. Вид поверхности отклика.

вается матрицей плана эксперимента (МПЭ),   1 x11 . . . x1k  .. ..  . .. X = [xij ] =  ... . . .  1 xn1 . . . xnk Число строк n этой матрицы соответствует числу экспериментов, а число столбцов k + 1 – числу факторов плюс первый столбец из единиц, обеспечивающий оценку коэффициента β0 . Методы математической статистики, изложенные в предыдущих параграфах, позволяют строить наилучшие оценки βˆj коэффициентов регрессии βj зависимостей (20.1), (20.2) и иссле195

§ 20 Планирование многомерного эксперимента

довать их свойства. Задачей математической теории планирования многомерного эксперимента является изучение свойств этих оценок в зависимости от выбора плана эксперимента, т.е. МПЭ, и построение оптимальных в некотором смысле планов проведения экспериментов. Замечание. В настоящем разделе курса речь идет лишь о математической теории планирования эксперимента, которая “работает” лишь с формализованными моделями. Планирование эксперимента в широком смысле слова включает в себя также вопросы выбора факторов, построения модели, организации и проведения эксперимента и др. 20.2 Цели планирования эксперимента и критерии оптимизации Напомним, что для модели (20.2), представленной здесь в матричной форме ~ + ~ε Y = Xβ ~ имеют, согласно (19.5), вид ОНК коэффициентов регрессии β ˆ b = β~ = (X 0 X)−1 X 0 y, где X – МПЭ, y – вектор наблюденных значений с.в. Y , причем ˆ ~ Mb = Mβ~ = β 2

(20.4) 0

−1

Cb = C ~ˆ = σ (X X) β

,

(20.5)

так что ковариационная матрица оценок Cb с точностью до постоянного множителя σ 2 совпадает с матрицей (X 0 X)−1 , которую называют матрицей ошибок. 196

Глава 5. Планирование эксперимента

На последнем соотношении базируются как сама возможность планирования эксперимента, так и цели и критерии его качества. Так как ковариационная матрица Cb и матрица ошибок (X 0 X)−1 не зависят от вектора наблюдений y, то и свойства матрицы Cb могут быть исследованы до проведения эксперимента и независимо от него. Боле того, так как Cb = σ 2 (X 0 X)−1 , то можно поставить задачу о построении МПЭ таким образом, чтобы удовлетворить некоторым требованиям, предъявляемым к матрице Cb . Каковы могут быть эти требования? 1) минимизация числа опытов при заданной точности; 2) простота вычислений; 3) композиционность плана – возможность использовать точки проведения эксперимента для оценки параметров моделей разных порядков (например, построить модель 1-го порядка, а затем использовать эти же точки для оценки параметров модели 2-го порядка); 4) некоррелированность оценок коэффициентов модели, т.е. требование, чтобы ρbi ,bj = 0, (такие планы называются ортогональными); 5) минимизация средней дисперсии оценок 1 X σ 2 (b) = cii =⇒ min; k 1≤i≤k

6) минимизация максимальной дисперсии оценок 2 σmax (b) = max cii =⇒ min; i=1,n

7) минимизация средней (или максимальной) дисперсии отклика (G-оптимальность) Dy =⇒ min,

max Dyi =⇒ min;

i=1,n

197

§ 20 Планирование многомерного эксперимента

8) ротатабельность плана – точность предсказания зависит лишь от расстояния до некоторой центральной точки, но не зависит от направления проведения эксперимента. 20.3

Ортогональные планы

Ортогональные планы обладают многими из перечисленных выше свойств. Согласно определению, для ортогонального плана матрица Cb = σ 2 (XX 0 )−1 имеет диагональный вид. Стало быть диагональна и матрица XX 0 ,       x11 . . . x1k x11 . . . xn1 X  ..  ×  .. ..  =  .. .. XX 0 =  ... xik xkj  . . . .   . .  1≤k≤n x1k . . . xnk xn1 . . . xnk Отсюда, в частности, следует условие ортогональности плана X xil xlj = 0 при i 6= j, (i, j = 1, k). (20.6) 1≤l≤n

Таким образом, для модели (20.2) задача построения ортогонального плана сводится к выбору точек проведения эксперимента таким образом, чтобы удовлетворялось соотношение (20.6). Для модели (20.1) эта задача сводится к выбору точек проведения эксперимента так, чтобы X φi (xl1 , . . . , xlk )φj (xl1 , . . . , xlk ) = 0 при i 6= j, (i, j = 1, r). 1≤l≤n

(20.7) Это приводит к следующему понятию ортогональности системы функций.

198

Глава 5. Планирование эксперимента

Определение 20.3. Система функций φi (x) = φi (x1 , . . . xk ), i = 1, r, называется ортогональной на множестве точек xl , l = 1, n, если выполнено соотношение (20.7). Таким образом, при заданной системе функций φi (x) эксперимент следует проводить в точках xl , обеспечивающих ортогональность функций на ней. Возможен и другой подход: если исследователь уже располагает экспериментами на множестве точек xl , то можно ставить задачу построения модели вида (20.1) с ортогональной на заданном множестве системой функций φi (x). 20.4

Дополнения

Вопросы для контроля 1. Дайте определения: а) б) в) г) д)

линейной регрессионной модели, матрицы плана эксперимента, факторного пространства, функции и поверхности отклика, ортогонального плана эксперимента.

2. В чем состоит задача математической теории планирования эксперимента? 3. Сформулируйте возможные цели планирования эксперимента. 4. Перечислите свойства ортогональных планов эксперимента.

199

§ 21 Полный и дробный факторные эксперименты

§ 21 Полный и дробный факторные эксперименты В настоящем разделе будут рассмотрены наиболее распространенные ортогональные планы. 21.1

ПФЭ типа 2k

Одним из наиболее распространенных ортогональных планов является полный факторный эксперимент (ПФЭ) типа 2k и соответствующие ему дробные реплики. Определение 21.1. В общем случае полным факторным экспериментом следует назвать эксперимент, в котором реализуются все возможные сочетания значений факторов. Ясно, что для факторов, принимающих непрерывные значения, ПФЭ невозможен. Поэтому для проведения этого эксперимента выбирают определенные уровни варьирования факторов. Для оценки функции отклика зависящей от k факторов, каждый из которых принимает m значений, потребовалось бы mk опытов. Наиболее простым ПФЭ является эксперимент типа 2k , состоящий в варьировании факторов всего на двух уровнях. Этот вид эксперимента очень удобен на начальной стадии проведения экспериментов. Этапы проведения ПФЭ типа 2k состоят в следующем. 1. Выбирается экспериментальная область E факторного пространства X и по каждому фактору xj указывается нижний xmin,j и верхний xmax,j уровни варьирования, а также основной уровень x0,j = 21 (xmin,j + xmax,j ) и полуинтервалы варьирования Jj = 12 (xmax,j − xmin,j ). Для случая двух факторов условия проведения эксперимента представлены на рис. 21.1.

200

Глава 5. Планирование эксперимента

Условия проведения эксперимента полезно сохранить в виде таблицы 21.1. 2. Для унификации и облегчения расчетов факторы кодируются путем изменения масштабов по осям таким образом, чтобы значения всех факторов принимали соответственно значения ±1 и 0 для верхнего, нижнего и основного уровней соответственно. Переход к кодированным переменным осуществляется по формулам xij − x0j Xij = , Jj где в отличие от натуральных переменных xij кодированные обозначаются прописными буквами Xij . x2 xmax,26 x0,2 E xmin,2 -

xmin,1

x0,1

x1

xmax,1

Рис. 21.1. План проведения двухфакторного эксперимента. Таблица 21.1. План проведения двухфакторного эксперимента.

Факторы Основной уровень Интервалы варьирования Верхний уровень Нижний уровень

x1 x0,1 ∆x1 xmax,1 xmin,1

x2 x0,2 ∆x2 xmax,2 xmin,2

x3 x0,3 ∆x3 xmax,3 xmin,3

x4 x0,4 ∆x4 xmax,4 xmin,4

201

§ 21 Полный и дробный факторные эксперименты

3. После кодирования значений факторов план проведения эксперимента представляется в виде таблицы (для плана типа 22 см. табл. 21.2). При построении матриц планирования эксперимента и соответствующих таблиц плана проведения эксперимента удобно пользоваться приемом чередования знаков, который состоит в следующем: элементами нулевого столбца (напомним, что матрица плана эксперимента дополняется нулевым столбцом, обеспечивающим оценку коэффициента β0 ) являются единицы, в первом столбце знаки чередуются через 1, во втором – через 2 и т.д. Этот прием обеспечивает ортогональность плана. Пример 21.1. План ПФЭ типа 22 , содержащего n = 4 опыта (с учетом нулевого столбца), продемонстрирован в таблице 21.2. Таблица 21.2. Кодированный план эксперимента.

№ опыта 1 2 3 4

X0 +1 +1 +1 +1

Матрица плана эксперимента  1 1 X= 1 1 21.2

X1 −1 +1 −1 +1

X2 −1 −1 +1 +1

y y1 y2 y3 y4

в этом случае имеет вид  −1 −1 +1 −1 . −1 +1 +1 +1

Свойства ПФЭ

ПФЭ является ортогональным планом и обладает следующими свойствами. 202

Глава 5. Планирование эксперимента

1. МПЭ симметрична относительно центра: X Xij = 0 (j = 1, k). 1≤i≤n

2. Столбцы МПЭ ортогональны: X Xij Xik = 0 при

j 6= k.

1≤i≤n

3. МПЭ нормирована: X

Xij2 = n.

1≤i≤n

4. оценки коэффициентов регрессии некоррелированы и име2 ют одинаковую дисперсию Dbj = σn . Действительно, из первых трех свойств следует, что   n 0 ... 0 0 n . . . 0   0 X X = . . . . . ...   .. ..  0

0 ... n

(n+1)×(n+1)

и, следовательно, 1

n

0

−1

(X X)

0  = .  .. 0

0 1 n

.. . 0

... ... .. .

 0 0  ..  .

...

1 n

.

(n+1)×(n+1)

Таким образом, Cb = σ 2 (X 0 X)−1 =

σ2 I n 203

§ 21 Полный и дробный факторные эксперименты

и, следовательно, σ2 , cov(bj , bk ) = 0 (i 6= j). n Последнее свойство при нормальном распределении ошибок обеспечивает независимость оценок коэффициентов линейной модели. 5. ПФЭ ротатабельный. Вычислим дисперсию оценки отклика yˆ = x0 b = b0 + b1 x1 + · · · + bk xk Dbj =

в любой точке x = (1, x1 , . . . , xk ). Имеем ~ 2 = M[x0 (b − β)] ~ 2= Dˆ y = M(x0 b − x0 β)  2 X X = M xj (bj − βj ) = x2j Dbj + 0≤j≤k

X

+

0≤i6=j≤k

xi xj cov(bi , bj ) =

0≤j≤k

σ2 X 2 σ2 (1 + ρ2 ) xj = n n 0≤j≤k

P

2 где ρ2 = 1≤j≤k xj – расстояние от центра эксперимента до точки (x1 , . . . , xk ) факторного пространства E. Таким образом, точность оценки отклика не зависит от направления, а зависит лишь от расстояния от центра до точки проведения эксперимента. Это свойство называется ротатабельностью.

21.3

Проверка значимости и адекватности в ПФЭ

Независимость оценок коэффициентов линейной регрессии позволяет строить для них доверительные интервалы и проверять их значимость. Действительно, b = (X 0 X)−1 X 0 Y = (X 0 X)−1 X 0 (X β~ + ~ε) = ~ Cb ), = β~ + (X 0 X)−1 X 0 ~ε ∈ N (β, 204

Глава 5. Планирование эксперимента 2

откуда bj ∈ N (βj , σn ), что дает возможность строить доверительные интервалы для неизвестных коэффициентов регрессии. Если дисперсия ошибок наблюдения σ 2 известна, то доверительные интервалы строятся на основе нормального распределения. Если же дисперсия ошибок наблюдения неизвестна, то прибегают к статистике bj − βj √ tm−1 = q m − 1, Sy2 где Sy2 =

1 m−1

m P

(y0,i − y¯0 )2 – оценка дисперсии, вычисленная

i=1

по m дополнительным независимым наблюдениям на одном и том же уровне, например, на основном. Эта статистика имеет tm−1 - распределение Стьюдента, что позволяет строить обычным образом доверительные интервалы для неизвестных коэффициентов регрессии. Не всегда фактор существенно влияет на отклик. Иногда введенный в модель фактор xj оказываются незначим, т.е. почти не влияет на значение отклика, βj = 0. Выборочный же коэффициент bj в этом случае должен быть близок к нулю, что можно проверить по статистикам z= или

bj − βj √ n σ

bj − βj √ tm−1 = q m − 1. Sy2

Действительно, если дисперсия σ 2 ошибки наблюдений известна, то (в предположении о нормальности ошибок наблюдений) статистика z имеет стандартное нормальное распределение, z ∈ N (0, 1), и может быть принята за статистику критерия для проверки значимости j-го коэффициента регрессии. 205

§ 21 Полный и дробный факторные эксперименты

Если дисперсия ошибок наблюдений неизвестна (что обычно имеет место на практике), то ее можно оценить, используя m дополнительных независимых наблюдений, например, на основном уровне yi,0 . Тогда статистика (m − 1)Sy2 ∈ χ2m−1 σ2 и, стало быть, статистика bj −βj √ n √ bj − βj √ t= n = q σ2 m − 1 ∈ tm−1 . Sy (m−1) Sy σ2

Таким образом, эта статистика может быть использована в качестве статистики критерия. Незначимые факторы следует вывести из модели, уменьшив тем самым размерность факторного пространства. В широком смысле адекватность – это соответствие модели истинной зависимости, которую модель описывает. В этом ˆ должны обладать всеми случае остатки модели b ~ε = Y − Y свойствами случайных ошибок ~ε, а именно εi ∈ N (0, σ 2 ), cov(εi , εj ) = 0 при i 6= j. В узком смысле адекватность определяется равенством дисперсий остатков и ошибок, σε2bi = σ 2 . Поскольку факторы неслучайны, дисперсия ошибок совпадает с дисперсией отклика при фиксированных уровнях фактора. Проведение дополнительных экспериментов в каких-либо точках факторного пространства позволяет независимо вычислить дисперсию отклика и, стало быть, путем сравнения дисперсий двух выборок по F - критерию Фишера проверить адекватность модели. Для этого вычисляют остаточную сум2 , которая с учетом оценки b = (X 0 X)−1 X 0 Y му квадратов Sост.

206

Глава 5. Планирование эксперимента

принимает вид 2 ˆ 0 (Y − Y) ˆ = Sост. = (Y − Y)

= Y0 Y − Y0 Xb − b0 X 0 Y + b0 X 0 Xb = = Y0 Y − Y0 X(X 0 X)−1 X 0 Y − Y0 (X 0 X)−1 X 0 Y + + YX(X 0 X)−10 X 0 X(X 0 X)−1 X 0 Y = = Y0 Y − Y0 X(X 0 X)−1 X 0 Y. Откуда путем несложных преобразований найдем 2 ~ 0 (Y − X β ~ + X β) ~ − Sост. = (Y − X β~ + X β) ~ 0 X(X 0 X)−1 X 0 (Y − X β ~ + X β) ~ = − (Y − X β~ + X β)

~ 0 X 0 ~ε + β ~ 0 X 0 X β~ − ~ε0 X(X 0 X)−1 X 0 X~ε − = ~ε0 ~ε + ~ε0 X β~ + β − ~ε0 X(X 0 X)−1 X 0 X β~ − β~ 0 X 0 X(X 0 X)−1 X 0 ~ε − ~ 0 X 0 X(X 0 X)−1 X 0 X β~ = ~ε0 ~ε − ~ε0 X(X 0 X)−1 X 0 ~ε. − β Заметим, что оператор Ln = X(X 0 X)−1 X 0 является проекционным оператором, т.е. L2n = Ln . Действительно, L2n = X(X 0 X)−1 X 0 X(X 0 X)−1 X 0 = X(X 0 X)−1 X 0 = Ln . Таким образом, представляя вектор ~ε ∈ Rn в виде ортогональной суммы ~ε = ξ~ + ~η , получим

ξ~ ∈ Ln Rn ,

~η ⊥ Ln Rn ,

2 Sост. = ξ~0 ξ~ + ~η 0 ~η − ξ~0 ξ~ = ~η 0 ~η ,

где размерность вектора η равна размерности подпространства Ln Rn , равной k + 1, если матрица X 0 X – невырожденная. Отсюда следует, что 2 Sост. ≡ σ 2 χ2n−k−1 . 207

§ 21 Полный и дробный факторные эксперименты

Последняя величина служит для проверки адекватности модели. Если дисперсия ошибки наблюдений σ 2 известна, то с.в. 2 Sост. имеет χ2n−k−1 -распределение и может служить статистиσ2 2

> χ2n−k−1,1−α то модель считается кой критерия: если Sσост. 2 неадекватной на уровне значимости 1 − α. Если дисперсия ошибки наблюдений σ 2 неизвестна, то следует провести несколько, скажем m, дополнительных экспериментов в некоторой точке факторного пространства, например, на основном уровне, чтобы оценить неизвестную дисперсию. Тогда статистика Fn−k−1,m−1 =

2 /(n − k − 1) Sост. , Sy2

которая имеет Fn−k−1,m−1 -распределение с n − k − 1, m − 1 степенями свободы, может служить статистикой критерия: если Fn−k−1,m−1 > Fn−k−1,m−1,1−α , где Fn−k−1,m−1,1−α – (1 − α)квантиль распределения Фишера Fn−k−1,m−1 , то модель считается неадекватной на уровне значимости 1 − α. 21.4

Дробный факторный эксперимент

Число опытов в полном факторном эксперименте с k факторами равно n = 2k и очень быстро (экспоненциально) растет с увеличением числа факторов k. В то же время число линейных членов (часто называемых в теории планирования эксперимента называемые эффектами) растет лишь линейно и равно k+1. Если учитывать еще и квадратичные члены (эффекты) βij xi xj

208

Глава 5. Планирование эксперимента

и βjj x2j , то общее число эффектов увеличивается до k(k − 1) k(k + 1) + k = (k + 1) + = 2 2 µ ¶ (k + 1)(k + 2) k+2 = . 2 2

K = k+1+ =

Для оценки этих коэффициентов достаточно на самом деле лишь K уравнений, т.е. K опытов. Поэтому желание минимизировать число опытов при проведении экспериментов приводит к необходимости построения планов, обладающих хорошими свойствами ПФЭ, но с меньшим числом опытов. Такими планами являются планы дробного факторного эксперимента (ДФЭ), задаваемые путем построения дробных реплик. Один их создателей теории планирования эксперимента В.В. Налимов отметил в [20]: “Основная идея метода дробных реплик состоит в построении ортогональных планов, в которых эффекты взаимодействия высших порядков (маловероятные, предположительно, для данной задачи) смешиваются с какими-либо другими эффектами или между собой”. Такой подход, правда, не позволяет оценивать влияния этих эффектов, но ведь оно (предположительно!) равно нулю, т.е. βij = 0. Рассмотрим, например, ПФЭ типа 23 , матрица плана которого приведена в таблице 21.3. С помощью приведенных опытов можно оценить не только 4 коэффициента β0 , β1 , β2 , β3 , но также и, например, парные взаимодействия β12 , β13 , β23 и коэффициент при тройном взаимодействии β123 . Однако, если нам достаточно оценить лишь коэффициенты βj (j = 0, 3) (считая, что взаимодействия отсутствуют), то можно ограничиться меньшим числом опытов. Но, чтобы сохранить ортогональность плана, точки их проведения нельзя выбирать произвольно. Хорошие свойства (ортогональность) матрицы плана X со209

§ 21 Полный и дробный факторные эксперименты

Таблица 21.3. Матрица плана типа 23 .

№ 1 2 3 4 5 6 7 8

X0 + + + + + + + +

X1 + − + − + − + −

X2 + + − − + + − −

X3 + + + + − − − −

y y1 y2 y3 y4 y5 y6 y7 y8

X1 X2 + − − + + − − +

X1 X3 + − + − − + − +

X2 X3 + + − − − − + +

X1 X2 X3 + − − + − + + −

хранятся, например, для экспериментов с номерами 1, 4, 6, 7 или с номерами 2, 3, 5, 8. При этом взаимодействия определенным образом смешиваются с влиянием единичных факторов, например b3 ∼ β3 + β12 ,

b1 ∼ β1 + β23 ,

b2 ∼ β2 + β13

b3 ∼ β3 − β12 ,

b1 ∼ β1 − β23 ,

b2 ∼ β2 − β13

или Таким образом, план ПФЭ типа 23 разбивается на два плана, называемые полу-репликами, характеризуемыми соотношениями x3 = ±x1 x2 , x2 = ±x1 x3 , x1 = ±x2 x3 (21.1) Соотношения (21.1) называются генерирующими соотношениями. Их можно записать также в симметричном виде x1 x2 x3 = ±1, 210

(21.2)

Глава 5. Планирование эксперимента

который носит название определяющего контраста. Эти соотношения удобны тем, что показывают, как смешиваются эффекты при построении полу-реплик. Таблица 21.4. Зависимость числа опытов от количества факторов.

Количество линейных эффектов k + 1 Количество эффектов в неполной квадратич. модели 1 + k(k+1) 2 ПФЭ типа 2k Полуреплика 2k−1 Полуреплика 2k−2 Полуреплика 2k−3 Полуреплика 2k−4

2 3

3 4

Число факторов 4 5 6 7 5 6 7 8

8 9

4

7

11

16

22

29

37

4 -

8 4 -

16 8 -

32 16 8 -

64 32 16 8 -

128 64 32 16 8

256 128 64 32 16

Для ПФЭ типа 23 существуют лишь 2 дробных реплики (две полу-реплики) с определяющими контрастами x1 x2 x3 = +1 и x1 x2 x3 = −1, соответственно. В случае большего числа факторов, кроме указанных можно строить и другие полу-реплики, четверть-реплики, 1/8- 1/16-реплики и т.д. Каждая из дробных реплик задается набором определяющих контрастов. При наличии p определяющих контрастов из ПФЭ типа 2k получаем дробную реплику типа 2k−p . Выбор определяющих контрастов зависит от априорной информации или теоретических свойств модели и производится на основании указаний о том, эффекты от каких взаимодействий незначимы. В таблице 21.4 приведены зависимости числа опытов в дробных репликах от количества факторов.

211

§ 21 Полный и дробный факторные эксперименты

21.5

Свойства дробного факторного эксперимента

Свойства ДФЭ лишь незначительно отличаются от свойств ПФЭ и фактически совпадают с ними. 1. Симметричность относительно центра: X Xij = 0 (j = 1, k). 1≤i≤n

Это свойство ограничивает выбор определяющих контрастов. 2. Ортогональность столбцов: X Xij Xik = 0 при j 6= k; 1≤i≤n

3. Нормированность: X

Xij2 = n = 2k−p ;

1≤i≤n

Из этих основных свойств вытекают все остальные свойства ДФЭ, позволяющие обрабатывать эти планы также как и ПФЭ. 21.6 Поиск максимума функции нескольких переменных В прикладных задачах часто возникает проблема поиска экстремума функции нескольких переменных, значения которой можно определить лишь экспериментально. Такие задачи возникают, например, при поиске оптимальных режимов проведения некоторого технологического процесса. Пусть y = f (x1 , . . . , xk ) – функция отклика (неизвестная эмпирическая зависимость), а Q – соответствующая ей поверхность отклика. Для проведения экспериментов с целью поиска максимума этой функции предлагается выполнить следующие операции. 212

Глава 5. Планирование эксперимента

1. Выбрать область из факторного пространства, в которой проводится предварительный эксперимент. 2. Найти оценки коэффициентов регрессии для линейных членов и взаимодействий (участвующих в модели). 3. Проверить значимость оценок коэффициентов регрессии, и выбрать область ненулевых (значимых) оценок для участия в дальнейшем поиске экстремума. 4. В натуральных переменных выбрать шаг крутого восхождения, пропорциональный градиенту поверхности отклика. 5. Шаг крутого восхождения по каждому фактору добавляется к координатам центра эксперимента. В направлении крутого восхождения проводится несколько вспомогательных экспериментов, пока значения функции отклика продолжают расти (конечно, следует позаботиться, чтобы точки проведения вспомогательных экспериментов не выходили за пределы факторного пространства). 6. Затем в окрестности полученного максимума строится план нового эксперимента. 7. Особое внимание следует обратить на планирование эксперимента в области оптимума. Естественно, в области максимума функции отклика нельзя ограничиваться линейными планами, так что приходится привлекать квадратичные эффекты. При этом при построении планов следует позаботиться об их композиционности. Композиционность планов обеспечивают, например, звездные точки. Для более детального исследования вопросов поиска экстремума при планировании эксперимента см. [1]

213

§ 21 Полный и дробный факторные эксперименты

21.7

Дополнения

Вопросы для контроля 1. Дайте определения: а) полного факторного эксперимента и полного факторного эксперимента типа 2k , б) уровней варьирования факторов, в) основного уровня значений факторных переменных, г) области проведения эксперимента, д) дробного факторного эксперимента и дробной реплики, е) генерирующего соотношения и определяющего контраста. 2. В чем состоит кодирование факторных переменных и какова его цель? 3. Сформулируйте основные свойства ДФЭ. 4. На чем базируется проверка значимости коэффициентов регрессии? 5. В чем состоит проверка адекватности регрессионной модели? 6. Каковы свойства дробного факторного эксперимента и в чем их отличие от свойств ПФЭ? Упражнения Дана матрица плана эксперимента. В первом столбце знаки чередуются через 1 элемент, во втором – через 2, в третьем через 4 и т.д. Докажите, что при чередовании знаков элементов таким образом всегда достигается ортогональность столбцов P матрицы плана эксперимента, т.е.: 1≤i≤n Xij Xik = 0 при j 6= k.

214

Глава 5. Планирование эксперимента

Курсовая работа По данным, содержащимся в Приложении C, выполнить курсовую работу. Задания выбираются в соответствии со следующим алгоритмом: студенты с порядковыми номерами 1-15 в журнале выполняют задания 1-15 с определяющим контрастом x1 x2 x3 = +1, студенты с порядковыми номерами 16-30 в журнале выполняют задания 1-15 с определяющим контрастом x1 x2 x3 = −1. Выбрав задание и определяющие контрасты необходимо: 1. Составить таблицу условий эксперимента. 2. Составить план эксперимента, состоящий из 8 опытов; в план включить еще 3 опыта на основном уровне. В качестве плана выбрать дробную реплику (в соответствии с предложенным алгоритмом). Построить систему оценок коэффициентов регрессии. План записать в кодовом и натуральном масштабах. 3. По данным опытов на основном уровне определить дисперсию и среднеквадратичную ошибку опыта. 4. Рассчитать коэффициенты регрессии и их доверительные интервалы. 5. Записать линейную модель и формулы перехода от кодированных значений факторов к натуральным. 6. Проверить адекватность линейной модели по F - критерию. 7. Наметить опыты крутого восхождения по градиенту линейной модели.

215

Приложение A. ОБРАБОТКА ДАННЫХ НА КОМПЬЮТЕРЕ §1

Случайные величины

1.1

Введение

При решении статистических задач приходится работать с большими объемами данных, при этом многие статистические методы связаны с утомительными вычислениями. Для облегчения и ускорения этой работы создано множество специализированных программ, предназначенных для обработки статистики (такие как Statistica, Stadia, Stata, SPSS, EViews и др.). Средства обработки данных имеются также и в универсальных математических пакетах (Maple, Mathematica, MatLab, MathCad и др.). В реальной работе прикладного математика часто встречаются задачи, требующие применения не только статистических методов, но и других математических средств, поэтому универсальные пакеты предпочтительнее. В данном пособии мы рассмотрим статистические средства Maple 12, предполагая начальное знакомство читателя с этой программой. Язык команд Maple похож на многие современные языки программирования, но кроме традиционных элементов (функции, циклы, условные переходы и др.) содержит аппарат символьных вычислений, позволяющий работать как с числами, так и с формулами. Напомним в двух словах основные принципы работы Maple. Рабочий лист (worksheet) состоит из исполняемых групп. В группе может быть одна или несколько строк, начинающихся с символа “>”. Пользователь вводит команды, которые исполняются при нажатии клавиши Enter. Если команда завершена символом “;”, результат вычислений выводится на экран, если же – “:” – нет. В любом случае он сохраняется в памяти

Приложение A. Обработка данных на компьютере

компьютера и может быть вызван оператором “%”. Текст после символа “#” и до конца строки считается комментарием. Комментарий может относится как к предыдущей, так и к последующей команде, в зависимости от контекста. Понятия “функция” и “выражение”, часто совпадающие в математике, в Maple различаются. Выражение – это формула, включающая в себя числа, переменные и операции над ними. Выражения можно преобразовывать, извлекать из них элементы и заменять их другими выражениями с помощью соответствующих команд. Функции служат для других целей. При вызове им передаются аргументы, а взамен возвращается результат. Имеются многочисленные встроенные функции, а также средства определения пользовательских функций, подробнее описанные в § 1.3. Аргументы функций заключаются в круглые скобки, например, sin(x). При описании функций мы будем, как это принято в литературе, указывать смысл аргументов в угловых скобках “<>”, например, sin(<действительное число>). Многие необязательные аргументы (опции) задаются в виде <опция>=<значение>. Например, цвет и толщина линии на графике функции задаются так: plot(sin(x), x=0..3.14, color=blue, thickness=2);

Значения переменным присваиваются с помощью оператора “:=”. Тип переменной определяется по контексту, а не указывается явно. Его можно выяснить с помощью функции whattype(<переменная>) или проверить с помощью функции type(<переменная>, <тип>). Индексы элементов списков, массивов, таблиц, векторов и матриц заключаются в квадратные скобки. Например, a[3] – это третий элемент массива a. Индексы могут быть как числовые, так и символьные. 217

§ 1 Случайные величины

Часть операторов доступна сразу, остальные сосредоточены в пакетах, которые пользователь может загружать по мере надобности с помощью функции with(<пакет>). Статистические средства имеются в двух пакетах: традиционном stats, входящим в состав Maple с первой версии, и более современном Statistics, появившимся в версии 9.5. Мы будем пользоваться в основном пакетом Statistics, изредка обращаясь к функциям stats. Более подробные сведения о Maple можно найти в [2], [5] и в справочной системе пакета. 1.2

Встроенные распределения

В пакете Statistics с.в. – это переменная, имеющая тип RandomV ariable. Функция RandomV ariable() конструирует с.в. по заданному закону распределения. В свою очередь, закон распределения – это переменная, имеющая тип Disrtibution. В пакете Statistics определены 37 параметрических распределений (9 дискретных и 28 непрерывных). Подробнее о них можно узнать в справочной системе Maple. Пользователь может и сам задать закон распределения, указав плотность или функцию распределения (см. § 1.3 Приложения A). Пример 1.1. Зададим нормальную с.в. > > > > > >

with(Statistics): # Нормальное распределение с параметрами 0 и 1. N:=Normal(0, 1): # С.в., имеющая распределение N. Z:=RandomVariable(N):

218

Приложение A. Обработка данных на компьютере

Найдем характеристики с.в. Z. > Mean(Z); # Математическое ожидание. 0 > Variance(Z); # Дисперсия. 1 > Quantile(Z, 0.95); # 95%-й квантиль. 1.644853627

Найдем плотность вероятности (probability density function): > PDF(Z, x);

1 2

√

2 e− √ π

x2 2

Параметры распределений можно задавать как числами, так и неопределенными переменными или даже формулами – пакет Maple умеет производить символьные преобразования. Чтобы в дальнейшем получить корректные результаты, нужно наложить на переменные ограничения с помощью функции assume(< ограничения >). Принадлежность к определенному типу задается оператором “::”. Пример 1.2. Зададим биномиальную с.в. B с неопределенными параметрами. 219

§ 1 Случайные величины

> > > > >

with(Statistics): # posint(positive integer) -- целое положительное число. assume(n::posint, p>0, p<1); B:=RandomVariable(Binomial(n, p)):

Найдем ее распределение вероятностей и математическое ожидание (м.о.). Аргумент распределения должен быть натуральным числом. > assume(k::posint); > ProbabilityFunction(B, k); n−k

binomial(n, k)pk (−p + 1)

Здесь binomial(n, k) =

¡n¢ k

– биномиальный коэффициент.

> Mean(B); np

1.3

Задание с.в. по произвольному закону

Функция Distribution() позволяет определить произвольное непрерывное1 распределение, задав плотность (P DF – probability density function) или ф.р. (CDF – cumulative distribution function): • Distribution(P DF =< п.р. >) или 1

Для произвольного дискретного распределения подобный способ не предусмотрен.

220

Приложение A. Обработка данных на компьютере

• Distribution(CDF =< ф.р. >). Аргументы <п.р.> и <ф.р.> должны быть функциями одной переменной. Функцию можно задать с помощью оператора -> или конструкции proc(x) ... end proc, а также с помощью встроенной функции unapply(). Не вдаваясь в подробности, приведем пример определения функции f (x) = 3x2 + 1 разными способами. > > > > > > >

f:=x->3*x^2+1: # или f:=proc(x) 3*x^2+1 end proc: # или f:=unapply(3*x^2+1, x): # Функция unapply(<формула>, <переменная>) # превращает формулу в функцию.

Со случайными величинами можно производить операции, в том числе и нелинейные. Maple позволяет найти характеристики таких преобразованных величин. Следует иметь в виду, что сложные преобразования могут привести к громоздким формулам для характеристик или даже к аварийной остановке программы. Пример 1.3. Рассмотрим с.в. X, распределение которой – смесь двух нормальных распределений, и преобразованную величину Y = X 2 . > > > > > > >

with(Statistics): # Аргумент плотности должен быть действительным числом: assume(x::real); # Первое нормальное распределение: assume(mu[1]::real, sigma[1]>0);

221

§ 1 Случайные величины

> > > > > > > > > > > > > > > > >

N1:=Normal(mu[1], sigma[1]): f1:=PDF(N1, x): # Второе нормальное распределение: assume(mu[2]::real, sigma[2]>0); N2:=Normal(mu[2], sigma[2]): f2:=PDF(N2, x): # Их смесь Normal2: f3:=f1/2 + f2/2: Normal2:=Distribution(PDF = unapply(f3, x)): # С.в. с распределением Normal2: X:=RandomVariable(Normal2): # Преобразованная с.в. Y: Y:=X^2:

Найдем характеристики с.в. Y > Mean(Y); 1 2 1 2 1 2 1 2 µ + σ + µ + σ 2 1 2 1 2 2 2 2 > Variance(Y);

−

1 2 2 1 2 2 5 4 5 4 5 2 2 1 2 2 1 4 5 2 2 1 4 1 2 2 µ1 µ2 − µ1 σ2 − σ1 σ2 + σ1 + σ2 + µ1 σ1 − µ2 σ1 + µ1 + µ2 σ2 + µ2 2 2 2 4 4 2 2 4 2 4

> # Аргумент должен быть положителен. > assume(t>=0); > PDF(Y, t);

222

Приложение A. Обработка данных на компьютере

1

1 4

√

√ (− t−µ1 )2 −1 2 2 σ1 2 e √ πσ1

2

+

√ 2 e 1 4

√ (− t−µ2 )2 −1 2 2 σ2 √ πσ2

+ √ t

√ 2 e 1 4

−1 2 √

√ t−µ1 )2 2 σ1 πσ1 (

+ 1 4

√

√ ( t−µ2 )2 −1 2 2 σ2 2 e √ πσ2

Полученную формулу можно упростить средствами Maple – привести ее к более удобному виду с помощью функций simplify, expand, combine, numer, denom, factor, coeff, collect и др. Описание и приемы работы с этими функциями выходят за рамки нашего пособия, см. [2], [5]. 1.4

Числовые значения параметров

Чтобы подставить в символьные формулы числовые значения, в Maple имеются две функции: eval() и subs(). Для случайных величин эти функции не подходят. Мы можем подставить значения лишь в формулы отдельных характеристик – м.о., п.р. и т.д. Получить случайную выборку для распределения с неопределенными параметрами невозможно в принципе. Поэтому, исследовав с.в. аналитически, мы вынуждены повторить их определения с заданными числовыми параметрами. Пример 1.4. Рассмотрим биномиальную с.в. с числовыми параметрами n = 50, p = 23 . Построим график распределения вероятностей. Для вывода графиков существуют общая функция plot() и функция DensityP lot() пакета Statistics, которая выводит для дискретных с.в. распределение вероятностей, а для непрерывных – п.р. > B_:=RandomVariable(Binomial(50, 2/3)): > ProbabilityFunction(B_, k); > DensityPlot(B_, range=20..45);

223

§ 1 Случайные величины

binomial(50, k)

µ ¶k µ ¶50−k 2 1 3 3

0.12 0.1 0.08 0.06 0.04 0.02 0 20

25

30

35

40

45

Найдем ф.р. величины B_ и построим ее график: > assume(t>=0, t<50); > F[b]:=CDF(B_, t); > plot(F[b], t=20..45); floor(t)

Fb :=

X i=0

224

binomial(50, i)

µ ¶i µ ¶50−i 2 1 3 3

Приложение A. Обработка данных на компьютере

1 0.8 0.6 0.4 0.2

0 20

25

30

35

40

45

В формуле Fb функция f loor(t) вычисляет целую часть числа. И, наконец, получим выборку из биномиальной генеральной совокупности. Если объем выборки более 10, она не выводится на экран. > Sample(B_, 10);

[38., 36., 39., 35., 27., 37., 38., 35., 36., 36.]

Десятичные точки указывают на то, что полученные числа относятся к типу f loat – тип данных с плавающей точкой. Подробнее о числовых типах см. § 2 Приложения A. Пример 1.5. Исследуем величины X и Y из примера 1.3. Зададим числовые значения параметрам и переопределим величины.

225

§ 1 Случайные величины

> > > > >

f3_:=eval(f3, [mu[1]=-3., sigma[1]=2., mu[2]=2., sigma[2]=1.]): Normal2_:=Distribution(PDF = unapply(f3_, x)): X_:=RandomVariable(Normal2_): Y_:=X_^2:

Найдем характеристики с.в. Y : > Mean(Y_);# Мат. ожидание 9 > StandardDeviation(Y_); # Стандартное отклонение 10.63014581

Построим графики плотностей и функций распределения с.в. X и Y . > f[x]:=PDF(X_, x): f[y]:=PDF(Y_, t): > F[x]:=CDF(X_, x): F[y]:=CDF(Y_, t): > plot(f[x], x=-12..10);

0.2

0.15

0.1

0.05

–10

226

–5

5

10

Приложение A. Обработка данных на компьютере

> plot(f[y], t=0.2..50);

0.14 0.12 0.1 0.08 0.06 0.04 0.02 0

10

20

30

40

50

5

10

> plot(F[x], x=-12..10);

1 0.8 0.6 0.4 0.2

–10

–5

0

227

§ 1 Случайные величины

> plot(F[y], t=0..80);

1 0.8 0.6 0.4 0.2

0

10

20

30

40

50

60

70

80

И, наконец, получим выборки. > Sample(X_, 9); [0.492488745835345965, 1.51589401144843361, 1.73036275311928067, 2.81528408236286865, −1.02272426959201157, 3.00305447309598561, −1.77264826533653052, 1.58558443096258284, −5.06863548415970388] > Sample(Y_, 9); [15.4591718606924450, 0.832241913714465653, 12.4879502808802272, 32.9526955631220418, 9.88199464286579854, 5.32158937255675824, 0.00675362825673581688, 9.54079395663636021, 11.4878150144693922]

Результат выдан с 18-ю значащими цифрами. Подробнее о точности вычислений и способе округления см. в следующем параграфе. 228

Приложение A. Обработка данных на компьютере

§2

Выборки и манипуляции с ними

2.1

Типы выборочных данных

Выборка случайной величины в пакете Statistics относится к типу V ector, который существует в двух вариантах – V ector[row] – вектор-строка или V ector[column] – векторстолбец. И то, и другое – частные случаи типа Array, который, в свою очередь, частный случай типа rtable. Более подробно о типах см. [2], [5]. Каждое наблюдение – число с плавающей точкой (не символ!) типа f loat[8]. Поэтому даже для целочисленных значений Maple выводит десятичную точку2 . Остановимся на типах с плавающей точкой подробнее. В Maple есть два типа данных с плавающей точкой: машинно-зависимый (hardware) f loat[8] и машиннонезависимый (software) sf loat. Переменные типа f loat[8] имеют фиксированную точность, для компьютеров с 32-х битной архитектурой это 18 значащих цифр. Цифра 8 означает количество байт на каждую переменную. Для типа sf loat точность устанавливается специальной переменной окружения Digits, которая по умолчанию равна 10. Удобство управления точностью достигается за счет уменьшения скорости вычисления, поэтому для сложных вычислений и при обработке больших объемов данных рекомендуется использовать тип f loat[8]. Одно и то же выражение можно вычислить с использованием типа sf loat – с помощью функции evalf (), и с использованием типа f loat[8] – с помощью функции evalhf (), например: > a:=sin(4/Pi); 2

В англоязычной литературе десятичным знаком является точка, а не запятая.

229

§ 2 Выборки и манипуляции с ними

4 a := sin( ) π > evalf(a); 0.9560556571 > evalhf(a); 0.956055657327629538

Однако не всегда удобно работать с типом f loat[8] – часто точность 18-ти значащих цифр оказывается излишней. В этом случае следует установить значение f alse переменной окружения U seHardwareF loats. Перейдем к собственно выборкам. Их можно получить путем генерации случайных чисел с помощью функции Sample(), задать списком значений или загрузить из файла. Пример 2.1. Рассмотрим два последних варианта. > > > > > > > >

# Зададим выборку: x:=Vector[row]([29., 37., 31., 34., 29., 35., 30., 35., 36., 36.]): # Запишем ее в файл: ExportVector("file_x.txt", x): # Извлечем из файла: x0:=ImportVector("file_x.txt"):

Многомерные данные можно записать в один файл, а затем загрузить его функцией ImportM atrix(). Затем необходимо преобразовать матрицу в массив векторов (строк или столбцов). 230

Приложение A. Обработка данных на компьютере

Чаще всего данные для обработки попадают к исследователю в формате MS Excel, который де-факто стал стандартом хранения электронных таблиц. Работать с такими файлами позволяют функции Export() и Import() пакета ExcelTools. 2.2

Манипуляции с данными

Рассмотрим теперь средства работы с выборками. Одно наблюдение извлекается из выборки с помощью индекса в квадратных скобках, причем если индекс положительный, то номер наблюдения отсчитывается от начала, а если отрицательный – от конца. Первое наблюдение имеет номер 1 (или −n), а последнее – n (или -1). Например, заменим второе наблюдение средним по первому и последнему наблюдениям: x[2]:=(x[1]+x[-1])/2;

Выделить часть выборки можно с помощью диапазона индексов в квадратных скобках, например x[2..-4]. Как и с любыми векторами, с выборками можно проводить линейные преобразования – складывать, вычитать, умножать и делить на числа. Для нелинейных преобразований следует использовать функцию map(). Функция Select() отбирает наблюдения, удовлетворяющие заданному условию, а сходная с ней функция Remove() удаляет их. Это может понадобиться, например, для отбрасывания резко выделяющихся значений. С помощью функции V ector(), создающей объект соответствующего типа, можно объединить выборки. Объем выборки находит функция Count(). Пример 2.2. Рассмотрим работу этих функций на примере двух биномиальных выборок x и y.

231

§ 2 Выборки и манипуляции с ними

> X:=RandomVariable(Binomial(100, 1/3)): > x:=Sample(X, 10); > y:=Sample(X, 10); x := [29., 37., 31., 34., 29., 35., 30., 35., 36., 36.] y := [33., 27., 30., 40., 28., 38., 34., 46., 27., 33.]

Преобразуем выборки. > z1:=2*x-3*y; # Линейное преобразование z1 := [−41., −7., −28., −52., −26., −44., −42., −68., −9., −27.] > z2:=map(ln, x); # Логарифмическое преобразование z2 := [3.367295830, 3.610917913, 3.433987204, 3.526360525, 3.367295830, 3.555348061, 3.401197382, 3.555348061, 3.583518938, 3.583518938]

Отберем наблюдения, большие 30. Первый аргумент функций Select() и Remove() – булева функция, задающая правило отбора. Она должна возвращать true (истина) в случае, если аргумент удовлетворяет условию отбора, и f alse (ложь) иначе. > x1:=Select(t->is(t>30), x); # Отбираем значения, большие 30 > x2:=Remove(t->is(t<=30), x);# Удаляем значения, меньшие 30 x1 := [37., 31., 34., 35., 35., 36., 36.] x2 := [37., 31., 34., 35., 35., 36., 36.]

Как видим, результат получается одинаковый. Объединим выборки x и y: > z:=Vector([x,y]);

232

Приложение A. Обработка данных на компьютере

z := [29., 37., 31., 34., 29., 35., 30., 35., 36., 36., 33., 27., 30., 40., 28., 38., 34., 46., 27., 33.]

Найдем объем получившейся выборки: > n:=Count(z);

n := 20

Выделим выборку без первого и последнего наблюдений: > z[2..-2];

[37., 31., 34., 29., 35., 30., 35., 36., 36., 33., 27., 30., 40., 28., 38., 34., 46., 27.]

2.3

Вариационный и статистический ряды

Вариационный ряд создается функцией Sort(), статистический ряд – функцией T ally(), список рангов (номеров порядковых статистик в вариационном ряду) – функцией Rank(). Пример 2.3. Продолжим пример 2.2. > ’x’=x; # Вывод на экран исходной выборки > Xs:=Sort(x);# Вариационный ряд > Xr:=Rank(x);# Ранги наблюдений x = [29., 37., 31., 34., 29., 35., 30., 35., 36., 36.] Xs := [29., 29., 30., 31., 34., 35., 35., 36., 36., 37.] Xr := [1, 10, 4, 5, 2, 6, 3, 7, 8, 9]

233

§ 2 Выборки и манипуляции с ними

Функция T ally() создает статистический ряд в виде списка равенств (тип list – список). В левой части каждого равенства стоит наблюдение, а в правой – частота. > T:=Tally(x);

T := [29. = 2, 37. = 1, 31. = 1, 34. = 1, 36. = 2, 30. = 1, 35. = 2]

Чтобы привести статистический ряд к более привычному виду, напишем небольшую программу: > > > > > >

m:=nops(T); # Количество несовпадающих наблюдений n:=Count(x); # Количество всех наблюдений Tx:=[seq(lhs(T[i]), i=1..m)]; # Список наблюдений Tf:=[seq(rhs(T[i]), i=1..m)]; # Список частот Tp:=Tf/n; # Список относительных частот M:=Matrix([Tx, Tp]); # Объединяем их в матрицу m := 7 n := 10 T x := [29., 37., 31., 34., 36., 30., 35.] T f := [2, 1, 1, 1, 2, 1, 2] 1 1 1 1 1 1 T p := [ 15 , 10 , 10 , 10 , 5 , 10 , 5 ] " # 29. 37. 31. 34. 36. 30. 35. 1 1 1 1 1 1 1 M := 5 10 10 10 5 10 5

Функции lhs() и rhs(), использованные в программе, возвращают левую и правую части равенств, а seq() создает последовательность элементов.

234

Приложение A. Обработка данных на компьютере

2.4

Э.ф.р. и выборочные квантили

Как было сказано в § 1, в пакете Statistics определены 37 параметрических распределений. Одно из них – EmpiricalDistribution – предназначено для вычисления выборочных характеристик. Выборка рассматривается как дискретная с.в. В качестве вероятностей берутся выборочные частоты. Единственный параметр этого распределения – сама выборка. Пример 2.4. Рассмотрим пример. > > > > > > > > >

with(Statistics): # Выборка x:=Vector[row]([29., 37., 31., 34., 29., 35., 30., 35., 36., 36.]): EmD:=EmpiricalDistribution(x):# Распределение X:=RandomVariable(EmD):# С.в. для него # Характеристики: Median(X); # Эмпирическая медиана

34.5 > # Эмпирическая вероятность в точке 36 > ProbabilityFunction(X, 36.); 1 5 > # Эмпирическая функция распределения в точке 31.5 > CDF(X, 31.5);

0.4

235

§ 2 Выборки и манипуляции с ними

> Quantile(X, 0.5); # Эмпирический 0.5-квантиль 34.

Распределение EmpiricalDistribution имеет некоторые ограничения: • не определена функция DensityP lot(); • второй аргумент функций P robabilityF unction(), CDF () и Quantile() обязательно должен быть числом, а не символом. Из-за этих ограничений невозможно получить формулы для этих функций, нельзя построить их графики. Для построения графиков нужно провести дополнительное преобразование: превратить функцию двух аргументов в функцию одного аргумента: Пример 2.5. Продолжим пример. > F:=t->CDF(X, t):# Преобразуем в функцию одного аргумента > plot(F, 26..40);# Строим график функции

1 0.8 0.6 0.4 0.2

0 26

236

28

30

32

34

36

38

40

Приложение A. Обработка данных на компьютере

Построим также график обратной к э.ф.р. функции – квантиля: > Q:=p->Quantile(X, p): > plot(Q, 0..1);

36

34

32

30 0

0.2

0.4

0.6

0.8

1

График выборочных вероятностей можно построить с помощью функции Histogram(), задав опцию discrete = true: > Histogram(x, discrete=true, thickness=5); > # Опция thickness задает толщину линии.

0.2

0.15

0.1

0.05

0

30

32

34

36

237

§ 2 Выборки и манипуляции с ними

Некоторые выборочные характеристики вычисляются теми же функциями, что и теоретические, только аргументом должна быть не с.в. типа RandomV ariable, а выборка типа V ector. Это относится, в частности, к функциям Quantile(), Quartile() и M edian(). Пример 2.6. Найдем медиану выборки разными способами. > Median(X);# По с.в. X ~ EmpiricalDistribution(x) > Median(x);# По выборке 34.5 34.5 > > > >

Quantile(X, 0.5);# По с.в. X ~ EmpiricalDistribution(x) Quantile(x, 0.5);# По выборке # По выборке разными методами seq(Quantile(x, 0.5, method=i), i=1..8); 34. 34.5 34., 34., 34., 34.5, 34.5, 34.5, 34.5, 34.5

Замечание. Функция Quantile(< выборка >) может вычислять выборочный квантиль 8-ю методами (!). Подробнее о них можно узнать в справочной системе Maple. Диаграмму размаха (boxplot), изображающую медиану, квартили и размах выборки, рисует функция BoxP lot(). На эту диаграмму можно нанести также выборочное м.о. (опция mean = true) и децили – квантили 0.1, 0.2, ..., 0.9 (deciles = true). Пример 2.7. Рассмотрим это на примере. 238

Приложение A. Обработка данных на компьютере

> > > > >

# Список нормальных выборок с растущим м.о. # и убывающей дисперсией A := [seq(Sample(Normal(i, 3/i), 100), i = 1..4)]: # Нарисуем их вместе BoxPlot(A, deciles = false, mean = true);

8 6 4 2 0

1

1.5

2

2.5

3

3.5

4

–2 –4 –6

2.5

Группировка наблюдений и гистограмма

Для группировки данных применяется функция T allyInto(), которой необходимо указать список диапазонов. Если указать диапазон def ault, выборка будет разбита на 10 равных интервалов. Количество интервалов можно указать дополнительной опцией bins = <количество>. Пример 2.8. Рассмотрим пример нормальной выборки. > Z:=RandomVariable(Normal(2.7, 0.3)): > z:=Sample(Z, 1000): >

239

§ 2 Выборки и манипуляции с ними

> > > > >

# Явное указание диапазонов ranges:=[1.6 .. 2.2, 2.2 .. 2.4, 2.4 .. 2.6, 2.6 .. 2.8, 2.8 .. 3.1, 3.1 .. 3.4, 3.4..4.0]: # Группировка и округление до 3-х значащих цифр T:=evalf[3](TallyInto(z, ranges)); T := [1.60..2.20 = 55., 2.20..2.40 = 108., 2.40..2.60 = 201., 2.60..2.80 = 256., 2.80..3.10 = 287., 3.10..3.40 = 76., 3.40..4. = 17.]

> > > > >

# Приведение к более удобному виду n:=Count(z): m:=nops(T): Tp:=evalf[3]([seq(rhs(T[i])/n, i=1..m)]): Matrix([ranges, Tp]); ·

1.6..2.2 2.2..2.4 0.0550 0.108

2.4..2.6 2.6..2.8 2.8..3.1 0.201 0.256 0.287

3.1..3.4 3.4..4.0 0.0760 0.0170

¸

> # Разбиение на 7 равных интервалов > evalf[2](TallyInto(z, default, bins=7)); [1.7..2.0 = 8., 2.0..2.3 = 78., 2.3..2.5 = 220., 2.5..2.8 = 320., 2.8..3.1 = 260., 3.1..3.3 = 93., 3.3..3.6 = 25.]

Гистограмму строит функция Histogram(). Диапазон значений делится на равные интервалы. Ширину (не количество!) интервалов задает опция binwidth = <ширина>. Чтобы сравнить гистограмму выборки с некоторой плотностью, можно нанести их на один график с помощью функции display() пакета plots. Пример 2.9. Нарисуем гистограмму для выборки из предыдущего примера.

240

Приложение A. Обработка данных на компьютере

> P:=DensityPlot(Z, range=1.5..4): > H:=Histogram(z): > plots[display](P, H);

1.2 1 0.8 0.6 0.4 0.2 0 1.5

2

2.5

3

3.5

4

Разбиение на равные интервалы не всегда удобно. Интервалы часто приходится объединять или разделять, прежде чем удастся построить красивую гистограмму. Пакет Statistics не дает такой возможности, поэтому мы должны обратиться к пакету stats. Выборка в пакете stats должна иметь тип list (список), поэтому нашу выборку необходимо преобразовать с помощью функции convert(). Прежде чем строить гистограмму (соответствующая функция в stats называется histogram() – многие функции в пакете stats имеют те же названия, что и в Statistics, но они записываются строчными буквами), выборку надо сгруппировать (функцией tallyinto()) и абсолютные частоты превратить в относительные (функцией scaleweight()). Функция tallyinto() пакета stats, в отличие от T allyInto() пакета Statistics, формирует список, каждый элемент которого имеет вид W eight(<диапазон>, <частота>). Функция 241

§ 2 Выборки и манипуляции с ними

histogram() воспринимает такие объекты наряду с числовыми наблюдениями. Пример 2.10. Загрузим функции пакета stats и его подпакетов. > > > > > > > >

with(stats): with(describe): with(transform): with(statplots): z1:=convert(z, list):# Превратим Vector в list # Группировка g1:=tallyinto(z1, ranges);

g1 := [W eight(1.6..2.2, 55), W eight(2.2..2.4, 108), W eight(2.4..2.6, 201), W eight(2.6..2.8, 256), W eight(2.8..3.1, 287), W eight(3.1..3.4, 76), W eight(3.4..4.0, 17)] > > > > > > >

n:=count(z1):# Объем выборки # Нормирование и округление частот g2:=evalf[3](scaleweight[1./n](g1)); h:=histogram(g2): # P - график плотности - из предыдущего примера plots[display](P, h); g2 := [W eight(1.6..2.2, 0.0550), W eight(2.2..2.4, 0.108), W eight(2.4..2.6, 0.201), W eight(2.6..2.8, 0.256), W eight(2.8..3.1, 0.287), W eight(3.1..3.4, 0.0760), W eight(3.4..4.0, 0.0170)]

242

Приложение A. Обработка данных на компьютере

1.2 1 0.8 0.6 0.4 0.2 0 1.5

2

2.5

3

3.5

4

Поле наблюдений рисует функция ScatterP lot(). Она также позволяет подобрать линию зависимости одной выборки от другой методом наименьших квадратов. Для этого следует указать опцию f it = [<формула>, <переменная>]. Пример 2.11. Рассмотрим две нормальных с.в.: X ∈ N (0, 1) и Y = 4 + 3 X + ε, где ε ∈ N (0, 1). > > > > > > > >

N := 200: # Объем выборки X := Sample(Normal(0, 1), N): Epsilon := Sample(Normal(0, 1), N): ONE:=Vector[row](N, 1): # Единичный вектор [1,1,..., 1] Y:=4*ONE + 3*X + Epsilon: # a, b - параметры, x - переменная ScatterPlot(X, Y, fit=[a*x+b, x]);

243

§ 2 Выборки и манипуляции с ними

12 10 8 6 4 2 –2

–1

0 –2 –4

244

1

2

Приложение A. Обработка данных на компьютере

§3

Выборочные моменты

Для вычисления выборочных моментов применяются те же функции, что и для получения моментов теоретических, но первым аргументом должна быть не с.в (типа RandomV ariable), а выборка (типа V ector). Перечислим эти функции: M oment() (начальный момент), CentralM oment() (центральный момент), M ean() (математическое ожидание), V ariance() (дисперсия), StandardDeviation() (стандартное отклонение), V ariation() (коэффициент вариации), Skewness() (асимметрия), Kurtosis() (эксцесс). Напомним, что как наблюдения, так и функции от них (статистики) можно рассматривать с двух точек зрения. До проведения эксперимента они являются случайными величинами, после – реализациями с.в., т.е. числами. Выборочные моменты – не исключение. Рассматривая их как с.в., мы должны знать закон распределения. В силу ЦПТ все выборочные моменты имеют асимптотически нормальное распределение. М.о. равно теоретическому значению каждого момента (по крайней мере асимптотически). Дисперсия вычисляется для каждого момента в соответствии с распределением исходной с.в. Для ее вычисления, а точнее, для вычисления стандартного отклонения выборочных характеристик используется функция StandardError(). Пример 3.1. Рассмотрим нормальную с.в., получим для нее выборку и найдем выборочные моменты и их стандартные отклонения. > > > > >

# С.в. с неопределенными параметрами # для получения формул X0:=RandomVariable(Normal(mu, sigma)): # С.в. для числовых результатов

245

§ 3 Выборочные моменты

> X:=RandomVariable(Normal(2, 4)): > > n_:=1000:# Объем выборки > x:=Sample(X, n_): # Выборка

Найдем выборочное м.о. > Mean(X0); # Формула > Mean(X); # Теор. значение > Mean(x); # Выборочный момент µ 2 2.071028581

И его стандартное отклонение: > StandardError[n](Mean, X0);# n - объем выборки > StandardError(Mean, x); q σ n1 0.1269865695

Найдем выборочную дисперсию. > > > >

Variance(X0); Variance(X); Variance(x); CentralMoment(x, 2);

# # # #

Формула Теор. значение Оценка дисперсии Выборочный момент σ2 16 16.12558884 16.10946325

246

Приложение A. Обработка данных на компьютере

Обратите внимание, что оценка дисперсии функцией V ariance(x) не совпадает со значением CentralM oment(x, 2). Это связано с тем, что CentralM oment(x, 2) вычисляется по формуле n

1X m2 = (xi − x ¯)2 , n i=1

а V ariance(x) – по n

Sx2 =

1 X (xi − x ¯)2 . n−1 i=1

В этом случае оценка дисперсии оказывается несмещенной, т.е. ее м.о. совпадает с теоретической дисперсией (см. § 4). Центральные выборочные моменты оказываются смещенными оценками, но смещение стремится к нулю с ростом объема выборки, поэтому их можно считать асимптотически несмещенными. Найдем отклонение выборочной дисперсии: > StandardError[n](Variance, X0); > StandardError(Variance, x); q 2 σ 2 n1 0.7050251112 √

Начальный момент третьей степени: > Moment(X0, 3); # Формула > Moment(X, 3); # Теор. значение > Moment(x, 3); # Выборочный момент

247

§ 3 Выборочные моменты

3 σ 2 µ3 + µ 104 107.4829654

Отклонение начального момента третьей степени: > StandardError[n](Moment, X0, 3); > StandardError(Moment, x, 3); s

¡ ¢2 15 σ 6 + 45 σ 4 µ2 + 15 σ 2 µ4 + µ6 − 3 σ 2 µ + µ3 n 9.914710634

Найдем центральный четвертый момент. > CentralMoment(X0, 4); # Формула > CentralMoment(X, 4); # Теор. значение > CentralMoment(x, 4); # Выборочный момент 3 σ4 768 756.5752136

Найдем его стандартное отклонение. > StandardError[n](CentralMoment, X0, 4); > StandardError(CentralMoment, x, 4); q √ 4 6 σ 4 n1 69.93981571

При исследовании выборок бывает полезно оценить нормированные моменты и сравнить их с теоретическими значениями для предполагаемого распределения. Перечислим их: 248

Приложение A. Обработка данных на компьютере

• коэффициент вариации V ariation(): σ V = ; µ • асимметрия Skewness(): S=

µ3 ; σ3

• эксцесс Kurtosis(): µ4 . σ4 Здесь µ3 , µ4 – 3-й и 4-й центральные моменты, σ – стандартное отклонение. Вычислим выборочный коэффициент вариации: K=

> Variation(X0); > Variation(X); > Variation(x); σ µ 2 1.938002990

Его отклонение: > StandardError[n](Variation, X0); > StandardError(Variation, x); q σ

µ2 +σ 2 nµ2

µ 0.1336824948

Асимметрия и эксцесс для нормального распределения не зависят от параметров µ и σ. Найдем асимметрию: 249

§ 3 Выборочные моменты

> Skewness(X0); > Skewness(x); 0 −0.02302483916

Ее отклонение: > StandardError[n](Skewness, X0); > StandardError(Skewness, x); √ q1 6 n 0.07960635914

Эксцесс: > Kurtosis(X0); > Kurtosis(x); 3 2.912429734

Его отклонение: > StandardError[n](Kurtosis, X0); > StandardError(Kurtosis, x); √ q 2 6 n1 0.1577420320

Для смешанных моментов можно вычислить лишь выборочные оценки. 250

Приложение A. Обработка данных на компьютере

Пример 3.2. Рассмотрим с.в. Y = 3.5X + ε, где ε ∈ N (0, 10). Найдем ковариацию и коэффициент корреляции для выборок y и x из предыдущего примера. > eps:=Sample(Normal(0, 10), n_): > y:=3.5*x+eps: > Covariance(x, y); 54.71583328 > Correlation(x, y); 0.8048266525

Чтобы найти моменты по сгруппированной выборке, следует использовать пакет stats – в пакете Statistics для этого нет средств. Пример 3.3. Загрузим пакет stats и его подпакеты. > > > > > > > > >

with(stats): with(describe): with(transform): # Преобразуем выборку в список x_:=convert(x, list): # Зададим интервалы группировки ranges := [-11 .. -8.3, -8.3 .. -5.6, -5.6 .. -2.9, -2.9 .. 0, 0 .. 3, 3 .. 5, 5 .. 8, 8 .. 11, 11 .. 13, 13 .. 16]: # Сгруппируем выборку g:=tallyinto(x_, ranges); g := [W eight(−11.. − 8.3, 5), W eight(−8.3.. − 5.6, 20), W eight(−5.6.. − 2.9, 84), W eight(−2.9..0, 197), W eight(0..3, 277), W eight(3..5, 178), W eight(5..8, 180), W eight(8..11, 40), W eight(11..13, 17), W eight(13...16, 2)]

251

§ 3 Выборочные моменты

Найдем выборочные моменты двумя способами: по исходной и по сгруппированной выборкам. > # М.о. > mean(x_); mean(g); 2.071028586 2.080600000 > # Дисперсия > variance(x_); variance(g); 16.10946327 16.58895864

Функция moment() имеет три параметра в квадратных скобках и аргумент-выборку в круглых. Параметр p – порядок момента, два других параметра необязательны: центр c и количество ограничений k: n 1 X moment[p, c, k](x) = (xi − c)p n−k i=1

Если c не зависит от выборки (например, 0 для начального момента или теоретическое м.о. для центрального), то следует задать k = 0. Если же c вычисляется по выборке (например, выборочное м.о.), то для получения несмещенной оценки следует положить k = 1. Это имеет смысл только для исходной выборки, поскольку для сгруппированной оценка в любом случае будет смещенной. > # Третий начальный момент > moment[3](x_); moment[3](g);

252

Приложение A. Обработка данных на компьютере

107.4829653 113.2715253 > # Четвертый центральный момент > moment[4, mean(x_)](x_); moment[4, mean(g)](g); 756.5752143 797.7023707

253

§ 4 Оценивание параметров

§4

Оценивание параметров

Для оценки параметров распределений можно воспользоваться методом максимального правдоподобия. В некоторых случаях удается получить аналитические результаты, в других приходится применять численные методы. Изучим работу средств оценки параметров в Maple на примерах. Пример 4.1. Найдем ОМП параметра λ показательного распределения для небольшого объема выборки, поскольку иначе формула окажется слишком громоздкой. Обратите внимание, что в Maple плотность показательного распределения заt дается формулой 1b e− b , поэтому в качестве аргумента функции Exponential() следует передать 1/λ. > > > > > > > >

with(Statistics): # Зададим ограничение на параметр assume(lambda>0): # Определим с.в. E:=RandomVariable(Exponential(1/lambda)): # Найдем ОМП для произвольной выборки x из 5 наблюдений MaximumLikelihoodEstimate(E, x, samplesize=5); 5 x1 + x2 + x3 + x4 + x5

Варьируя объем выборки, легко можно догадаться, что ˆ = nn . λ P i=1

xi

Найдем количество информации о параметре λ, содержащейся в выборке произвольного объема n.

254

Приложение A. Обработка данных на компьютере

> FisherInformation(E, n, lambda); n λ2

Функцию F isherInf ormation(), вычисляющую информа∂ 2 ln L(θ; x) , не следует путать с функ(∂θ)2 ∂ 2 ln L(θ; x) цией Inf ormation(), вычисляющей . (∂θ)2

цию Фишера I(θ) = −M

Функция M aximumLikelihoodEstimate() вычисляет ОМП только для одного параметра, если распределение имеет несколько параметров, то для всех параметров, кроме оцениваемого, следует указать численное значение. Из-за этого ограничения данная функция малопригодна для оценки параметров большинства распределений. В пакете Statistics имеются функции Likelihood() и LogLikelihood() – функция правдоподобия и ее логарифм. Можно было бы получить с их помощью ф.п. и исследовать ее другими средствами. Но эти функции, так же как и M aximumLikelihoodEstimate(), требуют задать конкретный объем выборки. Придется опять угадывать общую формулу, как это было сделано в предыдущем примере. В следующем примере мы поступим другим образом – проведем выкладки с использованием функции Sum() – символьного суммирования произвольного количества членов. Нам понадобятся также другие функции символьного аппарата Maple: expand() – упрощение выражений с раскрытием скобок, simplif y() – универсальное упрощение выражений, subs() – замена одних выражений в формуле другими и dif f () – аналитическое вычисление производной. Пример 4.2. Оценим параметры Γ-распределения. > G:=RandomVariable(Gamma(1/lambda, k)):

255

§ 4 Оценивание параметров

> # Функция правдоподобия в общем виде > assume(x[i]>0); > l[0]:=simplify(Sum(ln(PDF(G, x[i])), i=1..n));

l0 :=

n X

(k ln(xi ) − ln(xi ) + k ln(λ) − xi λ − ln(Γ(k)))

i=1

Разобьем сумму на части. Это можно сделать просто скопировав и исправив предыдущую формулу. > l[1] := (k-1)*Sum(ln(x[i]), i=1..n) + k*n*ln(lambda) > lambda*Sum(x[i], i=1..n) - n*ln(GAMMA(k)); Ã l1 := (k − 1)

n X

! ln(xi )

à + n k ln(λ) − λ

i=1

n X

! xi

− n ln(Γ(k)))

i=1

n n 1 P 1 P xi , m2 = ln(xi ) и сдеn i=1 n i=1 лаем замену с помощью функции subs():

Введем обозначения m1 =

> l[2]:=subs(Sum(x[i], i=1..n)=m[1]*n, > Sum(ln(x[i]), i=1..n)=m[2]*n, l[1]);

l2 := (k − 1) m2 n + n k ln(λ) − λ m1 n − n ln(Γ(k))

Найдем частные производные ф.п. l2 по параметрам и приравняем их к нулю. Деление правой и левой частей уравнений на n не изменит решения. > eq[1]:=expand(diff(l[2], lambda)/n=0); > eq[2]:=expand(diff(l[2], k)/n=0);

256

Приложение A. Обработка данных на компьютере

eq1 := λk − m1 = 0 eq2 := m2 + ln(λ) − Ψ(k) = 0 d ln Γ(x)

Здесь Ψ(x) = – встроенная специальная функция. dx Аналитического решения эта система не имеет, но если подставить найденные по выборке значения m1 и m2 , то можно получить численное решение с помощью функции solve(). Вообще говоря, эта функция предназначена для аналитического решения уравнений, но, поскольку в формулу включены числа с плавающей точкой (типа f loat), Maple использует для решения численный метод. > > > > > > > >

# Создадим выборку x:=Sample(Gamma(1/2, 3), 500): # Прологарифмируем ее lnx:=map(ln, x): # Подставим выборочные m1 и m2 в уравнения eqs:=subs(m[1]=Mean(x), m[2]=Mean(lnx), {eq[1], eq[2]}): # Численно решим систему уравнений solve(eqs, {lambda, k});

{λ = 2.018395422, k = 3.006516556}

Мы взяли большую выборку в 500 наблюдений, поэтому оценки получились достаточно точными (исходные параметры были λ = 2, k = 3). Для сравнения оценим параметры методом моментов: приравняем теоретические и выборочные м.о. и дисперсию, а затем решим эту систему уравнений. > p:=solve({Mean(G)=mu, Variance(G)=sigma^2}, {k, lambda}); > subs(mu=Mean(x), sigma=StandardDeviation(x), p);

257

§ 4 Оценивание параметров

½

¾ µ2 µ p := k = 2 , λ = 2 σ σ {λ = 2.100892895, k = 3.129401306}

Погрешность этих оценок на порядок больше. Не всегда удается получить простые уравнения для ОМП. В некоторых случаях удобнее воспользоваться численными методами максимизации функции правдоподобия. Пример 4.3. Найдем численные ОМП для параметров распределения Фишера. > > > > > > > > >

with(Statistics): # Выборка x:=Sample(FRatio(3, 6), 100): # Функция правдоподобия assume(n>2, m>4); F:=RandomVariable(FRatio(n, m)): l:=LogLikelihood(F, x): #Ее график plot3d(l, n=1..10, m=1..15, axes=boxed);

–150 –160 –170 –180 –190 2

258

4

6

8 m~

10

12

14

10

n~

Приложение A. Обработка данных на компьютере

Из рисунка видно, что в рассмотренном диапазоне имеется единственный максимум. Найдем его с помощью пакета Optimization. > with(Optimization): > p:=Maximize(l, n=1..5, m=1..10); > evalf[1](p[2]); # Округление до 1-й знач. цифры

p := [−134.782311566669, [n = 3.53874460308175, m = 5.69357839716024]] [n = 4, m = 6]

С увеличением объема выборки значительно возрастает трудоемкость вычислений. Этой проблемы не возникает, если удается аналитически разделить параметры и наблюдения, как это было сделано примере 4.2. Сравним результаты с оценками метода моментов. > p1:=solve({Mean(F)=mu, Variance(F)=sigma^2}, {n, m}); > p2:=subs(mu=Mean(x), sigma=StandardDeviation(x), p1); > evalf[1](p2); # Округление до 1-й знач. цифры

½

2µ2 2µ ,m = 2 3 2 2 −µ + µ − 2σ + σ µ −1 + µ p2 := {n = 4.914652248, m = 5.997634064} {n = 5, m = 6}

p1 :=

¾

n=−

Как и в примере 4.2, точность этих оценок ниже точности ОМП.

259

§ 5 Доверительные интервалы. Проверка гипотез

§ 5 Доверительные интервалы. Проверка гипотез В Maple гипотезы разделены на три категории: непараметрические, одновыборочные параметрические и двухвыборочные параметрические. Параметрические включают в себя построение доверительных интервалов: одновыборочные – для соответствующего параметра, двухвыборочные – для меры различия параметров двух выборок. Для м.о. мерой различия является разность, для дисперсий – отношение. Функции одновыборочных тестов имеют дополнительный вариант вызова <Функция>[SampleSize](<аргументы>), который служит для оценки объема выборки, требуемого для достижения необходимой точности. Мерой точности для м.о. служит разность, а для стандартного отклонения – отношение границ доверительного интервала. Для непараметрических критериев задается уровень значимости (по умолчанию он задан α = 0.05) с помощью опции level =<значение> (level – уровень), а для параметрических – доверительную вероятность (по умолчанию определенную как 1 − α = 0.95) с помощью опции conf idence =<значение> (confidence – доверие). Все функции проверки гипотез возвращают последовательность равенств с результатами исследования: • hypothesis – f alse, если гипотеза отвергается, и true иначе; • criticalvalue – критическое значение (квантиль); • distribution – распределение статистики критерия h при нулевой гипотезе; • statistic – значение статистики критерия, h0 ; • pvalue – значимость, p = PH0 {h > h0 }; • conf idenceinterval – доверительный интервал (для параметрических гипотез). 260

Приложение A. Обработка данных на компьютере

Пример 5.1. Исследуем выборку x для с.в. X ∈ N (0, 22 ). > with(Statistics): > with(plots): > x:=Sample(Normal(0, 2), 100):

Проверим гипотезу о нормальном распределении с.в. X. Для этого сначала оценим распределение X “на глазок”, построив гистограмму и график э.ф.р. в вероятностном масштабе. Напомним, что на этом графике ось Ox преобразуется: вместо x откладывается ф.р. F (x), поэтому график э.ф.р. должен быть близок к прямой линии, если выборка получена из этого распределения. В Maple к осям применено дополнительное линейное преобразование, переводящее интервал [0; 1] в диапазон [x(1) , x(n) ]: x → x(1) + (x(n) − x(1) ) F (x), y → x(1) + (x(n) − x(1) ) y.

Здесь, как обычно, x(1) и x(n) – первый (минимальный) и последний (максимальный) члены вариационного ряда. Итак, строим графики: > H:=Histogram(x, binwidth=1): > P:=DensityPlot(Normal(Mx, Sx)): > display(H, P);

261

§ 5 Доверительные интервалы. Проверка гипотез

0.25 0.2 0.15 0.1 0.05

–2

0

2

4

> ProbabilityPlot(x, Normal(Mx, Sx));

4 2

–4

–2

2

4

–2 –4

Оба графика показывают, что распределение X близко к нормальному. Проверим это по критерию Пирсона, считая, что нам известны параметры распределения. Уровень значимости выберем 0.1, а диапазон наблюдений разобьем на 20 равных по 262

Приложение A. Обработка данных на компьютере

ширине интервалов. Разбиение на неравные интервалы в Maple не предусмотрено. > ChiSquareSuitableModelTest(x, Normal(0, 2), > level=0.1, bins=20); hypothesis = true, criticalvalue = 27.20357178, distribution = ChiSquare(19), pvalue = 0.7012866028, statistic = 15.33183479

Критерий дает положительный ответ – X ∈ N (0, 22 ). Функция ChiSquareSuitableM odelT est() предназначена лишь для проверки простой гипотезы, но, поскольку статистика критерия Пирсона вычисляется одинаково как для простой, так и для сложной гипотезы, то это ограничение легко обойти. Оценим параметры по выборке, с помощью функции ChiSquareSuitableM odelT est() найдем статистику критерия, а критическое значение найдем с помощью функции Quantile(). > > > > > > > > > >

Mx:=Mean(x); Sx:=StandardDeviation(x); chi2:=ChiSquareSuitableModelTest(x, Normal(Mx, Sx), bins=20, output=statistic); q:=Quantile(ChiSquare(17), 0.95); if chi2 < q then hypothesis=true else hypothesis=false end if; M x := 0.3691504402 Sx := 1.869359562 χ2 := 21.89556666 q := 27.58711168 hypothesis = true

263

§ 5 Доверительные интервалы. Проверка гипотез

Здесь нам нужен был не весь отчет, а только статистика критерия, поэтому мы воспользовались опцией output – вывод. Обратите внимание, что в программе мы написали hypothesis = true, а не hypothesis := true – чтобы не превращать неопределенный символ hypothesis в переменную со значением true. Убедившись окончательно, что распределение исследуемой с.в. нормальное, продолжим исследование. Выясним, равно ли м.о. нулю и найдем доверительный интервал. Будем считать, что дисперсия нам не известна, поэтому воспользуемся критерием Стьюдента. > t:=OneSampleTTest(x, 0, confidence=0.95, > output=[hypothesis, confidenceinterval]);

t := true, −0.0017710530..0.7400719334

Оценим точность результата – вычислим ширину интервала, воспользовавшись функцией op(), выделяющей операнд (т.е. элемент операции) из произвольного выражения. > op(2, t[2])-op(1, t[2]);

0.7418429864

Посмотрим, выборка какого объема необходима, чтобы сузить ширину интервала до 0.5.

264

Приложение A. Обработка данных на компьютере

> OneSampleTTest[SampleSize](0.5, Sx); 218

Если бы нам была известна дисперсия выборки, то можно было бы воспользоваться аналогичной функцией OneSampleZT est(), основанной на нормальном распределении (нормальное распределение иногда называют zраспределением, отсюда название функции). Проверим теперь, равно ли стандартное отклонение числу 2, и найдем доверительный интервал. > c:=OneSampleChiSquareTest(x, 2, confidence=0.95, > output=[hypothesis, confidenceinterval]); c := true, 1.641310492..2.171588747

Мерой точности стандартного отклонения, как было сказано выше, является отношение границ интервала. Найдем его. > op(2, c[2])/op(1, c[2]); 1.323082231

Выясним, какого объема нужна выборка, чтобы снизить это отношение до 1.1. > OneSampleChiSquareTest[SampleSize](1.1); 848

265

§ 5 Доверительные интервалы. Проверка гипотез

Для исследования взаимоотношений между выборками служат двухвыборочные критерии. Рассмотрим их работу на примере. Пример 5.2. Введем еще одну нормальную выборку, y, и сравним ее параметры с выборкой x из предыдущего примера. > y:=Sample(Normal(0.3, 2), 150): > My:=Mean(y); Sy:=StandardDeviation(y); M y := 0.4382607308 Sy := 2.024891144

Критерии для проверки равенства м.о. (t-критерий и zкритерий) различаются в зависимости от того, равны или не равны дисперсии. Поэтому вначале проверим равенство дисперсий по критерию Фишера. Первые два аргумента функции – выборки, а третий – предполагаемое отношение дисперсий, т.е. для проверки равенства нужно задать значение 1. > TwoSampleFTest(x, y, 1, confidence=0.9);

hypothesis = true, conf idenceinterval = 0.6329573108..1.159954384, distribution = F Ratio(99, 149), pvalue = 0.3939510844, statistic = 0.8522800558 2

Доверительный интервал вычислен для отношения σσx2 . y Теперь проверим равенство м.о. Поскольку, как мы выяснили, дисперсии равны, зададим опцию equalvariances = true. Первые два аргумента функции – выборки, а третий – предполагаемая разность.

266

Приложение A. Обработка данных на компьютере

> TwoSampleTTest(x, y, 0, confidence=0.9, > equalvariances=true);

hypothesis = true, conf idenceinterval = −0.4877887878..0.3495682066, distribution = StudentT (248), pvalue = 0.7854411358, statistic = −0.2725302177

Доверительный интервал вычислен для разности µx − µy . Набор стандартных функций для проверки гипотез довольно ограничен. Так, нет критерия Колмогорова, нет критериев независимости наблюдений в выборке и многих других, необходимых для обработки статистических данных. Поэтому исследователь должен самостоятельно программировать функции для нужных ему критериев.

267

§ 6 Метод наименьших квадратов

§6

Метод наименьших квадратов

Оценка коэффициентов статистической модели методом наименьших квадратов существует в нескольких вариантах: • LinearF it() – линейная (по параметрам) модель; • P olynomialF it() – полиномиальная модель; • P owerF it() – степенная модель; • ExponentialF it() – экспоненциальная модель; • LogarithmicF it() – логарифмическая модель; • N onlinearF it() – общая процедура для нелинейных моделей; • F it() – общая процедура для любых моделей. Линейная модель используется чаще всего, поэтому разберем функцию LinearF it() подробнее. Ее первый аргумент – список переменных, линейно входящих в модель, в том числе единица, если в модель должна входить константа. Второй аргумент – матрица эксперимента (или вектор, если исследуется зависимость от одной переменной). Третий – список неизвестных (или сама неизвестная переменная, если она одна), причем порядок неизвестных должен соответствовать порядку столбцов матрицы эксперимента. Регрессионный анализ включает в себя множество исследований, поэтому нет смысла выводить сразу все результаты. Вывод необходимых исследователю результатов обеспечивает опция output = <результат>. По умолчанию используется значение leastsquaresf unction, т.е. модельная зависимость. Пример 6.1. Рассмотрим модельную зависимость z = 0.5 + 4 x1 + ε. С помощью датчика случайных чисел получим выборку из 50 наблюдений. 268

Приложение A. Обработка данных на компьютере

> > > > > >

with(Statistics): n:=50: X0:=Vector[column](n, 1): X1:=Vector[column](Sample(Normal(2,1), n)): epsilon:=Vector[column](Sample(Normal(0, 3), n)): Z:=0.5*X0 + 4*X1 + epsilon:

Построим поле наблюдений и оценим “на глазок”, годится ли линейная модель. Для этого воспользуемся опцией f it функции ScatterP lot(). > ScatterPlot(X1, Z, fit=[a+b*x1, x1], symbol=circle, > thickness=3, labels=[x1, z]);

20

15

z 10

5

0

1

2

3

4

x1

Как видно из рисунка, линейная модель вполне подходит. Оценим ее коэффициенты и стандартное отклонение остатков.

269

§ 6 Метод наименьших квадратов

> LinearFit([1, x1], X1, Z, x1, output=[leastsquaresfunction, > residualstandarddeviation]); [1.83737767738843627 + 3.29330905783703320 x1, 3.5190387083235]

Пример 6.2. Теперь рассмотрим двумерную зависимость y = 3 + 2 x1 − 5 x2 + ε. > X2:=Vector[column](Sample(Normal(1,2), n)): > X:=Matrix([X1, X2]): > Y:=3*X0+2*X1-5*X2 + epsilon:

Кроме константы и переменных x1 , x2 введем также фактор и проверим его значимость. К сожалению, обычная проверка по критерию Стьюдента не предусмотрена, но можно построить доверительные интервалы для коэффициентов. Если интервал включает в себя ноль, то коэффициент можно считать незначимым. Распечатаем в качестве результатов вектор коэффициентов и доверительные интервалы для них. Доверительная вероятность задана по умолчанию 0.95, изменить ее можно с помощью опции conf idence. x21

> LinearFit([1, x1, x2, x1^2], X, Y, [x1, x2], output = > [parametervector, confidenceintervals]); 

 −1.607129100734983  6.028870055693324     −4.857431234645283  , −0.8517682312992781

 −5.09670390386 .. 1.88244570239  2.40100793933 .. 9.65673217205    −5.09095968367 .. − 4.62390278561 −1.77182590723 .. 0.068289444632 

Как видим, x21 не значим. Правда, константа тоже оказалась незначимой, более того, ее истинное значение оказалось вне доверительного интервала! Рассмотрим модель без x21 . 270

Приложение A. Обработка данных на компьютере

> LinearFit([1, x1, x2], X, Y, [x1, x2], output= > [parametervector, confidenceintervals]); 

   1.297325782020245 −0.26931730053..2.86396886457  2.738892906323589  ,  1.99081182004..3.48697399260  −4.921058609232332 −5.14990853742.. − 4.69220868104

Теперь результат лучше, хоть и далек от идеала. Из этого примера видно, что введение лишних факторов “на всякий случай ” может привести к искажению результатов. Найдем σ b2 (X 0 X)−1 – ковариационную матрицу коэффициентов. > LinearFit([1, x1, x2], X, Y, [x1, x2], > output=variancecovariancematrix); 

0.60645168445563  −0.27300178768213 −0.025084508317826

−0.27300178768213 0.13827810685498 0.0060446974937292

 −0.025084508317826 0.0060446974937292  0.012940696053904

Проверим адекватность модели – исследуем остатки. Напомним, что остатки должны обладать свойствами случайных ошибок: εi ∈ N (0, σ 2 ). Начнем с нормального распределения.

271

§ 6 Метод наименьших квадратов

> Eps:=LinearFit([1, x1, x2], X, Y, [x1, x2], output=residuals): > NormalPlot(Eps, thickness=3, symbol=circle);

3 2 1 –3

–2

–1

1

2

3

0 –1 –2 –3 –4

> ChiSquareSuitableModelTest(Eps, Normal(0, 2), > output=[hypothesis, pvalue]); true, 0.3204078338

Гипотезу о нормальном распределении можно считать верной. Проверим однородность остатков. Для начала – “на глазок”, по графику. > plots[listplot](Eps); 3 2 1 10 0 –1 –2 –3 –4

272

20

30

40

50

Приложение A. Обработка данных на компьютере

На первый взгляд, распределение первых тридцати наблюдений отличается от распределения остальных. Разделим выборку остатков на две части и проверим равенство дисперсий и м.о. > Eps1:=LinearAlgebra[SubVector](Eps, 1..30): > Eps2:=LinearAlgebra[SubVector](Eps, 31..n): > TwoSampleFTest(Eps1, Eps2, 1, output=[hypothesis, pvalue]); true, 0.101830392

Дисперсии можно считать равными, поэтому при вызове функции T woSampleT T est() воспользуемся опцией equalvariances = true. > TwoSampleTTest(Eps1, Eps2, 0, equalvariances=true, > output=[hypothesis, pvalue]); true, 0.05358793824

Таким образом, м.о. тоже можно считать равными, хотя pvalue очень близко к критическому уровню. Существуют и другие варианты вывода результатов функции LinearF it(), информацию о них можно получить в справочной системе Maple. При этом многие важные элементы регрессионного анализа не предусмотрены – так, нет доверительного интервала для прогнозируемого значения отклика, нет уже упоминавшейся проверки значимости коэффициентов. Так же отсутствуют критерии некоррелированности остатков и более сложные критерии проверки их однородности – исследователю остаются широкие возможности самостоятельного программирования. 273

Приложение B. ЗАДАНИЯ ДЛЯ САМОСТОЯТЕЛЬНОЙ РАБОТЫ Приводимые ниже статистические данные содержат различную геологическую, промысловую и пр. информацию. Задание 1 В результате промыслово-геофизических исследований и экспериментов на кернах были получены следующие выборки фактических значений геолого-физических параметров залежей Балахны-Сабунчи-Романы, приведенные в таблице 1, где Sгл – глинистость, Kпес – песчанистость, Kпор – пористость, Kпр - проницаемость, Kкар – карбонатность. Для всех пяти указанных параметров: 1. Построить графики эмпирических функций распределения и гистограммы. 2. Найти выборочные средние, дисперсии и медианы. 3. Найти матрицу коэффициентов корреляции. 4. Вычислить регрессии Kпр на Kпор ; Kпор на Sгл ; Kпр на Sгл ; Kпес на Kпр . 5. Проверить согласие Kпор , Sгл , Kпес , Kкар с нормальным распределением, а Kпр – с логнормальным. 6. Найти 95%-е доверительные интервалы математического ожидания и дисперсии по каждому параметру.

Приложение B. Задания для самостоятельной работы

Таблица 1. № 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

Sгл , % 22 29 27 22 31,5 23,0 25,0 18 29 22 34 33 35,6 32 34 33 39 26

Kкар , % 12 13,2 12 7 13 11 11 10 9 10 12 13 13 13 19 13 13 13

Kпес , % 81 66 54 76 52 81 48 74 28 80 51 50 51 54 55 52 82 85

Kпор , % 25 24,7 26,2 25,8 25,8 25,8 26.9 25,9 22,6 24,4 25,1 24,9 24,8 24,4 25,0 24,3 23,8 22,4

Kпр , 10−15 м2 36 160 197 378 154 364 167 132 90 374 94 94 90 96 89 90 340 303

Задание 2 Построить графики эмпирических функций распределения и гистограммы, найти выборочные средние, дисперсии, медианы, матрицу коэффициентов корреляции для всех эксплуатационных показателей газомотокомпрессора ГМК ДР-12 на Невиномысской компрессорной станции по данным за 14 лет, представленным в таблице 2 (данные взяты из НТС № 5, 1997 г. ИМКоклин "Конструктивные отличия и эксплуатационные показатели КГМ ДР-12 Невиномысской КС"): tраб. – доля рабочего времени агрегата, tрез. – доля времени, проведенным агрегатом в резерве, Kг – коэффициент готовности, Kи – коэффициент использования, τ – наработка на отказ, n – количество 275

Приложение B. Задания для самостоятельной работы

отказов, q – удельный расход масел. Таблица 2. № 1 2 3 4 5 6 7 8 9 10 11 12 13 14

tраб. , % 23 51 40 8 25 2,5 9,7 12 32 24 26,3 7,6 10,66 6,1

tрез. , % 75 35 4 91 73 35 9,9 44 38 22 40 91,3 84,5 80

Kг 98 36 44 99 98 38 0,2 5,6 62 46 66,3 98 95 86,3

Kи 0,948 0,804 0,564 0,952 0,347 0,069 0,115 0,22 0,54 0,316 0,356 0,008 0,12 0,065

τ , ч. 409 560 102 242 30 88,6 1,26 2099 926 421 449 667 936 533

n 5 11 34 3 8 5 4 1 3 5 3 0 2 1

q 14,89 4,54 14,50 14,50 14,50 14,50 14,50 14,50 14,50 14,50 14,50 10,1 13,8 14,5

Год 1981 1982 1983 1984 1985 1986 1987 1989 1990 1991 1992 1993 1994 1995

Задание 3 Построить графики эмпирических функций распределения и гистограмм, найти выборочные средние, дисперсии и матрицу коэффициентов корреляции по участку пласта D1 Ромашкинского месторождения для проницаемости k, пористости m, начальной водонасыщенности S0 и насыщенности на фронте Sф , регрессию k на m, k на S0 , m на Sф , S0 на Sф , по данным, представленным в таблице 3. Таблица 3. m,% k,Da S0 ,% Sф %

276

19,5 1,0 92,8 71,7

24,7 1,0 94,0 71,9

18,0 0,5 88,2 70,8

24,0 0,5 90,8 71,5

16,5 0,25 81,4 69,4

22,7 0,25 86,7 70,6

14,5 0,1 71,0 66,5

21,6 0,1 82,7 69,8

20,7 0,05 78,6 68,6

13,0 0,05 62,5 62,2

Приложение B. Задания для самостоятельной работы

1. Проверить гипотезу о нормальном распределении S0 , и Sф . 2. Проверить гипотезу о логнормальном распределении k и m. Задание 4 Вычислить выборочные средние, дисперсию и коэффициент вариации коэффициентов вытеснения по 11-ти скважинам Мининбаевской, Абдрахмановской и Павловской площадей Ромашкинского месторождения, представленным в таблице 4. Таблица 4. № 3188 3463 3193 3460 3197 3459 3298 3300 3855 3902 3903 скв. kвыт. 0,84 0,35 0,73 0,73 0,78 0,65 0,78 0,70 0,75 0,83 0,71

Проверить гипотезу о нормальном распределении коэффициента вытеснения по данной выборке. Найти 99% доверительный интервал для математического ожидания коэффициента вытеснения. Задание 5 Для данных по пористости (m) (таблица 5) эксплуатационного объекта построить вариационный ряд и графики эмпирической функции распределения и гистограмму, найти выборочные средние, дисперсию, медиану, коэффициент вариации, асимметрию и эксцесс. Найти 95% доверительные интервалы для математического ожидания и дисперсии. Таблица 5. № скв. m

1 2 3 4 5 6 7 8 9 10 11 12 13 22,1 23 21,8 23 23,4 25 25 21,4 12,0 18,0 21,4 23,3 22

277

Приложение B. Задания для самостоятельной работы

Задание 6 Значительную долю в комплексе мероприятий по контролю за разработкой газоконденсатного месторождения составляют измерения дебитов добывающих скважин. В таблице 6 приведены данные измерения дебитов Q, тыс.м3 /сут., по 116 скважине Вуктыльского месторождения (за май-июнь 1981 г.). Таблица 6. Дата, май Q

22 23 24 25 26 27 28 29 30 31 807 811 804 820 804 804 814 807 813 798

Дата, 1 2 3 4 5 6 7 8 9 10 11 12 13 14 июнь Q 804 809 816 824 824 822 818 814 826 805 816 840 823 824

Записать вариационный ряд. Построить графики эмпирической функции распределения и гистограмму, найти выборочные средние, дисперсию и 95% доверительные интервалы для них, проверить гипотезу о нормальном распределении. Задание 7 Проницаемость пород может быть определена несколькими методами. Предлагается сравнить два из них: проницаемость посчитана по коэффициенту продуктивности (№1) и по шлифам (№2). Для сравнения методов предлагается вычислить коэффициент корреляции по данным для группы скважин ряда месторождений, представленным в таблице 7.

278

Приложение B. Задания для самостоятельной работы

Таблица 7. Месторождение

№ скв.

Минусинский р-н, Быстренская пл-дь Иркутский р-н, Осинская пл-дь Ишимбаевский р-н, Малышевская пл-дь Грозненский р-н, Карабулакская пл-дь Cредняя Азия, пл-дь Караул-Базар Шебелинское (Харьковская обл.) Месторождения Ю-В. Азии Месторождения Центральной Европы

1 2 1 8 11 30 30 30 1 20 21 1 16 4 2 3

Проницаемость №1 №2 0,55 0,13 1,0 0,46 7,7 10,9 7,8 6,6 5,6 9,3 1,7 1,3 0,9 3,4 3,2 3,7 0,74 1,5 1,2 2,7 4.5 3,7 3,8 1,5 0,4 0,6 3,1 7,7 4,2 4,2 3,5 4,8

Задание 8 В таблице 8 приведены данные пористости m и скорости фильтрации v, см/день, для одерских песков. Таблица 8. m v

0,336 0,339 0,384 0,422 0,350 0,363 0,403 0,363 0,392 0,419 36,91 27,71 40,69 65,22 12,81 15,81 22,85 6,04 7,96 10,79

Построить графики эмпирических функций распределения и гистограммы. Найти выборочные средние, дисперсии обоих параметров и их коэффициент корреляции. Найти доверительные интервалы для математического ожидания и проверить гипотезу о нормальном распределении обоих параметров. 279

Приложение B. Задания для самостоятельной работы

Задание 9 Значения частоты вращения турбобура получены при следующей компоновке низа бурильной колонны: долото 2К214ТК (3ТК-ЦВ; III 215.9ТК-ЦВ), турбобур ТС 5Б-7 1/2II , УБТ-96м, СТБ-127. В таблице 9 приведены значения частоты вращения вала турбобура при различных нагрузках на долото Pд , кН, и фиксированном расходе технической воды Q ≈ 27 л/с. Таблица 9. № \Pд 1 2 3 4 5 6 7 8 9 10

0 1140 1140 1210 1180 1150 1120 1110 1070 1150 1124

40 1070 1030 1050 986 1050 991 983 876 1050 103

80 1090 841 931 899 871 993 860 828 910 784

120 801 881 805 802 775 810 835 834 849 905

160 659 681 656 614 654 658 645 626 674 698

200 346 423 458 505 364 417 361 477 430 394

Для каждой фиксированной нагрузки на долото: 1. Построить графики эмпирической функции распределения и гистограмму. 2. Вычислить выборочные средние, дисперсии, стандартные отклонения и коэффициент вариации вращения вала турбобура. 3. Проверить гипотезу о нормальном распределения частот вращения вала турбобура для каждой фиксированной нагрузки на долото. 4. Найти 95% доверительные интервалы для значений математического ожидания и дисперсии. 280

Приложение B. Задания для самостоятельной работы

Задание 10 Данные по разжижающему действию лигнотина на буровой раствор по скважине Морозовская-2 ОАО Краснодарнефтегаз представлены в таблице 10, где ρ = 1850кг/м3 , pH ≈ 9.7, c – концентрация лигнотина, τ0 – динамическое напряжение сдвига. Таблица 10. c, % τ0 , ПА

1 15

1,5 15

3 15

4,5 18

6 51

1,5 10

3 18

4,5 36

3,0 16

6,0 9

Найти коэффициент корреляции τ0 и c, а также регрессию c на τ0 . Задание 11 В таблице 11 приведены результаты изучения прочностных характеристик пород методами соосных пуансонов: a – твердость по штампу, 102 кг/см3 ; b – напряжение сжатия, кг/см3 . Таблица 11. a b

110 125 90 235 320 260 325 340 310 250 390 85 100 105 135 138 145 150 163 174 240 235

Найти выборочные средние, дисперсии, медианы, коэффициенты ковариации. Построить графики эмпирических функций распределения и гистограммы для обоих параметров. Найти 99% доверительный интервал для математического ожидания и дисперсии. Найти коэффициент корреляции приведенных параметров и регрессию напряжения сжатия на твердость по штампу. 281

Приложение B. Задания для самостоятельной работы

Задание 12 Для каждого значения плотности сетки скважин ρ построить графики эмпирических функций распределения и гистограммы, найти выборочные средние и дисперсии, проверить гипотезу о нормальном распределении относительных потерь запасов нефти. Таблица 12. ρ, га/скв. 20 38,5 63 100

0,4 0,7 1,1 1,7

Относительные потери 1,7 1,6 1,5 1,1 0,8 2,8 2,7 2,5 1,8 1,2 3,4 3,3 3,0 2,2 1,5 4,6 4,4 4,0 2,9 2,0

запасов нефти, 2,1 2,0 1,9 3,5 3,4 3,2 4,5 4,4 4,1 6,3 6,1 5,7

% 1,5 2,5 3,3 4,6

1,2 1,9 2,6 3,7

Задание 13 Найти коэффициент корреляции массы бурового шлама m и диаметра скважины d в одной из однородных пород. Построить регрессионную зависимость между ними по данным из таблицы 13. Таблица 13. d, дюйм m, кг/м

5 58 37

6 34 53

7 78 73

8 34 90

9 58 12 14 13 34 17 12 22 11 109 175 220 360 565 141

Задание 14 Найти попарную линейную регрессионную зависимость между плотностью стабилизированной нефти, молекулярной массой нефти и процентным содержанием смол, а также средние и дисперсии для каждой из компонент, матрицу коэффициентов корреляции по данным, взятым с 10 месторождений (таблица 14). 282

Приложение B. Задания для самостоятельной работы

Таблица 14. Месторождение Плотность стабилизированной 3 нефти, г/см Березовское 0,8568 Карлово0,8596 Ситовское Яблоневый 0,8520 овраг Белозерское 0,8623 Чубовсое 0,8617 Серновадсоке 0,9027 Мухановское 0,8415 Михайловское 0,8300 Спасское 0,8380 Долино 0,8540

Молекулярная Содержание масса, г/моль смол, % 246 234

7,34 9,60

245

9,20

227 234 254 226 195 187 209

7,40 8,90 11,91 5,02 4,37 5,50 17

Задание 15 По выборке плотности нефти ρ (таблица 15) построить график эмпирической функции распределения и гистограмму, найти выборочные среднее и дисперсию, найти для них 95% доверительные интервалы и проверить гипотезу о нормальном распределении. Таблица 15. 3

ρ, г/см 3 ρ, г/см

0,7864 0,8050 0,8250 0,8452 0,8565 0,8780 0,888 0,888 0,8452 0,8709 0,8452 0,8565 0,7564 0,7685

Задание 16 Пластовые воды нефтяных месторождений содержат много пенного химического сырья. Существует технология получения пербората натрия из пластовых вод нефтяных месторождений. 283

Приложение B. Задания для самостоятельной работы

Он широко используется в качестве окислителя, отбеливателя и составной части синтетических моющих средств. Содержание бора в попутных водах нефтяных месторождений ТиманоПечерской нефтегазовой провинции приведено в таблице 16. Таблица 16. №

Месторождение

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

Усинское Возейское Харьяченское Баганское Салютинское Исаковское Аресское Сочемьюское Картаельское Западно-Тэтусское Пашнинское Джьерское Мичаюское Северо-Савиноборское Восточно-Савиноборское Расьюское Береговое Нижне-Омринское Верхне-Омринское Вой-Вожское Нибельское

Минерализация, г/л 44,0 48,7 140,3 159,1 79,3 144,7 121,8 220,4 283,9 115,7 62,9 76,4 81,5 154,1 183,8 235,9 114,7 50,2 138,4 20,7 120,0

Содержание бора, г/л 6,5 9,5 41,8 51,0 24,0 4,2 10,8 16,0 22,0 9,8 5,7 15,0 20, 0 9,0 12,8 35,2 10,0 14,7 21,3 8,2 14,7

Определить среднее содержание бора в месторождениях, дисперсию, медиану, моду, коэффициент корреляции содержания бора и минерализации.

284

Приложение C. КУРСОВАЯ РАБОТА По индивидуальным заданиям необходимо: 1. Составить таблицу условий эксперимента. 2. Составить план эксперимента, состоящий из 8 опытов; в план включить еще 3 опыта на основном уровне. В качестве плана выбрать дробную реплику (см. указания около своего номера). Построить систему оценок коэффициентов регрессии. План записать в кодовом и натуральном масштабах. 3. По данным опытов на основном уровне определить дисперсию и среднеквадратическую ошибку опыта. 4. Рассчитать коэффициенты регрессии и их доверительные интервалы. 5. Записать линейную модель и формулы перехода от кодированных значений факторов к натуральным. 6. Проверить адекватность линейной модели по F - критерию. 7. Наметить опыты крутого восхождения по градиенту линейной модели. Задание 1 Требуется повысить ударную вязкость σk листового материала из деформируемого алюминиевого сплава при изменении содержания в нем цинка x1 , толщины листа x2 , температуры x3 и времени x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания цинка – 6% и 1%; толщины листа – 9 мм и 1 мм; температуры – 460◦ и 10◦ ; времени старения – 14 ч. и 4 ч. 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (σk , кг/см2 ):

Приложение C. Курсовая работа

№ № № №

1 2 3 4

-

6,75 5,25 5,75 4,25

№ № № №

5 6 7 8

-

7,50 8,50 7,00 5,50

№ 9 - 5,75 № 10 - 6,25 № 11 - 7,00

Задание 2 Требуется повысить предел выносливости σ1 при 400◦ C одной из среднелегированных сталей при изменении содержания в ней углерода x1 , молибдена x2 , марганца x3 и титана x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания углерода – 0,35% и 0,5%; молибдена – 0,75% и 0,25%; марганца – 0,8% и 0,2%; титана – 0,45% и 0,15%. 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (σ1 , кг/мм2 ): № № № №

1 2 3 4

-

37, 5 34,5 35,5 32,5

№ 5 - 39,0 № 6 - 41,0 № 7 - 38,0 № 8 - 35,0

№ 9 - 36,9 №10 - 36,5 №11 - 37,0

Задание 3 Требуется повысить предел прочности σB при 300◦ C листов из одного из титановых сплавов при изменении содержания в нем алюминия x1 , олова x2 , температур отжига листового материала x3 и горячей деформации x4 . В качестве основного уровня и интервалов варьирования выбраны следующие величины соответственно для: содержания алюминия – 5% и 1%, содержания олова – 2,5% и 0,5%, температуры отжига листов – 600◦ и 20◦ , температуры горячей деформации – 1000◦ и 100◦ .

286

Приложение C. Курсовая работа

8 опытов плана и 3 опыта на основном уровне дали следующие результаты (σB , кг/мм2 ): № № № №

1 2 3 4

-

71 65 67 61

№ № № №

5 6 7 8

-

74 78 72 66

№ 9 - 69 №10 - 70 №11 - 68

Задание 4 Требуется повысить устойчивость к коррозии сплава вольфрама с никелем и медью в парах ртути при изменении содержания в нем никеля x1 , меди x2 , температуры горячей деформации x3 и температуры отжига x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания никеля – 6% и 1%, меди – 3% и 1%, температуры горячей деформации – 1050◦ и 50◦ и температуры отжига – 1050◦ и 50◦ . 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (потеря веса, г/мм2 ): № № № №

1 2 3 4

-

64 40 48 24

№ № № №

5 6 7 8

-

76 92 68 44

№ 9 - 59 №10 - 60 №11 - 55

Задание 5 Требуется повысить относительную стойкость в среде H2 SO4 одной из коррозионностойких сталей при изменении содержания в ней хрома x1 , никеля x2 , алюминия x3 и марганца x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания хрома – 16,5% и

287

Приложение C. Курсовая работа

0,5%, никеля – 7% и 1%, алюминия – 2% и 0,5% и марганца – 2,5% и 0,5%. 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (потеря веса за 15 суток, мг): № № № №

1 2 3 4

-

0,81 0,75 0,77 0,71

№ № № №

5 6 7 8

-

0,84 0,88 0,82 0,76

№ 9 - 0,80 №10 - 0,79 №11 - 0,78

Задание 6 Требуется повысить ударную вязкость an одной из сталей при изменении содержания в ней углерода x1 , марганца x2 , температуры закалки x3 и времени изотермической выдержки x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания углерода – 0,35% и 0,05%, марганца – 1,0% и 0,25%, температуры закалки – 850◦ и 50◦ и времени изотермической выдержки – 15 мин. и 5 мин. 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (an , кг/см2 ): № № № №

1 2 3 4

-

7,5 4,5 5,5 2,5

№ № № №

5 6 7 8

-

9,0 11,0 8,0 5,0

№ 9 - 6,5 №10 - 7,5 №11 - 5,5

Задание 7 Требуется повысить предел ползучести σ при 500◦ C одного из сплавов при изменении содержания в нем молибдена x1 , алюминия x2 , ниобия x3 и циркония x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно

288

Приложение C. Курсовая работа

для: содержания молибдена – 0,65% и 0,15%, алюминия – 2,26% и 0,25%, ниобия – 1,25% и 0,25% и циркония – 0,75% и 0,25%. 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (σ, кг/мм2 ) : № № № №

1 2 3 4

-

6,5 3,5 4,5 1,5

№ № № №

5 6 7 8

-

8,0 10,0 7,0 4,0

№ 9 - 6,0 №10 - 5,5 №11 - 5,0

Задание 8 Требуется повысить предел прочности σB литейного алюминиевого сплава АЛ 4М при изменении количества КВ4 , используемого для легирования сплава бором x1 , температуры обработки в жидком состоянии x2 , количества модификатора x3 и температуры старения x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: количества КВ4 , % от веса шихты – 1 и 0,5, температуры обработки – 800◦ и 50◦ , количества модификатора, % от веса шихты – 1,5 и 0,5; температуры старения – 160◦ и 10◦ . 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (σB , кг/мм2 ): № № № №

1 2 3 4

-

38,2 29,4 41,2 32,3

№ № № №

5 6 7 8

-

31,6 43,4 45,0 35,3

№ 9 - 38,3 №10 - 35,1 №11 - 36,2

Задание 9 Требуется повысить предел длительной прочности σ за 100 часов при температуре 400◦ C алюминиевого жаропрочного сплава при изменении содержания в нем цинка x1 , никеля 289

Приложение C. Курсовая работа

x2 , температуры старения x3 и времени x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания цинка – 5% и 1%, никеля – 1,5% и 0,5%; температуры старения – 150◦ и 25◦ и времени старения – 90 мин. и 30 мин. 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (σ, кг/мм2 ) : № № № №

1 2 3 4

-

20,5 17,5 18,5 15,5

№ № № №

5 6 7 8

-

22,0 24,0 21,0 18,0

№ 9 - 21,0 №10 - 19,5 №11 - 20,0

Задание 10 Требуется повысить предел текучести σ0,2 одного из высокопрочных литейных алюминиевых сплавов при изменении содержания в нем меди x1 , температуры перегрева при литье x2 , температуры старения x3 и времени старения x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания меди – 5,5% и 0,5%; температуры перегрева – 710◦ и 10◦ ; температуры старения – 150◦ и 25◦ и времени старения – 45 мин. и 15 мин. 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (σ0,2 , кг/мм2 ) : № № № №

290

1 2 3 4

-

40,5 37,5 38,5 35,5

№ № № №

5 6 7 8

-

42,0 44,0 41,0 38,0

№ 9 - 39,5 №10 - 41,0 №11 - 39,5

Приложение C. Курсовая работа

Задание 11 Требуется повысить релаксационную стойкость σост за 500 часов при 450◦ C одного из никелевых сплавов при изменении содержания в нем молибдена x1 , температуры закалки x2 , времени выдержки при закалке x3 и времени старения x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания молибдена – 0,75% и 0,25%; температуры закалки – 1150◦ и 50◦ ; времени выдержки при закалке – 60 мин. и 30 мин. и температуры старения – 800◦ и 50◦ . 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (σост , кг/мм2 ) : № № № №

1 2 3 4

-

7,5 4,5 5,5 2,5

№ № № №

5 6 7 8

-

9,0 11,0 8,0 5,0

№ 9 - 6,5 №10 - 7,0 №11 - 6,5

Задание 12 Требуется повысить отбел одного из чугунов при изменении содержания в нем углерода x1 , кремния x2 , марганца x3 и температуры заливки x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания в нем углерода – 3,75% и 0,25%; кремния – 1,5% и 0,1%; марганца – 0,6% и 0,2% и температуры заливки – 1400◦ и 50◦ . 8 опытов плана и 3 опыта на основном уровне дали следующие результаты: № № № №

1 2 3 4

-

62 50 54 42

№ № № №

5 6 7 8

-

68 76 64 52

№ 9 - 58 №10 - 60 №11 - 57

291

Приложение C. Курсовая работа

Задание 13 Требуется снизить горячеломкость медного сплава при изменении содержания в нем бериллия x1 , хрома x2 , скорости охлаждения x3 и температуры разливки x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания бериллия – 2% и 0,5%; хрома – 1,5% и 0,5%; скорости охлаждения – 60◦ /мин. и 30◦ /мин. и температуры разливки – 1225◦ и 25◦ . 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (горячеломкость, %): № № № №

1 2 3 4

-

55 25 35 25

№ № № №

5 6 7 8

-

70 90 60 30

№ 9 - 40 №10 - 45 №11 - 50

Задание 14 Требуется повысить жидкотекучесть чугуна при изменении в нем содержания углерода x1 , кремния x2 , количества модификатора x3 и времени модифицирования x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания углерода – 3,75% и 0,25%; кремния – 2,25% и 0,25%; количества модификатора – 0,3% и 0,1% и времени модифицирования – 15 мин. и 5 мин. 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (жидкотекучесть, мм): № № № №

292

1 2 3 4

-

1050 750 850 550

№ № № №

5 6 7 8

-

1200 1400 1100 800

№ 9 - 1100 №10 - 950 №11 - 1000

Приложение C. Курсовая работа

Задание 15 Требуется повысить длительную прочность σ литейного магниевого сплава, меняя в нем содержания лития x1 , иттрия x2 , лантана x3 и церия x4 . В качестве основного уровня и интервалов варьирования выбраны соответственно для: содержания лития – 2,5% и 1%; иттрия – 0,5% и 0,2%; лантана – 0,3% и 0,1% и церия – 0,2% и 0,2%. 8 опытов плана и 3 опыта на основном уровне дали следующие результаты (σ, кг/мм2 ) : № № № №

1 2 3 4

-

2,5 5,8 6,3 4,2

№ № № №

5 6 7 8

-

3,8 4,7 5,1 2,9

№ 9 - 5,0 №10 - 3,9 №11 - 3,6

293

Приложение D. ТАБЛИЦЫ §7

Некоторые распределения вероятностей

Таблица 7.1. Некоторые распределения вероятностей. Название Показательное Рэлея Максвелла Лапласа Нормальное Логнормальное Коши Логистическое Макс. значения (Гумбеля, тип I) Мин. значения ГнеденкоВейбулла

1

Плотность λe−λx , x ≥ 0

Парам. λ>0

x2 − 2b 2

x ,x ≥ 0 b2 e x2 2 2x √ e− 2b2 , x ≥ 0 b3 2π b −b|x−a| 2e (x−µ)2 √1 e− 2σ2 σ 2π (ln x−µ)2 − 2σ2 1 √ e , xσ 2π

x≥0 b π(b2 + (x − a)2 ) x−a 1 e− b ´2 ³ x−a b 1 + e− b − 1 − x−a b e−e be

x−a b

x−a

b 1 x−a b e−e be α−1 −λxα

αλx

e x≥0

,

Mξ 1 λ

b>0

p b π2 q 2 π2 b

λ>0

a

σ>0

µ

σ>0

eµ+

b>0

–

b>0

a

b>0

н/а1

b>0

b>0 α > 0, λ > 0

λ

Не имеет аналитического выражения через параметры.

1 −α

σ2 2

н/а ¢ ¡ Γ 1 + α1

Приложение D. Таблицы

Таблица 7.3. Характеристики некоторых распределений. Название Показательное Рэлея

Dξ

Максвелла Лапласа Нормальное Логнормальное Коши Логистическое Макс. значения Мин. значения Гнеденко-

Мода 0 b √ b 2 a µ

1 λ2 (2 − π2 )b2 b2 (3π−8) π 2 λ2 2

e2µ+σ

2

³σ 2 ´ eσ − 1

eµ−σ

a π2 b 3

2

λ− λ

н/а н/а ¡2 2 Γ( α α) −

¢

1 1 α2 Γ( α )

– a a a 0, если α ≤ 1; ´1/α ³ 1−1/α λ

Вейбулла

§8

2

Распределение Колмогорова

Таблица 8.1. Процентные точки распределения Колмогорова для проверки простой гипотезы. n 1 2 3 4 5 6

20% 0.90000 0.68377 0.56481 0.49265 0.44698

10% 0.95000 0.77639 0.63604 0.56522 0.50945

5% 0.97500 0.84189 0.70760 0.62394 0.56328

2% 0.99000 0.90000 0.78456 0.68887 0.62718

1% 0.99500 0.92929 0.82900 0.73424 0.66853

0.41037 0.46799 0.51926 0.57741 0.61661 Продолжение на следующей странице

295

§ 8 Распределение Колмогорова

n 7 8 9 10

20% 0.38148 0.35831 0.33910 0.32260

10% 0.43607 0.40962 0.38746 0.36866

5% 0.48342 0.45427 0.43001 0.40925

2% 0.53844 0.50654 0.47960 0.45662

1% 0.57581 0.54179 0.51332 0.48893

11 12 13 14 15

0.30829 0.29577 0.28470 0.27481 0.26588

0.35242 0.33815 0.32549 0.31417 0.30397

0.39122 0.37543 0.36143 0.34890 0.33760

0.43670 0.41918 0.40362 0.38970 0.37713

0.46770 0.44905 0.43247 0.41762 0.40420

16 17 18 19 20

0.25778 0.25039 0.24360 0.23735 0.23156

0.29472 0.28627 0.27851 0.27136 0.26473

0.32733 0.31796 0.30936 0.30143 0.29408

0.36571 0.35528 0.34569 0.33685 0.32866

0.39201 0.38086 0.37062 0.36117 0.35241

21 22 23 24 25

0.22617 0.22115 0.21645 0.21205 0.20790

0.25858 0.25283 0.24746 0.24242 0.23768

0.28724 0.28087 0.27490 0.26931 0.26404

0.32104 0.31394 0.30728 0.30104 0.29516

0.34427 0.33666 0.32954 0.32286 0.31657

26 27 28 29 30

0.20399 0.20010 0.19680 0.19348 0.19032

0.23320 0.22898 0.22497 0.22117 0.21756

0.25907 0.25438 0.24993 0.24571 0.24170

0.28962 0.28438 0.27942 0.27471 0.27023

0.31064 0.30502 0.29971 0.29466 0.28987

31 32 33 34 35

0.18732 0.18445 0.18171 0.17909 0.17659

0.21412 0.21085 0.20771 0.20472 0.20185

0.23788 0.23424 0.23076 0.22743 0.22425

0.26596 0.26189 0.25801 0.25429 0.25073

0.28530 0.28094 0.27677 0.27279 0.26397

Продолжение на следующей странице

296

Приложение D. Таблицы

n 36 37 38 39 40

20% 0.17418 0.17188 0.16966 0.16753 0.16547

10% 0.19910 0.19646 0.19392 0.19148 0.18913

5% 0.22119 0.21826 0.21544 0.21273 0.21012

2% 0.24732 0.24404 0.24089 0.23786 0.23494

1% 0.26532 0.26180 0.25843 0.25518 0.25205

41 42 43 44 45

0.16349 0.16158 0.15974 0.15796 0.15623

0.18687 0.18468 0.18257 0.18053 0.17856

0.20760 0.20517 0.20283 0.20056 0.19837

0.23213 0.22941 0.22679 0.22426 0.22181

0.24904 0.24613 0.24332 0.24060 0.23798

46 47 48 49 50

0.15457 0.15295 0.15139 0.14987 0.14840

0.17665 0.17481 0.17302 0.17128 0.16959

0.19625 0.19420 0.19221 0.19028 0.18841

0.21944 0.21715 0.21493 0.21277 0.21068

0.23544 0.23298 0.23059 0.22828 0.22604

51 52 53 54 55

0.14697 0.14558 0.14423 0.14292 0.14164

0.16796 0.16637 0.16483 0.16332 0.16186

0.18659 0.18482 0.18311 0.18144 0.17981

0.20864 0.20667 0.20475 0.20289 0.20107

0.22386 0.22174 0.21968 0.21768 0.21574

56 57 58 59 60

0.14040 0.13919 0.13801 0.13686 0.13573

0.16044 0.15906 0.15771 0.15639 0.15511

0.17823 0.17669 0.17519 0.17373 0.17231

0.19930 0.19758 0.19590 0.19427 0.19267

0.21384 0.21199 0.21019 0.20844 0.20673

61 62 63 64 65

0.13464 0.15385 0.17091 0.19112 0.13357 0.15263 0.16956 0.18960 0.13253 0.15114 0.16823 0.18812 0.13151 0.15027 0.16693 0.18667 0.13052 0.14913 0.16567 0.18525 Продолжение на следующей странице

0.20506 0.20343 0.20184 0.20029 0.19877

297

§ 8 Распределение Колмогорова

n

20%

10%

5%

2%

1%

66 67 68 69 70

0.12954 0.12859 0.12766 0.12675 0.12586

0.14802 0.14693 0.14587 0.14483 0.14381

0.16443 0.16322 0.16204 0.16088 0.15975

0.18387 0.18252 0.18119 0.17990 0.17863

0.19729 0.19584 0.19442 0.19303 0.19167

71 72 73 74 75

0.12499 0.12413 0.12329 0.12247 0.12167

0.14281 0.14183 0.14087 0.13993 0.13901

0.15864 0.15755 0.15649 0.15544 0.15442

0.17739 0.17618 0.17498 0.17382 0.17268

0.19034 0.18903 0.18776 0.18650 0.18528

76 77 78 79 80

0.12088 0.12011 0.11935 0.11860 0.11787

0.13811 0.13723 0.13636 0.13551 0.13467

0.15342 0.15244 0.15117 0.15052 0.14960

0.17155 0.17045 0.16938 0.16832 0.16728

0.18408 0.18290 0.18174 0.18060 0.17949

81 82 83 84 85

0.11716 0.11645 0.11576 0.11508 0.11442

0.13385 0.13305 0.13226 0.13148 0.13072

0.14868 0.14779 0.14691 0.14605 0.14520

0.16626 0.16526 0.16428 0.16331 0.16236

0.17840 0.17732 0.17627 0.17523 0.17421

86 87 88 89 90

0.11376 0.11311 0.11248 0.11186 0.11125

0.12997 0.12923 0.12850 0.12779 0.12709

0.14437 0.14355 0.14274 0.14195 0.14117

0.16143 0.16051 0.15961 0.15871 0.15786

0.17321 0.17223 0.17126 0.17031 0.16938

91 92 93 94

298

0.11064 0.12640 0.14040 0.15700 0.11005 0.12572 0.13965 0.15616 0.10947 0.12506 0.13891 0.15533 0.10589 0.12440 0.13818 0.15451 Продолжение на следующей странице

0.16846 0.16755 0.16666 0.16579

Приложение D. Таблицы

n 95

20% 0.10833

10% 0.12375

5% 0.13746

2% 0.15371

1% 0.16493

96 97 98 99 100

0.10777 0.10722 0.10668 0.10615 0.10563

0.12312 0.12249 0.12187 0.12126 0.12067

0.13675 0.13606 0.13537 0.13469 0.13403

0.15291 0.15214 0.15137 0.15061 0.14987

0.16408 0.16324 0.16242 0.16161 0.16081

n > 100

1.0727 √ n

1.2238 √ n

1.3581 √ n

1.5174 √ n

1.6276 √ n

Таблица 8.3. Процентные точки предельного распределения Колмогорова для проверки сложной гипотезы. Гипотетическое распределение Показательное Рэлея Максвелла

Оц. 15% 10% парам. λ 0.9291 0.9872 b 0.9402 0.9999 b 0.9284 0.9890 b 1.1081 1.1897 Лапласа a 0.8914 0.9435 a, b 0.7966 0.8467 σ 1.1208 1.2081 Нормальное µ 0.8330 0.8790 µ, σ 0.7808 0.8255 σ 1.0880 1.1736 Логнормальное µ 0.9147 0.9875 µ, σ 0.8539 0.9268 b 1.0590 1.1497 Коши a 0.9080 0.9659 a, b 0.7620 0.8117 b 1.1034 1.1957 Логистическое a 0.7912 0.8373 a, b 0.7060 0.7400 Продолжение на следующей

5%

2.5%

1.0861 1.1846 1.0952 1.1859 1.0853 1.1770 1.3222 1.4501 1.0240 1.0992 0.9261 1.0016 1.3446 1.4731 0.9497 1.0156 0.8954 0.9611 1.3147 1.4523 1.1083 1.2266 1.0500 1.1723 1.2950 1.4339 1.0589 1.1481 0.8868 0.9557 1.3441 1.4864 0.9109 0.9813 0.7964 0.8516 странице

1% 1.3145 1.3017 1.2938 1.6147 1.1935 1.0978 1.6356 1.0982 1.0442 1.6308 1.3805 1.3330 1.6116 1.2623 1.0414 1.6689 1.0714 0.9234

299

§ 8 Распределение Колмогорова

Гипотетическое распределение Макс. значения

Мин. значения ГнеденкоВейбулла

300

Оц. парам. b a a, b b a a, b α λ α, λ

15%

10%

5%

2.5%

1%

1.1157 0.9137 0.7705 1.1027 0.9386 0.7655 1.0824 0.9425 0.7634

1.2033 0.9775 0.8119 1.1897 1.0048 0.8080 1.1659 1.0064 0.8022

1.3402 1.0794 0.8808 1.3286 1.1103 0.8758 1.3043 1.1087 0.8658

1.4689 1.1765 0.9485 1.4612 1.2108 0.9405 1.4396 1.2065 0.9276

1.6315 1.3004 1.0367 1.6305 1.3390 1.0233 1.6157 1.3315 1.0074

Литература Основная [1] Асатурян В.И. Теория планирования эксперимента. Уч. пос. для ВУЗов. М.: Радио и связь, 1983 – 248с. [2] Аладьев В.З. Основы программирования в Maple. Таллин, 2006. [3] Боровков А.А. Математическая статистика. Оценка параметров. Проверка гипотез. М.: Наука, 1984 – 472с. [4] Бочаров П.П., Печинкин А.В. Теория вероятностей. Математическая статистика. (Учебное пособие). М.: Гардарика, 1998 – 326с. [5] Дьяконов В.П. Maple 9.5/10 в математике, физике и образовании. Библиотека профессионала. М.: СолонПресс, 2006 – 720c. [6] Калинина Э.В., Хургин Я.И., Эстрина Т.М. Вероятностные методы. Методические указания по курсовому проектированию для студентов специальности 0647 “Математические матоды планирования эксперимента”. М.: МИНХиГП им. И.М. Губкина, 1974. [7] Тюрин Ю.Н, Макаров А.А. Анализ данных на компьютере. М.: Инфра-М, 2003 – 544с. [8] Чен-Син Э.П., Кочуева О.Н. Сборник лабораторных работ и заданий для самостоятельной работы по разделам “Математическая статистика и планирование эксперимента” курса “Математическое моделирование в нефтегазовых отраслях промышленности” под редакцией проф. В.В. Рыкова. М.: РГУ нефти и газа им. И.М. Губкина, 1999 – 22с.

Литература

Дополнительная [9] Айвазян С.А., Мхитарян В.С. Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2-х т. – М.: ЮНИТИ-ДАНА, 2001. – 656с. (т.1), 432с. (т.2). [10] Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука. Главная редакция физикоматематической литературы, 1983 – 416с. [11] Ван дер Варден. Математическая статистика (перевод с немецкого). М.: ИИЛ, 1960 – 434с. [12] Гнеденко Б.В. Предельные теоремы о максимуме членов вариационного ряда. Annals of Math. 44, N. 3, 1943. [13] Кельберт М.Я., Сухов Ю.М. Вероятность и статистка в примерах и задачах. Основные понятия теории вероятностей и математической статистики. М.: изд. МЦНМО, 2007 – 455с. [14] Кендалл М.Дж., Стюарт А. Теория статистики в трех томах. М.: Наука, 1976 – 736с. [15] Климов Г.П. Прикладная математическая статистика. ч.I, II М.: МГУ, 1969. [16] Климов Г.П. Теория вероятностей и математическая статистика. М.: МГУ, 1983. [17] Колмогоров А.Н. Об эмпирическом определении закона распределения. Учен. зап. Моск. ун-та, вып. 1, 1933; 910. [18] Крамер Г. Математические методы статистики. М.: Мир, 1976 – 648с. [19] Лемешко Б.Ю., Постовалов С.Н. О распределениях статистик непараметрических критериев согласия при оценивании по выборкам параметров наблюдаемых законов. Заводская лаборатория, 1998. Т.64.- № 3. – с.61-72. [20] Налимов В.В. Теория эксперимента. - М.:Наука, 1971.

302

Литература

[21] Основы компьютерного моделирования (коллектив авторов под ред. проф. В.В. Рыкова). М.: РГУ нефти и газа им. И.М. Губкина, 2000 – 287с. [22] Розанов Ю.А. Теория вероятностей, случайные процессы и математическая статистика. М.: Наука, 1985. [23] Смирнов Н.В. Предельные законы распределения для членов вариационного ряда. Труды Математического института им. Стеклова, т. XXV (1949), сс. 1-59. [24] Chernoff H. and Lehmann E.L. The use of maximum likelihood estimates in χ2 tests for godness of fit. - Ann. Math. Stat., 25, 579-586.

303