Вероятность. Основные понятия. Структура. Методы

А.В.Скороход I. ВЕРОЯТНОСТЬ. ОСНОВНЫЕ ПОНЯТИЯ. СТРУКТУРА. МЕТОДЫ (Итоги науки и техн. ВИНИТИ. Соврем, пробл. матем. фундам. направл., 1989, 43, 5—145)

Излагаются аксиоматика теории вероятностей и основные факты, связанные со случайными величинами, случайными процессами, предельными теоремами. II. МАРКОВСКИЕ ПРОЦЕССЫ И ВЕРОЯТНОСТНЫЕ ПРИЛОЖЕНИЯ В АНАЛИЗЕ (Итоги науки и техн. ВИНИТИ. Соврем, пробл. матем. Фундам. направл., 1989, 43, 147—188)

Статья содержит краткий обзор основных фактов теории марковских процессов (в основном — скачкообразных и диффузионных) и ее связь с теорией дифференциальных уравнений в частных производных 2-го порядка. III. ВЕРОЯТНОСТЬ. ПРИКЛАДНЫЕ АСПЕКТЫ (Итоги науки и техн. ВИНИТИ. Соврем, пробл. матем. Фундам. направл., 1989, 43, 189—270)

Статья содержит краткий обзор основных понятий математической статистики, а также обзор статистических задач в теории вероятности (управляемые случайные процессы, энтропия и информация, фильтрация случайных процессов). I. ВЕРОЯТНОСТЬ. ОСНОВНЫЕ ПОНЯТИЯ. СТРУКТУРА. МЕТОДЫ Глава 1. Введение 7 § 1. Природа случайности 7 1.1. Детерминизм и хаос 8 1.2. Непредсказуемость и случайность 8 1.3. Истоки случайности 9 1.4. Роль случайности 10 § 2. Формализация случайности 11 2.1. Выбор из нескольких возможностей. Случайный эксперимент. 11 События 2.2. Частоты. Вероятность как идеальная частота 14 2.3. Определение вероятности 16 § 3. Задачи теории вероятностей 17 3.1. Теория вероятностей и теория меры 18 3.2. Независимость 19 3.3. Асимптотическое поведение вероятностных систем 20 3.4. Вероятностный анализ 20 Глава 2. Вероятностное пространство 21 § 1. Конечное вероятностное пространство 21 1.1. Комбинаторика 21 1.2. Условная вероятность 23 1.3. Схема Бернулли. Предельные теоремы 26 § 2. Определение вероятностного пространства 29 29 2.1. σ-алгебры. Вероятность 2.2. Случайные величины. Математические ожидания 32 2.3. Условное математическое ожидание 34 2.4. Регулярные условные распределения 37

2.5. Пространства случайных величин. Сходимость § 3. Случайные отображения 3.1. Случайные элементы 3.2. Случайные функции 3.3. Случайные элементы в линейных пространствах § 4. Построение вероятностных пространств 4.1. Конечномерное пространство 4.2. Функциональные пространства 4.3. Линейные топологические пространства. Слабые распределения 4.4. Теорема Минлоса — Сазонова Глава 3. Независимость § 1. Независимость σ -алгебр 1.1. Независимые алгебры 1.2. Условия независимости σ-алгебр 1.3. Бесконечные последовательности независимых σ-алгебр 1.4. Независимые случайные величины § 2. Последовательность независимых случайных величин 2.1. Суммы независимых случайных величин 2.2. Неравенство Колмогорова 2.3. Сходимость рядов из независимых случайных величин 2.4. Усиленный закон больших чисел § 3. Случайное блуждание 3.1. Схема восстановления 3.2. Возвратность 3.3. Лестничные функционалы § 4. Процесс с независимыми приращениями 4.1. Определение 4.2. Стохастически непрерывные процессы 4.3. Формула Леви § 5. Продакт-меры 5.1. Определение 5.2. Абсолютная непрерывность и сингулярность мер 5.3. Теорема Какутани 5.4. Абсолютная непрерывность гауссовских продакт-мер Глава 4. Общая теория случайных процессов и функций § 1. Регулярные модификации 1.1. Сепарабельные случайные функции 1.2. Непрерывные случайные процессы 1.3. Процессы без разрывов второго рода 1.4. Марковские процессы § 2. Измеримость 2.1. Условие существования измеримой модификации 2.2. Интегрирование в среднем квадратическом

38 42 42 46 48 50 50 52 54 56 58 58 58 60 61 62 64 64 66 68 70 73 73 76 80 84 84 86 89 93 93 94 95 97 98 98 100 101 103 104 105 105 107

2.3. Разложение случайной функции в ортогональный ряд § 3. Согласованные процессы 3.1. Моменты остановки 3.2. Прогрессивная измеримость 3.3. Вполне измеримая и предсказуемая σ-алгебры 3.4. Вполне измеримые и предсказуемые процессы § 4. Мартингалы 4.1. Определение и простейшие свойства 4.2. Неравенства. Существование предела 4.3. Непрерывный параметр § 5. Стохастические интегралы и интегральные представления случайных функций 5.1. Случайные меры 5.2. Теорема Карунена 5.3. Спектральное представление некоторых случайных функций Глава 5. Предельные теоремы § 1. Слабая сходимость распределений 1.1. Слабая сходимость мер в метрических пространствах 1.2. Слабая компактность 1.3. Слабая сходимость мер в Rd § 2. Эргодическая теорема 2.1. Сохраняющие меру преобразования 2.2. Теорема Биркгофа 2.3. Метрическая транзитивность § 3. Центральная предельная теорема и принцип инвариантности 3.1. Одинаково распределенные слагаемые 3.2. Теорема Линдеберга 3.3. Теорема Донскера — Прохорова Историко-библиографический комментарий Литература

108 110 111 112 112 114 115 115 117 120 120 120 122 123 124 124 124 127 128 129 129 132 135 137 138 139 140 144 145

II. МАРКОВСКИЕ ПРОЦЕССЫ И ВЕРОЯТНОСТНЫЕ ПРИЛОЖЕНИЯ В АНАЛИЗЕ Глава 1. Марковские процессы 148 § 1. Определение и общие свойства 149 1.1. Определение марковского процесса 149 1.2. Вероятность перехода 150 1.3. Регулярность 153 § 2. Чисто разрывные процессы 155 2.1. Определение 155 2.2. Уравнения Колмогорова 157 § 3. Диффузионные процессы 162 3.1. Определение диффузионного процесса 163 3.2. Уравнения Колмогорова 164

Глава 2. Вероятностное представление решений дифференциальных уравнений с частными производными § 1. Задачи для параболического уравнения 1.1. Задача Коши 1.2. Формула Каца 1.3. Смешанная задача для обратного параболического уравнения § 2. Краевые задачи для эллиптических операторов 2.1. О моментах выхода из ограниченной области 2.2. Решение внутренней краевой задачи § 3. Винеровская мера и решение уравнений с оператором Лапласа 3.1. Винеровский процесс в Rd 3.2. Стохастический интеграл 3.3. Представление решений уравнений Историко-библиографический комментарий Литература III. ВЕРОЯТНОСТЬ. ПРИКЛАДНЫЕ АСПЕКТЫ Глава 1. Статистические методы § 1. Обработка эмпирической информации 1.1. Частота и вероятность 1.2. Эмпирическая функция распределения 1.3. Усиленный закон больших чисел и предельное поведение эмпирических характеристик 1.4. Критерий согласия Колмогорова — Смирнова § 2. Проверка гипотез 2.1. Постановка задачи 2.2. Критерий Неймана — Пирсона 2.3. Обнаружение сигнала на фоне шума § 3. Принятие решений в условиях неопределенности 3.1. Постановка задачи 3.2. Минимаксные и байесовские решения 3.3. Последовательный анализ Глава 2. Управляемые случайные процессы § 1. Управляемые случайные последовательности 1.1. Постановка задачи 1.2. Оптимальные и ε-оптимальные управления § 2. Управляемые цепи Маркова 2.1. Аддитивная стоимость управления. Уравнение Беллмана 2.2. Оптимальная остановка цепи Маркова § 3. Управляемые марковские процессы с непрерывным временем 3.1. Скачкообразные процессы 3.2. Управляемые диффузионные процессы Глава 3. Информация § 1. Энтропия 1.1. Энтропия вероятностного эксперимента

166 167 167 169 171 172 173 174 177 177 180 185 187 187 190 191 191 194 195 196 198 198 199 201 203 204 205 207 210 210 211 213 218 219 220 224 224 229 231 231 231

1.2. Свойства энтропии 233 236 1.3. ε-энтропия и энтропия непрерывной случайной величины 1.4. Информация 237 § 2. Передача информации 240 2.1. Канал связи 240 2.2. Кодирование и декодирование 244 § 3. Теорема Шеннона 245 3.1. Простейший случай передачи информации 246 3.2. Обобщения 250 Глава 4. Фильтрация 252 § 1. Линейный прогноз и фильтрация для стационарных случайных 252 процессов 1.1. Общий подход к построению линейной оценки случайной 252 величины 1.2. Прогноз стационарной последовательности 254 1.3. Фильтрация одной стационарной последовательности по другой 259 § 2. Нелинейная фильтрация 261 2.1. Общие замечания 261 2.2. Задача о разладке 262 2.3. Фильтрация цепи Маркова 265 Историко-библиографический комментарий 269 Литература 269 ИМЕННОЙ УКАЗАТЕЛЬ Кантелли (Cantelli F. P.) 62, 71, 89, Байес (Bayes Т.) 24, 25 102, 103, 181 Беллман (Bellman R.) 219, 225, 226, Карунен (Karhunen К.) 122 229 Кац (Кае М.) 148, 169 Бернулли (Bernulli J.) 19, 26, 27, 66 Клапейрон (Clapeyron В.) 11 Бернштейн С. Н. 26 Колмогоров А. Н. 17, 18, 19, 53, 61, Биркгоф (Birkhoff G. D.) 132 66, 70, 88, 99, 102, 104, 144, 147, Бозе (Bose S.) 22 148, 150, 157, 160, 161, 162, 164, Больцман (Boltzmann L.) 22 166, 187, 196, 267 Борель (Borel E.) 62, 71, 89, 102, 103, Коши (Cauchy A.) 97, 148, 167, 169, 181 183, 185 Бохнер (Bochner S.) 49, 50, 123 Лаплас (Laplace P.) 8, 29, 44, 65, 73 Бюффон (Buffon G.) 32 Лебег (Lebesque H.) 32, 41, 108, 180 Винер (Wiener N.) 80 Леви (Levy P.) 85, 89, 92 Гихман И. И. 148 Линдеберг (Lindeberg J. W.) 139 Дирак (Dirac P.) 22 Ляпунов А. А. 140 Дирихле (Dirichlet P. G.) 174, 186 Максвелл (Maxwell J. С.) 22 Донскер (Donsker M.) 140 Марков А. А. 149, 220 Дуб (Doob J. L.) 100 Мизес (Mises R.) 16, 73 Жордан (Jordan С.) 95 Минлос Р. А. 56 Ито (ltd К.) 148 Муавр (Moivre A.) 29, 44 Какутани (Kakutani S.) 95

Нейман (Neyman J.) 199 Стирлинг (Stirling J.) 29 Никодим (Nikodym D.) 18, 36, 94 Фату (Fatou P.) 97 Ньютон (Newton I.) 8 Ферми (Fermi E.) 22 Петровский И. Г. 148 Фубини (Fubini G.) 95, 105, 108 Пирсон (Pearson E. S.) 199 Фурье (Fourier J. B. J.) 148, 202, 258 Платон (Platonj 15 Хинчин А. Я. 148 Прохоров Ю. В. 140, 141 Чебышев П. Л. 38, 65, 66 Пуассон (Poisson S.) 28, 43 Чепмен (Chapman D. G.) 104, 150, Радон (Radon J.) 18, 36, 94, 126 155, 162 Риман (Riemann В.) 107, 108 Шеннон (Shannon С.) 245, 246 Сазонов В. В. 56 Эйнштейн (Einstein A.) 22 Смирнов Н. В. 196 Яглом А. М. 257 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ геометрические вероятности 31 Аддитивная стоимость управления гипотеза 24 219 Декодирование 244 аксиоматика Колмогорова 17 дискретная случайная величина 33 — Мизеса 16 дискретный процесс с независимыми Алгебра событий 14 приращениями 84 σ-алгебра 21, 29 дисперсия 34 аналитическое множество 216 диффузионный процесс 163 арифметическое распределение 75 доверительный интервал 193 байесовское решение 206 достаточная статистика 192 броуновское движение 90 Задача Бюффона 32 Вариационный ряд 194 — Дирихле 174, 186 величина перескока 80 — Коши 167, 169, 185 вероятности биномиальные 27 — о разладке 262 — полиномиальные 27 закон больших чисел 12, 65 вероятностное пространство 21 — нормальных флуктуации 20 вероятностный анализ 20 — 0 или 1 Колмогорова 61 вероятность 15 Измеримая случайная функция 105 — ошибки второго рода 198 измеримое отображение 42 — — первого рода 198 инвариантная мера 131 — перехода 150 интервальное оценивание 193 винеровская мера 179 Канал связи 240 винеровский процесс 90, 177 кодирование 244 возвратность 77 количество информации 237 вполне измеримое множество 112 конечномерные распределения 46 — измеримый процесс 114 корреляционная функция 47 — непредсказуемый момент корреляционный оператор 45 остановки 112 коэффициент переноса 163 время ожидания 44 критерий Неймана — Пирсона 199 Гармоническая функция 222 — согласия Колмогорова — гауссова мера 93 Смирнова — случайная функция 47

196 критическое множество 198 Лестничные функционалы 80 Максимальная эргодическая теорема 132 марковский процесс 104, 150 мартингал 116 математическое ожидание 34 метод Винера 80 — симметризации 69 метрическая транзитивность 136 минимаксное решение 206 момент 34 — восстановления 73 — остановки 111 — первого выхода из области 171 — перескока 80 моментная функция 47 мощность правила 198 Неарифметическое распределение 76 независимость 19, 25 — алгебр 26, 58 независимые случайные элементы 63 нелинейная фильтрация 261 непрерывное распределение 33 непрерывный случайных процесс 101 неравенство Колмогорова 66 — Чебышева 38, 65 неразличимые процессы 114 нерандомизированное управление 212, 215 несмещенная оценка 192 неупреждающая фильтрация 260 Обнаружение сигнала 201 однородный марковский процесс 153 оператор диффузии 163 оптимальная остановка 220 — стратегия 213 ε-оптимальная стратегия 213 остаточная σ-алгебра 61 оценка 192 Плотность распределения 33 положительно определенная функция 47

поток σ-алгебр 110 предсказуемые множества 113 предсказуемый момент остановки 112 — процесс 114 преобразование Лапласа 73 принцип инвариантности 141 прогрессивная измеримость 112 продакт-меры 93 произведение алгебр 26 — мер 26 производящая функция 65 пропускная способность 242 процесс без разрывов второго рода 103 — с независимыми приращениями 84 пуассоновский процесс 89 Равновозможность 12, 16 равномерная интегрируемость 41 — плотность 126 равномерно чисто разрывный марковский процесс 155 разложение Леви 85 распределение биномиальное 43 — величины 33 — гауссово 44, 45 — геометрическое 43 — нормальное 44, 45 — показательное 43 — Пуассона 28, 43 — равномерное 43, 45 регулярная модификация 98 решающая функция 204 Сепарабельные случайные функции 100 слабая компактность 127 — сходимость мер 124 — — распределений 124 слабое распределение 55 случайная величина 32 — мера 120 — функция 46 случайное блуждание 73 случайный вектор 44

— эксперимент 12 — элемент 42 события 12 согласованные конечномерные распределения 52 — процессы 110 спектральная плотность 255 — функция 254 статистика 192 — Бозе — Эйнштейна 22 — Максвелла — Больцмана 22 — Ферми — Дирака 22 стационарная последовательность 123 — — в узком смысле 130 стационарный процесс 123 — — эргодический 136 стоимость управления 211 стохастически непрерывный процесс 85 стохастический интеграл 121, 180 стратегия управления 212 ступенчатые управления 224 субгармоническая функция 222 субмартингал 116 супергармоническая функция 222 супермартингал 116 схема Бернулли 27 — восстановления 73 сходимость по вероятности 38 — почти наверное 39 — с вероятностью 1 40 счетные однородные марковские процессы 162 Теорема Бернулли 19, 27 — Биркгофа 132 — Бореля — Кантелли 62 — Бохнера 49, 123 — для отношений 133 — Донскера — Прохорова 140 — Какутани 95 — Карунена 122 — Колмогорова 53, 61, 66, 102 — — о трех рядах 70

— Линдеберга 139 — Минлоса—Сазонова 56 — Муавра—Лапласа 29 — Пуассона 28 — Радона — Никодима 94 — Чебышева 66 — Шеннона 246 Тотальное множество 49 точечное оценивание 192 Управляемый диффузионный процесс 229 — случайный процесс 210 — — — с дискретным временем 210 уравнение Беллмана 219, 225 — Колмогорова 157, 164 — типа свертки на полуоси 80 — Чепмена — Колмогорова 104, 150 усиленный закон больших чисел 71 условие Линдеберга 139 условия согласования 46 условная вероятность 23 условное математическое ожидание 35 Формула Байеса 24, 25 — Каца 169 — Леви 89, 92 — полной вероятности 24 — Стирлинга 29 функция восстановления 73 — распределения 42 — риска 204 Характеристическая функция 48 характеристический функционал 49 Центральная предельная теорема 137 центральный момент 34 цилиндрическое множество 52 Частота 15 чисто разрывный марковский процесс 155, 159 Шаг распределения 75 элементарные исходы 13 — события 13 эмпирическая дисперсия 195 — информация 191

— функция распределения 194 эмпирические характеристики 195 эмпирический квантиль 195 — момент 195 эмпирическое среднее 195

энтропия вероятностного эксперимента 231 — непрерывной случайной величины 236 ε-энтропия 236 эргодические теоремы 20, 129