Введение в методы стохастической оптимизации и оценивания

ÑÀÍÊÒ-ÏÅÒÅÐÁÓÐÃÑÊÈÉ ÃÎÑÓÄÀÐÑÒÂÅÍÍÛÉ ÓÍÈÂÅÐÑÈÒÅÒ

Î.H. ÃÐÀÍÈ×ÈÍ

ÂÂÅÄÅÍÈÅ Â ÌÅÒÎÄÛ ÑÒÎÕÀÑÒÈ×ÅÑÊÎÉ ÎÏÒÈÌÈÇÀÖÈÈ È ÎÖÅÍÈÂÀÍÈß Ó ÷ å á í î å

ï î ñ î á è å

Èçäàòåëüñòâî Ñ.-Ïåòåðáóðãñêîãî óíèâåðñèòåòà 2003

ÓÄÊ 519.712 ÁÊÊ 32.811.7 à 77 Ð å ö å í ç å í ò û: ä-ð ôèç.-ìàò. íàóê ïðîô. À.Å. Áàðàáàíîâ (Ñ.-Ïåòåðáóðãñêèé ãîñ. óí-ò) êàíä. ôèç.ìàò. íàóê äîö. À.È. Øåïåëÿâûé (Ñ.-Ïåòåðáóðãñêèé ãîñ. óí-ò) Ðåêîìåíäîâàíî ê èçäàíèþ Ðåäàêöèîííî-èçäàòåëüñêèì ñîâåòîì ìàòåìàòèêî-ìåõàíè÷åñêîãî ôàêóëüòåòà Ñ.-Ïåòåðáóðãñêîãî ãîñóäàðñòâåííîãî óíèâåðñèòåòà

à ð à í è ÷ è í Î.H. à 77

Ââåäåíèå â ìåòîäû ñòîõàñòè÷åñêîé îïòèìèçàöèè

Ó÷åá. ïîñîáèå.  ÑÏá.: Èçäàòåëüñòâî Ñ.-Ïåòåðáóðãñêîãî óíèâåðñòèòåòà, 2003.  131 ñ. ISBN 5-288-03201-7 è îöåíèâàíèÿ:

 ïîñîáèè äàåòñÿ ñèñòåìàòè÷åñêîå èçëîæåíèå îñíîâ ìåòîäîâ ñòîõàñòè÷åñêîé ìíîãîìåðíîé îïòèìèçàöèè è îöåíèâàíèÿ â óñëîâèÿõ íàáëþäåíèé ñ ïîìåõàìè. Êðîìå êëàññè÷åñêèõ ðåçóëüòàòîâ, ïðè ôîðìóëèðîâêå êîòîðûõ îáû÷íî ðàññìàòðèâàþòñÿ ïîñòàíîâêè çàäà÷ â îòñóòñòâèå ïîìåõ ëèáî ïðè ñòàíäàðòíûõ ïðåäïîëîæåíèÿõ îá èõ ñòàòèñòè÷åñêèõ õàðàêòåðèñòèêàõ (íåçàâèñèìîñòü è öåíòðèðîâàííîñòü â òåîðåòèêî-âåðîÿòíîñòíîì ñìûñëå), â ó÷åáíîå ïîñîáèå âêëþ÷åí ìàòåðèàë îá àëãîðèòìàõ, äàþùèõ ñîñòîÿòåëüíûå îöåíêè íåèçâåñòíûõ (èëè îïòèìèçèðóåìûõ) ïàðàìåòðîâ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ. Ïîñîáèå ïðåäíàçíà÷åíî äëÿ ñòóäåíòîâ ñòàðøèõ êóðñîâ è àñïèðàíòîâ, îáó÷àþùèõñÿ íà ñïåöèàëüíîñòÿõ, ñâÿçàííûõ ñ îáðàáîòêîé èíôîðìàöèè, â ÷àñòíîñòè èçó÷àþùèõ êóðñ "Îïòèìèçàöèÿ ñèñòåì ðåàëüíîãî âðåìåíè"; îíî ìîæåò èñïîëüçîâàòüñÿ ïðè ïîäãîòîâêå ñïåöèàëèñòîâ ïî ñòàòèñòè÷åñêèì ìåòîäàì îöåíèâàíèÿ è ñòîõàñòè÷åñêîé îïòèìèçàöèè. Áèáëèîãð. 78 íàçâ. Áåç îáúÿâëåíèÿ

ÁÁÊ 32.811.7

c

c

ISBN 5-288-03201-7

Î.Í. Ãðàíè÷èí, 2003 Èçäàòåëüñòâî Ñ.-Ïåòåðáóðãñêîãî óíèâåðñèòåòà, 2003

ÎÃËÀÂËÅÍÈÅ

Ââåäåíèå . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Ñïèñîê îáîçíà÷åíèé

..........................................

Ìåòîäû îöåíèâàíèÿ è îïòèìèçàöèè 1.

1.1. 1.2. 1.3. 1.4. 1.5.

2.

..........................

. . . . . . Îöåíèâàíèå âåëè÷èíû ïîñòîÿííîãî ãî íà ôîíå ïîìåõè . . . . . . . . . . Çàäà÷à îá îáíàðóæåíèè ñèãíàëà . Ðàíäîìèçèðîâàííûå àëãîðèòìû . . Ôóíêöèîíàë ñðåäíåãî ðèñêà . . . . Ïðåäñêàçàíèå çíà÷åíèé ñëó÷àéíîãî

Ïðèìåðû çàäà÷ îöåíèâàíèÿ

Ýëåìåíòû ðåãðåññèîííîãî àíàëèçà,

. . . . . . . . . . . . . . ñèãíàëà, íàáëþäàåìî. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ïðîöåññà . . . . . . . .

ìåòîä íàèìåíüøèõ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1. Íàèëó÷øàÿ àïïðîêñèìàöèÿ îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ äðóãîé . . . . . . . . . . . . . . . . . . . . . . . . 2.2. Îöåíèâàíèå ïî êîíå÷íîìó ÷èñëó íàáëþäåíèé . . . . . . . . 2.3. Ðåêóððåíòíûå ìîäèôèêàöèè ìåòîäà íàèìåíüøèõ êâàäðàòîâ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Îïòèìàëüíàÿ ôèëüòðàöèÿ ñëó÷àéíûõ ïðîöåññîâ . . . . . . 3.1. Ôèëüòð ÂèíåðàÊîëìîãîðîâà . . . . . . . . . . . . . . . . . 3.2. Ôèëüòð ÊàëìàíàÁüþñè . . . . . . . . . . . . . . . . . . . . êâàäðàòîâ

3.

4.

Ìåòîäû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè è ñëó÷àéíîãî

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Ïîèñê êîðíÿ íåèçâåñòíîé ôóíêöèè. Àëãîðèòì Ðîááèíñà Ìîíðî . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2. Ìèíèìèçàöèÿ ôóíêöèîíàëà ñðåäíåãî ðèñêà . . . . . . . . . 4.3. Ïðîöåäóðà ÊèôåðàÂîëüôîâèöà . . . . . . . . . . . . . . . 4.4. Ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5. Ïàññèâíàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ . . . . . . . . . . 4.6. Ìîäèôèêàöèè àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè 4.7. Àëãîðèòìû ñëó÷àéíîãî ïîèñêà . . . . . . . . . . . . . . . . Ýëåìåíòû òåîðèè îöåíèâàíèÿ . . . . . . . . . . . . . . . . . . 5.1. Ìåòîä ýìïèðè÷åñêîãî ôóíêöèîíàëà . . . . . . . . . . . . . 5.2. Áàéåñîâñêèå îöåíêè . . . . . . . . . . . . . . . . . . . . . . . 5.3. Ìåòîä ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ . . . . . . . . . . . . 5.4. Äîñòèæèìàÿ òî÷íîñòü îöåíèâàíèÿ . . . . . . . . . . . . . . ïîèñêà

4.1.

5.

5 19 21   25 28 29 31 33  36 42 47  53 61 62 65 67 68 72 73 80 83  85 89 93

3

6.

. . . . . . . . . . . . 97 Ñëó÷àéíûé ñèãíàë, íàáëþäàåìûé íà ôîíå îãðàíè÷åííûõ ïîìåõ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  Ìåòîä ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ. Êîíå÷íîñõîäÿùèåñÿ àëãîðèòìû . . . . . . . . . . . . . . . . . . . . . . . 98 Àëãîðèòì "Ïîëîñêà" . . . . . . . . . . . . . . . . . . . . . . 102 Ìåòîä ýëëèïñîèäîâ . . . . . . . . . . . . . . . . . . . . . . . 104

Îöåíèâàíèå ïðè îãðàíè÷åííûõ ïîìåõàõ

6.1. 6.2. 6.3. 6.4.

Ïðèëîæåíèå. Íåêîòîðûå íåîáõîäèìûå ìàòåìàòè÷åñêèå ñâåäåíèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . Ï.1.1. Ñëó÷àéíûå âåëè÷èíû . . . . . . . . . . . . . . . . . . . . . . Ï.1.2. Íåêîòîðûå íåðàâåíñòâà äëÿ ñëó÷àéíûõ âåëè÷èí . . . . . . Ï.1.3. Çàêîí áîëüøèõ ÷èñåë äëÿ íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí Ï.1.4. Ñòàöèîíàðíûå ñëó÷àéíûå ïðîöåññû . . . . . . . . . . . . . . Ï.1.5. Ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí, áëèçêèå ê ñóïåðìàðòèíãàëàì . . . . . . . . . . . . . . . . . . . . . . . . . . . Ï.2. Íåêîòîðûå ìàòðè÷íûå ñîîòíîøåíèÿ . . . . . . . . . . . . . . Ï.3. Ôàêòîðèçàöèÿ ìàòðè÷íûõ ôóíêöèé . . . . . . . . . . . . . . Ï.4. Ñõîäèìîñòü ðåêóððåíòíûõ àëãîðèòìîâ . . . . . . . . . . . . Ï.4.1. Ëèíåéíûé ñëó÷àé . . . . . . . . . . . . . . . . . . . . . . . . Ï.4.2. Ìåòîä ñòîõàñòè÷åñêîé ôóíêöèè Ëÿïóíîâà . . . . . . . . . .

Ï.1. Òåîðèÿ âåðîÿòíîñòåé

107   109 110 111 113 115  116  118

Òåðìèíîëîãè÷åñêèé óêàçàòåëü . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

121

Óêàçàòåëü ëèòåðàòóðû . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

123

4

ÂÂÅÄÅÍÈÅ Òî÷íîå ðåøåíèå ëþáîé ïðîáëåìû âîçìîæíî ïðè òî÷íîé ïîñòàíîâêå çàäà÷è, íî ñâÿçè è îòíîøåíèÿ â ðåàëüíî ñóùåñòâóþùåì ìèðå íàñòîëüêî ñëîæíû è ìíîãîîáðàçíû, ÷òî ïðàêòè÷åñêè íåâîçìîæíî ìàòåìàòè÷åñêè ñòðîãî îïèñàòü ìíîãèå ÿâëåíèÿ. Òèïè÷íûì ïîäõîäîì â òåîðèè ÿâëÿåòñÿ âûáîð áëèçêîé ê ðåàëüíûì ïðîöåññàì ìàòåìàòè÷åñêîé ìîäåëè è âêëþ÷åíèå â íåå ðàçëè÷íûõ ïîìåõ, îòíîñÿùèõñÿ, ñ îäíîé ñòîðîíû, ê ãðóáîñòè ìàòåìàòè÷åñêîé ìîäåëè è, ñ äðóãîé, õàðàêòåðèçóþùèõ íåêîíòðîëèðóåìûå âíåøíèå âîçìóùåíèÿ îáúåêòà èëè ñèñòåìû. Äëÿ âñåõ ìàòåìàòè÷åñêèõ ìîäåëåé ðåçóëüòàòîì ýêñïåðèìåíòà ÿâëÿåòñÿ ìàòåìàòè÷åñêèé îáúåêò  ÷èñëî, ìíîæåñòâî ÷èñåë, êðèâàÿ è ò.ï.  ìàòåìàòè÷åñêîì àñïåêòå çíà÷èòåëüíûé êðóã ïðèêëàäíûõ çàäà÷ èìååò ñâîåé öåëüþ âîññòàíîâëåíèå ïî ýêñïåðèìåíòàëüíûì äàííûì õàðàêòåðèñòèê (ïàðàìåòðîâ) îáúåêòà. Ïðè ýòîì ðåàëüíûå ñèñòåìû ðåäêî èñ÷åðïûâàþùå îïèñûâàþòñÿ îãðàíè÷åííûìè ìàòåìàòè÷åñêèìè ìîäåëÿìè. Ïðè âûáîðå ìîäåëè äëÿ ðåøåíèÿ ðåàëüíîé çàäà÷è ïðèíÿòî ãîâîðèòü î ñèñòåìàòè÷åñêîé ïîãðåøíîñòè (ïîãðåøíîñòè ìîäåëè), êîòîðàÿ ìîæåò áûòü êîëè÷åñòâåííî âûðàæåíà ðàññòîÿíèåì îò ðåàëüíîãî îïåðàòîðà äî âûáðàííîé ìîäåëè. Äðóãîé òèï ïîãðåøíîñòåé (îøèáîê), ñ êîòîðûìè ìîæåò ñòîëêíóòüñÿ ýêñïåðèìåíòàòîð, ñâÿçàí ñ îøèáêàìè èçìåðåíèÿ. Òàêèå îøèáêè íàçûâàþò ñòàòèñòè÷åñêîé ïîãðåøíîñòüþ (ñëó÷àéíîé ïîãðåøíîñòüþ). Ïðîöåññ âûáîðà õàðàêòåðèñòèê (ïàðàìåòðîâ) ìîäåëè èç çàäàííîãî êëàññà äëÿ íàèëó÷øåãî îïèñàíèÿ ðåçóëüòàòîâ ïðåäñòàâëÿåò ñîáîé îäíî èç äîâîëüíî îáùèõ îïðåäåëå5

íèé ïîíÿòèÿ îöåíèâàíèÿ. Íà ïðàêòèêå ïðîöåññ îöåíèâàíèÿ ÷àñòî óäàåòñÿ ñâÿçàòü ñ êàêîé-íèáóäü êîëè÷åñòâåííîé õàðàêòåðèñòèêîé êà÷åñòâà îöåíèâàíèÿ è ïðè âûáîðå îöåíîê åñòåñòâåííî ñòàðàòüñÿ ìèíèìèçèðîâàòü îòðèöàòåëüíîå âëèÿíèå ïîãðåøíîñòåé: êàê ñòàòèñòè÷åñêîé, òàê, ïî âîçìîæíîñòè, è ñèñòåìàòè÷åñêîé. Âî ìíîãèõ çàäà÷àõ ïîãðåøíîñòè óäîáíî èíòåðïðåòèðîâàòü êàê ïîìåõè (îøèáêè) íàáëþäåíèÿ (èçìåðåíèÿ ðåçóëüòàòîâ ýêñïåðèìåíòà). Ïðè ðàçðàáîòêå àëãîðèòìîâ îöåíèâàíèÿ â áîëüøèíñòâå ìàòåìàòè÷åñêèõ èññëåäîâàíèé ïîñëåäíèõ 50 ëåò ïîìåõàì â èçìåðåíèÿõ èëè îøèáêàì â îïèñàíèè ñâîéñòâ ìîäåëè ïðèïèñûâàþòñÿ êàêèå-ëèáî ïîëåçíûå ñòàòèñòè÷åñêèå õàðàêòåðèñòèêè. Íà èõ îñíîâå òåîðåòè÷åñêè èññëåäóþòñÿ ñâîéñòâà îöåíîê. Hàèáîëåå ÷àñòî ïðåäïîëàãàåòñÿ, íàïðèìåð, öåíòðèðîâàííîñòü ïîìåõ.  èíæåíåðíîé ïðàêòèêå øèðîêî èñïîëüçóþòñÿ àëãîðèòìû, îñíîâàííûå íà èäåÿõ îáûêíîâåííîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÌÍÊ), ïðåäñòàâëÿþùåãî ñîáîé óñðåäíåíèå äàííûõ íàáëþäåíèÿ. Åñëè ïðè ýòîì ïðåäïîëîæåíèå î öåíòðèðîâàííîñòè ïîìåõ áûëî ñäåëàíî áåç äîñòàòî÷íûõ îáîñíîâàíèé, òî ïðàêòè÷åñêîå èñïîëüçîâàíèå àëãîðèòìîâ òàêîãî òèïà íåöåëåñîîáðàçíî. Òàê îáñòîÿò äåëà, íàïðèìåð, â óñëîâèÿõ âîçìîæíîãî ïðîòèâîäåéñòâèÿ "ïðîòèâíèêà".  ÷àñòíîñòè, åñëè ïîìåõà îïðåäåëÿåòñÿ äåòåðìèíèðîâàííîé (íåñëó÷àéíîé) íåèçâåñòíîé ôóíêöèåé (ïðîòèâíèê ãëóøèò ñèãíàë) èëè ïîìåõè èçìåðåíèÿ  çàâèñèìàÿ ñëó÷àéíàÿ ïîñëåäîâàòåëüíîñòü, òî ïðèìåíåíèå ê íàáëþäåíèÿì îïåðàöèè óñðåäíåíèÿ íèêàêîé ïîëåçíîé èíôîðìàöèè íå äàåò. Îáû÷íî â òàêîé ñèòóàöèè ïîñëåäîâàòåëüíîñòü íàáëþäåíèé íàçûâàþò âûðîæäåííîé è âîïðîñ î ïîëó÷åíèè "õîðîøåãî" ðåøåíèÿ çàäà÷è íå ðàññìàòðèâàþò. Ýòè òðóäíîñòè â èñïîëüçîâàíèè ñòàíäàðòíûõ ìåòîäîâ ñòîõàñòè÷åñêîé îïòèìèçàöèè ïðèâîäÿò ê íåîáõîäèìîñòè èññëåäîâàòü àëãîðèòìû, îáåñïå÷èâàþùèå âûñîêîå êà÷åñòâî îöåíèâàíèÿ ïðè ìèíèìàëüíûõ ïðåäïîëîæåíèÿõ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ. 6

Òåîðèÿ îöåíèâàíèÿ òåñíî ïåðåïëåòàåòñÿ ñ òåîðèåé îïòèìèçàöèè. Èíîãäà äàæå òðóäíî ïðîâåñòè ìåæäó íèìè ÷åòêóþ ãðàíèöó. Íàèáîëåå ÷àñòî ïðîáëåìû òåîðèè îöåíèâàíèÿ è îïòèìèçàöèè ìàòåìàòè÷åñêè ôîðìàëèçóþòñÿ â âèäå çàäà÷è î ïîèñêå äëÿ íåêîòîðîé ôóíêöèè f (
) èç R r â R îäíîãî èç åå êîðíåé (ýëåìåíòà èç îáëàñòè çàäàíèÿ ôóíêöèè, îòâå÷àþùåãî íóëåâîìó çíà÷åíèþ: f = 0) ëèáî ýëåìåíòà èç îáëàñòè çàäàíèÿ, ìèíèìèçèðóþùåãî (ìàêñèìèçèðóþùåãî) åå çíà÷åíèå: min f èëè rf = 0.  ëèòåðàòóðå è ïðèëîæåíèÿõ ýòó ôóíêöèþ íàçûâàþò ïî-ðàçíîìó. ×àùå äðóãèõ èñïîëüçóþòñÿ ñëåäóþùèå íàçâàíèÿ: ôóíêöèÿ ïîòåðü, öåëåâàÿ ôóíêöèÿ, ôóíêöèîíàë êà÷åñòâà, ôóíêöèîíàë ñðåäíåãî ðèñêà.  ñòàòèñòèêå åå ïðèíÿòî íàçûâàòü ôóíêöèåé ðåãðåññèè.  ïîñîáèè â çàâèñèìîñòè îò êîíòåêñòà áóäåò èñïîëüçîâàíî òî èëè äðóãîå èç ýòèõ ïîíÿòèé. Àðãóìåíò ôóíêöèè, îòíîñèòåëüíî êîòîðîãî ñòàâèòñÿ çàäà÷à, îáû÷íî íàçûâàþò âåêòîðîì ðåãóëèðóåìûõ èëè îöåíèâàåìûõ ïàðàìåòðîâ. Áåç ïîòåðè îáùíîñòè áóäåì ðàññìàòðèâàòü çàäà÷è îïòèìèçàöèè â êîíòåêñòå ìèíèìèçàöèè, òàê êàê ñëó÷àé ìàêñèìèçàöèè ëåãêî ê íåìó ïðåîáðàçóåòñÿ, èçìåíÿÿ çíàê ôóíêöèè ïîòåðü. Ïîä àëãîðèòìîì îöåíèâàíèÿ èëè îïòèìèçàöèè áóäåì ïîíèìàòü ïðîöåäóðó ïîøàãîâîãî (ïîñëåäîâàòåëüíîãî) èçìåíåíèÿ ðåãóëèðóåìûõ ïàðàìåòðîâ îò íåêîòîðîãî íà÷àëüíîãî çíà÷åíèÿ (èëè ìíîæåñòâà çíà÷åíèé) äî çíà÷åíèÿ, îïòèìèçèðóþùåãî ôóíêöèþ ïîòåðü, ò.å. ìû ðàññìàòðèâàåì ðåêóððåíòíûå (èòåðàòèâíûå) ìåòîäû. Äëÿ ñòîõàñòè÷åñêîãî ïðîöåññà îïòèìèçàöèè, ïîëó÷àþùåãî âõîäíóþ èíôîðìàöèþ ñ ïîìåõàìè, òèïè÷íûì ÿâëÿåòñÿ òîò ôàêò, ÷òî ñîîòâåòñòâóþùàÿ ïîñëåäîâàòåëüíîñòü çíà÷åíèé ôóíêöèè ïîòåðü ìîæåò íå óáûâàòü ðàâíîìåðíî, à èíîãäà  âðåìåííî óâåëè÷èâàòüñÿ. Îáû÷íî ïðè êëàññèôèêàöèè ðåêóððåíòíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ îöåíèâàíèÿ èëè îïòèìèçàöèè èõ óñëîâíî ðàçäåëÿþò íà äâå ãðóïïû. Îäíà ãðóïïà àëãîðèòìîâ áàçèðóåòñÿ íà ïðÿìûõ èçìåðåíèÿõ (èëè âû÷èñëåíèÿõ) çíà÷åíèé ãðàäèåíòà ôóíêöèè ïîòåðü ïðè ðàçëè÷íûõ îïòèìèçèðóåìûõ ïàðàìåò7

ðàõ, äðóãàÿ  íà àïïðîêñèìàöèÿõ ãðàäèåíòà, âû÷èñëÿåìûõ íà îñíîâàíèè èçìåðåíèé çíà÷åíèé ôóíêöèè ïîòåðü, âîîáùå ãîâîðÿ, ñ ïîìåõàìè. Ïðîòîòèïàìè ïåðâîé ãðóïïû àëãîðèòìîâ ÿâëÿþòñÿ ïðîöåäóðà ÐîááèíñàÌîíðî (ÐÌ), êîòîðóþ ìîæíî ðàññìàòðèâàòü êàê îáîáùåíèå èçâåñòíîãî ãðàäèåíòíîãî ìåòîäà, ìåòîä ñêîðîñòíîãî ãðàäèåíòà, îáðàòíûé ìåòîä äëÿ íåéðîííûõ ñåòåé è ìåòîä âû÷èñëåíèÿ ãðàäèåíòà ôóíêöèè ïîòåðü äëÿ ñèñòåì ðåàëüíîãî âðåìåíè, îñíîâàííûé íà àíàëèçå áåñêîíå÷íî ìàëûõ âîçìóùåíèé. Ñðåäè àëãîðèòìîâ âòîðîãî òèïà êëàññè÷åñêèìè áóäóò êîíå÷íî-ðàçíîñòíûé ìåòîä ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ÊèôåðàÂîëüôîâèöà (ÊÂ) è ìåòîä ñëó÷àéíîãî ïîèñêà. Îñíîâíîé íåäîñòàòîê àëãîðèòìîâ ïåðâîãî òèïà  òî, ÷òî íà ïðàêòèêå â íèõ èñïîëüçóþòñÿ âìåñòî òî÷íûõ çíà÷åíèé ãðàäèåíòà íåêîòîðûå ïðèáëèæåíèÿ, òàê êàê äàííûå èçìåðåíèé, âîîáùå ãîâîðÿ, íå âñåãäà òî÷íî ñîîòíîñÿòñÿ ñ ðåàëüíûìè õàðàêòåðèñòèêàìè èññëåäóåìîé ñèñòåìû. Êðîìå ñëó÷àÿ ìîäåëè ëèíåéíîé ðåãðåññèè, ñõîäèìîñòü àëãîðèòìîâ ýòîãî òèïà îáû÷íî óäàåòñÿ äîêàçàòü òîëüêî ïðè èçâåñòíûõ ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ â èçìåðåíèè òåêóùèõ çíà÷åíèé âåêòîðãðàäèåíòà è ñòàíäàðòíûõ ïðåäïîëîæåíèÿõ îá èõ öåíòðèðîâàííîñòè è íåêîððåëèðîâàííîñòè. Íàïðîòèâ, ïîäõîäû, îñíîâàííûå íà àïïðîêñèìàöèè ãðàäèåíòà, òðåáóþò òîëüêî ïðåîáðàçîâàíèÿ îñíîâíûõ èçìåðåíèé íà âûõîäå ê çíà÷åíèÿì ñêà÷êà ôóíêöèè ïîòåðü, ÷òî íå òðåáóåò ïîëíîãî çíàíèÿ îòíîøåíèé ìåæäó âõîäàìè è âûõîäàìè ñèñòåìû.  íàñòîÿùåå âðåìÿ çàìåòåí ðîñò çàèíòåðåñîâàííîñòè ïðàêòèêîâ â òàêîãî ðîäà ðåêóððåíòíûõ àëãîðèòìàõ îïòèìèçàöèè. Ýòî ìîòèâèðóåòñÿ ïðîáëåìàìè, âîçíèêàþùèìè ïðè êîíñòðóèðîâàíèè ñèñòåì, ðàáîòàþùèõ â ðåàëüíîì âðåìåíè è ðåàãèðóþùèõ íà ñëîæíûå ïîñëåäîâàòåëüíûå çàïðîñû, ïðè ñèíòåçå àäàïòèâíûõ ñèñòåì óïðàâëåíèÿ, ïðè îïòèìèçàöèè âû÷èñëèòåëüíûõ ïðîöåññîâ ñ áîëüøèìè îáúåìàìè ìîäåëèðîâàíèÿ ïî ìåòîäó ÌîíòåÊàðëî, ïðè ïðîöåññå îáó÷åíèÿ íåéðîííûõ ñåòåé, â çàäà÷àõ ñòàòèñòè÷åñêîé 8

èäåíòèôèêàöèè ñëîæíûõ ñèñòåì, ðàñïîçíàâàíèÿ èçîáðàæåíèé (îáðàçîâ), ïîëó÷àåìûõ ñ ïîìåõàìè îò ñåíñîðíûõ äàò÷èêîâ. Ñòîèò åùå ðàç ïîä÷åðêíóòü: ãëàâíîå ïðåèìóùåñòâî òàêîãî òèïà àëãîðèòìîâ çàêëþ÷àåòñÿ â òîì, ÷òî îíè íå òðåáóþò äåòàëüíûõ çíàíèé ôóíêöèîíàëüíûõ îòíîøåíèé ìåæäó íàñòðàèâàåìûìè ïàðàìåòðàìè è çíà÷åíèåì ôóíêöèè ïîòåðü, êîòîðûå íåîáõîäèìû â àëãîðèòìàõ ïåðâîãî òèïà, îñíîâàííûõ íà èñïîëüçîâàíèè òî÷íîãî çíà÷åíèÿ âåëè÷èíû ãðàäèåíòà. Òàêèå îòíîøåíèÿ ïðè ðåøåíèè íåêîòîðûõ çàäà÷ çà÷àñòóþ òðóäíî ïîëó÷èòü (íàïðèìåð, ïðè êîíñòðóèðîâàíèè íåëèíåéíîãî ðåãóëÿòîðà îáðàòíîé ñâÿçè), à â äðóãèõ çàäà÷àõ (òàêèõ, êàê îïòèìèçàöèÿ ïî ÌîíòåÊàðëî èëè ðåêóððåíòíàÿ ñòàòèñòè÷åñêàÿ îöåíêà ïàðàìåòðîâ) ïðè áîëåå èëè ìåíåå èçâåñòíûõ ñâîéñòâàõ ýòèõ îòíîøåíèé âîçíèêàþò áîëüøèå òðóäíîñòè ïðè âû÷èñëåíèè ãðàäèåíòà, ñâÿçàííûå ñ íåîáõîäèìîñòüþ ìíîãîêðàòíî íàõîäèòü çíà÷åíèÿ ôóíêöèè ïîòåðü. Èç-çà ñóùåñòâåííûõ ðàçëè÷èé â òèïå èñïîëüçóåìîé èíôîðìàöèè òðóäíî âûáðàòü ýôôåêòèâíûé ìåòîä ñðàâíåíèÿ êà÷åñòâà ðàáîòû àëãîðèòìîâ ïåðâîãî è âòîðîãî òèïîâ. Îáû÷íî àëãîðèòìû, îñíîâàííûå íà èçìåðåíèè ãðàäèåíòà, áûñòðåå ñõîäÿòñÿ ê îïòèìàëüíûì çíà÷åíèÿì ïàðàìåòðîâ. Èíòóèòèâíî ýòîò ðåçóëüòàò íå óäèâëÿåò, òàê êàê òàêèå àëãîðèòìû èñïîëüçóþò áîëåå ñîäåðæàòåëüíóþ äîïîëíèòåëüíóþ èíôîðìàöèþ î ãðàäèåíòå ôóíêöèè ïîòåðü. Íà îñíîâàíèè òåîðåòè÷åñêèõ èññëåäîâàíèé àñèìïòîòè÷åñêîãî ïîâåäåíèÿ îòêëîíåíèÿ âåêòîðà îöåíîê îò îïòèìàëüíîãî äëÿ àëãîðèòìîâ ïåðâîãî òèïà ÷àñòî ïîëó÷àþò ñêîðîñòü ñõîäèìîñòè, ïðîïîðöèîíàëüíóþ îáðàòíîé âåëè÷èíå êâàäðàòíîãî êîðíÿ èç êîëè÷åñòâà èòåðàöèé. Ïðè ïîñòðîåíèè àëãîðèòìîâ âòîðîãî òèïà ïî÷òè òó æå ñêîðîñòü ñõîäèìîñòè äîñòèãàþò òîëüêî â ñïåöèàëüíûõ ñëó÷àÿõ. Ïîìèìî àñèìïòîòè÷åñêîé îöåíêè êîëè÷åñòâà èòåðàöèé íà ïðàêòèêå äëÿ ñðàâíåíèÿ àëãîðèòìîâ àíàëèçèðóþò è äðóãèå ôàêòîðû, ó÷åò êîòîðûõ íåðåäêî îòäàåò ïðåäïî÷òåíèå àëãîðèòìàì âòîðîãî òèïà. Ê òàêèì ôàêòîðàì îòíîñÿòñÿ ñëåäóþùèå: 9

 Íåâîçìîæíîñòü èíîãäà ïîëó÷èòü äîñòîâåðíûå ñâåäåíèÿ î ñèñòåìíûõ îòíîøåíèÿõ âõîäàâûõîäà. Åñëè ñâåäåíèÿ î ñèñòåìíîé ìîäåëè íåäîñòóïíû, íåíàäåæíû èëè èñïîëüçóåòñÿ íåäîñòàòî÷íàÿ ñèñòåìíàÿ ìîäåëü, òî àëãîðèòìû ïåðâîãî òèïà íå îñóùåñòâèìû íà ïðàêòèêå.  Îáùàÿ ñòîèìîñòü ñêîðîñòè ñõîäèìîñòè, êîòîðóþ íóæíî ó÷èòûâàòü, çàâèñèò íå òîëüêî îò òðåáóåìîãî ÷èñëà èòåðàöèé, íî òàêæå è îò çàòðàò, íåîáõîäèìûõ äëÿ âûïîëíåíèÿ îäíîé èòåðàöèè. Ýòè çàòðàòû äëÿ àëãîðèòìîâ, èñïîëüçóþùèõ òî÷íûå çíà÷åíèÿ ãðàäèåíòîâ, ÷àñòî âêëþ÷àþò â ñåáÿ áîëüøîé îáúåì âû÷èñëåíèé, äîïîëíèòåëüíûå ÷åëîâå÷åñêèå óñèëèÿ, íåîáõîäèìûå äëÿ îïðåäåëåíèÿ è êîäèðîâàíèÿ ãðàäèåíòîâ, à òàêæå ìàòåðèàëüíûå çàòðàòû (ïðè íåîáõîäèìîñòè) íà ðàçðàáîòêó ìîäåëè è ïðîâåäåíèå ýêñïåðèìåíòîâ: òðóäîçàòðàòû, ìàòåðèàëû, òîïëèâî è ò.ï.  Àñèìïòîòè÷åñêèå îöåíêè ñêîðîñòè ñõîäèìîñòè íå âñåãäà ïðåäñòàâèòåëüíû ïðè êîíå÷íûõ âûáîðêàõ. Èñòîðè÷åñêèé îáçîð. Îñòàíîâèìñÿ íåñêîëüêî ïîäðîáíåå íà ïåðå÷èñëåíèè ýòàïîâ è çíàìåíàòåëüíûõ âåõ â ðàçâèòèè òåîðèè ñòîõàñòè÷åñêîé îïòèìèçàöèè è îöåíèâàíèÿ. Òåîðèÿ îöåíèâàíèÿ íà÷àëà ôîðìèðîâàòüñÿ êàê ìàòåìàòè÷åñêàÿ íàóêà â 1806 ã., êîãäà ïîÿâèëàñü ðàáîòà À. Ëåæàíäðà î íàèìåíüøèõ êâàäðàòàõ. ×åñòü îñíîâàòåëÿ ïðèíàäëåæèò è Ê. Ãàóññó, îïóáëèêîâàâøåìó â 1809 ã. ñâîþ âåðñèþ ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÌÍÊ).  1821 ã. îí ïðåäëîæèë ðåêóððåíòíûé âàðèàíò ïðîöåäóðû, ïîçâîëÿþùèé êîððåêòèðîâàòü ðàíåå âû÷èñëåííóþ îöåíêó ñ ó÷åòîì âíîâü ïîñòóïèâøèõ äîïîëíèòåëüíûõ èçìåðåíèé áåç íåîáõîäèìîñòè ïîâòîðà âñåõ ïðåäøåñòâóþùèõ âû÷èñëåíèé.  ýòîò ïåðèîä ñòèìóëîì ðàçâèòèÿ ÌÍÊ ñëóæèëè çàïðîñû ðàçâèòèÿ íåáåñíîé ìåõàíèêè, è ìåòîä áûñòðî ñòàë ñòàíäàðòíûì äëÿ îïðåäåëåíèÿ îðáèò íåáåñíûõ òåë. Íåóäèâèòåëüíî, ÷òî â ðÿäó àâòîðîâ ðàáîò ïî íåáåñíîé ìåõàíèêå ñòîÿò èìåíà Ô. Áåññåëÿ, Æ. Ëàãðàíæà, Ï. Ëàïëàñà, Ñ. Ïóàññîíà, èçâåñòíûõ ñâîèì âêëàäîì â îñíîâàíèÿ ñòàòèñòèêè. 10

 íà÷àëå ÕÕ âåêà òåîðåòè÷åñêèå îáîñíîâàíèÿ ìåòîäà íàèìåíüøèõ êâàäðàòîâ ïîëó÷èëè çíà÷èòåëüíîå ðàçâèòèå â òðóäàõ À.À. Ìàðêîâà [24]. Ïîñòåïåííî ìåòîäèêà îöåíèâàíèÿ áûëà ïîãëîùåíà ñòàòèñòèêîé, íî íå ñðàçó â äîñòàòî÷íî ñòðîãîé ìàòåìàòè÷åñêîé ôîðìå. Ëèøü â ñåðåäèíå ÕÕ âåêà òåîðèÿ âåðîÿòíîñòåé è âàæíåéøèå ðàçäåëû ñòàòèñòèêè ïîëó÷èëè ñîîòâåòñòâóþùåå ìàòåìàòè÷åñêîå îôîðìëåíèå, ïðåæäå âñåãî áëàãîäàðÿ èñïîëüçîâàíèþ êîíöåïöèé òåîðèè ìåðû. Ôóíäàìåíò ñîâðåìåííîãî ñîñòîÿíèÿ òåîðèè îöåíèâàíèÿ çàëîæåí Ð. Ôèøåðîì â 20 30-õ ãîäàõ ïðîøëîãî âåêà [65]. Ð. Ôèøåð ïðåäëîæèë ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ è ïîêàçàë, ÷òî äîñòàâëÿåìûå èì îöåíêè íå ìîãóò áûòü ñóùåñòâåííî óëó÷øåíû. Ð. Ôèøåðîì òàêæå ââåäåíû ñòàâøèå îáùåïðèíÿòûìè ïîíÿòèÿ íåñìåùåííîñòè, äîñòàòî÷íîñòè, ñîñòîÿòåëüíîñòè, ýôôåêòèâíîñòè è àñèìïòîòè÷åñêîé ýôôåêòèâíîñòè îöåíîê. Òùàòåëüíî ðàññìàòðèâàÿ îñíîâàíèÿ òåîðèè îöåíèâàíèÿ, îí èçáàâèë åå îò æåñòêèõ îãðàíè÷åíèé, ñóùåñòâîâàâøèõ ñ ìîìåíòà ïîÿâëåíèÿ ðàáîò Ê. Ãàóññà. Îáîáùåíèÿ åãî òåîðèè ïðèâåëè, â ÷àñòíîñòè, ê ðàçâèòèþ ñîâðåìåííûõ ìåòîäîâ íåïàðàìåòðè÷åñêîãî è ðîáàñòíîãî îöåíèâàíèÿ, â êîòîðûõ òî÷íàÿ ïðèðîäà ðàñïðåäåëåíèÿ âåðîÿòíîñòåé îöåíèâàåìûõ ñëó÷àéíûõ âåëè÷èí íå ïðåäïîëàãàåòñÿ èçâåñòíîé. Îäíîâðåìåííî ñ ôîðìàëèçàöèåé è ðàçâèòèåì ìàòåìàòè÷åñêîé ñòàòèñòèêè ïðîâîäèëèñü èññëåäîâàíèÿ â äàëåêèõ, êàçàëîñü áû, îò íèõ îáëàñòÿõ. Äî 1940 ãîäà îöåíèâàíèå êàñàëîñü ïðåæäå âñåãî êëàññè÷åñêèõ ïðîáëåì îïðåäåëåíèÿ íàèëó÷øèõ îöåíîê ïàðàìåòðîâ ðàñïðåäåëåíèé íà îñíîâå âûáîðêè èç ãåíåðàëüíîé ñîâîêóïíîñòè. Ìåæäó òåì ñïåöèàëèñòû ïî ëèíèÿì ñâÿçè èìåëè äåëî ñ çàäà÷åé ñèíòåçà óñòðîéñòâ, ïîçâîëÿþùèõ ýôôåêòèâíî îáíàðóæèâàòü ïðèñóòñòâèå èëè îòñóòñòâèå ñèãíàëà, íàáëþäàåìîãî íà ôîíå ïîìåõè. Èìåííî èõ èññëåäîâàíèÿ ñîñòàâèëè êîíêóðåíöèþ ñòàòèñòè÷åñêèì èññëåäîâàíèÿì Ð. Ôèøåðà. Áûñòðîå ðàçâèòèå òåîðèè ñâÿçè ïðèâåëî ê íåîáõîäèìîñòè ó÷åòà âîçäåéñòâèÿ ïîìåõ íà ðàñïðîñòðàíåíèå è ïðèåì 11

ñèãíàëîâ. Ïåðâûå ïîïûòêè óìåíüøèòü íåæåëàòåëüíîå âîçäåéñòâèå ïîìåõ áûëè ñâÿçàíû ñ ââåäåíèåì ìåòîäîâ ðàñ÷åòà ôèëüòðîâ, ïîçâîëÿþùèõ îöåíèòü ñïåêòð ìîùíîñòè ïîëåçíîãî ñèãíàëà. Ýòè ïîïûòêè äåëàëèñü â ïåðñïåêòèâíîì íàïðàâëåíèè, íî èõ ñäåðæèâàëà íåðàçâèòîñòü òåîðèè ôèëüòðàöèè. Ìàòåìàòè÷åñêèå îñíîâû ýòîé òåîðèè òîëüêî çàêëàäûâàëèñü: â íà÷àëå 30-õ ãîäîâ ÕÕ âåêà À. Õèí÷èí è Í. Âèíåð ñîçäàëè òåîðèþ ãàðìîíè÷åñêîãî àíàëèçà ñëó÷àéíûõ ôóíêöèé, öåíòðàëüíîå ìåñòî â êîòîðîé çàíèìàåò òåîðåìà î ñïåêòðàëüíîì ïðåäñòàâëåíèè ñòàöèîíàðíûõ ïðîöåññîâ. Îñíîâû òåîðèè îïòèìàëüíîé ôèëüòðàöèè ñòàöèîíàðíûõ ïðîöåññîâ áûëè çàëîæåíû â ðàáîòàõ À.Í. Êîëìîãîðîâà (1941 ã.  ñì. [18]) è îò÷åòå Í. Âèíåðà, íàïèñàííîì â 1942 ã. ïî çàäàíèþ Íàöèîíàëüíîãî Ñîâåòà îáîðîííûõ èññëåäîâàíèé ÑØÀ è îïóáëèêîâàííîì â 1949 ã.  ñì.[78]. Í. Âèíåð ïîêàçàë, â ÷àñòíîñòè, ÷òî òåîðèÿ îöåíèâàíèÿ ìîæåò áûòü ïðèìåíåíà äëÿ ñèíòåçà ýëåêòðè÷åñêîãî ôèëüòðà, êîòîðûé îáåñïå÷èâàåò íàèëó÷øåå âûäåëåíèå ñèãíàëà ïðè íàëè÷èè ñòàöèîíàðíîé ïîìåõè. Îñíîâíîé àêöåíò îí äåëàë íå ñòîëüêî íà ðàññìîòðåíèå ÷àñòîòíûõ ñïåêòðîâ ñèãíàëîâ, ñêîëüêî íà èõ îáðàáîòêó êàê ñòîõàñòè÷åñêèõ ïðîöåññîâ. Öåíòðàëüíûì ìåñòîì òåîðèè îïòèìàëüíîé ôèëüòðàöèè ÂèíåðàÊîëìîãîðîâà ÿâëÿåòñÿ óðàâíåíèå ÂèíåðàÕîïôà, ðåøåíèå êîòîðîãî íåïîñðåäñòâåííî ñâÿçàíî ñ ñèíòåçîì îïòèìàëüíîãî ôèëüòðà. Àíàëèòè÷åñêèå òðóäíîñòè ðåøåíèÿ ýòîãî óðàâíåíèÿ (â ÷àñòíîñòè, ïðîáëåìà ôàêòîðèçàöèè) ÿâèëèñü ãëàâíûì ïðåïÿòñòâèåì íà ïóòè øèðîêîãî âíåäðåíèÿ ìåòîäîâ ôèëüòðàöèè â ïðàêòèêó. Êðîìå òîãî, çíà÷èòåëüíûì îãðàíè÷åíèåì äëÿ ìíîãèõ ïðèëîæåíèé áûëî âàæíîå ïðåäïîëîæåíèå î ñòàöèîíàðíîñòè îáðàáàòûâàåìîãî ñèãíàëà.  êîíöå 40-õ ãîäîâ ÕÕ âåêà çàêëàäûâàþòñÿ îñíîâû ñòàòèñòè÷åñêîé òåîðèè ñâÿçè è òåîðèè èíôîðìàöèè.  1947 ã. â äîêòîðñêîé äèññåðòàöèè Â.À. Êîòåëüíèêîâà "Òåîðèÿ ïîòåíöèàëüíîé ïîìåõîóñòîé÷èâîñòè", îïóáëèêîâàííîé â 1956 ã.  ñì. [19], âïåðâûå ñôîðìóëèðîâàíà çàäà÷à îïòèìàëüíîãî ñòà12

òèñòè÷åñêîãî ñèíòåçà ïðèåìíûõ óñòðîéñòâ è äàåòñÿ ðåøåíèå çàäà÷è îáíàðóæåíèÿ è ðàçëè÷åíèÿ äåòåðìèíèðîâàííûõ ñèãíàëîâ íà ôîíå êîððåëèðîâàííîé ïîìåõè.  ýòîé ðàáîòå ñ íîâûõ ïîçèöèé àíàëèçèðóþòñÿ ìíîãèå ôóíäàìåíòàëüíûå ïîíÿòèÿ. Ñïóñòÿ íåìíîãèì áîëåå ãîäà ïîÿâëÿåòñÿ øèðîêî èçâåñòíàÿ ðàáîòà Ê. Øåííîíà, ñîäåðæàùàÿ çíàìåíèòûå òåîðåìû î êîäèðîâàíèè ïåðåäàâàåìûõ ñèãíàëîâ ñ öåëüþ óñòðàíåíèÿ èçáûòî÷íîé èíôîðìàöèè è î ïðîïóñêíîé ñïîñîáíîñòè êàíàëîâ ñî ñëó÷àéíûìè ïîìåõàìè. Øèðîêîå ïðèçíàíèå ñðåäè èíæåíåðîâ ïðîåêòèðîâùèêîâ ñèñòåì ñâÿçè ïîëó÷èëà èíòåðïðåòàöèÿ Áîäå Øåííîíà (1950 ã.) ïðîöåäóðû ñèíòåçà îïòèìàëüíîãî ôèëüòðà [62].  òî æå âðåìÿ Í. Âèíåð ïóáëèêóåò êíèãó "Êèáåðíåòèêà, èëè óïðàâëåíèå è ñâÿçü â æèâîòíîì è ìàøèíå", âîçâåñòèâøóþ î ñòàíîâëåíèè íîâîé íàóêè  êèáåðíåòèêè, â êîòîðîé èíôîðìàöèîííî-óïðàâëåí÷åñêàÿ ñâÿçü â ÿâëåíèÿõ ìàòåðèàëüíîãî ìèðà âûñòóïàåò êàê ôóíäàìåíòàëüíîå åãî ñâîéñòâî [5]. Ïîçæå òåîðèÿ îïòèìàëüíîé ôèëüòðàöèè îáîãàùàåòñÿ áàéåñîâñêîé èäåîëîãèåé. Ñòðóêòóðó îïòèìàëüíîãî ïðèåìíèêà-îáíàðóæèòåëÿ íà÷àëè ôîðìèðîâàòü íà îñíîâàíèè àíàëèçà îòíîøåíèÿ ïðàâäîïîäîáèÿ è ïðè îïðåäåëåííûõ óñëîâèÿõ íàó÷èëèñü ïîëó÷àòü ñîãëàñîâàííûé ôèëüòð, ìàêñèìèçèðóþùèé îòíîøåíèå ñèãíàë/øóì íà âõîäå ðåøàþùåãî óñòðîéñòâà. Íàðÿäó ñ ïðîáëåìîé îáíàðóæåíèÿ íà ïåðâûé ïëàí â ñòàòèñòè÷åñêîé òåîðèè ñâÿçè âûäâèãàþòñÿ ïðîáëåìû ðàçëè÷åíèÿ ñèãíàëîâ è âîññòàíîâëåíèÿ ñîîáùåíèé. Ýòè ïðîáëåìû îêàçàëèñü òåñíî ñâÿçàííûìè ñ îöåíêîé ïàðàìåòðîâ, îò êîòîðûõ ìîãóò çàâèñåòü ïðèíèìàåìûå ñèãíàëû. Òàê, íàïðèìåð, ïðîåêòèðîâùèêè ðàäèîëîêàòîðà óæå íå óäîâëåòâîðÿþòñÿ ðåøåíèåì òîëüêî ïðîáëåìû äåòåêòèðîâàíèÿ ñèãíàëà. Äëÿ íèõ âàæíî ïîëó÷èòü äîïîëíèòåëüíóþ èíôîðìàöèþ îá àìïëèòóäå è ôàçå ïðèíÿòûõ ðàäèîëîêàòîðîì ñèãíàëîâ. Õîòÿ ïåðâîíà÷àëüíî ïðåîáðàçîâàíèå ñèãíàëîâ è îöåíèâàíèå èõ ïàðàìåòðîâ èçó÷àëîñü ñî ñïåöèàëüíûìè öåëÿìè, âñêîðå áûëî óñòàíîâëåíî, ÷òî ýòè ïðîáëåìû åñòåñòâåííî óêëàäûâàþòñÿ â ðàìêè ñòàòèñòèêè. 13

 êîíöå 50-õ ãîäîâ ÕÕ âåêà ïðè èññëåäîâàíèè îïòèìàëüíûõ ôèëüòðîâ, ñèíòåçèðóåìûõ äëÿ îáðàáîòêè ðåçóëüòàòîâ íàáëþäåíèÿ íà êîíå÷íîì èíòåðâàëå âðåìåíè, áûëè ïðåäëîæåíû ïîäõîäû, íå èñïîëüçóþùèå èíòåãðàëüíîå óðàâíåíèå Âèíåðà Õîïôà. Ð. Êàëìàí è Ð. Áüþñè [16] ïîíÿëè, ÷òî âìåñòî åãî èññëåäîâàíèÿ ÷àñòî áûâàåò æåëàòåëüíî (è âîçìîæíî) ïðåâðàòèòü èíòåãðàëüíîå óðàâíåíèå â íåëèíåéíîå äèôôåðåíöèàëüíîå, ðåøåíèå êîòîðîãî äàåò êîâàðèàöèþ îøèáêè îïòèìàëüíîãî ôèëüòðà.  ñâîþ î÷åðåäü, ýòà êîâàðèàöèÿ ñîäåðæèò âñþ íåîáõîäèìóþ èíôîðìàöèþ äëÿ ïðîåêòèðîâàíèÿ. Ýòîò ïîäõîä, ïî ñóùåñòâó ïðåäñòàâëÿþùèé ñîáîé ðåêóððåíòíûé âàðèàíò ÌÍÊ, â ÷àñòíûõ ñëó÷àÿõ èññëåäîâàëñÿ ðàíåå è äðóãèìè àâòîðàìè, íî èìåííî ñ ðàáîò Ð. Êàëìàíà è Ð. Áüþñè â íà÷àëå 60-õ ãîäîâ ÕÕ âåêà íà÷àëîñü øèðîêîå ðàçâèòèå ìåòîäîâ òåîðèè ðåêóððåíòíîãî (ïîñëåäîâàòåëüíîãî) îöåíèâàíèÿ, â ðàìêàõ êîòîðîé çàäà÷à îïòèìàëüíîé ôèëüòðàöèè ïîëó÷èëà ñóùåñòâåííîå ïðîäâèæåíèå. Âîçìîæíîñòü ñèíòåçà îïòèìàëüíîãî ôèëüòðà ðåêóððåíòíûì ñïîñîáîì ïðåäñòàâëÿåò è áîëüøîé ïðàêòè÷åñêèé èíòåðåñ â ñâÿçè ñ óäîáñòâîì åãî ðåàëèçàöèè íà áàçå ñîâðåìåííîé âû÷èñëèòåëüíîé òåõíèêè. Ðåêóððåíòíûå ïðîöåäóðû îöåíèâàíèÿ (ôèëüòð ÊàëìàíàÁüþñè) îêàçàëèñü ïðèìåíèìûìè è â ñëó÷àå íåñòàöèîíàðíûõ ïðîöåññîâ. Ðàáîòû Ð. Êàëìàíà ïî ðåêóððåíòíîìó îöåíèâàíèþ ïîÿâèëèñü â ñâÿçè ñ íåîáõîäèìîñòüþ îïòèìàëüíîãî îöåíèâàíèÿ âåêòîðà ñîñòîÿíèÿ ëèíåéíûõ íåñòàöèîíàðíûõ ñèñòåì. Îöåíèâàíèå ïðîèçâîäèëîñü ïî íàáëþäåíèÿì çà çàøóìëåííîé êîìïîíåíòîé âåêòîðà ñîñòîÿíèÿ. Ïðè ýòîì â òåîðåòè÷åñêîì ïëàíå ñóùåñòâåííûì ìîìåíòîì ÿâëÿåòñÿ ëèíåéíàÿ çàâèñèìîñòü íàáëþäàåìîãî ïðîöåññà îò îöåíèâàåìîãî ïàðàìåòðà (ëèíåéíàÿ ôèëüòðàöèÿ). Âìåñòå ñ òåì, ìíîãèå ïðàêòè÷åñêèå çàäà÷è ïðèâîäÿò ê íåëèíåéíîé çàâèñèìîñòè äàííûõ íàáëþäåíèÿ îò îöåíèâàåìîãî ïàðàìåòðà. Ýòîò ðàçäåë òåîðèè îöåíèâàíèÿ  íåëèíåéíàÿ ôèëüòðàöèÿ  ðàçâèò çíà÷èòåëüíî ìåíüøå, îñíîâíûå èäåè áûëè âûäâèíóòû â 1960 ã. Ð.Ë. Ñòðàòîíîâè÷åì [41]. Ïðåäëî14

æåííàÿ èì ðåêóððåíòíàÿ ïðîöåäóðà îöåíèâàíèÿ â ëèíåéíîì ñëó÷àå ïðåîáðàçóåòñÿ â ôèëüòð ÊàëìàíàÁüþñè. Ïîçäíåå ðåçóëüòàòû òåîðèè ÂèíåðàÊîëìîãîðîâà îïòèìàëüíîé ôèëüòðàöèè è òåîðèè ÊàëìàíàÁüþñè ðåêóððåíòíîé ôèëüòðàöèè ñòàëè øèðîêî èñïîëüçîâàòüñÿ â òåîðèè îïòèìàëüíîãî óïðàâëåíèÿ, â ÷àñòíîñòè â çàäà÷àõ ëèíåéíî-êâàäðàòè÷íîé îïòèìèçàöèè ïðè íåïîëíûõ è çàøóìëåííûõ íàáëþäåíèÿõ çà âåêòîðîì ñîñòîÿíèé îáúåêòà óïðàâëåíèÿ.  êîíöå ÕÕ âåêà Â.Í. Ôîìèíó [47, 48] óäàëîñü ñóùåñòâåííî îáîáùèòü êëàññè÷åñêèå èññëåäîâàíèÿ â ýòîé îáëàñòè, ðàçâèâàÿ îïåðàòîðíûé ïîäõîä ê ðåøåíèþ çàäà÷ ëèíåéíîé ôèëüòðàöèè. Òåîðèÿ îöåíèâàíèÿ â ïîñëåäíåé ÷åòâåðòè ïðîøëîãî âåêà ïîëó÷èëà äîïîëíèòåëüíûé èìïóëüñ â ðàçâèòèè ïðè ñèíòåçå àäàïòèâíûõ ñèñòåì, ñïîñîáíûõ óñïåøíî ôóíêöèîíèðîâàòü â óñëîâèÿõ àïðèîðíîé íåîïðåäåëåííîñòè î ñâîéñòâàõ âíåøíåé ñðåäû. Àëãîðèòìû ïîñòðîåíèÿ îïòèìàëüíîãî óïðàâëåíèÿ îáû÷íî ïðåäïîëàãàþò èçâåñòíûìè íåêîòîðûå àïðèîðíûå äàííûå î ñâîéñòâàõ ñèñòåìû óïðàâëåíèÿ è ïîìåõ.  áîëüøèíñòâå ïðàêòè÷åñêèõ çàäà÷ ýòà èíôîðìàöèÿ íåäîñòóïíà ïðîåêòèðîâùèêó, íî åå ìîæíî â òîé èëè èíîé ñòåïåíè âîññòàíîâèòü èç àíàëèçà ïîëó÷àåìûõ íàáëþäåíèé. Åñëè òàêàÿ âîçìîæíîñòü èìååòñÿ, òî ìîæíî ñèíòåçèðîâàòü àëãîðèòìû, â êîòîðûõ ñîâìåùåíû ïðîöåññû óïðàâëåíèÿ è âîñïîëíåíèÿ íåäîñòàþùåé èíôîðìàöèè. Ýòîò ïîäõîä áëèçîê ïîíÿòèþ äóàëüíîãî (äâîéñòâåííîãî ) óïðàâëåíèÿ À.À. Ôåëüäáàóìà [43], óòâåðæäâøåãî, ÷òî "óïðàâëÿþùèå âîçäåéñòâèÿ äîëæíû áûòü â èçâåñòíîé ìåðå èçó÷àþùèìè, íî â èçâåñòíîé ìåðå íàïðàâëÿþùèìè". Ïðè äîñòàòî÷íî ýôôåêòèâíîì âîñïîëíåíèè íåäîñòàþùèõ ñâåäåíèé ñèñòåìà óïðàâëåíèÿ ïðèîáðåòàåò îïòèìàëüíûå ñâîéñòâà ëèáî áëèçêèå ê íèì. Òàêèå ñèñòåìû íàçûâàþò àäàïòèâíûìè, ïîñêîëüêó â ïðîöåññå ôóíêöèîíèðîâàíèÿ îíè ïðîÿâëÿþò ñâîéñòâî ïðèñïîñàáëèâàíèÿ ê çàðàíåå íåèçâåñòíûì ïîìåõî-ñèãíàëüíûì óñëîâèÿì (ñì. [27, 40, 44, 46, 49]). Ñêàçàííîå â ðàâíîé ñòåïåíè îòíîñèòñÿ è ê äðóãèì àäàïòèâíûì óñòðîéñò15

âàì, â ÷àñòíîñòè ê îáó÷àþùèìñÿ ìàøèíàì è àäàïòèâíûì ôèëüòðàì (ñì., íàïðèìåð, [27, 45, 48, 54]).  ïîñëåäíåå âðåìÿ áîëüøîå âíèìàíèå óäåëÿåòñÿ âîïðîñàì ðîáàñòíîé óñòîé÷èâîñòè ñèñòåì óïðàâëåíèÿ [37, 77]. Ïðè ñèíòåçå òàêèõ óñòðîéñòâ òåîðèÿ îöåíèâàíèÿ èãðàåò âàæíóþ ðîëü, ïðåäîñòàâëÿÿ ðåêóððåíòíûå àëãîðèòìû àäàïòàöèè. Ðàçâèòèå è äîñòóïíîñòü âû÷èñëèòåëüíîé òåõíèêè îêàçàëè âîçäåéñòâèå è íà êëàññè÷åñêèå ðàçäåëû ìàòåìàòè÷åñêîé ñòàòèñòèêè, ñòèìóëèðóÿ ðàçðàáîòêó è äàâàÿ ïðèîðèòåò ðåêóððåíòíûì ñõåìàì îöåíèâàíèÿ. Òàê ïîëó÷èëè øèðîêîå ïðèçíàíèå ïðîöåäóðû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ÐîááèíñàÌîíðî (1951 ã.) [73] è ÊèôåðàÂîëüôîâèöà (1952 ã.) [68]. Áîëüøóþ ðîëü â ïðîïàãàíäå ïîäîáíûõ ìåòîäîâ ñûãðàë ß.Ç. Öûïêèí.  ñâîèõ êíèãàõ "Àäàïòàöèÿ è îáó÷åíèå â àâòîìàòè÷åñêèõ ñèñòåìàõ" [49] è "Îñíîâû òåîðèè îáó÷àþùèõñÿ ñèñòåì" [50] îí ïîêàçàë øèðîêóþ ïðèìåíèìîñòü ðåêóððåíòíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ â çàäà÷àõ îöåíèâàíèÿ, èäåíòèôèêàöèè, ðàñïîçíàâàíèÿ îáðàçîâ, îïòèìèçàöèè, óïðàâëåíèÿ. Ïîçæå â ðàáîòàõ [29, 32, 33, 51, 52] áûëà îöåíåíà ýôôåêòèâíîñòü òàêèõ àëãîðèòìîâ è íàéäåíû èõ îïòèìàëüíûå è ðîáàñòíûå âàðèàíòû. Ñâîåîáðàçíîé ñîâðåìåííîé ýíöèêëîïåäèåé ïî ñòîõàñòè÷åñêîé àïïðîêñèìàöèè è åå ïðèìåíåíèÿì ìîæåò ñëóæèòü êíèãà Ã. Êóøíåðà è Ã. Èíà [69]. Ðîñò ïðîèçâîäèòåëüíîñòè âû÷èñëèòåëüíûõ ìàøèí è óñëîæíåíèå ðåøàåìûõ ïðàêòè÷åñêèõ çàäà÷ ïðèâåëè êî âñå áîëåå øèðîêîìó èñïîëüçîâàíèþ îáó÷àþùèõñÿ ñèñòåì, â ÷àñòíîñòè íåéðîííûõ ñåòåé ñ áîëüøèì êîëè÷åñòâîì óçëîâ. Îêàçàëîñü, ÷òî è ïðè íàñòðîéêå èõ ïàðàìåòðîâ òåîðèè îöåíèâàíèÿ è îïòèìèçàöèè íà ñîâðåìåííîì óðîâíå ïðåäîñòàâëÿþò â ðàñïîðÿæåíèå ðàçðàáîò÷èêîâ óäîáíûå àëãîðèòìû. Íà ïðàêòèêå øèðîêî èñïîëüçóþòñÿ àëãîðèòìû òèïà ñëó÷àéíîãî ïîèñêà. Ýòî âûçâàíî ïîòðåáíîñòüþ â ðåøåíèè çàäà÷ îïòèìèçàöèè â óñëîâèÿõ, êîãäà ñâîéñòâà èññëåäóåìîé ôóíêöèè ïîòåðü íåèçâåñòíû, à èçìåðåíèÿ çíà÷åíèé ñàìîé ôóíêöèè äîñòóïíû ÷àùå âñåãî ñ ïîìåõàìè.  ðóññêîÿçû÷íîé ëèòåðàòóðå 16

ýòè àëãîðèòìû èññëåäîâàëèñü, íàïðèìåð, â ðàáîòàõ Ë.À. Ðàñòðèãèíà [38, 39], À. Æèëèíñêàñà [15], Ñ.Ì. Åðìàêîâà è À.À. Æèãëÿâñêîãî [13] ïðè óñëîâèè öåíòðèðîâàííîñòè è íåçàâèñèìîñòè ïîìåõ íàáëþäåíèÿ. Âîîáùå ãîâîðÿ, â óñëîâèÿõ, êîãäà èíôîðìàöèè î ôóíêöèè ïîòåðü ìàëî, äëÿ ïîèñêà òî÷êè ìèíèìóìà íàäî ïîñëåäîâàòåëüíî ïåðåáðàòü âñå âîçìîæíûå âàðèàíòû âåêòîðîâ ðåãóëèðóåìûõ ïàðàìåòðîâ. Ïðè âûñîêîé ðàçìåðíîñòè çàäà÷è ýòî ñäåëàòü çà ðàçóìíîå âðåìÿ íåâîçìîæíî. Hà îñíîâàíèè òåõ èëè èíûõ ïðåäïîëîæåíèé î ñâîéñòâàõ ôóíêöèè ïîòåðü èñïîëüçîâàíèå àëãîðèòìîâ ñëó÷àéíîãî ïîèñêà ïîçâîëÿåò çàìåíèòü ïîëíûé ïåðåáîð íà, â íåêîòîðîì ñìûñëå, çäðàâîå áëóæäàíèå â ìíîæåñòâå ðåãóëèðóåìûõ ïàðàìåòðîâ. Ê íàñòîÿùåìó âðåìåíè ìåòîäèêà èññëåäîâàíèÿ ñâîéñòâ îöåíîê, äîñòàâëÿåìûõ ðåêóððåíòíûìè àëãîðèòìàìè îöåíèâàíèÿ è îïòèìèçàöèè ïðè çàøóìëåííûõ íàáëþäåíèÿõ, ïðèîáðåëà â öåëîì äîñòàòî÷íî çàêîí÷åííûé âèä. Îñíîâîé ìíîãèõ ðàáîò ïî îïòèìèçàöèè ñõîäèìîñòè àëãîðèòìîâ ÿâëÿþòñÿ ðàáîòû Ì. Âàçàíà [3], Â.ß. Êàòêîâíèêà [17], Ì.Á. Håâåëüñîíà è Ð.Ç. Õàñüìèíñêîãî [28], Á.Ò. Ïîëÿêà [9, 2835] è äðóãèõ àâòîðîâ. Ïðè êîððåëèðîâàííûõ ñòàòèñòè÷åñêèõ ïîìåõàõ â ðàáîòàõ Ë. Ëüþíãà è Ã. Êóøíåðà ñ ñîàâòîðàìè (ñì., íàïðèìåð, [23, 69]) íà îñíîâå èññëåäîâàíèÿ õàðàêòåðèñòèê ñëàáîé ñõîäèìîñòè ðàçðàáîòàíà ìåòîäèêà àíàëèçà àñèìïòîòè÷åñêèõ ñâîéñòâ îöåíîê ðåêóððåíòíûõ àëãîðèòìîâ, îïèðàþùàÿñÿ íà èçó÷åíèå óñòîé÷èâîñòè ðåøåíèé ñîîòâåòñòâóþùèõ îáûêíîâåííûõ äèôôåðåíöèàëüíûõ óðàâíåíèé (ÎÄÓ). Àñèìïòîòè÷åñêèå ñâîéñòâà ïðåäåëüíûõ ðàñïðåäåëåíèé îøèáîê îöåíèâàíèÿ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ÷àñòî èññëåäóþòñÿ íà îñíîâå ðàáîòû Â. Ôàáèàíà [64]. Ñòîõàñòè÷åñêèå êâàçèãðàäèåíòíûå àëãîðèòìû äëÿ ðåøåíèÿ çàäà÷ íåâûïóêëîé îïòèìèçàöèè ðàññìàòðèâàëèñü Þ.Ì. Åðìîëüåâûì, À.Ì. Ãóïàëîì, Ñ.Ï. Óðÿñüåâûì è äð. [14, 25, 42]. Ïðè íåðåãóëÿðíûõ ïîìåõàõ â íàáëþäåíèè (íàïðèìåð, îãðàíè÷åííûõ, à â îñòàëüíîì ïðîèçâîëüíûõ) 17

â êíèãàõ Â.Í. Ôîìèíà, À.Ë. Ôðàäêîâà, Â.À. ßêóáîâè÷à [44], À.Á. Êóðæàíñêîãî [21] è Ô.Ë. ×åðíîóñüêî [53] èñïîëüçóþòñÿ ìåòîäû ïîëó÷åíèÿ ãàðàíòèðîâàííûõ ìíîæåñòâ, ñîäåðæàùèõ îöåíèâàåìûå ïàðàìåòðû. Ñèñòåìàòè÷åñêîå ïàðàëëåëüíîå èçëîæåíèå ìåòîäîâ îöåíèâàíèÿ ïðè ñòàòèñòè÷åñêèõ è íåðåãóëÿðíûõ ïîìåõàõ ïðîâåäåíî Ô. Øâåïïå [75]. Äðóãèå ñïîñîáû îïèñàíèÿ ñâîéñòâ íåîïðåäåëåííîñòåé îáñóæäàþòñÿ Ï.Å. Ýëüÿñáåðãîì â êíèãå [57]. Òàêîâî ñîâðåìåííîå ñîñòîÿíèå â îáëàñòè ñòîõàñòè÷åñêîé îïòèìèçàöèè è îöåíèâàíèÿ. Õàðàêòåð èçëîæåíèÿ ìàòåðèàëà â äàííîì ó÷åáíîì ïîñîáèè â ñóùåñòâåííîé ñòåïåíè ñëåäóåò èçâåñòíîé ìîíîãðàôèè Â.Í. Ôîìèíà "Ðåêóððåíòíîå îöåíèâàíèå è àäàïòèâíàÿ ôèëüòðàöèÿ" [45].

ÑÏÈÑÎÊ ÎÁÎÇÍÀ×ÅÍÈÉ Â òåêñòå ïîñîáèÿ ïðèíÿòû ñëåäóþùèå îáîçíà÷åíèÿ:

n  äèñêðåòíîå âðåìÿ i; j; k; l; m; p; N  öåëûå ÷èñëà (îáû÷íî íåîòðèöàòåëüíûå) ; ; ; Æ; "; ;  ; x ; C  ñêàëÿðíûå âåëè÷èíû a; b; '; w; X  âåêòîðíûå èëè ñêàëÿðíûå âåëè÷èíû y; Y  íàáëþäàåìûå ñêàëÿðíûå è âåêòîðíûå ïåðåìåííûå v  ïîìåõè (øóìû) â íàáëþäåíèÿõ (èçìåðåíèÿõ) ;   ñëó÷àéíûå âåêòîðû A; B; D; ; ; H; K; Q; R  ìàòðèöû, I  åäèíè÷íàÿ ìàòðèöà fn g; fXn g è fAn g  ïîñëåäîâàòåëüíîñòè ÷èñåë, âåêòîðîâ è ìàòðèö


T  îïåðàöèÿ òðàíñïîíèðîâàíèÿ âåêòîðà èëè ìàòðèöû B > 0 (B  0 )  ìàòðèöà B  ñèììåòðè÷íàÿ è ïîëîæèòåëüíî (íåîòðèöàòåëüíî) îïðåäåëåííàÿ: B = BT ; aT Ba > 0 (aT Ba  0) 8a

qP p

Tr[B]  ñëåä ìàòðèöû B (ñóììà äèàãîíàëüíûõ ýëåìåíòîâ) k
k  åâêëèäîâà íîðìà: äëÿ âåêòîðà kak = i a2i èëè äëÿ ìàòðèöû kAk = maxkxk=1kAxk = max (A) = max (AT A) f (
); F (
;
); L(
;
); Q(
;
); q(
); K (
)  âåùåñòâåííûå ôóíêöèè L(
;
)  ôóíêöèÿ ïðàâäîïîäîáèÿ g(
); G(
;
)  âåêòîðíûå ôóíêöèè f 0 (
); rf (
)  âåêòîð-ãðàäèåíò ôóíêöèè f (
) O(
)  ôóíêöèÿ òàêîãî æå ïîðÿäêà ìàëîñòè, êàê è åå àðãóìåíò o (
)  ôóíêöèÿ áîëåå âûñîêîãî ïîðÿäêà ìàëîñòè, ÷åì åå àðãóìåíò

R  ìíîæåñòâî âåùåñòâåííûõ ÷èñåë

r  ðàçìåðíîñòü âåêòîðà îöåíèâàåìûõ ïàðàìåòðîâ   îöåíèâàåìîå (îïòèìàëüíîå) çíà÷åíèå ^  âåêòîð (èíîãäà ìàòðèöà) â ïðîñòðàíñòâå îöåíèâàåìûõ ïàðàìåòðîâ (îöåíêà) 19


n  âåêòîð ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ â n-é ìîìåíò âðåìåíè   ìíîæåñòâî â ïðîñòðàíñòâå ïàðàìåòðîâ diam()  íàèáîëüøåå èç ðàññòîÿíèé ìåæäó äâóìÿ ïðîèçâîëüíûìè òî÷êàìè ìíîæåñòâà  Pf
g (
)  ôóíêöèÿ (îïåðàòîð) ïðîåêòèðîâàíèÿ íà ìíîæåñòâî

 âåðîÿòíîñòíîå ïðîñòðàíñòâî !  ýëåìåíò âåðîÿòíîñòíîãî ïðîñòðàíñòâà Pf
g  âåðîÿòíîñòü ñîáûòèÿ

P(
)  ôóíêöèÿ ðàñïðåäåëåíèÿ âåðîÿòíîñòåé N (
;
)  íîðìàëüíîå ðàñïðåäåëåíèå ñëó÷àéíîé âåëè÷èíû Ef
g  çíàê ìàòåìàòè÷åñêîãî îæèäàíèÿ Ef
j
g; Ew f
g  óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå M'  ñðåäíåå çíà÷åíèå ñëó÷àéíîé âåëè÷èíû ' (èëè åãî âåðõíÿÿ ãðàíèöà) v2  äèñïåðñèÿ ñëó÷àéíîé âåëè÷èíû v (èëè åå âåðõíÿÿ ãðàíèöà) Æij  ñèìâîë Êðîíåêåðà: Æii = 1 è Æij = 0, åñëè i 6= j Æ(
)  äåëüòà-ôóíêöèÿ Äèðàêà (Æ(x) = 0; 8x 6= 0)

1f
g  õàðàêòåðèñòè÷åñêàÿ ôóíêöèÿ ìíîæåñòâà (ôóíêöèÿ Õåâèñàéäà), ðàâíàÿ íóëþ èëè åäèíèöå

sgnf
g  çíàêîâàÿ ôóíêöèÿ, ðàâíàÿ ïëþñ/ìèíóñ åäèíèöå

8  êâàíòîð "äëÿ âñÿêîãî"

Ìåòîäû îöåíèâàíèÿ è îïòèìèçàöèè Èçëîæåíèå ìàòåðèàëà ïîñîáèÿ ìû íà÷íåì ñ ôîðìóëèðîâêè íåñêîëüêèõ ìîäåëüíûõ ïðèìåðîâ, èëëþñòðèðóþùèõ îáëàñòü ïðèìåíåíèÿ îáñóæäàåìûõ ìåòîäîâ.

1. Ïðèìåðû çàäà÷ îöåíèâàíèÿ Ðàññìàòðèâàåìûå ïðèìåðû íå ïðåäñòàâëÿþò ñîáîé êîíêðåòíûå ïðàêòè÷åñêèå çàäà÷è. Ìíîãèå èç íèõ çàäàíû â äîñòàòî÷íî îáùåé ìîäåëüíîé ôîðìå, íî, ïî ìíåíèþ àâòîðà, äëÿ ïðàêòèêîâ íå ñîñòàâèò òðóäà ïðè íåîáõîäèìîñòè êîíêðåòèçèðîâàòü ëþáîé èç íèõ.

1.1. Îöåíèâàíèå âåëè÷èíû ïîñòîÿííîãî ñèãíàëà, íàáëþäàåìîãî íà ôîíå ïîìåõè Ïðåäïîëîæèì, ÷òî íàáëþäàåìûé (ðåãèñòðèðóåìûé èçìåðèòåëüíûì ïðèáîðîì) ñèãíàë fyn g èìååò âèä

yn =  + vn ; çäåñü   íåèçâåñòíàÿ ïîñòîÿííàÿ âåëè÷èíà (ïîëåçíûé ñèãíàë); fvng  íåèçâåñòíàÿ ïîìåõà íàáëþäåíèÿ, èçìåíÿþùàÿñÿ âî âðåìåíè, n = 1; 2; : : : : Èíòåðâàë âðåìåíè íàáëþäåíèÿ ìîæåò áûòü ëèáî íåîãðàíè÷åííûì, ëèáî êîíå÷íûì. Ïðè ðàññìîòðåíèè âòîðîãî ñëó÷àÿ ìû áóäåì ïèñàòü: n = 1; 2; : : : ; N: Òðåáóåòñÿ ïî íàáîðó âåëè÷èí y1 ; : : : ; yN , ñîñòîÿùåìó èç íàáëþäåíèé, ïîëó÷åííûõ ê ìîìåíòó âðåìåíè N , îöåíèòü çíà÷åíèå âåëè÷èíû  . 21

 òàêîé îáùåé ïîñòàíîâêå íåò âîçìîæíîñòè ïîëó÷èòü êàêîåíèáóäü óäîâëåòâîðèòåëüíîå ðåøåíèå çàäà÷è. Äëÿ áîëüøåé ñîäåðæàòåëüíîñòè â ïîñòàíîâêó çàäà÷è âíîñÿò óòî÷íÿþùèå äîïîëíåíèÿ. Íàïðèìåð, ïðè ñòàòèñòè÷åñêîì ïîäõîäå äåëàþò òå èëè èíûå ïðåäïîëîæåíèÿ î âåðîÿòíîñòíûõ ñâîéñòâàõ ïîìåõ fvng. Äîñòàòî÷íî õàðàêòåðíûì ÿâëÿåòñÿ ïðåäïîëîæåíèå î öåíòðèðîâàííîñòè (ñðåäíåå çíà÷åíèå ðàâíî íóëþ) è íåçàâèñèìîñòè (â óïðîùåííîì ñìûñëå, íåò çàâèñèìîñòè ìåæäó çíà÷åíèÿìè â ðàçíûå ìîìåíòû âðåìåíè) ïîìåõè.  ýòîé ñèòóàöèè, ïðîñóììèðîâàâ è óñðåäíèâ N çíà÷åíèé íàáëþäåíèé, ïîëó÷èì

1 N

N X n=1

yn =  +

1 N

N X n=1

vn :

 çàâèñèìîñòè îò ñäåëàííûõ ñòàòèñòè÷åñêèõ ïðåäïîëîæåíèé â ñèëó çàêîíà áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3) âåëè÷èíû PN n=1 vn =N ìîãóò ñõîäèòñÿ â íåêîòîðîì âåðîÿòíîñòíîì ñìûñëå ê íóëþ. Òîãäà îöåíêè f^N g íåèçâåñòíîãî çíà÷åíèÿ  , âû÷èñëåííûå ïî ôîðìóëå N X ^N = 1 y; N n=1 n áóäóò ñõîäèòüñÿ â òîì æå âåðîÿòíîñòíîì ñìûñëå ê çíà÷åíèþ íåèçâåñòíîé âåëè÷èíû  . Ñ ïðàêòè÷åñêîé òî÷êè çðåíèÿ äëÿ óäîáñòâà ðåàëèçàöèè àëãîðèòìà îöåíèâàíèÿ íà ÝÂÌ åãî öåëåñîîáðàçíî ïåðåïèñàòü â ðåêóððåíòíîé ôîðìå, èñïîëüçóþùåé íà êàæäîì øàãå êîíå÷íóþ ïàìÿòü (ôèêñèðîâàííîå êîëè÷åñòâî çíà÷åíèé). Ïóñòü ^0 = 0. Ïðîèçâåäÿ íåñëîæíûå ïðåîáðàçîâàíèÿ: n 1X n 1 1 nX1 1 ^n = yk = y + y; n k=1 n n 1 k=1 k n n ïîëó÷èì ðåêóððåíòíûé âàðèàíò àëãîðèòìà äëÿ âû÷èñëåíèÿ îöåíîê:

^n = ^n

1

1 ^ ( n n

1

yn): 22

Îáðàòèì âíèìàíèå íà òî, ÷òî äëÿ âû÷èñëåíèÿ î÷åðåäíîé îöåíêè èñïîëüçóåòñÿ òîëüêî íîâîå íàáëþäåíèå è ïðåäûäóùàÿ îöåíêà. Êðîìå âû÷èñëåíèÿ ñðåäíåàðèôìåòè÷åñêîãî çíà÷åíèÿ äàííûõ íàáëþäåíèÿ øèðîêî èñïîëüçóåòñÿ ìåòîä ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. Îáîçíà÷èì 0

1

y1 B y2 C B C

Y =B

. C: @ .. A

yN

 òîì ñëó÷àå, êîãäà ïîìåõè  ñëó÷àéíûå âåëè÷èíû, âåêòîð íàáëþäåíèé Y èìååò ñëó÷àéíóþ ïðèðîäó. Åñëè ñóùåñòâóåò ïëîòíîñòü ó åãî ôóíêöèè ðàñïðåäåëåíèÿ, òî åå îáû÷íî íàçûâàþò ôóíêöèåé ïðàâäîïîäîáèÿ è îáîçíà÷àþò L(Y;  ), ïîä÷åðêèâàÿ çàâèñèìîñòü îò  .  òàêîé ñèòóàöèè îäíèì èç åñòåñòâåííûõ ñïîñîáîâ âûáîðà îöåíêè ÿâëÿåòñÿ îïðåäåëåíèå òîé òî÷êè, â êîòîðîé ôóíêöèÿ ïðàâäîïîäîáèÿ äîñòèãàåò ìàêñèìàëüíîãî çíà÷åíèÿ. Íàïðèìåð, ïóñòü ïîìåõè íàáëþäåíèÿ  íåçàâèñèìûå ãàóññîâñêèå ñ íóëåâûì ñðåäíèì è íåâûðîæäåííîé äèñïåðñèåé n2 > 0: vn  N (0; n2 ). Òàê êàê yn  N (; n2 ), òî â ýòîì ïðèìåðå ôóíêöèÿ ïðàâäîïîäîáèÿ èìååò âèä

L(Y; ) =

(2)N=2

1

e QN k=1 k

P

(yk  )2 N k=1 2 2 k

Óäîáíåå ðåøàòü çàäà÷ó ìàêñèìèçàöèè ïî

ln L(Y; ) =

N ln 2 2

N X k=1

ln k

:

 ôóíêöèè N X (yk k=1

 )2

2k2

(ëîãàðèôìà ïðàâäîïîäîáèÿ). Ïðèðàâíèâàÿ ê íóëþ ðåçóëüòàò äèôôåðåíöèðîâàíèÿ ïî  , ïîëó÷àåì óðàâíåíèå äëÿ ^N : N X yk k=1

k2

^N

= 0; 23

ðåøåíèåì êîòîðîãî ÿâëÿåòñÿ îöåíêà, íàçûâàåìàÿ óñðåäíåíèåì ñ âåñàìè: PN 2 ^N = Pk=1 yk k : N  2 k=1 k Ïîñëåäíÿÿ ôîðìóëà ëåãêî îáîñíîâûâàåòñÿ è íà èíòóèòèâíîì óðîâíå: â ôîðìèðîâàíèå îöåíêè íàèáîëüøèé âêëàä âíîñÿò òå íàáëþäåíèÿ, êîòîðûå äåëàëèñü ñ íàèìåíüøèìè îøèáêàìè. Åñëè äîïîëíèòåëüíî ïðåäïîëîæèòü îäèíàêîâóþ ðàñïðåäåëåííîñòü ïîìåõ íàáëþäåíèé fvn g, òî, êàê è âûøå, ïîëó÷àåì ñðåäíåàðèôìåòè÷åñêîå çíà÷åíèå äàííûõ íàáëþäåíèÿ: P

2 N y k=1 k = 1 ^N = v N Nv 2

N X n=1

yn :

Äëÿ ðåøåíèÿ ïîñòàâëåííîé çàäà÷è ìîæíî âûáðàòü è êàêîéíèáóäü äðóãîé ñïîñîá ïîñòðîåíèÿ îöåíîê èñêîìîé âåëè÷èíû , íî âñå èçâåñòíûå ñîäåðæàòåëüíûå àëãîðèòìû îïèðàþòñÿ íà ñóùåñòâåííûå ïðåäïîëîæåíèÿ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ íàáëþäåíèÿ. Îáû÷íî, êàê è â ðàññìîòðåííîì ïðèìåðå, ïðåäïîëàãàþòñÿ èõ öåíòðèðîâàííîñòü è íåêîððåëèðîâàííîñòü. Äàëåå, â ðàçä. 5, ðàçáèðàþòñÿ åùå íåñêîëüêî ïðèìåðîâ òàêîãî æå òèïà. Èíòåðåñíà ïîñòàíîâêà çàäà÷è î âûáîðå íàèëó÷øèõ â òîì èëè èíîì ñìûñëå îöåíîê. Èçâåñòíî, ÷òî ïðèâåäåííûé ïåðâûì àëãîðèòì ÿâëÿåòñÿ îïòèìàëüíûì â ñëó÷àå íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ãàóññîâñêèõ ïîìåõ â íàáëþäåíèÿõ. Äëÿ ðàñïðåäåëåíèé ñòàòèñòè÷åñêèõ ïîìåõ äðóãèõ òèïîâ îïòèìàëüíûì ìîæåò áûòü èíîé ìåòîä ïîñòðîåíèÿ îöåíîê. Ïðè èññëåäîâàíèè âûáðàííîãî àëãîðèòìà ñòàðàþòñÿ äîïîëíèòåëüíî ïîëó÷èòü îòâåò íà âîïðîñ î ñêîðîñòè ñõîäèìîñòè äîñòàâëÿåìûõ èì îöåíîê, åñëè îíè ñõîäÿòñÿ ê çíà÷åíèþ íåèçâåñòíîé âåëè÷èíû  , ò.å. èçó÷àþò ñêîðîñòü ñõîäèìîñòè ê íóëþ ïîñëåäîâàòåëüíîñòè f^N  g. Ê ñîæàëåíèþ, ïðè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè ïðèâåäåííûå ðàññóæäåíèÿ íå ïîçâîëÿþò ïîëó÷èòü óäîâëåòâî24

ðèòåëüíîãî ðåøåíèÿ çàäà÷è. Õîðîøî îöåíèòü âåëè÷èíó ïîñòîÿííîãî ñèãíàëà íà ôîíå äåòåðìèíèðîâàííîé (íåñëó÷àéíîé) íåèçâåñòíîé ïîìåõè ïðèíöèïèàëüíî íåâîçìîæíî.

1.2. Çàäà÷à îá îáíàðóæåíèè ñèãíàëà Ðàññìîòðèì çàäà÷ó îáíàðóæåíèÿ (äåòåêòèðîâàíèÿ) ñèãíàëà f'n g, êîòîðûé ìîæåò ïîïàäàòü, à ìîæåò è íå ïîïàäàòü â çàøóìëåííûé êàíàë íàáëþäåíèÿ (èçìåðåíèÿ ïðîèçâîäÿòñÿ ñ ïîìåõàìè). Çäåñü äëÿ ïðîñòîòû áóäåì ñ÷èòàòü ñèãíàë f'n g ñêàëÿðíûì.  çàäà÷àõ îáíàðóæåíèÿ ñèãíàëà îöåíèâàåìàÿ âåëè÷èíà  îáû÷íî ïðèíèìàåò êîíå÷íîå ÷èñëî çíà÷åíèé è ÷àñòî ïðåäñòàâëÿåò ñîáîé õàðàêòåðèñòèêó òèïà "äà  íåò". Áóäåì ñ÷èòàòü, ÷òî ñëó÷àé f = 1g ñîîòâåòñòâóåò íàëè÷èþ ñèãíàëà â ïðèåìíèêå, à ñëó÷àé f = 0g  åãî îòñóòñòâèþ. Ñ ó÷åòîì ýòîãî äëÿ íàáëþäàåìûõ âåëè÷èí fyn g ìîæíî çàïèñàòü ñîîòíîøåíèÿ yn = 'n  + vn ; ãäå n = 1; 2; : : : :  èñòîðè÷åñêîì àñïåêòå ýòà çàäà÷à ÿâëÿåòñÿ êëàññè÷åñêîé. Áîëüøèíñòâî ìåòîäîâ òåîðèè îöåíèâàíèÿ ïðåæäå âñåãî àïðîáèðîâàëèñü íà íåé, ïîýòîìó íàáîð âîçìîæíûõ ñïîñîáîâ åå ðåøåíèÿ ïðè ðàçëè÷íûõ ïðåäïîëîæåíèÿõ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ñèãíàëà f'n g è "õîðîøèõ" ïîìåõàõ fvng äîñòàòî÷íî îáøèðåí (ñì., íàïðèìåð, [45]). Ïðè ðåøåíèè âàæíî çíàòü: èçâåñòíû çíà÷åíèÿ âåëè÷èí f'n g â êàæäûé ìîìåíò âðåìåíè èëè íåò. Áóäåì ðàññìàòðèâàòü ñëó÷àé, êîãäà â êàæäûé ìîìåíò âðåìåíè n çíà÷åíèå îáíàðóæèâàåìîãî ñèãíàëà èçâåñòíî. Ïîìèìî ýòîãî ïóñòü ïîëåçíûé ñèãíàë  îãðàíè÷åííûé è èìååò ñòàòèñòè÷åñêóþ ïðèðîäó, ïðåäñòàâëÿÿ ñîáîé ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ ìåæäó ñîáîé ñëó÷àéíûõ âåëè÷èí ñ èçâåñòíûì íåíóëåâûì ñðåäíèì çíà÷åíèåì M' 6= 0 è ïîëîæèòåëüíîé îãðàíè÷åííîé äèñïåðñèåé '2 > 0. Êàê è ðàíåå, ïðîñóììèðîâàâ è óñðåäíèâ n ïîñëåäîâà25

òåëüíûõ äàííûõ íàáëþäåíèÿ, äëÿ ñðåäíåàðèôìåòè÷åñêîãî çíà÷åíèÿ äàííûõ íàáëþäåíèÿ ïîëó÷èì n n n 1X 1X 1X yk = 'k  + v: n k=1 n k=1 n k=1 k  ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3), P ïîñëåäîâàòåëüíîñòü âåëè÷èí n1 nk=1 'k ñòðåìèòñÿ ê ñðåäíåìó çíà÷åíèþ M' . Åñëè âçÿòü ^0 = 0 è â êà÷åñòâå î÷åðåäíîé îöåíêè âûáðàòü n X ^n = 1 y; nM' k=1 k òî, ïðåäïîëàãàÿ íåçàâèñèìîñòü ïîìåõ íàáëþäåíèÿ, èõ îäèíàêîâóþ ðàñïðåäåëåííîñòü è îãðàíè÷åííîñòü âòîðûõ ñòàòèñòè÷åñêèõ ìîìåíòîâ, ìîæíî äîêàçàòü ñõîäèìîñòü ñ âåðîÿòíîñòüþ åäèíèöà ïîñëåäîâàòåëüíîñòè îöåíîê f^n g ê çíà÷åíèþ

+

Mv ; M'

çäåñü Mv  ñðåäíåå çíà÷åíèå ïîìåõè.  ìîìåíò âðåìåíè n ïðè âûáîðå ãèïîòåçû î íàëè÷èè ïîëåçíîãî ñèãíàëà â êàíàëå íàáëþäåíèÿ èëè îá åãî îòñóòñòâèè ðàçóìíî âçÿòü îïåðàöèþ ñðàâíåíèÿ âåëè÷èíû òåêóùåé îöåíêè ^n ñ íåêîòîðûì ïîðîãîâûì çíà÷åíèåì Æ . Åñëè ^n < Æ , òî ïðèíèìàåòñÿ ãèïîòåçà ñèãíàëà íåò, â ïðîòèâíîì ñëó÷àå  ñèãíàë åñòü. Ïðè èçâåñòíîé âåëè÷èíå Mv åñòåñòâåííî â ðåøàþùåì ïðàâèëå çàäàòü ïîMv . ðîãîâîå çíà÷åíèå Æ = 21 + M ' Ïðè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè ýòîò ïðîñòîé àëãîðèòì íå ãîäèòñÿ. Äàæå åñëè ïîìåõè  ñëó÷àéíûå, íåçàâèñèìûå, îäèíàêîâî ðàñïðåäåëåííûå, íî ñ íåèçâåñòíûì ñðåäíèì Mv j > 1 ðàññìîòðåííûé àëãîðèòì â ïðåäåçíà÷åíèåì, òî ïðè j M 2 ' ëå áóäåò äàâàòü íåïðàâèëüíûå îòâåòû. Êàê âñå-òàêè ïîäñòóïèòüñÿ ê ðåøåíèþ òàêîé çàäà÷è? Ïóñòü ïîìåõè çàäàþòñÿ íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ôóíêöèåé 26

jvnj  Cv ; n = 1; 2; : : :.

Îáîçíà÷èì ÷åðåç
n = 'n M' , n = Ïðåäïîëîæèì äîïîëíèòåëüíî îãðàíè÷åííîñòü ÷åòâåðòîãî öåíòðàëüíîãî ìîìåíòà ïîëåçíîãî ñèãíàëà: Efj
n j4 g < 1. Äîìíîæèì íà
n îáå ÷àñòè ñîîòíîøåíèÿ, îïðåäåëÿþùåãî íàáëþäàåìûå âåëè÷èíû yn , è, ïðîèçâåäÿ íåñëîæíûå ïðåîáðàçîâàíèÿ, ïîëó÷èì ïðè n = 1; 2; : : :

1; 2; : : :, öåíòðèðîâàííûå âõîäû.


n yn =
2n +
nM'  +
n vn : Ïðîñóììèðîâàâ è óñðåäíèâ, èìååì n n n 1X 1X 1X
k yk =
2k  +
M + n k=1 n k=1 n k=1 k '

n 1X
v; n k=1 k k

n = 1; 2; : : : : Ïåðâîå è âòîðîå ñëàãàåìûå â ïðàâîé ÷àñòè ïðè n ! 1 è ñäåëàííûõ ïðåäïîëîæåíèÿõ, â ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3), ñ âåðîÿòíîñòüþ åäèíèöà ñòðåìÿòñÿ ê '2  è íóëþ ñîîòâåòñòâåííî. Ïîñëåäíåå ñëàãàåìîå ñ âåðîÿòíîñòüþ åäèíèöà ñòðåìèòñÿ ê íóëþ1 . Îòñþäà ñëåäóåò, 1

Äîêàçàòåëüñòâî ýòîãî ôàêòà ñëîæíåå. Ïîêàæåì, ÷òî ñ âåðîÿòíîñòüþ åäèíèöà ïðè äîñòàòî÷íî áîëüøèõ n ïîñëåäíåå ñëàãàåìîå ïî àáñîëþòíîé âåëè÷èíå íå áóäåò ïðåâîñõîäèòü ëþáîå çàðàíåå âûáðàííîå ìàëîå ÷èñëî " " > , ò.å. ïðè n ! 1 îíî áóäåò ñòðåìèòüñÿ ê íóëþ. Ïóñòü h . 2' (1+") Ïî ïðåäïîëîæåíèþ, âîçìîæíûå çíà÷åíèÿ ïîìåõè vn ëåæàò â èíòåðâàëå Cv ; Cv . Ðàçîáúåì åãî íà l Cv =h ÷àñòåé VP vi 1 ; vi ; v0 i l Cv ; vi Cv ih; i ; : : : ; l. Îáîçíà÷èì n i=1 1fvn 2Vi g vn vi ; n  . Çàìåòèì, ÷òî jn j  h. Òàê êàê ÷èñëî l ôèêñèðîâàíî, òî, â ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë, ïðè i ; : : : ; l è äîñòàòî÷íî áîëüøèõ n ñ âåðîÿòíîñòüþ åäèíèöà

0

=

[ ]  = ) 1 

vi n

+

=1



X



k n;k:vk

= [2

2Vi

2

]+1


k  8Cv '"(1 + ")

= =1

= [

)  = (

n 1X
k  ' (1 + ") : 2

è

n

2

2

k=1

Ïðè ýòîì â ñèëó íåðàâåíñòâà Ãåëüäåðà (ñì. ðàçä. Ï.1.2) ïîëó÷àåì

1

n X n k=1





l X vi


k vk =

i=1

n



k n;k:vk

n X
k + n1
k k  8Cv 'l"(1 + ") + 2

X

2Vi

k=1

+ ' (1 + ")h  ";

÷òî è òðåáîâàëîñü äîêàçàòü.

27

÷òî ïðè
1 6= 0 ïîñëåäîâàòåëüíîñòü îöåíîê ôîðìèðóåìûõ ïî ïðàâèëó

f^ng; n = 1; 2; : : : ;

Pn k=1
k yk ; P n
2 k=1 k

^n =

ñõîäèòñÿ ñ âåðîÿòíîñòüþ åäèíèöà ê  . Çàäàäèì íåêîòîðîå ïîðîãîâîå çíà÷åíèå Æ 2 (0; 1), íàïðèìåð Æ = 1=2.  êà÷åñòâå ðåøàþùåãî ïðàâèëà â ìîìåíò âðåìåíè n ìîæíî âûáðàòü îïåðàöèþ ñðàâíåíèÿ âåëè÷èíû òåêóùåé îöåíêè ^n ñ âûáðàííûì ïîðîãîâûì çíà÷åíèåì Æ . Åñëè ^n < Æ , òî ïðèíèìàåòñÿ ãèïîòåçà ñèãíàëà íåò, â ïðîòèâíîì ñëó÷àå  ñèãíàë åñòü.

1.3. Ðàíäîìèçèðîâàííûå àëãîðèòìû Îñòàíîâèìñÿ ïîäðîáíåå íà ïîñëåäíåì ñïîñîáå ïîñòðîåíèÿ îöåíîê èç ïðåäûäóùåãî ïóíêòà. Èç åãî âèäà ñëåäóåò, ÷òî åñëè ïðè n = 1; 2; : : : îáîçíà÷èòü n

n X

=

k=1


2k

! 1

;

òî äâå ïîñëåäîâàòåëüíûå îöåíêè ñâÿçàíû ñîîòíîøåíèåì

^n

^n

1 n 1

=

n

+
nyn :

Ñëåäîâàòåëüíî, ïðè âûáîðå ^0 = 0 ðàññìàòðèâàåìûé àëãîðèòì ìîæåò áûòü çàïèñàí â ðåêóððåíòíîé ôîðìå:

^n = ^n

1

n


n n (
n ^n

=(

1

yn );

1 2 1 n 1 +
n ) :

Íàïîìíèì, ÷òî ïðè ñäåëàííûõ ïðåäïîëîæåíèÿõ
n  íåçàâèñèìûå öåíòðèðîâàííûå ñëó÷àéíûå âåëè÷èíû. Îáîçíà÷èâ 28

÷åðåç yn = n (
n ^n 1 yn ) âåëè÷èíû, âû÷èñëÿåìûå ïî íàáëþäàåìûì ê ìîìåíó âðåìåíè n äàííûì, ïîëó÷åííûé ðåêóððåíòíûé àëãîðèòì îöåíèâàíèÿ ìîæíî ïåðåïèñàòü â âèäå

^n = ^n

1


nyn :

Äëÿ ïðèìåðà èç ðàçä. 1.2 áûëî ïðèâåäåíî èíòóèòèâíîå îáîñíîâàíèå ñõîäèìîñòè ïîñëåäîâàòåëüíîñòè îöåíîê f^n g ê èñòèííîìó çíà÷åíèþ íåèçâåñòíîãî ïàðàìåòðà ïðè íåñëó÷àéíîé íåèçâåñòíîé, íî îãðàíè÷åííîé ïîñëåäîâàòåëüíîñòè ïîìåõ â íàáëþäåíèè. Êàê íè ñòðàííî, äîëãîå âðåìÿ èññëåäîâàòåëè íå çàìå÷àëè òîãî ôàêòà, ÷òî â ñëó÷àå çàøóìëåííûõ íàáëþäåíèé îöåíêè àëãîðèòìà ïîèñêà ñ ïîñëåäîâàòåëüíûì (n = 1; 2; : : : ) èçìåíåíèåì ^n 1 â íàïðàâëåíèè ïî îñè íåêîòîðîãî ñëó÷àéíîãî öåíòðèðîâàííîãî âåêòîðà
n ìîãóò ñõîäèòüñÿ ê èñòèííîìó âåêòîðó ðåãóëèðóåìûõ ïàðàìåòðîâ  íå òîëüêî ïðè "õîðîøèõ" ïîìåõàõ, íî è ïðè ïî÷òè ïðîèçâîëüíûõ. Ýòî äîñòèãàåòñÿ â óñëîâèÿõ, êîãäà íàáëþäåíèÿ yn ïðîèçâîäÿòñÿ â íåêîòîðîé òî÷êå, îïðåäåëÿåìîé ïðåäûäóùåé îöåíêîé ^n 1 è âåêòîðîì
n , íàçûâàåìûì ïðîáíûì îäíîâðåìåííûì âîçìóùåíèåì. Àëãîðèòìû òàêîãî òèïà â äàëüíåéøåì áóäåì íàçûâàòü ðàíäîìèçèðîâàííûìè, òàê êàê îáîñíîâàíèå èõ ñõîäèìîñòè ïðè "ïî÷òè ïðîèçâîëüíûõ" ïîìåõàõ ñóùåñòâåííî èñïîëüçóåò ñòîõàñòè÷åñêóþ (âåðîÿòíîñòíóþ) ïðèðîäó ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ.

1.4. Ôóíêöèîíàë ñðåäíåãî ðèñêà Ïðèâåäåííûå â ðàçä. 1.1 è 1.2 ïðèìåðû îòíîñÿòñÿ ê áîëåå øèðîêîìó êëàññó çàäà÷ ìèíèìèçàöèè ôóíêöèîíàëîâ ñðåäíåãî ðèñêà. Ïóñòü F (w; X ) : R p  Rr ! R  øòðàôíàÿ ôóíêöèÿ (ôóíêöèÿ ïîòåðü) è çàäàíà ïîñëåäîâàòåëüíîñòü p-ìåðíûõ ñëó÷àéíûõ âåêòîðîâ fwn g èç Rp , ïîðîæäåííàÿ ðàñïðåäåëåíèåì âåðîÿòíîñòåé Pw (
). Çàäà÷à ìèíèìèçàöèè ôóíêöèîíàëà ñðåä29

íåãî ðèñêà ñîñòîèò â íàõîæäåíèè òî÷êè ìèíèìóìà ôóíêöèè f (
), èìåþùåé âèä

f (X ) = Ew fF (w; X )g =

Z

Rp

F (w; X )Pw (dw);

Ôóíêöèþ f (
) îáû÷íî íàçûâàþò ôóíêöèåé ñðåäíèõ ïîòåðü.  òîì ñëó÷àå, êîãäà ôóíêöèÿ ðàñïðåäåëåíèÿ Pw (
) íåèçâåñòíà, ýòà çàäà÷à âûõîäèò çà ðàìêè êëàññè÷åñêîé òåîðèè îïòèìèçàöèè, íî åå ìîæíî ïîïûòàòüñÿ ðåøèòü â òåõ ñëó÷àÿõ, êîãäà â òî÷êàõ, çàäàâàåìûõ ïîñëåäîâàòåëüíîñòüþ f(wn ; Xn )g, äîñòóïíû íàáëþäåíèþ (ìîæåò áûòü ñ ïîìåõàìè) èëè çíà÷åíèÿ ôóíêöèè F (wn ; Xn ), èëè âåëè÷èíû rx F (wn ; Xn )  çíà÷åíèÿ âåêòîðãðàäèåíòà. Ïðè ýòîì îáû÷íî ïðåäïîëàãàþò, ÷òî ýêñïåðèìåíòàòîðó äîñòóïíû òîëüêî ïðîöåññû ôîðìèðîâàíèÿ è (èëè) íàáëþäåíèÿ ïîñëåäîâàòåëüíîñòè fXn g, à ñîîòâåòñòâóþùèå çíà÷åíèÿ fwn g ïîðîæäàþòñÿ ðàñïðåäåëåíèåì Pw (
) è íåïîäêîíòðîëüíû è äàæå, ìîæåò áûòü, íåèçâåñòíû. Äëÿ ïðèìåðîâ ðàçä. 1.1 è 1.2 ìîæíî âçÿòü p = r = 1. Åñëè ïîìåõà íàáëþäåíèÿ fvn g èìååò ñëó÷àéíóþ ïðèðîäó è åå ôóíêöèÿ ðàñïðåäåëåíèÿ  Pv (
), òîãäà çàäà÷à èç ðàçä. 1.1 îá îöåíèâàíèè âåëè÷èíû ïîñòîÿííîãî ñèãíàëà ýêâèâàëåíòíà çàäà÷å ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà:

f (X ) =

Z

1 ( X + w)2 Pv (dw); R2

à âòîðàÿ çàäà÷à èç ðàçä. 1.2 ñâÿçàíà ñ ôóíêöèîíàëîì

f (X ) = ãäå

Z Z

1 ('( R R2

X ) + v)2 P';v (dw);

 

w = 'v ; à P';v (
)  ôóíêöèÿ ñîâìåñòíîãî ðàñïðåäåëåíèÿ ïîëåçíîãî ñèãíàëà è ïîìåõè. Íàáëþäåíèþ â êàæäûé ìîìåíò âðåìåíè 30

n äîñòóïíû çíà÷åíèÿ rxF (wn ; Xn ), ðàâíûå Xn yn â ïåðâîì ñëó÷àå èëè 'n ('n Xn yn )  âî âòîðîì, ïðè ýòîì â ïåðâîé çàäà÷å çíà÷åíèÿ wn ; n = 1; 2; : : : ; íå èçâåñòíû ïîëíîñòüþ, à âî âòîðîé  íå èçâåñòíû ïîëíîñòüþ òîëüêî âòîðûå êîìïîíåíòû âåêòîðîâ wn ; n = 1; 2; : : : . Åñëè èçìåðåíèÿ çíà÷åíèé ôóíêöèè F (wn ; Xn ) ôàêòè÷åñêè äåëàþòñÿ ñ íåêîòîðîé àääèòèâíîé ñëó÷àéíîé öåíòðèðîâàííîé íåçàâèñèìîé îøèáêîé vn 2 R , òî â ñèëó îáùíîñòè ïîñòàâëåííîé çàäà÷è ýòî óñëîæíåíèå íåïðèíöèïèàëüíî. Ðàñøèðèâ âåêòîð w äîïîëíèòåëüíîé êîìïîíåíòîé v è îáîçíà÷èâ  

w = wv ; ìîæíî ðàññìàòðèâàòü âìåñòî

F (w; X ) íîâóþ ôóíêöèþ

F (w;  X ) = F (w; X ) + v ñî ñõåìîé íàáëþäåíèÿ áåç ïîìåõ è íîâîå ñîâìåñòíîå íåèçâåñòíîå ðàñïðåäåëåíèå Pw;v (
) âìåñòî Pw (
), êîòîðîå è ðàíåå ïðåäïîëàãàëîñü íåèçâåñòíûì. Åñëè îøèáêè èçìåðåíèÿ íå îáëàäàþò õîðîøèìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè, òî óïðîùàòü çàäà÷ó íåëüçÿ. Íàäî ðàññìàòðèâàòü ìîäåëü íàáëþäåíèé ñ ïîìåõàìè: yn = F (wn ; Xn ) + vn ; ãäå

n = 1; 2; : : : : 1.5. Ïðåäñêàçàíèå çíà÷åíèé ñëó÷àéíîãî ïðîöåññà

Îïèñàíèå ïðåäâàðèòåëüíûõ ïðèìåðîâ çàêîí÷èì çàäà÷åé î ïðåäñêàçàíèè çíà÷åíèé ñêàëÿðíîãî ñëó÷àéíîãî ïðîöåññà fn g, ïîðîæäàþùåãîñÿ óñòîé÷èâûì ëèíåéíûì ôèëüòðîì:

n+1 = a n + wn+1 ; 31

ãäå jaj < 1; n = 1; 2; : : : ; 0 = 0 è ïîñëåäîâàòåëüíîñòü fwn g ïðåäñòàâëÿåò ñîáîé íåêîòîðóþ ðåàëèçàöèþ íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí. Íàáëþäåíèþ â êàæäûé ìîìåíò âðåìåíè äîñòóïíû âåëè÷èíû

yn = 'n n + vn ; ÿâëÿþùèåñÿ ñìåñüþ ïðåîáðàçîâàííîãî ïðîöåññà fn g è íåèçâåñòíîé ïîìåõè fvn g. Òðåáóåòñÿ íàéòè îöåíêè ^n+1 çíà÷åíèé ïðîöåññà fn g â ìîìåíò âðåìåíè n + 1 ïî íàáëþäåíèÿì yi ; 'i ; i  n. Êà÷åñòâî ïðåäñêàçàíèÿ îïðåäåëÿåòñÿ ñðåäíåé âåëè÷èíîé êâàäðàòà íåâÿçêè

Efk^n+1

n+1k2 g:

Îáû÷íî ñ÷èòàþò, ÷òî â ìîäåëè íàáëþäåíèé âåêòîðû f'n g îïðåäåëÿþòñÿ äåòåðìèíèðîâàííîé ïîñëåäîâàòåëüíîñòüþ. Åñëè 'n  ', à fwn g è fvn g  ñòàöèîíàðíûå è ñòàöèîíàðíî ñâÿçàííûå öåíòðèðîâàííûå ñëó÷àéíûå ïðîöåññû (ñì. ðàçä. Ï.1.4) ñ èçâåñòíûìè ñïåêòðàëüíûìè õàðàêòåðèñòèêàìè, òî ðàññìàòðèâàåìàÿ çàäà÷à èìååò îïòèìàëüíîå ðåøåíèå â ðàìêàõ òåîðèè îïòèìàëüíîé ôèëüòðàöèè ÂèíåðàÊîëìîãîðîâà.  íåñòàöèîíàðíîì ñëó÷àå ïðè 'n 6 ' è íåçàâèñèìûõ ãàóññîâñêèõ ñëó÷àéíûõ ïðîöåññàõ fwn g, fvn g îïòèìàëüíûé ïðîãíîç âû÷èñëÿåòñÿ ðåêóððåíòíî ïî ôèëüòðó ÊàëìàíàÁüþñè.  ñëó÷àå ïðîèçâîëüíûõ ïîìåõ íàáëþäåíèÿ fvn g ðåøåíèå çàäà÷è îá îïòèìàëüíîì ïðîãíîçå ñ ïîìîùüþ ôèëüòðà ÊàëìàíàÁüþñè è, òåì áîëåå, â ðàìêàõ òåîðèè ÂèíåðàÊîëìîãîðîâà íå ïîëó÷àåòñÿ.  [9] ïðè íåèçâåñòíûõ, íî îãðàíè÷åííûõ äåòåðìèíèðîâàííûõ ïîìåõàõ íàáëþäåíèÿ fvn g äëÿ ðåøåíèÿ çàäà÷è ïðåäëîæåí íîâûé ðàäîìèçèðîâàííûé àëãîðèòì, ÿâëÿþùèéñÿ ìîäèôèêàöèåé óïðîùåííîãî âàðèàíòà ôèëüòðà ÊàëìàíàÁüþñè. Ïðè îáîñíîâàíèè åãî îòíîñèòåëüíîé ýôôåêòèâíîñòè ïðåäïîëàãàåòñÿ ñëó÷àéíàÿ ïðèðîäà ôîðìèðîâàíèÿ ïîñëåäîâàòåëüíîñòè f'n g. 32

2. Ýëåìåíòû ðåãðåññèîííîãî àíàëèçà, ìåòîä íàèìåíüøèõ êâàäðàòîâ Îäíèì èç íàèáîëåå ÷àñòî âñòðå÷àþùèõñÿ âîïðîñîâ, âñòàþùèõ ïåðåä èññëåäîâàòåëÿìè ðàçëè÷íûõ ñïåöèàëüíîñòåé, ÿâëÿåòñÿ ïðîáëåìà íàõîæäåíèÿ çàâèñèìîñòè ìåæäó íåêîòîðûì íàáîðîì âåëè÷èí. Ýòà çàâèñèìîñòü ìîæåò áûòü âûâåäåíà èç òåîðèè è (èëè) ìîæåò áûòü ïîëó÷åíà íà îñíîâàíèè ýêñïåðèìåíòàëüíûõ èññëåäîâàíèé. Åñëè çàâèñèìîñòü ïîëó÷åíà èç òåîðåòè÷åñêèõ ñîîáðàæåíèé, òî äîâîëüíî ÷àñòî åå ìîæíî ïðèáëèæåííî ïðåäñòàâèòü â àíàëèòè÷åñêîì âèäå, çàäàííîì ñ òî÷íîñòüþ äî íåñêîëüêèõ íåèçâåñòíûõ ïàðàìåòðîâ. Åñëè æå â îñíîâå ïîñòðîåíèÿ çàâèñèìîñòè ëåæàò ýêñïåðèìåíòàëüíûå èññëåäîâàíèÿ, òî ïàðàìåòðè÷åñêàÿ çàâèñèìîñòü ïîñòóëèðóåòñÿ.  îáîèõ ñëó÷àÿõ ïðè ïîñòðîåíèè ìàòåìàòè÷åñêîé ìîäåëè äîëæíû èñïîëüçîâàòüñÿ îïðåäåëåííûå ñâåäåíèÿ îá èññëåäóåìîì îáúåêòå, íà îñíîâàíèè êîòîðûõ ìîã áû áûòü ñäåëàí âûâîä î ñòåïåíè òî÷íîñòè åãî îïèñàíèÿ ýòîé ìîäåëüþ.

2.1. Íàèëó÷øàÿ àïïðîêñèìàöèÿ îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ äðóãîé Çàäà÷à ðåãðåññèîííîãî àíàëèçà ñîñòîèò â ïîëó÷åíèè íàèëó÷øåé àïïðîêñèìàöèè (ðåãðåññèè) îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ ñåìåéñòâà ôóíêöèé îò äðóãîé ñëó÷àéíîé âåëè÷èíû. Íàèëó÷øàÿ àïïðîêñèìàöèÿ ïîíèìàåòñÿ â ñìûñëå íàèìåíüøèõ êâàäðàòîâ. Ïóñòü  è   ïðîèçâîëüíûå ñëó÷àéíûå âåëè÷èíû (âåêòîðû), ïðèíèìàþùèå çíà÷åíèÿ ñîîòâåòñòâåííî â R è Rs , îïðåäåëåííûå íà íåêîòîðîì âåðîÿòíîñòíîì ïðîñòðàíñòâå , è G  íåêîòîðîå ñåìåéñòâî ôóíêöèé, îòîáðàæàþùèõ R s â R , çàäàííûõ ñ òî÷íîñòüþ äî êîíå÷íîìåðíîãî íàáîðà ïàðàìåòðîâ, íàçûâàåìîå ðåãðåññèîííîé ìîäåëüþ. 33

Òðåáóåòñÿ íàéòè ôóíêöèþ g (
) ñðåäíåêâàäðàòè÷íîå îòêëîíåíèå

Efk

2 G,

ìèíèìèçèðóþùóþ

g()k2 g:

Åñëè G  êëàññ âñåõ èçìåðèìûõ ôóíêöèé èç R s â R , òî ñîîòâåòñòâóþùåé ìèíèìèçèðóþùåé ôóíêöèåé g (
) ÿâëÿåòñÿ g() = Ef jg  óñëîâíîå (ïðè óñëîâèè ) ñðåäíåå ñëó÷àéíîé âåëè÷èíû  , íàçûâàåìîå ðåãðåññèåé  ïî  . Hàèáîëåå ðàñïðîñòðàíåííîé ÿâëÿåòñÿ ëèíåéíàÿ ðåãðåññèîííàÿ ìîäåëü, êîãäà òðåáóåòñÿ íàéòè íàèëó÷øóþ â ñðåäíåêâàäðàòè÷íîì ñìûñëå àïïðîêñèìàöèþ ñëó÷àéíîé âåëè÷èíû  ñ ïîìîùüþ ëèíåéíîé ôóíêöèè îò ñëó÷àéíîé âåëè÷èíû  . ×èñëîâîé ( ) è âåêòîðíûé ( ) è êîýôôèöèåíòû ìîäåëè ëèíåéíîé ðåãðåññèè îïðåäåëÿþòñÿ èç óñëîâèÿ ìèíèìèçàöèè ôóíêöèîíàëà f ( ; ) = Efk k2 g òèïà ñðåäíåãî ðèñêà èç ðàçä. 1.4, åñëè îáîçíà÷èòü  

X= : Ââåäÿ ìàòðèöû êîâàðèàöèè

B = covf; g = Ef(

Ef g)(

Efg)T g;

B = covf; g = Ef( Efg)( Efg)T g è ïðåäïîëîæèâ, ÷òî ìàòðèöà B èìååò îáðàòíóþ, íåòðóäíî äëÿ îïòèìàëüíûõ çíà÷åíèé è ïîëó÷èòü ñëåäóþùèå ôîðìóëû:

= Ef g B B1 Efg; = B B1 : Ôóíêöèÿ

g() = Ef g + B B1 ( Efg)

íàçûâàåòñÿ ëèíèåé ðåãðåññèè. 34

Ïîíÿòèå ëèíåéíîé ðåãðåññèè äîïóñêàåò ÿñíóþ ãåîìåòðè÷åñêóþ èíòåðïðåòàöèþ. Äâà ñëó÷àéíûõ âåêòîðà  è  íàçûâàþòñÿ ñòðîãî îðòîãîíàëüíûìè, åñëè èõ ìàòðèöà êîâàðèàöèè ðàâíà íóëþ: cov f;  g = 0: Òàê êàê cov fg ( );  g = cov f;  g, òî ñëó÷àéíûå âåêòîðû  =  g ( ) è  ñòðîãî îðòîãîíàëüíû. Ñëåäîâàòåëüíî, ëèíåéíàÿ ðåãðåññèÿ ñîîòâåòñòâóåò ñòðîãî îðòîãîíàëüíîé ïðîåêöèè  íà  . Ïðè ñëó÷àéíûõ âåêòîðàõ  è  îäíîé ðàçìåðíîñòè ýòî ñîâïàäàåò ñ ïðèâû÷íûì ãåîìåòðè÷åñêèì ïðåäñòàâëåíèåì îá îðòîãîíàëüíîì ïðîåêòèðîâàíèè. Îïðåäåëåííûå ïîíÿòèÿ ðåãðåññèè è ëèíåéíîé ðåãðåññèè ñîîòíîñÿòñÿ ïðèìåðíî òàê æå, êàê ïîíÿòèÿ ôóíêöèè è ëèíåéíîé ôóíêöèè.  òåîðèè âåðîÿòíîñòåé è ìàòåìàòè÷åñêîé ñòàòèñòèêå îñîáîå âíèìàíèå óäåëÿåòñÿ ãàóññîâñêèì ñëó÷àéíûì âåëè÷èíàì (ñì. ðàçä. Ï.1.1). Ýòî îáîñíîâàíî íå òîëüêî óïðîùåíèåì ìíîãèõ òåîðåòè÷åñêèõ âûêëàäîê ïðè èññëåäîâàíèè ñâîéñòâ èìåííî ãàóññîâñêèõ ñëó÷àéíûõ âåëè÷èí, íî è âàæíåéøèì òåîðåòè÷åñêèì ðåçóëüòàòîì öåíòðàëüíîé ïðåäåëüíîé òåîðåìû òåîðèè âåðîÿòíîñòåé, óòâåðæäàþùèì ïðè äîñòàòî÷íî îáùèõ ïðåäïîëîæåíèÿõ, ÷òî áåñêîíå÷íàÿ ñóììà ñëó÷àéíûõ âåëè÷èí ñ âåðîÿòíîñòüþ åäèíèöà ñòðåìèòñÿ ê íåêîòîðîé ãàóññîâñêîé ñëó÷àéíîé âåëè÷èíå. Îäíèì èç âàæíûõ ðåçóëüòàòîâ ðåãðåññèîííîãî àíàëèçà ÿâëÿåòñÿ çàêëþ÷åíèå î òîì, ÷òî åñëè âåêòîð, ñîñòàâëåííûé èç êîìïîíåíò ñëó÷àéíûõ âåëè÷èí  è ,  ãàóññîâñêèé, òî ðåãðåññèÿ Ef jg ñëó÷àéíîé âåëè÷èíû  ïî  ñîâïàäàåò ñ ëèíåéíîé ðåãðåññèåé. Äîêàçàòåëüñòâî ýòîãî ôàêòà îñíîâàíî íà òîì, ÷òî ñòðîãî îðòîãîíàëüíûå ãàóññîâñêèå âåëè÷èíû ñòîõàñòè÷åñêè íåçàâèñèìû. Äëÿ ãàóññîâñêèõ ñëó÷àéíûõ âåëè÷èí îêàçûâàåòñÿ, ÷òî óñëîâíàÿ êîâàðèàöèÿ ñëó÷àéíîé âåëè÷èíû  (ïðè óñëîâèè  ) íå çàâèñèò îò ñëó÷àÿ:

covf;  jg = B

B B1 BT :

Äëÿ ìèíèìàëüíîãî çíà÷åíèÿ êâàäðàòè÷íîãî ôóíêöèîíàëà, îïðåäåëÿþùåãî ðåãðåññèþ, èç ïîñëåäíåé ôîðìóëû ïîëó÷àåì Efk Ef jgk2 g = Tr[B B B1 BT ]: 35

2.2. Îöåíèâàíèå ïî êîíå÷íîìó ÷èñëó íàáëþäåíèé Hà ïðàêòèêå áûâàåò òàê, ÷òî âåðîÿòíîñòíûå õàðàêòåðèñòèêè ñëó÷àéíûõ âåëè÷èí  è  èçâåñòíû íå ïîëíîñòüþ, íî çàòî èìåþòñÿ âûáîðî÷íûå çíà÷åíèÿ ýòèõ ñëó÷àéíûõ âåëè÷èí, êîòîðûå ôàêòè÷åñêè ïðåäñòàâëÿþò ñîáîé íàáëþäàåìûå çíà÷åíèÿ ðåàëèçàöèé ñîîòâåòñòâóþùèõ ñëó÷àéíûõ âåëè÷èí. Îöåíêà îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ âûáîðî÷íûõ çíà÷åíèé äðóãîé òàêæå ÿâëÿåòñÿ ñëó÷àéíîé âåëè÷èíîé, è åå êà÷åñòâî îáû÷íî õàðàêòåðèçóåòñÿ ñðåäíèì çíà÷åíèåì, äèñïåðñèåé è ò.ï. Åñëè èìååòñÿ âûáîðî÷íàÿ ïîñëåäîâàòåëüíîñòü d1 ; d2 ; : : : ; dN ðåàëèçàöèé ñëó÷àéíîé âåëè÷èíû  , òî â ðàìêàõ ëèíåéíîé ðåãðåññèîííîé ìîäåëè ðåàëèçàöèè y1 ; y2 ; : : : ; yN ñëó÷àéíîé âåëè÷èíû  óäîáíî ïðåäñòàâèòü â âèäå

yn = 'Tn  + vn ; ãäå n = 1; 2; : : : ; N ;   âåêòîð êîýôôèöèåíòîâ; 'n = dn , åñëè, íàïðèìåð, èçâåñòíà öåíòðèðîâàííîñòü ñëó÷àéíûõ âåëè÷èí  è , èëè 



'n = d1 : n  ýòîì ïðåäñòàâëåíèè íåâÿçêè vn ; n = 1; 2; : : : ; N , èíòåðïðåòèðóþòñÿ êàê îøèáêè íàáëþäåíèÿ. Îáîçíà÷èì ÷åðåç 0

1

y1 B y2 C B C

Y = YN = B

. C @ .. A

yN

íàáëþäàåìûé â ìîìåíò âðåìåíè N âåêòîð, ÿâëÿþùèéñÿ ôóíêöèåé âõîäíûõ âîçäåéñòâèé, ïîìåõ â êàíàëå èçìåðåíèÿ è íåêîòîðîãî âåêòîðíîãî ïàðàìåòðà  . 36

Òðåáóåòñÿ ïî çíà÷åíèþ âåêòîðà Y ïîëó÷èòü õîðîøóþ îöåíâåêòîðà  .  Îöåíêà ^ íàçûâàåòñÿ ëèíåéíîé, åñëè îíà èìååò âèä ^ = Y c íåêîòîðîé ìàòðèöåé êîýôôèöèåíòîâ .  Îöåíêà ^ íàçûâàåòñÿ íåñìåùåííîé, åñëè Ef^g = :  Ïîñëåäîâàòåëüíîñòü îöåíîê f^N g1N =1 íàçûâàåòñÿ ñîñòîÿòåëüíîé, åñëè äëÿ ëþáîãî " > 0

êó

^ = ^N

lim Pfk^N

N !1

k2 > "g = 0;

 è íàçûâàåòñÿ ñèëüíîñîñòîÿòåëüíîé, åñëè ñ âåðîÿòíîñòüþ åäèíèöà lim ^N = : N !1

Äëÿ õàðàêòåðèñòèêè êà÷åñòâà îöåíêè ^ èñïîëüçóåòñÿ òåîðåòè÷åñêè ïðåäñêàçûâàåìûé âûáðàííîé ìîäåëüþ âûõîäíîé ñèãíàë Z , ò.å. âûõîä ïðèíÿòîé ìîäåëè, êîòîðûé çàâèñèò îò ^. Ýòà çàâèñèìîñòü, âîîáùå ãîâîðÿ, ìîæåò áûòü âûáðàíà ðàçíûìè ñïîñîáàìè. Ïðîñòåéøåé ÿâëÿåòñÿ ëèíåéíàÿ:

^ Z = T ; â êîòîðîé ìàòðèöà

 ñîñòîèò èç âåêòîðîâ '1 ; '2 ; : : : ; 'N :  = ('1 ; '2 ; : : : ; 'N ):

Îøèáêó îöåíèâàíèÿ åñòåñòâåííî îïðåäåëèòü êàê V = Y Z . Îöåíêè ^, ìèíèìèçèðóþùèå ôóíêöèîíàë êà÷åñòâà (ôóíêöèþ ïîòåðü)

fN (X ) = kV k = 2

N X n=1

kyn

k =

'Tn X 2

N X n=1

k vn k2 ;

íàçûâàþòñÿ îöåíêàìè ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÌHÊ). Ôóíêöèîíàë fN (X ) çàâèñèò îò âûáîðî÷íûõ çíà÷åíèé ðåàëèçàöèé ñëó÷àéíûõ âåëè÷èí è íàçûâàåòñÿ ýìïèðè÷åñêèì.  37

ñèòóàöèè èñïîëüçîâàíèÿ áåñêîíå÷íîé âûáîðêè ïîñëåäîâàòåëüíîñòü âåëè÷èí fN (X )=N ìîæåò â òîì èëè èíîì âåðîÿòíîñòíîì ñìûñëå ñòðåìèòüñÿ, â ñèëó çàêîíà áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3), ïðè N ! 1 ê çíà÷åíèþ êâàäðàòè÷íîãî ôóíêöèîíàëà, îïðåäåëÿþùåãî ëèíåéíóþ ðåãðåññèþ.  ÷àñòíîñòè, åñëè ïðåäïîëîæèòü íåçàâèñèìîñòü îøèáîê íàáëþäåíèÿ è îãðàíè÷åííîñòü èõ âòîðûõ ìîìåíòîâ, òî áóäåò ñõîäèìîñòü ñ âåðîÿòíîñòüþ åäèíèöà. Íåñëîæíî óáåäèòüñÿ, ÷òî îöåíêè ÌÍÊ äîëæíû óäîâëåòâîðÿòü ñèñòåìå óðàâíåíèé

T^ = Y: Åñëè ìàòðèöà T  íåâûðîæäåííàÿ, òî ýòà ñèñòåìà èìååò åäèíñòâåííîå ðåøåíèå:

^ = (T) 1 Y: Ìîæíî ðàññìîòðåòü áîëåå îáùåå ïðàâèëî âûáîðà îöåíêè. Ïóñòü R  íåêîòîðàÿ ñèììåòðè÷íàÿ íåîòðèöàòåëüíàÿ ìàòðèöà âåñîâûõ êîýôôèöèåíòîâ. Ââåäåì ôóíêöèîíàë êà÷åñòâà ïî ïðàâèëó fN (X ) = V T R V: Äëÿ ëèíåéíîé ìîäåëè ñ ìàòðèöåé  ïðè íåâûðîæäåííîé (îáðàòèìîé) ìàòðèöå RT îïòèìàëüíàÿ îöåíêà èìååò âèä

^ = (RT ) 1 RY = Y;

= (RT ) 1 R;

è íàçûâàåòñÿ îáîáùåííîé îöåíêîé ÌHÊ. Ïðè ýòîì, åñëè ïðèíÿòü, ÷òî Y = T  + V; òî âåêòîðû

 è ^ ñâÿçàíû ñîîòíîøåíèåì  = ^

V: 38

Ïîñëåäíåå ñîîòíîøåíèå ñïðàâåäëèâî ïðè ëþáîé ïðèðîäå îøèáêè îöåíèâàíèÿ. Åñëè ïðåäïîëîæèòü, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå EfV jg = 0, òî ïîëó÷åííàÿ îöåíêà ÿâëÿåòñÿ íåñìåùåííîé. Ïðè ýòîì æå ïðåäïîëîæåíèè íåòðóäíî ïîëó÷èòü ôîðìóëû äëÿ óñëîâíûõ äèñïåðñèè è ìàòðèöû êîâàðèàöèè îöåíêè:

Efk^ k2 jg = Tr[ Bv

ãäå

T ];

covf^^T jg = Bv

T;

Bv = EfV V T jg. Åñëè ìàòðèöà Bv èìååò îáðàòíóþ, òî ìîæíî âûáðàòü R =

Bv 1 .

Ïîëó÷àåìûå îöåíêè

^ = (Bv 1 T) 1 Bv 1 Y

íàçûâàþòñÿ ìàðêîâñêèìè. Óñëîâíàÿ êîâàðèàöèÿ ìàðêîâñêîé îöåíêè ïðè EfV jg = 0 ðàâíà cov(^T ^j) = (Bv 1 T ) 1 ; ïðè ýòîì ñðåäè âñåõ ëèíåéíûõ îöåíîê ìàðêîâñêèå îáëàäàþò çàìå÷àòåëüíûì îïòèìàëüíûì ñâîéñòâîì. Òåîðåìà (ÃàóññàÌàðêîâà). Åñëè EfV jg = 0 è ìàòðèöà Bv îáðàòèìà, òî ñðåäè âñåõ ëèíåéíûõ îöåíîê âèäà ~ = (RT) 1 RY

óñëîâíàÿ êîâàðèàöèÿ äëÿ ìàðêîâñêîé îöåíêè òîì ñìûñëå, ÷òî cov(^T ^j)  cov(~T ~j):

^ ìèíèìàëüíà â

Äëÿ ä î ê à ç à ò å ë ü ñ ò â à òåîðåìû ìîæíî âîñïîëüçîâàòüñÿ ìàòðè÷íûì íåðàâåíñòâîì èç ðàçä. Ï.2. Ïîäñòàâèâ â 1=2 1=2 íåãî A = Bv T ; BT = Bv , ïîëó÷èì çàêëþ÷åíèå òåîðåìû: cov(~T~j) = Bv  B1v=2 Bv 1=2 T(Bv 1=2 Bv 1=2 T ) 1  Bv 1=2 B1v=2 T = T(Bv 1 T) 1  T = cov(^T^j): 39

Ïðèìåð. Ðàññìîòðèì çàäà÷ó îá îöåíèâàíèè íåèçâåñòíîãî êîýôôèöèåíòà óñèëåíèÿ  èçâåñòíîãî ñêàëÿðíîãî ñèãíàëà f'n g, íàáëþäàåìîãî íà ôîíå ïîìåõ. Ïóñòü ïîëåçíûé ñèãíàë, ïîìåõè è íàáëþäàåìûå âåëè÷èíû ïðè n = 1; 2; : : : ; N ñâÿçàíû ñèñòåìîé óðàâíåíèé yn = 'n  + vn ; â êîòîðîé y1 ; y2 ; : : : ; yN  íàáëþäåíèÿ è v1 ; v2 ; : : : ; vN  ïîìåõè. Ïðåäïîëîæèì, ÷òî ïîìåõè fvn gN n=1 ïðåäñòàâëÿþò ñîáîé ðåàëèçàöèþ ñòîõàñòè÷åñêè íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ öåíòðèðîâàííûõ ñëó÷àéíûõ âåëè÷èí ñ äèñïåðñèåé v2 :

Efvn g = 0; Efvn2 g = v2 > 0: Îáîçíà÷èâ

0

1

y1 B y2 C B C

Y =B

. C; @ .. A

0

 = ('1 ; '2 ; : : : ; 'N ); V = B

. C; @ .. A

yN

ïîëó÷àåì Åñëè

PN 2 n=1 'n

1

v1 B v2 C B C vN

Y = T  + V: > 0, òî îöåíêà ÌHÊ èìååò âèä ^ =

PN n=1 'n yn : PN 2 n=1 'n

Ìàðêîâñêèå îöåíêè â äàííîì ñëó÷àå ñîâïàäàþò ñ îöåíêàìè ÌHÊ, ÷òî ÿâëÿåòñÿ ñëåäñòâèåì íåêîððåëèðîâàííîñòè è îäèíàêîâîé ðàñïðåäåëåííîñòè ñëó÷àéíûõ âåëè÷èí fvn gN n=1 .  òîé ñèòóàöèè, êîãäà ïîëåçíûé ñèãíàë f'n gN è ïîìåõè fvngNn=1 n=1 íåçàâèñèìû, äèñïåðñèÿ îöåíêè ðàâíà

N2 =

v2

: PN 2 n=1 'n 40

Ïóñòü N ! 1. Åñëè ïðåäïîëîæèòü, ÷òî ïîëåçíûé ñèãíàë èìååò ñòàòèñòè÷åñêóþ ïðèðîäó, ïðåäñòàâëÿÿ ñîáîé ðåàëèçàöèþ íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ êîíå÷íûì ÷åòâåðòûì ìîìåíòîì, íå çàâèñÿùèõ îò ïîìåõ íàáëþäåíèÿ:

Ef'n g = M' ; Ef('n

M' )2 g = '2 > 0;

Ef'4n g < 1; Ef'n vn g = 0; òî, â ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3), ìîæíî ñäåëàòü çàêëþ÷åíèå î ñõîäèìîñòè

1 N

N X n=1

'2n ! '2

2 ! 0, ò.å. îöåíêè ñ âåðîÿòíîñòüþ åäèíèöà. Ñëåäîâàòåëüíî, N ÌÍÊ  ñèëüíîñîñòîÿòåëüíûå. Ïðè öåíòðèðîâàííûõ âõîäíûõ ñèãíàëàõ (M' = 0) îöåíêè ÌÍÊ ñîâïàäàþò ñ ïðåäëîæåííûì â ðàçä. 1.2, 1.3 ðàíäîìèçèðîâàííûì àëãîðèòìîì ïîñòðîåíèÿ îöåíîê. Çíà÷èò, â ýòîì ñëó÷àå ïðè äîêàçàòåëüñòâå ñèëüíîé ñîñòîÿòåëüíîñòè îöåíîê ÌÍÊ óñëîâèå î öåíòðèðîâàííîñòè è íåçàâèñèìîñòè ïîìåõ ìîæåò áûòü çíà÷èòåëüíî îñëàáëåíî. Êàê è â ðàññìîòðåííîì ïðèìåðå, â ëèòåðàòóðå (ñì., íàïðèìåð, [1, 13, 23, 45]) îáû÷íî èçó÷àþò çàäà÷ó îá îöåíêå ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ïðè "õîðîøèõ" ïîìåõàõ.  [7, 66] ýòà çàäà÷à ðàññìàòðèâàëàñü ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ, äëÿ êîòîðûõ, ñðåäíåå çíà÷åíèå ìîæåò áûòü íå èçâåñòíûì è îòëè÷íûì îò íóëÿ, èëè ýòè ïîìåõè ïðåäñòàâëÿþò ñîáîé (ìîæåò áûòü) ðåàëèçàöèþ êîððåëèðîâàííîãî ñëó÷àéíîãî ïðîöåññà, èëè îíè (ìîæåò áûòü) äàæå íåñëó÷àéíûå, íî îãðàíè÷åííûå. Ñóùåñòâåííîå ïðåäïîëîæåíèå, êîòîðîå ñäåëàíî â ýòèõ ðàáîòàõ, çàêëþ÷àåòñÿ â òîì, ÷òî ðåãðåññîðû ÿâëÿþòñÿ ñëó÷àéíûìè, ñ èçâåñòíûìè ñðåäíèìè çíà÷åíèÿìè è íåçàâèñèìûìè îò ïîìåõè. Óñòàíîâëåíû ñèëüíàÿ ñîñòîÿòåëüíîñòü è ïîðÿäîê ñðåäíåêâàäðàòè÷íîé ñêîðîñòè ñõîäè41

ìîñòè äëÿ îöåíîê ðàíäîìèçèðîâàííûõ àëãîðèòìîâ òèïà ÌÍÊ è òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Êðîìå ðàññìîòðåííîé ëèíåéíîé ðåãðåññèè ÷àñòî èçó÷àþò áîëåå îáùèå ìîäåëè  ñêîëüçÿùåãî ñðåäíåãî:

yn = àâòîðåãðåññèè:

p X

p X i=0

'Tn i i + vn ;

ai yn i = 'Tn 0 + vn

i=0 è àâòîðåãðåññèè ñêîëüçÿùåãî ñðåäíåãî: p X i=0

ai yn i =

p X i=0

'Tn i i + vn

ñ ïîìåõàìè vn , ÷èñëîâûìè ai ; i = 0; 1; : : : ; p; è âåêòîðíûìè êîýôôèöèåíòàìè i ; i = 0; 1; : : : ; p; ïðè n = 1; 2; : : : ; N . Ìîäåëü àâòîðåãðåññèè âîçíèêàåò â òåõ ñëó÷àÿõ, êîãäà ïûòàþòñÿ îïðåäåëèòü ëèíåéíîå óðàâíåíèå, êîòîðîìó óäîâëåòâîðÿþò âûáîðî÷íûå ðåàëèçàöèè ñëó÷àéíîé âåëè÷èíû  . Ìîäåëü àâòîðåãðåññèè ñêîëüçÿùåãî ñðåäíåãî èñïîëüçóåòñÿ äëÿ îïèñàíèÿ ïîâåäåíèÿ ëèíåéíûõ äèíàìè÷åñêèõ îáúåêòîâ óïðàâëåíèÿ.

2.3. Ðåêóððåíòíûå ìîäèôèêàöèè ìåòîäà íàèìåíüøèõ êâàäðàòîâ Ðàññìîòðèì çàäà÷ó î ïîñòðîåíèè îöåíêè ^N

2 Rr , ìèíèìè-

çèðóþùåé îïðåäåëåííûé â ïðåäûäóùåì ïóíêòå ýìïèðè÷åñêèé ôóíêöèîíàë êà÷åñòâà fN (X ) ïðè áëî÷íî-äèàãîíàëüíîé ìàòðèöå âåñîâûõ êîýôôèöèåíòîâ R, ñ áëîêàìè R1 ; R2 ; : : : ; Rn ðàçìåðíîñòüþ mm: N = n m. Îáúåäèíèâ â íàáîðû ïî m íàáëþäåíèÿ è â (r  m)-ìàòðèöû ñîîòâåòñòâóþùèå ðåãðåññîðû ìî-

42

äåëè, ïåðåîáîçíà÷èâ èõ îïÿòü ÷åðåç yi è 'i , âûðàæåíèå äëÿ ôóíêöèîíàëà êà÷åñòâà ìîæíî ïåðåïèñàòü â âèäå

fn(X ) =

n X k=1

('Tk X

yk )T Rk ('Tk X

yk );

ãäå ìàòðèöû 'i è âåêòîðû yi ìîæíî èíòåðïðåòèðîâàòü êàê äàííûå íàáëþäåíèÿ â ìîìåíò âðåìåíè i = 1; 2; : : : ; n. Âåêòîð-ãðàäèåíò ôóíêöèè fn (X ) ìîæíî âû÷èñëèòü êàê

rfn (X ) = 2

n X k=1

'k Rk ('Tk X

yk ):

Ïîñëå âòîðîãî äèôôåðåíöèðîâàíèÿ ïîëó÷àåì íåçàâèñÿùóþ îò X ìàòðèöó-ãåññèàí:

Hn = r2 fn (X ) = 2

n X k=1

'k Rk 'Tk :

Åñëè îöåíêà ^n 1 îáåñïå÷èâàåò íàèìåíüøåå çíà÷åíèå ôóíêöèîíàëó êà÷åñòâà fn 1 (X ), òî rfn 1 (^n 1 ) = 0. Ïî ôîðìóëå Òåéëîðà äëÿ rfn (^n ) èìååì

0 = rfn(^n ) =

rfn(^n 1) + Hn(^n ^n 1) = rfn 1(^n 1) +

+ 2'n Rn ('Tn ^n 1 yn) + Hn (^n ^n 1 ): Îòñþäà, îáîçíà÷èâ n = Hn 1 ; ëåãêî âûïèñàòü ôîðìóëó âû÷èñëåíèÿ ñëåäóþùåé îöåíêè ïî ^n 1 :

^n = ^n

1

T n 'n Rn ('n ^n 1

äëÿ

yn):

Èñïîëüçóÿ ìàòðè÷íîå òîæäåñòâî èç ðàçä. Ï.2, äëÿ ìàòðèö n ìîæíî âûâåñòè ðåêóððåíòíóþ ôîðìóëó: n

=

n 1

n 1 'n (Rn

1 + 'T 1 T n n 1 'n ) 'n n 1 : 43

Ïîëó÷åííûå ðåêóððåíòíûå ñîîòíîøåíèÿ äëÿ ïåðåñ÷åòà ^n è n íàçûâàþòñÿ îáîáùåííûì ðåêóððåíòíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ. ×òîáû âîñïîëüçîâàòüñÿ ðåêóððåíòíîé ôîðìîé ïîëó÷åíèÿ îöåíîê, ñëåäóåò íåêîòîðûì îáðàçîì çàäàòü íà÷àëüíûå çíà÷åíèÿ ^0 è 0 . Ïðè èõ ïðîèçâîëüíîì âûáîðå, îïðåäåëÿåìûå ïîëó÷åííûìè ðåêóððåíòíûìè ôîðìóëàìè îöåíêè, âîîáùå ãîâîðÿ, íå îáÿçàíû îáåñïå÷èâàòü ìèíèìóì ñîîòâåòñòâóþùèì ôóíêöèîíàëàì êà÷åñòâà. Ïðè çàäàíèè íà÷àëüíûõ çíà÷åíèé åñòåñòâåííî âûáèðàòü îáðàòèìóþ ìàòðèöó 0 . Äëÿ ïðèëîæåíèé íàèáîëåå èíòåðåñåí ñëó÷àé, êîãäà m = 1, ò.å. yk è Rk > 0  ñêàëÿðíûå âåëè÷èíû, à 'k ; k = 1; 2; : : : ;  âåêòîðû. Ýìïèðè÷åñêèé ôóíêöèîíàë êà÷åñòâà â ýòîì ñëó÷àå èìååò âèä n X fn (X ) = Rk ('Tk X yk )2 ; k=1 à ôîðìóëû äëÿ çàïèñè îöåíîê îáîáùåííîãî ðåêóððåíòíîãî ÌHÊ ñ ÷èñëîâûìè ïîëîæèòåëüíûìè âåñîâûìè êîýôôèöèåíòàìè çàïèñûâàþòñÿ êàê

^n = ^n n

=

T n 'n Rn ('n ^n 1

1

n 1

yn);

T n 1 'n 'n n 1 : 1 Rn + 'Tn n 1 'n

Ïîëàãàÿ Rk = 1; k = 1; 2; : : : , ïîëó÷àåì ôîðìóëû îáûêíîâåííîãî ðåêóððåíòíîãî ÌHÊ:

^n = ^n

1

T n 'n ('n ^n 1

yn ); ^0 = 0;

T n 1 'n 'n n 1 ; 0 = 0 1 I; n 1 1 + 'Tn n 1 'n ãäå 0 > 0  ìàëûé ïàðàìåòð ðåãóëÿðèçàöèè. Ýòîò àëãîðèòì  ÷àñòíûé âèä ôèëüòðà ÊàëìàíàÁüþñè (ñì. ðàçä. 3.2). Â

n=

44

ñëó÷àå íåçàâèñèìûõ íàáëþäåíèé è ãàóññîâñêèõ ïîìåõ îí îáëàäàåò îïòèìàëüíûìè ñâîéñòâàìè. Âî ìíîãèõ çàäà÷àõ ýôôåêòèâíî èñïîëüçóþò ìîäèôèöèðîâàííûé ÌHÊ, ïîëó÷àþùèéñÿ ïðè ôóíêöèîíàëå êà÷åñòâà ñ Rk = N k ; k = 1; 2; : : : ; N : ^n = ^n 1 n'n ('Tn ^n 1 yn); ^0 = 0;   T n 1 'n 'n n 1 1 ; 0 = 1 I; n= n 1

+ 'Tn n 1 'n ãäå 2 (0; 1)  çàáûâàþùèé ìíîæèòåëü.  òîé ñèòóàöèè, êîãäà íåëüçÿ ïðåäïîëàãàòü íåçàâèñèìîñòü íàáëþäåíèé, â [67] ïðè ñèíòåçå àäàïòèâíîãî óïðàâëåíèÿ ñòîõàñòè÷åñêèì ëèíåéíûì îáúåêòîì èñïîëüçîâàëñÿ ðåêóððåíòíûé ÌHÊ, ñîîòâåòñòâóþùèé âûáîðó âåñîâûõ êîýôôèöèåíòîâ:

1

1 + Pn 2 : i=1 'i ) Ðåêóððåíòíàÿ ïðîöåäóðà ÌHÊ, ÿâëÿÿñü îïòèìàëüíîé ïðè ñîîòâåòñòâóþùåì âûáîðå íà÷àëüíûõ ñòàòèñòèê, ñòàíîâèòñÿ ïðàêòè÷åñêè ìàëîïðèãîäíîé, åñëè ïðèõîäèòñÿ îöåíèâàòü âåêòîð ïàðàìåòðîâ âûñîêîé ðàçìåðíîñòè: îñíîâíîé îáúåì âû÷èñëåíèé ñâÿçàí ñ ïåðåñ÷åòîì ìàòðèö n . Åñòåñòâåííî ïîïûòàòüñÿ åå óïðîñòèòü, äàæå åñëè ïðèäåòñÿ ïîñòóïèòüñÿ îïòèìàëüíûìè ñâîéñòâàìè. Âïðî÷åì, ïîñëåäíåå îáñòîÿòåëüñòâî íå ÿâëÿåòñÿ îïðåäåëÿþùèì, òàê êàê íóæíûå íà÷àëüíûå äàííûå îáû÷íî íåèçâåñòíû, à ïðîèçâîëüíûé âûáîð íà÷àëüíûõ äàííûõ äåëàåò ïðîöåäóðó òîëüêî ïðåäåëüíî îïòèìàëüíîé. Íåêîòîðûå óïðîùåíèÿ ðåêóððåíòíîé ïðîöåäóðû ÌHÊ â òèïè÷íûõ ñëó÷àÿõ íå ñêàçûâàþòñÿ íà ïðåäåëüíûõ ñâîéñòâàõ îöåíîê. Ìàòðèöû n ìîíîòîííî óáûâàþò, åñëè âûïîëíåíî óñëîâèå ïîñòîÿííîãî âîçáóæäåíèÿ äëÿ ïîñëåäîâàòåëüíîñòè 'n : ñóùåñòâóåò öåëîå ÷èñëî N > 0 è ïîñòîÿííàÿ Æ > 0, òàêèå, ÷òî ïðè ëþáîì n = 1; 2; : : :

Rn =

ln(

k k

f g

nX +N k =n

Ef'k 'Tk g  ÆI: 45

Åñëè n ! 0 ïðè n ! 1, òî â òîì ñëó÷àå, êîãäà 'n ðàâíîìåðíî îãðàíè÷åíû, ïðè äîñòàòî÷íî áîëüøèõ n ñïðàâåäëèâî: (Rn 1 + 'Tn n 1 'n ) 1  Rn . Ñëåäîâàòåëüíî, ðåêóððåíòíûé àëãîðèòì äëÿ ïåðåñ÷åòà îöåíîê ìîæíî çàïèñàòü â âèäå

^n = ^n n

=

T n 'n Rn ('n ^n 1

1

n 1

yn);

T n 1 'n Rn 'n n 1 :

Äðóãèì ñóùåñòâåííûì óïðîùåíèåì â ðåêóððåíòíîé ïðîöåäóðå ÌHÊ ÿâëÿåòñÿ èñïîëüçîâàíèå â àëãîðèòìå âìåñòî ìàòðèö n ÷èñëîâûõ êîýôôèöèåíòîâ.  îáùåì ñëó÷àå, ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè óäàåòñÿ äîêàçàòü ñîñòîÿòåëüíîñòü îöåíîê, äîñòàâëÿåìûõ ïðèâåäåííûìè ðàíåå ðåêóððåíòíûìè àëãîðèòìàìè ÌHÊ, òîëüêî â íåêîòîðûõ ñïåöèàëüíûõ ñëó÷àÿõ [66, 70]. Ïðè ïðåäïîëîæåíèè, ÷òî ðåãðåññîðû f'n g èìåþò ñòàòèñòè÷åñêóþ ïðèðîäó è èçâåñòíû èõ ñðåäíèå çíà÷åíèÿ, â [7, 10] â óñëîâèÿõ ïî÷òè ïðîèçâîëüíûõ ïîìåõ â íàáëþäåíèÿõ äåòàëüíî ðàññìîòðåíû óñëîâèÿ ñõîäèìîñòè îöåíîê ðàíäîìèçèðîâàííîãî ðåêóððåíòíîãî ÌHÊ, èìåþùåãî ïðè 0 > 0 âèä

^n = ^n n ãäå


n = 'n

=

1

n 1

T n
n ('n ^n 1

yn); ^0 = 0;

T n 1
n
n n 1 ; 1 +
Tn n 1
n

0

= 0 1 I;

Ef'n g; n = 1; 2; : : : ;  öåíòðèðîâàííûå âõîäû.

46

3. Îïòèìàëüíàÿ ôèëüòðàöèÿ ñëó÷àéíûõ ïðîöåññîâ Ïîä îïòèìàëüíîé ôèëüòðàöèåé ïîíèìàþòñÿ àëãîðèòìû îáðàáîòêè ðåàëèçàöèé ñëó÷àéíûõ ïðîöåññîâ, íàïðàâëåííûå íà ìàêñèìàëüíîå (â ñìûñëå íåêîòîðîãî êðèòåðèÿ) ïîäàâëåíèå ïîìåõ, çàøóìëÿþùèõ (îáû÷íî àääèòèâíî) ïîëåçíûé ñèãíàë.  ôóíäàìåíòå òåîðèè îïòèìàëüíîé ôèëüòðàöèè ëåæèò ìåòîä ÂèíåðàÊîëìîãîðîâà [18, 78] è åãî ðåêóððåíòíûå ìîäèôèêàöèè, èçâåñòíûå ïîä îáùèì íàçâàíèåì ôèëüòðà ÊàëìàíàÁüþñè [2, 16, 45]. Òåîðèÿ ÂèíåðàÊîëìîãîðîâà â ñóùåñòâåííîé ñòåïåíè áàçèðóåòñÿ íà ìåòîäå íàèìåíüøèõ êâàäðàòîâ. Îöåíèâàíèå ïàðàìåòðîâ â ýòîé òåîðèè ïðîèñõîäèò íà îñíîâå îáðàáîòêè ïîñëåäîâàòåëüíî ïîñòóïàþùèõ âõîäíûõ äàííûõ, ÿâëÿþùèõñÿ íåêîòîðîé òðàåêòîðèåé ñòîõàñòè÷åñêîãî ïðîöåññà. Ýòî ïðèâîäèò ê âàæíûì êîíöåïöèÿì ôèçè÷åñêîé ðåàëèçóåìîñòè è îïòèìàëüíîñòè ñèíòåçèðóåìîãî ôèëüòðà.  ïîñîáèè áóäåò îïèñàí òîëüêî ñëó÷àé äèñêðåòíîãî âðåìåíè.

3.1. Ôèëüòð ÂèíåðàÊîëìîãîðîâà Îãðàíè÷èìñÿ ðàññìîòðåíèåì ñëåäóþùåé ïîñòàíîâêè çàäà÷è: ïîñëåäîâàòåëüíîñòü íàáëþäåíèé ïðè n = : : : ; 1; 0; 1; : : : óäîâëåòâîðÿåò óðàâíåíèþ

yn = 'T n + vn ; â êîòîðîì fn g è fvn g  âåùåñòâåííûå âåêòîðíûå ïðîöåññû: n 2 Rr ; vn 2 Rm ; '  ïðÿìîóãîëüíàÿ ìàòðèöà ðàçìåðíîñòüþ r  m. Òðåáóåòñÿ ïîëó÷èòü îöåíêó ^n ïðîöåññà n â ìîìåíò âðåìåíè n ïî íàáëþäåíèÿì çà ïðîöåññîì fyn g äî ìîìåíòà âðåìåíè n l; l  çàäàííîå öåëîå ÷èñëî. Îöåíêà èùåòñÿ ñ

47

ïîìîùüþ ëèíåéíîãî óñòîé÷èâîãî ñòàöèîíàðíîãî ôèëüòðà, óðàâíåíèå êîòîðîãî èìååò âèä

^n =

1 X i=l

H(i l)yn i ;

ãäå H(i)  âåñîâàÿ ôóíêöèÿ ôèëüòðà. Ââåäåì ïåðåäàòî÷íóþ ôóíêöèþ ôèëüòðà:

H () = l

1 X i=0

H(i)i :

Äëÿ óïðîùåíèÿ îãðàíè÷èìñÿ ðàññìîòðåíèåì ôèëüòðîâ ñ äðîáíî-ðàöèîíàëüíûìè ïåðåäàòî÷íûìè ôóíêöèÿìè. Äðîáíî-ðàöèîíàëüíóþ ôóíêöèþ  l H () áóäåì íàçûâàòü óñòîé÷èâîé, åñëè ó íåå íåò ïîëþñîâ, êîòîðûå ïî àáñîëþòíîé âåëè÷èíå ìåíüøå ëèáî ðàâíû åäèíèöå. Ñâîéñòâî óñòîé÷èâîñòè ôèëüòðà ðàâíîñèëüíî óñòîé÷èâîñòè ôóíêöèè  l H (). Çàäà÷à ôèëüòðàöèè íàçûâàåòñÿ ïî-ðàçíîìó â çàâèñèìîñòè îò ÷èñëà l â óðàâíåíèè ôèëüòðà. Ïðè l > 0 åå íàçûâàþò çàäà÷åé ýêñòðàïîëÿöèè (ïðîãíîçà) íà l ìîìåíòîâ âðåìåíè, ïðè l < 0  çàäà÷åé èíòåðïîëÿöèè (ñãëàæèâàíèÿ), ïðè l = 0  ñîáñòâåííî ôèëüòðàöèåé. Òàêèì îáðàçîì, ïðè ñãëàæèâàíèè îöåíêà ìîæåò çàâèñåòü îò íåêîòîðîãî ÷èñëà "áóäóùèõ" íàáëþäåíèé, à ïåðåäàòî÷íàÿ ôóíêöèÿ ôèëüòðà èìååò ïîëþñ ïîðÿäêà l â íà÷àëå êîîðäèíàò.  êëàññè÷åñêîé ïîñòàíîâêå çàäà÷è ðàññìàòðèâàþòñÿ ñòàöèîíàðíûå ñëó÷àéíûå ïðîöåññû fyn g è fn g, êîòîðûå âäîáàâîê ñòàöèîíàðíî ñâÿçàíû, è èõ ìàòðèöû êîâàðèàöèé âìåñòå ñî ñïåêòðàëüíûìè ïëîòíîñòÿìè: Byy (n), Syy (), By (n), Sy (), B (n), S (), ñóùåñòâóþò è èçâåñòíû (ñì. ðàçä. Ï.1.4). Îöåíêà ^n äîëæíà áûòü îïòèìàëüíîé â ñìûñëå ìèíèìóìà ñðåäíåêâàäðàòè÷íîãî ôóíêöèîíàëà:

fl = Efk^n

nk2 g (= fl (H ())):

 ñèëó ñòàöèîíàðíîñòè ïðîöåññîâ ýòîò ôóíêöèîíàë íå çàâèñèò îò âðåìåíè. 48

Ïåðåïèøåì íà îñíîâàíèè îïðåäåëåíèé ìàòðèö êîâàðèàöèè ôóíêöèîíàë êà÷åñòâà fl â âèäå

fl = Tr[Ef(^n

1 h nX

= Tr E

i=l

H(i l)yn h

= Tr B (0) + 1 X i=l

i

n)(^n

n )T g] =

n

H(j

1 X

1 X 1 X i=l j =l

H(i)By ( i l)

j =l

l)yn

i=l

n

T oi

=

i)H(j )T

H(i)Byy (j 1 X

j

i

By (i + l)H(j )T :

Èçâåñòíî, ÷òî ïðåîáðàçîâàíèå ñïåêòðàëüíîé ïëîòíîñòè â ëèíåéíîì ôèëüòðå ïîçâîëÿåò çàïèñàòü ôóíêöèîíàë êà÷åñòâà fl êàê êâàäðàòè÷íóþ ôîðìó îò ïåðåäàòî÷íîé ôóíêöèè ôèëüòðà: h

1 fl = Tr B (0) + 2i

I 

H ()Syy ()H ( 1 )T

Sy ()H ( 1 )T

H ()Sy ()

 d i



:

Ìàòðèöà ñïåêòðàëüíûõ ïëîòíîñòåé Syy ()  íåîòðèöàòåëüíî îïðåäåëåííàÿ ïðè jj = 1. Èçâåñòíî, ÷òî òàêàÿ ìàòðè÷íàÿ ôóíêöèÿ (ñì. ðàçä. Ï.3) äîïóñêàåò ôàêòîðèçàöèþ, ò.å. ïðåäñòàâëåíèå â âèäå

Syy () = ()( 1 )T ; ãäå ()  óñòîé÷èâàÿ ìàòðè÷íàÿ ôóíêöèÿ (åå ýëåìåíòû íå èìåþò ïîëþñîâ ïðè jj  1). Ïðåäïîëîæèì, ÷òî ìàòðèöà Syy ()  ïîëîæèòåëüíî îïðåäåëåííàÿ ïðè jj = 1.  ýòîì ñëó÷àå ìîæíî âûáðàòü òàêóþ ìàòðèöó (), ÷òîáû () 1 áûëà óñòîé÷èâîé. Ñ ïîìîùüþ ôîðìóëû ôàêòîðèçàöèè, ó÷èòûâàÿ âûïîëíåíèå ïðè jj = 1 ñîîòíîøåíèÿ

Sy () = Sy ( 1 )T ; 49

äëÿ ôóíêöèîíàëà êà÷åñòâà fl ìîæíî âûâåñòè ôîðìóëó h

1 fl = Tr Q+ 2i

I 

H ()() R())(H ()() R()

 T d i

;



â êîòîðîé èñïîëüçîâàíû îáîçíà÷åíèÿ:

Q = B (0)

1 2i

I

R()R( 1 )T



R() = Sy () ( 1 )T

 1

d ; 

:

Òàê êàê ìàòðèöà Q íå çàâèñèò îò H (), à âòîðîå ñëàãàåìîå â ïðàâîé ÷àñòè ïîëó÷åííîé äëÿ fl ôîðìóëû  íåîòðèöàòåëüíàÿ ìàòðèöà, òî ìèíèìóì ôóíêöèîíàëà êà÷åñòâà fl äîñòèãàåòñÿ ïðè H () = R()() 1 = Sy ()Syy () 1 ; ïðè÷åì ìèíèìàëüíîå çíà÷åíèå ôóíêöèîíàëà êà÷åñòâà ðàâíî

min f = Tr[Q]: fH ()g l Îäíàêî íàéäåííîå ðåøåíèå íåóäîâëåòâîðèòåëüíî, ïîñêîëüêó, âîîáùå ãîâîðÿ, íå âûïîëíÿåòñÿ óñëîâèå óñòîé÷èâîñòè ôèëüòðà, òàê êàê ìàòðèöà Syy () 1 ìîæåò èìåòü îñîáåííîñòè ïðè jj  1 è ýòî ñâîéñòâî ïåðåäàåòñÿ H (). Äëÿ ïîëó÷åíèÿ óñòîé÷èâîãî ôèëüòðà íàäî ïðîèçâåñòè ñåïàðàöèþ ôóíêöèè R(), ò.å. ïðåäñòàâèòü åå â âèäå

 l R() = R+ () + R (); â êîòîðîì R+ (); è

R ( 1 )  óñòîé÷èâûå ìàòðè÷íûå ôóíêöèè lim R () = 0: jj!1

Îñíîâíîé ðåçóëüòàò òåîðèè îïòèìàëüíîé ôèëüòðàöèè ÂèíåðàÊîëìîãîðîâà çàêëþ÷àåòñÿ â òîì, ÷òî ïðè ñäåëàííûõ âûøå ïðåäïîëîæåíèÿõ è ââåäåííûõ îáîçíà÷åíèÿõ ïåðåäàòî÷íàÿ 50

ôóíêöèÿ îïòèìàëüíîãî óñòîé÷èâîãî ôèëüòðà, ìèíèìèçèðóþùåãî ôóíêöèîíàë êà÷åñòâà fl , îïðåäåëÿåòñÿ ïî ôîðìóëå

H () = l R+ ()() 1 ; è ñîîòâåòñòâóþùåå ìèíèìàëüíîå çíà÷åíèå ôóíêöèîíàëà êà÷åñòâà ðàâíî

1 min fl = Tr[Q] + 2i fH ()g

I

Tr[R ()R ( 1 )T ]

d : 

 ñëó÷àå ñêàëÿðíîãî ïðîöåññà yn c äðîáíî-ðàöèîíàëüíîé ñïåêòðàëüíîé ïëîòíîñòüþ ïðîöåäóðà ïîñòðîåíèÿ ôóíêöèè () ñâîäèòñÿ, ïî ñóùåñòâó, ê íàõîæäåíèþ êîðíåé è ïîëþñîâ äðîáíî-ðàöèîíàëüíîé ôóíêöèè Syy (), êîòîðûå ïî àáñîëþòíîé âåëè÷èíå áîëüøå åäèíèöû. Ñåïàðàöèÿ ôóíêöèè  l R() â ýòîì ñëó÷àå ñîñòîèò â âûäåëåíèè öåëîé ÷àñòè ôóíêöèè ñ ïîñëåäóþùèì îïðåäåëåíèåì "óñòîé÷èâûõ" è "íåóñòîé÷èâûõ" ïîëþñîâ ó ïîëó÷åííîé äðîáíî-ðàöèîíàëüíîé ôóíêöèè. Ïðèìåð: îïòèìàëüíûé ïðîãíîç ïðîöåññà. Ïðåäïîëîæèì, ÷òî ïðè n = : : : ; 1; 0; 1; 2; : : : íàáëþäàåòñÿ ñêàëÿðíûé ïðîöåññ fyng: yn = 'n + vn ; ãäå fn g è fvn g  ñòîõàñòè÷åñêè íåçàâèñèìûå ñòàöèîíàðíî ñâÿçàííûå ïðîöåññû: Efvn g = 0, Efvn2 g = v2 , ïðè÷åì fn g îïðåäåëÿåòñÿ óðàâíåíèåì

n+1 = a n + wn+1 ; â êîòîðîì 0 < jaj < 1; Efwn g = 0;  äàííîì ñëó÷àå Svv = v2 ;

S () =

Efwi wj g = w2 Æij :

w2 ; S () = Svv + '2 S (): (1 a)(1 a 1 ) yy 51

Äëÿ ïðîâåäåíèÿ ôàêòîðèçàöèè ôóíêöèè Syy () íàéäåì âåùåñòâåííûå ïîñòîÿííûå c1 è c2 èç óðàâíåíèÿ

v2 (1 a)(1 a 1 ) + '2 w2 = (c1 + c2 )(c1 + c2  1 ): Íåñëîæíûå ðàñ÷åòû äàþò

1 1 c1 = (1 + 2 ); c2 = (1 2 2

2 );

ãäå p

1 = '2 w2 + v2 (1 a)2 ; 2 = Ïîëîæèâ

() =

p

'2 w2 + v2 (1 + a)2 :

c1 + c2  ; 1 a

ñ ó÷åòîì ââåäåííûõ îáîçíà÷åíèé, èìååì:

Syy () = ()( 1 )T : Ïðè ýòîì ôóíêöèè () è () 1  óñòîé÷èâûå, òàê êàê jc1 j > jc2 j. Äàëåå, ïîñêîëüêó

Sy () =

'w2 ; (1 a)(1 a 1 )

R() =

'w2  : (1 a)(c1  + c2 )

òî

Ðàññìîòðèì çàäà÷ó îá îïòèìàëüíîì ïðîãíîçå íà îäèí øàã, ò.å. ñëó÷àé l = 1. Äëÿ åå ðåøåíèÿ íàäî ïðîèçâåñòè ñåïàðàöèþ ôóíêöèè: 'w2  1 R() = : (1 a)(c1  + c2 )  ðåçóëüòàòå ñåïàðàöèè ïîëó÷àåì

R+ () =

1 'w2 c1 1 'w2 a ; R () = : c1 + c2 a 1 a c1 + c2 a c1  + c2

52

Ñëåäîâàòåëüíî, ïåðåäàòî÷íàÿ ôóíêöèÿ îïòèìàëüíîãî ôèëüòðà èìååò âèä

H () =

'w2 a  : c1 + c2 a c1 + c2 

Îòñþäà äåëàåì âûâîä, ÷òî äâå ïîñëåäîâàòåëüíûå îïòèìàëüíûå îöåíêè ^n+1 è ^n ñâÿçàíû ñîîòíîøåíèåì

c1 ^n+1 + c2 ^n =

'w2 a y : c1 + c2 a n

Îòìåòèì, ÷òî ïîñëåäíåå óðàâíåíèå ìîæíî ïåðåïèñàòü â âèäå

^n+1 = a^n a'('^n yn ); ãäå

w2 = c1 (c1 + c2 a)







 1  c2 + a : a'2 c1

3.2. Ôèëüòð ÊàëìàíàÁüþñè Òåîðèÿ ÂèíåðàÊîëìîãîðîâà îïòèìàëüíîé ôèëüòðàöèè ïîñëóæèëà ìîùíûì ñòèìóëîì ïîèñêà íîâûõ ïóòåé îïðåäåëåíèÿ êîíêðåòíûõ ñïîñîáîâ ñèíòåçà òåîðåòè÷åñêè îïòèìàëüíîãî ôèëüòðà. Áîëüøîé ïðàêòè÷åñêèé èíòåðåñ ïðåäñòàâëÿåò âîçìîæíîñòü ñèíòåçèðîâàòü îïòèìàëüíûé ôèëüòð ðåêóððåíòíûì ñïîñîáîì, îáåñïå÷èâàÿ óäîáñòâî åãî ðåàëèçàöèè ïðè èñïîëüçîâàíèè ÝÂÌ. Ïðåäïîëîæèì, ÷òî ïðè n = 1; 2; : : : íàáëþäàåòñÿ ñëó÷àéíûé ïðîöåññ yn = 'Tn n + vn ; ïðåäñòàâëÿþùèé ñîáîé ñìåñü ïðåîáðàçîâàííîãî âåêòîðíîãî ïðîöåññà fn g è âåêòîðíîé ïîìåõè fvn g. Ïðÿìîóãîëüíûå ìàòðèöû 'n ýòîãî ïðåîáðàçîâàíèÿ ñ÷èòàþòñÿ èçâåñòíûìè è â îòëè÷èå îò òåîðèè ÂèíåðàÊîëìîãîðîâà ìîãóò èçìåíÿòüñÿ âî 53

âðåìåíè. Âåêòîðíûé ïðîöåññ fn g ïîðîæäàåòñÿ ñîîòíîøåíèåì

n+1 = An n + wn+1 ; â êîòîðîì 0 = 0 è An  èçâåñòíàÿ ìàòðè÷íàÿ ôóíêöèÿ âðåìåíè, à fwn g  ïîñëåäîâàòåëüíîñòü öåíòðèðîâàííûõ íåçàâèñèìûõ ñëó÷àéíûõ âåêòîðîâ ñ èçâåñòíûìè ìàòðèöàìè êîâàðèàöèè: Efwn wjT g = Qw (n)Ænj :

Îáû÷íî ñ÷èòàþò, ÷òî ïîìåõà fvn g òàêæå ïðåäñòàâëÿåò ñîáîé ïîñëåäîâàòåëüíîñòü öåíòðèðîâàííûõ íåçàâèñèìûõ ñëó÷àéíûõ âåêòîðîâ ñ èçâåñòíûìè ìàòðèöàìè êîâàðèàöèè

Efvn vjT g = Bv (n)Ænj ;

êîòîðûå ïðè âñåõ n  íåâûðîæäåííûå, è f'n g  äåòåðìèíèðîâàííàÿ ïîñëåäîâàòåëüíîñòü ìàòðèö. Îãðàíè÷èìñÿ ðàññìîòðåíèåì çàäà÷è îá îïòèìàëüíîì îäíîøàãîâîì ïðîãíîçå. Äëÿ n = 1; 2; : : : òðåáóåòñÿ ïî íàáëþäåíèÿì y1 ; y2 ; : : : ; yn íàéòè ëèíåéíûå îöåíêè ^n+1 çíà÷åíèé ïðîöåññà fn g â ìîìåíòû âðåìåíè n + 1, ìèíèìèçèðóþùèå ñðåäíåêâàäðàòè÷íûå îòêëîíåíèÿ

fn = Efk^n+1

n+1 k2 g:

Âûïèøåì íåîáõîäèìûå è äîñòàòî÷íûå óñëîâèÿ îïòèìàëüíîñòè ëèíåéíîé îöåíêè â òåðìèíàõ êîððåëÿöèîííûõ ìàòðèö ðàññìàòðèâàåìûõ ïðîöåññîâ. Ïðåäïîëîæèì, ÷òî îïòèìàëüíàÿ îöåíêà èìååò âèä

^n+1 =

n X i=1

Hn (i)yi :

Åñëè îöåíêà ^n+1 ìèíèìèçèðóåò ôóíêöèîíàë êà÷åñòâà fn , òî äëÿ ëþáîãî j = 1; 2; : : : ; n âûïîëíåíî óñëîâèå

Ef(^n+1

n+1)yjT g = 0: 54

Ýòî ñîîòíîøåíèå èìååò ïðîñòîé ãåîìåòðè÷åñêèé ñìûñë: ñëó÷àéíàÿ âåëè÷èíà ^n+1 , ÿâëÿþùàÿñÿ ëèíåéíîé êîìáèíàöèåé ñëó÷àéíûõ âåëè÷èí y1 ; : : : ; yn , äîëæíà áûòü ñòðîãî îðòîãîíàëüíîé ïðîåêöèåé âåêòîðà n+1 íà ïîäïðîñòðàíñòâî, íàòÿíóòîå íà ñîîòâåòñòâóþùèå âåêòîðû íàáëþäåíèé.  ñèëó ïðåäïîëàãàåìîãî âèäà îïòèìàëüíîãî ôèëüòðà, èç ïîñëåäíåãî âûðàæåíèÿ ïîëó÷àåì íåñòàöèîíàðíûé âàðèàíò óðàâíåíèÿ Âèíåðà Õîïôà (â äèñêðåòíîì âðåìåíè) îòíîñèòåëüíî âåñîâûõ ôóíêöèé Hn (i) n X T Efn+1 yj g = Hn (i)Efyi yjT g: i=1 T Îáîçíà÷èâ Bij = Efyi yj g è Kn = Hn (n), èç ïîñëåäíåãî óðàâíåíèÿ, çàïèñàííîãî äëÿ äâóõ ïîñëåäîâàòåëüíûõ çíà÷åíèé âðåìåíè n è n + 1, ñ îäíîé ñòîðîíû, ïîëó÷àåì

Ef(n+1

n )yjT g =

nX1 i=1

(Hn (i) Hn 1 (i))Bij + Kn Bnj :

Ñ äðóãîé ñòîðîíû, ó÷èòûâàÿ âèä ôèëüòðà, ïîðîæäàþùåãî ïðîöåññ fn g, èìååì

Ef(n+1

n)yjT

g = (An I)

nX1 i=1

Hn 1 (i)Bij :

Èç ïîñëåäíèõ äâóõ óðàâíåíèé ñëåäóåò, ÷òî ïðè

:::;n 1

nX1 i=1

j = 1; 2; : : :




An Hn 1 (i) Kn 'Tn Hn 1 (i) Hn (i) Bij = 0;

òàê êàê â ñèëó óðàâíåíèÿ íàáëþäåíèé

Bnj = Ef

yn yjT

g

f

= 'Tn E

n yjT

g + Ef

vn yjT

g

= 'Tn

nX1 i=1

Hn 1 (i)Bij : 55

À çíà÷èò, îïòèìàëüíîé â ñðåäíåêâàäðàòè÷íîì ñìûñëå îöåíêîé âåêòîðà n ïî íàáëþäåíèÿì y1 ; y2 ; : : : ; yn 1 òàêæå ÿâëÿåòñÿ è îöåíêà nX1 ~n = (Hn 1 (i) Dn (i))yi ; i=1 ãäå Dn (i) = An Hn 1 (i) Kn'Tn Hn 1 (i) Hn (i): Ïîýòîìó

Efk~n

^n k2 g = 0

èëè

2 o n n nX1 X1

T E Dn (i)'i i + Dn (i)T Bv (i)Dn (i) i=1 i=1

Òàê êàê

= 0:

Bv (i) > 0 ïðè i = 1; 2; : : : ; n 1, òî Dn (i) = 0, ò.å. Hn (i) = An Hn 1 (i) Kn 'Tn Hn 1 (i):

Ýòî è åñòü èñêîìîå ñîîòíîøåíèå, êîòîðîìó äîëæíà óäîâëåòâîðÿòü âåñîâàÿ ôóíêöèÿ îïòèìàëüíîãî ôèëüòðà. Ó÷èòûâàÿ åãî, íåñëîæíî íàéòè ðàçíîñòíîå óðàâíåíèå äëÿ ïîñëåäîâàòåëüíîñòè îïòèìàëüíûõ îöåíîê f^n g:

^n+1 = Kn yn + +

nX1 i=1

nX1 i=1

Hn (i)yi = Kn yn+ 

An Hn 1 (i) Kn 'Tn Hn 1 (i) yi = Kn yn +(An Kn 'Tn )^n = = An ^n

Kn ('Tn ^n

yn):

Îáîçíà÷èì ÷åðåç n

= Ef(^n

n )(^n n )T g 56

êîâàðèàöèîííûå ìàòðèöû îøèáîê îöåíèâàíèÿ. Ìàòðè÷íûå ôóíêöèè Kn , íàçûâàåìûå êàëìàíîâñêèìè êîýôôèöèåíòàìè óñèëåíèÿ, íåïîñðåäñòâåííî ñâÿçàíû ñ n , òàê êàê èç óðàâíåíèÿ ÂèíåðàÕîïôà ñëåäóåò

0 = Ef(^n+1 = (An

n+1 )(yn 'Tn ^n)T g =

Kn 'Tn ) n 'n + Kn Bv (n):

Ñôîðìóëèðóåì îêîí÷àòåëüíûé ðåçóëüòàò. Êàëìàíîâñêèé êîýôôèöèåíò óñèëåíèÿ Kn îïðåäåëÿåòñÿ ïî ôîðìóëå Kn = An n 'n (Bv (n) + 'Tn n 'n ) 1 ;

ãäå n  êîâàðèàöèîííàÿ ìàòðèöà îøèáêè îöåíèâàíèÿ, ïîñëåäîâàòåëüíîñòü êîòîðûõ óäîâëåòâîðÿåò ðåêóððåíòíîìó ñîîòíîøåíèþ n+1

= (An Kn'Tn ) n (An Kn 'Tn )T +KnBv (n)KTn +Qw (n +1):

Ïîñëåäíÿÿ ôîðìóëà ëåãêî âûâîäèòñÿ èç ðàçíîñòíîãî óðàâíåíèÿ, ñâÿçûâàþùåãî äâå ïîñëåäîâàòåëüíûå îöåíêè. Èñïîëüçóÿ ìàòðè÷íîå òîæäåñòâî èç ðàçä. Ï.2, ðåêóððåíòíûå ñîîòíîøåíèÿ äëÿ ìàòðèö n ìîæíî ïåðåïèñàòü â âèäå n+1 èëè n+1

= An



n

= An n ATn

Kn 'Tn n ATn + Qw (n + 1)

T 1 T n 'n (Bv (n)+ 'n n 'n ) 'n n



ATn +Qw (n +1):

Ïîñëå çàäàíèÿ íà÷àëüíûõ çíà÷åíèé ^0 è 0 âìåñòå ñ ôîðìóëîé äëÿ ïîñëåäîâàòåëüíîãî ïåðåñ÷åòà îöåíîê

^n+1 = An ^n An n 'n (Bv (n) + 'Tn n'n ) 1 ('Tn ^n yn ) ýòè ñîîòíîøåíèÿ, íàçûâàåìûå ôèëüòðîì ÊàëìàíàÁüþñè, îïðåäåëÿþò çàìêíóòóþ ñèñòåìó äëÿ ðåêóððåíòíîãî âû÷èñëåíèÿ 57

^n

è n âî âñå ìîìåíòû âðåìåíè n. Òàêèå æå ôîðìóëû ìîæíî ïîëó÷èòü ïðè ðàññìîòðåíèè íå òîëüêî äåòåðìèíèðîâàííîé ïîñëåäîâàòåëüíîñòè f'n g, íî è åñëè ñ÷èòàòü åå ðåàëèçàöèåé íåêîòîðîãî ìàòðè÷íîãî íåçàâèñèìîãî ñëó÷àéíîãî ïðîöåññà, íåêîððåëèðîâàííîãî ñ ïîìåõàìè fvn g è ñ ïîðîæäàþùèì ïðîöåññîì fwn g. Ñòîèò çàìåòèòü, ÷òî ïðè An  I; Qw (n)  0 è âûáîðå ìàòðèöû âåñîâûõ êîýôôèöèåíòîâ Rn = Bv (n) 1 ôèëüòð ÊàëìàíàÁüþñè â òî÷íîñòè ñîâïàäàåò ñ îáîáùåííûì ðåêóððåíòíûì ÌÍÊ èç ðàçä. 2.3, ÷òî è íåóäèâèòåëüíî. Íà ïðàêòèêå ïîëó÷åííûå ñîîòíîøåíèÿ ÷àñòî óïðîùàþò, èñïîëüçóÿ äëÿ âû÷èñëåíèÿ îöåíîê ôîðìóëó

^n+1 = An ^n An 'n ('Tn ^n yn ) ñ çàäàííûìè ïîëîæèòåëüíî îïðåäåëåííûìè ìàòðèöàìè è . Äàëüíåéøåå óïðîùåíèå âîçìîæíî ïðè âûáîðå ñêàëÿðíîãî çíà÷åíèÿ  > 0.  ñëó÷àå âûðîæäåííûõ ïîìåõ íàáëþäåíèÿ fvn g, â ÷àñòíîñòè ïðè çàäàíèè èõ íåèçâåñòíûìè äåòåðìèíèðîâàííûìè îãðàíè÷åííûìè ôóíêöèÿìè, î êà÷åñòâå îöåíîê ôèëüòðà ÊàëìàíàÁüþñè òðóäíî ÷òî-ëèáî ñêàçàòü. Åñëè ïðåäïîëîæèòü, ÷òî f'n g  ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ èçâåñòíûì ñðåäíèì çíà÷åíèåì è ïîëîæèòåëüíîé îãðàíè÷åííîé äèñïåðñèåé, òî äëÿ ðåøåíèÿ çàäà÷è î ïðîãíîçèðîâàíèè â [9] ïðåäëîæåíî âîñïîëüçîâàòüñÿ ðàíäîìèçèðîâàííûì àëãîðèòìîì âèäà

^n+1 = An ^n An
n('Tn ^n yn); ãäå
n = 'n Ef'n g. Òàì æå ïîêàçàíî, ÷òî â óñëîâèÿõ ñêàëÿðíûõ íàáëþäåíèé íà ôîíå íåèçâåñòíîé, íî îãðàíè÷åííîé íåñëó÷àéíîé ïîìåõè ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó îöåíêè ìîãóò äàâàòü äîñòàòî÷íî õîðîøåå êà÷åñòâî ïðåäñêàçàíèÿ ïðè An  A : kAk < 1. 58

Ïðèìåð: îïòèìàëüíûé ïðîãíîç ïðîöåññà. Ïðåäïîëîæèì, ÷òî ïðè n = 1; 2; : : : íàáëþäàåòñÿ ñêàëÿðíûé ïðîöåññ fyn g

yn = 'n n + vn ; ãäå f'n g, fn g è fvn g  ñòîõàñòè÷åñêè íåçàâèñèìûå ïðîöåññû: Efvn g = 0, Efvn2 g = v2 > 0, 0 = 0 è fn g îïðåäåëÿåòñÿ óðàâíåíèåì n+1 = a n + wn+1 ; 2 > 0.  äàííîì â êîòîðîì 0 < jaj  1, Efwn g = 0; Efwn2 g = w ñëó÷àå Bv (n)  v2 ; Qw (n)  w2 è ïðè çàäàíèè ^0 = 0; 0 = 0 îïòèìàëüíàÿ ïîñëåäîâàòåëüíîñòü ïðîãíîçèðóþùèõ îöåíîê âû÷èñëÿåòñÿ ïî ôîðìóëàì

^n+1 = a^n a

v2 +

n

^

'n ('n n n '2n

 a2 v2 a2 v4  a2 '2n '2n (v2 + n '2n )  ñòàöèîíàðíîì ñëó÷àå ïðè 'n  ' êîãäà f'n g  áåðíóëëèåâñêèé ïðîöåññ:

n+1

= w2 +

n

yn);  a2 2n '2n 2 : +  v2 + n '2n w

èëè â òîé ñèòóàöèè,

'n = '; Ef'n g = 0; ïîñëåäîâàòåëüíîñòü f n g ñõîäèòñÿ ê ïðåäåëó ìîæíî íàéòè èç óðàâíåíèÿ

a2 2

1 = w2 + '2 v

1, êîòîðûé

a2 v4 ; '2 (v2 + 1'2 )

ðåøåíèå êîòîðîãî åñòü p

'2 w2 + (a2 1)v2 + ('2 w2 + (a2 1= 2'2

1)v2 )2 + 4'2 w2 v2

:

59

 ïðåäåëå ïðè n ! 1 äëÿ îöåíîê ôèëüòðà ÊàëìàíàÁüþñè èìååì ïðèáëèæåííîå ñîîòíîøåíèå

^n+1  a^n a'n ('n ^n yn ); â êîòîðîì îáîçíà÷åíî

c2 + c c =a  = 2 1 2 = 1 2 1 22 v + 1 ' ' c1 è







 1  c2 + a ; a'2 c1

1 1 c1 = (1 + 2 ); c2 = (1 2 ); 2 2 p p 1 = '2 w2 + v2 (1 a)2 ; 2 = '2 w2 + v2 (1 + a)2 : Òàêèì îáðàçîì, â ñòàöèîíàðíîì ñëó÷àå ('n  ') îöåíêè

ôèëüòðà ÊàëìàíàÁüþñè â ïðåäåëå ñîâïàäàþò ñ îöåíêàìè ôèëüòðà ÂèíåðàÊîëìîãîðîâà. Ýòà ñâÿçü îáóñëîâëåíà ìåòîäîì íàèìåíüøèõ êâàäðàòîâ, çàëîæåííûì â îñíîâó îáîèõ ôèëüòðîâ. Ïîñëåäíÿÿ ôîðìóëà òàêæå èëëþñòðèðóåò îáîñíîâàííîñòü çàìåíû â íåêîòîðûõ ñëó÷àÿõ îöåíîê ôèëüòðà ÊàëìàíàÁüþñè íà îöåíêè, äîñòàâëÿåìûå àëãîðèòìîì óïðîùåííîãî òèïà. Êðîìå òîãî, åñëè f'n g  áåðíóëëèåâñêèé íåçàâèñèìûé ïðîöåññ, òî àëãîðèòì

^n+1 = a^n a'n ('n ^n yn) îòíîñèòñÿ ê òèïó ðàíäîìèçèðîâàííûõ. Êàê ïîêàçàíî â [9], îí ìîæåò äàâàòü óäîâëåòâîðèòåëüíûå îöåíêè íå òîëüêî â ñëó÷àå íåçàâèñèìûõ öåíòðèðîâàííûõ ïîìåõ íàáëþäåíèÿ, íî è ïðè íåèçâåñòíûõ îãðàíè÷åííûõ äåòåðìèíèðîâàííûõ ïîìåõàõ. Çàìåòèì, ÷òî ïðè a  1 è w << v



w : 'v

60

4. Ìåòîäû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè è ñëó÷àéíîãî ïîèñêà  øèðîêîì ñìûñëå ìåòîäîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè íàçûâàþò ïîñëåäîâàòåëüíûé ñïîñîá óëó÷øåíèÿ îöåíêè, ìèíèìèçèðóþùåé ôóíêöèîíàë ñðåäíåãî ðèñêà

f (X ) = Ew fF (w; X )g (ñì. ðàçä. 1.4), èñïîëüçóþùèé íà êàæäîì øàãå íîâûå íàáëþäåíèÿ è ïðåäøåñòâóþùóþ îöåíêó. Åñëè øòðàôíàÿ ôóíêöèÿ F (w; X ) äèôôåðåíöèðóåìà ïî X , òî ìèíèìèçèðóþùèå ýòîò ôóíêöèîíàë âåêòîðû  íàõîäÿòñÿ ñðåäè ðåøåíèé óðàâíåíèÿ ðåãðåññèè Z

rxF (w; X )Pw (dw) = 0: Ïóñòü ðàñïðåäåëåíèå âåðîÿòíîñòåé Pw (
) íåèçâåñòíî, íî çàäàg(X ) =

íà îáó÷àþùàÿ ïîñëåäîâàòåëüíîñòü w1 ; w2 ; : : :, èì ïîðîæäåííàÿ, è â êàæäûé ìîìåíò âðåìåíè n (n = 1; 2; : : : ) äîñòóïíû èçìåðåíèþ âåëè÷èíû yn , ÿâëÿþùèåñÿ ïðè îïðåäåëåííîì âûáîðå òî÷åê Xn ëèáî çíà÷åíèÿìè ôóíêöèè F (wn ; Xn ), ëèáî çíà÷åíèÿìè åå âåêòîð-ãðàäèåíòà rx F (wn ; Xn ), èçìåðåííûìè, ìîæåò áûòü, ñ ïîìåõàìè.  òàêîé ñèòóàöèè äëÿ ïîèñêà ðåøåíèé óðàâíåíèÿ ðåãðåññèè ìîæíî èñïîëüçîâàòü ðåêóððåíòíóþ ïðîöåäóðó òèïà ^n = ^n 1 n g^n (n 1 ); ãäå n = 1; 2; : : :, fn g  ñïåöèàëüíûì îáðàçîì ïîäáèðàåìàÿ ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ÷èñåë, íàçûâàåìûõ âåëè÷èíàìè ðàáî÷åãî øàãà, à

g^n (^n 1 ) = g~n (yn ; yn 1 ; : : : ; y1 ; xn ; xn 1 ; : : : ; x1 ; ^n 1 )  íåêîòîðàÿ "õîðîøàÿ" àïïðîêñèìàöèÿ â òî÷êå ^n 1 äëÿ âåêòîð-ãðàäèåíòà ôóíêöèè f (
). Ïîäîáíûå àëãîðèòìû òèïè÷61

íû äëÿ ìåòîäà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Èíîãäà ôîðìàëüíîå îïðåäåëåíèå ìåòîäà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè îïèðàåòñÿ èìåííî íà ïîñëåäíþþ ôîðìóëó, â êîòîðîé ÷àñòî ïðåäïîëàãàåòñÿ, ÷òî fn g  çàäàííàÿ äåòåðìèíèðîâàííàÿ ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ÷èñåë. Ñëó÷àéíûé âûáîð fng õàðàêòåðåí äëÿ àëãîðèòìîâ ñëó÷àéíîãî ïîèñêà

4.1. Ïîèñê êîðíÿ íåèçâåñòíîé ôóíêöèè. Àëãîðèòì ÐîááèíñàÌîíðî Ïåðâîé ïî ðåêóððåíòíûì ñòîõàñòè÷åñêèì àëãîðèòìàì áûëà ðàáîòà Ðîááèíñà è Ìîíðî [73], â êîòîðîé èññëåäîâàëàñü çàäà÷à î íàõîæäåíèè êîðíÿ âåùåñòâåííîé ôóíêöèè g (X ) îò âåùåñòâåííîãî àðãóìåíòà X . Ïðåäïîëàãàëîñü, ÷òî ôóíêöèÿ íåèçâåñòíà, íî íàáëþäåíèþ ýêñïåðèìåíòàòîðà äîñòóïíû åå çíà÷åíèÿ â âûáèðàåìûõ èì òî÷êàõ, ìîæåò áûòü, ñ ïîìåõàìè. Åñëè ôóíêöèÿ g (X ) íàì èçâåñòíà è íåïðåðûâíî äèôôåðåíöèðóåìà, òî çàäà÷à ïðåâðàùàåòñÿ â êëàññè÷åñêóþ èç ÷èñëåííîãî àíàëèçà. Äëÿ åå ðåøåíèÿ ìîæíî âîñïîëüçîâàòüñÿ ìåòîäîì Íüþòîíà, êîòîðûé ãåíåðèðóåò ïîñëåäîâàòåëüíîñòü îöåíîê f^ng êîðíÿ  ôóíêöèè g(X ):

^n = ^n

n = 1; 2; : : :, öåäóðîé:

1

[g0 (^n 1 )] 1 g(^n 1 );

èëè áîëåå ïðîñòîé, íî ìåíåå ýôôåêòèâíîé, ïðî-

^n = ^n

1

g(^n 1 )

ñ ôèêñèðîâàííûì äîñòàòî÷íî ìàëûì êîýôôèöèåíòîì  > 0, êîòîðàÿ íå òðåáóåò óìåíèÿ âû÷èñëÿòü ïðîèçâîäíóþ ôóíêöèè. Åñëè íà÷àëüíîå çíà÷åíèå ^0 âûáðàíî äîñòàòî÷íî áëèçêî ê  , òî ïðîöåäóðà ãàðàíòèðóåò ñõîäèìîñòü îöåíîê ê êîðíþ  ôóíêöèè g(X ) ïðè ïðåäïîëîæåíèÿõ î òîì, ÷òî g(X ) < 0 ïðè X < , g(X ) > 0 ïðè X > , ïðîèçâîäíàÿ ôóíêöèè îãðàíè÷åíà è g0 (X ) > 0 â íåêîòîðîé îêðåñòíîñòè òî÷êè . Âîîáùå ãîâîðÿ, ýòà ïðîöåäóðà íå òðåáóåò è äèôôåðåíöèðóåìîñòè ôóíêöèè g(X ). 62

Òåïåðü ïðåäïîëîæèì, ÷òî òî÷íûå çíà÷åíèÿ ôóíêöèè g (X ) è åå ïðîèçâîäíîé íåèçâåñòíû, à äîñòóïíû òîëüêî çíà÷åíèÿ ôóíêöèè â âûáèðàåìûõ òî÷êàõ X , íî èñêàæåííûå ïîìåõàìè. Áîëåå òî÷íî: ïóñòü êàæäîìó âåùåñòâåííîìó X ñîîòâåòñòâóåò íåêîòîðàÿ âåùåñòâåííàÿ ñëó÷àéíàÿ âåëè÷èíà G(w; X ) ñ íåèçâåñòíûì ðàñïðåäåëåíèåì âåðîÿòíîñòåé è ñðåäíèì çíà÷åíèåì Z +1 g(X ) = Ew fG(w; X )g = G(w; X )Pw (dw):

1

Òðåáóåòñÿ íàéòè çíà÷åíèå  , ïðè êîòîðîì g ( ) = 0; íà îñíîâàíèè íàáëþäåíèé ðåàëèçîâàííûõ çíà÷åíèé ñëó÷àéíûõ âåëè÷èí G(w1 ; X1 ); G(w1 ; X2 ); : : : ïðè âûáîðå ïàðàìåòðîâ èñïûòàíèé X1 ; X2 ; : : :. Äëÿ óïðîùåíèÿ áóäåì ñ÷èòàòü, ÷òî ôóíêöèÿ g(X )  íåóáûâàþùàÿ è èìååò åäèíñòâåííûé êîðåíü. Ïðè íàáëþäåíèÿõ ñ ïîìåõàìè ìåòîä Íüþòîíà íå ïðèìåíèì, íî âòîðîé (óïðîùåííîé) ïðîöåäóðîé âîñïîëüçîâàòüñÿ ìîæíî, çàìåíèâ, ê ïðèìåðó, çíà÷åíèÿ ôóíêöèè íà èõ "õîðîøèå" ïðèáëèæåíèÿ, ïîëó÷àåìûå óñðåäíåíèåì íåñêîëüêèõ íàáëþäåíèé. Íà ñàìîì äåëå, êàê óñòàíîâèëè Ã. Ðîááèíñ è Ñ. Ìîíðî [73], íåò íåîáõîäèìîñòè ïðîèçâîäèòü ñåðèþ íàáëþäåíèé äëÿ êàæäîãî ðàíåå âûáðàííîãî ïàðàìåòðà èñïûòàíèé ^n 1 , ïîñêîëüêó âåëè÷èíû ^n 1 èãðàþò â âû÷èñëåíèÿõ ïðîìåæóòî÷íóþ ðîëü è çíà÷åíèÿ ôóíêöèè â ýòèõ òî÷êàõ ïðåäñòàâëÿþò èíòåðåñ íå ñàìè ïî ñåáå, à òîëüêî â òîé ñòåïåíè, íàñêîëüêî îíè âåäóò íàñ â íàïðàâëåíèè ê êîðíþ ôóíêöèè. Áûë ïðåäëîæåí íîâûé àëãîðèòì:

^n = ^n

n Yn

1

ñ íåêîòîðîé âûáèðàåìîé ïîëüçîâàòåëåì ïîñëåäîâàòåëüíîñòüþ ïîëîæèòåëüíûõ ÷èñåë fn g, ñòðåìÿùåéñÿ ê íóëþ ïðè n ! 1 è óäîâëåòâîðÿþùåé óñëîâèÿì X

n

n = 1;

X

n

2n < 1:

Ýòîò àëãîðèòì èñïîëüçóåò íà n-ì øàãå íàáëþäåíèå Yn , ïðåäñòàâëÿþùåå ñîáîé çàøóìëåííîå çíà÷åíèå g (^n 1 ), ðàâíîå 63

 ìíîãîìåðíîì ñëó÷àå, êîãäà X 2 Rr , àëãîðèòì èìååò òàêîé æå âèä è Yn 2 R r . Îí ïîëó÷èë îáùåïðèçíàííîå íàçâàíèå ïðîöåäóðà ÐîááèíñàÌîíðî. Ê íàñòîÿùåìó âðåìåíè ðàçâèòû ìåòîäû, äîêàçûâàþùèå ñõîäèìîñòü ïîëó÷àåìîé òàêèì îáðàçîì ïîñëåäîâàòåëüíîñòè îöåíîê ê êîðíþ ôóíêöèè g(X ) ïðè áîëåå îáùèõ ïðåäïîëîæåíèÿõ î ñâîéñòâàõ íåèçâåñòíîé ôóíêöèè è ìåíüøèõ îãðàíè÷åíèÿõ íà ïîñëåäîâàòåëüíîñòü fng (ñì. ðàçä. Ï.4.2). Âñå ñïîñîáû äîêàçàòåëüñòâà ñîñòîÿòåëüíîñòè îöåíîê èñïîëüçóþò ïðåäâàðèòåëüíóþ èíôîðìàöèþ î ïîìåõàõ, ïðåäïîëàãàÿ èõ öåíòðèðîâàííîñòü â òîì èëè èíîì ñìûñëå. Äëÿ ïðèìåðà ïðèâåäåì íåêîòîðûå ñîîáðàæåíèÿ, ïîêàçûâàþùèå, ÷òî ïîìåõè ñ íóëåâûì ñðåäíèì è îãðàíè÷åííîé äèñïåðñèåé íå âëèÿþò íà àñèìïòîòè÷åñêîå ïîâåäåíèå àëãîðèòìà ïðè n ! 1. Ñ îäíîé ñòîðîíû, ïðè áîëüøèõ çíà÷åíèÿõ n øàã àëãîðèòìà n ! 0 è çíà÷åíèÿ ^n ìåíÿþòñÿ ìåäëåííî. Ñ äðóãîé, äëÿ äîñòàòî÷íî ìàëîãî  > 0 îïðåäåëèì Nn òàê, ÷òîáû Pn+Nn i=n i  : Ïðîöåäóðó ÐîááèíñàÌîíðî ìîæíî ïåðåïèñàòü â âèäå

G(wn ; ^n 1 ).

^n = ^n

1

n g(^n 1 ) + n (g(^n 1 ) Yn ):

À çíà÷èò,

^n+Nn

^n

1

 g(^n 1) + "îøèáêà";

ãäå

"îøèáêà" =

nX +Nn i=n

i (g(^i 1 ) Yi ):

Åñëè ïðåäïîëîæèòü, ÷òî ïîìåõè fYn g (^n 1 )gn=1;2;::: ïðåäñòàâëÿþò ñîáîé ïîñëåäîâàòåëüíîñòü îðòîãîíàëüíûõ ñëó÷àéíûõ âåëè÷èí ñ íóëåâûìè ñðåäíèìè çíà÷åíèÿìè è îãðàíè÷åí64

íîé äèñïåðñèåé  2 (^n 1 ), òîãäà äëÿ äèñïåðñèè îøèáêè èìååì

E

8 +Nn
i=n



i yn

9 2 =

g(^n 1 )

;

=

nX +Nn i=n

O(2i ) = O()n:

Èç ïîñëåäíåãî ñîîòíîøåíèÿ âèäíî, ÷òî íà èòåðàöèÿõ èç èíòåðâàëà [n; n + Nn ) äëÿ ìàëûõ  è áîëüøèõ n ñðåäíåå èçìåíåíèå çíà÷åíèÿ ïàðàìåòðà áîëåå ñóùåñòâåííî, ÷åì "îøèáêà". Ñëåäîâàòåëüíî, ïî êðàéíåé ìåðå ôîðìàëüíî, èç ïðèáëèæåííîé ôîðìóëû äëÿ êîíå÷íûõ ðàçíîñòåé ^n+Nn ^n 1 ìîæíî ñäåëàòü çàêëþ÷åíèå î òîì, ÷òî àñèìïòîòè÷åñêîå ïîâåäåíèå îöåíîê âåðîÿòíåå âñåãî ñîâïàäàåò ñ àñèìïòîòè÷åñêèì ïîâåäåíèåì íåêîòîðîãî ðåøåíèÿ îáûêíîâåííîãî äèôôåðåíöèàëüíîãî óðàâíåíèÿ

_ = g():

Ïðè äîïîëíèòåëüíûõ îãðàíè÷åíèÿõ ìîæíî ïîêàçàòü, ÷òî

^n !  ñ âåðîÿòíîñòüþ åäèíèöà, åñëè  ÿâëÿåòñÿ àñèìïòîòè÷åñêè óñòîé÷èâîé òî÷êîé ýòîãî óðàâíåíèÿ.

4.2. Ìèíèìèçàöèÿ ôóíêöèîíàëà ñðåäíåãî ðèñêà Ðàññìîòðèì çàäà÷ó ìèíèìèçàöèè ôóíêöèè

f (x) = Ew fF (w; x)g (òèïà ôóíêöèîíàëà ñðåäíåãî ðèñêà  ñì. ðàçä. 1.4), çàâèñÿùåé îò âåêòîðíîãî r -ìåðíîãî àðãóìåíòà x. Ïðåäïîëîæèì, ÷òî w  ñëó÷àéíûé âåêòîð è Ew f
g  îïåðàöèÿ óñðåäíåíèÿ ïî åãî ðàñïðåäåëåíèþ. Ïóñòü f (
)  íåïðåðûâíî äèôôåðåíöèðóåìàÿ ôóíêöèÿ. Íåîáõîäèìûì óñëîâèåì òîãî, ÷òî   òî÷êà ìèíèìóìà ôóíêöèè f (
), ÿâëÿåòñÿ ðàâåíñòâî íóëþ â ýòîé òî÷êå åå âåêòîð-ãðàäèåíòà rf ( ) = 0. Ïðåäïîëîæèì, ÷òî èçâåñòíû çíà÷åíèÿ âåêòîð-ãðàäèåíòà ôóíêöèè f (
) è åå ìàòèöû-ãåññèàíà. Äëÿ íàõîæäåíèÿ òî÷êè 65

ìèíèìóìà ìîæíî âîñïîëüçîâàòüñÿ êëàññè÷åñêîé ñõåìîé âû÷èñëåíèé ïî ìåòîäó Íüþòîíà:

rf (^n 1); ãäå n = 1; 2; : : : : Åñëè ìàòðèöà-ãåññèàí r2 f (^n 1 ) â íåêîòîðîé ^n = ^n

1

[r2 f (^n 1 )]

1

îêðåñòíîñòè òî÷êè  çàäàåò ïîëîæèòåëüíûé îãðàíè÷åííûé îïåðàòîð è íà÷àëüíîå çíà÷åíèå ^0 âûáðàíî äîñòàòî÷íî áëèçêî ê òî÷êå ëîêàëüíîãî ìèíèìóìà  , òî ïîñëåäîâàòåëüíîñòü îöåíîê f^ng ñõîäèòñÿ ê . Íåäîñòàòêîì ýòîãî àëãîðèòìà ÿâëÿåòñÿ íåîáõîäèìîñòü îáðàùàòü ìàòðèöó-ãåññèàí íà êàæäîì øàãå, ÷òî ìîæåò ïðåäñòàâëÿòü ñîáîé îïðåäåëåííóþ òðóäíîñòü ïðè áîëüøîé ðàçìåðíîñòè.  íåêîòîðûõ ñëó÷àÿõ óäàåòñÿ âûáðàòü ðåêóððåíòíûé ñïîñîá äëÿ ïåðåñ÷åòà ìàòðèö, îáðàòíûõ ê ãåññèàíó. Äëÿ óïðîùåíèÿ àëãîðèòìà, ìàòðèöû [r2 f (^n 1 )] 1 èíîãäà îáîñíîâàííî çàìåíÿþò íà ïîëîæèòåëüíûå ÷èñëà n , ïîëó÷àÿ â ðåçóëüòàòå àëãîðèòì òèïà ïðîöåäóðû Ðîááèíñà Ìîíðî. Åñëè çíà÷åíèÿ ãðàäèåíòà ôóíêöèè f (
) íåèçâåñòíû, òî ñòàíäàðòíûì ïîäõîäîì ê ðåøåíèþ çàäà÷è ÿâëÿåòñÿ èñïîëüçîâàíèå êîíå÷íûõ ðàçíîñòåé äëÿ àïïðîêñèìàöèè ãðàäèåíòà. Ïóñòü f n g  íåêîòîðàÿ ïîñëåäîâàòåëüíîñòü ïîëîæèòåëüíûõ ÷èñåë. Îáîçíà÷èì ÷åðåç ei ñòàíäàðòíûé åäèíè÷íûé âåêòîð â íàïðàâëåíèè i-é êîîðäèíàòû.  êà÷åñòâå àïïðîêñèìàöèè i-é êîìïîíåíòû âåêòîð-ãðàäèåíòà ìîæíî èñïîëüçîâàòü

^ ^ rf (^n 1)i  f (n 1 + nei )2 f (n n

1

n ei )

:

Îòìåòèì, ÷òî ýòîò ñòàíäàðòíûé ïîäõîä ê àïïðîêñèìàöèè âåêòîð-ãðàäèåíòà òðåáóåò íà êàæäîì øàãå àëãîðèòìà îöåíèâàíèÿ ïðîèçâåñòè 2r èçìåðåíèé çíà÷åíèé ìèíèìèçèðóåìîé ôóíêöèè ïðè ðàçìåðíîñòè èñêîìîãî ìèíèìèçèðóþùåãî âåêòîðà, ðàâíîé r .

66

4.3. Ïðîöåäóðà ÊèôåðàÂîëüôîâèöà Êàê ïîñòóïèòü, åñëè íåëüçÿ èñïîëüçîâàòü â àëãîðèòìå íå òîëüêî ãðàäèåíò ôóíêöèè f (
), íî è åå òî÷íûå çíà÷åíèÿ? Òàêàÿ ïðîáëåìà âîçíèêàåò, åñëè âèä ôóíêöèé f (
) è F (
;
) èçâåñòåí íå ïîëíîñòüþ ëèáî åñëè íà âû÷èñëåíèå ñîîòâåòñòâóþùèõ çíà÷åíèé çàòðà÷èâàåòñÿ ÷ðåçìåðíîå êîëè÷åñòâî óñèëèé ïðè äîðîãîâèçíå ýêñïåðèìåíòîâ èëè áîëüøîé ðàçìåðíîñòè âåêòîðà íåèçâåñòíûõ ïàðàìåòðîâ.  çàäà÷àõ îïòèìèçàöèè äîñòàòî÷íî ÷àñòî ìîæíî âîñïîëüçîâàòüñÿ òîëüêî çàøóìëåííîé èíôîðìàöèåé î çíà÷åíèÿõ ôóíêöèè F (w; X ) â âûáèðàåìûõ òî÷êàõ X ñ íåêîíòðîëèðóåìûìè ïðè ýòîì çíà÷åíèÿìè ñëó÷àéíîé âåëè÷èíû w. Äæ. Êèôåð ñ Äæ. Âîëüôîâèöåì [68] ïðè r = 1 è Äæ. Áëþì â ìíîãîìåðíîì ñëó÷àå [61] äëÿ ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê ïðåäëîæèëè èñïîëüçîâàòü ïðîöåäóðó ñëåäóþùåãî âèäà: Y + Yn ; ^n = ^n 1 n n 2 n ãäå îáîçíà÷åíî:

0 

F w B  2r(n B BF w2r(n B

Yn = B

B @ 

1

^ 1)+  ; n 1  n e1 C C ^ 1)+ 71 ; n 1  n e2 C 3 1 2

F w2rn 12 1 ;

2

.. .

^n

1

 n er

C: C C A

Îíè îáîñíîâàëè ñîñòîÿòåëüíîñòü îöåíîê ïðè îïðåäåëåííûõ ïðåäïîëîæåíèÿõ î ðàñïðåäåëåíèÿõ ñîîòâåòñòâóþùèõ ñëó÷àéíûõ âåëè÷èí, ñâîéñòâàõ ôóíêöèè F (
;
) è ÷èñëîâûõ ïîñëåäîâàòåëüíîñòåé fn g è f n g. Èç íàêëàäûâàåìûõ óñëîâèé îáû÷íî ñëåäóåò, ÷òî â ñðåäíåì ïî âñåâîçìîæíûì ðåàëèçàöèÿì w çíà÷åíèå (Yn+ Yn )=(2 n ) ñîâïàäàåò ñî çíà÷åíèåì ãðàäèåíòà ôóíêöèè f (
) â òî÷êå ^n 1 ; è àñèìïòîòè÷åñêîå ïîâåäåíèå îöåíîê, ïîëó÷àåìûõ ñ ïîìîùüþ ïðîöåäóðû ÊèôåðàÂîëüôîâèöà, 67

õàðàêòåðèçóåòñÿ ñâîéñòâàìè ðåøåíèé ñèñòåìû îáûêíîâåííûõ äèôôåðåíöèàëüíûõ óðàâíåíèé (ÎÄÓ):

_ =

rf ():

 áîëåå øèðîêîì ñìûñëå àëãîðèòìû òàêîãî òèïà ïðèíÿòî íàçûâàòü ïñåâäîãðàäèåíòíûìè [29]. Ïðè âíåøíåé ïðîñòîòå, îðèãèíàëüíàÿ ïðîöåäóðà ÊèôåðàÂîëüôîâèöà èìååò ðÿä ñóùåñòâåííûõ íåäîñòàòêîâ. Äëÿ äîêàçàòåëüñòâà ñîñòîÿòåëüíîñòè îöåíîê ïðèõîäèòñÿ íàêëàäûâàòü äîñòàòî÷íî îãðàíè÷èòåëüíûå óñëîâèÿ íà íåêîíòðîëèðóåìûå âîçìóùåíèÿ; ïðè èçìåðåíèÿõ çíà÷åíèé ôóíêöèè ñ ïî÷òè ïðîèçâîëüíûìè ïîìåõàìè ñîñòîÿòåëüíîñòü îöåíîê íå ïîëó÷àåòñÿ; è äàæå â òåõ ñëó÷àÿõ, êîãäà îãðàíè÷åíèÿìè íà íåêîíòðîëèðóåìûå âîçìóùåíèÿ è ïîìåõè â íàáëþäåíèè ìîæíî ïðåíåáðå÷ü, íà êàæäîì øàãå àëãîðèòìà ïðèõîäèòñÿ äåëàòü 2r íàáëþäåíèé, ÷òî â ìíîãîìåðíîì ñëó÷àå ïðè äîñòàòî÷íî áîëüøîì r ìîæåò îêàçàòüñÿ òðóäíî îñóùåñòâèìûì.

4.4. Ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè Êëàññè÷åñêóþ ïðîöåäóðó ÊèôåðàÂîëüôîâèöà (ÊÂ) â ïîñëåäíåå âðåìÿ ÷àñòî íàçûâàþò àëãîðèòìîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ ôèêñèðîâàííûìè íàïðàâëåíèÿìè. Ñóùåñòâåííî óëó÷øèòü õàðàêòåðèñòèêè åå îöåíîê ïîçâîëÿåò âêëþ÷åíèå îäíîâðåìåííî â êàíàë íàáëþäåíèÿ, ÷åðåç âûáèðàåìûé ïàðàìåòð, è â íàïðàâëåíèå âåêòîðà èçìåíåíèÿ î÷åðåäíîé îöåíêè òàê íàçûâàåìîãî ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ.  îòëè÷èå îò êëàññè÷åñêîé ïðîöåäóðû ÊèôåðàÂîëüôîâèöà ïðè âûáîðå î÷åðåäíîé òî÷êè èçìåðåíèÿ ôóíêöèè ñëó÷àéíîìó âîçìóùåíèþ ïîäâåðãàþòñÿ îäíîâðåìåííî âñå êîîðäèíàòû. Ïóñòü f
n g  ïîñëåäîâàòåëüíîñòü íàáëþäàåìûõ, îäèíàêîâî ñèììåòðè÷íî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåêòîðîâ ñ ìàòðèöàìè êîâàðèàöèé covf
n
Tj g = Ænj 
2 I; 68

ãäå 
> 0; è îãðàíè÷åííûì âòîðûì ñòàòèñòè÷åñêèì ìîìåíòîì. Íàïðèìåð, äëÿ çàäàíèÿ ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ óäîáíî èñïîëüçîâàòü áåðíóëëèåâñêèå ñëó÷àéíûå âåêòîðû (êîîðäèíàòû âåêòîðà
n íå çàâèñÿò äðóã îò äðóãà è ïðèíèìàþò ñ ðàâíîé âåðîÿòíîñòüþ çíà÷åíèÿ ïëþñ/ìèíóñ åäèíèöà). Îêàçûâàåòñÿ, ÷òî ïðè çàøóìëåííûõ íàáëþäåíèÿõ áåç ñóùåñòâåííûõ ïîòåðü â ñêîðîñòè ñõîäèìîñòè äëÿ ïîñòðîåíèÿ ñîñòîÿòåëüíîé ïîñëåäîâàòåëüíîñòè îöåíîê ìîæíî âîñïîëüçîâàòüñÿ àëãîðèòìîì, ïîõîæèì âíåøíå íà êëàññè÷åñêóþ ïðîöåäóðó ÊèôåðàÂîëüôîâèöà, íî èñïîëüçóþùåì âñåãî äâà çàøóìëåííûõ èçìåðåíèÿ ôóíêöèè F (
;
) íà êàæäîé èòåðàöèè:

^n = ^n

1

n
n

yn+ yn ; 2 n

yn = F (wn ; ^n

1

 n
n) + vn :

Áîëåå òîãî, àíàëîãè÷íûìè ñâîéñòâàìè îáëàäàåò àëãîðèòì ñ îäíèì çàøóìëåííûì íàáëþäåíèåì íà êàæäîé èòåðàöèè:

^n = ^n

1

n
y ; n n n

yn = F (wn ; ^n 1 + n
n) + vn :

Ýòè ðåêóððåíòíûå ïðîöåäóðû áóäåì íàçûâàòü ðàíäîìèçèðîâàííûìè àëãîðèòìàìè ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, òàê êàê â èõ ñòðóêòóðó íåîòúåìëåìîé ÷àñòüþ âõîäèò ñëó÷àéíîå ïðîáíîå îäíîâðåìåííîå ïî âñåì êîîðäèíàòàì âîçìóùåíèå, êîòîðîå òàêæå îäíîâðåìåííî èñïîëüçóåòñÿ è â çàäàíèè íàïðàâëåíèÿ î÷åðåäíîãî èçìåíåíèÿ îöåíêè è ïðè âûáîðå íîâîé òî÷êè èçìåðåíèÿ. Èíîãäà âñòðå÷àþòñÿ íàçâàíèÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ ñî ñëó÷àéíûìè íàïðàâëåíèÿìè, ïîèñêîâûé àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè èëè ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ ñ âîçìóùåíèåì íà âõîäå.  àíãëîÿçû÷íîé ëèòåðàòóðå øèðîêî èñïîëüçóåòñÿ íàçâàíèå îäíîâðåìåííî âîçìóùàåìàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ (simultaneous perturbation stochastic approximation, SPSA).  [8, 10, 63, 76] ïðèâåäåíû òî÷íûå óñëîâèÿ, îáåñïå÷èâàþùèå ñîñòîÿòåëüíîñòü îöåíîê ðàíäîìèçèðîâàííûõ àëãîðèòìîâ 69

ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, èç êîòîðûõ íàèáîëåå ñóùåñòâåííûì ÿâëÿåòñÿ óñëîâèå î ñëàáîé êîððåëèðîâàííîñòè ïðîáíîãî âîçìóùåíèÿ f
n g è ïîñëåäîâàòåëüíîñòåé íåîïðåäåëåííîñòåé fwn g è fvn g. Åñòåñòâåííî, ÷òî ñðåäíåêâàäðàòè÷íàÿ ñêîðîñòü ñõîäèìîñòè ïåðâîãî ðàíäîìèçèðîâàííîãî àëãîðèòìà ñ äâóìÿ èçìåðåíèÿìè îáû÷íî âûøå, ÷åì ó âòîðîãî. Íî ñòîèò çàìåòèòü, ÷òî â öåëîì ðÿäå ïðàêòè÷åñêèõ çàäà÷ îïòèìèçàöèè ñèñòåì ðåàëüíîãî âðåìåíè, îáíàðóæåíèÿ ñèãíàëîâ è àäàïòèâíîãî óïðàâëåíèÿ âàæíî èìåòü âîçìîæíîñòü èñïîëüçîâàòü àëãîðèòì òîëüêî ñ îäíèì íàáëþäåíèåì íà êàæäîì øàãå, òàê êàê â ýòèõ çàäà÷àõ òðóäíî ñäåëàòü íå òîëüêî 2r íàáëþäåíèé, êàê â êëàññè÷åñêîé ïðîöåäóðå ÊèôåðàÂîëüôîâèöà, íî íåäîñòóïíû äàæå äâà íàáëþäåíèÿ ñ íåçàâèñèìûìè îò
n ïîìåõàìè.  îòëè÷èå îò îöåíèâàíèÿ ïî êëàññè÷åñêîé ïðîöåäóðå ÊèôåðàÂîëüôîâèöà ïðèìåíåíèå ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ýôôåêòèâíî è ïðè ïî÷òè ïðîèçâîëüíûõ àääèòèâíûõ ïîìåõàõ â íàáëþäåíèè fvn g.  ïîäòâåðæäåíèå ýòîãî ôàêòà â ñëó÷àå íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ïîñëåäîâàòåëüíîñòè ïîìåõ fvn g îñòàíîâèìñÿ çäåñü òîëüêî íà íåôîðìàëüíîì îáúÿñíåíèè, áëèçêîì ê èäåå äîêàçàòåëüñòâà â ðàáîòå [6]. Ïóñòü âåùåñòâåííàÿ ôóíêöèÿ f (X ) âåùåñòâåííîãî àðãóìåíòà X  äâàæäû íåïðåðûâíî äèôôåðåíöèðóåìàÿ, îãðàíè÷åííàÿ, ñèëüíîâûïóêëàÿ, ò.å. èìååò åäèíñòâåííûé ìèíèìóì R â íåêîòîðîé òî÷êå  = (f (
)):

(X

)rf (X )  (X

ñ íåêîòîðîé ïîñòîÿííîé  > âûïîëíåíî óñëîâèå Ëèïøèöà:

0,

)2 ; 8X 2 R è äëÿ ãðàäèåíòà ôóíêöèè

krf (X ) rf ()k  AkX k; 8X;  2 R ñ íåêîòîðîé ïîñòîÿííîé A > . Âûáåðåì ïðîáíîå îäíîâðåìåííîå âîçìóùåíèå
n ïðèíèìàþùèì ñ ðàâíîé âåðîÿòíîñòüþ çíà÷åíèÿ ïëþñ/ìèíóñ åäèíèöà íåçàâèñèìî îò vn . 70

Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü îöåíîê f^n g, ôîðìèðóåìûõ ïî ðàíäîìèçèðîâàííîìó àëãîðèòìó ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ îäíèì èçìåðåíèåì. Îáîçíà÷èì Dn = (^n  )2 è, ó÷èòûâàÿ öåíòðèðîâàííîñòè
n è íåçàâèñèìîñòü
n îò vn , îöåíèì óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå:

EfDn j^i ; i < ng  Dn +

n ^ ( n n

1

n ^ ( n n

1

)Ef
nyn j^i ; i < ng+

2n Ef
2n yn2 j^i ; i < ng = Dn n2

1 2

n 2 1  )Ef
n f (n 1 + n
n )j^i ; i < ng+ 2 Efyn j^i ; i < ng: n Ðàçëîæèâ çíà÷åíèå ôóíêöèè f (^n 1 + n
n ) ïî ôîðìóëå Òåéëîðà, ïîëó÷èì

f (^n 1 + n
n) = f (^n 1 ) + n
n rf (^n 1) + n2 n ; ãäå n  íåêîòîðîå ÷èñëî ìåæäó ^n 1 è ^n 1 + n
n (âîîáùå ãîâîðÿ, n  ñëó÷àéíàÿ âåëè÷èíà). Ñ ó÷åòîì ïîñëåäíåé ôîðìóëû, ïðèíèìàÿ âî âíèìàíèå öåíòðèðîâàííîñòü
n , âûâîäèì: 



1 EfDn j^i ; i < ng  1+ n n Dn 2

1

n (^n

1

)rf (^n 1)+n ;

ãäå n = Efn n n2 =2 + 2n n 2 yn2 j^i ; i < ng. Îòñþäà, â ñèëó ñèëüíîé âûïóêëîñòè ôóíêöèè f (
), âèäíî, ÷òî ïîñëåäîâàòåëüíîñòü fDn g  ïî÷òè ñóïåðìàðòèíãàë:

EfDn j^i ; i < ng  (1 n )Dn

1 + n ;

ãäå n = n n n =2. Åñëè ïðåäïîëîæèòü, ÷òî äëÿ ÷èñëîâûõ ïîñëåäîâàòåëüíîñòåé fn g è f n g âûïîëíÿþòñÿ óñëîâèÿ X

n

n = 1; n ! 0;

X 2 n 2

n

n

< 1;

X

n

n n < 1; 71

òî âûïîëíåíû âñå óñëîâèÿ ëåììû Ï.1 ÐîááèíñàÑèãìóíäà î ñõîäèìîñòè ïî÷òè ñóïåðìàðòèíãàëîâ. Ñëåäîâàòåëüíî, ïîñëåäîâàòåëüíîñòü îöåíîê f^n g  ñèëüíîñîñòîÿòåëüíàÿ. Ïðè ýòîì äèñïåðñèÿ îøèáêè îöåíèâàíèÿ ïðÿìî ïðîïîðöèîíàëüíà 2n = n2 , ÷òî õóæå ñîîòâåòñòâóþùåãî çíà÷åíèÿ äèñïåðñèè îøèáêè â àëãîðèòìå ÐîááèíñàÌîíðî, åñëè ïîìåõè íåçàâèñèìûå è öåíòðèðîâàííûå2 .

4.5. Ïàññèâíàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ Ïóñòü Xn è Yn  çíà÷åíèÿ èç r -ìåðíîãî âåùåñòâåííîãî

ïðîñòðàíñòâà.  îñíîâíîé ôîðìå àëãîðèòìà ÐîááèíñàÌîíðî Yn = G(wn ; Xn )  íàáëþäàåìûå c ïîìåõîé wn â òî÷êàõ Xn çíà÷åíèÿ íåêîòîðîé âåêòîð-ôóíêöèè îò X . Ïîñëåäîâàòåëüíîñòü fXn g âûáèðàåòñÿ ýêñïåðèìåíòàòîðîì (àêòèâíûé ýêñïåðèìåíò). Öåëü çàêëþ÷àåòñÿ â íàõîæäåíèè òî÷êè  , â êîòîðîé çíà÷åíèå ôóíêöèè

g(X ) = Ew fG(w; X )g ðàâíî íóëþ.  íåêîòîðûõ ïðèëîæåíèÿõ çíà÷åíèÿ òî÷åê Xn , â êîòîðûõ ïðîèçâîäÿòñÿ íàáëþäåíèÿ, ãåíåðèðóþòñÿ èçâíå è íå ìîãóò áûòü âûáðàíû ýêñïåðèìåíòàòîðîì, êîòîðîìó íåîáõîäèìî íàéòè êîðåíü ôóíêöèè g (X ). Ðàññìîòðèì çàäà÷ó: ïî çàøóìëåííûì íàáëþäåíèÿì

Yn = g(Xn ) + wn çíà÷åíèé ôóíêöèè g (
) â çàäàâàåìûõ èçâíå òî÷êàõ fXn g (ïàññèâíûé ýêñïåðèìåíò) îïðåäåëèòü íåèçâåñòíûé êîðåíü  ôóíêöèè g (X ) (äëÿ ïðîñòîòû ïðåäïîëîæèì  åäèíñòâåííûé). Çäåñü fwng  ïîñëåäîâàòåëüíîñòü ïîìåõ (øóìîâ) è

G(w; X ) = g(X ) + w: 2

Òàêèì æå íåäîñòàòêîì îáëàäàåò è êëàññè÷åñêàÿ ïðîöåäóðà Êèôåðà Âîëüôîâèöà. 72

Äëÿ ðåøåíèÿ ýòîé çàäà÷è â [26] ïðåäëàãàåòñÿ âîñïîëüçîâàòüñÿ àëãîðèòìîì ïàññèâíîé ñòîõàñòè÷åñêîé àïïðîêñèìàöèè  ìåòîäîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè â êîìáèíàöèè ñ ïðîöåäóðîé íåïàðàìåòðè÷åñêîãî îöåíèâàíèÿ ñ íåêîòîðûì âåùåñòâåííî-çíà÷íûì ÿäðîì K (
):

^n = ^n

1

n n 1 K

X

n

^n

n

1



Yn;

ãäå n = 1; 2; : : : è ^0 = 0; à êîíñòàíòû n ïðåäñòàâëÿþò øèðèíó îêíà. ßäðî K (
) èãðàåò êðèòè÷åñêóþ ðîëü.  Åñëè òî÷êè  Xn è ^n 1 äàëåêè äðóã îò äðóãà, òî âåëè÷èíà K Xn ^n 1 î÷åíü n ìàëà, è òåêóùåå íàáëþäåíèå Yn îêàæåò ìàëîå âëèÿíèå íà èòåðàöèþ. Äëÿ öåëåé ðîáàñòíîñòè ÷èñëîâûå ïîñëåäîâàòåëüíîñòè n è n ìîæíî âûáðàòü ïîñòîÿííûìè. Ñêîðîñòü ñõîäèìîñòè ýòîãî àëãîðèòìà çàâèñèò îò ãëàäêîñòè èññëåäóåìîé ôóíêöèè è â îáùåì ñëó÷àå õóæå, ÷åì ó êëàññè÷åñêîé ïðîöåäóðû ÐîááèíñàÌîíðî.

4.6. Ìîäèôèêàöèè àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè  ýòîì ðàçäåëå îáñóæäàþòñÿ íåêîòîðûå ìîäèôèêàöèè àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, ìîòèâèðîâàííûå ïðàêòè÷åñêèìè ïðèëîæåíèÿìè.

Ìåòîä ïîíèæåíèÿ äèñïåðñèè. Îïèøåì â ñïåöèàëüíîì

ñëó÷àå ìåòîä, êîòîðûé â ñòàòèñòèêå íîñèò íàçâàíèå ïîñëîéíàÿ âûáîðêà [69]. Ïðåäïîëîæèì, ÷òî ìû îöåíèâàåì ñðåäíåå çíà÷åíèå íåêîòîðîé ÷àñòíîé õàðàêòåðèñòèêè ïîïóëÿöèè æèâîòíûõ  : ñêàæåì, âåñ. Ýòî ìîæíî ñäåëàòü ïî ñëó÷àéíîé âûáîðêå: ñëó÷àéíûì îáðàçîì áåðåì ýêçåìïëÿðû èíäèâèäóóìîâ, âçâåøèâàåì èõ è óñðåäíÿåì. Ïðåäñòàâèì ñåáå îñîáóþ ñèòóàöèþ, êîãäà ïîïóëÿöèþ ðàçáèëè íà äâå ãðóïïû îäèíàêîâîãî ðàçìåðà, âñå èíäèâèäóóìû â êàæäîé ãðóïïå èìåþò îäèíàêîâûé âåñ. Ïóñòü ýêñïåðèìåíòàòîð èìååò âîçìîæíîñòü âûáðàòü 73

ãðóïïó, èç êîòîðîé äåëàåòñÿ èíäèâèäóàëüíàÿ âûáîðêà. Òîãäà äëÿ ïîëó÷åíèÿ ñðåäíåãî çíà÷åíèÿ äîñòàòî÷íî âûáðàòü ïî îäíîìó ýêçåìïëÿðó èç êàæäîé ãðóïïû è óñðåäíèòü ðåçóëüòàò. Íåìíîãî îáîáùèì ñèòóàöèþ. Ïðåäïîëîæèì, ÷òî èññëåäóåìûå îáúåêòû ðàçäåëåíû íà äâå íåïåðåñåêàþùèåñÿ ãðóïïû, êîòîðûå îáîçíà÷èì L (ëåãêèå) è H (òÿæåëûå). Ïóñòü çàäàíî àïðèîðíîå ðàñïðåäåëåíèå îáúåêòîâ ïî êëàññàì, ò.å. çàäàíû âåðîÿòíîñòè PL , PH = 1 PL ïðèíàäëåæíîñòè ñîîòâåòñòâóþùèì êëàññàì è ñâÿçàííûå ñ íèìè, íî íåèçâåñòíûå ôóíêöèè ðàñïðåäåëåíèÿ GL (
; X ) è GH (
; X ) c íåèçâåñòíûìè ñðåäíèìè çíà÷åíèÿìè gL (X ); gH (X ), êîòîðûå ÿâëÿþòñÿ íåóáûâàþùèìè ôóíêöèÿìè. Äëÿ ïîñëåäîâàòåëüíîé îöåíêè ïàðàìåòðà, ñîîòâåòñòâóþùåãî çàäàííîé ñðåäíåé õàðàêòåðèñòèêå âñåãî ìíîæåñòâà, ìîæíî âîñïîëüçîâàòüñÿ ïðîöåäóðîé ÐîááèíñàÌîíðî äëÿ îáùåé ôóíêöèè ðàñïðåäåëåíèÿ G(
; X ) = PL GL (
; X ) + PH GH (
; X ), íî ëó÷øå èñïîëüçîâàòü àëãîðèòì ñ ñîçíàòåëüíûì âûáîðîì ãðóï2 ( ) ñîîòâåòñòâóþùèå ïû. Åñëè îáîçíà÷èòü ÷åðåç L2 ( ) è H óñëîâíûå äèñïåðñèè îøèáîê, òî ïðè áîëüøèõ n äèñïåðñèÿ îøèáîê äëÿ àëüòåðíàòèâíîãî àëãîðèòìà ïðèáëèçèòåëüíî ðàâíà PL L2 () + PH H2 (): Ýòà âåëè÷èíà íå ïðåâîñõîäèò çíà÷åíèÿ äèñïåðñèè îøèáîê äëÿ îðèãèíàëüíîé ïðîöåäóðû ñ âûáîðîì îáúåêòîâ ñëó÷àéíûì îáðàçîì èç âñåé ïîïóëÿöèè:

PL L2 () + PH H2 () + PL (gL () g())2 + PH (gH () g())2 : Òàêèì îáðàçîì, äèñïåðñèÿ îøèáêè ïðè àëüòåðíàòèâíîé ïðîöåäóðå âñåãäà íå õóæå äèñïåðñèè îøèáêè îðèãèíàëüíîãî àëãîðèòìà è ðàâíà åé òîëüêî â ñëó÷àå gL ( ) = gH ( ). Ïóñòü PH = 2=7. Âîçìîæíû íåñêîëüêî âàðèàíòîâ èçìåíåíèÿ îñíîâíîãî àëãîðèòìà äëÿ ïîíèæåíèÿ äèñïåðñèè. Íàïðèìåð, ìîæíî îðãàíèçîâàòü ðàáîòó ñ ãðóïïàìè ïî ñåìü èñïûòàíèé, èñïîëüçóÿ ñõåìó HHLLLLL, èëè ñ ãðóïïàìè ïî ÷åòûðå, 74

êîãäà ïåðâûå òðè âûáèðàþòñÿ ïî ñõåìå HLL, à ÷åòâåðòîå  ñëó÷àéíûì îáðàçîì èç âñåãî íàáîðà âàðèàíòîâ. Åñëè îäíà èç ôîðì àëãîðèòìà õîðîøî îáîñíîâàíà è ñõîäèòñÿ, òî è îñòàëüíûå ðàáîòîñïîñîáíû. Àëüòåðíàòèâíûé âûáîð ïîäïîïóëÿöèè äåìîíñòðèðóåò âàæíóþ îñîáåííîñòü â ïðèìåíåíèÿõ ïðîöåäóðû ÐîááèíñàÌîíðî, à â äåéñòâèòåëüíîñòè è âñåõ ïðèìåíåíèé ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Êà÷åñòâî ïîâåäåíèÿ àëãîðèòìà (ñêîðîñòü ñõîäèìîñòè è äèñïåðñèÿ ñðåäíåãî îòêëîíåíèÿ îöåíîê) î÷åíü ñèëüíî çàâèñèò îò óðîâíÿ ïîìåõ, è âñå óñèëèÿ, íàïðàâëåííûå íà åãî ïîíèæåíèå, ïîâûøàþò ýôôåêòèâíîñòü àëãîðèòìà.

Óñðåäíåíèå ïî èòåðàöèÿì: óñðåäíåíèÿ Ïîëÿêà. Åñëè óñòàíîâëåíà ñõîäèìîñòü îöåíîê ê æåëàåìîé òî÷êå  , òî ñòàíîâèòñÿ àêòóàëüíûì âîïðîñ î âîçìîæíîñòè óëó÷øåíèÿ ïðîöåññà ñõîäèìîñòè. Äëÿ ýòîãî â [36, 71] áûëî ïðåäëîæåíî ðàññìîòðåòü ïîñëåäîâàòåëüíîñòü óñðåäíåííûõ îöåíîê n X 1 ^ ; ~n = Nn i=n Nn +1 i ãäå fNn g  íåêîòîðàÿ ÷èñëîâàÿ ïîñëåäîâàòåëüíîñòü, ñòðåìÿùàÿñÿ ê áåñêîíå÷íîñòè, è n Nn  0. Òàêàÿ ïîïûòêà çàìåíû ìîæåò ëèáî óëó÷øèòü îöåíêè, ëèáî íåò, â çàâèñèìîñòè ïðåæäå âñåãî îò âûáîðà ÷èñëîâîé ïîñëåäîâàòåëüíîñòè âåëè÷èí ðàçìåðîâ øàãîâ àëãîðèòìà fn g. Ìîæíî ïîêàçàòü, ÷òî åñëè ïîðÿäîê óáûâàíèÿ n = O (1=n), òî àñèìïòîòè÷åñêîå ïîâåäåíèå îöåíîê f~n g íå ëó÷øå, ÷åì ó f^n g è ìîæåò áûòü õóæå â ñìûñëå ñðåäíåêâàäðàòè÷íîé ñêîðîñòè ñõîäèìîñòè.  [36, 71] ïîêàçàíî, ÷òî â òîì ñëó÷àå, êîãäà ïîðÿäîê óáûâàíèÿ n íèæå, ÷åì O(1=n), àëãîðèòì ñ óñðåäíåíèåì èñïîëüçîâàòü ïðåäïî÷òèòåëüíåå. Êîãäà èñïîëüçóþò àëãîðèòì ñ óñðåäíåíèåì, âåëè÷èíó ðàçìåðà øàãà n âûáèðàþò áîëüøå, ÷åì â ñîîòâåòñòâóþùåì îáû÷íîì àëãîðèòìå. Ýòî ïðèâîäèò ê ïåðåñêîêó âîêðóã  ïîñëåäîâàòåëüíîñòè îöåíîê f^n g. Óñðåäíåíèÿ êîìïåíñèðóþò ýòè 75

ïåðåñêîêè, è ïðè äîñòàòî÷íî îáùèõ óñëîâèÿõ ñêîðîñòü ñõîäèìîñòè îöåíîê f~n g ñîâïàäàåò ñ ìàêñèìàëüíî âîçìîæíîé ñêîðîñòüþ ñõîäèìîñòè äëÿ îöåíîê f^n g ïðè îïòèìàëüíîì âûáîðå ìàòðè÷íûõ êîýôôèöèåíòîâ àëãîðèòìà, ÷òî ñóùåñòâåííî îáëåã÷àåò ðåøåíèå ñëîæíîé ïðîáëåìû èõ îïðåäåëåíèÿ. Âàæíî çàìåòèòü, ÷òî ýòî ñâîéñòâî óíèâåðñàëüíî äëÿ âñåõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè.

Îãðàíè÷åíèÿ. Íà ïðàêòèêå äîïóñòèìûå çíà÷åíèÿ ïàðà-

ìåòðà  ÷àñòî ïðèíàäëåæàò íåêîòîðîìó íåèçìåííîìó ìíîæåñòâó , çàäàííîìó ÿâíî èëè íåÿâíî. Èíîãäà â ïðîöåññå îöåíèâàíèÿ èíôîðìàöèÿ îá ýòîì ìíîæåñòâå îáîãàùàåòñÿ, è åãî îïèñàíèå ìîæåò èçìåíÿòüñÿ. Íåñêîëüêî ñîîòâåòñòâóþùèõ ïðèìåðîâ áóäåò ïðèâåäåíî â ïîñëåäíåì ðàçäåëå. Åñëè êîìïîíåíòû âåêòîðà   ôèçè÷åñêèå èëè ýêîíîìè÷åñêèå âåëè÷èíû, òî åñòåñòâåííî ñ÷èòàòü èõ çàêëþ÷åííûìè â ãðàíèöû ìåæäó íèæíèì è âåðõíèì çíà÷åíèÿìè. Äàæå åñëè ôèçè÷åñêèé èëè ýêîíîìè÷åñêèé ñìûñë ïàðàìåòðîâ íå íàêëàäûâàåò àïðèîðíûõ îãðàíè÷åíèé íà èõ çíà÷åíèÿ, òî âñå ðàâíî åñòåñòâåííî ñ ïîäîçðåíèåì îòíîñèòüñÿ ê ïîëó÷àþùèìñÿ â ðåçóëüòàòå ðàáîòû àëãîðèòìà îòíîñèòåëüíî áîëüøèì çíà÷åíèÿì îöåíîê â ñðàâíåíèè ñ îæèäàâøèìèñÿ. Ïðîñòåéøàÿ íàèáîëåå ÷àñòî èñïîëüçóåìàÿ ìîäèôèêàöèÿ àëãîðèòìîâ çàêëþ÷àåòñÿ â óñå÷åíèè îöåíîê, êîãäà îíè ñòàíîâÿòñÿ ñëèøêîì áîëüøèìè èëè ñëèøêîì ìàëûìè. Ïðåäïîëîæèì, ÷òî çàäàíû êîíå÷íûå Ai < Bi ; i = 1; : : : ; r; òàêèå, ÷òî åñëè i-ÿ êîìïîíåíòà âåêòîðà ^n â àëãîðèòìå ïîëó÷àåòñÿ áîëüøå Bi (èëè ñîîòâåòñòâåííî  ìåíüøå Ai ), òî áåðåòñÿ ^n i = Bi (èëè ^n i = Ai ). Åñëè íàøà öåëü ñîñòîèò â ìèíèìèçàöèè íåêîòîðîé ôóíêöèè ïîòåðü f (
) ïðè óñëîâèè îáåñïå÷åíèÿ öåëåâîãî íåðàâåíñòâà

f ()  C0 ñ íåêîòîðûì ìàêñèìàëüíî äîïóñòèìûì óðîâíåì

C0 ,

òî äëÿ 76

ýòîãî ïðèìåðà çàäàäèì ìíîæåñòâî îãðàíè÷åíèé

 = f : Ai  i  Bi ; f () C0  0g: Îïðåäåëèì P (X )  îïåðàòîð ïðîåêòèðîâàíèÿ íà ìíîæåñòâî   êàê ðåçóëüòàò âûáîðà áëèæàéøåé ê X òî÷êè èç . Åñëè X 2 , òî P (X ) = X . Ïîäõîäÿùèé àëãîðèòì ñ îãðàíè÷åíèÿìè (èëè ñ ïðîåêöèåé) èìååò âèä

^n = P (^n

1

n Yn);

ãäå Yn  êàêàÿ-íèáóäü àïïðîêñèìàöèÿ âåêòîð-ãðàäèåíòà ôóíêöèè f (
) â òî÷êå ^n 1 .

Ðîáàñòíûå àëãîðèòìû. Ïðè ïðàêòè÷åñêîì èñïîëüçîâàíèè òîãî èëè èíîãî àëãîðèòìà âîçìîæíà ñèòóàöèÿ, êîãäà îïðåäåëåííûå íàáëþäåíèÿ ðåàëèçàöèè ñëó÷àéíîé âåëè÷èíû äàþò î÷åíü áîëüøèå çíà÷åíèÿ. Êàê ïðàâèëî, â ðåàëüíûõ ñèñòåìàõ ïðè áîëüøèõ çíà÷åíèÿõ ïàðàìåòðîâ ìàëîèçâåñòíû ìîäåëè äèíàìèêè èëè òðóäíî ÷òî-ëèáî ïðåäïîëîæèòü î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ.  òàêèõ ñèòóàöèÿõ ìîäåëü ÷àñòî îïðåäåëÿþò èç ñîîáðàæåíèé óäîáñòâà èñïîëüçîâàíèÿ èëè òðàäèöèé. Îäíàêî íåæåëàòåëüíî, ÷òîáû îäíî áîëüøîå ïî âåëè÷èíå íàáëþäåíèå ñóùåñòâåííî ñêàçàëîñü íà âû÷èñëåíèè òåêóùåé îöåíêè. Äëÿ ýòîãî íàäî èñïîëüçîâàòü áîëåå ðîáàñòíûå ïðîöåäóðû ïî àíàëîãèè ñ ïðîöåäóðàìè ðîáàñòíîãî ñòàòèñòè÷åñêîãî àíàëèçà. Îïèøåì îäèí èç âîçìîæíûõ ïîäõîäîâ. Ïóñòü i (
); i = 1; : : : ; r; îãðàíè÷åííûå âåùåñòâåííûå ôóíêöèè, çàäàííûå íà âåùåñòâåííîé îñè, íå óáûâàþùèå è óäîâëåòâîðÿþùèå óñëîâèÿì: i (0) = 0; i (u) = i ( u) è i (u)=u ! 0 ïðè u ! 1. Îäèí èç íàèáîëåå ÷àñòî èñïîëüçóåìûõ âàðèàíòîâ ôóíêöèé: i (u) = minfu; Ki g äëÿ u  0, ãäå Ki  çàäàííûå êîíñòàíòû.

77

Îáîçíà÷èì

0

x1 Bx2 C B C

1

0

@.A

@

B

X = B .. C ; (X ) = B B

1 1 (x1 ) 2 (x2 )C C .. C : . A

xr r (xr ) Ïóñòü, êàê è ðàíåå, Yn  êàêàÿ-íèáóäü àïïðîêñèìàöèÿ âåêòîðãðàäèåíòà ôóíêöèè ïîòåðü f (
) â òî÷êå ^n 1 . Àëãîðèòì ^n = ^n 1 n (Yn ) ÿâëÿåòñÿ ïîäõîäÿùåé ïðîöåäóðîé èç ðîáàñòíîé ñòàòèñòèêè. Åãî âàæíîå ïðåèìóùåñòâî ñîñòîèò â òîì, ÷òî îãðàíè÷åí ýôôåêò áîëüøèõ çíà÷åíèé â ïîìåõàõ íàáëþäåíèÿ. Äåéñòâèòåëüíî, åñëè ÷ðåçìåðíîå çíà÷åíèå ïîìåõè ðåàëèçîâàëîñü â íàáëþäåíèÿõ, òî ýòî íàáëþäåíèå áóäåò ïðîèãíîðèðîâàíî (â îòëè÷èå îò àëãîðèòìà c ïðîåêòèðîâàíèåì, ãäå ñðåçàåòñÿ çíà÷åíèå ïîëó÷àåìîé òåêóùåé îöåíêè). Åñëè àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè èñïîëüçóåòñÿ â ðåàëüíîé ñèñòåìå, à íå â ïðîöåññå êîìïüþòåðíîãî ìîäåëèðîâàíèÿ, è ïîÿâèëèñü íàáëþäåíèÿ ñ áîëüøèìè çíà÷åíèÿìè, òî, âîîáùå ãîâîðÿ, íàäî ïîñòàðàòüñÿ îïðåäåëèòü ôèçè÷åñêóþ ïðè÷èíó òàêîãî çíà÷åíèÿ, à íå îòêàçûâàòüñÿ îò ó÷åòà ýòîãî íàáëþäåíèÿ áåç âñÿêèõ âîïðîñîâ.  [32] èññëåäîâàëñÿ âîïðîñ î ñâÿçè êà÷åñòâà îöåíîê ñ âûáîðîì ôóíêöèè (
) â çàâèñèìîñòè îò âèäà ôóíêöèè ðàñïðåäåëåíèÿ ïîìåõè, åñëè èçâåñòíî, ÷òî Yn  ðåçóëüòàò èçìåðåíèÿ (èëè âû÷èñëåíèÿ) âåêòîð-ãðàäèåíòà ôóíêöèè ïîòåðü f (
) â òî÷êå ^n 1 , ïðîèçâåäåííîãî ñ àääèòèâíîé ïîìåõîé.  ÷àñòíîñòè, ïðè ïðåäïîëîæåíèè î òîì, ÷òî íåçàâèñèìûå öåíòðèðîâàííûå ïîìåõè èìåþò ïëîòíîñòü ðàñïðåäåëåíèÿ p(
), îáîñíîâûâàåòñÿ îïòèìàëüíûé âèä ôóíêöèè (
):

(Yn ) = r lnfp(Yn )g: Â [33] ïîõîæèé ñïîñîá âûáîðà ôóíêöèè (
) ïðåäëàãàåòñÿ êàê

îïòèìàëüíûé â íåêîòîðîì ìèíèìàêñíîì ñìûñëå äëÿ îïðåäåëåííîãî êëàññà àëãîðèòìîâ. 78

Âûïóêëàÿ íåäèôôåðåíöèðóåìàÿ îïòèìèçàöèÿ.

Ïóñòü f (
)  âåùåñòâåííàÿ âûïóêëàÿ ôóíêöèÿ âåêòîðíîãî àðãóìåíòà ðàçìåðíîñòüþ r . Âåêòîð g íàçûâàåòñÿ ñóáãðàäèåíòîì ôóíêöèè f (
) â òî÷êå  , åñëè

f ( + X ) f ()  gT X äëÿ âñåõ X 2 R r . Îáîçíà÷èì ÷åðåç @f (X ) ìíîæåñòâî ñóáãðàäèåíòîâ ôóíêöèè f (
) â òî÷êå X . Ýòî ìíîæåñòâî  çàìêíóòîå è âûïóêëîå. Ðàññìîòðèì çàäà÷ó ìèíèìèçàöèè ôóíêöèè f (
). Ïóñòü f^n g  ïîñëåäîâàòåëüíîñòü îöåíîê íåêîòîðîãî ìèíèìèçèðóþùåãî àëãîðèòìà. Ïðåäïîëîæèì, ÷òî äëÿ êàæäîãî ^n 1 íàáëþäàåòñÿ âåêòîð Yn = gn + wn , ãäå wn  ïîìåõè íàáëþäåíèÿ è gn 2 @f (^n 1 ). Â ýòîé ñèòóàöèè äëÿ ìèíèìèçàöèè ôóíêöèè f (
) â [14] ïðåäëàãàåòñÿ âîñïîëüçîâàòüñÿ àëãîðèòìîì ÐîááèíñàÌîíðî:

 n = n

1

n Yn = n

1

n (gn + wn ):

Åñëè f (
)  íåïðåðûâíî äèôôåðåíöèðóåìàÿ ôóíêöèÿ, òîãäà âåêòîð-ãðàäèåíò rf (X ) ÿâëÿåòñÿ åäèíñòâåííûì ýëåìåíòîì ìíîæåñòâà @f (X ), èíà÷å â àëãîðèòìå èñïîëüçóåòñÿ ñóáãðàäèåíò, âûáèðàåìûé íåêîòîðûì îáðàçîì èç ìíîæåñòâà @f (X ).

Îäíîñòîðîííÿÿ ñõîäèìîñòü.  íåêîòîðûõ ïðàêòè÷åñêèõ ïðèëîæåíèÿõ ïðè íàõîæäåíèè êîðíÿ íåèçâåñòíîé ôóíêöèè âàæíî ïîñòðîèòü òàêóþ ïîñëåäîâàòåëüíîñòü îöåíîê, êîòîðàÿ ñõîäèëàñü áû ê èñêîìîé òî÷êå ñ îäíîé ñòîðîíû. Íàïðèìåð, â áèîëîãè÷åñêèõ èñïûòàíèÿõ æèâîòíûì äàþò ôèêñèðîâàííûå äîçû Xn íåêîòîðîãî ïðåïàðàòà ñ öåëüþ îöåíêè èíòåíñèâíîñòè ðåàêöèè îïðåäåëåííîãî âèäà íà åãî ïðèåì. Äëÿ êàæäîãî èñïûòóåìîãî ìîæíî íàáëþäàòü òîëüêî äâà èñõîäà  ëèáî ãèáåëü: yn = 0, ëèáî âûæèâàíèå: yn = 1. Âñÿêîìó ïîäîïûòíîìó æèâîòíîìó ñîîòâåòñòâóåò íåêîòîðàÿ ìèíèìàëüíàÿ ëåòàëüíàÿ äîçà, ïðåâûøåíèå êîòîðîé âûçûâàåò ãèáåëü æèâîòíîãî. Ïðè ìåíüøåé äîçå æèâîòíîå âûæèâàåò. Ïóñòü G(w; X )  ôóíêöèÿ 79

ðàñïðåäåëåíèÿ èñõîäîâ èñïûòàíèé ñ äîçîé ïðåïàðàòà, ðàâíîé X , è g(X )  ñðåäíåå çíà÷åíèå èñõîäîâ ñîîòâåòñòâóþùèõ èñïûòàíèé. Ïðè çàäàííîì óðîâíå g òðåáóåòñÿ íàéòè ñîîòâåòñòâóþùóþ åìó äîçó  . Äëÿ ðåøåíèÿ çàäà÷è ìîæíî áûëî áû âîñïîëüçîâàòüñÿ îáûêíîâåííûì àëãîðèòìîì ÐîááèíñàÌîíðî, íî èç ýêîíîìè÷åñêèõ è ãóìàííûõ ñîîáðàæåíèé õî÷åòñÿ óìåíüøèòü êîëè÷åñòâî ñìåðòåëüíûõ èñõîäîâ èñïûòàíèé. Ýòî äîñòèãàåòñÿ çà ñ÷åò ìîäèôèêàöèè îñíîâíîé ïðîöåäóðû:

^n = ^n

1

n (g + n yn );

èñïîëüçóþùåé äîïîëíèòåëüíóþ ÷èñëîâóþ ïîñëåäîâàòåëüíîñòü f n g.  ðàáîòå Ò.Ï. Êðàñóëèíîé [20] îáîñíîâûâàåòñÿ äëÿ ëþáîãî ñêîëü óãîäíî ìàëîãî " ñïåöèàëüíûé ñïîñîá âûáîðà ïîñëåäîâàòåëüíîñòåé fn g è f n g, îáåñïå÷èâàþùèé c âåðîÿòíîñòüþ 1 " íåïðåâûøåíèå çàäàííîãî óðîâíÿ ñìåðòíîñòè g ïðè èñïîëüçîâàíèè îöåíîê f^n g.

4.7. Àëãîðèòìû ñëó÷àéíîãî ïîèñêà Àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè îòíîñÿòñÿ ê áîëåå øèðîêîìó êëàññó àëãîðèòìîâ ñëó÷àéíîãî ïîèñêà [12, 38, 39].  óïðîùåííîì âàðèàíòå ñóòü ìåòîäà ñëó÷àéíîãî ïîèñêà ïðèìåíèòåëüíî ê çàäà÷å î íàõîæäåíèè òî÷êè ìèíèìóìà  ôóíêöèè f (
) ñîñòîèò â ñëåäóþùåì. Çàäàåòñÿ ñëó÷àéíûì èëè äåòåðìèíèðîâàííûì ñïîñîáîì íà÷àëüíîå ïðèáëèæåíèå ^0 . Íà øàãå ñ íîìåðîì n âûáèðàåòñÿ ñëó÷àéíûì îáðàçîì
n  âåêòîð íàïðàâëåíèÿ èçìåíåíèÿ ïðåäûäóùåé îöåíêè ^n 1 . Îáû÷íî èñïîëüçóþòñÿ ñëó÷àéíûå âåêòîðû, ðàâíîìåðíî ðàñïðåäåëåííûå íà åäèíè÷íîé ñôåðå. Âû÷èñëÿåòñÿ çíà÷åíèå ôóíêöèè â òî÷êå ^n 1 +
n è ñðàâíèâàåòñÿ ñî çíà÷åíèåì f (^n 1 ). Î÷å-

80

ðåäíàÿ îöåíêà ôîðìèðóåòñÿ ïî ïðàâèëó (

^ +
n ; ^n = ^n 1 n 1

f (^n 1 +
n ) < f (^n 1 ); â ïðîòèâíîì ñëó÷àå:

åñëè

Äëÿ âû÷èñëåíèÿ î÷åðåäíîé îöåíêè ïî ýòîìó àëãîðèòìó ïðåäïîëàãàåòñÿ âîçìîæíîñòü òî÷íîãî âû÷èñëåíèÿ çíà÷åíèÿ ìèíèìèçèðóåìîé ôóíêöèè â çàäàâàåìûõ òî÷êàõ.  îáîáùàþùåé ôîðìå âèä ïîèñêîâûõ àëãîðèòìîâ äëÿ ìèíèìèçàöèè ôóíêöèîíàëîâ òèïà ñðåäíåãî ðèñêà è äëÿ ðåøåíèÿ ðÿäà äðóãèõ áëèçêèõ çàäà÷ ìîæåò áûòü îïèñàí òàê. Âûáèðàåì ñëó÷àéíûì èëè äåòåðìèíèðîâàííûì ñïîñîáîì íà÷àëüíîå ïðèáëèæåíèå ^0 . Íà n-ì øàãå òàêæå ñëó÷àéíûì èëè äåòåðìèíèðîâàííûì ñïîñîáîì âûáèðàþòñÿ l âåêòîðîâ
1n ;
2n ; : : : ;
ln è â l +1 òî÷êàõ ^n 1 ; ^n 1 + n
1n ; ^n 1 + n
2n ; : : : ; ^n 1 + n
ln âû÷èñëÿþòñÿ çíà÷åíèÿ øòðàôíîé ôóíêöèè F (
;
): yn;i = F (wni ; ^n 1 + n
in ) + vn;i ; ãäå i = 0; 1; : : : ; l;
0n = 0: Ïîñëå ýòèõ ïðåäâàðèòåëüíûõ âû÷èñëåíèé íîâóþ îöåíêó ^n ïîëó÷àåì ïî ïðàâèëó l X ^n = ^n 1 n n 1
in (yn;i yn;0): i=1 Îòëè÷èòåëüíàÿ îñîáåííîñòü ýòèõ àëãîðèòìîâ  âîçìîæíîñòü èñïîëüçîâàíèÿ ïðè îòñóòñòâèè àïðèîðíûõ æåñòêèõ îãðàíè÷åíèé íà òèï ôóíêöèè F (
;
).  ÷àñòíîñòè, îáû÷íî òðóäíî ïðîâåðÿåìûìè ÿâëÿþòñÿ óñëîâèÿ íåïðåðûâíîñòè è äèôôåðåíöèðóåìîñòè. Âî ìíîãèõ ïðàêòè÷åñêèõ ñëó÷àÿõ ýòèìè àëãîðèòìàìè ïîëüçóþòñÿ áåç ñòðîãîãî ìàòåìàòè÷åñêîãî îáîñíîâàíèÿ, óäîâëåòâîðÿÿñü ïîëó÷àåìûì êà÷åñòâîì îöåíèâàíèÿ, êîòîðîå äîñòàòî÷íî ÷àñòî óäàåòñÿ ïîâûñèòü çà ñ÷åò àäàïòàöèè (ïðèñïîñàáëèâàíèÿ) ïàðàìåòðîâ àëãîðèòìîâ ê êîíêðåòíîé ñèòóàöèè. Àäàïòàöèÿ âåëè÷èíû ðàáî÷åãî øàãà fn g ñâÿçàíà ñ äâóìÿ ïðîòèâîðå÷èâûìè ôàêòîðàìè: øàã äîëæåí áûòü äîñòàòî÷íî áîëüøèì â òî âðåìÿ, êîãäà òåêóùàÿ îöåíêà äàëåêà îò èñêîìîé, è íåîáõîäèìî åãî óìåíüøàòü ïî ìåðå ïðèáëèæåíèÿ ê 81

ïîëîæåíèþ ýêñòðåìóìà. Î÷åíü ïëîäîòâîðíîé îêàçûâàåòñÿ ñëåäóþùàÿ ýâðèñòèêà: íóæíî óìåíüøàòü n ïðè "íåóäà÷íîì" øàãå è óâåëè÷èâàòü ïðè "óäà÷íîì". Ïîìèìî ýòîãî âîçìîæíà àäàïòàöèÿ ïàðàìåòðîâ ðàñïðåäåëåíèé âåêòîðîâ f
in g â çàâèñèìîñòè îò ïîñòóïàþùåé íà êàæäîì øàãå ïîèñêà èíôîðìàöèè îá óñïåõå èëè íåóñïåõå òîãî èëè èíîãî ñëó÷àéíîãî øàãà.

5. Ýëåìåíòû òåîðèè îöåíèâàíèÿ  ðàìêàõ òåîðèè îöåíèâàíèÿ îñíîâíûì ÿâëÿåòñÿ âîïðîñ î ñîñòîÿòåëüíîñòè, ýôôåêòèâíîñòè è àñèìïòîòè÷åñêîé ýôôåêòèâíîñòè îöåíîê. Âàæíåéøèìè ìåòîäàìè ïîëó÷åíèÿ îöåíîê ÿâëÿþòñÿ ìåòîä ýìïèðè÷åñêîãî ôóíêöèîíàëà [4], áàéåñîâñêèé ïîäõîä è ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ [56].

5.1. Ìåòîä ýìïèðè÷åñêîãî ôóíêöèîíàëà Ðàññìîòðèì çàäà÷ó ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà

f (X ) = Ew fF (w; X )g =

Z

F (w; X )Pw (dw);

â êîòîðîì Pw (
)  ôóíêöèÿ ðàñïðåäåëåíèÿ, çàäàííàÿ íà íåêîòîðîì âåðîÿòíîñòíîì ïðîñòðàíñòâå ñîáûòèé. Âîçìîæíîñòü àíàëèòè÷åñêîãî ðåøåíèÿ ýòîé çàäà÷è ïðåäïîëàãàåò çíàíèå ðàñïðåäåëåíèÿ Pw (
). Âìåñòå ñ òåì, â ðÿäå ïðàêòè÷åñêèõ çàäà÷ ðàñïðåäåëåíèå Pw (
) íå èçâåñòíî, íî â ðàñïîðÿæåíèè ýêñïåðèìåíòàòîðà ìîæåò áûòü îïðåäåëÿåìàÿ èì íåçàâèñèìàÿ âûáîðêà w1 ; w2 ; : : : ; wN . Îäíèì èç åñòåñòâåííûõ ïîäõîäîâ ê çàäà÷å íàõîæäåíèÿ ìèíèìóìà ÿâëÿåòñÿ âîññòàíîâëåíèå ïî ýòîé âûáîðêå ðàñïðåäåëåíèÿ Pw (
), òî÷íåå  ïîñòðîåíèå ýìïèðè÷åñêîãî ôóíêöèîíàëà:

1 fN (X ) = N

N X k=1

F (wk ; X );

êîòîðûé ñîîòâåòñòâóåò âû÷èñëåíèþ ìåòîäîì ÌîíòåÊàðëî èíòåãðàëà, çàäàþùåãî èñõîäíûé ôóíêöèîíàë f (X ) [12]. Ïóñòü âåëè÷èíû F (wk ; X ); k = 1; 2; : : : ; N;  ñëó÷àéíûå, íåçàâèñèìûå, îäèíàêîâî ðàñïðåäåëåííûå è çàäàíî íåêîòîðîå ìíîæåñòâî , ñîäåðæàùåå X . Åñëè ïîäûíòåãðàëüíàÿ ôóíêöèÿ F (w; X ) 83

ðàâíîìåðíî îãðàíè÷åíà èëè óäîâëåòâîðÿåò áîëåå ñëàáîìó óñëîâèþ Z sup kF (w; X )k2 Pw (dw) < 1; X 2 òî â ñîîòâåòñòâèè ñ çàêîíîì áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3) ñ âåðîÿòíîñòüþ åäèíèöà è â ñðåäíåêâàäðàòè÷íîì ñìûñëå ïðè N ! 1 çíà÷åíèÿ ýìïèðè÷åñêîãî ôóíêöèîíàëà ñõîäÿòñÿ ê ñîîòâåòñòâóþùèì çíà÷åíèÿì èñõîäíîãî:

lim fN (X ) = f (X );

N !1

ïðè÷åì ñõîäèìîñòü â ñðåäíåêâàäðàòè÷íîì ñìûñëå èìååò ìåñòî ðàâíîìåðíî ïî X 2 . Îöåíêîé ìåòîäà ýìïèðè÷åñêîãî ôóíêöèîíàëà íàçûâàåòñÿ

^n = arg min fN (X ); X 2

ò.å. ëþáàÿ èç òî÷åê ìíîæåñòâà , ñîîòâåòñòâóþùàÿ íàèìåíüøåìó çíà÷åíèþ ôóíêöèîíàëà fN (X ). Ïðè ñäåëàííûõ ïðåäïîëîæåíèÿõ ïîñëåäîâàòåëüíîñòü îöåíîê f^n g â ñðåäíåêâàäðàòè÷íîì ñìûñëå è ñ âåðîÿòíîñòüþ åäèíèöà ñõîäèòñÿ ê ìíîæåñòâó òî÷åê , ìèíèìèçèðóþùèõ ôóíêöèîíàë f (X ).  ÷àñòíîñòè, åñëè ìíîæåñòâî  ñîñòîèò âñåãî èç îäíîé òî÷êè, òî ïîñëåäîâàòåëüíîñòü f^n g  ñîñòîÿòåëüíàÿ.  çàäà÷àõ èäåíòèôèêàöèè äèíàìè÷åñêèõ îáúåêòîâ è àäàïòèâíîãî óïðàâëåíèÿ ïîÿâëÿþòñÿ áîëåå ñëîæíûå ýìïèðè÷åñêèå ôóíêöèîíàëû âèäà

fN (X ) =

1 N

N X k=1

F (k; wk ; X );

ãäå øòðàôíàÿ ôóíêöèÿ F (
;
;
) çàâèñèò ÿâíî îò âðåìåíè, à ñëó÷àéíûå âåëè÷èíû fwk g íå ÿâëÿþòñÿ íåçàâèñèìûìè.

84

5.2. Áàéåñîâñêèå îöåíêè Ìàðêîâñêèå îöåíêè è îöåíêè ÌHÊ îáëàäàþò òåì ïðåèìóùåñòâîì, ÷òî íå òðåáóþò çíàíèÿ çíà÷èòåëüíîé àïðèîðíîé èíôîðìàöèè. Íî åñëè èìååòñÿ àïðèîðíàÿ èíôîðìàöèÿ î âîçìîæíûõ çíà÷åíèÿõ îöåíèâàåìûõ ïàðàìåòðîâ, òî èíòóèòèâíî ïîíÿòíî, ÷òî ó÷åò ýòîé èíôîðìàöèè ìîæåò ïîçâîëèòü óëó÷øèòü îöåíêó. Ïðè èñïîëüçîâàíèè ðåêóððåíòíûõ ìîäèôèêàöèé ÌHÊ ìîæíî â íàñòðàèâàåìûõ ìîäåëÿõ óñòàíàâëèâàòü íà÷àëüíûå çíà÷åíèÿ ïàðàìåòðîâ â ñîîòâåòñòâèè ñ àïðèîðíûìè çíàíèÿìè è ïðåäïîëîæåíèÿìè. Ïðè ýòîì, îäíàêî, íå óäàåòñÿ äîñòàòî÷íî ïðîñòî ââåñòè â ñõåìó îöåíèâàíèÿ ñòåïåíü äîñòîâåðíîñòè ýòèõ äàííûõ.  òàêîé ñèòóàöèè îêàçûâàåòñÿ ïîëåçíûì áàéåñîâñêèé ïîäõîä ê çàäà÷å îöåíèâàíèÿ. Ñóùåñòâåííûì ìîìåíòîì áàéåñîâñêîé ïðîöåäóðû îöåíèâàíèÿ ïàðàìåòðîâ ÿâëÿåòñÿ îïðåäåëåíèå àïîñòåðèîðíîé ïëîòíîñòè p( jY ) óñëîâíîãî ðàñïðåäåëåíèÿ ïàðàìåòðà  îòíîñèòåëüíî íàáëþäåíèé Y , âû÷èñëÿåìîé îáû÷íî ïî ôîðìóëå îáðàòíîé âåðîÿòíîñòè (ôîðìóëå Áàéåñà):

p(jY ) = p(Y j)

p() : p(Y )

 p( jY ) çàêëþ÷åíà âñÿ èíôîðìàöèÿ, ïðåäñòàâëÿþùàÿ èíòåðåñ äëÿ ýêñïåðèìåíòàòîðà. Çíàÿ ôóíêöèþ p( jY ), ìîæíî ïî òåì èëè èíûì ïðèçíàêàì ïðèíÿòü ðåøåíèå, êàêóþ îöåíêó ïàðàìåòðà  ñ÷èòàòü íàèëó÷øåé. Ïðåäñòàâëåíèå àïîñòåðèîðíîé ïëîòíîñòè â óäîáíîì äëÿ ïðèíÿòèÿ ðåøåíèé âèäå  äåëî íåïðîñòîå. Îáû÷íî íàèëó÷øàÿ îöåíêà îïðåäåëÿåòñÿ âûáîðîì ôóíêöèè øòðàôà, êîòîðûé áîëåå èëè ìåíåå ïðîèçâîëåí, è òîëüêî â ðåäêèõ ñëó÷àÿõ äèêòóåòñÿ ñàìîé ïîñòàíîâêîé çàäà÷è. Ïóñòü  2  è Q(X;  )  íåêîòîðàÿ ôóíêöèÿ øòðàôà (ïîòåðü ïðè îøèáî÷íîì âûáîðå âåêòîðà X âìåñòî  ), îïðåäåëåííàÿ íà ìíîæåñòâå   . Áàéåñîâñêàÿ îöåíêà ^ = ^(Y ) êàê ôóíêöèÿ ïðîèçâåäåííûõ íàáëþäåíèé Y âûáèðàåòñÿ èç 85

óñëîâèÿ ìèíèìèçàöèè ôóíêöèîíàëà óñëîâíîãî ñðåäíåãî ðèñêà:

f (X ) =

Z



Q(X; )p(jY )d:

Hà ïðàêòèêå ÷àùå âñåãî ðàññìàòðèâàåòñÿ îäíà èç ñëåäóþùèõ òðåõ ôóíêöèé øòðàôà: 1. Êâàäðàòè÷íàÿ ôóíêöèÿ:

Q(X; ) = (X

)T R(X

)

ñ ïîëîæèòåëüíî îïðåäåëåííîé ñèììåòðè÷íîé âåñîâîé ìàòðèöåé R.  ýòîì ñëó÷àå íàèëó÷øàÿ îöåíêà ïðåäñòàâëÿåò ñîáîé óñëîâíîå ñðåäíåå: Z

^(Y ) =

p(jY )d:

 2. Àáñîëþòíàÿ âåëè÷èíà îòêëîíåíèÿ:

Q(X; ) = kX

 k: Ñîîòâåòñòâóþùàÿ íàèëó÷øàÿ îöåíêà ^(Y ) ÿâëÿåòñÿ ìåäèàíîé ïëîòíîñòè p( jY ), ò.å. óäîâëåòâîðÿåò óñëîâèþ Z ^  p(jY )d = 0:  k^  k 3. Hàèáîëåå âåðîÿòíîå çíà÷åíèå:

Q(X; ) = Æ(X çäåñü

 );

Æ(
)  äåëüòàôóíêöèÿ Äèðàêà. Íàèëó÷øàÿ îöåíêà ^(Y ) = arg max p(jY ) 

ÿâëÿåòñÿ ìîäîé óñëîâíîãî ðàñïðåäåëåíèÿ. Åñëè ïðåäïîëîæèòü, ÷òî àïîñòåðèîðíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ p( jY ) ñèììåòðè÷íà îòíîñèòåëüíî íåêîòîðîé òî÷êè ~ = ~(Y ), ò.å.

p(~(Y ) + X jY ) = p(~(Y ) X jY ) 86

äëÿ ïðîèçâîëüíîãî âåêòîðà X , òî âñå ýòè òðè îöåíêè ñîâïàäàþò ñ ~(Y ). Áîëåå òîãî (ñì. [45, ëåììó 1.4.1]), îïòèìàëüíûå îöåíêè ïðè ñèììåòðè÷íîé àïîñòåðèîðíîé ïëîòíîñòè ñîâïàäàþò ñ òî÷êîé ñèììåòðèè äëÿ âñåõ ôóíêöèé øòðàôà âèäà Q(X; ) = q(X ), ãäå q(
)  ñèììåòðè÷íûå îòíîñèòåëüíî íóëÿ âûïóêëûå äèôôåðåíöèðóåìûå ôóíêöèè. Ýòîò ôàêò âàæåí äëÿ ïðèëîæåíèé, òàê êàê èçáàâëÿåò îò íåîáõîäèìîñòè îáîñíîâûâàòü âûáîð ôóíêöèè øòðàôà. Ðàññìîòðèì äëÿ ïðèìåðà çàäà÷ó îá îöåíèâàíèè âåêòîðíîãî ïàðàìåòðà  ëèíåéíîé ðåãðåññèè ïî íàáëþäåíèÿì âåëè÷èíû

Y = T  + V: Ïðåäïîëîæèì, ÷òî ñëó÷àéíûå âåëè÷èíû  è V  ñòîõàñòè÷åñêè íåçàâèñèìûå ãàóññîâñêèå ñ íîðìàëüíûìè çàêîíàìè ðàñïðåäåëåíèÿ N (M ; B ) è N (0; Bv ) ñîîòâåòñòâåííî. Ïðè ýòîì áóäåì ñ÷èòàòü èçâåñòíîé ìàòðèöó . Ïëîòíîñòü ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû  , îòâå÷àþùàÿ çàêîíó N (M ; B ), íàçûâàåòñÿ àïðèîðíîé (äîîïûòíîé), ïëîòíîñòü ðàñïðåäåëåíèÿ p(jY )  àïîñòåðèîðíîé. Èç óñëîâèé çàäà÷è ñëåäóåò, ÷òî ñëó÷àéíàÿ âåëè÷èíà Y ÿâëÿåòñÿ ãàóññîâñêîé ñëó÷àéíîé âåëè÷èíîé ñ ïàðàìåòðàìè

N (TM ; TB  + Bv ); ïðè÷åì óñëîâíàÿ ïëîòíîñòü p(Y j )  ãàóññîâñêàÿ ñ ïàðàìåòðàìè

EfY jg = T; cov(Y Y T j) = Ef(Y T )(Y T )T jg = Bv ; ò.å. p(Y j ) = pv (Y T  ), ãäå pv (
)  ïëîòíîñòü ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû V . Ñîãëàñíî ôîðìóëå Áàéåñà èìååì

p(jY ) = pv (Y

T )

p() p(Y ) 87

è, ñëåäîâàòåëüíî,

Q(X; ) = kX

äëÿ êâàäðàòè÷íîé

ôóíêöèè

øòðàôîâ

k2 ïîëó÷àåì îöåíêó R p()pv (Y T)d ^(Y ) =  p(Y ) êàê ôóíêöèþ íàáëþäåíèé Y . Âû÷èñëåíèå ïî ïîñëåäíåé ôîðìóëå äîñòàòî÷íî çàòðóäíèòåëüíî. Äðóãîé, áîëåå ïðîñòîé, ñïîñîá çàêëþ÷àåòñÿ â íàõîæäåíèè òî÷êè ñèììåòðèè ïëîòíîñòè ðàñïðåäåëåíèÿ p( jY ). Äëÿ ýòîãî ìîæíî âûäåëèòü ïîëíûé êâàäðàò ïî  â âûðàæåíèè äëÿ ïîêàçàòåëÿ ýêñïîíåíòû ôóíêöèè p( jY ). Íåñëîæíûå âû÷èñëåíèÿ ïðèâîäÿò ê ôîðìóëå ^(Y ) = (B 1 + Bv 1 T ) 1 (B 1 M + Bv 1 Y ):

Ïðèìåð. Ïðèìåíèì ïîëó÷åííûé ðåçóëüòàò ê çàäà÷å èç ðàçä. 1.1 îá îöåíèâàíèè âåëè÷èíû ïîñòîÿííîãî ñèãíàëà ñ íàáëþäåíèÿìè yn =  + vn ïðè n = 1; 2; : : : ; N; ïðåäïîëàãàÿ, ÷òî  è ïîìåõè fvn g  ñêàëÿðíûå ãàóññîâñêèå ñëó÷àéíûå âåëè÷èíû ñ ïàðàìåòðàìè 2 N (M ;  ) è N (0; v2 ) ñîîòâåòñòâåííî:  > 0; v > 0. Îáîçíà÷èâ 0

1

y1 B y2 C B C

Y =B

. C; @ .. A

yN

0

1

v1 B v2 C B C

 = (1; 1; : : : ; 1); V = B

. C; @ .. A

vN

äëÿ áàéåñîâñêîé îöåíêè ïîëó÷èì âûðàæåíèå

!

N X 1 2M +  2 ^(Y ) = 2  y :  + Nv 2   v k=1 k

Ïðè N ! 1 îïòèìàëüíàÿ (áàéåñîâñêàÿ) îöåíêà ñîâïàäàåò ñ ïîëó÷åííîé ðàíåå ñðåäíåàðèôìåòè÷åñêîé. Ïðè êîíå÷íûõ n îöåíêà çàâèñèò îò àïðèîðíûõ äàííûõ M è  . 88

5.3. Ìåòîä ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ

Åñëè àïîñòåðèîðíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ p( jY ) ñèììåòðè÷íà îòíîñèòåëüíî íåêîòîðîé òî÷êè ~ = ~(Y ), òî, êàê óæå óïîìèíàëîñü, äëÿ âñåõ ôóíêöèé øòðàôà âèäà Q(X;  ) = q(X ) (q(
)  ñèììåòðè÷íûå îòíîñèòåëüíî íóëÿ âûïóêëûå äèôôåðåíöèðóåìûå ôóíêöèè) îïòèìàëüíûå îöåíêè ñîâïàäàþò ñ ~(Y ). Äðóãèìè ñëîâàìè, îïòèìàëüíàÿ îöåíêà íå çàâèñèò îò òî÷íîãî âèäà ôóíêöèè øòðàôà è àïîñòåðèîðíîé ïëîòíîñòè. Äëÿ ìíîãèõ âñòðå÷àþùèõñÿ â ïðèëîæåíèÿõ ðàñïðåäåëåíèé òî÷êà ñèììåòðèè ~(Y ) ÿâëÿåòñÿ îäíîâðåìåííî è òî÷êîé ìàêñèìóìà àïîñòåðèîðíîé ïëîòíîñòè p( jY ). Ýòîò ôàêò óêàçûâàåò íà äîñòàòî÷íî óíèâåðñàëüíûé ñïîñîá íàõîæäåíèÿ îïòèìàëüíûõ îöåíîê, à èìåííî: èç óñëîâèÿ ìàêñèìèçàöèè àïîñòåðèîðíîé ïëîòíîñòè âåðîÿòíîñòè îöåíèâàåìûõ ïàðàìåòðîâ

^(Y ) = arg max p(jY ):

 Â ñèëó ôîðìóëû Áàéåñà ñîîòíîøåíèå

p(^(Y )jY ) = max p(jY ) ýêâèâàëåíòíî ñëåäóþùåìó:



p(Y j^(Y ))p(^(Y )) = max p(Y j)p(); 

â êîòîðîì p( )  àïðèîðíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ ïàðàìåòðà  è p(Y j )  óñëîâíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû Y . Ïðè äîñòàòî÷íî âûñîêîé èíôîðìàòèâíîñòè äàííûõ íàáëþäåíèÿ Y è îòñóòñòâèè êàêèõ-ëèáî ñïåöèôè÷åñêèõ îãðàíè÷åíèé íà âçàèìîñâÿçü êîìïîíåíò âåêòîðà  àïðèîðíàÿ ñòàòèñòèêà p( ) ñëàáî âëèÿåò íà ñòðóêòóðó è âèä îïòèìàëüíîãî ðåøåíèÿ. Ïîýòîìó ïîñëåäíåå ñîîòíîøåíèå ìîæíî çàìåíèòü íà áîëåå ïðîñòîå äëÿ ïðèáëèæåííîãî îïðåäåëåíèÿ îïòèìàëüíîé îöåíêè

p(Y j(Y )) = max p(Y j): 

89

Èíòóèòèâíîå îáîñíîâàíèå ðàçóìíîñòè ïîëó÷åíèÿ îöåíîê èç ïîñëåäíåãî ñîîòíîøåíèÿ ñîñòîèò â òîì, ÷òî â êà÷åñòâå îöåíêè âûáèðàåòñÿ òî çíà÷åíèå ïàðàìåòðà, äëÿ êîòîðîãî ïîÿâëåíèå âûáîðêè Y ìîæåò ïðîèçîéòè ñ íàèáîëüøåé âåðîÿòíîñòüþ. Ôóíêöèÿ L(Y;  ) = p(Y j ) íàçûâàåòñÿ ôóíêöèåé ïðàâäîïîäîáèÿ è èãðàåò âàæíóþ ðîëü â ðàçëè÷íûõ ðàçäåëàõ ìàòåìàòè÷åñêîé ñòàòèñòêè. Ïðè ãëàäêîé çàâèñèìîñòè ôóíêöèè L(Y;
) îò  ìîæíî çàïèñàòü îäíî èç íåîáõîäèìûõ óñëîâèé âûïîëíåíèÿ ïîñëåäíåãî ñîîòíîøåíèÿ:

r ln L(Y; ) = 0: Ðåøåíèÿ ýòîãî óðàâíåíèÿ íàçûâàþò îöåíêàìè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. Ñàì ìåòîä ïîëó÷åíèÿ òàêèõ îöåíîê ïîëó÷èë íàçâàíèå ìåòîä ìàêñèìàëüíîãî (ìàêñèìóìà) ïðàâäîïîäîáèÿ (ÌÌÏ). Ðàññìîòðèì ñëó÷àé íåçàâèñèìûõ íàáëþäåíèé y1 ; y2 ; : : : ; yN , êàæäîå èç êîòîðûõ îïðåäåëÿåòñÿ óñëîâíîé ïëîòíîñòüþ p(y j ), çàâèñÿùåé îò ïàðàìåòðà  . Ïóñòü Y  èõ ñîâîêóïíîñòü. Òîãäà

L(Y; ) =

N Y k=1

p(yk j):

Ñ âû÷èñëèòåëüíîé òî÷êè çðåíèÿ óäîáíåå èñêàòü òî÷êó ìàêñèìóìà ó ôóíêöèè ln L(Y; X ). Åå âûáîðî÷íîå ñðåäíåå

LN (X ) =

1 N

N X k=1

ln p(yk jX )

ÿâëÿåòñÿ îöåíêîé âåëè÷èíû

f (X ) = Efln p(yjX )jY g: Ïðè äîñòàòî÷íî îáùèõ óñëîâèÿõ (ñì. çàêîí áîëüøèõ ÷èñåë, ðàçä. Ï.1.3) âûïîëíÿåòñÿ ðàâåíñòâî

lim LN (X ) = Efln p(yjX )jY g =

N !1

Z

ln p(yjX )p(yj)dy: 90

Áîëåå òî÷íî: ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ ìîæíî â ñëó÷àå íåçàâèñèìûõ íàáëþäåíèé ðàññìàòðèâàòü êàê ñïåöèàëüíûé âàðèàíò ìåòîäà ýìïèðè÷åñêîãî ôóíêöèîíàëà äëÿ ñðåäíåãî ðèñêà f (X ); â êîòîðîì ðîëü ýìïèðè÷åñêîãî ôóíêöèîíàëà èãðàåò ôóíêöèÿ LN (X ): Åñëè ïëîòíîñòü p(y j ) óäîâëåòâîðÿåò óñëîâèþ Z [ln p(yjX )]2 p(yj)dy < 1 è ôóíêöèîíàë f (X ) èìååò åäèíñòâåííûé ìèíèìóì, òî ïîñëåäîâàòåëüíîñòü îöåíîê ÌÌÏ f^n g, ìèíèìèçèðóþùèõ ñîîòâåòñòâóþùèå ôóíêöèè LN (X ),  ñîñòîÿòåëüíàÿ. Èñòèííîå çíà÷åíèå  äîñòàâëÿåò ìèíèìóì ôóíêöèîíàëà ñðåäíåãî ðèñêà, òàê êàê â ñèëó âûïóêëîñòè ëîãàðèôìè÷åñêîé ôóíêöèè è íåðàâåíñòâà Èåíñåíà (ñì. ðàçä. Ï.1.2) äëÿ ëþáîãî X èìååì 

p(yjX ) jY f (X ) f () = E ln p(yj) = ln

Z









p(yjX ) ln E jY = p(yj)

p(yj)dy = 0:

Ðàâåíñòâî çäåñü äîñòèãàåòñÿ òîëüêî â òåõ ñëó÷àÿõ, êîãäà

p(yjX ) = p(yj) äëÿ ïî÷òè âñåõ y . Ïðèâåäåííûå ñîîáðàæåíèÿ ïîäñêàçûâàþò ïóòü èññëåäîâàíèÿ ñâîéñòâ îöåíîê ÌÌÏ â áîëåå îáùåì ñëó÷àå. Äåéñòâèòåëüíî, åñëè ôóíêöèîíàë f (X ) äèôôåðåíöèðóåì, òî èñòèííîå çíà÷åíèå ïàðàìåòðà  äîëæíî íàõîäèòüñÿ ñðåäè ðåøåíèé óðàâíåíèÿ ðåãðåññèè Z

rx[ln p(yjX )]p(yj)dy = 0:

Äëÿ åãî ðåøåíèÿ ìîæíî âîñïîëüçîâàòüñÿ, íàïðèìåð, ïðîöåäóðîé ÐîááèíñàÌîíðî

^n = ^n

1

n r lnfp(yn j^n 1 )g; 91

ãäå n  ïîäõîäÿùèì îáðàçîì âûáèðàåìàÿ ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ÷èñåë è yn  ñëó÷àéíûå âåëè÷èíû ñ ïëîòíîñòüþ ðàñïðåäåëåíèÿ p(y j ). Ïðèìåð. Âåðíåìñÿ ê çàäà÷å îá îöåíèâàíèè âåëè÷èíû ïîñòîÿííîãî ñêàëÿðíîãî ñèãíàëà, íàáëþäàåìîãî íà ôîíå íåçàâèñèìûõ öåíòðèðîâàííûõ ïîìåõ  ðàçä. 1.1, â êîòîðîì óæå ðàññìàòðèâàëèñü îöåíêè ìåòîäà ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ â ñëó÷àå ãàóññîâñêèõ ïîìåõ. Êàêîâ âèä îöåíîê ïðè äðóãèõ ðàñïðåäåëåíèÿõ ïîìåõ? Åñëè ïîìåõè ðàñïðåäåëåíû ðàâíîìåðíî íà ñèììåòðè÷íîì èíòåðâàëå [ 1=2; 1=2], òî ôóíêöèÿ ïðàâäîïîäîáèÿ èìååò âèä

L(Y; X ) =

N Y k=1

p(yk jX ) =

N Y k=1

1fX 2[yk

1 2

;yk + 12 ]g

è â êà÷åñòâå îöåíêè ìåòîäà ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ìîæíî âûáðàòü ëþáîå ÷èñëî èç èíòåðâàëà h

^ 2 maxfy1 ; y2 ; : : : ; yN g

1 1i ; minfy1 ; y2 ; : : : ; yN g + : 2 2

Åñëè ðàñïðåäåëåíèå ïîìåõ ïîä÷èíÿåòñÿ çàêîíó ðàñïðåäåëåíèÿ Ëàïëàñà, òî

L(Y; X ) =

1 2N

N Y k=1

e jyk

Xj

è ëîãàðèôì ôóíêöèè ïðàâäîïîäîáèÿ ñ ìèíóñîì ðàâåí

ln L(Y; X ) = N ln 2 +

N X k=1

jyk X j:

Ýòó ôóíêöèþ ìàêñèìèçèðóåò îöåíêà, ðàâíàÿ ìåäèàíå ìíîæåñòâà íàáëþäåíèé. Íå óìàëÿÿ îáùíîñòè ìîæíî ñ÷èòàòü, ÷òî ïîñëåäîâàòåëüíîñòü íàáëþäåíèé óïîðÿäî÷åíà:

y1  y2  : : :  yN : 92

 ðàññìàòðèâàåìîì ñëó÷àå îöåíêîé ìåòîäà ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ÿâëÿåòñÿ

^ = yk+1;

åñëè

N = 2k + 1;

è ëþáîå ÷èñëî èç èíòåðâàëà

^ 2 [yk ; yk+1 ];

åñëèN

= 2k:

5.4. Äîñòèæèìàÿ òî÷íîñòü îöåíèâàíèÿ Ðàññìîòðèì îäèí èç âîçìîæíûõ ñïîñîáîâ îïðåäåëåíèÿ êà÷åñòâà îöåíèâàíèÿ ïî ìåòîäó ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ â òåðìèíàõ äèñïåðñèè è êîâàðèàöèîííûõ ìàòðèö. Ïóñòü L(Y;  )  ôóíêöèÿ ïðàâäîïîäîáèÿ, äîñòàòî÷íî ãëàäêàÿ ïî  , ïðè÷åì Z

Ñëåäîâàòåëüíî, èëè

Z

Z

L(Y; )dY = 1:

r L(Y; )dY  0

(r [ln L(Y; )])T L(Y; )dY = Efr ln Lg  0:

Ïðîäèôôåðåíöèðîâàâ åùå ðàç ïî  , ìîæíî ïîëó÷èòü ìàòðè÷íîå òîæäåñòâî: Z

(r [(r ln L)T ]L + (r ln L)(r ln L)T L)dY

 0;

èç êîòîðîãî ñëåäóåò

EY fr [(r ln L)T ]g = EY f(r ln L)(r ln L)T g: 93

Ïóñòü ^ = ^(Y )  íåêîòîðàÿ îöåíêà âåêòîðà  . Îáîçíà÷èì ÷åðåç d( ) âîçìîæíîå ñìåùåíèå îöåíêè:

EY f^g =

Z

^(Y )L(Y; )dY =  + d():

Ïðîäèôôåðåíöèðîâàâ ïîñëåäíþþ ôîðìóëó, ìîæíî âûâåñòè, ÷òî Z

^(Y )[r ln L(Y; )]T L(Y; )dY = I + r[d()]T

ñ ìàòðèöåé r[d( )]T , ñîñòàâëåííîé èç ãðàäèåíòîâ êîìïîíåíò âåêòîð-ñòðîêè d( )T . Ñ ó÷åòîì ïðåäûäóùèõ ñîîòíîøåíèé â èòîãå ïîëó÷àåì Z

(^(Y ) EY f^g)[r ln L]T LdY = I + r[d()]T :

Îïðåäåëèì èíôîðìàöèîííóþ ìàòðèöó Ôèøåðà

A() = EY f(r ln L)(r ln L)T g = EY fr [(r ln L)T ]g: Ïðèâåäåííûå ðàññóæäåíèÿ ôàêòè÷åñêè äîêàçûâàþò ñëåäóþùåå âàæíîå óòâåðæäåíèå î äîñòèæèìîé òî÷íîñòè îöåíèâàíèÿ: Òåîðåìà. Åñëè ôóíêöèÿ ïðàâäîïîäîáèÿ L(Y; ) òàêîâà, ÷òî ñóùåñòâóåò èíôîðìàöèîííàÿ ìàòðèöà Ôèøåðà A( ) è îíà îáðàòèìà, òîãäà äëÿ ìàòðèöû êîâàðèàöèé ëþáîé îöåíêè ^ = ^(Y ) âåêòîðà  ñïðàâåäëèâî íåðàâåíñòâî Êðàìåðà-Ðàî: n

E (^(Y ) EY f^g)(^(Y ) EY f^g)T

o





T

 I + r[d()]T )A 1 ()(I + r[d()]T :  ÷àñòíîñòè, äëÿ íåñìåùåííîé îöåíêè ^ = d() = 0) äèñïåðñèÿ óäîâëåòâîðÿåò íåðàâåíñòâó

^(Y )

(ïðè

EY fk^(Y ) k2 g  Tr[A 1 ()]: 94

Íåñìåùåííàÿ îöåíêà ^ = ^(Y ) íàçûâàåòñÿ ýôôåêòèâíîé, åñëè íåðàâåíñòâî ÊðàìåðàÐàî äëÿ íåå ïðåâðàùàåòñÿ â ðàâåíñòâî. Ýòî èìååò ìåñòî òîëüêî ïðè âûïîëíåíèè ñîîòíîøåíèÿ

r ln L(Y; ) = ()(^(Y ) ) ñ íåêîòîðîé ñêàëÿðíîé ôóíêöèåé ( ), íå çàâèñÿùåé îò y .  òîì ñëó÷àå, êîãäà âåêòîð íàáëþäåíèé Y ñîñòîèò èç çíà÷åíèé íåçàâèñèìûõ è îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí y1 ; y2 ; : : : ; yN ñ ïëîòíîñòüþ ðàñïðåäåëåíèÿ py (
j ), èíôîðìàöèîííàÿ ìàòðèöà Ôèøåðà èìååò âèä AN () = N EY fr [r ln py (yj)]T g = N A1 (): Åñëè ìàòðèöà A1 1 ( ) îáðàòèìà, òî äëÿ êîððåëÿöèîííîé ìàòðèöû ýôôåêòèâíîé îöåíêè ìîæíî ïîëó÷èòü àñèìïòîòè÷åñêóþ ôîðìóëó ïðè N ! 1

EY f(^N

)(^N

)Tg =

1 1 A (); N 1

èç êîòîðîé ñëåäóåò ñîñòîÿòåëüíîñòü ïîñëåäîâàòåëüíîñòè, ñîñòàâëåííîé èç ýôôåêòèâíûõ îöåíîê f^N g.  îáùåì ñëó÷àå, åñëè ìàòðèöà N 1 AN ( ) ïðåäåëüíî íåâûðîæäåíà, ò.å.

1 limN !1 AN () > 0; N

òî àñèìïòîòè÷åñêè ýôôåêòèâíàÿ îöåíêà ÿâëÿåòñÿ ñîñòîÿòåëüíîé. Ïðèìåð. Ðàññìîòðèì çàäà÷ó èç ðàçä. 1.2 îá îáíàðóæåíèè íàáëþäàåìîãî íà ôîíå ïîìåõ fvn g èçâåñòíîãî ñêàëÿðíîãî ñèãíàëà f'n g, ïðåäñòàâëÿþùåãî ñîáîé ðåàëèçàöèþ ïîñëåäîâàòåëüíîñòè íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ îãðàíè÷åííûì ñðåäíèì çíà÷åíèåì M' è êîíå÷íîé äèñïåðñèåé '2  0. Ïóñòü ïðè n = 1; 2; : : : ; N íàáëþäàþòñÿ ñêàëÿðíûå ñëó÷àéíûå âåëè÷èíû

yn = 'n  + vn : 95

Çàäà÷à ñîñòîèò â îöåíèâàíèè íåèçâåñòíîãî çíà÷åíèÿ  , ðàâíîãî íóëþ èëè åäèíèöå. Åñëè ïðåäïîëîæèòü, ÷òî ïîìåõè fvn g  ãàóññîâñêèå îäèíàêîâî ðàñïðåäåëåííûå ñ ïëîòíîñòüþ ðàñïðåäåëåíèÿ pv (
) è ïàðàìåòðàìè N (0; v2 ); v > 0, òî èíôîðìàöèîííàÿ ìàòðèöà Ôèøåðà

AN () = N Ey;' fr [r ln pv (y

')]g = N

'2 + M'2 v2

è, êàê âèäíî, íå çàâèñèò ÿâíî îò  .  äàííîì ñëó÷àå íåòðóäíî óáåäèòüñÿ, ÷òî îöåíêà, ïîëó÷åííàÿ ìåòîäîì ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ñîâïàäàåò ñ ñîîòâåòñòâóþùåé ìàðêîâñêîé îöåíêîé (ñì. ðàçä. 2.2), à îáðàùåíèå èíôîðìàöèîííîé ìàòðèöû Ôèøåðà ñîâïàäàåò ñî ñðåäíèì çíà÷åíèåì óñëîâíîé êîâàðèàöèè ìàðêîâñêîé îöåíêè. Äëÿ ìàðêîâñêîé îöåíêè, â ñèëó åå íåñìåùåííîñòè, íåðàâåíñòâî ÊðàìåðàÐàî ïðåâðàùàåòñÿ â ðàâåíñòâî. Ðàíåå óæå óïîìèíàëàñü ýôôåêòèâíîñòü ìàðêîâñêèõ îöåíîê (â ñìûñëå ìèíèìóìà äèñïåðñèè) â êëàññå ëèíåéíûõ îöåíîê. Íåðàâåíñòâî ÊðàìåðàÐàî ïîêàçûâàåò, ÷òî ïðè ãàóññîâñêîé ïîìåõå íàáëþäåíèÿ ìàðêîâñêèå îöåíêè ýôôåêòèâíû â áîëåå øèðîêîì êëàññå íåñìåùåííûõ îöåíîê, ÿâëÿþùèõñÿ ïðîèçâîëüíûìè ôóíêöèÿìè äàííûõ íàáëþäåíèÿ.  ñëåäóþùåì ðàçäåëå ýòîò ïðèìåð áóäåò ðàññìîòðåí â ñëó÷àå íåèçâåñòíûõ îãðàíè÷åííûõ ïîìåõ, çàäàâàåìûõ äåòåðìèíèðîâàííîé ôóíêöèåé.

96

6. Çàäà÷è îöåíèâàíèè è îïòèìèçàöèè ïðè îãðàíè÷åííûõ, à â îñòàëüíîì  ïðîèçâîëüíûõ ïîìåõàõ Ïîíÿòèå ïî÷òè ïðîèçâîëüíûå ïîìåõè, êàê ïðàâèëî, â òåêñòå ïîñîáèÿ ñòðîãî ôîðìàëüíî íå îïðåäåëÿåòñÿ, ïîäðàçóìåâàÿ øèðîêèé êëàññ âñåâîçìîæíûõ ïîìåõ: êàê ñëó÷àéíûõ ñ ðàçíîé ñòåïåíüþ âçàèìíîé çàâèñèìîñòè, òàê è íåñëó÷àéíûõ. Íåñìîòðÿ íà îòñóòñòâèå ÷åòêîãî îïðåäåëåíèÿ âî âñåõ ñëó÷àÿõ ïðåäïîëàãàåòñÿ, ÷òî ê íåìó îòíîñÿòñÿ ïîìåõè, ïîðîæäàåìûå äåòåðìèíèðîâàííûìè, íåèçâåñòíûìè, íî îãðàíè÷åííûìè ôóíêöèÿìè.

6.1. Ñëó÷àéíûé ñèãíàë, íàáëþäàåìûé íà ôîíå îãðàíè÷åííûõ ïîìåõ Ðàññìîòðèì çàäà÷ó îá îöåíèâàíèè êîýôôèöèåíòà óñèëåíèÿ èçâåñòíîãî ñêàëÿðíîãî ñèãíàëà f'n g, ïðåäñòàâëÿþùåãî ñîáîé ðåàëèçàöèþ ïîñëåäîâàòåëüíîñòè íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ îãðàíè÷åííûì èçâåñòíûì ñðåäíèì çíà÷åíèåì M' è êîíå÷íîé ïîëîæèòåëüíîé äèñïåðñèåé '2 > 0, íàáëþäàåìîãî íà ôîíå íåèçâåñòíûõ îãðàíè÷åííûõ ïîìåõ fvn g. Áîëåå òî÷íî: ïî íàáëþäåíèÿì ïðè n = 1; 2; : : : ñêàëÿðíûõ ñëó÷àéíûõ âåëè÷èí

yn = 'n  + vn ; ãäå

jvnj  Cv ;

òðåáóåòñÿ ïîñëåäîâàòåëüíî îöåíèâàòü íåèçâåñòíîå çíà÷åíèå  .  ëèòåðàòóðå ïðè îïèñàíèè ñïîñîáîâ ðåøåíèÿ çàäà÷ òàêîãî òèïà: ïðè îãðàíè÷åííûõ, à â îñòàëüíîì  ïðîèçâîëüíûõ ïîìåõàõ, ÷àñòî ïðèâîäèòñÿ ñëåäóþùèé àëãîðèòì. Ïóñòü çàäàí íåêîòîðûé èíòåðâàë  = 0 = [a0 ; b0 ], ãàðàíòèðîâàííî ñîäåðæàùèé çíà÷åíèå  . Íà êàæäîì øàãå, ïîëó÷èâ 97

íîâîå íàáëþäåíèå yn , ìîæíî óòî÷íèòü ãðàíèöû ìíîæåñòâà, ñîäåðæàùåãî  , ïî ñëåäóþùåìó ïðàâèëó:

n = [an ; bn ] = n

1

\ fX : jyn 'n X j  Cv g:

Åñëè an ! bn ïðè n ! 1, ò.å. èíòåðâàëû n ñòÿãèâàþòñÿ â òî÷êó, òî î÷åâèäíî, ÷òî õîðîøåé îöåíêîé âåëè÷èíû  íà øàãå ñ íîìåðîì n ìîæåò áûòü ëþáîé èç ýëåìåíòîâ ìíîæåñòâà n , íàïðèìåð ^n = (an +bn )=2: Ñîñòîÿòåëüíîñòü ïîñëåäîâàòåëüíîñòè îöåíîê áóäåò ãàðàíòèðîâàíà. Hî, ê ñîæàëåíèþ, ñóùåñòâåííûõ îñíîâàíèé íàäåÿòüñÿ íà òî, ÷òî an ! bn ïðè n ! 1, íåò.  ýòîé ñèòóàöèè ìîæíî ãîâîðèòü òîëüêî î ïîëó÷åíèè ïðåäåëüíîãî ìíîæåñòâà 1 , êîòîðîå ãàðàíòèðîâàííî ñîäåðæèò íåèçâåñòíîå èñêîìîå çíà÷åíèå : Èñòîðè÷åñêè òàê ñëîæèëîñü, ÷òî ðåçóëüòàòîì òàêîãî òèïà îáû÷íî óäîâëåòâîðÿþòñÿ, ñ÷èòàÿ íåâîçìîæíûì ïðè ðåøåíèè ýòîé çàäà÷è ïîëó÷èòü ëó÷øèé îòâåò.  [7] ïîêàçàíî, ÷òî è â ýòîé çàäà÷å âîçìîæíî ïîëó÷åíèå ïîñëåäîâàòåëüíîñòè ñîñòîÿòåëüíûõ îöåíîê. Äàëåå ïðèâåäåì íåñêîëüêî ïðèìåðîâ àëãîðèòìîâ ïîñòðîåíèÿ ìíîæåñòâ, ãàðàíòèðîâàííî ñîäåðæàùèõ âåêòîð íåèçâåñòíûõ ïàðàìåòðîâ.

6.2. Ìåòîä ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ. Êîíå÷íî-ñõîäÿùèåñÿ àëãîðèòìû Êàê è â ïðèìåðå ïðåäûäóùåãî ðàçäåëà, òàê è âî ìíîãèõ äðóãèõ ñëó÷àÿõ çàäà÷è îöåíèâàíèÿ, îïòèìèçàöèè, àäàïòèâíîãî óïðàâëåíèÿ è ò.ï. ìîãóò áûòü ñôîðìóëèðîâàíû â ñëåäóþùåì âèäå (ñì. [11, 58, 59, 72]). Äëÿ íåêîòîðîé ôóíêöèè (
;
), çàäàííîé íà W  , íàéòè ýëåìåíò  2  (íå îáÿçàòåëüíî åäèíñòâåííûé), äëÿ êîòîðîãî ïðè ëþáîì w 2 W âûïîëíÿþòñÿ íåðàâåíñòâà

(w; )  0; 98

êîòîðûå îáû÷íî íàçûâàþò öåëåâûìè íåðàâåíñòâàìè. Åñëè ìíîæåñòâî W  íå êîíå÷íîå, òî íàáîð èç öåëåâûõ íåðàâåíñòâ ïðåäñòàâëÿåò ñîáîé áåñêîíå÷íîìåðíóþ ñèñòåìó íåðàâåíñòâ.  ðÿäå ïðàêòè÷åñêèõ çàäà÷ â ðàñïîðÿæåíèè ýêñïåðèìåíòàòîðà åñòü íåêîòîðàÿ òðåíèðîâî÷íàÿ (îáó÷àþùàÿ) ïîñëåäîâàòåëüíîñòü òî÷åê w1 ; w2 ; : : : èç ìíîæåñòâà W , äëÿ êîòîðîé èçâåñòíû çíà÷åíèÿ ôóíêöèè (wk ;  ); k = 1; 2; : : : , è, ïîëó÷åííàÿ òàêèì îáðàçîì ïîäñèñòåìà íåðàâåíñòâ

(wk ; )  0; ãäå k = 1; 2; : : : ; ìîæåò áûòü èñïîëüçîâàíà äëÿ îòûñêàíèÿ íóæíîãî âåêòîðà  . Êîíå÷íî, ïîäëåæèò ñïåöèàëüíîìó èññëåäîâàíèþ âîïðîñ î òîì, â êàêèõ ñëó÷àÿõ ðåøåíèÿ ýòîé ïîäñèñòåìû ÿâëÿþòñÿ è ðåøåíèÿìè èñõîäíîé. Îòâåò íà íåãî ìîæíî äàòü, ñäåëàâ íåêîòîðûå ïðåäïîëîæåíèÿ î õàðàêòåðèñòèêàõ ôóíêöèè (
;
) è î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîñëåäîâàòåëüíîñòè w1 ; w2 ; : : : :  èíòåðåñóþùåé íàñ ñèòóàöèè î÷åðåäíîå íåðàâåíñòâî â ìîìåíò âðåìåíè n ôîðìèðóåòñÿ ëèøü ïîñëå íàõîæäåíèÿ ïðåäûäóùåé îöåíêè ^n 1 .  ýòîì êîíòåêñòå ïîäñèñòåìó íåðàâåíñòâ (wk ;  )  0; k = 1; 2; : : : ; íàçûâàþò ðåêóððåíòíûìè öåëåâûìè íåðàâåíñòâàìè. Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ìíîæåñòâ

0 = ; n = n

1

\ f : (wn ; )  0g;

n = 1; 2; : : : ; 0  1  : : : : Äëÿ ëþáîãî n ìîæíî óòâåðæäàòü, ÷òî äëÿ âñÿêîãî  , ÿâëÿþùåãîñÿ ðåøåíèåì èñõîäíîé ñèñòåìû öåëåâûõ íåðàâåíñòâ, âûïîëíåíî óñëîâèå  2 n : Èíîãäà ïðè

îáîñíîâàíèè ñõîäèìîñòè àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ ïðîåêòèðîâàíèåì âàæíî çíàòü, ÷òî ðåêóððåíòíûé ñïîñîá ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ìíîæåñòâ fn g  êîíå÷íî-ñõîäÿùèéñÿ â òîì ñìûñëå, ÷òî íà÷èíàÿ ñ íåêîòîðîãî n, ìíîæåñòâà n ïåðåñòàþò èçìåíÿòüñÿ:

n = n? ; n  n? : 99

Êîíå÷íî-ñõîäÿùèéñÿ àëãîðèòì (ÊÑÀ) çà êîíå÷íîå ÷èñëî øàãîâ äîñòàâëÿåò ðåøåíèå áåñêîíå÷íîãî ÷èñëà çàðàíåå íåèçâåñòíûõ ðåêóððåíòíûõ íåðàâåíñòâ. Ñôîðìóëèðóåì äâà óñëîâèÿ, ïðè âûïîëíåíèè êîòîðûõ ìîæíî íåçíà÷èòåëüíî âèäîèçìåíèòü îïèñàííûé ñïîñîá ðåêóððåíòíîãî ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ìíîæåñòâ fn g òàê, ÷òîáû îí ñòàë êîíå÷íî-ñõîäÿùèìñÿ.  Ïðè êàæäîì n = 1; 2; : : : ìíîæåñòâî f : (wn ; )  0g  âûïóêëîå.  Ñðåäè ðåøåíèé âñåõ ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ åñòü íåïóñòîé îòêðûòûé øàð, ò.å. ñóùåñòâóåò  2  è íåêîòîðîå Æ > 0, òàêîå, ÷òî äëÿ ëþáîãî n = 1; 2; : : : è ëþáîãî X : kX k2  Æ âûïîëíåíî óñëîâèå (wn ; X )  0. Ïðè âûïîëíåíèè ýòèõ óñëîâèé îïðåäåëèì ïîñëåäîâàòåëüíîñòè òî÷åê f^n g è ìíîæåñòâ fn g ïî ñëåäóþùåìó ïðàâèëó: ïðè n = 0 ïîëàãàåì

^0 2 ; 0 = ; ïðè n = 1; 2; : : : , åñëè (wn ; ^n 1 )  0, òî

^n = ^n 1 ; n = n 1 ; ^n

â ïðîòèâíîì ñëó÷àå â êà÷åñòâå ^n âûáèðàåì áëèæàéøèé ê 1 ýëåìåíò èç

\ f : (wn ; X )  0 8X : kX k2  Æg: Äëÿ ïîëó÷åííîé ïîñëåäîâàòåëüíîñòè èìååì 0  1  : : : : n = n

1

 ðåçóëüòàòå ïîñòðîåíèÿ ýòîé ïîñëåäîâàòåëüíîñòè ìíîæåñòâ ìîæåì ïîòåðÿòü íåêîòîðûå ðåøåíèÿ èñõîäíîé ñèñòåìû öåëåâûõ íåðàâåíñòâ, íî ïî êðàéíåé ìåðå îäíî èç íèõ, ðàâíîå  , ïðèíàäëåæèò âñåì ìíîæåñòâàì:  2 \n n . Ïåðâîå óñëîâèå ñóùåñòâåííî îãðàíè÷èâàåò êðóã çàäà÷, ðåøàåìûõ ñ ïîìîùüþ êîíå÷íî-ñõîäÿùåãîñÿ àëãîðèòìà, íî âî ìíîãèõ ïðàêòè÷åñêèõ 100

ïðèëîæåíèÿõ îíî âûïîëíÿåòñÿ. Âòîðîå óñëîâèå íå îãðàíè÷èòåëüíî è èìååò äîñòàòî÷íî åñòåñòâåííûé õàðàêòåð. Îñíîâíàÿ èäåÿ äîêàçàòåëüñòâà êîíå÷íîé ñõîäèìîñòè àëãîðèòìà çàêëþ÷àåòñÿ â ñëåäóþùåì. Ïðåäïîëîæèì, ÷òî ìíîæåñòâà n èçìåíÿþòñÿ áåñêîíå÷íîå ÷èñëî ðàç. Ïóñòü ýòè èçìåíåíèÿ ïðîèñõîäÿò â ìîìåíòû âðåìåíè, çàäàâàåìûå ïîñëåäîâàòåëüíîñòüþ fni g. Ðàññìîòðèì ÷èñëîâóþ ïîñëåäîâàòåëüíîñòü fdi g, îïðåäåëÿåìóþ ïî ïðàâèëó

di = k^ni

 k2 ;

ãäå i = 0; 1; 2; : : : : Èç ñïîñîáà ïîñòðîåíèÿ ïîäïîñëåäîâàòåëüíîñòè f^ni g ñëåäóåò, ÷òî äëÿ ýëåìåíòîâ ÷èñëîâîé ïîñëåäîâàòåëüíîñòè fdi g ïðè êàæäîì i = 0; 1; 2; : : : âûïîëíÿþòñÿ íåðàâåíñòâà di  di 1 Æ: Ïðîñóììèðîâàâ ýòè íåðàâåíñòâà

0  dN

N

ðàç

(N > 0), èìååì

 d0 ÆN:

Åñëè â ïîñëåäíåì íåðàâåíñòâå N > d0 =Æ , òî ïîëó÷àåì ïðîòèâîðå÷èå. Ñëåäîâàòåëüíî, êîëè÷åñòâî ïåðåêëþ÷åíèé ñ îäíîãî çíà÷åíèÿ ^i íà äðóãîå êîíå÷íî, à çíà÷èò, è ìíîæåñòâà â ïîñëåäîâàòåëüíîñòè fn g èçìåíÿþòñÿ òîëüêî êîíå÷íîå ÷èñëî ðàç. Èç ïîñëåäíåãî íåðàâåíñòâà ïðè îãðàíè÷åííîì èñõîäíîì ìíîæåñòâå  ìîæíî ïîëó÷èòü îöåíêó äëÿ ìàêñèìàëüíîãî ÷èñëà èçìåíåíèé ìíîæåñòâ â ÊÑÀ:

Nmax  diam()=Æ; çäåñü diam()  íàèáîëüøåå èç ðàññòîÿíèé ìåæäó äâóìÿ ïðîèçâîëüíûìè òî÷êàìè ìíîæåñòâà . Êîíêðåòíûé âèä ðåêóððåíòíûõ àëãîðèòìîâ äëÿ ðåøåíèÿ ðàçíîîáðàçíûõ öåëåâûõ íåðàâåíñòâ ñ îáîñíîâàíèåì èõ ñõîäèìîñòè ìîæíî íàéòè â [11, 58, 59, 72]. Äàëåå áóäåò ðàññìîòðåí ëèøü ÷àñòíûé, íî âàæíûé ñëó÷àé, îòíîñÿùèéñÿ ê ëèíåéíûì íåðàâåíñòâàì. 101

6.3. Àëãîðèòì "Ïîëîñêà" Hàèáîëåå ïðîñòîé âèä ôóíêöèè

(w; )  ëèíåéíûé:

'Tn  + n  0; n = 1; 2; : : : : Çäåñü 



wn = ' n ; n ãäå f'n g è fn g  íåêîòîðûå ïîñëåäîâàòåëüíîñòè âåêòîðîâ è ÷èñåë ñîîòâåòñòâåííî. Âîçìîæíûå ñïîñîáû ðåøåíèÿ òàêîé ñèñòåìû ëèíåéíûõ íåðàâåíñòâ ïåðâîíà÷àëüíî ðàññìàòðèâàëèñü â [60]. Î÷åâèäíî, ÷òî â ýòîé çàäà÷å ïåðâîå óñëîâèå ïîñòðîåíèÿ êîíå÷íî-ñõîäÿùåãîñÿ àëãîðèòìà, âûïîëíåíî. Âòîðîå óñëîâèå îçíà÷àåò, ÷òî ñóùåñòâóþò òàêèå âåêòîð  è Æ > 0, ÷òî

'Tn  + n  Æk'n k; ãäå n = 1; 2; : : : : ×àùå âñåãî â ïðèëîæåíèÿõ ê ëèíåéíûì ñèñòåìàì ñ îãðàíè÷åííûìè ïîìåõàìè âñòðå÷àåòñÿ ÷àñòíûé ñëó÷àé ðåêóððåíòíûõ ëèíåéíûõ íåðàâåíñòâ

j'Tn  + nj  "n; f"n g  íåêîòîðàÿ

çäåñü n = 1; 2; : : : è ïîñëåäîâàòåëüíîñòü ïîëîæèòåëüíûõ ÷èñåë.  ýòîì ñëó÷àå âòîðîå óñëîâèå ïîñòðîåíèÿ êîíå÷íî-ñõîäÿùåãîñÿ àëãîðèòìà îçíà÷àåò, ÷òî ñóùåñòâóþò ÷èñëà 0 < Æ < 1, 0 < "? è âåêòîð  (íå èçâåñòíûé), òàêèå, ÷òî ïðè n = 1; 2; : : : "n  "? k'n k; j'Tn  + nj  Æ"n :  ýòîì ñëó÷àå êàæäîå èç ðåêóððåíòíûõ íåðàâåíñòâ âûäåëÿåò â âåêòîðíîì ïðîñòðàíñòâå ïàðàìåòðîâ  îïðåäåëåííóþ ïîëîñó, 102

øèðèíîé íå ìåíåå 2"? . Âûïîëíåíèå ïîñëåäíåãî íåðàâåíñòâà ãàðàíòèðóåò, ÷òî âñå ýòè ïîëîñû âêëþ÷àþò â ñåáÿ íåêîòîðûé øàð ðàäèóñîì Æ , ñîäåðæàùèé  . Äëÿ ïîñëåäíåãî ñëó÷àå â [44, 59] ôîðìóëèðóåòñÿ áîëåå ïðîñòîé êîíå÷íî-ñõîäÿùèéñÿ àëãîðèòì ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè òî÷åê f^n g, ïðè èçìåíåíèè êîòîðûõ íàäî ïåðåñòðàèâàòü ñîîòâåòñòâóþùèå ìíîæåñòâà fn g, ñîäåðæàùèå  . Ïóñòü ^0 2  è 0 = . Åñëè j'Tn ^n 1 + nj  "n; òî

^n = ^n

1 è n

= n 1 ;

â ïðîòèâíîì ñëó÷àå

^n = ^n

1

n = n

'n 1

'Tn ^n 1 + n sgn('Tn ^n 1 + n )Æ"n ; k'nk2

\ f : 'Tn  + n  Æ"n g; n = 1; 2; : : : :

Ýòà ïðîöåäóðà íàçûâàåòñÿ àëãîðèòìîì "Ïîëîñêà". Åñëè èñõîäíîå ìíîæåñòâî ñîâïàäàåò ñî âñåì ïðîñòðàíñòâîì èëè ÿâëÿåòñÿ ìíîãîãðàííûì, òî ïîëó÷àþùèåñÿ ïî ñôîðìóëèðîâàííîìó àëãîðèòìó ìíîæåñòâà  òîæå ìíîãîãðàííèêè. Êàê óæå îòìå÷àëîñü, â íåêîòîðûõ àëãîðèòìàõ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ïðè îãðàíè÷åííûõ ïîìåõàõ öåëåñîîáðàçíî èñïîëüçîâàòü îïåðàöèþ ïðîåêòèðîâàíèÿ íà ìíîæåñòâî, ñîîòâåòñòâóþùóþ ïîèñêó áëèæàéøåãî ýëåìåíòà. Êîíå÷íàÿ ñõîäèìîñòü àëãîðèòìà ïåðåñòðîåíèÿ ìíîæåñòâ n âàæíà ïî äâóì ïðè÷èíàì. Âî-ïåðâûõ, èíîãäà ïðè äîêàçàòåëüñòâå àñèìïòîòè÷åñêèõ ñâîéñòâ ïîâåäåíèÿ îöåíîê, ïîñòðîåííûõ ïî àëãîðèòìó ñ ïðîåêòèðîâàíèåì, âàæíî áûòü óâåðåííûìè, ÷òî, íà÷èíàÿ ñ íåêîòîðîãî ìîìåíòà, îãðàíè÷èâàþùåå âîçìîæíûå çíà÷åíèÿ ïàðàìåòðîâ ìíîæåñòâî íå ìåíÿåòñÿ. Âî-âòîðûõ, ïðè ïðàêòè÷åñêîé ðåàëèçàöèè àëãîðèòìà ïðîåêòèðîâàíèÿ íà ìíîãîãðàííîå ìíîæåñòâî íàäî èìåòü êîíñòðóêòèâíûé ñïîñîá îïèñàíèÿ 103

íàáîðà ïëîñêîñòåé, êîòîðûå åãî îãðàíè÷èâàþò. Ïðè áåñêîíå÷íîì êîëè÷åñòâå îãðàíè÷èâàþùèõ ïëîñêîñòåé òðóäíî ïðåäñòàâèòü ñåáå ðåàëüíûé ñïîñîá õðàíåíèÿ òàêîé èíôîðìàöèè. Ïðè ñâîåé êàæóùåéñÿ ïðîñòîòå, îïèñàííûé ñïîñîá âñå-òàêè èìååò ñóùåñòâåííûå òðóäíîñòè ïðè ðåàëèçàöèè íà ïðàêòèêå. Âî ìíîãèõ ñëó÷àÿõ èñïîëüçóþò áîëåå ïðîñòûå àëãîðèòìû, õîòÿ ïðè ýòîì òðóäíî äîêàçàòü èõ êîíå÷íóþ ñõîäèìîñòü. Åñëè àëãîðèòì ïðåäïîëàãàåòñÿ èñïîëüçîâàòü âìåñòå ñ äðóãèì, áîëåå ÷óòêèì, òî êîíå÷íóþ ñõîäèìîñòü àëãîðèòìà ìîæíî îáåñïå÷èòü ïðîñòûì ïðàêòè÷åñêèì óñëîâèåì: ïðåêðàòèòü êîððåêöèè ïîñëå çàðàíåå çàäàííîãî îïðåäåëåííîãî êîëè÷åñòâà øàãîâ. Hàèáîëåå óäîáíûì ñ òî÷êè çðåíèÿ îïåðàöèé ïðîåêòèðîâàíèÿ è õðàíåíèÿ èíôîðìàöèè ÿâëÿåòñÿ ïîñëåäîâàòåëüíîå ïîñòðîåíèå â ïðîñòðàíñòâå ïàðàìåòðîâ ïðÿìîóãîëüíèêîâ, ñîäåðæàùèõ íåêîòîðîå ðåøåíèå ñèñòåìû ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ.

6.4. Ìåòîä ýëëèïñîèäîâ Äðóãèì ïðèìåðîì àëãîðèòìà ïîñòðîåíèÿ ìíîæåñòâ, óäîáíûõ äëÿ âûïîëíåíèÿ îïåðàöèé ïðîåêòèðîâàíèÿ è õðàíåíèÿ íåîáõîäèìîé èíôîðìàöèè, ÿâëÿåòñÿ ìåòîä ýëëèïñîèäîâ (ñì. [21, 53]). Ðàññìîòðèì çàäà÷ó î ðåøåíèè ëèíåéíûõ ðåêóððåíòíûõ íåðàâåíñòâ 'Tn  + n  0; ãäå n = 1; 2; : : : : Ïðåäïîëîæèì, êàê è ðàíåå, ñóùåñòâîâàíèå òàêèõ âåêòîðà  è êîíñòàíòû Æ > 0, ÷òî ïðè n = 1; 2; : : :

'Tn  + n  Æk'n k: Hå óìàëÿÿ îáùíîñòè, áóäåì ñ÷èòàòü, ÷òî íà÷àëüíîå ìíîæåñòâî, ñîäåðæàùåå   ðåøåíèå ñèñòåìû ðåêóððåíòíûõ íåðàâåíñòâ, çàäàíî â âèäå ýëëèïñîèäà (èëè øàðà):

0 = f : ( ^0 )T R0 1 ( ^0 )  1g 104

ñ öåíòðîì â íåêîòîðîé òî÷êå ^0 è ñèììåòðè÷íîé ïîëîæèòåëüíî îïðåäåëåííîé ìàòðèöåé R0 . Ðàññìîòðèì ðåêóððåíòíûé àëãîðèòì ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ýëëèïñîèäîâ fn g:

n = f : (

^n )T Rn 1 ( ^n )  1g;

îïðåäåëÿåìûé ïîñëåäîâàòåëüíî ïåðåñ÷èòûâàåìûìè òî÷êàìè f^ng è ïîëîæèòåëüíî îïðåäåëåííûìè ìàòðèöàìè fRng. Ïðàâèëî èõ ïåðåñ÷åòà ñëåäóþùåå: ïðè n = 1; 2; : : : ; ^ ^ ^ åñëè 'T n n 1 + n  0, òî n = n 1 ; Rn = Rn 1 ; â ïðîòèâíîì ñëó÷àå

^n = ^n Rn =

r2

Rn 1 'n p ; (r + 1) 'Tn Rn 1 'n

1



r2 1

Rn

1

2 Rn 1 'n 'Tn RTn n + 1 'Tn Rn 1 'n

1



;

çäåñü r  ðàçìåðíîñòü ïðîñòðàíñòâà ïàðàìåòðîâ  . Äëÿ ìàêñèìàëüíî âîçìîæíîãî ÷èñëà êîððåêöèé ýëëèïñîèäîâ fn g ìîæíî ïîëó÷èòü îöåíêó ñâåðõó:

Nmax  r êîòîðàÿ ïðè áîëüøèõ

lnfk^0 k=Æg r 1 lnf(r + 1)(r2 1) 2 r

rg

;

r ïðèáëèçèòåëüíî ðàâíà

2r2 (1 + O(n 2 )) ln

k^0 k : Æ

Àëãîðèòì èìååò ïðîñòóþ ãåîìåòðè÷åñêóþ èíòåðïðåòàöèþ. Åñëè ïðåäûäóùàÿ îöåíêà ^n 1 íå óäîâëåòâîðÿåò î÷åðåäíîìó öåëåâîìó íåðàâåíñòâó, çàäàþùåìó íåêîòîðóþ ãèïåðïëîñêîñòü â ïðîñòðàíñòâå ïàðàìåòðîâ  , òî ïàðàëëåëüíî åé ÷åðåç öåíòð ïîñëåäíåãî èç ïîñòðîåííûõ ýëëèïñîèäîâ ïðîâîäèòñÿ ãèïåðïëîñêîñòü. Ýòà ãèïåðïëîñêîñòü äåëèò ýëëèïñîèä íà äâå ÷àñòè, 105

îäíà èç êîòîðûõ ñîäåðæèò òî÷êó  . Ïîñëå ýòîãî íîâûé ýëëèïñîèä ñòðîèòñÿ êàê íàèìåíüøèé ïî îáúåìó, ñîäåðæàùèé íóæíóþ ÷àñòü ïðåäûäóùåãî ýëëèïñîèäà. Ïðè ýòîì îêàçûâàåòñÿ, ÷òî îòíîøåíèå îáúåìîâ íîâîãî è ñòàðîãî ýëëèïñîèäîâ íå ïðåâîñõîäèò âåëè÷èíû

rr r 1 < 1: (r + 1)(r2 1) 2

106

Ï Ð È Ë Î Æ Å Í È Å.

ÍÅÊÎÒÎÐÛÅ ÍÅÎÁÕÎÄÈÌÛÅ ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÑÂÅÄÅÍÈß

Ï.1. Òåîðèÿ âåðîÿòíîñòåé Äëÿ áîëåå ãëóáîêîãî ïîíèìàíèÿ îñíîâ òåîðèè âåðîÿòíîñòåé è ìåòîäîâ îáðàáîòêè ñëó÷àéíûõ ïðîöåññîâ ñîâåòóåì ïðî÷èòàòü êíèãè [22, 55].  ýòîì ðàçäåëå ïðèâîäÿòñÿ îïðåäåëåíèÿ îñíîâíûõ ïîíÿòèé è ôîðìóëèðîâêè ðåçóëüòàòîâ, èñïîëüçóåìûõ â ïîñîáèè.

Ï.1.1. Ñëó÷àéíûå âåëè÷èíû Ïóñòü ( ; F )  íåêîòîðîå èçìåðèìîå ïðîñòðàíñòâî è (R; B(R))  ÷èñëîâàÿ ïðÿìàÿ ñ ñèñòåìîé áîðåëåâñêèõ ìíîæåñòâ B (R). Äåéñòâèòåëüíàÿ ôóíêöèÿ  =  (! ), îïðåäåëåííàÿ íà ( ; F ), íàçûâàåòñÿ F -èçìåðèìîé ôóíêöèåé èëè ñëó÷àéíîé âåëè÷èíîé, åñëè äëÿ ëþáîãî B 2 B (R)

f! : (!) 2 B g 2 F : Ïóñòü ( ; F ; P)  ïðîèçâîëüíîå âåðîÿòíîñòíîå ïðîñòðàíñòâî. Ìàòåìàòè÷åñêèì îæèäàíèåì Ef g ïðîèçâîëüíîé ñëó÷àéíîé âåëè÷èíû  íàçûâàåòñÿ èíòåãðàë Ëåáåãà îò F -èçìåðèìîé ôóíêöèè  =  (! ) ïî ìåðå P, äëÿ êîòîðîãî (íàðÿäó ñ Ef g) èñïîëüçóþòñÿ òàêæå ñëåäóþùèå îáîçíà÷åíèÿ: Z



èëè

 (!) Pfd!g Z



 dP: 107

Äèñïåðñèåé ñëó÷àéíîé âåëè÷èíû  íàçûâàåòñÿ âåëè÷èíà Ef g)2 g, ïðè ýòîì âåëè÷èíà  > 0 íàçûâàåòñÿ ñòàíäàðòíûì îòêëîíåíèåì. Ïóñòü  è   ïàðà ñëó÷àéíûõ âåëè÷èí. Èõ êîâàðèàöèåé íàçûâàåòñÿ âåëè÷èíà

2 = Ef(

covf; g = Ef(

Ef g)(

Efg)g:

Åñëè cov f;  g = 0, òî ãîâîðÿò, ÷òî ñëó÷àéíûå âåëè÷èíû  è  íå êîððåëèðîâàíû. Ðàñïðåäåëåíèåì ñëó÷àéíîé âåëè÷èíû  íà (R ; B (R)) íàçûâàåòñÿ âåðîÿòíîñòíàÿ ìåðà P (
) íà (R ; B (R)):

P (B ) = Pf! :  (!) 2 B g; B 2 B(R): Èç îïðåäåëåíèÿ ñëåäóåò, ÷òî

Ef g = Ôóíêöèÿ

Z

R

xP (d x):

P (x) = Pf! :  (!)  xg; x 2 R;

íàçûâàåòñÿ ôóíêöèåé ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû  . Íåîòðèöàòåëüíàÿ ôóíêöèÿ p (
) íàçûâàåòñÿ ïëîòíîñòüþ ôóíêöèè ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû  , åñëè

P (x) =

Z x

1

p (t)dt:

Ñëó÷àéíàÿ âåëè÷èíà  íàçûâàåòñÿ ãàóññîâñêîé (èëè íîðìàëüíî ðàñïðåäåëåííîé) ñ ïàðàìåòðàìè M è  2 (  N (M;  2 )), jM j < 1,  > 0, åñëè âûðàæåíèå äëÿ åå ïëîòíîñòè p (
) èìååò ñëåäóþùèé âèä:

p (x) =

p1 e 2

(x

M )2

2 2

: 108

Ñëó÷àéíûå âåëè÷èíû 1 ; : : : ; n íàçûâàþòñÿ íåçàâèñèìûìè (íåçàâèñèìûìè â ñîâîêóïíîñòè), åñëè äëÿ ëþáûõ B1 ; : : : ; Bn 2

B(R)

Pf1 2 B1 ; : : : ; n 2 Bng = Pf1 2 B1 g


Pfn 2 Bn g: Ïóñòü

 è   íåçàâèñèìûå ñëó÷àéíûå âåëè÷èíû ñ Efj jg < 1

Òîãäà

è Efj jg

< 1:

Efjjg < 1

è

Efg = Ef gEfg:

Ïîíÿòèå ñëó÷àéíàÿ âåëè÷èíà åñòåñòâåííûì îáðàçîì îáîáùàåòñÿ è íà âåêòîðíûé ñëó÷àé. Äëÿ ñëó÷àéíûõ âåêòîðîâ ïî àíàëîãèè ìîæíî îïðåäåëèòü ìàòåìàòè÷åñêîå îæèäàíèå, äèñïåðñèþ, ìàòðèöû êîâàðèàöèè, ðàñïðåäåëåíèå è ò.ï. Ñîâîêóïíîñòü ñëó÷àéíûõ âåëè÷èí X = f1 ; 2 ; : : :g íàçûâàþò ñëó÷àéíûì ïðîöåññîì ñ äèñêðåòíûì âðåìåíåì èëè ñëó÷àéíîé ïîñëåäîâàòåëüíîñòüþ. Äëÿ êàæäîãî ôèêñèðîâàííîãî ! 2 ïîñëåäîâàòåëüíîñòü fn (!)g íàçûâàåòñÿ ðåàëèçàöèåé èëè òðàåêòîðèåé ïðîöåññà, ñîîòâåòñòâóþùåé èñõîäó ! .

Ï.1.2

Íåêîòîðûå íåðàâåíñòâà äëÿ ñëó÷àéíûõ âåëè÷èí

Íåðàâåíñòâî ×åáûøåâà [55, ñ. 209]. Ïóñòü   íåîòðèöàòåëüíàÿ ñëó÷àéíàÿ âåëè÷èíà. Òîãäà äëÿ âñÿêîãî " > 0 Pf  "g 

Ef g : "

Íåðàâåíñòâî Èåíñåíà [55, ñ. 209]. Ïóñòü g(x)  âûïóê-

ëàÿ ôóíêöèÿ, à



 ñëó÷àéíàÿ âåëè÷èíà ñ

Ef g < 1.

Òîãäà

g(Ef g)  Efg( )g: 109

Íåðàâåíñòâî Ãåëüäåðà [55, ñ. 210] Ïóñòü 1 < p <

1
1;

1 1 + = 1: p q Åñëè Efj jp g < 1 è Efj jq g < 1, òî Efjjg < 1

è

Efjjg < (Efj jp g)1=p (Efjjq g)1=q : Ï.1.3. Çàêîí áîëüøèõ ÷èñåë äëÿ íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí Çàêîí áîëüøèõ ÷èñåë [55, ñ. 347]. Ïóñòü 1 ; 2 ; : : : 

ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ

Ef1 g < 1; Ef1 g = M è ïðè

n = 1; 2; : : :

Òîãäà ïðè

n!1

Sn = 1 + : : : + n

8" > 0

 S P n n

M



 " ! 0:

Òåîðåìà Êàíòåëëè [55, ñ. 376]. Ïóñòü 1 ; 2 ; : : :  ïîñëå-

äîâàòåëüíîñòü íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí ñ êîíå÷íûì ÷åòâåðòûì ìîìåíòîì:

Efjn

Efn gj4 g  C < 1;

Sn = 1 + : : : + n n = 1; 2; : : : :

Òîãäà ïðè

n ! 1 ñ âåðîÿòíîñòüþ åäèíèöà Sn EfSn g ! 0: n

110

Óñèëåííûé çàêîí áîëüøèõ ÷èñåë (Êîëìîãîðîâà) [55, ñ. 377]. Ïóñòü 1 ; 2 ; : : :  ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí ñ êîíå÷íûìè âòîðûìè ìîìåíòàìè, ïîëîæèòåëüíûå ÷èñëà n òàêîâû, ÷òî n ! 1 ïðè n ! 1; X

è

Ef(n

Efn g)2 g <1 n2

Sn = 1 + : : : + n :

Òîãäà ïðè

n ! 1 ñ âåðîÿòíîñòüþ åäèíèöà Sn EfSn g n

! 0:

Ï.1.4. Ñòàöèîíàðíûå ñëó÷àéíûå ïðîöåññû Ïîñëåäîâàòåëüíîñòü fn g ñëó÷àéíûõ âåêòîðîâ n íàçûâàåò-

ñÿ ñòàöèîíàðíûì (â øèðîêîì ñìûñëå) ïðîöåññîì, åñëè ñðåäíåå çíà÷åíèå è êîâàðèàöèÿ íå çàâèñÿò îò ñäâèãà ïî âðåìåíè. Äëÿ ñòàöèîíàðíîãî â øèðîêîì ñìûñëå ñëó÷àéíîãî ïðîöåññà ñïðàâåäëèâî ïðåäñòàâëåíèå â âèäå ñòîõàñòè÷åñêîãî èíòåãðàëà Èòî: Z

2 1  ei  n d + ; n = p 2 0 1 < n < 1;   êîíñòàíòà; f g  ñëó÷àéíûé

ãäå ïðîöåññ ñ íåêîððåëèðîâàííûìè öåíòðèðîâàííûìè ïðèðàùåíèÿìè, ò.å. òàêîé, ÷òî ïðè ëþáûõ 1  2  3  4 èç èíòåðâàëà [0; 2 ] óäîâëåòâîðÿåò óñëîâèÿì

Ef(1 Ef(1

2 )(2

2 )(3

4 )? g = 0;

1 )? g = U (2 ) U (1 ) 111

ñ ìîíîòîííî íåóáûâàþùåé (â ñìûñëå êâàäðàòè÷íûõ ôîðì) ñèììåòðè÷íîé ìàòðè÷íîé ôóíêöèåé U (
), íàçûâàåìîé ñïåêòðàëüíîé (ñòðóêòóðíîé)ôóíêöèåé ïðîöåññà fn g. Çäåñü  ?  ñòðîêà, êîìïëåêñíî-ñîïðÿæåííàÿ ê âåêòîðó  . Ñïåêòðàëüíàÿ ôóíêöèÿ ìîæåò ñîäåðæàòü ñèíãóëÿðíóþ è íåïðåðûâíóþ ñîñòàâëÿþùèå:

U () = U  () + U  (): Ýëåìåíòû ìàòðèöû U  ()  àáñîëþòíî íåïðåðûâíûå ôóíêöèè, ò.å. ïðè ïî÷òè âñåõ (ïî ìåðå Ëåáåãà)  2 [0; 2 ] ñóùåñòâóåò ïðîèçâîäíàÿ dU () S  () =  :

d

 îñíîâíîé ÷àñòè ïîñîáèÿ ðàññìàòðèâàþòñÿ òîëüêî ðåãóëÿðíûå ñòàöèîíàðíûå ïðîöåññû, ñïåêòðàëüíûå ôóíêöèè êîòîðûõ íå èìåþò ñèíãóëÿðíûõ ÷àñòåé. Äëÿ òàêèõ ïðîöåññîâ ñïåêòðàëüíóþ ôóíêöèþ U () ìîæíî ïðåäñòàâèòü â âèäå

U () =

Z 

0

S  ()d:

Ìàòðèöà S  () íàçûâàåòñÿ ìàòðèöåé ñïåêòðàëüíûõ ïëîòíîñòåé (èëè ñïåêòðàëüíîé ïëîòíîñòüþ) ïðîöåññà fn g. Èç îïðåäåëåíèÿ ôóíêöèè U () ñëåäóåò, ÷òî ìàòðèöà S  ()  íåîòðèöàòåëüíî îïðåäåëåííàÿ, à äëÿ ìàòðèöû êîâàðèàöèè ìîæíî çàïèñàòü ôîðìóëó:

covfk ; l g = B (k =

1 2

l) =

Z 2

1 2

Z 2

0

ei (k l) dU () =

ei (k l) S  ()d:

0 Ñòàöèîíàðíûå ïðîöåññû fn g è fn g íàçûâàþòñÿ ñòàöèîíàðíî ñâÿçàííûìè, åñëè ñîâîêóïíûé ïðîöåññ fn ; n g  ñòàöèî112

íàðíûé. Äëÿ ñòàöèîíàðíî ñâÿçàííûõ öåíòðèðîâàííûõ ïðîöåññîâ fn g è fn g, èìåþùèõ ñïåêòðàëüíûå ïëîòíîñòè, ñïðàâåäëèâû ñîîòíîøåíèÿ

covfk ; l g = B (k

1 l) = 2

Z 2

covfk ; l g = B (k

1 l) = 2

Z 2

0 0

ei (k l) S  ()d ei (k l) S  ()d;

ãäå S  ()  ñîâìåñòíàÿ ñïåêòðàëüíàÿ ïëîòíîñòü; B (n)  ìàòðèöà êîâàðèàöèè ïðîöåññîâ fn g è fn g. Ââåäÿ êîìïëåêñíóþ ïåðåìåííóþ  = e i , ïîñëåäíèå ôîðìóëû óäîáíî ïåðåïèñàòü â âèäå

1 B (n) = 2i 1 B (n) = 2i

H

I I

 n S ()

d ; 

 n S ()

d ; 

ãäå  èíòåãðàë ïî åäèíè÷íîé îêðóæíîñòè, îðèåíòèðîâàíH íûé òàê, ÷òî d= = 2i, è

S () = S  (); S () = S  (): Ï.1.5. Ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí, áëèçêèå ê ñóïåðìàðòèíãàëàì Ëåììà Ï.1 [34, ñ. 54, ëåììà 10; 76]. Åñëè 0 ; : : : ; n ; : : :

 ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ñëó÷àéíûõ âåëè÷èí: Ef0 g < 1; n  0;

n = 0; 1; : : : ; è Efn+1 j0 ; : : : ; n g  (1 n )n + n ; 113

ãäå fn g è f n g  íåêîòîðûå ÷èñëîâûå ïîñëåäîâàòåëüíîñòè, óäîâëåòâîðÿþùèå óñëîâèÿì:

0  n  1; n  0;

X

n = 1;

X

n < 1;

n n

! 0;

òîãäà ñ âåðîÿòíîñòüþ åäèíèöà

n ! 0; Efn g ! 0 è äëÿ ëþáûõ

Pfj

" > 0; n > 0

 " 8j  ng  1 "

1

Efn g +

1 X i=1

!

i :

114

Ï.2. Íåêîòîðûå ìàòðè÷íûå ñîîòíîøåíèÿ Ìàòðè÷íîå òîæäåñòâî. Ïóñòü ìàòðèöû A; D; A + BT DB

 íåâûðîæäåíûå. Òîãäà

(A + BT DB)

1

=A

1

A 1 BT (D

1 + BA 1 BT ) 1 BA 1 :

Ïðîâåðèòü âûïîëíåíèå ýòîãî òîæäåñòâà ìîæíî, óìíîæèâ îáå ÷àñòè ôîðìóëû íà (A + BT DB). Ìàòðè÷íîå íåðàâåíñòâî ([45, ñ. 69]. Ïóñòü ìàòðèöà AT A  íåâûðîæäåííàÿ. Òîãäà äëÿ ïðîèçâîëüíîé ìàòðèöû B ñîîòâåòñòâóþùåé ðàçìåðíîñòè

BT B  BT A(AT A) 1 AT B:

Ï.3. Ôàêòîðèçàöèÿ ìàòðè÷íûõ ôóíêöèé Îáùèå ðåçóëüòàòû î ñïåêòðàëüíîé ôàêòîðèçàöèè ïîëîæèòåëüíûõ îïåðàòîðîâ ìîæíî íàéòè â [47, ñì. ðàçä. 2.3, ñ. 89 93]. Çäåñü îãðàíè÷èìñÿ ôîðìóëèðîâêîé òåîðåìû, êàñàþùåéñÿ âàæíîãî ÷àñòíîãî ñëó÷àÿ: ôàêòîðèçàöèè äðîáíî-ðàöèîíàëüíûõ ôóíêöèé (ä.-ð.ô.). Òåîðåìà (òåîðåìà 3.Ï.6 èç [44, ñ. 182]). Ïóñòü S ()  äðîáíî-ðàöèîíàëüíàÿ (ìàòðè÷íàÿ) ôóíêöèÿ ñ âåùåñòâåííûìè êîýôôèöèåíòàìè â ìàòðè÷íûõ ýëåìåíòàõ, îïðåäåëåííàÿ è íåîòðèöàòåëüíàÿ ïðè âñåõ jj = 1. Òîãäà ñóùåñòâóåò óñòîé÷èâàÿ ä.-ð.ô. (), òàêàÿ, ÷òî ñïðàâåäëèâî ïðåäñòàâëåíèå S () = ()( 1 )T

ïðè âñåõ êîìïëåêñíûõ çíà÷åíèÿõ . Ïðè ýòîì, åñëè detS () 6= 0 ïðè óñòîé÷èâàÿ ä.-ð.ô.

jj = 1,

òî

()

1  115

Ï.4. Ñõîäèìîñòü ðåêóððåíòíûõ àëãîðèòìîâ  ýòîì ðàçäåëå ïðèâîäÿòñÿ íåñêîëüêî îáùèõ ðåçóëüòàòîâ ïî èññëåäîâàíèþ ñâîéñòâ îöåíîê, äîñòàâëÿåìûõ ðåêóððåíòíûìè àëãîðèòìàìè. È õîòÿ â òåêñòå ïîñîáèÿ íåò ïðÿìûõ ññûëîê íà ýòè ðåçóëüòàòû, èõ ôîðìóëèðîâêà ïîëåçíà ñ öåëüþ èëëþñòðàöèè ðàçíîîáðàçíûõ âîçìîæíîñòåé àíàëèçà îöåíîê, êîòîðûå ìîæíî èñïîëüçîâàòü â äàëüíåéøåì èçó÷åíèè.

Ï.4.1. Ëèíåéíûé ñëó÷àé Èçëîæåíèå â ýòîì ðàçäåëå ñëåäóåò ðàáîòå [31], â êîòîðîé äëÿ àíàëèçà ðåêóððåíòíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ ïðèìåíÿåòñÿ ïîäõîä, àíàëîãè÷íûé ïåðâîìó ìåòîäó Ëÿïóíîâà â òåîðèè óñòîé÷èâîñòè. Ðàññìîòðèì èòåðàòèâíûé ïðîöåññ âèäà

^n = ^n

1

n (R(^n 1 ) + n); R(X ) = B(X

 );

ãäå n  íîìåð èòåðàöèè; f^n g  ïîñëåäîâàòåëüíîñòü r -ìåðíûõ âåêòîðîâ; n  0  äåòåðìèíèðîâàííûå ñêàëÿðû; B  ìàòðèöà ðàçìåðíîñòüþ r  r ;   èñêîìîå ðåøåíèå; n  ïîìåõè.  êà÷åñòâå ìåðû áëèçîñòè ïðèáëèæåíèÿ ^n ê  áóäåì ðàññìàòðèâàòü ìàòðèöó

Sn = Ef(^n

)(^n )Tg:

Ñëåäóþùàÿ òåîðåìà õàðàêòåðèçóþò ïîâåäåíèå ìàòðèö Sn :

Òåîðåìà [31, òåîðåìû 12]. Ïóñòü âûïîëíåíû ñëåäóþùèå

óñëîâèÿ: 1)ìàòðèöà

( B)  óñòîé÷èâà, ò.å. Rei   > 0

äëÿ âñåõ ñîáñòâåííûõ çíà÷åíèé i ìàòðèöû

B; 116

2)ïîìåõè n (^n 1 ) çàâèñÿò òîëüêî îò ðîâàíû è âçàèìíî íåçàâèñèìû; 3)äèñïåðñèÿ ïîìåõè êîíå÷íà, ïðè÷åì

Efn (X )nT (X )g  W + T(X

n

)(X

è ^n 1 , öåíòðè-

)T TT ;

çäåñü W è T  r  r -ìàòðèöû; W  íåîòðèöàòåëüíî îïðåäåëåííàÿ ñèììåòðè÷íàÿ ìàòðèöà; 4)íà÷àëüíîå ïðèáëèæåíèå ^0 ìîæåò áûòü äåòåðìèíèðîâàííûì èëè ñëó÷àéíûì; â ïîñëåäíåì ñëó÷àå ïðåäïîëàãàåòñÿ, ÷òî ñóùåñòâóåò

S0 = Ef(^0 Åñëè n !  > ÷òî ïðè 0 <  <  

)(^0 )T g;

0 ïðè n ! 1. Òîãäà íàéäåòñÿ òàêîå  , Sn  S1 + Vn ;

ãäå S1  ðåøåíèå ìàòðè÷íîãî óðàâíåíèÿ

BS + SBT = (W + BSBT + TSTT) è

Vn ! 0. Åñëè n  ; 0 <  <   , òî kVn k < cn ;  < 1.  ÷àñòíîñòè, åñëè n  , à T = 0, òî Vn = (I B)n (S0

S1)(I B)n :

Åñëè n ! 0 ïðè n ! 1, ïîñëåäîâàòåëüíîñòü fnn g ìîíîòîííî âîçðàñòàåò è nn !  > =2 ïðè n ! 1(âîçìîæíî,  = 1), òîãäà

Sn  n S + Vn ; ãäå

kVn k = o (n ), à S  0  ðåøåíèå ìàòðè÷íîãî óðàâíåíèÿ BS + SBT =  1 S + W: 117

Ï.4.2. Ìåòîä ñòîõàñòè÷åñêîé ôóíêöèè Ëÿïóíîâà Äëÿ àíàëèçà ðåêóððåíòíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ â íåëèíåéíîì ñëó÷àå ìîæíî èñïîëüçîâàòü ïîäõîä, àíàëîãè÷íûé âòîðîìó ìåòîäó Ëÿïóíîâà â òåîðèè óñòîé÷èâîñòè. Ïåðâûé îáùèé ðåçóëüòàò, ïîëó÷åííûé òàêèì îáðàçîì, ïðèíàäëåæèò Äæ. Áëþìó [61]. Ðàññìîòðèì ðåêóððåíòíûé àëãîðèòì â ïðîñòðàíñòâå R r :

^n = ^n

1

n Yn ;

ãäå n  íîìåð èòåðàöèè; ^n  r -ìåðíûå âåêòîðû; n  0  äåòåðìèíèðîâàííûå ñêàëÿðíûå ìíîæèòåëè (âåëè÷èíû ðàçìåðà øàãîâ); Yn  ñëó÷àéíûå r -ìåðíûå âåêòîðû (íàïðàâëåíèÿ äâèæåíèÿ). Èçó÷åíèå ñõîäèìîñòè ïðîöåññà ïîñòðîåíèÿ îöåíîê ïðîâåäåì ñ ïîìîùüþ ñêàëÿðíîé ôóíêöèè V (X )  àíàëîãà ôóíêöèè Ëÿïóíîâà.  ñëåäóþùåé òåîðåìå ñôîðìóëèðîâàíû îñíîâíûå ðåçóëüòàòû î ñõîäèìîñòè ïîñëåäîâàòåëüíîñòè îöåíîê f^n g: Òåîðåìà [30, òåîðåìû 13]. Ïðåäïîëîæèì, ÷òî âûïîëíåíû ñëåäóþùèå óñëîâèÿ: 1) èòåðàòèâíûé ïðîöåññ èìååò ìàðêîâñêèé õàðàêòåð, ò.å. ðàñïðåäåëåíèå ñëó÷àéíîãî âåêòîðà Yn çàâèñèò òîëüêî îò ^n 1 è n: Yn = Gn (!; ^n 1 ); 2) ôóíêöèÿ V (X )  íåîòðèöàòåëüíà, inf V (X ) = 0, V (X )  äèôôåðåíöèðóåìà, à åå ãðàäèåíò óäîâëåòâîðÿåò óñëîâèþ Ãåëüäåðà ïîðÿäêà  (0 <   1):

krV (X ) rV ()k  AkX k; 3) óñëîâèå ïñåâäîãðàäèåíòíîñòè:

hrV (X ); EfGn (!; X )gi  ÆnV (X ) n; 118

ñ íåêîòîðûìè ïîñëåäîâàòåëüíîñòÿìè Æn 4)óñëîâèå íà Gn (
;
):

> 0; n  0;

EfkGn (!; X )k+1 g  n+1 + n V (X ); n  0; n  0: 5)óñëîâèå íà íà÷àëüíîå ïðèáëèæåíèå: EfV (^0 )g < 1; 6)óñëîâèå íà ïîñëåäîâàòåëüíîñòü fn g:

0  n  1; ãäå



n = n Æn



An n ; +1 

X

n

n = 1;

n = n n + 

A +1 +1   ; +1 n n



n n 1 ;  = 1 ; 0 = 1 n n n+1 n n Åñëè limn!1 n  ;   0; òîãäà

n =



n+1 1 : n n+1

limn!1EfV (^n )g  : Åñëè ïðè ýòîì n

  äëÿ âñåõ n, òî

EfV (^n )g  EfV (^0 )g

n Y i=0



(1 i ) +  1

n Y i=0



(1 i ) :

Åñëè n ! 0; òîãäà EfV (^n )g ! 0: Åñëè, êðîìå òîãî, à) limn!1 n   < 1, òî

 EfV (^n )g  n+1 + o(n+1 ); 1 

á)

n   < 1 äëÿ âñåõ n, òî EfV (^n )g  119

!



 n   EfV (^0 )g 1 Y 1 (1 )i ;  n+1 1  + 0 1  i=0 â) limn!1 0n   > 1, òî

1

EfV (^n )g = O ã)

n Y i=0



(1 i ) ;

0n   > 1 äëÿ âñåõ n, òî 

 EfV (^n )g  EfV (^0 )g + 0 1 

Y n

i=0

P

1  < 1; òîãäà V (^ ) ! Åñëè n n n åäèíèöà. Ïðè ýòîì äëÿ âñÿêîãî " > 0; n0

(1 i ):

0 c âåðîÿòíîñòüþ

0 P EfV (^0 )g + 1 n n : PfV (^n )  " 8n  n0 g  1 "

Åñëè, êðîìå òîãî, limn!1 0n   > 1, òî äëÿ âñÿêîãî íàéäåòñÿ òàêîå C = C (K; EfV (^0 )g), ÷òî (

P V (^n )  (C + K ) à åñëè 0n (

i=0

  > 1 äëÿ âñåõ n, 

)

n Y

K>0

 1 KC ;

(1 i ) 8n

òî

P V (^n )  K + EfV (^0 )g + 1

0

n Y



i=0

(1 i ) 8n

)



^  1 EfVK(0)g K (0 1) :

120

ÒÅÐÌÈÍÎËÎÃÈ×ÅÑÊÈÉ ÓÊÀÇÀÒÅËÜ

Aëãîðèòì

êîíå÷íî-ñõîäÿùèéñÿ 99  îïòèìèçàöèè 6  îöåíèâàíèÿ 7  "Ïîëîñêà" 103  ïñåâäîãðàäèåíòíûé 68  ðàíäîìèçèðîâàííûé 29  ðîáàñòíûé 77  ñ îãðàíè÷åíèÿìè 77  ñ ïðîåêöèåé 77  ñ óñðåäíåíèåì 75  ñëó÷àéíîãî ïîèñêà 8, 16, 80  ñòîõàñòè÷åñêîé àïïðîêñèìàöèè 61    ïàññèâíîé 73    ïîèñêîâûé 69    ðàíäîìèçèðîâàííûé 69    ñ âîçìóùåíèåì íà âõîäå 70    ñ íàïðàâëåíèÿìè ñëó÷àéíûìè 69     ôèêñèðîâàííûìè 68  SPSA 69

Áàéåñîâñêèé

ïîäõîä 85

Båêòîð

ñëó÷àéíûé 109   ñòðîãî îðòîãîíàëüíûé 35 Âåëè÷èíà ðàáî÷åãî øàãà 61  ñëó÷àéíàÿ 107   ãàóññîâñêàÿ 35 Âîçìóùåíèå ïðîáíîå îäíîâðåìåííîå 68 Âûáîðêà ïîñëîéíàÿ 75 Äèñïåðñèÿ Çàêîí

108

áîëüøèõ ÷èñåë 110  óñèëåííûé 111

Èíòåðïîëÿöèÿ Êîâàðèàöèÿ

48

108

Êîýôôèöèåíò âåñîâîé 39  óñèëåíèÿ êàëìàíîâñêèé 57 Ëèíèÿ

ðåãðåññèè 34 Ëîãàðèôì ïðàâäîïîäîáèÿ 23, 90 Ìàòåìàòè÷åñêîå

îæèäàíèå 107 Ìàòðèöà èíôîðìàöèîííàÿ Ôèøåðà 94 Ìåäèàíà 86, 92 Ìåòîä ãðàäèåíòíûé 8  ÂèíåðàÊîëìîãîðîâà 47  èòåðàòèâíûé 7  Ëÿïóíîâà 118  ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ 23, 91  íàèìåíüøèõ êâàäðàòîâ 6, 10, 37    ìîäèôèöèðîâàííûé 45     ðåêóððåíòíûé 45      îáîáùåííûé 44  ÌîíòåÊàðëî 83  Íüþòîíà 63  ðåêóððåíòíûé 7  ñëó÷àéíîãî ïîèñêà 80  ñòîõàñòè÷åñêîé àïïðîêñèìàöèè 61  ýëëèïñîèäîâ 104  ýìïèðè÷åñêîãî ôóíêöèîíàëà 84 Ìîäà 86 Ìîäåëü àâòîðåãðåññèè 42   ñêîëüçÿùåãî ñðåäíåãî 42  ëèíåéíîé ðåãðåññèè 34  ðåãðåññèè 33  ñêîëüçÿùåãî ñðåäíåãî 42 Íåçàâèñèìîñòü

109 Íåêîððåëèðîâàííîñòü 108 Íåðàâåíñòâî Ãåëüäåðà 110  Èåíñåíà 110

121

   

ÊðàìåðàÐàî 94 ×åáûøåâà 109 öåëåâîå 99  ðåêóððåíòíîå 100

Îïòèìèçàöèÿ

7 Îòêëîíåíèå ñòàíäàðòíîå 108 Îöåíèâàíèå 6 Îöåíêà áàéåñîâñêàÿ 85, 88  ëèíåéíàÿ 37  ìàðêîâñêàÿ 39  ÌÌÏ 91  ÌÍÊ 37   îáîáùåííîãî 38   ðåêóððåíòíîãî 44    ìîäèôèöèðîâàííîãî 45    îáîáùåííîãî 44    ðàíäîìèçèðîâàííîãî 46  íåñìåùåííàÿ 37  ñèëüíîñîñòîÿòåëüíàÿ 37  ñîñòîÿòåëüíàÿ 37  óñå÷åííàÿ 76  óñðåäíåííàÿ 75  ýôôåêòèâíûå 95 Îøèáêà îöåíèâàíèÿ 37 Ïëîòíîñòü

àïîñòåðèîðíàÿ 87  àïðèîðíàÿ 87  ñïåêòðàëüíàÿ 112  ôóíêöèè ðàñïðåäåëåíèÿ 108 Ïîãðåøíîñòü 6  ñèñòåìàòè÷åñêàÿ 5  ñòàòèñòè÷åñêàÿ 5 Ïîìåõà íåçàâèñèìàÿ 22  ïî÷òè ïðîèçâîëüíàÿ 41, 97  öåíòðèðîâàííàÿ 22 Ïîðîãîâîå çíà÷åíèå 26 Ïîñëåäîâàòåëüíîñòü ñëó÷àéíàÿ 109 Ïðîáíîå îäíîâðåìåííîå âîçìóùåíèå 29, 68 Ïðîãíîç 48 Ïðîöåäóðà ÊèôåðàÂîëüôîâèöà 8, 67  ÐîááèíñàÌîíðî 8, 64 Ïðîöåññ ñòàöèîíàðíûé 111  ñòàöèîíàðíî ñâÿçàííûé 112

 íîðìàëüíîå 108 Ðåàëèçàöèÿ 109 Ðåãðåññèÿ 34 Ðåøàùåå ïðàâèëî 26 Ñåïàðàöèÿ

50 Ñèãíàë ïîëåçíûé 21 Ñóáãðàäèåíò 79 Òåîðåìà

ÃàóññàÌàðêîâà 39 Òðàåêòîðèÿ 109 Óðàâíåíèå

ÂèíåðàÕîïôà 55  ðåãðåññèè 61 Óñëîâèå Ãåëüäåðà 118  ïîñòîÿííîãî âîçáóæäåíèÿ 45  ïñåâäîãðàäèåíòíîñòè 118 Óñëîâíîå ñðåäíåå 86 Óñðåäíåíèå ñ âåñàìè 24 Ôàêòîðèçàöèÿ

49, 115 Ôèëüòð ÂèíåðàÊîëìîãîðîâà 12, 50  ÊàëìàíàÁüþñè 14, 47, 57  ëèíåéíûé 48 Ôèëüòðàöèÿ 48  îïòèìàëüíàÿ 47 Ôîðìóëà Áàéåñà 86 Ôóíêöèîíàë êà÷åñòâà 7  ñðåäíåãî ðèñêà 7, 29  ýìïèðè÷åñêèé 38, 84 Ôóíêöèÿ âåñîâàÿ ôèëüòðà 48  Ëÿïóíîâà 118  ïåðåäàòî÷íàÿ ôèëüòðà 48  ïîòåðü 7, 29  ïðàâäîïîäîáèÿ 23, 90  ðàñïðåäåëåíèÿ 108  ðåãðåññèè 7  ñïåêòðàëüíàÿ 112  ñðåäíèõ ïîòåðü 30  óñòîé÷èâàÿ 48  öåëåâàÿ 7  øòðàôíàÿ 30 Ýêñòðàïîëÿöèÿ

48

Ðàñïðåäåëåíèå

108  ãàóññîâñêîå 108

122

ÓÊÀÇÀÒÅËÜ ËÈÒÅÐÀÒÓÐÛ

1. Àëáåðò À. Ðåãðåññèÿ, ïñåâäîèíâåðñèÿ è ðåêóððåíòíîå îöåíèâàíèå. Ì.: Íàóêà, 1977. 223 ñ. 2. Áðàììåð Ê., Çèôôëèíã Ã. Ôèëüòð ÊàëìàíàÁüþñè: äåòåðìèíèðîâàííûå íàáëþäåíèÿ è ñòîõàñòè÷åñêàÿ ôèëüòðàöèÿ. Ì.: Íàóêà, 1982. 199 ñ. 3. Âàçàí Ì. Ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ. Ì.: Ìèð, 1972. 295 ñ. 4. Âàïíèê Â.Í. Âîññòàíîâëåíèå çàâèñèìîñòåé ïî ýìïèðè÷åñêèì äàííûì. Ì.: Íàóêà, 1979. 447 ñ. 5. Âèíåð Í. Êèáåðíåòèêà, èëè óïðàâëåíèå è ñâÿçü â æèâîòíîì è ìàøèíå. Ì.: Íàóêà, 1983. 344 ñ. 6. Ãðàíè÷èí Î.Í. Îá îäíîé ñòîõàñòè÷åñêîé ðåêóððåíòíîé ïðîöåäóðå ïðè çàâèñèìûõ ïîìåõàõ â íàáëþäåíèè, èñïîëüçóþùåé íà âõîäå ïðîáíûå âîçìóùåíèÿ // Âåñòíèê Ëåíèíãð. óíòà Ñåð. 1. 1989. Âûï. 1. Ñ. 1921. 7. Ãðàíè÷èí Î.Í. Îöåíèâàíèå ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ïðè ïðîèçâîëüíûõ ïîìåõàõ // Àâòîìàòèêà è òåëåìåõàíèêà. 2002. No. 1. Ñ. 3041. 8. Ãðàíè÷èí Î.Í. Ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ïðè ïðîèçâîëüíûõ ïîìåõàõ // Àâòîìàòèêà è òåëåìåõàíèêà. 2002. No. 2. Ñ. 4455.

123

9. Ãðàíè÷èí Î.Í. Íåìèíèìàêñíàÿ ôèëüòðàöèÿ ïðè íåèçâåñòíûõ îãðàíè÷åííûõ ïîìåõàõ â íàáëþäåíèÿõ // Àâòîìàòèêà è òåëåìåõàíèêà. 2002. No. 9. Ñ. 125133. 10. Ãðàíè÷èí Î.Í., Ïîëÿê Á.Ò. Ðàíäîìèçèðîâàííûå àëãîðèòìû îïòèìèçàöèè è îöåíèâàíèÿ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ. Ì.: Hàóêà.  ïå÷àòè. 11. Åðåìèí È.È. Èòåðàòèâíûé ìåòîä äëÿ ÷åáûøåâñêèõ ïðèáëèæåíèé íåñîâìåñòíûõ ñèñòåì ëèíåéíûõ íåðàâåíñòâ // Äîêëàäû ÀÍ ÑÑÑÐ. 1962. Ò. 143, No. 6. Ñ. 12541256. 12. Åðìàêîâ Ñ.Ì. Ìåòîä ÌîíòåÊàðëî è ñìåæíûå âîïðîñû. Ì.: Hàóêà, 1975. 471 c. 13. Åðìàêîâ Ñ.Ì., Æèãëÿâñêèé À.À. Ìàòåìàòè÷åñêàÿ òåîðèÿ îïòèìàëüíîãî ýêñïåðèìåíòà. Ì.: Hàóêà, 1987. 320 c. 14. Åðìîëüåâ Þ.Ì. Ìåòîäû ñòîõàñòè÷åñêîãî ïðîãðàììèðîâàíèÿ. Ì.: Íàóêà. 1976. 239 ñ. 15. Æèëèíñêàñ À. Ãëîáàëüíàÿ îïòèìèçàöèÿ. Ìîêñëàñ, 1986. 165 ñ.

Âèëüíþñ:

16. Êàëìàí Ð.Å., Áüþñè Ð.Ñ. Íîâûå ðåçóëüòàòû â ëèíåéíîé ôèëüòðàöèè è òåîðèè ïðåäñêàçàíèÿ // Òðóäû àìåðèêàíñêîãî îáùåñòâà èíæåíåðîâ-ìåõàíèêîâ. Òåõíè÷åñêàÿ ìåõàíèêà. Ñåð. Ä. 1961. Ò. 83, No 1. Ñ. 123141. 17. Êàòêîâíèê Â.ß. Ëèíåéíûå îöåíêè è ñòîõàñòè÷åñêèå çàäà÷è îïòèìèçàöèè. Ì.: Hàóêà, 1976. 487 ñ. 18. Êîëìîãîðîâ À.Í. Èíòåðïîëèðîâàíèå è ýêñòðàïîëèðîâàíèå ñòàöèîíàðíûõ ñëó÷àéíûõ ïîñëåäîâàòåëüíîñòåé // Èçâåñòèÿ ÀÍ ÑÑÑÐ. Ñåð. ìàòåì. 1941. No. 5. Ñ. 314. 19. Êîòåëüíèêîâ Â.À. Òåîðèÿ ïîòåíöèàëüíîé ïîìåõîóñòîé÷èâîñòè. Ì.: Ãîñýíåðãîèçäàò, 1956. 151 ñ. 124

20. Êðàñóëèíà Ò.Ï., Î âåðîÿòíîñòè íåïðåâûøåíèÿ èñêîìîãî ïîðîãà àëãîðèòìîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè // Àâòîìàòèêà è òåëåìåõàíèêà. 1998. No. 10. Ñ. 9094. 21. Êóðæàíñêèé À.Á. Óïðàâëåíèå è íàáëþäåíèÿ â óñëîâèÿõ íåîïðåäåëåííîñòè. Ì.: Hàóêà, 1977. 392 c. 22. Ëèïöåð Ð.Ø., Øèðÿåâ À.Í. Ñòàòèñòèêà ñëó÷àéíûõ ïðîöåññîâ. Ì.: Hàóêà, 1974. 696 c. 23. Ëüþíã Ë., Ñåäåðñòðåì T. Èäåíòèôèêàöèÿ ñèñòåì: òåîðèÿ äëÿ ïîëüçîâàòåëÿ. Ì.: Hàóêà, 1991. 431 ñ. 24. Ìàðêîâ À.À. Èñ÷èñëåíèå âåðîÿòíîñòåé. Ì.: ÃÈÇ, 1924. 25. Ìèõàëåâè÷ Â.Ñ., Ãóïàë À.Ì., Íîðêèí Â.È. Ìåòîäû íåâûïóêëîé îïòèìèçàöèè. Ì.: Íàóêà, 1987. 279 ñ. 26. Íàçèí À.Â.,Ïîëÿê Á.T., Öûáàêîâ À.Á. Ïàññèâíàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ // Àâòîìàòèêà è òåëåìåõàíèêà. 1989. No 11. Ñ. 127134. 27. Íàçèí À.Â., Ïîçíÿê À.Ñ. Àäàïòèâíûé âûáîð âàðèàíòîâ: ðåêóððåíòíûå àëãîðèòìû. Ì.: Íàóêà, 1986. 288 ñ. 28. Íåâåëüñîí Ì.Á., Õàñüìèíñêèé Ð.Ç. Ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ è ðåêóððåíòíîå îöåíèâàíèå. Ì.: Íàóêà, 1972. 304 ñ. 29. Ïîëÿê Á.T., Öûïêèí ß.Ç. Ïñåâäîãðàäèåíòíûå àëãîðèòìû àäàïòàöèè è îáó÷åíèÿ // Àâòîìàòèêà è òåëåìåõàíèêà. 1973. No. 3. Ñ. 4568. 30. Ïîëÿê Á.T. Ñõîäèìîñòü è ñêîðîñòü ñõîäèìîñòè èòåðàòèâíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ. 1. Îáùèé ñëó÷àé // Àâòîìàòèêà è òåëåìåõàíèêà. 1976. No. 12. Ñ. 8394.

125

31. Ïîëÿê Á.T. Ñõîäèìîñòü è ñêîðîñòü ñõîäèìîñòè èòåðàòèâíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ. 2. Ëèíåéíûé ñëó÷àé // Àâòîìàòèêà è òåëåìåõàíèêà. 1977. No 4. Ñ. 101 107. 32. Ïîëÿê Á.T., Öûïêèí ß.Ç. Îïòèìàëüíûå ïñåâäîãðàäèåíòíûå àëãîðèòìû àäàïòàöèè // Àâòîìàòèêà è òåëåìåõàíèêà. 1980. No. 8. Ñ. 7484. 33. Ïîëÿê Á.T., Öûïêèí ß.Ç. Ðîáàñòíûå ïñåâäîãðàäèåíòíûå àëãîðèòìû àäàïòàöèè // Àâòîìàòèêà è òåëåìåõàíèêà. 1980. No 10. Ñ. 9197. 34. Ïîëÿê Á.Ò. Ââåäåíèå â îïòèìèçàöèþ. Ì.: Hàóêà, 1983. 384 ñ. 35. Ïîëÿê Á.Ò., Öûáàêîâ À.Á. Îïòèìàëüíûå ïîðÿäêè òî÷íîñòè ïîèñêîâûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè // Ïðîáëåìû ïåðåäà÷è èíôîðìàöèè. 1990. No. 2. Ñ. 4553. 36. Ïîëÿê Á.Ò. Hîâûé ìåòîä òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè // Àâòîìàòèêà è òåëåìåõàíèêà. 1990. No 7. Ñ. 98108. 37. Ïîëÿê Á.Ò., Ùåðáàêîâ Ï.Ñ. Ðîáàñòíàÿ óñòîé÷èâîñòü è óïðàâëåíèå. Ì.: Hàóêà, 2002. 303 ñ. 38. Ðàñòðèãèí Ë.À. Ñòàòèñòè÷åñêèå ìåòîäû ïîèñêà. Ì.: Íàóêà, 1968. 376 ñ. 39. Ðàñòðèãèí Ë.À. Àäàïòàöèÿ ñëîæíûõ ñèñòåì. Çèíàòíå, 1981. 386 c..

Ðèãà:

40. Ñðàãîâè÷ Â.Ã. Àäàïòèâíîå óïðàâëåíèå. Ì.: Íàóêà, 1981. 384 c.

126

41. Ñòðàòîíîâè÷ À.Ë. Óñëîâíûå ìàðêîâñêèå ïðîöåññû è èõ ïðèìåíåíèå ê òåîðèè îïòèìàëüíîãî óïðàâëåíèÿ. Ì.: Èçäâî Ìîñêîâñê. óíòà, 1966. 319 c. 42. Óðÿñüåâ Ñ.Ï. Àäàïòèâíûå àëãîðèòìû ñòîõàñòè÷åñêîé îïòèìèçàöèè è òåîðèè èãð. Ì.: Hàóêà, 1990. 182 c. 43. Ôåëüäáàóì À.À. Î ïðîáëåìàõ äóàëüíîãî óïðàâëåíèÿ // Ìåòîäû îïòèìèçàöèè àâòîìàòè÷åñêèõ ñèñòåì. Ì.: Hàóêà, 1972. Ñ. 89108. 44. Ôîìèí Â.Í., Ôðàäêîâ À.Ë., ßêóáîâè÷ Â.À. Àäàïòèâíîå óïðàâëåíèå äèíàìè÷åñêèìè îáúåêòàìè. Ì.: Íàóêà, 1981. 448 c. 45. Ôîìèí Â.Í. Ðåêóððåíòíîå îöåíèâàíèå è àäàïòèâíàÿ ôèëüòðàöèÿ. Ì.: Íàóêà, 1984. 288 ñ. 46. Ôîìèí Â.Í. Ìåòîäû óïðàâëåíèÿ ëèíåéíûìè äèñêðåòíûìè îáúåêòàìè. Ë.: Èçä-âî Ëåíèíãð. óí-òà, 1985. 336 c. 47. Ôîìèí Â.Í. Îïåðàòîðíûå ìåòîäû òåîðèè ëèíåéíîé ôèëüòðàöèè ñëó÷àéíûõ ïðîöåññîâ. ÑÏá.: Èçäâî Ñ.Ïåòåðá. óí-òà, 1996. 306 ñ. 48. Ôîìèí Â.Í. Îïòèìàëüíàÿ è àäàïòèâíàÿ ôèëüòðàöèÿ. Ñ.-Ïá.: Èçäâî Ñ.-Ïåòåðá. óí-òà.  ïå÷àòè. 49. Öûïêèí ß.Ç. Àäàïòàöèÿ è îáó÷åíèå â àâòîìàòè÷åñêèõ ñèñòåìàõ. Ì.: Hàóêà, 1968. 400 ñ. 50. Öûïêèí ß.Ç. Îñíîâû òåîðèè îáó÷àþùèõñÿ ñèñòåì. Ì.: Hàóêà, 1970. 252 ñ. 51. Öûïêèí ß.Ç. Îñíîâû èíôîðìàöèîííîé òåîðèè èäåíòèôèêàöèè. Ì.: Hàóêà, 1984. 320 c. 127

52. Öûïêèí ß.Ç. Èíôîðìàöèîííàÿ òåîðèÿ èäåíòèôèêàöèè. Ì.: Hàóêà, 1995. 336 c. 53. ×åðíîóñüêî Ô.Ë. Îöåíèâàíèå ôàçîâîãî ñîñòîÿíèÿ äèíàìè÷åñêèõ ñèñòåì: ìåòîä ýëëèïñîèäîâ. Ì.: Íàóêà, 1988. 319 ñ. 54. Øèëüìàí Ñ.Â. Àäàïòèâíàÿ ôèëüòðàöèÿ âðåìåííûõ ðÿäîâ. Í.Íîâãîðîä: Èçäâî Í.-Íîâã. óí-òà, 1995. 180 ñ. 55. Øèðÿåâ À.Í. Âåðîÿòíîñòü. Ì.: Íàóêà, 1980. 574 ñ. 56. Ýéêõîôô Ï. Îñíîâû èäåíòèôèêàöèè ñèñòåì óïðàâëåíèÿ. Ì.: Ìèð, 1975. 683 ñ. 57. Ýëüÿñáåðã Ï.Å. Îïðåäåëåíèå äâèæåíèÿ ïî ðåçóëüòàòàì èçìåðåíèé. Ì.: Íàóêà, 1976. 416 ñ. 58. ßêóáîâè÷ Â.À. Ðåêóððåíòíûå êîíå÷íî-ñõîäÿùèåñÿ àëãîðèòìû ðåøåíèÿ ñèñòåì íåðàâåíñòâ // Äîêëàäû ÀÍ ÑÑÑÐ. 1966. Ò. 166, No. 6. Ñ. 13081311. 59. ßêóáîâè÷ Â.À. Ìåòîä ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ â òåîðèè àäàïòèâíûõ ñèñòåì // Âîïðîñû êèáåðíåòèêè. Àäàïòèâíûå ñèñòåìû. Ì.: Íàó÷í. ñîâ. ïî êèáåðíåòèêå ÀÍ ÑÑÑÐ, 1976. Ñ. 3263. 60. Agmon S., Motzkin T., Shoenberg I.J. The relaxation method for linear inequalities // Canadian J. Math. 1954. Vol. 6. P. 382404. 61. Blum J.R. Multidimensional stochastic appoximation // Ann. Math. Statist. 1954. Vol. 9. P. 737744. 62. Bode H.W., Shannon C.E. A simplified derivation of linear least square smoothing and prediction theory // Proc. IRE. 1950. N 38. P. 417425. 128

63. Chen H.F., Duncan T.E., PasikDuncan B. A Kiefer Wolfowitz algorithm with randomized differences // IEEE Trans. on Automatic Control. 1999. Vol. 44, N 3. P. 442 453. 64. Fabian V. Stochastic approximation of minima with improved asymptotic speed // Ann. Math. Statist. 1967. Vol. 38. P. 191200. 65. Fisher R.A. The design of experiments. Edinburgh: Oliver and Boyd, 1935. 66. Goldenshluger A.V., Polyak B.T. Estimation of regression parameters with arbitrary noise // Mathem. Methods Statist. 1993. Vol. 2, N 1. P. 1829. 67. Guo L. Selfconvergence of weighted leastsquares with applications to stochastic adaptive control // IEEE Trans. on Automatic Control. 1996. Vol. 41, N 1. P. 7989. 68. Kiefer J., Wolfowitz J. Statistical estimation on the maximum of a regression function // Ann. Math. Statist. 1952. Vol. 23. P. 462466. 69. Kushner H.J., Yin G.G. Stochastic approximation algorithms and applications. New York: SpringerVerlag, 1997. 415 p. 70. Ljung L., Guo L. The role of model validation for assessing the size of the unmodeled dynamics // IEEE Trans. on Automatic Control. 1997. Vol. 42, N 9. P. 12301239. 71. Polyak Â.Ò., Yuditskij A.Â. Acceleration of stochastic approximation procedures by averaging // SIAM J. Contr. Optim. 1992. Vol. 30, N 4. P. 838855. 72. Polyak Â.Ò. Random algorithms for solving convex inequalities // Inherently parallel algorithms in feasibility and 129

optimization and their applications. / Eds.: D. Butnaru, Y. Censor and S. Reich. Elsevier, 2001. P. 409422. 73. Robbins H., Monro S. A stochastic approximation method // Ann. Math. Statist. 1951. Vol. 22. P. 400407. 74. Robbins H., Siegmund D. A convergence theorem for nonnegative almost supermartingales and some applications // Optimizing methods in statistics. / Ed. J.S. Rustagi. New York: Academic Press, 1971. P. 233257. 75. Schweppe F.C. Uncertain dynamic systems. New York London: PrenticHall, 1973. 563 p. 76. Spall J.C. Multivariate stochastic approximation using a simultaneous perturbation gradient approximation // IEEE Trans. on Automatic Control. 1992. Vol. 37. P. 332341. 77. Vidyasagar M. Statistical learning theory and randomized algorithms for control // IEEE Control Systems. 1998. N 12. P. 6985. 78. Weiner N. The extrapolation, interpolation and smoothing of stationary time series with engineering application. New York: Technology Press and Wiley, 1949.

Ó÷åáíîå èçäàíèå Îëåã Íèêîëàåâè÷ Ãðàíè÷èí

Ââåäåíèå â ìåòîäû ñòîõàñòè÷åñêîé îïòèìèçàöèè è îöåíèâàíèÿ

Ó÷åáíîå ïîñîáèå

Ðåäàêòîð Ò.Â. Ìûçíèêîâà Êîìïüþòåðíàÿ âåðñòêà Î.Í. Ãðàíè÷èí Õóäîæåñòâåííûé ðåäàêòîð Å.È. Åãîðîâà Èçäàíèå ïîäãîòîâëåíî â MiKTEX 2.0