Искусственные нейронные сети: Учебное пособие

Ф Е Д Е Р АЛ Ь Н О Е АГ Е Н Т С Т В О П О О Б Р АЗО В АН И Ю В О Р О Н Е Ж С К И Й Г О С У Д АР С Т В Е Н Н Ы Й У Н И В Е Р С И Т Е Т

К аш иринаИ .Л .

И ск усственны енейронны есети

У ч ебное п ос обие

П осп ец иа льнос ти 010501 (010200) «П рикла дна я м а тем а тика и инф орм а тика » Д Н М.Р.02 Д С.20

2 У твержденона уч но-м етодич ес ким с оветом ф а культета П рикла дной м а тем а тики, инф орм а тики и м еха ники 14 июня 2005 года , п ротокол № 6

У ч ебное п ос обие п одготовлено на ка ф едре м а тем а тич ес ких м етодов ис с ледова ния оп ера ц ий ф а культета П рикла дной м а тем а тики, инф орм а тики и м еха ники В оронежс кого гос уда рс твенного универс итета . Реком ендуетс я для с тудентов 5 курс а дневногоотделения и м а гис тров п ервогогода обуч ения

3

С одержание

В ведение

4

§ 1. Биологич ес кий ней рони егом а тем а тич ес ка я м одель

6

§ 2. Н ей рос ети 2.1. Кла сс иф ика ц ия и с вой с тва ней рос етей 2.2. Теорем а Колм огорова

9 9 11

§ 3. П ерс еп трон

12

§ 4. Сеть обра тногора с п рос тра нения

18

§ 5. Сеть вс треч ногора с п рос тра нения 5.1. Сеть Кохонена . Кла с с иф ика ц ия обра з ов 5.2. Н ей роны Грос с берга . В ыходные и входные з вез ды 5.3. Д вухс лой на я с еть вс треч ногора с п рос тра нения

23 23 25 26

§ 6. Стоха с тич ес кие с ети 6.1. О буч ение Больц м а на 6.2. О буч ение Кош и

29 30 31

§ 7. Сети с обра тным и с вяз ям и 7.1. Сеть Х оп ф илда 7.2. Сеть Х эм м инга 7.3. Сеть Д А П (двуна п ра вленна я а с с оц иа тивна я п а м ять)

33 33 38 39

§ 8. Сеть А РТ (а да п тивна я рез она нс на я теория)

42

П РИ Л О Ж Е Н И Е П рогра м м на я реа лиз а ц ия п ерс еп трона П рогра м м на я реа лиз а ц ия с ети Х эм м инга

44 44 48

4

ВВЕ ДЕ Н И Е И ск усственны енейронны есети (И Н С) с троятс я п оп ринц ип а м орга низ а ц ии и ф ункц ионирова ния их биологич ес ких а на логов. Они с п ос обны реш а ть ш ирокий круг з а да ч ра с п оз на ва ния обра з ов, идентиф ика ц ии, п рогноз ирова ния, оп тим из ац ии, уп ра вления с ложным и объекта м и. Д а льней ш ее п овыш ение п роиз водительнос ти ком п ьютеров вс е в больш ой м ере с вяз ыва ют с И Н С, в ч а с тнос ти, с ней роком п ьютера м и (Н К), ос новукоторыхс ос та вляет ис кус с твенна я ней ронна я с еть. Д онеда внеговрем ени на д ис кус с твенным и ней ронным и с етям и дом инирова ли логич ес кие и с им вольно-оп ера ц ионные дис ц ип лины (на п рим ер, экс п ертные с ис тем ы). Сей ч а с более п оп улярна точ ка з рения, ч то ис кус с твенные ней ронные с ети вс коре з а м енят с обой с оврем енный ис кус с твенный интеллект. О дна ко м ногое с видетельс твует отом , ч тоони будут с ущ ес твова ть вм ес те, объединяяс ь в с ис тем а х, где ка ждый п одход ис п ольз уетс я для реш ения тех з а да ч , с которым и он луч ш е с п ра вляетс я. К р атк ая и сто р и ч еск ая спр авк а. Терм ин «ней ронные с ети» с ф орм ирова лс я к с ередине 50-х годов XX века . О с новные рез ульта ты в этой обла с ти с вяз а ны с им ена м и У . Ма кка лоха , Д . Х ебба , Ф . Роз енбла тта , М. Минс кого, Д ж. Х оп ф илда . В 1943 г. У . Ма кка лох (W. McCulloch) и У . П иттс (W. Pitts) п редложили м одель ней рона и с ф орм улирова ли ос новные п оложения теории ф ункц ионирова ния головногом оз га . В 1949 г. Д . Х ебб (D. Hebb) выс ка з а л идеи оха ра ктере с оединений ней ронов м оз га и их вз а им одей с твии и оп ис а л п ра вила обуч ения ней ронной с ети. В 1957 г. Ф . Роз енбла тт (F. Rosenblatt) ра з ра бота л п ринц ип ы орга низ а ц ии и ф ункц ионирова ния п ерс еп тронов, п редложил ва риа нт технич ес кой реа лиз а ц ии п ервогов м ире ней роком п ьютера Mark. В 1969 г. была оп убликова на книга М. Минс кого (М. Minsky) и С. П ей п ерта (S. Papert) «П ерс еп троны», в которой дока з ыва етс я п ринц ип иа льна я огра нич еннос ть воз м ожнос тей п ерс еп тронов, ч то п ос лужило п рич иной уга с а ния интерес а к ис кус с твенным ней ронным с етям . В на ч а ле 80-х годов п роисходит воз обновление интерес а к ис кус с твенным ней ронным с етям , ка к с ледс твие на коп ления новых з на ний о деятельнос ти м оз га , а та кже з на ч ительного п рогрес с а в обла с ти м икроэлектроники и ком п ьютерной техники. В 1982-1985 гг. Д ж. Х оп ф илд (J. Hopfield) п редложил с ем ей с тво оп тим из ирующ их ней ронных с етей , м оделирующ их а с с оц иа тивную п а м ять. 1987 г. п ос лужил на ч а лом ш ироком а с ш та бногоф ина нс ирова ния ра з ра боток в обла с ти И Н С и Н К в СШ А , Я п онии и За п а дной Е вроп е. В 1989 г. ра з ра ботки и ис с ледова ния в обла с ти И Н С и Н К ведутс я п ра ктич ес ки вс ем и круп ным и электротехнич ес ким и ф ирм а м и. Н ей роком п ьютеры с та новятс я одним изс а м ых дина м ич ных с екторов рынка (з а два года объем п рода ж вырос в п ять ра з ).

5 В 1997 г. годовой объем п рода ж на рынке И Н С и Н К п ревыс ил 2 м лрд. долла ров, а ежегодный п рирос т сос та вил 50%. В 2000 г. бла года ря п ереходу на с убм икронные и на нотехнологии, а та кже ус п еха м м олекулярной и биом олекулярной технологии п роис ходит п ереход к п ринц ип иа льноновым а рхитектурным и технологич ес ким реш ениям п ос оз да нию ней роком п ьютеров. О сно вны е пр о бл ем ы , р еш аем ы е и ск усственны м и нейр о нны м и сетя м и К л ассиф ик ация о б р азо в. За да ч а с ос тоит в ука з а нии п рина длежнос ти входного обра з а , п редс та вленного вектором п риз на ков, одном у или нес кольким п редва рительно оп ределенным кла с с а м . К из вес тным п риложениям относ ятс я ра с п оз на ва ние букв, ра с п оз на ва ние реч и, кла с с иф ика ц ия с игна ла электрока рдиогра м м ы, кла с с иф ика ц ия клеток крови, з а да ч и рей тингова ния. К л аст ер изация/к ат его р изация. П ри реш ении з а да ч и кла с териз а ц ии, котора я из вес тна та кже ка к кла с с иф ика ц ия обра з ов безуч ителя, отс утс твует обуч а ющ а я выборка с обра з ц а м и кла с с ов. А лгоритм кла с териз а ц ии ос нова нна п одобии обра з ов и ра з м ещ а ет близ кие обра з ы в один кла с тер. И з вес тны с луч а и п рим енения кла с териз а ц ии для из влеч ения з на ний , с жа тия да нных и ис с ледова ния с вой с тв да нных. А п п р о к симация ф унк ций. П редп оложим , ч то им еетс я обуч а ющ а я выборка ((X1, Y2), (X2, Y2), ..., (XN, YN)), котора я генерируетс я неиз вес тной ф ункц ией , ис ка женной ш ум ом . За да ч а а п п рокс им а ц ии с ос тоит в на хождении оц енки этой ф ункц ии. Пр едск азание/п р о гно з. П ус ть з а да ны N дис кретных отс ч етов {y(t1),y(t2), ..., y(tn)} в п ос ледова тельные м ом енты врем ени t1, t2, ..., tn. За да ч а с ос тоит в п редска з а нии з на ч ения y(tn+1) в м ом ент tn+1. П рогноз ы им еют з на ч ительное влияние на п ринятие реш ений в биз нес е, на уке и технике. Оп т имизация. Многоч ис ленные п роблем ы в м а тем а тике, с та тис тике, технике, на уке, м едиц ине и эконом ике м огут ра с с м а трива тьс я ка к п роблем ы оп тим из ац ии. За да ч ей оп тим из а ц ии являетс я на хождение реш ения, которое удовлетворяет с ис тем е огра нич ений и м а кс им из ирует или м иним из ирует ц елевую ф ункц ию. Ка ким обра з ом ней ронна я с еть реш а ет вс е эти, ч а с то неф орм а лиз уем ые или трудно ф орм а лиз уем ые з а да ч и? Ка к из вес тно, для реш ения та ких з а да ч тра диц ионноп рим еняютс я два ос новных п одхода . П ервый , ос нова нный на п ра вила х (rulebased), ха ра ктерен для экс п ертных с ис тем . О н ба з ируетс я на оп ис а нии п редм етной обла с ти в виде на бора п ра вил (а кс иом ) «ес ли ..., то ...» и п ра вил вывода . И с ком ое з на ние п редс та вляетс я в этом с луч а е теорем ой , ис тиннос ть которой дока з ыва етс я п ос редс твом п ос троения ц еп оч ки вывода . П ри этом п одходе, одна ко, необходим о з а ра нее з на ть вес ь на бор з а коном ернос тей , оп ис ыва ющ их п редм етную обла с ть. П ри ис п ольз ова нии другого п одхода , ос нова нного на п рим ера х (casebased), на до лиш ь им еть дос та точ ное колич ес тво п рим еров для на с трой ки а да п тивной с ис тем ы с з а да нной с теп енью дос товернос ти. Н ей ронные с ети п редс та вляют с обой кла с с ич ес кий п рим ер та когоп одхода .

6

§ 1. Б И О Л О Г И ЧЕ С К И Й Н Е Й Р О Н И Е Г О М АТ Е М АТ И ЧЕ С К АЯ М О Д Е Л Ь . Н ервна я с ис тем а и м оз г ч еловека с ос тоят изней ронов, с оединенных м ежду с обой нервным и волокна м и. Н ервные волокна с п ос обны п ереда ва ть электрич ес кие им п ульс ы м ежду ней рона м и. Вс е п роц ес с ы п ереда ч и ра з дра жений от кожи, уш ей и гла зк м оз гу, п роц ес с ы м ыш ления и уп ра вления дей с твиям и - вс е этореа лиз ова но в живом орга низ м е ка к п ереда ч а электрич ес ких им п ульс ов м ежду ней рона м и. Н ейр о н (нервна я клетка ) являетс я ос обой биологич ес кой клеткой , котора я обра ба тыва ет инф орм а ц ию (рис . 1.). О нс ос тоит изт ел а, или со мы, и отрос тков нервных волокондвух тип ов - дендр ит о в, п о которым п риним а ются им п ульс ы, и единс твенногоак со на, п окотором у ней ронм ожет п ереда ва ть им п ульс . Тело ней рона включ а ет ядр о , которое содержит инф орм а ц ию о на с ледс твенных с вой с тва х, и п лазму, обла да ющ ую м олекулярным и с редс тва м и для п роиз водс тва необходим ых ней рону м а териа лов. Н ей рон п олуч а ет с игна лы (им п ульс ы) от а кс онов других ней ронов ч ерездендриты (п рием ники) и п ереда ет с игна лы, с генерирова нные телом клетки, вдоль с воегоа кс она (п ереда тч ика ), который в конц е ра з ветвляетс я на волокна . Н а оконч а ниях этих волоконна ходятс я с п ец иа льные обра з ова ния - синап сы, которые влияют на велич инуим п ульс ов.

Рис . 1. В з а им ос вяз ь биологич ес ких ней ронов

Кора головногом оз га ч еловека с одержит около1011 ней ронов. Ка ждый ней ронс вяз а нс 103-104 другим и ней рона м и. В ц елом м оз гч еловека с одержит п риблиз ительноот 1014 до1015 вз а им ос вяз ей . Иск усственны й нейр о н Ка ждый ней рон ха ра ктериз уетс я с воим текущ им с ос тоянием п о а на логии с нервным и клетка м и головногом оз га , которые м огут быть воз буждены или з а торм ожены. Онобла да ет груп п ой синап со в – однона п ра вленных входных с вяз ей , с оединенных с выхода м и других ней ронов, а та кже им еет ак со н – выходную с вяз ь да нного ней рона , с которой с игна л (воз буждения или торм ожения) п ос туп а ет на

7 с ина п с ы с ледующ их ней ронов. Общ ий вид ис кус с твенного ней рона п риведен на рис унке 2. И с кус с твенный ней ронв п ервом п риближении им итирует с вой с тва биологич ес кого ней рона . Здес ь м ножес тво входных с игна лов, обоз на ч енных х 1,х 2, ...,х n, п ос туп а ет на ис кус с твенный ней рон. Э ти входные с игна лы, в с овокуп нос ти обоз на ч а ем ые вектором Х, с оответс твуют с игна ла м п риходящ им в с ина п с ы биологич ес когоней рона . Ка ждый с ина п с ха ра ктериз уетс я велич иной синап cическ о йсвязи или ее весо м wi .

Рис . 2. Модель ис кус с твенногоней рона

Ка ждый с игна л ум ножа етс я на с оответс твующ ий вес w1,w2,...,wn, и п ос туп а ет на с ум м ирующ ий блок. Ка ждый вес с оответс твует "с иле" одной биологич ес кой с ина п cич ес кой с вяз и. (Множес твовес ов в с овокуп нос ти обоз на ч а ются вектором W). Сум м ирующ ий блок, с оответс твующ ий телу биологич ес кого элем ента , с кла дыва ет вз веш енные входы а лгебра ич ес ки, с оз да ва я велич ину S. Та ким обра з ом , текущ ее с ос тояние ней рона оп ределяетс я, ка к вз веш енна я с ум м а его входов: n

s = ∑ xi ⋅ wi . В ыход ней рона ес ть ф ункц ия егос ос тояния: y = f(s), где f - ак т иваi =1

цио нная ф унк ция, более точ но м оделирующ а я нелиней ную п ереда точ ную ха ра ктерис тику биологич ес кого ней рона и п редс та вляющ а я ней ронной с ети больш ие воз м ожнос ти. П рим еры некоторых а ктива ц ионных ф ункц ий п редс та влены в та бл. 1. и на рис . 3. Н а иболее ра с п рос тра ненным и являютс я п орогова я и с игм оида льна я а ктива ц ионные ф ункц ии. По р о го вая ф ункц ия огра нич ива ет а ктивнос ть ней рона з на ч ениям и 0 или 1 в з а вис им ос ти от велич ины ком бинирова нноговхода s. Ка к п ра вило, входные з на ч ения в этом с луч а е та кже ис п ольз уютс я бина рные: х i ∈ {0,1}. Ч а щ е вс егоудобнее ыва ем ое с м ещ ением ) извелич ины ком бинивыч ес ть п ороговое з на ч ение Θ (на з рова нноговхода и ра с с м отреть п ороговую ф ункц ию в м а тем а тич ес ки эквива лентn 0, s < 0; ной ф орм е: s = w0 + ∑ xi ⋅ wi , f ( s) =  . ≥ 1 , s 0 i =1  Здес ь w0 = −Θ - велич ина с м ещ ения, вз ята я с п ротивоп оложным з на ком . Cм ещ ение обыч но интерп ретируетс я ка к с вяз ь, ис ходящ а я от элем ента , з на ч ение которого вс егда ра вно 1. Ком бинирова нный вход тогда м ожно п редс та вить в виде

8 n

s = ∑ xi ⋅ wi , где x0 вс егда с ч ита етс я ра вным 1. i =0

Та блиц а 1. Ф ункц ии а ктива ц ии ней ронов

Н азвание П о р о го вая (ф унк ция единично го ск ачк а) Линейная Ло гист ическ ая (сигмо идал ьная) Гип ер б о лическ ийт ангенс Линейная с насыщ ением (л инейныйп о р о г)

Ф орм ула 0, s < Θ; f (s) =  1, s ≥ Θ f ( s ) = ks 1 f ( s) = 1 + e − as e as − e − as f ( s ) = as e + e − as 0, s < Θ;  f ( s) = ks, 0 ≤ s < Θ 1, s ≥ Θ 

О бласть з начений {0,1} ( −∞;+∞) (0,1) (-1,1) (0,1)

Рис . 3. П рим еры а ктива ц ионных ф ункц ий а - ф ункц ия единич ногос ка ч ка ; б - линей ный п орог; в - логис тич ес ка я ф ункц ия; г- гип ерболич ес кий та нгенс

Ло гист ическ ая ф ункц ия или с игм оид f (s) = 1 / (1+e-as) неп рерывноз а п олняет с воим и з на ч ениям и диа п а з онот 0 до1. П ри ум еньш ении а с игм оид с та новитс я более п ологим , в п ределе п ри а = 0 вырожда яс ь в гориз онта льную линию на уровне 0.5, п ри увелич ении а с игм оид п риближа етс я к видуф ункц ии единич ного с ка ч ка с п орогом 0. Следует отм етить, ч тос игм оида льна я ф ункц ия диф ф еренц ируем а на вс ей ос и а бс ц ис с , ч тоис п ольз уетс я в некоторых а лгоритм а х обуч ения. Кром е того, она обла да ет с вой с твом ус илива ть с ла бые с игна лы и п редотвра щ а ет на с ыщ ение от больш их с игна лов, та к ка к они с оответс твуют обла с тям а ргум ентов, где с игм оид им еет п ологий на клон.

9

§ 2. Н Е Й Р О С Е Т И 2.1. К лассиф ик ац ия и свойстванейросетей О дно сл о йны е и ск усственны е нейр о нны е сети Х отя одинней рони с п ос обенвып олнять п рос тей ш ие п роц едуры ра с п оз на ва ния, с ила ней ронных выч ис лений п роис тека ет от с оединений ней ронов в с етях. П рос тей ш а я с еть с ос тоит изгруп п ы ней ронов, обра з ующ их с лой , ка к п ока з а но в п ра вой ч а с ти рис . 4. О тм етим , ч товерш ины-круги с лева с лужа т лиш ь для ра с п ределения входныхс игна лов. О ни не вып олняют ка ких- либовыч ис лений и п оэтом у не будут с ч ита тьс я с лоем . П оэтой п рич ине они обоз на ч ены круга м и, ч тобы отлич а ть их от выч ис ляющ их ней ронов, обоз на ч енных ква дра та м и. Ка ждый элем ент изм ножес тва входов Х отдельным вес ом с оединенс ка ждым ис кус с твенным ней роном . А ка ждый ней ронвыда ет вз веш енную с ум м у входов в с еть. В ис кус с твенных и биологич ес ких с етях м ногие с оединения м огут отс утс твова ть, вс е с оединения п ока з а ны в ц елях общ нос ти. Могут им еть м ес тота кже с оединения м ежду выхода м и и входа м и элем ентов в с лое. У добнос ч ита ть вес а элем ента м и м а триц ы W. Ма триц а им еет n с трок и m с толбц ов, где n - ч ис ловходов, а m - ч ис лоней ронов. Н а п рим ер, w23 - это вес , с вяз ыва ющ ий второй вход с третьим ней роном . Та ким обра з ом , выч ис ление выходноговектора Y, ком п онента м и которогоявляютс я выходы yi ней ронов, с водитс я к м а трич ном у ум ножению Y = XW.

Рис 4. П рос тей ш а я однос лой на я ней ронна я с еть

М но го сл о йны е и ск усственны е нейр о нны е сети Более круп ные и с ложные ней ронные с ети обла да ют, ка к п ра вило, и больш им и выч ис лительным и воз м ожнос тям и. Х отя с оз да ны с ети вс ех конф игура ц ий , ка кие тольком ожнос ебе п редс та вить, п ос лой на я орга низ а ц ия ней ронов коп ирует с лоис тые с труктуры оп ределенных отделов м оз га . О ка з а лос ь, ч то та кие м ногос лой ные с ети обла да ют больш им и воз м ожнос тям и, ч ем однос лой ные, и в п ос ледние годы были ра з ра бота ны м ногообра з ные а лгоритм ы для ихобуч ения.

10

Рис 5. П рим ер м ногос лой ной ней ронной с ети

Многос лой ные с ети м огут обра з овыва тьс я ка с ка да м и с лоев. В ыход одного с лоя являетс я входом для п ос ледующ егос лоя. П одобна я с еть п ока з а на на рис . 5 и с нова из обра жена с овс ем и с оединениям и. Многос лой ные с ети не м огут п ривес ти к увелич ению выч ис лительной м ощ нос ти п ос ра внению с однос лой ной с етью лиш ь в том с луч а е, ес ли а ктива ц ионна я ф ункц ия м еждус лоям и не будет линей ной . В ыч ис ление выхода с лоя з а ключ а етс я в ум ножении входного вектора на п ервую вес овую м а триц у с п ос ледующ им ум ножением (ес ли отс утс твует нелиней на я а ктива ц ионна я ф ункц ия) рез ультирующ его вектора на вторую вес овую м а триц у. Та к ка к ум ножение м а триц а с с оц иа тивно, тодвухс лой на я линей на я с еть эквива лентна одном у с лою с вес овой м а триц ей , ра вной п роиз ведению двух вес овых м а триц . Следова тельно, люба я м ногос лой на я линей на я с еть м ожет быть з а м енена эквива лентной однос лой ной с етью. О буч ени е и ск усственны х нейр о нны х сетей Сеть обуч а етс я, ч тобы для некоторого м ножес тва входов да ва ть требуем ое (или, п о кра й ней м ере, с ообра з ное с ним ) м ножес тво выходов. Ка ждое та кое входное (или выходное) м ножес твора с с м а трива етс я ка к вектор. О буч ение ос ущ ес твляетс я п утем п ос ледова тельного п редъявления входных векторов с одноврем енной п одс трой кой весов в с оответс твии с оп ределенной п роц едурой . В п роц ес с е обуч ения вес а с ети п ос теп еннос та новятс я та ким и, ч тобы ка ждый входной вектор выра ба тыва л выходной вектор. Ра з лич а ют а лгоритм ы обуч ения с уч ителем и безуч ителя. Об учение с учит ел ем п редп ола га ет, ч тодля ка ждого входноговектора с ущ ес твует ц елевой вектор, п редс та вляющ ий с обой требуем ый выход. В м ес те они на з ыва ютс я о б учаю щ ейп ар о й. О быч но с еть обуч а етс я на некотором ч ис ле та ких обуч а ющ их п а р. П редъявляетс я выходной вектор, выч ис ляетс я выход с ети и с ра внива етс я с с оответс твующ им ц елевым вектором , ра з нос ть (ош ибка ) с п ом ощ ью обра тной с вяз и п ода етс я в с еть, и вес а из м еняютс я в с оответс твии с а лгоритм ом , с трем ящ им с я м иним из ирова ть ош ибку. В екторы обуч а ющ его м ножес тва п редъявляютс я п оследова тельно, выч ис ляютс я ош ибки, и вес а п одс тра ива ютс я

11 для ка ждого вектора до тех п ор, п ока ош ибка п о вс ем у обуч а ющ ем у м а с с иву не дос тигнет п рием лем ониз когоуровня. Об учение б ез учит ел я не нужда етс я в ц елевом векторе для выходов и, с ледова тельно, не требует с ра внения с п редоп ределенным и идеа льным и ответа м и. О буч а ющ ее м ножествос ос тоит лиш ь извходных векторов. О буч а ющ ий а лгоритм п одс тра ива ет вес а с ети та к, ч тобы п олуч а лис ь с огла с ова нные выходные векторы, т. е. ч тобы п редъявление дос та точ но близ ких входных векторов да ва ло одина ковые выходы. П роц ес с обуч ения, с ледова тельно, выделяет с та тис тич ес кие с вой с тва обуч а ющ его м ножес тва и груп п ирует с ходные векторы в кла с с ы. П редъявление на вход вектора изда нного кла с с а да с т оп ределенный выходной вектор, но до обуч ения невоз м ожно п редс ка з а ть, ка кой выход будет п роиз водитьс я да нным кла с с ом входных векторов. Следова тельно, выходы п одобной с ети должны тра нс ф орм ирова тьс я в некоторую п онятную ф орм у, обус ловленную п роц ес с ом обуч ения.

2.2. Т еорем аК олм огорова Ра с с м отрим в ка ч ес тве п рим ера двухс лой ную ней ронную с еть с n входа м и и одним выходом , котора я дос та точ ноп рос та п ос труктуре и в тоже врем я ш ироко ис п ольз уетс я для реш ения п рикла дных з а да ч . Э та с еть из обра жена на рис . 6. Ка ждый i-й ней ронп ервогос лоя ( i = 1,2..., m ) им еет n входов, которым п рип ис а ны вес а w1i, w2i, ..., wni .

Рис . 6. П рим ер ней ронной с ети

П олуч ив входные с игна лы, ней рон с ум м ирует их с с оответс твующ им и вес а м и, з а тем п рим еняет к этой с ум м е п ереда точ ную ф ункц ию и п ерес ыла ет рез ульта т на вход ней рона второго (выходного) с лоя. В с вою оч ередь, ней рон выходного с лоя с ум м ирует п олуч енные от второгос лоя с игна лы с некоторым и вес а м и vi. Д ля оп ределеннос ти будем п редп ола га ть, ч то п ереда точ ные ф ункц ии в с крытом с лое являютс я с игм оида льным и, а в выходном с лое ис п ольз уетс я тождес твенна я ф ункц ия, т. е. вз веш енна я с ум м а выходов второго с лоя и будет ответом с ети. П ода ва я на входы любые ч ис ла x1, x2, ..., xn, м ы п олуч им на выходе з на ч ение некоторой ф ункц ии Y=F(x1, x2, ..., xn), которое являетс я ответом (реа кц ией ) с ети. О ч евидно, ч то ответ с ети з а вис ит ка к от входного с игна ла , та к и от з на ч ений ее

12 внутреннихп а ра м етров — вес ов ней ронов. В ып иш ем точ ный вид этой ф ункц ии: m n 1 . где σ ( s) = F ( x1 , x2 ,..., xn ) = ∑ viσ ( ∑ x j ⋅ w ji ) , 1 + e − as i =1 j =0 В 1957 г. м а тем а тик А . Н . Колм огоров дока з а л с ледующ ую теорем у. Т еорем а К олм огорова. Л юба я неп рерывна я ф ункц ия от n п ерем енных F(x1, x2, ..., xn) м ожет быть п редс та влена в виде F ( x1 , x2 ,..., xn ) =

2 n +1

∑

i =1

n

g i ( ∑ hij ( x j )) , j =1

где gi и hij — неп рерывные ф ункц ии, п рич ем hij не з а вис ят от ф ункц ии F. Э та теорем а оз на ч а ет, ч то для реа лиз а ц ии ф ункц ий м ногих п ерем енных дос та точ но оп ера ц ий с ум м ирова ния и ком п оз иц ии ф ункц ий одной п ерем енной . К с ожа лению, п ри вс ей с воей м а тем а тич ес кой кра с оте, теорем а Колм огорова м а лоп рим еним а на п ра ктике. Э тос вяз а нос тем , ч тоф ункц ии hij — негла дкие и трудно выч ис лим ые; та кже неяс но, ка ким обра з ом м ожноп одбира ть ф ункц ии gj для да нной ф ункц ии F. Роль этой теорем ы сос тоит в том , ч тоона п ока з а ла п ринц ип иа льную воз м ожнос ть реа лиз а ц ии с коль угодно с ложных з а вис им ос тей с п ом ощ ью относ ительно п рос тых а втом а тов тип а ней ронных с етей . Более з на ч им ые для п ра ктики рез ульта ты в этом на п ра влении были открыты тольков 1989 г., з а тоодноврем еннонес кольким и а втора м и. П ус ть F(x1, x2, ..., xn) — люба я неп рерывна я ф ункц ия, оп ределенна я на огра на ч а ющ ее нич енном м ножес тве, и ε > 0 — любое с коль угодно м а лое ч ис ло, оз точ нос ть а п п рокс им а ц ии. Ч ерезσ обоз на ч ена с игм оида льна я ф ункц ию. Т еорем а. Сущ ес твуют та кое ч ис ло m, на бор ч ис ел wij, и на бор ч ис ел vi, ч то ф ункц ия m

n

i =1

j =0

f ( x1, x2 ,..., xn ) = ∑ viσ ( ∑ x j ⋅ w ji ) п риближа ет да нную ф ункц ию F(x1, x2, ..., xn) с п огреш нос тью не более ε на вс ей обла с ти оп ределения. Л егкоз а м етить, ч тоэта ф орм ула п олнос тью с овп а да ет с выра жением , п олуч енным для ф ункц ии, реа лиз уем ой ней рос етью. В терм ина х теории ней рос етей эта теорем а ф орм улируетс я та к. Л ю бую непреры вную ф унк ц ию неск оль к их перем енны х м ожно слю бой точность ю реализ овать с пом ощ ь ю двухслойной нейросети с достаточны м к оличеством нейроноввск ры том слое.

§ 3. П Е Р С Е П Т Р О Н О дной изп ервых ис кус с твенных с етей , с п ос обных к п ерц еп ц ии (вос п риятию) и ф орм ирова нию реа кц ии на вос п ринятый с тим ул, явилс я PERCEPTRON Роз енбла тта (F.Rosenblatt, 1957). П ер сеп т р о но м, ка к п ра вило, на з ыва ют однос лой ную ней ронную с еть, п ри этом ка ждый п ерс еп тронный ней рон в ка ч ес тве а ктива ц ионной ф ункц ии ис п ольз ует ф ункц ию единич ногос ка ч ка (п ороговую).

13 Ал го р и тм о буч ени я пер септр о на Д ля п рос тоты ра с с м отрим вна ч а ле п роц едуру обуч ения п ерс еп трона , с ос тоящ еготолькоизодногоней рона .

n

s = ∑ xi ⋅ wi i =0

Рис .7 О дноней ронный п ерcеп тронс n входа м и

П одробна я с хем а та кого п ерс еп трона из обра жена на рис .7. Ка к отм еч а лос ь ра нее, будем с ч ита ть, ч топ ерс еп троним еет доп олнительный вход x0 , который 0, s < 0; . вс егда ра вен1. В та ком с луч а е, п ороговое с м ещ ение Θ =0 и y= f ( s) =  1, s ≥ 0 О буч ение п ерс еп трона с ос тоит в п одс трой ке вес овых коэф ф иц иентов wi , где i = 0, n . О буч енный п ерс еп трон с п ос обен ра з делять требуем ое м ножес тво обра з ов на два кла с с а . (К п ервом у кла с с у относ ятс я входные обра з ы, для которых на выходе п ерс еп трона п олуч ено нулевое з на ч ение, ко втором у кла с с у – обра з ы, для которых п олуч еноединич ное з на ч ение). О буч ение п ерс еп трона – это обуч ение с уч ителем , то ес ть должен с ущ ес твова ть на бор векторов ( X k , y k ), k = 1, P , на з ыва ем ый о б учаю щ ей выб о р к о й. Здес ь X k = ( x1k , x2k ,..., xnk ) k = 1, P - п рим еры входных обра з ов, для которых з а ра нее из вес тна ихп рина длежнос ть к одном уиздвух да нныхкла с с ов. Будем на з ыва ть п ерс еп трон обуч енным на да нной обуч а ющ ей выборке, ес ли п ри п ода ч е на вход ка ждоговектора X k на выходе вс який ра зп олуч а етс я с оответс твующ ее з на ч ение y k ∈ {0,1}. П редложенный Ф .Роз енбла ттом м етод обуч ения с ос тоит в итера ц ионной п одс трой ке вес овых коэф ф иц иентов wi, п ос ледова тельноум еньш а ющ ей выходные ош ибки. А лгоритм включ а ет нес колькош а гов. Ш аг 0. П роиниц иа лиз ирова ть вес овые коэф ф иц иенты wi , i = 0, n , небольш им и с луч а й ным и з на ч ениям и (на п рим ер, издиа п а з она [-0.3, 0.3]) . Ш аг 1. П ода ть на вход п ерс еп трона один изобуч а ющ их векторов X k и выч ис лить ее выход y . Ш аг 2. Е с ли выход п ра вильный ( y = y k ), п ерей ти на ш а г4. И на ч е выч ис лить ош ибку- ра з ниц ум еждуверным и п олуч енным з на ч ениям и выхода : δ = y k − y .

14 Ш аг 3. В ес овые коэф ф иц иенты м одиф иц ируютс я п о с ледующ ей ф орм уле: wit +1 = wit + ν ⋅ δ ⋅ xik . Здес ь t и t+1 – ном ера с оответс твеннотекущ ей и с ледующ ей итера ц ий ; ν – коэф ф иц иент с корос ти обуч ения, (0 <ν ≤ 1) ; xik - i-та я ком п онента входноговектора X k . Ш аг 4. Ш а ги 1-3 п овторяютс я для вс ех обуч а ющ их векторов. О дин ц икл п ос ледова тельного п редъявления вс ей выборки на з ыва етс я эп охой . Обуч ение з аверш а етс я п оис теч ении нес кольких эп ох, когда с еть п ерес та нет ош иба тьс я. Зам ечание1. Коэф ф иц иент с корос ти обуч ения ν являетс я п а ра м етром да нного а лгоритм а . Ка к п ра вило, еговыбира ют издиа п а з она [0.5, 0.7]. В некоторых с луч а ях (п ри больш ом объем е обуч а ющ ей выборки ) ц елес ообра з но п ос теп енно ум еньш а ть з на ч ение ν , на ч ина я, на п рим ер, с 1. Зам ечание 2. И с п ольз уем а я на ш а ге 3 ф орм ула м одиф иц ирует только вес овые коэф ф иц иенты, отвеч а ющ ие ненулевым з на ч ениям входов xik , п ос колькутолько n

на ч ение у. они влияли на велич ину s = ∑ xi ⋅ wi , а , с ледова тельно, и на з i =0

О ч евидно, ч то ес ли y k > y (п олуч ен неп ра вильный нулевой выход вм ес то п ра вильного единич ного), то, п ос кольку δ > 0 , вес овые коэф ф иц иенты (а вм ес те с ним и и велич ина s) будут увелич ены и тем с а м ым ум еньш а т ош ибку. В п ротивном с луч а е вес овые коэф ф иц иенты будут ум еньш ены, и s тоже ум еньш итс я, на ч ению y k . п риближа я тем с а м ым y к з О бобщ им теп ерь этот а лгоритм обуч ения на с луч а й однос лой ной с ети, включ а ющ ей n п ерс еп тронных ней ронов (рис . 4). Та ка я с еть (п ри дос та точ но больш ом ч ис ле ней ронов) м ожет ос ущ ес твлять ра з биение обра з ов на п роиз вольное требуем ое ч ис локла с с ов. П ус ть им еетс я о б учаю щ ая выб о р к а, с ос тоящ а я из п а р векторов k ( X , Y k ), k = 1, P . Н а з овем ней ронную с еть обуч енной на да нной обуч а ющ ей выборке, ес ли п ри п ода ч е на входы с ети ка ждоговектора X k на выхода х вс який а ключ а етс я в итера ц ира зп олуч а етс я с оответс твующ ий вектор Y k . О буч ение з онной п одс трой ке м а триц ы вес ов W (wij –вес сина п с ич ес кой с вяз и м ежду i-м входом и j-м ней роном ), п ос ледова тельно ум еньш а ющ ей ош ибку в выходных вектора х. А лгоритм включ а ет с ледующ ие ш а ги. Ш аг 0. П роиниц иа лиз ирова ть элем енты вес овой м а триц ы W небольш им и с луч а й ным и з на ч ениям и. Ш аг 1. П ода ть на входы одинизвходных векторов X k и выч ис лить ее выход Y. Ш аг 2. Е с ли выход п ра вильный ( Y = Y k ) , п ерей ти на ш а г4. И на ч е выч ис лить вектор ош ибки - ра з ниц у м ежду идеа льным и п олуч енным з на ч ениям и выхода : k δ =Y −Y . Ш аг 3. Ма триц а вес ов м одиф иц ируетс я п о с ледующ ей ф орм уле:

15 wijt +1 = wijt + ν ⋅ δ ⋅ xi . Здес ь t и t+1 – ном ера с оответс твеннотекущ ей и с ледующ ей итера ц ий ; ν – коэф ф иц иент с корос ти обуч ения, (0 <ν ≤ 1) ; xi - i-та я ком п онента входноговектора X k ; j – ном ер ней рона в с лое. Ш аг 4. Ш а ги 1-3 п овторяютс я для вс ех обуч а ющ их векторов. О буч ение з аверш а етс я, когда с еть п ерес та нет ош иба тьс я. П редс та вленный м етод обуч ения нос ит на з ва ние “ δ -п ра вило”. Д ока з а нна я Роз енбла ттом теорем а ос ходим ос ти обуч ения п о δ -п ра вилу говорит отом , ч то п ерс еп трон с п ос обен обуч итьс я любом у обуч а ющ ем у на бору, который он с п ос обенп редс та вить. Н иже м ы более п одробнообс удим воз м ожнос ти п ерс еп трона п оп редс та влению инф орм а ц ии. Л и нейная р аздел и м о сть и пер септр о нная пр едставл я ем о сть Ка ждый ней ронп ерс еп трона являетс я ф орм а льным п ороговым элем ентом , п риним а ющ им единич ные з на ч ения в случ а е, ес ли с ум м а рный вз веш енный вход больш е некоторогоп ороговогоз на ч ения:  n 0, ∑ xi ⋅ wi < Θ; i =1 Yj =  n 1, ∑ x ⋅ w ≥ Θ  i =1 i i Та ким обра з ом , п ри з а да нных з на ч ениях вес ов и п орогов, ней рон им еет оп ределенное выходное з на ч ение для ка ждого воз м ожного вектора входов. Множес тво входных векторов, п ри которых ней рона ктивен( Y j =1), отделено от м ножес тва векторов, на которых ней рон п а с с ивен ( Y j =0), гип ерп лос кос тью, ура внение которой

n

∑ xi ⋅ wi = Θ . Следова тельно, ней ронс п ос обенотделить толькота кие два i =1

м ножес тва векторов входов, для которых им еетс я гип ерп лос кос ть, отс ека ющ а я одно м ножес тво от другого. Та кие м ножес тва на з ыва ют линей но ра з делим ым и. П роиллюс трируем этоп онятие на п рим ере. Ра с с м отрим однос лой ный п ерс еп трон, с ос тоящ ий изодного ней рона с двум я входа м и. Входной вектор с одержит только две булевы ком п оненты x1 и x2 , оп ределяющ ие п лос кос ть. Н а да нной п лос кос ти воз м ожные з на ч ения входных векторов отвеч а ют верш ина м единич ногоква дра та . В ка ждой верш ине з а да дим требуем ое з на ч ение выхода ней рона : 1 (на рис . 8 - бела я точ ка ) или 0 (ч ерна я точ ка ). Требуетс я оп ределить, с ущ ес твует ли та кой на бор вес ов и п орогов ней рона , п ри котором ней рон с м ожет п олуч ить эти з на ч ения выходов? Н а рис . 8 п редс та влена одна изс итуа ц ий , когда этогос дела ть нельз я вс ледс твие линей ной нера з делим ос ти м ножес тв белых и ч ерныхточ ек.

16

x1 ⋅ w1 + x2 ⋅ w2 = Θ

Рис . 8. Белые точ ки не м огут быть отделены одной п рям ой от ч ерных

Требуем ые выходы ней рона для этогорис унка оп ределяютс я та блиц ей , в которой легкоуз на ть з а да ние логич ес кой ф ункц ии “ ис ключ а ющ ее или” (XOR). X1 X2 Y 0 0 0 1 0 1 0 1 1 1 1 0 Н евоз м ожнос ть реа лиз а ц ии однос лой ным п ерcеп троном этой ф ункц ии п олуч ила на з ва ние п р о б л емы иск л ю чаю щ его И ЛИ . Видно, ч тооднос лой ный п ерс еп тронкра й не огра нич енв с воих воз м ожнос тях точ ноп редс та вить на п еред з а да нную логич ес кую ф ункц ию. Х отя да нный п рим ер на гляден, онне являетс я с ерьез ным огра нич ением для ней рос етей . Ф ункц ия XOR легкореа лиз уетс я п рос тей ш ей двухс лой ной с етью, п рич ем м ногим и с п ос оба м и. О динизп рим еров та кой с ети п ока з а нна рис . 9. Θ1 = 0 . 5

1

x1 1 x2

1 Y

1 -

1

Θ = 0.5

Θ 2 = 1.5

Рис . 9. Д вухс лой на я с еть, реа лиз ующ а я ф ункц ию XOR

В ес овые коэф ф иц иенты w11 , w12 , w21 , w22 п ервогос лоя вс е ра вны единиц е, вес овые коэф ф иц иенты второгос лоя v1 ,v2 с оответс твеннора вны 1 и -1, п ороговые з на ч ения ка ждогоней рона ука з а ны на рис унке. Та блиц а ис тиннос ти для та кой с ети им еет вид: x1 0 1 0 1

x2 0 0 1 1

s1 0 1 1 2

s2 0 1 1 2

y1 0 1 1 1

y2 0 0 0 1

S 0 1 1 0

Y 0 1 1 0

17 Здес ь s1 = x1 ⋅ w11 + x2 ⋅ w21 – з на ч ение, п ос туп а ющ ее на вход п ервогоней рона п ервогос лоя, s2 = x1 ⋅ w12 + x2 ⋅ w22 - вход второгоней рона п ервогос лоя; y1, y2 – выходы с оответс твующ ихней ронов п ервогос лоя; S- входное з на ч ение ней рона второгос лоя; Y- выход с ети. У П Р АЖ Н Е Н И Я 1. У ка жите воз м ожные з на ч ения вес ов и п орога одноней ронного п ерс еп трона с двум я входа м и, реа лиз ующ его логич ес кую ф ункц ию AND. 2. Н а п иш ите п рогра м м у, обуч а ющ ую одноней ронный п ерс еп трон ра с п оз на ва нию из обра жений “ крес тиков” и “ ноликов”. В ходные обра з ы (10-15 ш тук) п редс та вляют с обой гра ф ич ес кие из обра жения. Ка ждое из обра жение ра з бито на ква дра ты (или п икс ели) и от ка ждого ква дра та на п ерс еп трон п ода етс я вход. Е с ли в ква дра те им еетс я линия (или п икс ель окра ш ен в ч ерный ц вет), то от негоп ода етс я единиц а , в п ротивном с луч а е – ноль. Множес тво ква дра тов на из обра жении з а да ет, та ким обра з ом , м ножес твонулей и единиц , которое и п ода етс я на входы п ерс еп трона (рис . 10). Цель с ос тоит в том , ч тобы на уч ить п ерс еп трон да ва ть единич ный выход п ри п ода ч е на него м ножес тва входов, з а да ющ их “ крес тик”, и нулевой выход в с луч а е “ нолика ”.

∑

Y

Рис . 10. Модель п ерс еп трона , ра з деляющ его“ крес тики” от “ ноликов”

3. Н а п иш ите п рогра м м у, обуч а ющ ую дес ятиней ронный п ерс еп трон ра с п оз на ва нию из обра жений ц иф р. Ка ждый ней рон должен да ва ть единич ный выход п ри п ода ч е на вход из обра жения, с оответс твующ его его п орядковом у ном еру, и нулевой для вс ех ос та льныхиз обра жений .

18

§ 4. С Е Т Ь О Б Р АТ Н О Г О Р АС П Р О С Т Р АН Е Н И Я. Ра с с м отренный в п редыдущ ем п а ра гра ф е а лгоритм обуч ения однос лой ного п ерс еп трона оч ень п рос т. О дна ко долгие годы не уда ва лос ь обобщ ить этот а лгоритм на с луч а й м ногос лой ных с етей , ч то с п ровоц ирова ло в на уч ных круга х з на ч ительный с п а д интерес а к ней ронным с етям . Тольков 1986 годуРум ельха рт ра з ра бота л эф ф ективный а лгоритм корректировки вес ов, на з ва нный алго р ит мо м о б р ат но го р асп р о ст р аненияо шиб о к (back propagation). Н ей ронные с ети обра тного ра с п рос тра нения – это с оврем енный инс трум ент п оис ка з а коном ернос тей , п рогноз ирова ния, ка ч ес твенного а на лиз а . Та кое на з ва ние – сет ио б р ат но го р асп р о ст р анения они п олуч или из -з а ис п ольз уем огоа лгоритм а обуч ения, в котором ош ибка ра с п рос тра няетс я от выходного с лоя к входном у, т. е. в на п ра влении, п ротивоп оложном на п ра влению ра с п рос тра нения с игна ла п ри норм а льном ф ункц ионирова нии с ети. Н ей ронна я с еть обра тного ра с п рос тра нения сос тоит изнес кольких с лоев ней ронов, п рич ем ка ждый ней рон п редыдущ его с лоя с вяз а н с ка ждым ней роном п ос ледующ его с лоя. В больш инс тве п ра ктич ес ких п риложений ока з ыва етс я дос та точ но ра с с м отрения двухс лой ной ней ронной с ети, им еющ ей входной (с крытый ) с лой ней ронов и выходной с лой (рис 11).

Рис . 11. Н ей ронна я с еть обра тногора с п рос тра нения

Ма триц увес овых коэф ф иц иентов от входов к с крытом ус лою обоз на ч им W, а м а триц у вес ов, с оединяющ их с крытый и выходной с лой , - ка к V. Д ля индекс ов п рим ем с ледующ ие обоз на ч ения: входы будем нум ерова ть только индекс ом i, элем енты с крытого с лоя - индекс ом j, а выходы, с оответс твенно, индекс ом k. Ч ис ловходов с ети ра вноn, ч ис лоней ронов в с крытом с лое –m, ч ис лоней ронов в выходном с лое – p. П ус ть с еть обуч а етс я на выборке ( X t , D t ), t = 1, T . П ри обуч ении ней ронной с ети с та витс я з а да ч а м иним из а ц ии ц елевой ф унк циио шиб к и, котора я на ходитс я п ом етодуна им еньш их ква дра тов: 1 p E (W ,V ) = ∑ ( yk − d k ) 2 , 2 k =1

19 где yk –п олуч енное реа льное з на ч ение k-го выхода ней рос ети п ри п ода ч е на нее одного извходных обра з ов обуч а ющ ей выборки; dk – требуем ое (ц елевое) з на ч ение k-говыхода для этогообра з а. О буч ение ней рос ети п роиз водитс я из вес тным оп тим из а ц ионным м етодом гра диентного с п ус ка , т. е. на ка ждой итера ц ии из м енение вес а п роиз водитс я п о ф орм ула м : ∂E ∂E wijN +1 = wijN − α , v Njk +1 = v Njk − α , ∂wij ∂v jk где α – п а ра м етр, оп ределяющ ий с корос ть обуч ения. В ка ч ес тве а ктива ц ионной ф ункц ии в с ети обра тного ра с п рос тра нения обыч но 1 ис п ольз уетс я логис тич ес ка я ф ункц ия f ( s ) = , где s –вз веш енна я с ум м а 1 + e− s входов ней рона . Э та ф ункц ия удобна для выч ис лений в гра диентном м етоде, та к e−s ка к им еет п рос тую п роиз водную: f ' ( s) = = f ( s)(1 − f ( s)) . (1 + e − s ) 2 Ф ункц ия ош ибки в явном виде не с одержит з а вис им ос ти от вес овых коэф ф иц иен∂E ∂E , вос п ольз уем с я тов Vjk и wij , п оэтом удля выч ис ления п роиз водных ∂v jk ∂wij ф орм ула м и диф ф еренц ирова ния с ложной ф ункц ии: ∂E ∂E ∂yk ∂sk = , ∂v jk ∂yk ∂sk ∂v jk где sk – вз веш енна я с ум м а входных с игна лов k- гоней рона выходногос лоя. О боm

з на ч им y cj - з на ч ение выхода j-го ней рона с крытого с лоя. Тогда sk = ∑ v jk y cj и j =1

∂sk ∂yk = y cj . Та к ка к yk = f ( sk ) , то = f ( sk )(1 − f ( sk ) = y k (1 − yk ) . Н а конец , ∂v jk ∂sk ∂E ом , п олуч или выра жение для п роиз водной : = y k − d k . Та ким обра з ∂y k ∂E = ( yk − d k ) y k (1 − yk ) y cj . ∂v jk В ыведем теп ерь ф орм улудля п роиз водной

∂E . А на логич ноз а п иш ем : ∂wij

c ∂E ∂E ∂y j ∂s j = . ∂wij ∂y cj ∂s j ∂wij

20 n

∂s j

i =1

∂wij

Здес ь s j = ∑ wij xi , п оэтом у обра з а обуч а ющ ей выборки);

∂y cj ∂s j

= xi ( xi − i-та я ком п онента п ода нногона вход

= y cj (1 − y cj ) . Та к ка к ф ункц ия ош ибки не з а ви-

с ит в явном виде от выходов с крытогос лоя y cj , топ роиз водна я с я:

∂E ус ложняет∂y cj

p ∂E ∂E ∂yk ∂sk = . В ос п ольз ова вш ис ь им еющ им ис я выра жениям и для ∑ c ∂y j k =1 ∂yk ∂sk ∂y cj

p ∂E ∂yk ∂E , и sk , з а п иш ем : c = ∑ ( yk − d k ) y k (1 − yk )v jk . Е с ли ввес ти обоз на ч ение ∂y k ∂sk ∂y j k =1

∂E ∂yk = ( yk − d k ) y k (1 − yk ) , ∂yk ∂sk п олуч им с ледующ ие выра жения для п роиз водных: p ∂E ∂E = δ k y cj , = ( ∑ δ k v jk ) y cj (1 − y cj ) xi ∂wij ∂v jk k =1 δk =

Ал го р и тм о буч ени я сети о бр атно го р аспр о стр анени я Ра с с м отрим теп ерь п олный а лгоритм обуч ения ней рос ети. Ш аг1. И ниц иа лиз а ц ия с ети. В ес овым коэф ф иц иента м п рис ва ива ютс я м а лые с луч а й ные з на ч ения, на п рим ер, издиа п а з она (-0.3, 0.3); з а да ютс я ε -п а ра м етр точ нос ти обуч ения, α – п а ра м етр с корос ти обуч ения (ка к п ра вило ≈ 0.1 и м ожет ещ е ум еньш а тьс я в п роц ес с е обуч ения), Nmax - м а кс им а льнодоп ус тим ое ч ис лоитера ц ий . Ш аг2. В ыч ис ление текущ еговыходногос игна ла . Н а вход сети п ода етс я одинизобра з ов обуч а ющ ей выборки и оп ределяютс я з на ч ения выходов вс ехней ронов ней рос ети. Ш аг3. Н а с трой ка с ина п тич ес кихвес ов. Ра с с ч ита ть из м енение вес ов для выходногос лоя ней ронной с ети п оф орм ула м ∂E ∂E v Njk +1 = v Njk − α = δ k y cj , δ k= ( yk − d k ) y k (1 − yk ) . , где ∂v jk ∂v jk Ра с с ч ита ть из м енение вес ов для с крытогос лоя п оф орм ула м p ∂E ∂E N +1 N wij = wij − α , где = ( ∑ δ k v Njk +1 ) y cj (1 − y cj ) xi ∂wij ∂wij k =1 Ш аг4. Ш а ги 2-3 п овторяютс я для вс ех обуч а ющ их векторов. О буч ение з а верш а етс я п одос тижении для ка ждогоизобуч а ющ их обра з ов з на ч ения ф ункц ии ош ибки, не п ревос ходящ его ε или п осле м а кс им а льнодоп ус тим огоч исла итера ц ий .

21 Зам ечание 1. Н а ш а ге 2 векторы изобуч а ющ ей п ос ледова тельнос ти луч ш е п редъявлять на вход в с луч а й ном п орядке. Зам ечание2. В ом ногих с луч а ях жела тельнона делять ка ждый ней ронобуч а ем ым с м ещ ением . Э то п оз воляет с двига ть на ч а ло отс ч ета логис тич ес кой ф ункц ии, да ва я эф ф ект, а на логич ный п одс трой ке п орога п ерс еп тронногоней рона , и п риводит к ус корению п роц ес с а обуч ения. Э та воз м ожнос ть м ожет быть легко введена в обуч а ющ ий а лгоритм с п ом ощ ью доба вляем ого к ка ждом у ней рону вес а , п рис оединенногок +1. Э тот вес обуч а етс я та к же, ка к и вс е ос та льные вес а , з а ис ключ ением того, ч то п ода ва ем ый на него с игна л вс егда ра вен +1, а не выходу ней рона п редыдущ егос лоя. Зам ечание 3. Колич ес тво входов и выходов с ети, ка к п ра вило, диктуетс я ус ловиям и з а да ч и, а ра з м ер с крытого с лоя на ходят экс п ерим ента льно. О быч ноч ис ло ней ронов в нем с ос та вляет 30-50% от ч ис ла входов. Слиш ком больш ое колич ес тво ней ронов с крытого с лоя п риводит к том у, ч то с еть теряет с п особнос ть к обобщ ению (она п рос то дос кона льно з а п ом ина ет элем енты обуч а ющ ей выборки и не реа гирует на с хожие обра з ц ы, ч то неп рием лем о для з а да ч ра с п оз на ва ния). Е с ли ч ис ло ней ронов в с крытом с лое с лиш ком м а ло, с еть ока з ыва етс я п рос то не в с ос тоянии обуч итьс я. Зам ечание 4. В ыходы ка ждого ней рона с ети лежа т в диа п а з оне (0,1) –обла сти з на ч ений логис тич ес кой ф ункц ии – это на до уч итыва ть п ри ф орм ирова нии обуч а ющ ей выборки. Е с ли необходим о п олуч ить от с ети бина рный выход, то, ка к п ра вило, вм ес то0 ис п ольз уют 0.1, а вм ес то1 - 0.9, та к ка к гра ниц ы интерва ла недос тижим ы. Модиф ика ц ии а лгоритм а обра тногора с п рос тра нения с вяз а ны с ис п ольз ова нием ра з лич ных ф ункц ий ош ибки, других а ктива ц ионных ф ункц ий , ра з лич ных п роц едур оп ределения на п ра вления и велич ины ш а га . О бра тное ра с п рос тра нение было ис п ольз ова но в ш ирокой с ф ере п рикла дных ис с ледова ний . В ч а с тнос ти ф ирм а NEC в Я п онии ис п ольз ова ла обра тное ра с п рос тра нение для виз уа льного ра с п оз на ва ния букв (в том ч ис ле рукоп ис ных), п рич ем точ нос ть п ревыс ила 99%. Д ос тигнут вп еч а тляющ ий ус п ех с Net-Talk, с ис тем ой , котора я п ревра щ а ет п еч а тный а нглий с кий текс т в выс окока ч ес твенную реч ь. Ма гнитоф онна я з а п ис ь п роц ес с а обуч ения с ильнона п ом ина ет з вуки ребенка на ра з ных эта п а х обуч ения реч и. Н о нес м отря на м ногоч ис ленные ус п еш ные п рим енения обра тного ра с п рос тра нения, оно не являетс я п а на ц еей . Больш е вс его неп риятнос тей п ринос ит неоп ределеннодолгий п роц ес с обуч ения. В с ложных з ада ч а х для обуч ения с ети м огут п отребова тьс я ч а с ы или да же дни, она м ожет и вообщ е не обуч итьс я. Н еуда ч и в обуч ении ч а с то воз ника ют п о п рич ине п оп а да ния с ети в лока льный м иним ум , ч то, к с ожа лению, являетс я ха ра ктерной ос обеннос тью м етодов гра диентного с п ус ка . И с п ра вить с итуа ц ию в та ком с луч а е иногда п ом ога ют небольш ие с луч а й ные из м енения вес овыхз на ч ений с ети.

22 У П Р АЖ Н Е Н И Я 1. Н а п иш ите п рогра м м у, обуч а ющ ую с еть обра тногора с п рос тра нения игре в ‘крес тики-нолики” 3×3. Клетки дос ки з а кодирова ны п оз иц иям и 1..9. В ходным вектором являетс я девятим ерный вектор, в котором в с оответс твующ ей п оз иц ии з а да етс я 0.1, ес ли в ней на ходитс я “ нолик”, 0.9 - ес ли “ крес тик” и 0.5, ес ли клетка п ус та . Н а выходе ней рос ети п олуч а етс я новое п оложение п ос ле хода ней рос ети (ней рос еть уч итс я игра ть нолика м и). Н а ч ина ют крес тики. Н а п рим ер: П оз иц ия на входе : x

Код входа : 0.5 0.5 0.5 0.5 0.9 0.5 0.5 0.5 0.5 О твет ней рос ети : 0.5 0.5 0.5 0.5 0.9 0.1 0.5 0.5 0.5 П оз иц ия п ос ле хода ней рос ети: x o

П редва рительно с ыгра й те с а м и с с обой нес колько п рим ерных п а ртий , з а п ис ыва я п ос ледова тельнос ти ходов. Обуч ите ней рос еть, з а да в вс е ходы ответы нолика м и. Д а лее п ыта й тес ь игра ть с ней рос етью, ес ли она будет выда ва ть неверный (или невоз м ожный ) ответ, с дела й те ход з а нее и включ ите этот п рим ер в обуч а ющ ую выборку, п родолжите обуч ение. 2. Н а п иш ите п рогра м м у, обуч а ющ ую с еть обра тного ра с п рос тра нения ра с п оз на ва нию букв ла тинс кого а лф а вита . Н а вход с ети п ода ютс я гра ф ич ес кие из обра жения букв, ра з битые на ква дра ты (или п икс ели) а на логич но, ка к для однос лой ного п ерс еп трона . Ж ела тельно ис п ольз ова ть не м енее 10-15 ра з лич ных ш риф тов (на п рим ер, ш риф ты True Type). В ыходом с ети м ожет с лужить двоич ное п редс та вление п орядкового ном ера буквы (м ожно та кже п оложить ч ис ло выходов с ети ра вным ч ис лу букв, но это с ущ ес твенно увелич ит ра з м ер с ети и врем я ее обуч ения). 3. Д ля с етей обра тногора с п рос тра нения ч а с тов ка ч ес тве ф ункц ии а ктива ц ии ис п ольз уют двухп олюс ный с игм оид. Э та ф ункц ия им еет обла с ть з на ч ений (-1,1) и 2 − 1 . П роиз водную этой ф ункц ии м ожно оп ределяетс я ф орм улой : f ( s ) = 1 + e− s 1 выра з ить в виде: f ' ( s) = (1 + f ( s))(1 − f ( s )) . В ыведите п ра вило коррекц ии ве2 с ов для выходногои с крытогос лоев в этом с луч а е. 4. И с п ольз уя ф ункц ию а ктива ц ии изз а да ч и 3, на п иш ите п рогра м м у, обуч а ющ ую с еть обра тного ра с п рос тра нения п рогноз ирова нию курс а долла ра (п о отнош ению к рублю). Сеть им еет 30 входов, на которые п ода етс я курс долла ра в 30 п ос ледова тельных дней . В ыходной с лой с одержит вс его один ней рон, выда ющ ий велич ину из м енения курс а на 31-й день (п о с ра внению с 30-м ). Д ля обуч ения с ети необходим оим еть с та тис тикукурс а долла ра з а нес колькоп ос ледних м ес яц ев (дос туп ную, на п рим ер, в с ети И нтернет).

23

§ 5. С Е Т Ь В С Т Р Е ЧН О Г О Р АС П Р О С Т Р АН Е Н И Я 5.1. С еть К охонена. К лассиф ик ац ия образов За да ч а кла с с иф ика ц ии з а ключ а етс я в ра з биении объектов на кла с с ы, п рич ем ос новой ра з биения с лужит вектор п а ра м етров объекта . Са м и кла с с ы ч а с тобыва ют неиз вес тны з а ра нее, а ф орм ируютс я дина м ич ес ки. Н а з овем п р о т о т ип о м кла с с а объект, на иболее тип ич ный для с воегокла с с а . О динизс а м ых п рос тых п одходов к кла с с иф ика ц ии с ос тоит в том , ч тобы п редп оложить с ущ ес твова ние оп ределенногоч ис ла кла с с ов и п роиз вольным обра з ом выбра ть координа ты п рототип ов. За тем ка ждый вектор изна бора да нных с вяз ыва етс я с ближа й ш им к нем уп рототип ом , и новым и п рототип а м и с та новятс я ц ентроиды вс ех векторов, с вяз а нных с ис ходным п рототип ом . В ка ч ес тве м еры близ ос ти двух векторов обыч но выбира етс я евклидовора с с тояние: d ( x, y ) = ∑ ( xi − yi ) 2 . i

Н а этих п ринц ип а х ос нова ноф ункц ионирова ние с ети Кохонена , обыч ноис п ольз уем ой для реш ения з а да ч кла с с иф ика ц ии. Д а нна я с еть обуч а етс я б ез учит ел я на ос нове с а м оорга низ а ц ии. П о м ере обуч ения вектора вес ов ней ронов с та новятс я п рототип а м и кла с с ов - груп п векторов обуч а ющ ей выборки. Н а эта п е реш ения инф орм а ц ионных з а да ч с еть относ ит новый п редъявленный обра зк одном уиз с ф орм ирова нных кла с с ов. Ра с с м отрим а рхитектурус ети Кохонена и п ра вила обуч ения п одробнее. Сеть Кохонена с ос тоит изодногос лоя ней ронов. Ч ис ловходов ка ждогоней рона n ра вно ра з м ернос ти вектора п а ра м етров объекта . Колич ес тво ней ронов m с овп а да ет с требуем ым ч ис лом кла с с ов, на которые нужнора з бить объекты (м еняя ч ис лоней ронов, м ожнодина м ич ес ки м енять ч ис локла с с ов). О буч ение на ч ина етс я с з а да ния небольш их с луч а й ных з на ч ений элем ента м вес овой м а триц ы W . В да льней ш ем п роис ходит п роц ес с с а м оорга низ а ц ии, с ос тоящ ий в м одиф ика ц ии вес ов п ри п редъявлении на вход векторов обуч а ющ ей выборки. Ка ждый с толбец вес овой м а триц ы п редс та вляет с обой п а ра м етры с оответс твующ егоней рона -кла с с иф ика тора . Д ля ка ждогоj-го ней рона ( j = 1, m ) оп n

ределяетс я ра с с тояние от негодовходноговектора Х : d j = ∑ ( xi − wij ) 2 . Д а лее i =1

выбира етс я ней ронс ном ером k , 1 ≤ k ≤ m , для которогоэтора с с тояние м иним а льно(тоес ть с еть отнес ла входной вектор к кла с с ус ном ером k). Н а текущ ем ш а ге обуч ения N будут м одиф иц ирова тьс я тольковес а ней ронов изокрес тнос ти ней рона k: wijN +1 = wijN + α N ( xi − wijN ) П ервона ч а льнов окрес тнос ти любогоизней ронов на ходятс я вс е ней роны с ети, но с ка ждым ш а гом эта окрес тнос ть с ужа етс я. В конц е эта п а обуч ения п одс тра ива ютс я тольковес а тольконей рона с ном ером k. Тем п обуч ения α N с теч ением врем ени та кже ум еньш а етс я (ч а с то п ола га ют α 0 = 0.9, α N +1 = α N − 0.001) . О бра з ы

24 обуч а ющ ей выборки п редъявляютс я п ос ледова тельно, и ка ждый ра зп роис ходит п одс трой ка вес ов. Ал го р и тм о буч ени я сети К о хо нена Ш аг1. И ниц иа лиз а ц ия с ети. В ес овым коэф ф иц иента м с ети wij , i = 1, n, j = 1, m п рис ва ива ютс я м а лые с луч а й ные з на ч ения. За да ютс я з на ч ения α 0 -на ч а льный тем п обуч ения и D0 -м а кс им а льное ра с с тояние м еждувес овым и вектора м и (с толбц а м и м а триц ы W ). Ш аг2. П редъявление с ети новоговходногос игна ла X . Ш аг3. В ыч ис ление ра с с тояния от входа X довс ех ней ронов с ети: n

d j = ∑ ( xi − wijN ) 2 , j = 1, m i =1

Ш аг4. В ыбор ней рона k , 1 ≤ k ≤ m с на им еньш им ра с с тоянием d k . Ш аг5. Н а с трой ка вес ов ней рона k и вс ех ней ронов, на ходящ ихс я от негона ра с с тоянии не п ревос ходящ ем DN . wijN +1 = wijN + α N ( xi − wijN ) Ш аг6. У м еньш ение з на ч ений α N , DN . Ш аг7. Ш а ги 2-6 п овторяютс я дотех п ор, вес а не п ерес та нут м енятьс я (или п ока с ум м а рное из м енение вс ех вес ов с та нет оч ень м а ло). П ос ле обуч ения кла с с иф ика ц ия вып олняется п ос редс твом п ода ч и на вход с ети ис п ытуем оговектора , выч ис ления ра с с тояния от него дока ждогоней рона с п ос ледующ им выбором ней рона с на им еньш им ра с с тоянием ка к индика тора п ра вильной кла с с иф ика ц ии. Зам ечание. Е сли п редва рительно п ровес ти единич ную норм ировку вс ех входных векторов, то ес ть п ода ва ть на вход сети обра з ы X ' , ком п оненты котороxi ,а го с вяз а ны с ком п онента м и вектора м и X п о ф орм ула м : xi ' = x12 + x22 + ... + xn2 та кже ес ли п ос ле ка ждой итера ц ии п роц ес с а обуч ения ос ущ ес твлять норм ировку вес ов ка ждого ней рона (с толбц ов м а триц ы W ), то в ка ч ес тве м еры близ ос ти входных векторов и вес овых векторов ней ронов с ети м ожно ра с с м а трива ть с ка лярное п роиз ведение м ежду ним и. Д ей с твительно в этом с луч а е n

n

n

n

n

i =1

i =1

i =1

i =1

i =1

d j = ∑ ( xi − wijN ) 2 = ∑ xi2 − 2∑ xi wijN + ∑ wij2 = 2 − 2∑ xi wijN .

Та ким

обра з ом ,

на и-

м еньш им будет ра с с тояние до того ней рона , с ка лярное п роиз ведение с вес а м и которого у входного вектора м а кс им а льно. В этом с луч а е м ожно с ч ита ть, ч то ка ждый ней рон Кохонена реа лиз ует тождес твенную а ктива ц ионную ф ункn

на ч ением а ктива ц ионной ц ию f ( s) = s , где s = ∑ wij xi . Н ей рон с м а кс им а льным з i =1

ф ункц ии объявляетс я “ п обедителем ” и его вес а (а та кже вес а ней ронов изегоокружения) п ерес ч итыва ютс я.

25 Сеть Кохонена на ш ла с а м ое ш ирокое п рим енение в з а да ч а х ф ина нс ового а на лиз а . С ее п ом ощ ью ус п еш но реш а ютс я з а да ч и п редс ка з а ния рис ков, рей тингова ния и м ногие другие.

5.2. Н ейроны Г россберга. В ходны еи вы ходны ез вез ды . В ходна я з вез да Грос с берга , ка к п ока з а но на рис . 12, с ос тоит изней рона , на который п ода етс я груп п а входов, ум ноженныхна с ина п cич ес кие вес а .

Y

Рис . 12. В ходна я з вез да Грос с с берга

В ыходна я з вез да , п ока з а нна я на рис . 13, являетс я ней роном , уп ра вляющ им груп п ой вес ов. В ходные и выходные з вез ды м огут быть вз а им но с оединены в с ети любой с ложнос ти.

X

Рис . 12. В ыходна я з вез да Грос с с берга .

О буч ени е вхо дно й звезды В ходна я з вез да вып олняет ра с п оз на ва ние обра з ов, т. е. она обуч а етс я реа гирова ть на оп ределенный входной вектор Х и ни на ка кой другой . Э то обуч ение реа лиз уетс я п утем на с трой ки вес ов та ким обра з ом , ч тобы они с оответс твова ли входном у вектору. В ходна я з вез да им еет тождес твенную а ктива ц ионную ф ункц ию: f ( s) = s , то ес ть выход входной з вез ды оп ределяетс я ка к вз веш енна я с ум м а ее n

входов: Y = ∑ wi xi . С другой точ ки з рения, выход м ожно ра с с м а трива ть ка к с ка i =1

лярное п роиз ведение входного вектора с вес овым вектором . Е с ли эти векторы им еют единич ную норм у, то с ка лярное п роиз ведение будет м а кс им а льным для тоговходногообра з а , котором уней ронбыл обуч ен.

26 В п роц ес с е обуч ения вес а корректируютс я с ледующ им обра з ом : N +1 N N wi = wi + α N ( xi − wi ) , где wi – вес овой коэф ф иц иент входа х i; α – норм ирующ ий коэф ф иц иент обуч ения, который им еет на ч а льное з на ч ение 0.1 и п ос теп енноум еньш а етс я в п роц ес с е обуч ения. П ос ле з а верш ения обуч ения п редъявление входного вектора Х будет а ктивиз ирова ть обуч енный входной ней рон. Х орош о обуч енна я входна я з вез да будет реа гирова ть не только на оп ределенный з а п ом ненный вектор, но та кже и на нез на ч ительные из м енения этого вектора . Э то дос тига етс я п ос теп енной на с трой кой ней ронных вес ов п ри п редъявлении в п роц ес с е обуч ения векторов, п редс та вляющ их норм ирова нные ва риа ц ии входноговектора . В ес а на с тра ива ютс я та ким обра з ом , ч тобы ус реднить велич ины обуч а ющ их векторов, и ней роны п олуч а ют с п ос обнос ть реа гирова ть на любой вектор этогокла с с а . О буч ени е вы хо дно й звезды В товрем я ка к входна я з вез да уч итс я реа гирова ть на оп ределенный вход, выходна я з вез да обуч а етс я выда ва ть требуем ый ц елевой выход. Д ля тогоч тобы обуч ить ней ронвыходной з вез ды, еговес а на с тра ива ютс я в с оответс твии с требуем ым ц елевым выходным вектором Y. Ф орм ула коррекц ии вес ов им еет вид: wiN +1 = wiN + β N ( yi − wiN ) , где β п редс та вляет с обой норм ирующ ий коэф ф иц иент обуч ения, который в на ч а ле п риблиз ительнора венединиц е и п ос теп енноум еньш а етс я донуля в п роц ес с е обуч ения. Ка к и в случ а е входной з вез ды, вес а выходной з вез ды п ос теп еннона с тра ива ютс я на м ножес тве векторов, п редс та вляющ ихс обой воз м ожные ва риа ц ии з ап ом ина ем оговыходноговектора .

5.3. Д вухслойная сеть встречного распространения Сеть вс треч ногора с п рос тра нения с ос тоит издвух с лоев: с лоя ней ронов Кохонена и с лоя ней ронов Грос с берга . А втор с ети Р. Х ехт-Н ильс енуда ч нообъединил эти две а рхитектуры, в рез ульта те с еть п риобрела с вой с тва , которых не былоука ждой их них в отдельнос ти. Слой Кохонена кла с с иф иц ирует входные векторы в груп п ы с хожих. Э тодос тига етс я с п ом ощ ью та кой п одс трой ки вес ов с лоя Кохонена , ч тоблиз кие входные векторы а ктивируют одини тот же ней ронда нногос лоя. За тем з а да ч ей слоя Грос с берга являетс я п олуч ение требуем ых выходов.

27 В ходы

w11

wnm

v11

vmn

Рис . 13 Сеть вс треч ногора с п рос тра нения

Н а рис . 13 п ока з а на с еть вс треч ного ра с п рос тра нения п олнос тью. В режим е норм а льногоф ункц ионирова ния п редъявляютс я входные векторы Х и Y, и обуч енна я с еть да ет на выходе векторы X’и Y’ , являющ иес я а п п рокс им а ц иям и с оответс твенно для Х и Y. Векторы (Х , Y) п редп ола га ютс я з дес ь норм ирова нным и вектора м и единич ной длины, с ледова тельно, п орожда ем ые на выходе векторы та кже должны быть норм ирова нным и. В п роц ес с е обуч ения векторы Х и Y п ода ютс я одноврем енно и ка к входные векторы с ети, и ка к жела ем ые выходные сигна лы. В рез ульта те п олуч а етс я отобра жение, п ри котором п редъявление п а ры входных векторов п орожда ет их коп ии на выходе. Э то не было бы ос обенно интерес ным , если не уч итыва ть с п ос обнос ть этой с ети к обобщ ению. Бла года ря обобщ ению, п редъявление тольковектора Х (с вектором Y, ра вным нулю) п орожда ет ка к выходы X’, та к и выходы Y’ . Е с ли F – ф ункц ия, отобра жа ющ а я Х в Y’, то с еть а п п рокс им ирует ее. Та кже, ес ли F обра тим а , то п редъявление только вектора Y (п рира внива я Х нулю) п орожда ет X’ . У ника льна я с п особнос ть п орожда ть ф ункц ию и обра тную к ней дела ет с еть вс треч ного ра с п рос тра нения п олез ной в ряде п риложений . (Н а п рим ер, в з а да ч е а п п рокс им а ц ии м ногом ерной векторной ф ункц ии с еть обуч а етс я на из вес тных з на ч енияхэтой ф ункц ии). Ал го р и тм о буч ени я сети встр еч но го р аспр о стр анени я Ш аг 1. П роиз вес ти единич ную норм ировку вс ех векторов ( X , Y ) обуч а ющ его м ножес тва .

28 Ш аг2. В ес овым коэф ф иц иента м с ети wij , v ji , i = 1, n, j = 1, m п рис воить м а лые с луч а й ные з на ч ения и п роиз вес ти единич ную норм ировкум а триц W , V п ос толбц а м . П оложить α 0 = 0.7 , β 0 = 0.1. Ш аг3. П ода ть на вход с ети обуч а ющ ий на бор ( X , Y ) и оп ределить единс твенный ней рон-“ п обедитель” в с лое Кохонена (вес овой вектор которогода ет м а кс им а льное с ка лярное п роиз ведение с входным вектором ). В ыход этого ней рона ус та новить ра вным 1, выходы вс ех ос та льных ней ронов с лоя Кохонена п оложить ра вным и 0. Скорректирова ть вес а выигра вш его ней рона : wijN +1 = wijN + α N ( zi − wijN ) , где Z = ( X , Y ) . Ш аг4. П ода ть выходной вектор с лоя Кохонена на вход с лоя Грос с берга . Скорректирова ть вес а с лоя Грос с берга , с вяз а нные с выигра вш им ней роном с лоя КохоN +1 N N нена : vki = vki + β N ( zi − vki ) (з дес ь k - ном ер выигра вш егоней рона ). Ш аг5. У м еньш ить з на ч ения α N , β N . Ш аг6. П овторять ш а ги 3-5 дотех п ор, п ока ка жда я входна я п а ра изобуч а ющ его м ножес тва на выходе будет п орожда ть а на логич ную выходную п а ру. Зам ечание. Д ля улуч ш ения обобщ а ющ их с вой с тв с ети вс треч ного ра с п рос тра нения тем п ум еньш ения з на ч ений α и β долженбыть оч ень м а леньким , а общ ее колич ес тво итера ц ий дос та точ но больш им (В с е обра з ы обуч а ющ ей выборки жела тельноп редъявить с ети нес колькодес ятков или да же нес колькос отенра з ). У П РАЖ Н Е Н И Я 1. Н а п ис а ть п рогра м м у, обуч а ющ ую с еть Кохонена кла с с иф иц ирова ть тип ы ц ветков ирис а (Iris Setosa - 0, Iris Versicolour - 1, Iris Virginica - 2) п о 4 ра з м ера м их п ес тиков и тыч инок. Ба з а да нных, ра с п оложенна я, на п рим ер, на с ервере www.basegroup.ru, с одержит п о 50 п рим еров ка ждого кла с с а (вс его 150 п рим еров). П ервые 100 п рим еров ис п ольз уй те для обуч ения, ос та льные - для тес тирова ния. 2. Н а п ис а ть п рогра м м у, обуч а ющ ую с еть Кохонена да ва ть п рогнозс тоим ос ти недвижим ос ти в ра з ных ра й она х города . С п ом ощ ью га з ет (“ Ка м елот”, “ И зрук в руки”) выбра ть и п роиз вес ти ч ис ленное кодирова ние 10 на иболее ва жных п а ра м етров, оп ределяющ их с тоим ос ть жилья (жила я п лощ а дь, ра з м ер кухни, п рес тижнос ть ра й она и т.д.). Ка ждый ней рон Кохонена оп ределяет кла с с ква ртир, близ ких п ос тоим ос ти (на п рим ер, 1-й кла с с – ква ртиры с тоим ос тью 200-210 тыс . рублей , 2-й кла сс – 210-220 тыс . рублей и т.д.). Ба з у да нных, включ а ющ ую не м енее 100 обуч а ющ их п рим еров, с ф орм ирова ть с а м ос тоятельно на ос нове инф орм а ц ии изга з ет. 3. Сеть вс треч ногора с п рос тра нения м ожет быть ис п ольз ова на для с жа тия да нных п еред их п ереда ч ей , ум еньш а я тем с а м ым ч ис ло битов, которые должны быть п ереда ны. Д оп ус тим , ч то требуетс я п ереда ть некоторое ч ерно-белое из обра жение. О ном ожет быть ра з битона ф ра гм енты sij , ка к п ока з а нона рис. 14. Ка ждый ф ра гм ент ра з бит на п икс ели. Ра с с м отрим векторное кодирова ние ф ра гм ента :

29 п ус ть ка ждый белый п икс ель – это1, ка ждый ч ерный - 0. Е с ли в ф ра гм енте им еетс я п п икс елей , то для его п ереда ч и п отребуетс я п бит. Множес тво векторов ф ра гм ентов ис п ольз уетс я в ка ч ес тве входа для обуч ения с лоя Кохонена , когда лиш ь выход одного ней рона ра вен1. Вес а с лоя Грос с берга обуч а ютс я выда ва ть бина рный код ном ера того ней рона Кохонена , выход которого ра вен1. Н а п рим ер, ес ли выходной с игна л ней рона 7 ра вен1 (а вс е ос та льные ра вны 0), тос лой Грос с берга будет обуч а тьс я выда ва ть 00...000111 (двоич ный код ч ис ла 7). Э то и будет являтьс я более короткой битовой п ос ледова тельнос тью п ереда ва ем ых с им волов. Н а п рием ном конц е идентич ным обра з ом обуч енна я с еть вс треч ного ра с п рос тра нения п риним а ет двоич ный код и реа лиз ует обра тную ф ункц ию, а п п рокс им ирующ ую п ервона ч а льный ф ра гм ент. Н а п ис а ть п рогра м м у, обуч а ющ ую с еть вс треч ногора с п рос тра нения с жа тию да нных.

Рис . 14. Сис тем а с жа тия из обра жений .

§ 6. С Т О Х АС Т И ЧЕ С К И Е С Е Т И И с кус с твенна я ней ронна я с еть обуч а етс я п ос редс твом некоторого п роц ес с а , м одиф иц ирующ его ее вес а . Е с ли обуч ение ус п еш но, то п редъявление с ети м ножес тва входных с игна лов п риводит к п оявлению жела ем огом ножес тва выходных с игна лов. Ст о х аст ическ ие мет о ды о б учения вып олняют п с евдос луч а й ные из м енения велич инвесов, с охра няя те из м енения, которые ведут к улуч ш ениям . Л ока льные м иним ум ы м еш а ют вс ем а лгоритм а м обуч ения, ос нова нным на п оис ке м иним ум а ф ункц ии ош ибки, включ а я с ети обра тного ра с п рос тра нения, и п редс та вляют с ерьез ную и ш ироко ра с п рос тра ненную п роблем у. Стоха с тич ес кие м етоды п оз воляют реш ить эту п роблем у. Стра тегия коррекц ии вес ов, вынужда ющ а я вес а п риним а ть з на ч ение глоба льногооп тим ум а , воз м ожна .

Рис . 15. П роблем а лока льных м иним ум ов.

30 В ка ч ес тве объясняющ ей а на логии п редп оложим , ч тона рис . 15 из обра жен ш а рик на п оверхнос ти в коробке. Е с ли коробку с ильно п отряс ти в гориз онта льном на п ра влении, тош а рик будет быс троп ерека тыва тьс я от одногокра я к другом у. Н игде не з а держива яс ь, в ка ждый м ом ент ш а рик будет с ра вной вероятнос тью на ходитьс я в любой точ ке п оверхнос ти. Е с ли п ос теп енно ум еньш а ть с илу вс тряхива ния, тобудет дос тигнуто ус ловие, п ри котором ш а рик будет на короткое врем я “з а с трева ть” в точ ке В . П ри ещ е более с ла бом вс тряхива нии ш а рик будет на короткое врем я ос та на влива тьс я ка к в точ ке А , та к и в точ ке В. П ри неп рерывном ум еньш ении силы вс тряхива ния будет дос тигнута критич ес ка я точ ка , когда с ила вс тряхива ния дос та точ на для п ерем ещ ения ш а рика източ ки А в точ ку В , но недос та точ на для того, ч тобы ш а рик м огвыбра тьс я изВ в А . Та ким обра з ом , оконч а тельно ш а рик ос та новитс я в точ ке глоба льного м иним ум а , когда а м п литуда вс тряхива ния ум еньш итс я донуля.

6.1. О бучениеБ оль ц м ана И с кус с твенные ней ронные с ети м огут обуч а тьс я п ос ущ ес тву тем же с а м ым обра з ом п ос редс твом с луч а й ной коррекц ии вес ов. В на ч а ле дела ютс я больш ие с луч а й ные коррекц ии с с охра нением только тех из м енений вес ов, которые ум еньш а ют ц елевую ф ункц ию. За тем с редний ра з м ер ш а га п ос теп енно ум еньш а етс я, и глоба льный м иним ум в конц е конц ов дос тига етс я. Э то с ильно на п ом ина ет отжиг м ета лла , п оэтом у для ее оп ис а ния ч а с то ис п ольз уют терм ин “ им ита ц ия отжига ”. В м ета лле, на гретом до тем п ера туры, п ревыш а ющ ей еготоч ку п ла вления, а том ы на ходятс я в с ильном бес п орядоч ном движении. Ка к и во вс ех ф из ич ес ких с ис тем а х, а том ы с трем ятс я к с ос тоянию м иним ум а энергии, но п ри выс оких тем п ера тура х энергия а том ных движений п реп ятс твует этом у. В п роц ес с е п ос теп енногоохла ждения м ета лла воз ника ют вс е более низ коэнергетич ес кие с ос тояния, п ока в конц е конц ов не будет дос тигнуто на иболее низ кое извоз м ожных с ос тояний - глоба льный м иним ум . В п роц ес с е отжига ра с п ределение энергетич ес ких уровней оп ис ыва етс я с ледующ им соотнош ением : −E e kT

P(E ) = , где Р(E) – вероятнос ть того, ч то с истем а на ходитс я в с ос тоянии с энергией E; k – п ос тоянна я Больц м а на ; Т – тем п ера тура п ош ка ле Кельвина . П ри высоких тем п ера тура х Р(E) п риближа етс я к единиц е для вс ех энергетич ес ких с ос тояний . Та ким обра з ом , выс окоэнергетич ес кое с ос тояние п оч ти с толь же вероятно, ка к и низ коэнергетич ес кое. П о м ере ум еньш ения тем п ера туры вероятнос ть выс окоэнергетич ес ких с ос тояний ум еньш а етс я п о с ра внению с низ коэнергетич ес ким и. П ри п риближении тем п ера туры к нулю с та новитс я вес ьм а м а ловероятным , ч тобы сис тем а на ходила с ь в выс окоэнергетич ес ком с ос тоянии. Э тот с тоха с тич ес кий м етод неп ос редс твенноп рим еним к обуч ению ис кус с твенных ней ронных с етей и относ итс я к кла с с уа лгоритм ов обуч ения с учит ел ем .

31 Ал го р и тм о буч ени я Бо л ьцм ана Ш аг1. О п ределить п ерем енную Т , п редс та вляющ ую ис кус с твенную тем п ера туру. П рида ть Т больш ое на ч а льное з на ч ение. Ш аг2. П ода ть на вход с ети один извходных обра з ов обуч а ющ ей выборки и выч ис лить реа льный выход и з на ч ение ф ункц ии ош ибки с ети (ка к в а лгоритм е обра тногора с п рос тра нения). Ш аг3. П рида ть с луч а й ное из м енение ∆wij выбра нном у вес у wij и п ерес ч ита ть выход с ети и из м енение ф ункц ии ош ибки в с оответс твии с о с дела нным из м енением вес а . Ш аг 4. Е с ли ф ункц ия ош ибки ум еньш ила с ь, то с охра нить из м енение вес а . Е с ли из м енение вес а п риводит к увелич ению ф ункц ии ош ибки, то вероятнос ть с охра нения этого из м енения выч ис ляетс я с п ом ощ ью ра с п ределения − ∆wij

Больц м а на : P (∆wij ) = e T . В ыбира етс я с луч а й ное ч ис ло r изра вном ерного ра с п ределения от нуля доединиц ы. Е с ли P (∆wij ) больш е, ч ем r, тоиз м енение с охра няетс я, в п ротивном с луч а е велич ина вес а воз вра щ а етс я к п редыдущ ем у з на ч ению. Ш аг5. П овторять ш а ги 3 и 4 для ка ждогоизвес ов с ети, п ос теп енноум еньш а я тем п ера туру Т , п ока не будет дос тигнуто доп ус тим о низ кое з на ч ение ц елевой ф ункц ии. Ш аг6. П овторять ш а ги 2-5 для вс ех векторов обуч а ющ ей выборки, (воз м ожно неоднокра тно), п ока ф ункц ия ош ибки не с та нет доп ус тим ой для ка ждого изних. Зам ечание 1. Н а ш а ге 4 с ис тем а м ожет дела ть с луч а й ный ш а г в на п ра влении, п ортящ ем ф ункц ию ош ибки, п оз воляя ей тем с а м ым вырыва тьс я излока льных м иним ум ов, где любой м а лый ш а гувелич ива ет ц елевую ф ункц ию. Зам ечание2. В ра бота х, п ос вящ енных больц м а новс ком уобуч ению, п ока з а но, ч то для дос тижения с ходим ос ти к глоба льном у м иним ум у с корос ть ум еньш ения ис T0 где N- нокус с твенной тем п ера туры должна п одч инятьс я з а кону: TN = ln(1 + N ) м ер итера ц ии обуч ения. Э тот рез ульта т п редс ка з ыва ет оч ень м едленную с ходим ос ть п роц ес с а обуч ения, ч тоявляетс я с ущ ес твенным недос та тком да нногом етода .

6.2. О бучениеК ош и В этом м етоде ра с п ределение Больц м а на з а м еняетс я на ра с п ределение Кош и. Ра с п ределение Кош и им еет, ка к п ока з а но на рис . 15, более выс окую вероятнос ть больш их ш а гов. В дей с твительнос ти ра с п ределение Кош и им еет бес конеч ную (неоп ределенную) дис п ерс ию. С п ом ощ ью та кого п рос того из м енения м а кс им а льна я с корос ть ум еньш ения тем п ера туры с та новитс я обра тно п роп орц иона льной линей ной велич ине, а не лога риф м у, ка к для а лгоритм а обуч ения Больц м а на .

32 Э то рез ко ум еньш а ет врем я обуч ения. Э та с вяз ь м ожет быть выра жена с ледуюT T щ им обра з ом : TN = 0 . Ра сп ределение Кош и им еет вид: P (∆wij ) = 2 N 2 1+ N TN + ∆wij где P (∆wij ) ес ть вероятнос ть п ринять из м енение вес а ∆wij .

Рис . 16. Ра с п ределение Кош и и ра с п ределение Больц м а на Н ес м отря на улуч ш ение с корос ти обуч ения, да ва ем ое ра с п ределением Кош и п ос ра внению с ра с п ределением Больц м а на , врем я с ходим ос ти вс е ещ е м ожет в 100 ра зп ревыш а ть врем я для а лгоритм а обра тногора с п рос тра нения. К о м би ни р о вани е о бр атно го р аспр о стр анени я с о буч ени ем К о ш и Коррекц ия вес ов в ком бинирова нном а лгоритм е, ис п ольз ующ ем обра тное ра с п рос тра нение и обуч ение Кош и, с ос тоит издвух ком п онент: ком п оненты, выч ис ляем ой с ис п ольз ова нием а лгоритм а обра тногора с п рос тра нения, и с луч а й ной ком п оненты, оп ределяем ой ра с п ределением Кош и. Э ти ком п оненты выч исляютс я для ка ждоговес а , и их с ум м а являетс я велич иной , на которую из м еняетс я вес . Ка к и в а лгоритм е Кош и, п ос ле выч ис ления из м енения вес а выч исляетс я ц елева я ф ункц ия. Е с ли им еет м ес тоулуч ш ение, из м енение с охра няетс я. В п ротивном с луч а е онос охра няетс я с вероятнос тью, оп ределяем ой ра с п ределением Кош и. Коррекц ия вес а выч ис ляетс я с ис п ольз ова нием п редс та вленных ра нее ура внений ∂E + (1 − η )∆wijN , где η – коэф ф иц идля ка ждогоиза лгоритм ов: wijN +1 = wijN − ηα ∂wij ент, уп ра вляющ ий относ ительным и велич ина м и обуч ения Кош и и обра тногора с п рос тра нения в ком п онента х вес овогош а га . Е с ли η п рира внива етс я нулю, м етод с та новитс я п олнос тью обуч ением Кош и. Е сли η п рира внива етс я единиц е, м етод с та новитс я а лгоритм ом обра тногора с п рос тра нения. Ком бинирова нна я с еть, ис п ольз ующ а я обра тное ра с п рос тра нение и обуч ение Кош и, обуч а етс я быс трее, ч ем ка ждый иза лгоритм ов в отдельнос ти. Сходим ос ть к глоба льном у м иним ум у га ра нтируетс я а лгоритм ом Кош и, и во м ногих экс п ерим ента х п о обуч ению с еть п ра ктич ес ки не п оп а да ла в лока льные м иним ум ы.

33 У П РАЖ Н Е Н И Я 1. Стоха с тич ес кие ней ронные с ети м ожно ис п ольз ова ть для п оис ка глоба льного м иним ум а в невып уклых или не им еющ их с трогой м а тем а тич ес кой ф орм а лиз а ц ии з а да ч а х оп тим из а ц ии. Н а п ервом эта п е обуч ения (на п рим ер, п о м етоду Кош и) п одс тра ива ютс я вес овые коэф ф иц иенты с ети та к, ч тобы она а п п рокс им ирова ла да нную ф ункц ию (в ка ч ес тве обуч а ющ ей выборки ис п ольз уютс я на боры з на ч ений п ерем енных, для которых из вес тно з на ч ение ф ункц ии). Н а втором эта п е вес овые коэф ф иц иенты с ети ос та ютс я безиз м енения, а оп ределению п одлежа т входные з на ч ения с ети, которые п ерес ч итыва ютс я п отом уже з а кону, ч тои вес овые коэф ф иц иенты, нов ка ч ес тве ф ункц ии ош ибки ис п ольз уетс я оп тим из ируем а я ф ункц ия, а п п рокс им ируем а я да нной с етью (з а ее ум еньш ением или увелич ением должен с ледить а лгоритм обуч ения). Н а п иш ите п рогра м м у, оп ределяющ ую с п ом ощ ью обуч ения Кош и глоба льный м иним ум ф ункц ии F(x) = 3х 3 + 6х 2 – 2х + 3. 2. Н а п иш ите п рогра м м у, обуч а ющ ую с тоха с тич ес кую с еть ра с п оз на ва нию ц иф р. Н а вход с ети п ода ютс я гра ф ич ес кие из обра жения ц иф р, ра з битые на ква дра ты (или п икс ели) а на логич но, ка к для однос лой ногоп ерс еп трона или с ети обра тногора с п рос тра нения. И с п ольз уй те не м енее 15- 20 ра з лич ных на п ис а ний ц иф р. В ыходом с ети с лужит двоич ное п редс та вление входной ц иф ры.

§ 7. С Е Т И С О Б Р АТ Н Ы М И С В ЯЗЯМ И Ра с с м отренные ра нее ней рос етевые а рхитектуры относ ятс я к кла с с ус етей с на п ра вленным п отоком ра с п рос тра нения инф орм а ц ии и не с одержа т обра тных с вяз ей . П ос ле обуч ения на эта п е ф ункц ионирова ния с ети ка ждый ней рон вып олняет с вою ф ункц ию - п ереда ч у выходного с игна ла - ровно один ра з . В общ ем с луч а е м ожет быть ра с с м отрена ней ронна я с еть, с одержа щ а я п роиз вольные о б р ат ные с вяз и, то есть п ути, п ереда ющ ие с игна лы от выходов к входа м . О тклик та ких с етей являетс я дина м ич ес ким , т. е. п ос ле п ода ч и нового входа выч ис ляетс я выход и, п ереда ва яс ь п о обра тной с вяз и, м одиф иц ирует вход. За тем выход п овторно выч ис ляетс я, и п роц ес с п овторяетс я с нова и с нова . Д ля ус той ч ивой с ети п ос ледова тельные итера ц ии п риводят к вс е м еньш им из м енениям выхода , и в рез ульта те выход с та новитс я п ос тоянным . Д ля м ногих с етей п роц ес с никогда не з ака нч ива етс я, та кие с ети на з ыва ют неус той ч ивым и. Н еус той ч ивые с ети обла да ют интерес ным и с вой с тва м и и м огут ра с с м а трива тьс я в ка ч ес тве п рим ера ха отич ес ких с ис тем , но для больш инс тва п ра ктич ес ких п риложений ис п ольз уютс я с ети, которые да ют п ос тоянный выход.

7.1. С еть Х опф илда Ра с с м отрим однос лой ную с еть с обра тным и с вяз ям и, с ос тоящ ую изn входов и n ней ронов (рис . 17). Ка ждый вход с вяз а н с о вс ем и ней рона м и. Та к ка к

34 выходы с ети з а новоп ода ютс я на входы, то yi - этоз на ч ение i − говыхода , который на с ледующ ем эта п е ф ункц ионирова ния с ети с та новитс я i − м входом .

В ходы

Н е й роны

Рис . 17. Модель с ети Х оп ф илда

Совокуп нос ть выходных з на ч ений вс ех ней ронов yi на некотором эта п е N обра з ует век т о р со ст о яния с ети Y N . Н ей родина м ика п риводит к из м енению вектора N +1 . с ос тояния на Y О боз на ч им с илус ина п с ич ес кой с вяз и от i-говхода к j-м уней ронука к wij. Ка ждый j-й ней ронс ети реа лиз ует п ороговую а ктива ц ионную ф ункц ию с ледующ его вида : − 1, s j < Θ j ;  y Nj +1 = f ( s j ) = 1, s j > Θ j ;  N  y j , s j = Θ j n

Здес ь s j = ∑ yiN ⋅ wij , y Nj - з на ч ение выхода j-гоней рона на п редыдущ ем эта п е i =1

на ч ение j-гоней рона . ф ункц ионирова ния с ети, Θ j - п ороговое з В м одели Х оп ф илда п редп ола га етс я ус ловие симмет р ично ст ис вяз ей wij=wji, с нулевым и диа гона льным и элем ента м и wii=0. У с той ч ивос ть та кой с ети м ожет быть дока з а на с ледующ им обра з ом . В едем в ра с с м отрение ф ункц ию, з а вис ящ ую от с ос тояния с ети Y и на з ыва ем ую ф ункц ией энергии с ети Х оп ф илда : n 1 n n E (Y ) = − ∑ ∑ wij yi y j + ∑ Θ j y j 2 i =1 j =1 j =1 В ыч ис лим из м енение ф ункц ии энергии ∆ Е , выз ва нное из м енением с ос тояния j-ней рона ∆y j :

35 ∆E = (− ∑ wij yi + Θ j )∆y j = −( s j − Θ j )∆y j i≠ j

(з дес ь м ы вос п ольз ова лис ь с им м етрич нос тью с вяз ей и тем , ч то wii=0). Д оп ус тим , ч то велич ина s j больш е п орога Θ j . Тогда выра жение в с кобка х будет п оложительным , а извида а ктива ц ионной ф ункц ии с ледует, ч то новый выход ней рона j должен быть 1, то ес ть из м енитьс я в п оложительную с торону (или ос та тьс я без из м енения). Э то з на ч ит, ч то ∆y j ≥ 0 и тогда ∆E ≤ 0 . Следова тельно, энергия с ети либо ум еньш итс я, либо ос та нетс я безиз м енения. Д а лее, доп ус тим , ч то велич ина s j м еньш е п орога . Тогда новое з на ч ение y j =-1 и велич ина ∆y j м ожет быть только отриц а тельной или нулем . Следова тельно, оп ять энергия должна ум еньш итьс я или ос та тьс я безиз м енения. Е сли велич ина s j ра вна п орогу Θ j , ∆y j ра вна нулю и энергия ос та етс я безиз м енения. Э ти ра с с уждения п ока з ыва ют, ч то любое из м енение с ос тояния ней рона либо ум еньш ит ф ункц ию энергии, либо ос та вит ее безиз м енения. Та к ка к ф ункц ия энергии з а да на на конеч ном м ножес тве ( ∀yi ∈ {−1,1} ), то она огра нич ена с низ уи вс ледс твие неп рерывногос трем ления к ум еньш ению в конц е конц ов должна дос тигнуть м иним ум а и п рекра тить из м енение. П о оп ределению та ка я с еть являетс я ус той ч ивой . П оверхнос ть ф ункц ии энергии E в п рос тра нс тве с ос тояний им еет вес ьм а с ложную ф орм у с больш им колич ес твом лока льных м иним ум ов. Ста ц иона рные с ос тояния, отвеч а ющ ие м иним ум а м , м огут интерп ретирова тьс я, ка к о б р азы п а м яти ней ронной с ети. Сходим ос ть к та ком у обра з у с оответс твует п роц ес с у из влеч ения изп а м яти. П ри п роиз вольной м а триц е с вяз ей W обра з ы та кже п роиз вольны. Д ля з а п ис и в п а м ять с ети ка кой -либо конкретной инф орм а ц ии требуетс я оп ределенное з на ч ение вес ов W, которое м ожет п олуч а тьс я в п роц ес с е обуч ения. Пр ави л о о буч ени я Хебба Метод обуч ения для с ети Х оп ф илда оп ира етс я на ис следова ния Д она льда Х ебба , реа лиз ова вш егоп рос той м еха низ м обуч ения, на з ва нный п р авило м Хеб б а. Ра с с м отрим егоп одробно. П ус ть з а да на обуч а ющ а я выборка обра з ов X k , k = 1, K . Требуетс я п ос троить м а триц ус вяз ей W, та кую, ч тос оответс твующ а я ней ронна я с еть будет им еть в ка ч ес тве с та ц иона рныхс ос тояний обра з ы обуч а ющ ей выборки (з на ч ения п орогов ней ронов Θ j п оложим ра вным и нулю). В с луч а е одногообуч а ющ егообра з а X = ( x1 ,..., xn ), xi ∈ {−1,1} , п ра вилоХ ебба п риводит к м а триц е: wij = xi x j , i ≠ j , wii = 0. П ока жем , ч тос ос тояние Y=X являетс я с та ц иона рным для с ети Х оп ф илда с да нной м а триц ей W. Д ей с твительно, з на ч ение ф ункц ии энергии в с ос тоянии X являетс я для нее глоба льным м иним ум ом : 1 n n 1 n n 1 n n 1 E ( X ) = − ∑ ∑ wij xi x j = − ∑ ∑ xi x j xi x j = − ∑ ∑ xi2 x 2j = − n 2 , 2 i =1 j =1 2 i =1 j =1 2 i =1 j =1 2 тоес ть с еть п рекра тит из м енения, дос тигнув с ос тояния X.

36 Д ля з а п ом ина ния K обра з ов п рим еняетс я итера ц ионный п роц ес с : k k −1 k k wij = wij + xi x j , k = 1, K (с ч ита ем , ч то wij0 = 0 ). Э тот п роц ес с п риводит к п олной м а триц е с вяз ей : K

wij = ∑ xik x kj k =1

Сеть Х оп ф илда на ш ла ш ирокое п рим енение в с ис тем а хассо циат ивно йп амят и, п оз воляющ их вос с та на влива ть идеа льный обра зп оим еющ ей с я неп олной или з аш ум ленной еговерс ии. П рим ер. В ка ч ес тве п рим ера ра с с м отрим с еть, с ос тоящ ую из70 ней ронов, уп орядоч енных в м а триц у10 × 7.

Рис . 18 И деа льные обра з ы обуч а ющ ей выборки.

Сеть обуч а ла с ь п оп ра вилуХ ебба на трехидеа льныхобра з а х- ш риф товыхна ч ерта нияхла тинс кихбукв А , B и C (Рис . 18). Тем ные яч ей ки с оответс твуют ней рона м в с ос тоянии +1, с ветлые -1. П ос ле обуч ения ней рос ети в ка ч ес тве на ч а льных с ос тояний ней ронов п редъявлялис ь ра з лич ные ис ка женные версии обра з ов, которые в п роц ес с е ф ункц ионирова ния с ети с ходилис ь к с та ц иона рным с ос тояниям . Д ля ка ждой п а ры из обра жений на рис унка х19, 20 и 21 левый обра зявляетс я на ч а льным с ос тоянием , а п ра вый - рез ульта том ра боты с ети - дос тигнутым с та ц иона рным с ос тоянием .

Рис . 19. Сеть Х оп ф илда ра с п оз на ет обра зс инф орм а ц ионным ш ум ом .

Рис . 20. Сеть Х оп ф илда ра с п оз на ет обра зп оегонебольш ом у ф ра гм енту.

37

Рис . 21. Сеть Х оп ф илда генерирует ложный обра з .

О п ыт п ра ктич ес кого п рим енения с етей Х оп ф илда п ока з ыва ет, ч то эти ней рос етевые с ис тем ы с п ос обны ра с п оз на ва ть п ра ктич ес ки п олнос тью з а ш ум ленные обра з ы и м огут а с с оц иа тивно уз на ва ть обра зп о его небольш ом у ф ра гм енту. О дна ко ос обеннос тью ра боты да нной с ети являетс я воз м ожна я генера ц ия ложных обра з ов. Л ожный обра зявляетс я ус той ч ивым лока льным м иним ум ом ф ункц ии энергии, но не с оответс твует ника ком у идеа льном у обра з у. Н а рис . 21 п ока з а но, ч тос еть не с м огла ра з лич ить, ка ком у изидеа льных обра з ов (B или C) с оответс твует п ода нное на вход з а ш ум ленное из обра жение, и выда ла в ка ч ес тве рез ульта та неч тос обира тельное. Л ожные обра з ы являютс я "неверным и" реш ениям и, и п оэтом у для ис ключ ения их изп а м яти с ети на эта п е ее тес тирова ния п рим еняетс я м еха низ м “ р азо б учения”. Суть их з а ключ а етс я в с ледующ ем . Е с ли обуч енна я с еть на эта п е тес тирова ния с ош ла с ь к ложном у обра з у Z = ( z1 ,..., zn ) , те ее вес овые коэф ф иц иенты п ерес ч итыва ютс я п о ф орм уле: wij ' = wij − ε zi z j , где ε − м а лое ч ис ло ( 0 < ε < 0.1 ) ч то га ра нтирует нез на ч ительное ухудш ение п олез ной п а м яти. П ос ле нес кольких п роц едур ра з обуч ения с вой с тва с ети улуч ш а ютс я. Э то объяс няетс я тем , ч то с ос тояниям ложной п а м яти с оответс твуют гора з до более “ м елкие” энергетич ес кие м иним ум ы, ч ем с ос тояниям , с оответс твующ им з а п ом ина ем ым обра з ом . Д ругим с ущ ес твенным недос та тком с етей Х оп ф илда являетс я небольш а я ем кос ть п а м яти. Многоч ис ленные ис с ледова ния п ока з ыва ют, ч тоней ронна я с еть, обуч енна я п оп ра вилу Х ебба , м ожет в с реднем , п ри ра з м ера х с ети n , хра нить не более ч ем 0.14 n ра з лич ных обра з ов. Д ля некоторого увелич ения ем кос ти п а м яти с ети ис п ольз уетс я с п ец иа льный а лгоритм ортогона лиз а ц ии обра з ов. Пр о цедур а о р то го нал и заци и о бр азо в Д ва ра з лич ных з а п ом ина ем ых векторных обра з а с ети X k , X l ( k ≠ l ) на з ыва ютс я ортогона льным и, ес ли их с ка лярное п роиз ведение ра вно нулю: n

∑ x kj xlj = 0 . j =1

Е с ли вс е з а п ом ина ем ые обра з ы с ети

X k , k = 1, K п оп а рно ортого-

на льны, ем кос ть п а м яти с ети Х оп ф илда увелич ива етс я до n , то ес ть с еть м ожет з а п ом нить колич ес тво обра з ов, не п ревос ходящ ее ч ис ло ней ронов в ней . Н а этом с вой с тве ос нова но улуч ш ение п ра вила Х ебба : п еред з а п ом ина нием в ней ронной с ети ис ходные обра з ы с ледует ортогона лиз ова ть. П роц едура ра с ч ета вес овых коэф ф иц иентов в этом с луч а е им еет с ледующ ий вид: Ш аг1. В ыч ис ляютс я элем енты м а триц ы B = (bkl ), k , l = 1, K :

38 n

bkl = ∑ x kj x lj . j =1

Ш аг2. Оп ределяетс я м а триц а C , обра тна я к м а триц е B : C = B −1 . Ш аг3. За да ютс я вес овые коэф ф иц иенты с ети Х оп ф илда : K K

wij = ∑ ∑ xik x lj ckl k =1 l =1

Cущ ес твенным недос та тком м етода ортогона лиз а ц ии являетс я его нел о к ал ьно ст ь: п режде ч ем на ч а ть обуч ение, необходим о на п еред з на ть все обуч а ющ ие обра з ы. Д оба вление новогообра з а требует п олногоп ереобуч ения с ети.

7.2. С еть Х эм м инга О с новным недос та тком с ети Х оп ф илда являетс я ее больш а я рес урс оем кос ть. Сеть Х эм м инга ха ра ктериз уетс я, п ос ра внению с с етью Х оп ф илда , м еньш им и з а тра та м и п а м яти и м еньш им объем ом выч ислений . Э та сеть с ос тоит издвух с лоев. Ка ждый с лой им еет п оm ней ронов, где m — ч ис лоз а п ом ина ем ых обра з ов. Сеть им еет n входов, с оединенных с овс ем и ней рона м и п ервогос лоя (W- м а триц а вес овых коэф ф иц иентов с вяз ей ). Зна ч ения входов с ети - бип олярные (изм ножес тва {-1,1}). Н ей роны второго с лоя с вяз а ны м ежду с обой отриц а тельным и обра тным и (ингибиторным и) с вяз ям и. Е динс твенный вес с п оложительной обра тной с вяз ью для ка ждогоней рона с оединенс егоже выходом . И дея ра боты с ети с ос тоит в оц енке велич ины, обра тной ра с с тоянию Х эм м инга , от тес тируем ого обра з а до вс ех эта лонных обра з ц ов (ра с с тоянием Х эм м инга на з ыва етс я ч ис лоотлич а ющ ихс я битов в двух бина рных вектора х). Сеть должна выбра ть обра з ец с м иним а льным ра с с тоянием Х эм м инга донеиз вес тноговходного с игна ла — и а ктивиз ирова ть только один выход с ети, с оответс твующ ий этом уобра з ц у. W

Рис . 22. Структура с ети Х эм м инга

39 А ктива ц ионна я ф ункц ия ней ронов п ервогои второгос лоя им еет вид линей ного  s, s < T , где T , s ≥ T

п орога : y= f ( s) = 

y— з на ч ение а ктива ц ионой ф ункц ии; s— а ргум ент а ктива ц ионой ф ункц ии (вз веш енна я с ум м а входов); T — велич ина п орога . В елич ина T должна быть дос та точ нобольш ой , ч тобы любые воз м ожные з на ч ения а ргум ента не п риводили к на с ыщ ению з а однуитера ц ию ра боты с ети. Н а с та дии иниц иа лиз а ц ии вес овым коэф ф иц иента м п ервогос лоя п рис ва ива ютс я X с ледующ ие з на ч ения: wik = ik ; i ∈ 1, m, k ∈ 1, n 2 Xik — i-й элем ент k-говходногообра з а (Xik п рина длежит м ножес тву {-1,1}). П орогуа ктива ц ионной ф ункц ии п ервогос лоя T п рис ва ива етс я з на ч ение n/2. В ес овые коэф ф иц иенты торм оз ящ их с ина п с ов во втором с лое берут ра вным и некоторой велич ине 0 < ε < 1/m , вз ятой с обра тным з на ком . В ес ней рона , с вяз а нный с егоже выходом , им еет з на ч ение +1 (с м . рис . 22). Ал го р и тм функ ци о ни р о вани я сети Хэм м и нга Ш аг1. Н а входы с ети п ода етс я неиз вес тный вектор X, ис ходя изкоторого ра с с ч итыва ютс я с ос тояния (выходы) ней ронов п ервого с лоя, которые п ереда ютс я на вход второгос лоя. Ш аг2. В ыч ис ляютс я выходы ней ронов второгос лоя. Ш аг 3. П роверяетс я, из м енилис ь ли выходы ней ронов второго с лоя з а п ос леднюю итера ц ию. Е с ли да — выходы второгос лоя ум ножа ютс я на с оответс твующ ие вес овые коэф ф иц иенты и п ереда ютс я на входы этого же с лоя, а з а тем п ереход к ш а гу2. Е с ли нет — выходы с та билиз ирова лис ь и ра бота с ети з а верш ена . В отлич ие от с ети Х оп ф илда , ем кос ть с ети Х ем м инга не з а вис ит от ра з м ернос ти входногос игна ла , она в точ нос ти ра вна колич ес твуней ронов m. Сеть Х оп ф илда с входным с игна лом ра з м ернос тью 100 м ожет з а п ом нить 10 обра з ц ов, п ри этом у нее будет 10000 с ина п с ов. У с ети Х ем м инга с та кой же ем кос тью будет вс его лиш ь 1000 с ина п с ов. О дна кона выходе с еть Х ем м инга выда ет не ра с п оз на нный эта лонный обра з , а толькоего ном ер.

7.3. С еть Д АП (двунаправленная ассоц иативная пам ять ) Сеть Х оп ф илда реа лиз ует та к на з ыва ем ую а втоа с с оц иа тивную п а м ять. Э тооз на ч а ет, ч тообра зм ожет быть з а верш енили ис п ра влен, ноне м ожет быть а с с оц иирова нс другим обра з ом . Д вуна п ра вленна я а с с оц иа тивна я п а м ять (Д А П ), ра з ра бота нна я в 1988 г. Бертом Кос ко, являетс я гетероа с с оц иа тивной : она с охра няет п а ры обра з ов и выда ет второй обра з ец п а ры, когда а с с оц иирова нный с ним п ервый обра з ец п ода ется на вход с ети. Ка к и с еть Х оп ф илда , Д А П с п ос обна к обобщ ению, выра ба тыва я п ра вильные реа кц ии, нес м отря на ис ка женные входы. Сеть Д А П (рис . 22) с одержит два с лоя ней ронов. Э лем енты вес овой м а триц ы wij отра -

40 жа ют с вяз ь м ежду i − м ней роном п ервогос лоя и j − м ней роном второгос лоя i = 1, n, j = 1, m . В п роц ес с е ф ункц ионирова ния с ети входной вектор X ум ножа етс я на тра нс п онирова нную м а триц увес ов с ети W T и п ода ется на вход п ервого с лоя, в рез ульта те ч еговыра ба тыва етс я вектор выходных с игна лов ней ронов п ера тем ум ножа етс я на м а триц уW и п ода етс я на вход втовогос лоя Y . В ектор Y з рогослоя, который выра ба тыва ет выходные с игна лы, п редс та вляющ ие с обой новый входной вектор X . Э тот п роц ес с п овторяетс я дотехп ор, п ока с еть не дос м енятигнет с та бильногос ос тояния, в котором ни вектор X , ни вектор Y не из ютс я.

Y

X

Рис . 23. Структура с ети Д А П .

Н ей роны в обоих с лоях с ети Д А П ф ункц ионируют а на логич но ней рона м с ети Х оп ф илда . Э тот п роц ес с м ожет быть выра женс ледующ им обра з ом : n

y Nj +1 = f (∑ xiN w ji ), i =1 m

j = 1, m ,

xiN +1 = f ( ∑ y Nj +1wij ), i = 1, n , j =1

− 1, s < Θ j ;  где f ( s ) = 1, s > Θ j ;  pred ( s ), s = Θ j ,  f f pred (s ) - з на ч ение ф ункц ии а ктива ц ии да нногоней рона на п редыдущ ем ш а ге. П ус ть з а да на обуч а ющ а я выборка а с с оц иирова нных обра з ов ( X k , Y k ), k = 1, K . В ес ова я м а триц а с ети Д А П выч ис ляетс я ка к с ум м а п роиз ведений вс ех векторных K

п а р обуч а ющ егона бора : wij = ∑ xik y kj , i = 1, n, j = 1, m . k =1

41 В отлич ие от с ети Х оп ф илда , вес ова я м а триц а в с ети Д А П не ква дра тна я, ч товом ногих с луч а ях п оз воляет оп тим из ирова ть выч ис лительные з а тра ты, необходим ые для ф ункц ионирова ния с ети. В ернем с я к п рим еру с з а п ом ина нием букв А , В, С, ра с см отренном у в п . 7.1. Сеть Х оп ф илда в этом п рим ере им ела 10×7=70 входов и требова ла для с воей ра боты хра нения вес овой м а триц ы ра з м ером 70×70, с одержа щ ей 4900 элем ентов. А с с оц иируем с ка ждым извходных обра з ов с ети двухбитовый вектор: с им вол A будет с вяз а нс вектором (1,-1,-1), с им вол B с вектором (-1, 1,-1), с им вол C с вектором (-1,-1,1). Та ким обра з ом , на п рим ер, п ри п ода ч е на вход ис ка женной верс ии буквы A, с еть п ос ле с та билиз а ц ии должна выда ва ть обра з(1,-1, -1). Та к ка к а с с оц иирова нные п а ры з а ра нее из вес тны, это п риведет к п ра вильном ура с п оз на ва нию з а ш ум ленноговхода . Н одля ра боты та кой с ети требуетс я хра нение вс его70×3 =210 элем ентов вес овой м а триц ы. О с новным недос та тком с ети Д А П (ка к и с ети Х оп ф илда ) являетс я небольш а я ем кос ть п а м яти. Та к, на п рим ер, ч ис ло з а п ом ина ем ых а с с оц иа ц ий не м ожет п ревыш а ть ч ис ла ней ронов в м еньш ем слое. Е с ли вс е п ороговые з на ч ения Θ j будут нулевым и, то оц енка ещ е ухудш а етс я: ра з м ер з а п ом ина ем ой выборки не долl жен п ревос ходить , где l − ч ис ло ней ронов в м еньш ем с лое. Е с ли этот 2 log 2 l лим ит п ревыш ен, с еть на ч ина ет выра бота ть неверные выходные с игна лы, вос п роиз водя а с с оц иа ц ии, которым не обуч ена . У П РАЖ Н Е Н И Я 1. П ока жите, ч то вс е обра з ы обуч а ющ ей выборки являютс я ус той ч ивым и с ос тояниям и с ети с ортогона лиз ова нной вес овой м а триц ей . 2. О п ределите вес овую м а триц у с ети Х оп ф илда , необходим ую для с охра нения обра з ов X 1 = (−1,−1, 1, 1, 1,−1,1), X 2 = (−1, 1 − 1, 1,−1,−1,1), X 3 = (1,−1,−1, 1,−1, 1, 1) . П ока жите, ч то кром е этих обра з ов ус той ч ивым с ос тоянием с ети являетс я “ ложный ” вектор Z = ( −1, 1,−1,− 1,−1,−1,−1) . И м еет ли эта с еть другие ложные обра з ы? 3. Н а п иш ите п рогра м м у п ос троения с ети Х оп ф илда для з а п ом ина ния из обра жений животных (рис .22) (из обра жения вз яты изколлекц ии ка ртинок Word). Ка ждое из обра жение ра з бей те на 100 ф ра гм ентов с еткой 10×10. Ка ждый ф ра гм ент с оответс твует входном у з на ч ению 1, ес ли с одержит ч а с ть ка ртинки, и -1 – ес ли не с одержит. П роведите тес тирова ние сети и, п ри необходим ос ти, ра з обуч ение.

Рис . 24. И деа льные обра з ы для с ети Х оп ф илда .

4. Н а п иш ите п рогра м м ура с п оз на ва ния ц иф р с п ом ощ ью с ети Х эм м инга .

42 5. Н а п иш ите п рогра м м у неч еткоготекс товогоп оис ка на ос нове с етей Х эм м инга . Д ля ра боты п рогра м м ы необходим текс товый ф а й л с обра з а м и (с лова рь). П рогра м м а ра бота ет с ледующ им обра з ом : вводитс я с лово для п оис ка (воз м ожно, с ош ибка м и и в п роиз вольном п а деже). П рогра м м а должна на й ти слово изс лова ря, на иболее близ кое в нем у, и с п оз иц ионирова ть на нем ука з а тель. Э та лонным и обра з а м и с ети являютс я вс е с лова изим еющ егос я с лова ря. Д ля кодирова ния букв в ц иф ры м ожноис п ольз ова ть ASCII код или другие м етоды кодирова ния. Х орош о п одобра в с ис тем у кодирова ния м ожно з на ч ительно улуч ш ить ка ч ес тво ра с п оз на ва ния. Н а п рим ер, ес ть с м ыс л для ис п ра влении оп еч а ток, п риним а ть во вним а ние ра с п оложение букв на кла виа туре. Кодировка должна быть ра з ра бота на та ким обра з ом , ч тобы рядом ра с п оложенные на кла виа туре буквы им ели близ кие (п о Х эм м ингу) коды. Н а вход с ети ра с п оз на ва ем ое с ловоц елесообра з ноп ода ва ть неоднокра тно, п ос ледова тельно удва ива я ка ждую избукв и п ос ледова тельно уда ляя п о одной букве (кром е п ервой и п ос ледней ). О тветом с ети с ч ита етс я эта лонное с лово, им еющ ее больш е вс его с овп а дений букв, с тоящ ихна одина ковых м ес та х, (извс ех п олуч енных выходов с ети) с ис ходным с ловом . П рим ер: вводитс я с лово“ ис кус тв”. Н а вход п ооч ереди п ода ютс я: “ ис кус тв”, “ ис с кус тв”, “ ис ккус тв”, “ ис куус тв”,“ ис кус с тв”, “ ис кус ттв”, “ икус тв”, “ ис ус тв”, “ ис кутв”, “ ис кус в”. В ыходом являетс я эта лонное с лово“ ис кус с тво” (8 с овп а дений с п ятым изп ода нных с лов). 6. Н а п иш ите п рогра м м у, реа лиз ующ ую с еть Д А П для п рим ера изп . 7.1, вос п роиз водящ ую а с с оц иа ц ии, оп ис а нные в п .7.3.

§ 8. С Е Т Ь АР Т (АД АП Т И В Н АЯ Р Е ЗО Н АН С Н АЯ Т Е О Р И Я) А да п тивна я рез она нс на я теория включ а ет две п а ра дигм ы, ка жда я изкоторых оп ределяетс я ф орм ой входных да нных и с п ос обом их обра ботки. А РТ-1 ра з ра бота на для обра ботки двоич ных входных векторов, в то врем я ка к А РТ-2 м ожет кла с с иф иц ирова ть ка к двоич ные, та к и неп рерывные векторы. Ра с с м отрим п одробно с еть А РТ-1, та к ка к нес м отря на более п рос тую а рхитектуру, им енно она ис п ольз уетс я в больш инс тве п ра ктич ес ких п риложений . Сеть ART-1 обуч а етс я безуч ителя и реа лиз ует п рос той а лгоритм кла с териз а ц ии. В с оответс твии с этим а лгоритм ом п ервый входной с игна л с ч ита етс я обра з ц ом п ервого кла с тера . Следующ ий входной с игна л с ра внива етс я с обра з ц ом п ервого кла с тера . Говорят, ч то входной с игна л п рина длежит п ервом у кла с теру, ес ли ра с с тояние до обра з ц а п ервого кла с тера м еньш е п орога . В п ротивном с луч а е второй входной с игна л - обра з ец второго кла с тера . Э тот п роц ес с п овторяетс я для вс ех с ледующ их входных с игна лов. Та ким обра з ом , ч ис локла с теров ра с тет с теч ением врем ени и з а вис ит ка к от з на ч ения п орога , та к и от м етрики ра с с тояния, ис п ольз ующ ей с я для с ра внения входных с игна лов и обра з ц ов кла с с ов. Сеть А РТ-1 с одержит два с лоя ней ронов. Ч ис ло ней ронов п ервого с лоя n с овп а да ет с ра з м ернос тью входных обра з ов. Ч ис лоней ронов второгос лоя m из м еняетс я в п роц ес с е на с трой ки с ети и с овп а да ет с ч ис лом с ф орм ирова нных кла с теров.

43 Ал го р и тм функ ци о ни р о вани я сети АРТ-1 Ш аг1. И ниц иа лиз а ц ия с ети: N = 1, m = 1; tijN = bijN = 1, i = 1, n, j = 1, m , где bijN - с ина п тич ес кий вес с вяз и от i-го ней рона п ервого с лоя к j-м у ней рону второго с лоя на итера ц ии с ном ером N, tijN - с ина п тич ес кий вес с вяз и от j-го ней рона второго с лоя к i-м у ней рону п ервого с лоя на итера ц ии с ном ером N. В ес а bijN и tijN , i = 1, n оп ределяют обра з ец , с оответс твующ ий ней ронуj. За да ть 0
Ш аг3. В ыч ис ление з на ч ений с оответс твия : y j = ∑ bijN xi , j = 1, m . i =1

Ш аг4. В ыбор обра з ц а с на ибольш им с оответс твием : yk = max y j . Е с ли yk =0, 1≤ j ≤ m

с оз да ть новый кла с тер, с оответс твующ ий входном уобра з ц ус вес а м и tijN = bijN = xi , п оложить m = m + 1и п ерей ти на ш а г8. Ш аг5. Сра внение с п орогом : n n || TX || > r , п ерей ти к ш а гу7. || X ||= ∑ xi , || TX ||= ∑ tik xi . Е с ли || X || i =0 i =0 Ш аг6. И с ключ ение п рим ера с на ибольш им з на ч ением с оответс твия. Зна ч ение с оответс твия обра з ц а yk врем енно ус та на влива етс я ра вным нулю. П ереход к ш а гу4 (п оис к новогоз на ч ения yk ). Ш аг7. А да п та ц ия п рим ера с на ибольш им з на ч ением с оответс твия: N tik xi tikN +1 = tikN xi , bikN +1 = , i = 1, n . n N 0.5 + ∑ tik xi i =1

Ш аг8. В ключ ение вс ех ис ключ енных на ш а ге 6 обра з ц ов. П оложить N = N + 1 . В оз вра т к ш а гу2. Зам ечание. П орог r п ока з ыва ет, на с колько должен входной с игна л с овп а да ть с одним их з а п ом ненных обра з ц ов, ч тобы они с ч ита лис ь п охожим и. Близ кое к единиц е з на ч ение п орога требует п оч ти п олного с овп а дения. П ри м а лых з на ч ениях п орога да же с ильнора з лич а ющ иес я входной с игна л и обра з ец с ч ита ютс я п рина длежа щ им и одном укла с теру. Н а ш а ге 5 выч ис ляетс я отнош ение с ка лярного п роиз ведения входного с игна ла и обра з ц а с на ибольш им з на ч ением соответс твия к ч ис лу единич ных бит входного с игна ла . Зна ч ение отнош ения с ра внива етс я с п орогом , введенном на п ервом ш а ге. Е с ли з на ч ение отнош ения больш е п орога , то входной с игна л с ч ита етс я п охожим на обра з ец с на ибольш им з на ч ением с оответс твия. В этом с луч а е обра з ец кла с те-

44 ра м одиф иц ируетс я п утем вып олнения оп ера ц ии AND (логич ес кое "И ") с входным вектором . Е с ли з на ч ение отнош ения м еньш е п орога , тос ч ита етс я, ч товходной с игна л отлич а етс я от да нного обра з ц а и ос ущ ес твляетс я п оис к другого п охожего вектора . Е с ли входной вектор отлич а етс я от вс ех обра з ц ов, то онра с с м а трива етс я ка к новый обра з ец . В с еть вводитс я ней рон, с оответс твующ ий новом у обра з ц у, и ра с с ч итыва ютс я з на ч ения с ина п тич ес кихвес ов.

П РИ Л О Ж Е Н И Е Пр о гр ам м ная р еал и заци я пер септр о на В ка ч ес тве п рим ера п рогра м м ной реа лиз а ц ии п ерс еп трона ра с с м отрим реш ение уп ра жнения 2 из§ 3, тоес ть п рогра м м у, обуч а ющ ую одноней ронный п ерс еп трон ра с п оз на ва нию из обра жений “ крес тиков” и “ ноликов”. Ф ра гм ент ра боты п рогра м м ы, реа лиз ова нной в с реде Delphi, из обра женна рис 25.

Рис 25. П ерс еп тронра с п оз на л из обра жение крес тика .

П рогра м м а п оз воляет п ольз ова телю рис ова ть с п ом ощ ью м ыш и из обра жения крес тиков или ноликов п о с етке ра з м ером 20×20 (DrawGrid). П олуч енную ка ртинку п утем на жа тия кноп ки “ В ыровнять” м ожном а с ш та бирова ть догра ниц вс ей с етки. Н а рис . 26 п риведеноиз обра жение нолика дои п ос ле м а с ш та бирова ния.

Рис 26. Ма с ш та бирова ние из обра жения нолика

45 Ма с ш та бирова ние п оз воляет с ущ ес твенно с низ ить врем я обуч ения п ерс еп трона и п риблиз ить точ нос ть ра с п оз на ва ния к 100%. П ос ле на жа тия кноп ки “ п роверить” п роис ходит ф орм ирова ние бина рного входногообра з а (1- яч ей ка с етки з а кра ш ена , 0-нет). В да нном с луч а е удобнее ра с с м а трива ть входной обра зка к м а триц у ра з м ером 20×20. П ри з а п ус ке п рогра м м ы идентич ного ра з м ера вес ова я м а триц а иниц иа лиз ируетс я с луч а й ным и ч ис ла м и, ра вном ернора с п ределенным и в п ром ежутке [-0.3,0.3]. Та к ка к вход и вес овые коэф ф иц иенты из вес тны, выч ис ляетс я выход п ерс еп трона . Е с ли п олуч еновыходное з на ч ение 1, с ч ита етс я, ч то п ерс еп трон ра с п оз на л крес тик, в п ротивном с луч а е – нолик. Рез ульта т ра с п оз на ва ния п ерс еп трона с ообщ а етс я п ольз ова телю в отдельном диа логовом окне (с м . рис 25). Е с ли рез ульта т неверный (п ольз ова тель на жа л “ нет”), п роис ходит обуч ение (коррекц ия вес ов) п ерс еп трона . Скорректирова нные вес а з а нос ятс я в ф а й л, п оэтом уп ри с ледующ ем обра щ ении к п рогра м м е м ожноне обуч а ть п ерс еп тронз а ново, а исп ольз ова ть с охра ненную м а триц увес ов. Текс т п рогра м м ы с п ояс нениям и п риведенда лее. О п ис а ние тип ов, конс та нт и п ерем енных: type TMainForm = class(TForm) DGImg: TDrawGrid;//сетка для рисования изображений крестиков и ноликов BtnClear: TButton;// кнопка “очистить” BtnScale: TButton; // кнопка “выровнять” BtnInitRandom: TButton;//кнопка “случ.веса” BtnCheck: TButton;//кнопка “проверить” OpenDialog: TOpenDialog; SaveDialog: TSaveDialog; BtnLoadWeights: TButton; //кнопка “загрузить веса” BtnSaveWeights: TButton; //кнопка “сохранить веса” SBStatus: TStatusBar; procedure DGImgDrawCell(Sender: TObject; ACol, ARow: Integer; Rect: TRect; State: TGridDrawState); procedure DGImgSelectCell(Sender: TObject; ACol, ARow: Integer; var CanSelect: Boolean); procedure BtnClearClick(Sender: TObject); procedure BtnScaleClick(Sender: TObject); procedure BtnInitRandomClick(Sender: TObject); procedure BtnCheckClick(Sender: TObject); procedure FormCreate(Sender: TObject); function SaveWeights(filename:string):boolean; function LoadWeights(filename:string):boolean; procedure BtnLoadWeightsClick(Sender: TObject); procedure BtnSaveWeightsClick(Sender: TObject); private { Private declarations } public { Public declarations } end; bmatrix=array[0..n-1,0..n-1] of byte; rmatrix=array[0..n-1,0..n-1] of real; const n=20; // размер сетки рисунка var MainForm: TMainForm; imgmatrix:bmatrix;// входная ìàòðèöà, õðàíÿùàÿ "ðèñóíîê" weights:rmatrix; // ìàòðèöà âåñîâ äëÿ îäíîãî íåéðîíà. äâóìåðíà ðàäè óäîáñòâà speed:real=0.7; // коэфф. скорости обучения

46 Сохра нение вес овой м а триц ы в ф а й л: Function TMainform.SaveWeights(filename:string):boolean; var f:textfile; i,j:integer; begin try AssignFile(f,filename); Rewrite(f); for i:=0 to n-1 do for j:=0 to n-1 do Writeln(f,weights[i,j]); CloseFile(f); result:=true; except result:=false; end; end; procedure TMainForm.BtnSaveWeightsClick(Sender: TObject); begin if (savedialog.Execute) then begin if SaveWeights(savedialog.FileName) then SBstatus.SimpleText:=' Âåñà ñîõðàíåíû.' else SBstatus.SimpleText:='Îøèáêà ïðè ñîõðàíåíèè âåñîâ. Ïðîâåðüòå ôàéë.' end; end;

За груз ка с охра ненной вес овой м а триц ы изф а й ла : Function TMainform.LoadWeights(filename:string):boolean; var f:textfile; i,j:integer; begin try AssignFile(f,filename); Reset(f); for i:=0 to n-1 do for j:=0 to n-1 do Readln(f,weights[i,j]); CloseFile(f); result:=true; except result:=false; end; end; procedure TMainForm.BtnLoadWeightsClick(Sender: TObject); begin If (opendialog.Execute) then begin if Loadweights(opendialog.FileName) then SBstatus.SimpleText:=' Âåñà çàãðóæåíû.' else SBstatus.SimpleText:='Îøèáêà ïðè çàãðóçêå âåñîâ. Ïðîâåðüòå ôàéë.' end; end;

И ниц иа лиз а ц ия весовой м а триц ы случ а й ным и ч ис ла м и изп ром ежутка [-0.3,0.3]: procedure TMainForm.BtnInitRandomClick(Sender: TObject); var i,j:integer; begin for i:=0 to n-1 do for j:=0 to n-1 do weights[i,j]:=-0.3+0.6*Random;

47 SBStatus.SimpleText:='Âåñà èíèöèèðîâàíû ñëó÷àéíûìè ÷èñëàìè'; end;

За п олнение входноговектора п оиз обра жению на с етке: procedure TMainForm.DGImgSelectCell(Sender: TObject; ACol, ARow: Integer; var CanSelect: Boolean); begin imgmatrix[Arow,Acol]:=abs(1-imgmatrix[Arow,Acol]); end;

Ма с ш та бирова ние и выра внива ние (лока лиз а ц ия) из обра жения: procedure TMainForm.BtnScaleClick(Sender: TObject); var i,j:integer; xmin,xmax,ymin,ymax:integer; tmp:bmatrix; begin for i:=0 to n-1 do for j:=0 to n-1 do tmp[i,j]:=0; // èùåì ãðàíèöû êâàäðàòа, ограничивающего ðèñóíок xmin:=n;xmax:=-1;ymin:=n;ymax:=-1; for i:=0 to n-1 do for j:=0 to n-1 do if imgmatrix[i,j]=1 then begin if j<xmin then xmin:=j; if j>xmax then xmax:=j; if iymax then ymax:=i; end; // ìàñøòàáèðóåì до границ всей сетки for i:=0 to n-1 do for j:=0 to n-1 do begin tmp[i,j]:=imgmatrix[ymin+trunc((i/n)*(ymax-ymin+1)),xmin+trunc((j/n)*(xmax xmin+1))]; end; DGImg.Enabled:=false; for i:=0 to n-1 do for j:=0 to n-1 do imgmatrix[i,j]:=tmp[i,j]; DGImg.Enabled:=true; Mainform.DGImg.Repaint; end;

О тобра жение отм а с ш та бирова нногои лока лиз ова нногорис унка на с етке (п оиз м ененным з на ч ениям входной м а триц ы): procedure TMainForm.DGImgDrawCell(Sender: TObject; ACol, ARow: Integer; Rect: TRect; State: TGridDrawState); begin with (Sender as TDrawGrid).Canvas do begin if imgmatrix[ARow,ACol]=1 then Brush.Color:=clRed; FillRect(rect); end; end;

О ч ис тка из обра жения (с тира етс я рис унок на с етке): procedure TMainForm.BtnClearClick(Sender: TObject); var i,j:integer;

48 begin DGImg.Enabled:=false; for i:=0 to n-1 do for j:=0 to n-1 do imgmatrix[i,j]:=0; DGImg.Enabled:=true; Mainform.DGImg.Repaint; end;

Ра с п оз на ва ние из обра жения на с етке: procedure TMainForm.BtnCheckClick(Sender: TObject); var i,j:integer; sum:real;//вход персептрона rety,//полученный выход персептрона test:shortint;//направление корректировки весов (+1 или -1) begin sum:=0; // ìàñøòàáèðóåì изображение на сетке до ее границ Mainform.BtnScaleClick(Sender); // ïîäñ÷èòûâàåì îòâåò ïåðcåïòðîíà äëÿ èìåþùåйñÿ ìàòðèöû âåñîâ for i:=0 to n-1 do for j:=0 to n-1 do sum:=sum+imgmatrix[i,j]*weights[i,j]; if sum>0 then rety:=1 else rety:=0; if rety=1 then test:=Application.MessageBox('Êðåñòèê?','Ðåçóëüòàò',MB_ICONQUESTION or MB_YESNO) else test:=Application.MessageBox('Íîëèê?','Ðåçóëüòàò',MB_ICONQUESTION or MB_YESNO); if test=IDNO then // îáó÷àåì персептрон в случае неправильного ответа begin if rety=0 then test:=1 else test:=-1; for i:=0 to n-1 do for j:=0 to n-1 do //корректируем веса по формуле weights[i,j]:=weights[i,j]+speed*test*imgmatrix[i,j]; //сохраняем измененные веса в файл SaveWeights('./weights.wts'); end; end;

Пр о гр ам м ная р еал и заци я сети Хэм м и нга В ка ч ес тве п рим ера п рогра м м ной реа лиз а ц ии с ети Х эм м инга ра с с м отрим реш ение уп ра жнения 4 из§ 7, то ес ть п рогра м м у, ра с п оз на ющ ую ч ерно-белые из обра жения ц иф р от 0 до 9 (реа лиз ова нную в с реде Delphi). Э та лонные обра з ы с одержа тс я в ф а й ла х0.bmp, 1.bmp,… ,9.bmp. Ра з м ер ра с п оз на ва ем оговходного обра з а (bmp-ф а й л) должен быть 100х100 точ ек (п а ра м етр SourceSize), а п еред обра боткой он п риводитс я к ра з м еру40x40 (п а ра м етр DestSize). Та ким обра з ом , колич ес твовходов с ети — 1600 (п а ра м етр n). Колич ес твовыходов m с овп а да ет с колич ес твом ц иф р и ра вняетс я 10. В ес отриц а тельной обра тной с вяз и ε второгос лоя был п ринят ра вным -0.05. О п ис а ние тип ов, конс та нт и п ерем енных: type

InputNeiron =recopd // Тип — нейрон первого слоя w: array[1..n] of real; // Весовые коэффициенты входов Output: real; // Выход end; Neiron= recopd // Тип — нейрон второго слоя Output:real; // Выход

49 Sum: real // Взвешенная сумма входов end; const SourceSize=100; // Размер стороны исходного изображения DestSize=40; // Размер стороны изображения для распознавания N=DestSize*DestSize; // Сколько входов m=10; // Сколько образов e=-1/(M*2); // Вес синапсов второго слоя var InputRow: array[1..m] of InputNeiron// Первый слой нейронов SecondRow: array[1..m] of Neiron//Второй слой нейронов I1,I2: TImage;//Эталонный и масштабированный образы Outputs=array[1..m] of real; // Копия выходов предыдущего прохода i,j,x,y,count,max, index:integer;

А лгоритм обуч ения с ети Х эм м инга , а да п тирова нный для да нной з а да ч и, выглядит с ледующ им обра з ом . 1. Выбира етс я i-й входной обра з . 2. И з обра жение лока лиз уетс я и п риводитс я к нужном ум а с ш та бу. 3. Обра зп оточ еч но п ода ё тс я на входы i-го ней рона . Е с ли k-я точ ка обра з а ч ё рна я, товес уk-говхода п рис ва ива етс я з на ч ение 0.5, в п ротивном с луч а е -0.5 . 4. П ереход на ш а г1, п ока не будут ис ч ерп а ны вс е эта лонные обра з ы. П рогра м м ный код а лгоритм а обуч ения: I1:=TImage.Greate(self); I2:=TImage.Greate(self); I2.Width:=DestSize; I2.Height:=DestSize; for i:=1 to m do begin I1.Picture.LoadFromFile(IntToStr(i-1)+’.bmp’); vScale(I1,I2); // Читаем и масштабируем образ end; for x:=1 to DestSize do for y:=1 to DestSize do // Перебираем поточечно if(I2.Canvas.Pixels[x-1,y-1]=clBlack)then InputRow[i].W[x*DestSize+y]=0.5; else InputRow[i].W[x*DestSize+y]=-0.5;

Д ля ус п еш ной ра боты нужновыяс нить точ ный ра з м ер и м ес топ оложение обра з а ц иф ры. П ос ле лока лиз а ц ии — п риводим обра зк ра з м еру40*40 (м а с ш та бирова ние). Э ти оп ера ц ии вып олняет ф ункц ия vScale(I1:TImage, var I2:TImage)- ка к на эта п е обуч ения с ети, та к и на эта п е ра с п оз на ва ния. Д ля эта лона , ввиду отс утс твия п ом ех, лока лиз а ц ию п ровес ти оч ень п рос то: дос та точ ноп ос ледова тельноп рос м отреть вс е точ ки обра з а и на й ти гра ниц ы ц иф ры. Л ока лиз а ц ия и м а с ш та бирова ние: var MinX,MinY,MaxX,MaxY:integer; // Границы локализованной цифры ScaleX, ScaleY: real//// Коэффициенты сжатия begin MinX:= SourceSize+1; MinY= MinX; MaxX= -1; MaxY= -1; for x:=0 to SourceSize-1 do//массив Pixels нумеруется с 0 for y:=0 to SourceSize-1 do if I1.Canvas.Pixels[x,y]=clBlack then begin if x<MinX then MinX=x; if y<MinY then MinY=y; if x>iMaxX then MaxX=x; if y>iMaxY then MaxY=y end;

50 ScaleX=(MaxX-MinX)/DestSize; ScaleY=(MaxY-MinY)/DestSize; for x:=0 to DestSize-1 do for y:=0 to DestSize-1 do I2.Canvas.Pixels[x,y] = I1.Canvas.Pixels[x*ScaleX+MinX,y*ScaleY+MinY]; end;

О бщ ий а лгоритм ра с п оз на ва ния для с ети Х эм м инга с ос тоит изч етырё хч а с тей : п ода ч а ра с п оз на ва ем огообра з а на входы с ети, п ереда ч а да нных с п ервогос лоя на второй , обра ботка да нных вторым с лоем , выбор ра с п оз на нногообра з а . А лгоритм ра боты п ервогоэта п а выглядит та к. 1. Выбира етс я оч ередной ней рон. 2. Обнуляетс я еговыход. 3. И з обра жение лока лиз уетс я и п риводитс я к нужном ум а с ш та бу. 4. Л ока лиз ова нный обра зп оточ еч ноп ода ё тс я на входы i-гоней рона . Е с ли k-я точ ка обра з а ч ё рна я, ток з на ч ению выхода п риба вляетс я з на ч ение вес а k-го входа , в п ротивном с луч а е этоз на ч ение выч ита етс я. 5. Зна ч ение выхода п роп ус ка етс я ч ерезф ункц ию линей ногоп орога . 6. П ереход на ш а г1, п ока не ис ч ерп а ны вс е ней роны п ервогос лоя. Код п ервогоэта п а п роц едуры ра с п оз на ва ния: for i: =1 to m do begin InputRow[i].Output:=0; for x: =1 to DestSize do for y: =1 to DestSize do // Подаём образ на нейроны первого слоя if i2.Canvas.Pixels[x-1,y-1]=clBlack then InputRow[i].Output:= InputRow[i].Output+InputRow[i].W[x*DestSize+y]; else InputRow[i].Output:= InputRow[i].Output-InputRow[i].W[x*DestSize+y]; if InputRow[i]. Output>=N/2 then InputRow[i].Output:=N/2; // Выход - через функцию линейного порога end

Н а втором эта п е на до п ереда ть да нные с выходов п ервого с лоя на входы второго и в с п ис ок рез ульта тов п редыдущ егоп рохода ра с п оз на ва ния: for i:=1 to m do begin SecondRow[i].Output= InputRow[i].Output; Outputs[i]:=InputRow[i].Output; SecondRow[i].Sum=0; end

Н а третьем эта п е на ч ина ет ра ботувторой с лой п ос ледующ ей с хем е. 1. Обнуляетс я с ч ё тч ик итера ц ий . 2. За п ом ина ютс я выходы ней ронов в с п ис ке рез ульта тов п редыдущ егоп рохода . 3. П еребира ютс я п ооч ередновс е ней роны. 4. Ка ждый ней рон п риним а ет з на ч ения выходов вс ех ней ронов, с ум м ирует их, п редва рительноум ножив на коэф ф иц иент ε (кром е с луч а я, когда ней ронп риним а ет с воё же з на ч ение, которое ос та етс я безиз м енения). 5. П олуч енную с ум м ука ждый ней ронп осыла ет на с вой выход. 6. П ереход на ш а г2, п ока выходы ней ронов на текущ ей итера ц ии не с овп а дут с выхода м и на п редыдущ ей или п ока с ч ё тч ик ч ис ла итера ц ий не п ревыс ит не-

51 которое з на ч ение. Теоретич ес ки второй с лой должен ра бота ть п ока его выходы не с та билиз ируютс я, нона п ра ктике колич ес твоитера ц ий ис кус с твенноогра нич ива ют. И с ходный код: Count:=0; repeat for i:=1 to m do // Значения предыдущей итерации begin Outputs[i]:=SecondRow[i].Output; SecondRow[i].Sum = 0; end for i:=1 to m do // Один шаг работы второго слоя for j:=1 to m do if i=j then // c его выходов на его же входы SecondRow[j].Sum := SecondRow[j].Sum+ SecondRow[i].Output; else SecondRow[j].Sum := SecondRow[j].Sum+ SecondRow[i].Output * e; Flag:=true; for i:=1 to m do begin SecondRow[i].Output = SecondRow[i].Sum If (Outputs[i] <> SecondRow[i].Output) then flag:=false; end; Count:=Count+1; until (flag or (Count>25));

П ос ледний ш а г— выбор ней рона второгослоя с на ибольш им з на ч ением на выходе. Е го ном ер и ес ть ном ер ра с п оз на нногообра з а: Max:= -N; For i:=1 to m do If SecondRow[i].Output>Max then begin Max = SecondRow[i].Output; Index = i; end;

Л И Т Е Р АТ У Р А 1. Минс кий М. Л . П ерс еп троны / М. Л . Минс кий , С. П ей п ерт - М: Мир, 1971. - 360 c. 2. Роз енбла тт Ф . П ринц ип ы ней родина м ики/ Ф . Роз енбла тт - М.: Мир, 1965.387 c. 3. У ос с ерм енФ . Н ей роком п ьютерна я техника : теория и п ра ктика / Ф . У ос с ерм ен- М.: Мир, 1992.- 380 с . 4. Ка ла нР. О с новные конц еп ц ии ней ронных с етей / Р. Ка ла н– М.: И з да тельс кий дом “ В ильям с ”, 2001.- 288 c. 5. Êðóãëîâ Â.Â. Èñêóññòâåííûå íåéðîííûå ñåòè. Òåîðèÿ è ïðàêòèêà/ Â.Â. Êðóãëîâ, Â.Â. Áîðèñîâ -Ì: Ãîðÿ÷àÿ ëèíèÿ- Òåëåêîì, 2002.-382 ñ. А втор: Реда ктор:

Ка ш ирина И .Л . Бунина Т.Д .