Ф Е Д Е Р АЛ Ь Н О Е АГ Е Н Т С Т В О П О О Б Р АЗО В АН И Ю В О Р О Н Е Ж С К И Й Г О С У Д АР С Т В Е Н Н Ы Й У Н И В ...
11 downloads
207 Views
859KB Size
Report
This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
Report copyright / DMCA form
Ф Е Д Е Р АЛ Ь Н О Е АГ Е Н Т С Т В О П О О Б Р АЗО В АН И Ю В О Р О Н Е Ж С К И Й Г О С У Д АР С Т В Е Н Н Ы Й У Н И В Е Р С И Т Е Т
К аш иринаИ .Л .
И ск усственны енейронны есети
У ч ебное п ос обие
П осп ец иа льнос ти 010501 (010200) «П рикла дна я м а тем а тика и инф орм а тика » Д Н М.Р.02 Д С.20
2 У твержденона уч но-м етодич ес ким с оветом ф а культета П рикла дной м а тем а тики, инф орм а тики и м еха ники 14 июня 2005 года , п ротокол № 6
У ч ебное п ос обие п одготовлено на ка ф едре м а тем а тич ес ких м етодов ис с ледова ния оп ера ц ий ф а культета П рикла дной м а тем а тики, инф орм а тики и м еха ники В оронежс кого гос уда рс твенного универс итета . Реком ендуетс я для с тудентов 5 курс а дневногоотделения и м а гис тров п ервогогода обуч ения
3
С одержание
В ведение
4
§ 1. Биологич ес кий ней рони егом а тем а тич ес ка я м одель
6
§ 2. Н ей рос ети 2.1. Кла сс иф ика ц ия и с вой с тва ней рос етей 2.2. Теорем а Колм огорова
9 9 11
§ 3. П ерс еп трон
12
§ 4. Сеть обра тногора с п рос тра нения
18
§ 5. Сеть вс треч ногора с п рос тра нения 5.1. Сеть Кохонена . Кла с с иф ика ц ия обра з ов 5.2. Н ей роны Грос с берга . В ыходные и входные з вез ды 5.3. Д вухс лой на я с еть вс треч ногора с п рос тра нения
23 23 25 26
§ 6. Стоха с тич ес кие с ети 6.1. О буч ение Больц м а на 6.2. О буч ение Кош и
29 30 31
§ 7. Сети с обра тным и с вяз ям и 7.1. Сеть Х оп ф илда 7.2. Сеть Х эм м инга 7.3. Сеть Д А П (двуна п ра вленна я а с с оц иа тивна я п а м ять)
33 33 38 39
§ 8. Сеть А РТ (а да п тивна я рез она нс на я теория)
42
П РИ Л О Ж Е Н И Е П рогра м м на я реа лиз а ц ия п ерс еп трона П рогра м м на я реа лиз а ц ия с ети Х эм м инга
44 44 48
4
ВВЕ ДЕ Н И Е И ск усственны енейронны есети (И Н С) с троятс я п оп ринц ип а м орга низ а ц ии и ф ункц ионирова ния их биологич ес ких а на логов. Они с п ос обны реш а ть ш ирокий круг з а да ч ра с п оз на ва ния обра з ов, идентиф ика ц ии, п рогноз ирова ния, оп тим из ац ии, уп ра вления с ложным и объекта м и. Д а льней ш ее п овыш ение п роиз водительнос ти ком п ьютеров вс е в больш ой м ере с вяз ыва ют с И Н С, в ч а с тнос ти, с ней роком п ьютера м и (Н К), ос новукоторыхс ос та вляет ис кус с твенна я ней ронна я с еть. Д онеда внеговрем ени на д ис кус с твенным и ней ронным и с етям и дом инирова ли логич ес кие и с им вольно-оп ера ц ионные дис ц ип лины (на п рим ер, экс п ертные с ис тем ы). Сей ч а с более п оп улярна точ ка з рения, ч то ис кус с твенные ней ронные с ети вс коре з а м енят с обой с оврем енный ис кус с твенный интеллект. О дна ко м ногое с видетельс твует отом , ч тоони будут с ущ ес твова ть вм ес те, объединяяс ь в с ис тем а х, где ка ждый п одход ис п ольз уетс я для реш ения тех з а да ч , с которым и он луч ш е с п ра вляетс я. К р атк ая и сто р и ч еск ая спр авк а. Терм ин «ней ронные с ети» с ф орм ирова лс я к с ередине 50-х годов XX века . О с новные рез ульта ты в этой обла с ти с вяз а ны с им ена м и У . Ма кка лоха , Д . Х ебба , Ф . Роз енбла тта , М. Минс кого, Д ж. Х оп ф илда . В 1943 г. У . Ма кка лох (W. McCulloch) и У . П иттс (W. Pitts) п редложили м одель ней рона и с ф орм улирова ли ос новные п оложения теории ф ункц ионирова ния головногом оз га . В 1949 г. Д . Х ебб (D. Hebb) выс ка з а л идеи оха ра ктере с оединений ней ронов м оз га и их вз а им одей с твии и оп ис а л п ра вила обуч ения ней ронной с ети. В 1957 г. Ф . Роз енбла тт (F. Rosenblatt) ра з ра бота л п ринц ип ы орга низ а ц ии и ф ункц ионирова ния п ерс еп тронов, п редложил ва риа нт технич ес кой реа лиз а ц ии п ервогов м ире ней роком п ьютера Mark. В 1969 г. была оп убликова на книга М. Минс кого (М. Minsky) и С. П ей п ерта (S. Papert) «П ерс еп троны», в которой дока з ыва етс я п ринц ип иа льна я огра нич еннос ть воз м ожнос тей п ерс еп тронов, ч то п ос лужило п рич иной уга с а ния интерес а к ис кус с твенным ней ронным с етям . В на ч а ле 80-х годов п роисходит воз обновление интерес а к ис кус с твенным ней ронным с етям , ка к с ледс твие на коп ления новых з на ний о деятельнос ти м оз га , а та кже з на ч ительного п рогрес с а в обла с ти м икроэлектроники и ком п ьютерной техники. В 1982-1985 гг. Д ж. Х оп ф илд (J. Hopfield) п редложил с ем ей с тво оп тим из ирующ их ней ронных с етей , м оделирующ их а с с оц иа тивную п а м ять. 1987 г. п ос лужил на ч а лом ш ироком а с ш та бногоф ина нс ирова ния ра з ра боток в обла с ти И Н С и Н К в СШ А , Я п онии и За п а дной Е вроп е. В 1989 г. ра з ра ботки и ис с ледова ния в обла с ти И Н С и Н К ведутс я п ра ктич ес ки вс ем и круп ным и электротехнич ес ким и ф ирм а м и. Н ей роком п ьютеры с та новятс я одним изс а м ых дина м ич ных с екторов рынка (з а два года объем п рода ж вырос в п ять ра з ).
5 В 1997 г. годовой объем п рода ж на рынке И Н С и Н К п ревыс ил 2 м лрд. долла ров, а ежегодный п рирос т сос та вил 50%. В 2000 г. бла года ря п ереходу на с убм икронные и на нотехнологии, а та кже ус п еха м м олекулярной и биом олекулярной технологии п роис ходит п ереход к п ринц ип иа льноновым а рхитектурным и технологич ес ким реш ениям п ос оз да нию ней роком п ьютеров. О сно вны е пр о бл ем ы , р еш аем ы е и ск усственны м и нейр о нны м и сетя м и К л ассиф ик ация о б р азо в. За да ч а с ос тоит в ука з а нии п рина длежнос ти входного обра з а , п редс та вленного вектором п риз на ков, одном у или нес кольким п редва рительно оп ределенным кла с с а м . К из вес тным п риложениям относ ятс я ра с п оз на ва ние букв, ра с п оз на ва ние реч и, кла с с иф ика ц ия с игна ла электрока рдиогра м м ы, кла с с иф ика ц ия клеток крови, з а да ч и рей тингова ния. К л аст ер изация/к ат его р изация. П ри реш ении з а да ч и кла с териз а ц ии, котора я из вес тна та кже ка к кла с с иф ика ц ия обра з ов безуч ителя, отс утс твует обуч а ющ а я выборка с обра з ц а м и кла с с ов. А лгоритм кла с териз а ц ии ос нова нна п одобии обра з ов и ра з м ещ а ет близ кие обра з ы в один кла с тер. И з вес тны с луч а и п рим енения кла с териз а ц ии для из влеч ения з на ний , с жа тия да нных и ис с ледова ния с вой с тв да нных. А п п р о к симация ф унк ций. П редп оложим , ч то им еетс я обуч а ющ а я выборка ((X1, Y2), (X2, Y2), ..., (XN, YN)), котора я генерируетс я неиз вес тной ф ункц ией , ис ка женной ш ум ом . За да ч а а п п рокс им а ц ии с ос тоит в на хождении оц енки этой ф ункц ии. Пр едск азание/п р о гно з. П ус ть з а да ны N дис кретных отс ч етов {y(t1),y(t2), ..., y(tn)} в п ос ледова тельные м ом енты врем ени t1, t2, ..., tn. За да ч а с ос тоит в п редска з а нии з на ч ения y(tn+1) в м ом ент tn+1. П рогноз ы им еют з на ч ительное влияние на п ринятие реш ений в биз нес е, на уке и технике. Оп т имизация. Многоч ис ленные п роблем ы в м а тем а тике, с та тис тике, технике, на уке, м едиц ине и эконом ике м огут ра с с м а трива тьс я ка к п роблем ы оп тим из ац ии. За да ч ей оп тим из а ц ии являетс я на хождение реш ения, которое удовлетворяет с ис тем е огра нич ений и м а кс им из ирует или м иним из ирует ц елевую ф ункц ию. Ка ким обра з ом ней ронна я с еть реш а ет вс е эти, ч а с то неф орм а лиз уем ые или трудно ф орм а лиз уем ые з а да ч и? Ка к из вес тно, для реш ения та ких з а да ч тра диц ионноп рим еняютс я два ос новных п одхода . П ервый , ос нова нный на п ра вила х (rulebased), ха ра ктерен для экс п ертных с ис тем . О н ба з ируетс я на оп ис а нии п редм етной обла с ти в виде на бора п ра вил (а кс иом ) «ес ли ..., то ...» и п ра вил вывода . И с ком ое з на ние п редс та вляетс я в этом с луч а е теорем ой , ис тиннос ть которой дока з ыва етс я п ос редс твом п ос троения ц еп оч ки вывода . П ри этом п одходе, одна ко, необходим о з а ра нее з на ть вес ь на бор з а коном ернос тей , оп ис ыва ющ их п редм етную обла с ть. П ри ис п ольз ова нии другого п одхода , ос нова нного на п рим ера х (casebased), на до лиш ь им еть дос та точ ное колич ес тво п рим еров для на с трой ки а да п тивной с ис тем ы с з а да нной с теп енью дос товернос ти. Н ей ронные с ети п редс та вляют с обой кла с с ич ес кий п рим ер та когоп одхода .
6
§ 1. Б И О Л О Г И ЧЕ С К И Й Н Е Й Р О Н И Е Г О М АТ Е М АТ И ЧЕ С К АЯ М О Д Е Л Ь . Н ервна я с ис тем а и м оз г ч еловека с ос тоят изней ронов, с оединенных м ежду с обой нервным и волокна м и. Н ервные волокна с п ос обны п ереда ва ть электрич ес кие им п ульс ы м ежду ней рона м и. Вс е п роц ес с ы п ереда ч и ра з дра жений от кожи, уш ей и гла зк м оз гу, п роц ес с ы м ыш ления и уп ра вления дей с твиям и - вс е этореа лиз ова но в живом орга низ м е ка к п ереда ч а электрич ес ких им п ульс ов м ежду ней рона м и. Н ейр о н (нервна я клетка ) являетс я ос обой биологич ес кой клеткой , котора я обра ба тыва ет инф орм а ц ию (рис . 1.). О нс ос тоит изт ел а, или со мы, и отрос тков нервных волокондвух тип ов - дендр ит о в, п о которым п риним а ются им п ульс ы, и единс твенногоак со на, п окотором у ней ронм ожет п ереда ва ть им п ульс . Тело ней рона включ а ет ядр о , которое содержит инф орм а ц ию о на с ледс твенных с вой с тва х, и п лазму, обла да ющ ую м олекулярным и с редс тва м и для п роиз водс тва необходим ых ней рону м а териа лов. Н ей рон п олуч а ет с игна лы (им п ульс ы) от а кс онов других ней ронов ч ерездендриты (п рием ники) и п ереда ет с игна лы, с генерирова нные телом клетки, вдоль с воегоа кс она (п ереда тч ика ), который в конц е ра з ветвляетс я на волокна . Н а оконч а ниях этих волоконна ходятс я с п ец иа льные обра з ова ния - синап сы, которые влияют на велич инуим п ульс ов.
Рис . 1. В з а им ос вяз ь биологич ес ких ней ронов
Кора головногом оз га ч еловека с одержит около1011 ней ронов. Ка ждый ней ронс вяз а нс 103-104 другим и ней рона м и. В ц елом м оз гч еловека с одержит п риблиз ительноот 1014 до1015 вз а им ос вяз ей . Иск усственны й нейр о н Ка ждый ней рон ха ра ктериз уетс я с воим текущ им с ос тоянием п о а на логии с нервным и клетка м и головногом оз га , которые м огут быть воз буждены или з а торм ожены. Онобла да ет груп п ой синап со в – однона п ра вленных входных с вяз ей , с оединенных с выхода м и других ней ронов, а та кже им еет ак со н – выходную с вяз ь да нного ней рона , с которой с игна л (воз буждения или торм ожения) п ос туп а ет на
7 с ина п с ы с ледующ их ней ронов. Общ ий вид ис кус с твенного ней рона п риведен на рис унке 2. И с кус с твенный ней ронв п ервом п риближении им итирует с вой с тва биологич ес кого ней рона . Здес ь м ножес тво входных с игна лов, обоз на ч енных х 1,х 2, ...,х n, п ос туп а ет на ис кус с твенный ней рон. Э ти входные с игна лы, в с овокуп нос ти обоз на ч а ем ые вектором Х, с оответс твуют с игна ла м п риходящ им в с ина п с ы биологич ес когоней рона . Ка ждый с ина п с ха ра ктериз уетс я велич иной синап cическ о йсвязи или ее весо м wi .
Рис . 2. Модель ис кус с твенногоней рона
Ка ждый с игна л ум ножа етс я на с оответс твующ ий вес w1,w2,...,wn, и п ос туп а ет на с ум м ирующ ий блок. Ка ждый вес с оответс твует "с иле" одной биологич ес кой с ина п cич ес кой с вяз и. (Множес твовес ов в с овокуп нос ти обоз на ч а ются вектором W). Сум м ирующ ий блок, с оответс твующ ий телу биологич ес кого элем ента , с кла дыва ет вз веш енные входы а лгебра ич ес ки, с оз да ва я велич ину S. Та ким обра з ом , текущ ее с ос тояние ней рона оп ределяетс я, ка к вз веш енна я с ум м а его входов: n
s = ∑ xi ⋅ wi . В ыход ней рона ес ть ф ункц ия егос ос тояния: y = f(s), где f - ак т иваi =1
цио нная ф унк ция, более точ но м оделирующ а я нелиней ную п ереда точ ную ха ра ктерис тику биологич ес кого ней рона и п редс та вляющ а я ней ронной с ети больш ие воз м ожнос ти. П рим еры некоторых а ктива ц ионных ф ункц ий п редс та влены в та бл. 1. и на рис . 3. Н а иболее ра с п рос тра ненным и являютс я п орогова я и с игм оида льна я а ктива ц ионные ф ункц ии. По р о го вая ф ункц ия огра нич ива ет а ктивнос ть ней рона з на ч ениям и 0 или 1 в з а вис им ос ти от велич ины ком бинирова нноговхода s. Ка к п ра вило, входные з на ч ения в этом с луч а е та кже ис п ольз уютс я бина рные: х i ∈ {0,1}. Ч а щ е вс егоудобнее ыва ем ое с м ещ ением ) извелич ины ком бинивыч ес ть п ороговое з на ч ение Θ (на з рова нноговхода и ра с с м отреть п ороговую ф ункц ию в м а тем а тич ес ки эквива лентn 0, s < 0; ной ф орм е: s = w0 + ∑ xi ⋅ wi , f ( s) = . ≥ 1 , s 0 i =1 Здес ь w0 = −Θ - велич ина с м ещ ения, вз ята я с п ротивоп оложным з на ком . Cм ещ ение обыч но интерп ретируетс я ка к с вяз ь, ис ходящ а я от элем ента , з на ч ение которого вс егда ра вно 1. Ком бинирова нный вход тогда м ожно п редс та вить в виде
8 n
s = ∑ xi ⋅ wi , где x0 вс егда с ч ита етс я ра вным 1. i =0
Та блиц а 1. Ф ункц ии а ктива ц ии ней ронов
Н азвание П о р о го вая (ф унк ция единично го ск ачк а) Линейная Ло гист ическ ая (сигмо идал ьная) Гип ер б о лическ ийт ангенс Линейная с насыщ ением (л инейныйп о р о г)
Ф орм ула 0, s < Θ; f (s) = 1, s ≥ Θ f ( s ) = ks 1 f ( s) = 1 + e − as e as − e − as f ( s ) = as e + e − as 0, s < Θ; f ( s) = ks, 0 ≤ s < Θ 1, s ≥ Θ
О бласть з начений {0,1} ( −∞;+∞) (0,1) (-1,1) (0,1)
Рис . 3. П рим еры а ктива ц ионных ф ункц ий а - ф ункц ия единич ногос ка ч ка ; б - линей ный п орог; в - логис тич ес ка я ф ункц ия; г- гип ерболич ес кий та нгенс
Ло гист ическ ая ф ункц ия или с игм оид f (s) = 1 / (1+e-as) неп рерывноз а п олняет с воим и з на ч ениям и диа п а з онот 0 до1. П ри ум еньш ении а с игм оид с та новитс я более п ологим , в п ределе п ри а = 0 вырожда яс ь в гориз онта льную линию на уровне 0.5, п ри увелич ении а с игм оид п риближа етс я к видуф ункц ии единич ного с ка ч ка с п орогом 0. Следует отм етить, ч тос игм оида льна я ф ункц ия диф ф еренц ируем а на вс ей ос и а бс ц ис с , ч тоис п ольз уетс я в некоторых а лгоритм а х обуч ения. Кром е того, она обла да ет с вой с твом ус илива ть с ла бые с игна лы и п редотвра щ а ет на с ыщ ение от больш их с игна лов, та к ка к они с оответс твуют обла с тям а ргум ентов, где с игм оид им еет п ологий на клон.
9
§ 2. Н Е Й Р О С Е Т И 2.1. К лассиф ик ац ия и свойстванейросетей О дно сл о йны е и ск усственны е нейр о нны е сети Х отя одинней рони с п ос обенвып олнять п рос тей ш ие п роц едуры ра с п оз на ва ния, с ила ней ронных выч ис лений п роис тека ет от с оединений ней ронов в с етях. П рос тей ш а я с еть с ос тоит изгруп п ы ней ронов, обра з ующ их с лой , ка к п ока з а но в п ра вой ч а с ти рис . 4. О тм етим , ч товерш ины-круги с лева с лужа т лиш ь для ра с п ределения входныхс игна лов. О ни не вып олняют ка ких- либовыч ис лений и п оэтом у не будут с ч ита тьс я с лоем . П оэтой п рич ине они обоз на ч ены круга м и, ч тобы отлич а ть их от выч ис ляющ их ней ронов, обоз на ч енных ква дра та м и. Ка ждый элем ент изм ножес тва входов Х отдельным вес ом с оединенс ка ждым ис кус с твенным ней роном . А ка ждый ней ронвыда ет вз веш енную с ум м у входов в с еть. В ис кус с твенных и биологич ес ких с етях м ногие с оединения м огут отс утс твова ть, вс е с оединения п ока з а ны в ц елях общ нос ти. Могут им еть м ес тота кже с оединения м ежду выхода м и и входа м и элем ентов в с лое. У добнос ч ита ть вес а элем ента м и м а триц ы W. Ма триц а им еет n с трок и m с толбц ов, где n - ч ис ловходов, а m - ч ис лоней ронов. Н а п рим ер, w23 - это вес , с вяз ыва ющ ий второй вход с третьим ней роном . Та ким обра з ом , выч ис ление выходноговектора Y, ком п онента м и которогоявляютс я выходы yi ней ронов, с водитс я к м а трич ном у ум ножению Y = XW.
Рис 4. П рос тей ш а я однос лой на я ней ронна я с еть
М но го сл о йны е и ск усственны е нейр о нны е сети Более круп ные и с ложные ней ронные с ети обла да ют, ка к п ра вило, и больш им и выч ис лительным и воз м ожнос тям и. Х отя с оз да ны с ети вс ех конф игура ц ий , ка кие тольком ожнос ебе п редс та вить, п ос лой на я орга низ а ц ия ней ронов коп ирует с лоис тые с труктуры оп ределенных отделов м оз га . О ка з а лос ь, ч то та кие м ногос лой ные с ети обла да ют больш им и воз м ожнос тям и, ч ем однос лой ные, и в п ос ледние годы были ра з ра бота ны м ногообра з ные а лгоритм ы для ихобуч ения.
10
Рис 5. П рим ер м ногос лой ной ней ронной с ети
Многос лой ные с ети м огут обра з овыва тьс я ка с ка да м и с лоев. В ыход одного с лоя являетс я входом для п ос ледующ егос лоя. П одобна я с еть п ока з а на на рис . 5 и с нова из обра жена с овс ем и с оединениям и. Многос лой ные с ети не м огут п ривес ти к увелич ению выч ис лительной м ощ нос ти п ос ра внению с однос лой ной с етью лиш ь в том с луч а е, ес ли а ктива ц ионна я ф ункц ия м еждус лоям и не будет линей ной . В ыч ис ление выхода с лоя з а ключ а етс я в ум ножении входного вектора на п ервую вес овую м а триц у с п ос ледующ им ум ножением (ес ли отс утс твует нелиней на я а ктива ц ионна я ф ункц ия) рез ультирующ его вектора на вторую вес овую м а триц у. Та к ка к ум ножение м а триц а с с оц иа тивно, тодвухс лой на я линей на я с еть эквива лентна одном у с лою с вес овой м а триц ей , ра вной п роиз ведению двух вес овых м а триц . Следова тельно, люба я м ногос лой на я линей на я с еть м ожет быть з а м енена эквива лентной однос лой ной с етью. О буч ени е и ск усственны х нейр о нны х сетей Сеть обуч а етс я, ч тобы для некоторого м ножес тва входов да ва ть требуем ое (или, п о кра й ней м ере, с ообра з ное с ним ) м ножес тво выходов. Ка ждое та кое входное (или выходное) м ножес твора с с м а трива етс я ка к вектор. О буч ение ос ущ ес твляетс я п утем п ос ледова тельного п редъявления входных векторов с одноврем енной п одс трой кой весов в с оответс твии с оп ределенной п роц едурой . В п роц ес с е обуч ения вес а с ети п ос теп еннос та новятс я та ким и, ч тобы ка ждый входной вектор выра ба тыва л выходной вектор. Ра з лич а ют а лгоритм ы обуч ения с уч ителем и безуч ителя. Об учение с учит ел ем п редп ола га ет, ч тодля ка ждого входноговектора с ущ ес твует ц елевой вектор, п редс та вляющ ий с обой требуем ый выход. В м ес те они на з ыва ютс я о б учаю щ ейп ар о й. О быч но с еть обуч а етс я на некотором ч ис ле та ких обуч а ющ их п а р. П редъявляетс я выходной вектор, выч ис ляетс я выход с ети и с ра внива етс я с с оответс твующ им ц елевым вектором , ра з нос ть (ош ибка ) с п ом ощ ью обра тной с вяз и п ода етс я в с еть, и вес а из м еняютс я в с оответс твии с а лгоритм ом , с трем ящ им с я м иним из ирова ть ош ибку. В екторы обуч а ющ его м ножес тва п редъявляютс я п оследова тельно, выч ис ляютс я ош ибки, и вес а п одс тра ива ютс я
11 для ка ждого вектора до тех п ор, п ока ош ибка п о вс ем у обуч а ющ ем у м а с с иву не дос тигнет п рием лем ониз когоуровня. Об учение б ез учит ел я не нужда етс я в ц елевом векторе для выходов и, с ледова тельно, не требует с ра внения с п редоп ределенным и идеа льным и ответа м и. О буч а ющ ее м ножествос ос тоит лиш ь извходных векторов. О буч а ющ ий а лгоритм п одс тра ива ет вес а с ети та к, ч тобы п олуч а лис ь с огла с ова нные выходные векторы, т. е. ч тобы п редъявление дос та точ но близ ких входных векторов да ва ло одина ковые выходы. П роц ес с обуч ения, с ледова тельно, выделяет с та тис тич ес кие с вой с тва обуч а ющ его м ножес тва и груп п ирует с ходные векторы в кла с с ы. П редъявление на вход вектора изда нного кла с с а да с т оп ределенный выходной вектор, но до обуч ения невоз м ожно п редс ка з а ть, ка кой выход будет п роиз водитьс я да нным кла с с ом входных векторов. Следова тельно, выходы п одобной с ети должны тра нс ф орм ирова тьс я в некоторую п онятную ф орм у, обус ловленную п роц ес с ом обуч ения.
2.2. Т еорем аК олм огорова Ра с с м отрим в ка ч ес тве п рим ера двухс лой ную ней ронную с еть с n входа м и и одним выходом , котора я дос та точ ноп рос та п ос труктуре и в тоже врем я ш ироко ис п ольз уетс я для реш ения п рикла дных з а да ч . Э та с еть из обра жена на рис . 6. Ка ждый i-й ней ронп ервогос лоя ( i = 1,2..., m ) им еет n входов, которым п рип ис а ны вес а w1i, w2i, ..., wni .
Рис . 6. П рим ер ней ронной с ети
П олуч ив входные с игна лы, ней рон с ум м ирует их с с оответс твующ им и вес а м и, з а тем п рим еняет к этой с ум м е п ереда точ ную ф ункц ию и п ерес ыла ет рез ульта т на вход ней рона второго (выходного) с лоя. В с вою оч ередь, ней рон выходного с лоя с ум м ирует п олуч енные от второгос лоя с игна лы с некоторым и вес а м и vi. Д ля оп ределеннос ти будем п редп ола га ть, ч то п ереда точ ные ф ункц ии в с крытом с лое являютс я с игм оида льным и, а в выходном с лое ис п ольз уетс я тождес твенна я ф ункц ия, т. е. вз веш енна я с ум м а выходов второго с лоя и будет ответом с ети. П ода ва я на входы любые ч ис ла x1, x2, ..., xn, м ы п олуч им на выходе з на ч ение некоторой ф ункц ии Y=F(x1, x2, ..., xn), которое являетс я ответом (реа кц ией ) с ети. О ч евидно, ч то ответ с ети з а вис ит ка к от входного с игна ла , та к и от з на ч ений ее
12 внутреннихп а ра м етров — вес ов ней ронов. В ып иш ем точ ный вид этой ф ункц ии: m n 1 . где σ ( s) = F ( x1 , x2 ,..., xn ) = ∑ viσ ( ∑ x j ⋅ w ji ) , 1 + e − as i =1 j =0 В 1957 г. м а тем а тик А . Н . Колм огоров дока з а л с ледующ ую теорем у. Т еорем а К олм огорова. Л юба я неп рерывна я ф ункц ия от n п ерем енных F(x1, x2, ..., xn) м ожет быть п редс та влена в виде F ( x1 , x2 ,..., xn ) =
2 n +1
∑
i =1
n
g i ( ∑ hij ( x j )) , j =1
где gi и hij — неп рерывные ф ункц ии, п рич ем hij не з а вис ят от ф ункц ии F. Э та теорем а оз на ч а ет, ч то для реа лиз а ц ии ф ункц ий м ногих п ерем енных дос та точ но оп ера ц ий с ум м ирова ния и ком п оз иц ии ф ункц ий одной п ерем енной . К с ожа лению, п ри вс ей с воей м а тем а тич ес кой кра с оте, теорем а Колм огорова м а лоп рим еним а на п ра ктике. Э тос вяз а нос тем , ч тоф ункц ии hij — негла дкие и трудно выч ис лим ые; та кже неяс но, ка ким обра з ом м ожноп одбира ть ф ункц ии gj для да нной ф ункц ии F. Роль этой теорем ы сос тоит в том , ч тоона п ока з а ла п ринц ип иа льную воз м ожнос ть реа лиз а ц ии с коль угодно с ложных з а вис им ос тей с п ом ощ ью относ ительно п рос тых а втом а тов тип а ней ронных с етей . Более з на ч им ые для п ра ктики рез ульта ты в этом на п ра влении были открыты тольков 1989 г., з а тоодноврем еннонес кольким и а втора м и. П ус ть F(x1, x2, ..., xn) — люба я неп рерывна я ф ункц ия, оп ределенна я на огра на ч а ющ ее нич енном м ножес тве, и ε > 0 — любое с коль угодно м а лое ч ис ло, оз точ нос ть а п п рокс им а ц ии. Ч ерезσ обоз на ч ена с игм оида льна я ф ункц ию. Т еорем а. Сущ ес твуют та кое ч ис ло m, на бор ч ис ел wij, и на бор ч ис ел vi, ч то ф ункц ия m
n
i =1
j =0
f ( x1, x2 ,..., xn ) = ∑ viσ ( ∑ x j ⋅ w ji ) п риближа ет да нную ф ункц ию F(x1, x2, ..., xn) с п огреш нос тью не более ε на вс ей обла с ти оп ределения. Л егкоз а м етить, ч тоэта ф орм ула п олнос тью с овп а да ет с выра жением , п олуч енным для ф ункц ии, реа лиз уем ой ней рос етью. В терм ина х теории ней рос етей эта теорем а ф орм улируетс я та к. Л ю бую непреры вную ф унк ц ию неск оль к их перем енны х м ожно слю бой точность ю реализ овать с пом ощ ь ю двухслойной нейросети с достаточны м к оличеством нейроноввск ры том слое.
§ 3. П Е Р С Е П Т Р О Н О дной изп ервых ис кус с твенных с етей , с п ос обных к п ерц еп ц ии (вос п риятию) и ф орм ирова нию реа кц ии на вос п ринятый с тим ул, явилс я PERCEPTRON Роз енбла тта (F.Rosenblatt, 1957). П ер сеп т р о но м, ка к п ра вило, на з ыва ют однос лой ную ней ронную с еть, п ри этом ка ждый п ерс еп тронный ней рон в ка ч ес тве а ктива ц ионной ф ункц ии ис п ольз ует ф ункц ию единич ногос ка ч ка (п ороговую).
13 Ал го р и тм о буч ени я пер септр о на Д ля п рос тоты ра с с м отрим вна ч а ле п роц едуру обуч ения п ерс еп трона , с ос тоящ еготолькоизодногоней рона .
n
s = ∑ xi ⋅ wi i =0
Рис .7 О дноней ронный п ерcеп тронс n входа м и
П одробна я с хем а та кого п ерс еп трона из обра жена на рис .7. Ка к отм еч а лос ь ра нее, будем с ч ита ть, ч топ ерс еп троним еет доп олнительный вход x0 , который 0, s < 0; . вс егда ра вен1. В та ком с луч а е, п ороговое с м ещ ение Θ =0 и y= f ( s) = 1, s ≥ 0 О буч ение п ерс еп трона с ос тоит в п одс трой ке вес овых коэф ф иц иентов wi , где i = 0, n . О буч енный п ерс еп трон с п ос обен ра з делять требуем ое м ножес тво обра з ов на два кла с с а . (К п ервом у кла с с у относ ятс я входные обра з ы, для которых на выходе п ерс еп трона п олуч ено нулевое з на ч ение, ко втором у кла с с у – обра з ы, для которых п олуч еноединич ное з на ч ение). О буч ение п ерс еп трона – это обуч ение с уч ителем , то ес ть должен с ущ ес твова ть на бор векторов ( X k , y k ), k = 1, P , на з ыва ем ый о б учаю щ ей выб о р к о й. Здес ь X k = ( x1k , x2k ,..., xnk ) k = 1, P - п рим еры входных обра з ов, для которых з а ра нее из вес тна ихп рина длежнос ть к одном уиздвух да нныхкла с с ов. Будем на з ыва ть п ерс еп трон обуч енным на да нной обуч а ющ ей выборке, ес ли п ри п ода ч е на вход ка ждоговектора X k на выходе вс який ра зп олуч а етс я с оответс твующ ее з на ч ение y k ∈ {0,1}. П редложенный Ф .Роз енбла ттом м етод обуч ения с ос тоит в итера ц ионной п одс трой ке вес овых коэф ф иц иентов wi, п ос ледова тельноум еньш а ющ ей выходные ош ибки. А лгоритм включ а ет нес колькош а гов. Ш аг 0. П роиниц иа лиз ирова ть вес овые коэф ф иц иенты wi , i = 0, n , небольш им и с луч а й ным и з на ч ениям и (на п рим ер, издиа п а з она [-0.3, 0.3]) . Ш аг 1. П ода ть на вход п ерс еп трона один изобуч а ющ их векторов X k и выч ис лить ее выход y . Ш аг 2. Е с ли выход п ра вильный ( y = y k ), п ерей ти на ш а г4. И на ч е выч ис лить ош ибку- ра з ниц ум еждуверным и п олуч енным з на ч ениям и выхода : δ = y k − y .
14 Ш аг 3. В ес овые коэф ф иц иенты м одиф иц ируютс я п о с ледующ ей ф орм уле: wit +1 = wit + ν ⋅ δ ⋅ xik . Здес ь t и t+1 – ном ера с оответс твеннотекущ ей и с ледующ ей итера ц ий ; ν – коэф ф иц иент с корос ти обуч ения, (0 <ν ≤ 1) ; xik - i-та я ком п онента входноговектора X k . Ш аг 4. Ш а ги 1-3 п овторяютс я для вс ех обуч а ющ их векторов. О дин ц икл п ос ледова тельного п редъявления вс ей выборки на з ыва етс я эп охой . Обуч ение з аверш а етс я п оис теч ении нес кольких эп ох, когда с еть п ерес та нет ош иба тьс я. Зам ечание1. Коэф ф иц иент с корос ти обуч ения ν являетс я п а ра м етром да нного а лгоритм а . Ка к п ра вило, еговыбира ют издиа п а з она [0.5, 0.7]. В некоторых с луч а ях (п ри больш ом объем е обуч а ющ ей выборки ) ц елес ообра з но п ос теп енно ум еньш а ть з на ч ение ν , на ч ина я, на п рим ер, с 1. Зам ечание 2. И с п ольз уем а я на ш а ге 3 ф орм ула м одиф иц ирует только вес овые коэф ф иц иенты, отвеч а ющ ие ненулевым з на ч ениям входов xik , п ос колькутолько n
на ч ение у. они влияли на велич ину s = ∑ xi ⋅ wi , а , с ледова тельно, и на з i =0
О ч евидно, ч то ес ли y k > y (п олуч ен неп ра вильный нулевой выход вм ес то п ра вильного единич ного), то, п ос кольку δ > 0 , вес овые коэф ф иц иенты (а вм ес те с ним и и велич ина s) будут увелич ены и тем с а м ым ум еньш а т ош ибку. В п ротивном с луч а е вес овые коэф ф иц иенты будут ум еньш ены, и s тоже ум еньш итс я, на ч ению y k . п риближа я тем с а м ым y к з О бобщ им теп ерь этот а лгоритм обуч ения на с луч а й однос лой ной с ети, включ а ющ ей n п ерс еп тронных ней ронов (рис . 4). Та ка я с еть (п ри дос та точ но больш ом ч ис ле ней ронов) м ожет ос ущ ес твлять ра з биение обра з ов на п роиз вольное требуем ое ч ис локла с с ов. П ус ть им еетс я о б учаю щ ая выб о р к а, с ос тоящ а я из п а р векторов k ( X , Y k ), k = 1, P . Н а з овем ней ронную с еть обуч енной на да нной обуч а ющ ей выборке, ес ли п ри п ода ч е на входы с ети ка ждоговектора X k на выхода х вс який а ключ а етс я в итера ц ира зп олуч а етс я с оответс твующ ий вектор Y k . О буч ение з онной п одс трой ке м а триц ы вес ов W (wij –вес сина п с ич ес кой с вяз и м ежду i-м входом и j-м ней роном ), п ос ледова тельно ум еньш а ющ ей ош ибку в выходных вектора х. А лгоритм включ а ет с ледующ ие ш а ги. Ш аг 0. П роиниц иа лиз ирова ть элем енты вес овой м а триц ы W небольш им и с луч а й ным и з на ч ениям и. Ш аг 1. П ода ть на входы одинизвходных векторов X k и выч ис лить ее выход Y. Ш аг 2. Е с ли выход п ра вильный ( Y = Y k ) , п ерей ти на ш а г4. И на ч е выч ис лить вектор ош ибки - ра з ниц у м ежду идеа льным и п олуч енным з на ч ениям и выхода : k δ =Y −Y . Ш аг 3. Ма триц а вес ов м одиф иц ируетс я п о с ледующ ей ф орм уле:
15 wijt +1 = wijt + ν ⋅ δ ⋅ xi . Здес ь t и t+1 – ном ера с оответс твеннотекущ ей и с ледующ ей итера ц ий ; ν – коэф ф иц иент с корос ти обуч ения, (0 <ν ≤ 1) ; xi - i-та я ком п онента входноговектора X k ; j – ном ер ней рона в с лое. Ш аг 4. Ш а ги 1-3 п овторяютс я для вс ех обуч а ющ их векторов. О буч ение з аверш а етс я, когда с еть п ерес та нет ош иба тьс я. П редс та вленный м етод обуч ения нос ит на з ва ние “ δ -п ра вило”. Д ока з а нна я Роз енбла ттом теорем а ос ходим ос ти обуч ения п о δ -п ра вилу говорит отом , ч то п ерс еп трон с п ос обен обуч итьс я любом у обуч а ющ ем у на бору, который он с п ос обенп редс та вить. Н иже м ы более п одробнообс удим воз м ожнос ти п ерс еп трона п оп редс та влению инф орм а ц ии. Л и нейная р аздел и м о сть и пер септр о нная пр едставл я ем о сть Ка ждый ней ронп ерс еп трона являетс я ф орм а льным п ороговым элем ентом , п риним а ющ им единич ные з на ч ения в случ а е, ес ли с ум м а рный вз веш енный вход больш е некоторогоп ороговогоз на ч ения: n 0, ∑ xi ⋅ wi < Θ; i =1 Yj = n 1, ∑ x ⋅ w ≥ Θ i =1 i i Та ким обра з ом , п ри з а да нных з на ч ениях вес ов и п орогов, ней рон им еет оп ределенное выходное з на ч ение для ка ждого воз м ожного вектора входов. Множес тво входных векторов, п ри которых ней рона ктивен( Y j =1), отделено от м ножес тва векторов, на которых ней рон п а с с ивен ( Y j =0), гип ерп лос кос тью, ура внение которой
n
∑ xi ⋅ wi = Θ . Следова тельно, ней ронс п ос обенотделить толькота кие два i =1
м ножес тва векторов входов, для которых им еетс я гип ерп лос кос ть, отс ека ющ а я одно м ножес тво от другого. Та кие м ножес тва на з ыва ют линей но ра з делим ым и. П роиллюс трируем этоп онятие на п рим ере. Ра с с м отрим однос лой ный п ерс еп трон, с ос тоящ ий изодного ней рона с двум я входа м и. Входной вектор с одержит только две булевы ком п оненты x1 и x2 , оп ределяющ ие п лос кос ть. Н а да нной п лос кос ти воз м ожные з на ч ения входных векторов отвеч а ют верш ина м единич ногоква дра та . В ка ждой верш ине з а да дим требуем ое з на ч ение выхода ней рона : 1 (на рис . 8 - бела я точ ка ) или 0 (ч ерна я точ ка ). Требуетс я оп ределить, с ущ ес твует ли та кой на бор вес ов и п орогов ней рона , п ри котором ней рон с м ожет п олуч ить эти з на ч ения выходов? Н а рис . 8 п редс та влена одна изс итуа ц ий , когда этогос дела ть нельз я вс ледс твие линей ной нера з делим ос ти м ножес тв белых и ч ерныхточ ек.
16
x1 ⋅ w1 + x2 ⋅ w2 = Θ
Рис . 8. Белые точ ки не м огут быть отделены одной п рям ой от ч ерных
Требуем ые выходы ней рона для этогорис унка оп ределяютс я та блиц ей , в которой легкоуз на ть з а да ние логич ес кой ф ункц ии “ ис ключ а ющ ее или” (XOR). X1 X2 Y 0 0 0 1 0 1 0 1 1 1 1 0 Н евоз м ожнос ть реа лиз а ц ии однос лой ным п ерcеп троном этой ф ункц ии п олуч ила на з ва ние п р о б л емы иск л ю чаю щ его И ЛИ . Видно, ч тооднос лой ный п ерс еп тронкра й не огра нич енв с воих воз м ожнос тях точ ноп редс та вить на п еред з а да нную логич ес кую ф ункц ию. Х отя да нный п рим ер на гляден, онне являетс я с ерьез ным огра нич ением для ней рос етей . Ф ункц ия XOR легкореа лиз уетс я п рос тей ш ей двухс лой ной с етью, п рич ем м ногим и с п ос оба м и. О динизп рим еров та кой с ети п ока з а нна рис . 9. Θ1 = 0 . 5
1
x1 1 x2
1 Y
1 -
1
Θ = 0.5
Θ 2 = 1.5
Рис . 9. Д вухс лой на я с еть, реа лиз ующ а я ф ункц ию XOR
В ес овые коэф ф иц иенты w11 , w12 , w21 , w22 п ервогос лоя вс е ра вны единиц е, вес овые коэф ф иц иенты второгос лоя v1 ,v2 с оответс твеннора вны 1 и -1, п ороговые з на ч ения ка ждогоней рона ука з а ны на рис унке. Та блиц а ис тиннос ти для та кой с ети им еет вид: x1 0 1 0 1
x2 0 0 1 1
s1 0 1 1 2
s2 0 1 1 2
y1 0 1 1 1
y2 0 0 0 1
S 0 1 1 0
Y 0 1 1 0
17 Здес ь s1 = x1 ⋅ w11 + x2 ⋅ w21 – з на ч ение, п ос туп а ющ ее на вход п ервогоней рона п ервогос лоя, s2 = x1 ⋅ w12 + x2 ⋅ w22 - вход второгоней рона п ервогос лоя; y1, y2 – выходы с оответс твующ ихней ронов п ервогос лоя; S- входное з на ч ение ней рона второгос лоя; Y- выход с ети. У П Р АЖ Н Е Н И Я 1. У ка жите воз м ожные з на ч ения вес ов и п орога одноней ронного п ерс еп трона с двум я входа м и, реа лиз ующ его логич ес кую ф ункц ию AND. 2. Н а п иш ите п рогра м м у, обуч а ющ ую одноней ронный п ерс еп трон ра с п оз на ва нию из обра жений “ крес тиков” и “ ноликов”. В ходные обра з ы (10-15 ш тук) п редс та вляют с обой гра ф ич ес кие из обра жения. Ка ждое из обра жение ра з бито на ква дра ты (или п икс ели) и от ка ждого ква дра та на п ерс еп трон п ода етс я вход. Е с ли в ква дра те им еетс я линия (или п икс ель окра ш ен в ч ерный ц вет), то от негоп ода етс я единиц а , в п ротивном с луч а е – ноль. Множес тво ква дра тов на из обра жении з а да ет, та ким обра з ом , м ножес твонулей и единиц , которое и п ода етс я на входы п ерс еп трона (рис . 10). Цель с ос тоит в том , ч тобы на уч ить п ерс еп трон да ва ть единич ный выход п ри п ода ч е на него м ножес тва входов, з а да ющ их “ крес тик”, и нулевой выход в с луч а е “ нолика ”.
∑
Y
Рис . 10. Модель п ерс еп трона , ра з деляющ его“ крес тики” от “ ноликов”
3. Н а п иш ите п рогра м м у, обуч а ющ ую дес ятиней ронный п ерс еп трон ра с п оз на ва нию из обра жений ц иф р. Ка ждый ней рон должен да ва ть единич ный выход п ри п ода ч е на вход из обра жения, с оответс твующ его его п орядковом у ном еру, и нулевой для вс ех ос та льныхиз обра жений .
18
§ 4. С Е Т Ь О Б Р АТ Н О Г О Р АС П Р О С Т Р АН Е Н И Я. Ра с с м отренный в п редыдущ ем п а ра гра ф е а лгоритм обуч ения однос лой ного п ерс еп трона оч ень п рос т. О дна ко долгие годы не уда ва лос ь обобщ ить этот а лгоритм на с луч а й м ногос лой ных с етей , ч то с п ровоц ирова ло в на уч ных круга х з на ч ительный с п а д интерес а к ней ронным с етям . Тольков 1986 годуРум ельха рт ра з ра бота л эф ф ективный а лгоритм корректировки вес ов, на з ва нный алго р ит мо м о б р ат но го р асп р о ст р аненияо шиб о к (back propagation). Н ей ронные с ети обра тного ра с п рос тра нения – это с оврем енный инс трум ент п оис ка з а коном ернос тей , п рогноз ирова ния, ка ч ес твенного а на лиз а . Та кое на з ва ние – сет ио б р ат но го р асп р о ст р анения они п олуч или из -з а ис п ольз уем огоа лгоритм а обуч ения, в котором ош ибка ра с п рос тра няетс я от выходного с лоя к входном у, т. е. в на п ра влении, п ротивоп оложном на п ра влению ра с п рос тра нения с игна ла п ри норм а льном ф ункц ионирова нии с ети. Н ей ронна я с еть обра тного ра с п рос тра нения сос тоит изнес кольких с лоев ней ронов, п рич ем ка ждый ней рон п редыдущ его с лоя с вяз а н с ка ждым ней роном п ос ледующ его с лоя. В больш инс тве п ра ктич ес ких п риложений ока з ыва етс я дос та точ но ра с с м отрения двухс лой ной ней ронной с ети, им еющ ей входной (с крытый ) с лой ней ронов и выходной с лой (рис 11).
Рис . 11. Н ей ронна я с еть обра тногора с п рос тра нения
Ма триц увес овых коэф ф иц иентов от входов к с крытом ус лою обоз на ч им W, а м а триц у вес ов, с оединяющ их с крытый и выходной с лой , - ка к V. Д ля индекс ов п рим ем с ледующ ие обоз на ч ения: входы будем нум ерова ть только индекс ом i, элем енты с крытого с лоя - индекс ом j, а выходы, с оответс твенно, индекс ом k. Ч ис ловходов с ети ра вноn, ч ис лоней ронов в с крытом с лое –m, ч ис лоней ронов в выходном с лое – p. П ус ть с еть обуч а етс я на выборке ( X t , D t ), t = 1, T . П ри обуч ении ней ронной с ети с та витс я з а да ч а м иним из а ц ии ц елевой ф унк циио шиб к и, котора я на ходитс я п ом етодуна им еньш их ква дра тов: 1 p E (W ,V ) = ∑ ( yk − d k ) 2 , 2 k =1
19 где yk –п олуч енное реа льное з на ч ение k-го выхода ней рос ети п ри п ода ч е на нее одного извходных обра з ов обуч а ющ ей выборки; dk – требуем ое (ц елевое) з на ч ение k-говыхода для этогообра з а. О буч ение ней рос ети п роиз водитс я из вес тным оп тим из а ц ионным м етодом гра диентного с п ус ка , т. е. на ка ждой итера ц ии из м енение вес а п роиз водитс я п о ф орм ула м : ∂E ∂E wijN +1 = wijN − α , v Njk +1 = v Njk − α , ∂wij ∂v jk где α – п а ра м етр, оп ределяющ ий с корос ть обуч ения. В ка ч ес тве а ктива ц ионной ф ункц ии в с ети обра тного ра с п рос тра нения обыч но 1 ис п ольз уетс я логис тич ес ка я ф ункц ия f ( s ) = , где s –вз веш енна я с ум м а 1 + e− s входов ней рона . Э та ф ункц ия удобна для выч ис лений в гра диентном м етоде, та к e−s ка к им еет п рос тую п роиз водную: f ' ( s) = = f ( s)(1 − f ( s)) . (1 + e − s ) 2 Ф ункц ия ош ибки в явном виде не с одержит з а вис им ос ти от вес овых коэф ф иц иен∂E ∂E , вос п ольз уем с я тов Vjk и wij , п оэтом удля выч ис ления п роиз водных ∂v jk ∂wij ф орм ула м и диф ф еренц ирова ния с ложной ф ункц ии: ∂E ∂E ∂yk ∂sk = , ∂v jk ∂yk ∂sk ∂v jk где sk – вз веш енна я с ум м а входных с игна лов k- гоней рона выходногос лоя. О боm
з на ч им y cj - з на ч ение выхода j-го ней рона с крытого с лоя. Тогда sk = ∑ v jk y cj и j =1
∂sk ∂yk = y cj . Та к ка к yk = f ( sk ) , то = f ( sk )(1 − f ( sk ) = y k (1 − yk ) . Н а конец , ∂v jk ∂sk ∂E ом , п олуч или выра жение для п роиз водной : = y k − d k . Та ким обра з ∂y k ∂E = ( yk − d k ) y k (1 − yk ) y cj . ∂v jk В ыведем теп ерь ф орм улудля п роиз водной
∂E . А на логич ноз а п иш ем : ∂wij
c ∂E ∂E ∂y j ∂s j = . ∂wij ∂y cj ∂s j ∂wij
20 n
∂s j
i =1
∂wij
Здес ь s j = ∑ wij xi , п оэтом у обра з а обуч а ющ ей выборки);
∂y cj ∂s j
= xi ( xi − i-та я ком п онента п ода нногона вход
= y cj (1 − y cj ) . Та к ка к ф ункц ия ош ибки не з а ви-
с ит в явном виде от выходов с крытогос лоя y cj , топ роиз водна я с я:
∂E ус ложняет∂y cj
p ∂E ∂E ∂yk ∂sk = . В ос п ольз ова вш ис ь им еющ им ис я выра жениям и для ∑ c ∂y j k =1 ∂yk ∂sk ∂y cj
p ∂E ∂yk ∂E , и sk , з а п иш ем : c = ∑ ( yk − d k ) y k (1 − yk )v jk . Е с ли ввес ти обоз на ч ение ∂y k ∂sk ∂y j k =1
∂E ∂yk = ( yk − d k ) y k (1 − yk ) , ∂yk ∂sk п олуч им с ледующ ие выра жения для п роиз водных: p ∂E ∂E = δ k y cj , = ( ∑ δ k v jk ) y cj (1 − y cj ) xi ∂wij ∂v jk k =1 δk =
Ал го р и тм о буч ени я сети о бр атно го р аспр о стр анени я Ра с с м отрим теп ерь п олный а лгоритм обуч ения ней рос ети. Ш аг1. И ниц иа лиз а ц ия с ети. В ес овым коэф ф иц иента м п рис ва ива ютс я м а лые с луч а й ные з на ч ения, на п рим ер, издиа п а з она (-0.3, 0.3); з а да ютс я ε -п а ра м етр точ нос ти обуч ения, α – п а ра м етр с корос ти обуч ения (ка к п ра вило ≈ 0.1 и м ожет ещ е ум еньш а тьс я в п роц ес с е обуч ения), Nmax - м а кс им а льнодоп ус тим ое ч ис лоитера ц ий . Ш аг2. В ыч ис ление текущ еговыходногос игна ла . Н а вход сети п ода етс я одинизобра з ов обуч а ющ ей выборки и оп ределяютс я з на ч ения выходов вс ехней ронов ней рос ети. Ш аг3. Н а с трой ка с ина п тич ес кихвес ов. Ра с с ч ита ть из м енение вес ов для выходногос лоя ней ронной с ети п оф орм ула м ∂E ∂E v Njk +1 = v Njk − α = δ k y cj , δ k= ( yk − d k ) y k (1 − yk ) . , где ∂v jk ∂v jk Ра с с ч ита ть из м енение вес ов для с крытогос лоя п оф орм ула м p ∂E ∂E N +1 N wij = wij − α , где = ( ∑ δ k v Njk +1 ) y cj (1 − y cj ) xi ∂wij ∂wij k =1 Ш аг4. Ш а ги 2-3 п овторяютс я для вс ех обуч а ющ их векторов. О буч ение з а верш а етс я п одос тижении для ка ждогоизобуч а ющ их обра з ов з на ч ения ф ункц ии ош ибки, не п ревос ходящ его ε или п осле м а кс им а льнодоп ус тим огоч исла итера ц ий .
21 Зам ечание 1. Н а ш а ге 2 векторы изобуч а ющ ей п ос ледова тельнос ти луч ш е п редъявлять на вход в с луч а й ном п орядке. Зам ечание2. В ом ногих с луч а ях жела тельнона делять ка ждый ней ронобуч а ем ым с м ещ ением . Э то п оз воляет с двига ть на ч а ло отс ч ета логис тич ес кой ф ункц ии, да ва я эф ф ект, а на логич ный п одс трой ке п орога п ерс еп тронногоней рона , и п риводит к ус корению п роц ес с а обуч ения. Э та воз м ожнос ть м ожет быть легко введена в обуч а ющ ий а лгоритм с п ом ощ ью доба вляем ого к ка ждом у ней рону вес а , п рис оединенногок +1. Э тот вес обуч а етс я та к же, ка к и вс е ос та льные вес а , з а ис ключ ением того, ч то п ода ва ем ый на него с игна л вс егда ра вен +1, а не выходу ней рона п редыдущ егос лоя. Зам ечание 3. Колич ес тво входов и выходов с ети, ка к п ра вило, диктуетс я ус ловиям и з а да ч и, а ра з м ер с крытого с лоя на ходят экс п ерим ента льно. О быч ноч ис ло ней ронов в нем с ос та вляет 30-50% от ч ис ла входов. Слиш ком больш ое колич ес тво ней ронов с крытого с лоя п риводит к том у, ч то с еть теряет с п особнос ть к обобщ ению (она п рос то дос кона льно з а п ом ина ет элем енты обуч а ющ ей выборки и не реа гирует на с хожие обра з ц ы, ч то неп рием лем о для з а да ч ра с п оз на ва ния). Е с ли ч ис ло ней ронов в с крытом с лое с лиш ком м а ло, с еть ока з ыва етс я п рос то не в с ос тоянии обуч итьс я. Зам ечание 4. В ыходы ка ждого ней рона с ети лежа т в диа п а з оне (0,1) –обла сти з на ч ений логис тич ес кой ф ункц ии – это на до уч итыва ть п ри ф орм ирова нии обуч а ющ ей выборки. Е с ли необходим о п олуч ить от с ети бина рный выход, то, ка к п ра вило, вм ес то0 ис п ольз уют 0.1, а вм ес то1 - 0.9, та к ка к гра ниц ы интерва ла недос тижим ы. Модиф ика ц ии а лгоритм а обра тногора с п рос тра нения с вяз а ны с ис п ольз ова нием ра з лич ных ф ункц ий ош ибки, других а ктива ц ионных ф ункц ий , ра з лич ных п роц едур оп ределения на п ра вления и велич ины ш а га . О бра тное ра с п рос тра нение было ис п ольз ова но в ш ирокой с ф ере п рикла дных ис с ледова ний . В ч а с тнос ти ф ирм а NEC в Я п онии ис п ольз ова ла обра тное ра с п рос тра нение для виз уа льного ра с п оз на ва ния букв (в том ч ис ле рукоп ис ных), п рич ем точ нос ть п ревыс ила 99%. Д ос тигнут вп еч а тляющ ий ус п ех с Net-Talk, с ис тем ой , котора я п ревра щ а ет п еч а тный а нглий с кий текс т в выс окока ч ес твенную реч ь. Ма гнитоф онна я з а п ис ь п роц ес с а обуч ения с ильнона п ом ина ет з вуки ребенка на ра з ных эта п а х обуч ения реч и. Н о нес м отря на м ногоч ис ленные ус п еш ные п рим енения обра тного ра с п рос тра нения, оно не являетс я п а на ц еей . Больш е вс его неп риятнос тей п ринос ит неоп ределеннодолгий п роц ес с обуч ения. В с ложных з ада ч а х для обуч ения с ети м огут п отребова тьс я ч а с ы или да же дни, она м ожет и вообщ е не обуч итьс я. Н еуда ч и в обуч ении ч а с то воз ника ют п о п рич ине п оп а да ния с ети в лока льный м иним ум , ч то, к с ожа лению, являетс я ха ра ктерной ос обеннос тью м етодов гра диентного с п ус ка . И с п ра вить с итуа ц ию в та ком с луч а е иногда п ом ога ют небольш ие с луч а й ные из м енения вес овыхз на ч ений с ети.
22 У П Р АЖ Н Е Н И Я 1. Н а п иш ите п рогра м м у, обуч а ющ ую с еть обра тногора с п рос тра нения игре в ‘крес тики-нолики” 3×3. Клетки дос ки з а кодирова ны п оз иц иям и 1..9. В ходным вектором являетс я девятим ерный вектор, в котором в с оответс твующ ей п оз иц ии з а да етс я 0.1, ес ли в ней на ходитс я “ нолик”, 0.9 - ес ли “ крес тик” и 0.5, ес ли клетка п ус та . Н а выходе ней рос ети п олуч а етс я новое п оложение п ос ле хода ней рос ети (ней рос еть уч итс я игра ть нолика м и). Н а ч ина ют крес тики. Н а п рим ер: П оз иц ия на входе : x
Код входа : 0.5 0.5 0.5 0.5 0.9 0.5 0.5 0.5 0.5 О твет ней рос ети : 0.5 0.5 0.5 0.5 0.9 0.1 0.5 0.5 0.5 П оз иц ия п ос ле хода ней рос ети: x o
П редва рительно с ыгра й те с а м и с с обой нес колько п рим ерных п а ртий , з а п ис ыва я п ос ледова тельнос ти ходов. Обуч ите ней рос еть, з а да в вс е ходы ответы нолика м и. Д а лее п ыта й тес ь игра ть с ней рос етью, ес ли она будет выда ва ть неверный (или невоз м ожный ) ответ, с дела й те ход з а нее и включ ите этот п рим ер в обуч а ющ ую выборку, п родолжите обуч ение. 2. Н а п иш ите п рогра м м у, обуч а ющ ую с еть обра тного ра с п рос тра нения ра с п оз на ва нию букв ла тинс кого а лф а вита . Н а вход с ети п ода ютс я гра ф ич ес кие из обра жения букв, ра з битые на ква дра ты (или п икс ели) а на логич но, ка к для однос лой ного п ерс еп трона . Ж ела тельно ис п ольз ова ть не м енее 10-15 ра з лич ных ш риф тов (на п рим ер, ш риф ты True Type). В ыходом с ети м ожет с лужить двоич ное п редс та вление п орядкового ном ера буквы (м ожно та кже п оложить ч ис ло выходов с ети ра вным ч ис лу букв, но это с ущ ес твенно увелич ит ра з м ер с ети и врем я ее обуч ения). 3. Д ля с етей обра тногора с п рос тра нения ч а с тов ка ч ес тве ф ункц ии а ктива ц ии ис п ольз уют двухп олюс ный с игм оид. Э та ф ункц ия им еет обла с ть з на ч ений (-1,1) и 2 − 1 . П роиз водную этой ф ункц ии м ожно оп ределяетс я ф орм улой : f ( s ) = 1 + e− s 1 выра з ить в виде: f ' ( s) = (1 + f ( s))(1 − f ( s )) . В ыведите п ра вило коррекц ии ве2 с ов для выходногои с крытогос лоев в этом с луч а е. 4. И с п ольз уя ф ункц ию а ктива ц ии изз а да ч и 3, на п иш ите п рогра м м у, обуч а ющ ую с еть обра тного ра с п рос тра нения п рогноз ирова нию курс а долла ра (п о отнош ению к рублю). Сеть им еет 30 входов, на которые п ода етс я курс долла ра в 30 п ос ледова тельных дней . В ыходной с лой с одержит вс его один ней рон, выда ющ ий велич ину из м енения курс а на 31-й день (п о с ра внению с 30-м ). Д ля обуч ения с ети необходим оим еть с та тис тикукурс а долла ра з а нес колькоп ос ледних м ес яц ев (дос туп ную, на п рим ер, в с ети И нтернет).
23
§ 5. С Е Т Ь В С Т Р Е ЧН О Г О Р АС П Р О С Т Р АН Е Н И Я 5.1. С еть К охонена. К лассиф ик ац ия образов За да ч а кла с с иф ика ц ии з а ключ а етс я в ра з биении объектов на кла с с ы, п рич ем ос новой ра з биения с лужит вектор п а ра м етров объекта . Са м и кла с с ы ч а с тобыва ют неиз вес тны з а ра нее, а ф орм ируютс я дина м ич ес ки. Н а з овем п р о т о т ип о м кла с с а объект, на иболее тип ич ный для с воегокла с с а . О динизс а м ых п рос тых п одходов к кла с с иф ика ц ии с ос тоит в том , ч тобы п редп оложить с ущ ес твова ние оп ределенногоч ис ла кла с с ов и п роиз вольным обра з ом выбра ть координа ты п рототип ов. За тем ка ждый вектор изна бора да нных с вяз ыва етс я с ближа й ш им к нем уп рототип ом , и новым и п рототип а м и с та новятс я ц ентроиды вс ех векторов, с вяз а нных с ис ходным п рототип ом . В ка ч ес тве м еры близ ос ти двух векторов обыч но выбира етс я евклидовора с с тояние: d ( x, y ) = ∑ ( xi − yi ) 2 . i
Н а этих п ринц ип а х ос нова ноф ункц ионирова ние с ети Кохонена , обыч ноис п ольз уем ой для реш ения з а да ч кла с с иф ика ц ии. Д а нна я с еть обуч а етс я б ез учит ел я на ос нове с а м оорга низ а ц ии. П о м ере обуч ения вектора вес ов ней ронов с та новятс я п рототип а м и кла с с ов - груп п векторов обуч а ющ ей выборки. Н а эта п е реш ения инф орм а ц ионных з а да ч с еть относ ит новый п редъявленный обра зк одном уиз с ф орм ирова нных кла с с ов. Ра с с м отрим а рхитектурус ети Кохонена и п ра вила обуч ения п одробнее. Сеть Кохонена с ос тоит изодногос лоя ней ронов. Ч ис ловходов ка ждогоней рона n ра вно ра з м ернос ти вектора п а ра м етров объекта . Колич ес тво ней ронов m с овп а да ет с требуем ым ч ис лом кла с с ов, на которые нужнора з бить объекты (м еняя ч ис лоней ронов, м ожнодина м ич ес ки м енять ч ис локла с с ов). О буч ение на ч ина етс я с з а да ния небольш их с луч а й ных з на ч ений элем ента м вес овой м а триц ы W . В да льней ш ем п роис ходит п роц ес с с а м оорга низ а ц ии, с ос тоящ ий в м одиф ика ц ии вес ов п ри п редъявлении на вход векторов обуч а ющ ей выборки. Ка ждый с толбец вес овой м а триц ы п редс та вляет с обой п а ра м етры с оответс твующ егоней рона -кла с с иф ика тора . Д ля ка ждогоj-го ней рона ( j = 1, m ) оп n
ределяетс я ра с с тояние от негодовходноговектора Х : d j = ∑ ( xi − wij ) 2 . Д а лее i =1
выбира етс я ней ронс ном ером k , 1 ≤ k ≤ m , для которогоэтора с с тояние м иним а льно(тоес ть с еть отнес ла входной вектор к кла с с ус ном ером k). Н а текущ ем ш а ге обуч ения N будут м одиф иц ирова тьс я тольковес а ней ронов изокрес тнос ти ней рона k: wijN +1 = wijN + α N ( xi − wijN ) П ервона ч а льнов окрес тнос ти любогоизней ронов на ходятс я вс е ней роны с ети, но с ка ждым ш а гом эта окрес тнос ть с ужа етс я. В конц е эта п а обуч ения п одс тра ива ютс я тольковес а тольконей рона с ном ером k. Тем п обуч ения α N с теч ением врем ени та кже ум еньш а етс я (ч а с то п ола га ют α 0 = 0.9, α N +1 = α N − 0.001) . О бра з ы
24 обуч а ющ ей выборки п редъявляютс я п ос ледова тельно, и ка ждый ра зп роис ходит п одс трой ка вес ов. Ал го р и тм о буч ени я сети К о хо нена Ш аг1. И ниц иа лиз а ц ия с ети. В ес овым коэф ф иц иента м с ети wij , i = 1, n, j = 1, m п рис ва ива ютс я м а лые с луч а й ные з на ч ения. За да ютс я з на ч ения α 0 -на ч а льный тем п обуч ения и D0 -м а кс им а льное ра с с тояние м еждувес овым и вектора м и (с толбц а м и м а триц ы W ). Ш аг2. П редъявление с ети новоговходногос игна ла X . Ш аг3. В ыч ис ление ра с с тояния от входа X довс ех ней ронов с ети: n
d j = ∑ ( xi − wijN ) 2 , j = 1, m i =1
Ш аг4. В ыбор ней рона k , 1 ≤ k ≤ m с на им еньш им ра с с тоянием d k . Ш аг5. Н а с трой ка вес ов ней рона k и вс ех ней ронов, на ходящ ихс я от негона ра с с тоянии не п ревос ходящ ем DN . wijN +1 = wijN + α N ( xi − wijN ) Ш аг6. У м еньш ение з на ч ений α N , DN . Ш аг7. Ш а ги 2-6 п овторяютс я дотех п ор, вес а не п ерес та нут м енятьс я (или п ока с ум м а рное из м енение вс ех вес ов с та нет оч ень м а ло). П ос ле обуч ения кла с с иф ика ц ия вып олняется п ос редс твом п ода ч и на вход с ети ис п ытуем оговектора , выч ис ления ра с с тояния от него дока ждогоней рона с п ос ледующ им выбором ней рона с на им еньш им ра с с тоянием ка к индика тора п ра вильной кла с с иф ика ц ии. Зам ечание. Е сли п редва рительно п ровес ти единич ную норм ировку вс ех входных векторов, то ес ть п ода ва ть на вход сети обра з ы X ' , ком п оненты котороxi ,а го с вяз а ны с ком п онента м и вектора м и X п о ф орм ула м : xi ' = x12 + x22 + ... + xn2 та кже ес ли п ос ле ка ждой итера ц ии п роц ес с а обуч ения ос ущ ес твлять норм ировку вес ов ка ждого ней рона (с толбц ов м а триц ы W ), то в ка ч ес тве м еры близ ос ти входных векторов и вес овых векторов ней ронов с ети м ожно ра с с м а трива ть с ка лярное п роиз ведение м ежду ним и. Д ей с твительно в этом с луч а е n
n
n
n
n
i =1
i =1
i =1
i =1
i =1
d j = ∑ ( xi − wijN ) 2 = ∑ xi2 − 2∑ xi wijN + ∑ wij2 = 2 − 2∑ xi wijN .
Та ким
обра з ом ,
на и-
м еньш им будет ра с с тояние до того ней рона , с ка лярное п роиз ведение с вес а м и которого у входного вектора м а кс им а льно. В этом с луч а е м ожно с ч ита ть, ч то ка ждый ней рон Кохонена реа лиз ует тождес твенную а ктива ц ионную ф ункn
на ч ением а ктива ц ионной ц ию f ( s) = s , где s = ∑ wij xi . Н ей рон с м а кс им а льным з i =1
ф ункц ии объявляетс я “ п обедителем ” и его вес а (а та кже вес а ней ронов изегоокружения) п ерес ч итыва ютс я.
25 Сеть Кохонена на ш ла с а м ое ш ирокое п рим енение в з а да ч а х ф ина нс ового а на лиз а . С ее п ом ощ ью ус п еш но реш а ютс я з а да ч и п редс ка з а ния рис ков, рей тингова ния и м ногие другие.
5.2. Н ейроны Г россберга. В ходны еи вы ходны ез вез ды . В ходна я з вез да Грос с берга , ка к п ока з а но на рис . 12, с ос тоит изней рона , на который п ода етс я груп п а входов, ум ноженныхна с ина п cич ес кие вес а .
Y
Рис . 12. В ходна я з вез да Грос с с берга
В ыходна я з вез да , п ока з а нна я на рис . 13, являетс я ней роном , уп ра вляющ им груп п ой вес ов. В ходные и выходные з вез ды м огут быть вз а им но с оединены в с ети любой с ложнос ти.
X
Рис . 12. В ыходна я з вез да Грос с с берга .
О буч ени е вхо дно й звезды В ходна я з вез да вып олняет ра с п оз на ва ние обра з ов, т. е. она обуч а етс я реа гирова ть на оп ределенный входной вектор Х и ни на ка кой другой . Э то обуч ение реа лиз уетс я п утем на с трой ки вес ов та ким обра з ом , ч тобы они с оответс твова ли входном у вектору. В ходна я з вез да им еет тождес твенную а ктива ц ионную ф ункц ию: f ( s) = s , то ес ть выход входной з вез ды оп ределяетс я ка к вз веш енна я с ум м а ее n
входов: Y = ∑ wi xi . С другой точ ки з рения, выход м ожно ра с с м а трива ть ка к с ка i =1
лярное п роиз ведение входного вектора с вес овым вектором . Е с ли эти векторы им еют единич ную норм у, то с ка лярное п роиз ведение будет м а кс им а льным для тоговходногообра з а , котором уней ронбыл обуч ен.
26 В п роц ес с е обуч ения вес а корректируютс я с ледующ им обра з ом : N +1 N N wi = wi + α N ( xi − wi ) , где wi – вес овой коэф ф иц иент входа х i; α – норм ирующ ий коэф ф иц иент обуч ения, который им еет на ч а льное з на ч ение 0.1 и п ос теп енноум еньш а етс я в п роц ес с е обуч ения. П ос ле з а верш ения обуч ения п редъявление входного вектора Х будет а ктивиз ирова ть обуч енный входной ней рон. Х орош о обуч енна я входна я з вез да будет реа гирова ть не только на оп ределенный з а п ом ненный вектор, но та кже и на нез на ч ительные из м енения этого вектора . Э то дос тига етс я п ос теп енной на с трой кой ней ронных вес ов п ри п редъявлении в п роц ес с е обуч ения векторов, п редс та вляющ их норм ирова нные ва риа ц ии входноговектора . В ес а на с тра ива ютс я та ким обра з ом , ч тобы ус реднить велич ины обуч а ющ их векторов, и ней роны п олуч а ют с п ос обнос ть реа гирова ть на любой вектор этогокла с с а . О буч ени е вы хо дно й звезды В товрем я ка к входна я з вез да уч итс я реа гирова ть на оп ределенный вход, выходна я з вез да обуч а етс я выда ва ть требуем ый ц елевой выход. Д ля тогоч тобы обуч ить ней ронвыходной з вез ды, еговес а на с тра ива ютс я в с оответс твии с требуем ым ц елевым выходным вектором Y. Ф орм ула коррекц ии вес ов им еет вид: wiN +1 = wiN + β N ( yi − wiN ) , где β п редс та вляет с обой норм ирующ ий коэф ф иц иент обуч ения, который в на ч а ле п риблиз ительнора венединиц е и п ос теп енноум еньш а етс я донуля в п роц ес с е обуч ения. Ка к и в случ а е входной з вез ды, вес а выходной з вез ды п ос теп еннона с тра ива ютс я на м ножес тве векторов, п редс та вляющ ихс обой воз м ожные ва риа ц ии з ап ом ина ем оговыходноговектора .
5.3. Д вухслойная сеть встречного распространения Сеть вс треч ногора с п рос тра нения с ос тоит издвух с лоев: с лоя ней ронов Кохонена и с лоя ней ронов Грос с берга . А втор с ети Р. Х ехт-Н ильс енуда ч нообъединил эти две а рхитектуры, в рез ульта те с еть п риобрела с вой с тва , которых не былоука ждой их них в отдельнос ти. Слой Кохонена кла с с иф иц ирует входные векторы в груп п ы с хожих. Э тодос тига етс я с п ом ощ ью та кой п одс трой ки вес ов с лоя Кохонена , ч тоблиз кие входные векторы а ктивируют одини тот же ней ронда нногос лоя. За тем з а да ч ей слоя Грос с берга являетс я п олуч ение требуем ых выходов.
27 В ходы
w11
wnm
v11
vmn
Рис . 13 Сеть вс треч ногора с п рос тра нения
Н а рис . 13 п ока з а на с еть вс треч ного ра с п рос тра нения п олнос тью. В режим е норм а льногоф ункц ионирова ния п редъявляютс я входные векторы Х и Y, и обуч енна я с еть да ет на выходе векторы X’и Y’ , являющ иес я а п п рокс им а ц иям и с оответс твенно для Х и Y. Векторы (Х , Y) п редп ола га ютс я з дес ь норм ирова нным и вектора м и единич ной длины, с ледова тельно, п орожда ем ые на выходе векторы та кже должны быть норм ирова нным и. В п роц ес с е обуч ения векторы Х и Y п ода ютс я одноврем енно и ка к входные векторы с ети, и ка к жела ем ые выходные сигна лы. В рез ульта те п олуч а етс я отобра жение, п ри котором п редъявление п а ры входных векторов п орожда ет их коп ии на выходе. Э то не было бы ос обенно интерес ным , если не уч итыва ть с п ос обнос ть этой с ети к обобщ ению. Бла года ря обобщ ению, п редъявление тольковектора Х (с вектором Y, ра вным нулю) п орожда ет ка к выходы X’, та к и выходы Y’ . Е с ли F – ф ункц ия, отобра жа ющ а я Х в Y’, то с еть а п п рокс им ирует ее. Та кже, ес ли F обра тим а , то п редъявление только вектора Y (п рира внива я Х нулю) п орожда ет X’ . У ника льна я с п особнос ть п орожда ть ф ункц ию и обра тную к ней дела ет с еть вс треч ного ра с п рос тра нения п олез ной в ряде п риложений . (Н а п рим ер, в з а да ч е а п п рокс им а ц ии м ногом ерной векторной ф ункц ии с еть обуч а етс я на из вес тных з на ч енияхэтой ф ункц ии). Ал го р и тм о буч ени я сети встр еч но го р аспр о стр анени я Ш аг 1. П роиз вес ти единич ную норм ировку вс ех векторов ( X , Y ) обуч а ющ его м ножес тва .
28 Ш аг2. В ес овым коэф ф иц иента м с ети wij , v ji , i = 1, n, j = 1, m п рис воить м а лые с луч а й ные з на ч ения и п роиз вес ти единич ную норм ировкум а триц W , V п ос толбц а м . П оложить α 0 = 0.7 , β 0 = 0.1. Ш аг3. П ода ть на вход с ети обуч а ющ ий на бор ( X , Y ) и оп ределить единс твенный ней рон-“ п обедитель” в с лое Кохонена (вес овой вектор которогода ет м а кс им а льное с ка лярное п роиз ведение с входным вектором ). В ыход этого ней рона ус та новить ра вным 1, выходы вс ех ос та льных ней ронов с лоя Кохонена п оложить ра вным и 0. Скорректирова ть вес а выигра вш его ней рона : wijN +1 = wijN + α N ( zi − wijN ) , где Z = ( X , Y ) . Ш аг4. П ода ть выходной вектор с лоя Кохонена на вход с лоя Грос с берга . Скорректирова ть вес а с лоя Грос с берга , с вяз а нные с выигра вш им ней роном с лоя КохоN +1 N N нена : vki = vki + β N ( zi − vki ) (з дес ь k - ном ер выигра вш егоней рона ). Ш аг5. У м еньш ить з на ч ения α N , β N . Ш аг6. П овторять ш а ги 3-5 дотех п ор, п ока ка жда я входна я п а ра изобуч а ющ его м ножес тва на выходе будет п орожда ть а на логич ную выходную п а ру. Зам ечание. Д ля улуч ш ения обобщ а ющ их с вой с тв с ети вс треч ного ра с п рос тра нения тем п ум еньш ения з на ч ений α и β долженбыть оч ень м а леньким , а общ ее колич ес тво итера ц ий дос та точ но больш им (В с е обра з ы обуч а ющ ей выборки жела тельноп редъявить с ети нес колькодес ятков или да же нес колькос отенра з ). У П РАЖ Н Е Н И Я 1. Н а п ис а ть п рогра м м у, обуч а ющ ую с еть Кохонена кла с с иф иц ирова ть тип ы ц ветков ирис а (Iris Setosa - 0, Iris Versicolour - 1, Iris Virginica - 2) п о 4 ра з м ера м их п ес тиков и тыч инок. Ба з а да нных, ра с п оложенна я, на п рим ер, на с ервере www.basegroup.ru, с одержит п о 50 п рим еров ка ждого кла с с а (вс его 150 п рим еров). П ервые 100 п рим еров ис п ольз уй те для обуч ения, ос та льные - для тес тирова ния. 2. Н а п ис а ть п рогра м м у, обуч а ющ ую с еть Кохонена да ва ть п рогнозс тоим ос ти недвижим ос ти в ра з ных ра й она х города . С п ом ощ ью га з ет (“ Ка м елот”, “ И зрук в руки”) выбра ть и п роиз вес ти ч ис ленное кодирова ние 10 на иболее ва жных п а ра м етров, оп ределяющ их с тоим ос ть жилья (жила я п лощ а дь, ра з м ер кухни, п рес тижнос ть ра й она и т.д.). Ка ждый ней рон Кохонена оп ределяет кла с с ква ртир, близ ких п ос тоим ос ти (на п рим ер, 1-й кла с с – ква ртиры с тоим ос тью 200-210 тыс . рублей , 2-й кла сс – 210-220 тыс . рублей и т.д.). Ба з у да нных, включ а ющ ую не м енее 100 обуч а ющ их п рим еров, с ф орм ирова ть с а м ос тоятельно на ос нове инф орм а ц ии изга з ет. 3. Сеть вс треч ногора с п рос тра нения м ожет быть ис п ольз ова на для с жа тия да нных п еред их п ереда ч ей , ум еньш а я тем с а м ым ч ис ло битов, которые должны быть п ереда ны. Д оп ус тим , ч то требуетс я п ереда ть некоторое ч ерно-белое из обра жение. О ном ожет быть ра з битона ф ра гм енты sij , ка к п ока з а нона рис. 14. Ка ждый ф ра гм ент ра з бит на п икс ели. Ра с с м отрим векторное кодирова ние ф ра гм ента :
29 п ус ть ка ждый белый п икс ель – это1, ка ждый ч ерный - 0. Е с ли в ф ра гм енте им еетс я п п икс елей , то для его п ереда ч и п отребуетс я п бит. Множес тво векторов ф ра гм ентов ис п ольз уетс я в ка ч ес тве входа для обуч ения с лоя Кохонена , когда лиш ь выход одного ней рона ра вен1. Вес а с лоя Грос с берга обуч а ютс я выда ва ть бина рный код ном ера того ней рона Кохонена , выход которого ра вен1. Н а п рим ер, ес ли выходной с игна л ней рона 7 ра вен1 (а вс е ос та льные ра вны 0), тос лой Грос с берга будет обуч а тьс я выда ва ть 00...000111 (двоич ный код ч ис ла 7). Э то и будет являтьс я более короткой битовой п ос ледова тельнос тью п ереда ва ем ых с им волов. Н а п рием ном конц е идентич ным обра з ом обуч енна я с еть вс треч ного ра с п рос тра нения п риним а ет двоич ный код и реа лиз ует обра тную ф ункц ию, а п п рокс им ирующ ую п ервона ч а льный ф ра гм ент. Н а п ис а ть п рогра м м у, обуч а ющ ую с еть вс треч ногора с п рос тра нения с жа тию да нных.
Рис . 14. Сис тем а с жа тия из обра жений .
§ 6. С Т О Х АС Т И ЧЕ С К И Е С Е Т И И с кус с твенна я ней ронна я с еть обуч а етс я п ос редс твом некоторого п роц ес с а , м одиф иц ирующ его ее вес а . Е с ли обуч ение ус п еш но, то п редъявление с ети м ножес тва входных с игна лов п риводит к п оявлению жела ем огом ножес тва выходных с игна лов. Ст о х аст ическ ие мет о ды о б учения вып олняют п с евдос луч а й ные из м енения велич инвесов, с охра няя те из м енения, которые ведут к улуч ш ениям . Л ока льные м иним ум ы м еш а ют вс ем а лгоритм а м обуч ения, ос нова нным на п оис ке м иним ум а ф ункц ии ош ибки, включ а я с ети обра тного ра с п рос тра нения, и п редс та вляют с ерьез ную и ш ироко ра с п рос тра ненную п роблем у. Стоха с тич ес кие м етоды п оз воляют реш ить эту п роблем у. Стра тегия коррекц ии вес ов, вынужда ющ а я вес а п риним а ть з на ч ение глоба льногооп тим ум а , воз м ожна .
Рис . 15. П роблем а лока льных м иним ум ов.
30 В ка ч ес тве объясняющ ей а на логии п редп оложим , ч тона рис . 15 из обра жен ш а рик на п оверхнос ти в коробке. Е с ли коробку с ильно п отряс ти в гориз онта льном на п ра влении, тош а рик будет быс троп ерека тыва тьс я от одногокра я к другом у. Н игде не з а держива яс ь, в ка ждый м ом ент ш а рик будет с ра вной вероятнос тью на ходитьс я в любой точ ке п оверхнос ти. Е с ли п ос теп енно ум еньш а ть с илу вс тряхива ния, тобудет дос тигнуто ус ловие, п ри котором ш а рик будет на короткое врем я “з а с трева ть” в точ ке В . П ри ещ е более с ла бом вс тряхива нии ш а рик будет на короткое врем я ос та на влива тьс я ка к в точ ке А , та к и в точ ке В. П ри неп рерывном ум еньш ении силы вс тряхива ния будет дос тигнута критич ес ка я точ ка , когда с ила вс тряхива ния дос та точ на для п ерем ещ ения ш а рика източ ки А в точ ку В , но недос та точ на для того, ч тобы ш а рик м огвыбра тьс я изВ в А . Та ким обра з ом , оконч а тельно ш а рик ос та новитс я в точ ке глоба льного м иним ум а , когда а м п литуда вс тряхива ния ум еньш итс я донуля.
6.1. О бучениеБ оль ц м ана И с кус с твенные ней ронные с ети м огут обуч а тьс я п ос ущ ес тву тем же с а м ым обра з ом п ос редс твом с луч а й ной коррекц ии вес ов. В на ч а ле дела ютс я больш ие с луч а й ные коррекц ии с с охра нением только тех из м енений вес ов, которые ум еньш а ют ц елевую ф ункц ию. За тем с редний ра з м ер ш а га п ос теп енно ум еньш а етс я, и глоба льный м иним ум в конц е конц ов дос тига етс я. Э то с ильно на п ом ина ет отжиг м ета лла , п оэтом у для ее оп ис а ния ч а с то ис п ольз уют терм ин “ им ита ц ия отжига ”. В м ета лле, на гретом до тем п ера туры, п ревыш а ющ ей еготоч ку п ла вления, а том ы на ходятс я в с ильном бес п орядоч ном движении. Ка к и во вс ех ф из ич ес ких с ис тем а х, а том ы с трем ятс я к с ос тоянию м иним ум а энергии, но п ри выс оких тем п ера тура х энергия а том ных движений п реп ятс твует этом у. В п роц ес с е п ос теп енногоохла ждения м ета лла воз ника ют вс е более низ коэнергетич ес кие с ос тояния, п ока в конц е конц ов не будет дос тигнуто на иболее низ кое извоз м ожных с ос тояний - глоба льный м иним ум . В п роц ес с е отжига ра с п ределение энергетич ес ких уровней оп ис ыва етс я с ледующ им соотнош ением : −E e kT
P(E ) = , где Р(E) – вероятнос ть того, ч то с истем а на ходитс я в с ос тоянии с энергией E; k – п ос тоянна я Больц м а на ; Т – тем п ера тура п ош ка ле Кельвина . П ри высоких тем п ера тура х Р(E) п риближа етс я к единиц е для вс ех энергетич ес ких с ос тояний . Та ким обра з ом , выс окоэнергетич ес кое с ос тояние п оч ти с толь же вероятно, ка к и низ коэнергетич ес кое. П о м ере ум еньш ения тем п ера туры вероятнос ть выс окоэнергетич ес ких с ос тояний ум еньш а етс я п о с ра внению с низ коэнергетич ес ким и. П ри п риближении тем п ера туры к нулю с та новитс я вес ьм а м а ловероятным , ч тобы сис тем а на ходила с ь в выс окоэнергетич ес ком с ос тоянии. Э тот с тоха с тич ес кий м етод неп ос редс твенноп рим еним к обуч ению ис кус с твенных ней ронных с етей и относ итс я к кла с с уа лгоритм ов обуч ения с учит ел ем .
31 Ал го р и тм о буч ени я Бо л ьцм ана Ш аг1. О п ределить п ерем енную Т , п редс та вляющ ую ис кус с твенную тем п ера туру. П рида ть Т больш ое на ч а льное з на ч ение. Ш аг2. П ода ть на вход с ети один извходных обра з ов обуч а ющ ей выборки и выч ис лить реа льный выход и з на ч ение ф ункц ии ош ибки с ети (ка к в а лгоритм е обра тногора с п рос тра нения). Ш аг3. П рида ть с луч а й ное из м енение ∆wij выбра нном у вес у wij и п ерес ч ита ть выход с ети и из м енение ф ункц ии ош ибки в с оответс твии с о с дела нным из м енением вес а . Ш аг 4. Е с ли ф ункц ия ош ибки ум еньш ила с ь, то с охра нить из м енение вес а . Е с ли из м енение вес а п риводит к увелич ению ф ункц ии ош ибки, то вероятнос ть с охра нения этого из м енения выч ис ляетс я с п ом ощ ью ра с п ределения − ∆wij
Больц м а на : P (∆wij ) = e T . В ыбира етс я с луч а й ное ч ис ло r изра вном ерного ра с п ределения от нуля доединиц ы. Е с ли P (∆wij ) больш е, ч ем r, тоиз м енение с охра няетс я, в п ротивном с луч а е велич ина вес а воз вра щ а етс я к п редыдущ ем у з на ч ению. Ш аг5. П овторять ш а ги 3 и 4 для ка ждогоизвес ов с ети, п ос теп енноум еньш а я тем п ера туру Т , п ока не будет дос тигнуто доп ус тим о низ кое з на ч ение ц елевой ф ункц ии. Ш аг6. П овторять ш а ги 2-5 для вс ех векторов обуч а ющ ей выборки, (воз м ожно неоднокра тно), п ока ф ункц ия ош ибки не с та нет доп ус тим ой для ка ждого изних. Зам ечание 1. Н а ш а ге 4 с ис тем а м ожет дела ть с луч а й ный ш а г в на п ра влении, п ортящ ем ф ункц ию ош ибки, п оз воляя ей тем с а м ым вырыва тьс я излока льных м иним ум ов, где любой м а лый ш а гувелич ива ет ц елевую ф ункц ию. Зам ечание2. В ра бота х, п ос вящ енных больц м а новс ком уобуч ению, п ока з а но, ч то для дос тижения с ходим ос ти к глоба льном у м иним ум у с корос ть ум еньш ения ис T0 где N- нокус с твенной тем п ера туры должна п одч инятьс я з а кону: TN = ln(1 + N ) м ер итера ц ии обуч ения. Э тот рез ульта т п редс ка з ыва ет оч ень м едленную с ходим ос ть п роц ес с а обуч ения, ч тоявляетс я с ущ ес твенным недос та тком да нногом етода .
6.2. О бучениеК ош и В этом м етоде ра с п ределение Больц м а на з а м еняетс я на ра с п ределение Кош и. Ра с п ределение Кош и им еет, ка к п ока з а но на рис . 15, более выс окую вероятнос ть больш их ш а гов. В дей с твительнос ти ра с п ределение Кош и им еет бес конеч ную (неоп ределенную) дис п ерс ию. С п ом ощ ью та кого п рос того из м енения м а кс им а льна я с корос ть ум еньш ения тем п ера туры с та новитс я обра тно п роп орц иона льной линей ной велич ине, а не лога риф м у, ка к для а лгоритм а обуч ения Больц м а на .
32 Э то рез ко ум еньш а ет врем я обуч ения. Э та с вяз ь м ожет быть выра жена с ледуюT T щ им обра з ом : TN = 0 . Ра сп ределение Кош и им еет вид: P (∆wij ) = 2 N 2 1+ N TN + ∆wij где P (∆wij ) ес ть вероятнос ть п ринять из м енение вес а ∆wij .
Рис . 16. Ра с п ределение Кош и и ра с п ределение Больц м а на Н ес м отря на улуч ш ение с корос ти обуч ения, да ва ем ое ра с п ределением Кош и п ос ра внению с ра с п ределением Больц м а на , врем я с ходим ос ти вс е ещ е м ожет в 100 ра зп ревыш а ть врем я для а лгоритм а обра тногора с п рос тра нения. К о м би ни р о вани е о бр атно го р аспр о стр анени я с о буч ени ем К о ш и Коррекц ия вес ов в ком бинирова нном а лгоритм е, ис п ольз ующ ем обра тное ра с п рос тра нение и обуч ение Кош и, с ос тоит издвух ком п онент: ком п оненты, выч ис ляем ой с ис п ольз ова нием а лгоритм а обра тногора с п рос тра нения, и с луч а й ной ком п оненты, оп ределяем ой ра с п ределением Кош и. Э ти ком п оненты выч исляютс я для ка ждоговес а , и их с ум м а являетс я велич иной , на которую из м еняетс я вес . Ка к и в а лгоритм е Кош и, п ос ле выч ис ления из м енения вес а выч исляетс я ц елева я ф ункц ия. Е с ли им еет м ес тоулуч ш ение, из м енение с охра няетс я. В п ротивном с луч а е онос охра няетс я с вероятнос тью, оп ределяем ой ра с п ределением Кош и. Коррекц ия вес а выч ис ляетс я с ис п ольз ова нием п редс та вленных ра нее ура внений ∂E + (1 − η )∆wijN , где η – коэф ф иц идля ка ждогоиза лгоритм ов: wijN +1 = wijN − ηα ∂wij ент, уп ра вляющ ий относ ительным и велич ина м и обуч ения Кош и и обра тногора с п рос тра нения в ком п онента х вес овогош а га . Е с ли η п рира внива етс я нулю, м етод с та новитс я п олнос тью обуч ением Кош и. Е сли η п рира внива етс я единиц е, м етод с та новитс я а лгоритм ом обра тногора с п рос тра нения. Ком бинирова нна я с еть, ис п ольз ующ а я обра тное ра с п рос тра нение и обуч ение Кош и, обуч а етс я быс трее, ч ем ка ждый иза лгоритм ов в отдельнос ти. Сходим ос ть к глоба льном у м иним ум у га ра нтируетс я а лгоритм ом Кош и, и во м ногих экс п ерим ента х п о обуч ению с еть п ра ктич ес ки не п оп а да ла в лока льные м иним ум ы.
33 У П РАЖ Н Е Н И Я 1. Стоха с тич ес кие ней ронные с ети м ожно ис п ольз ова ть для п оис ка глоба льного м иним ум а в невып уклых или не им еющ их с трогой м а тем а тич ес кой ф орм а лиз а ц ии з а да ч а х оп тим из а ц ии. Н а п ервом эта п е обуч ения (на п рим ер, п о м етоду Кош и) п одс тра ива ютс я вес овые коэф ф иц иенты с ети та к, ч тобы она а п п рокс им ирова ла да нную ф ункц ию (в ка ч ес тве обуч а ющ ей выборки ис п ольз уютс я на боры з на ч ений п ерем енных, для которых из вес тно з на ч ение ф ункц ии). Н а втором эта п е вес овые коэф ф иц иенты с ети ос та ютс я безиз м енения, а оп ределению п одлежа т входные з на ч ения с ети, которые п ерес ч итыва ютс я п отом уже з а кону, ч тои вес овые коэф ф иц иенты, нов ка ч ес тве ф ункц ии ош ибки ис п ольз уетс я оп тим из ируем а я ф ункц ия, а п п рокс им ируем а я да нной с етью (з а ее ум еньш ением или увелич ением должен с ледить а лгоритм обуч ения). Н а п иш ите п рогра м м у, оп ределяющ ую с п ом ощ ью обуч ения Кош и глоба льный м иним ум ф ункц ии F(x) = 3х 3 + 6х 2 – 2х + 3. 2. Н а п иш ите п рогра м м у, обуч а ющ ую с тоха с тич ес кую с еть ра с п оз на ва нию ц иф р. Н а вход с ети п ода ютс я гра ф ич ес кие из обра жения ц иф р, ра з битые на ква дра ты (или п икс ели) а на логич но, ка к для однос лой ногоп ерс еп трона или с ети обра тногора с п рос тра нения. И с п ольз уй те не м енее 15- 20 ра з лич ных на п ис а ний ц иф р. В ыходом с ети с лужит двоич ное п редс та вление входной ц иф ры.
§ 7. С Е Т И С О Б Р АТ Н Ы М И С В ЯЗЯМ И Ра с с м отренные ра нее ней рос етевые а рхитектуры относ ятс я к кла с с ус етей с на п ра вленным п отоком ра с п рос тра нения инф орм а ц ии и не с одержа т обра тных с вяз ей . П ос ле обуч ения на эта п е ф ункц ионирова ния с ети ка ждый ней рон вып олняет с вою ф ункц ию - п ереда ч у выходного с игна ла - ровно один ра з . В общ ем с луч а е м ожет быть ра с с м отрена ней ронна я с еть, с одержа щ а я п роиз вольные о б р ат ные с вяз и, то есть п ути, п ереда ющ ие с игна лы от выходов к входа м . О тклик та ких с етей являетс я дина м ич ес ким , т. е. п ос ле п ода ч и нового входа выч ис ляетс я выход и, п ереда ва яс ь п о обра тной с вяз и, м одиф иц ирует вход. За тем выход п овторно выч ис ляетс я, и п роц ес с п овторяетс я с нова и с нова . Д ля ус той ч ивой с ети п ос ледова тельные итера ц ии п риводят к вс е м еньш им из м енениям выхода , и в рез ульта те выход с та новитс я п ос тоянным . Д ля м ногих с етей п роц ес с никогда не з ака нч ива етс я, та кие с ети на з ыва ют неус той ч ивым и. Н еус той ч ивые с ети обла да ют интерес ным и с вой с тва м и и м огут ра с с м а трива тьс я в ка ч ес тве п рим ера ха отич ес ких с ис тем , но для больш инс тва п ра ктич ес ких п риложений ис п ольз уютс я с ети, которые да ют п ос тоянный выход.
7.1. С еть Х опф илда Ра с с м отрим однос лой ную с еть с обра тным и с вяз ям и, с ос тоящ ую изn входов и n ней ронов (рис . 17). Ка ждый вход с вяз а н с о вс ем и ней рона м и. Та к ка к
34 выходы с ети з а новоп ода ютс я на входы, то yi - этоз на ч ение i − говыхода , который на с ледующ ем эта п е ф ункц ионирова ния с ети с та новитс я i − м входом .
В ходы
Н е й роны
Рис . 17. Модель с ети Х оп ф илда
Совокуп нос ть выходных з на ч ений вс ех ней ронов yi на некотором эта п е N обра з ует век т о р со ст о яния с ети Y N . Н ей родина м ика п риводит к из м енению вектора N +1 . с ос тояния на Y О боз на ч им с илус ина п с ич ес кой с вяз и от i-говхода к j-м уней ронука к wij. Ка ждый j-й ней ронс ети реа лиз ует п ороговую а ктива ц ионную ф ункц ию с ледующ его вида : − 1, s j < Θ j ; y Nj +1 = f ( s j ) = 1, s j > Θ j ; N y j , s j = Θ j n
Здес ь s j = ∑ yiN ⋅ wij , y Nj - з на ч ение выхода j-гоней рона на п редыдущ ем эта п е i =1
на ч ение j-гоней рона . ф ункц ионирова ния с ети, Θ j - п ороговое з В м одели Х оп ф илда п редп ола га етс я ус ловие симмет р ично ст ис вяз ей wij=wji, с нулевым и диа гона льным и элем ента м и wii=0. У с той ч ивос ть та кой с ети м ожет быть дока з а на с ледующ им обра з ом . В едем в ра с с м отрение ф ункц ию, з а вис ящ ую от с ос тояния с ети Y и на з ыва ем ую ф ункц ией энергии с ети Х оп ф илда : n 1 n n E (Y ) = − ∑ ∑ wij yi y j + ∑ Θ j y j 2 i =1 j =1 j =1 В ыч ис лим из м енение ф ункц ии энергии ∆ Е , выз ва нное из м енением с ос тояния j-ней рона ∆y j :
35 ∆E = (− ∑ wij yi + Θ j )∆y j = −( s j − Θ j )∆y j i≠ j
(з дес ь м ы вос п ольз ова лис ь с им м етрич нос тью с вяз ей и тем , ч то wii=0). Д оп ус тим , ч то велич ина s j больш е п орога Θ j . Тогда выра жение в с кобка х будет п оложительным , а извида а ктива ц ионной ф ункц ии с ледует, ч то новый выход ней рона j должен быть 1, то ес ть из м енитьс я в п оложительную с торону (или ос та тьс я без из м енения). Э то з на ч ит, ч то ∆y j ≥ 0 и тогда ∆E ≤ 0 . Следова тельно, энергия с ети либо ум еньш итс я, либо ос та нетс я безиз м енения. Д а лее, доп ус тим , ч то велич ина s j м еньш е п орога . Тогда новое з на ч ение y j =-1 и велич ина ∆y j м ожет быть только отриц а тельной или нулем . Следова тельно, оп ять энергия должна ум еньш итьс я или ос та тьс я безиз м енения. Е сли велич ина s j ра вна п орогу Θ j , ∆y j ра вна нулю и энергия ос та етс я безиз м енения. Э ти ра с с уждения п ока з ыва ют, ч то любое из м енение с ос тояния ней рона либо ум еньш ит ф ункц ию энергии, либо ос та вит ее безиз м енения. Та к ка к ф ункц ия энергии з а да на на конеч ном м ножес тве ( ∀yi ∈ {−1,1} ), то она огра нич ена с низ уи вс ледс твие неп рерывногос трем ления к ум еньш ению в конц е конц ов должна дос тигнуть м иним ум а и п рекра тить из м енение. П о оп ределению та ка я с еть являетс я ус той ч ивой . П оверхнос ть ф ункц ии энергии E в п рос тра нс тве с ос тояний им еет вес ьм а с ложную ф орм у с больш им колич ес твом лока льных м иним ум ов. Ста ц иона рные с ос тояния, отвеч а ющ ие м иним ум а м , м огут интерп ретирова тьс я, ка к о б р азы п а м яти ней ронной с ети. Сходим ос ть к та ком у обра з у с оответс твует п роц ес с у из влеч ения изп а м яти. П ри п роиз вольной м а триц е с вяз ей W обра з ы та кже п роиз вольны. Д ля з а п ис и в п а м ять с ети ка кой -либо конкретной инф орм а ц ии требуетс я оп ределенное з на ч ение вес ов W, которое м ожет п олуч а тьс я в п роц ес с е обуч ения. Пр ави л о о буч ени я Хебба Метод обуч ения для с ети Х оп ф илда оп ира етс я на ис следова ния Д она льда Х ебба , реа лиз ова вш егоп рос той м еха низ м обуч ения, на з ва нный п р авило м Хеб б а. Ра с с м отрим егоп одробно. П ус ть з а да на обуч а ющ а я выборка обра з ов X k , k = 1, K . Требуетс я п ос троить м а триц ус вяз ей W, та кую, ч тос оответс твующ а я ней ронна я с еть будет им еть в ка ч ес тве с та ц иона рныхс ос тояний обра з ы обуч а ющ ей выборки (з на ч ения п орогов ней ронов Θ j п оложим ра вным и нулю). В с луч а е одногообуч а ющ егообра з а X = ( x1 ,..., xn ), xi ∈ {−1,1} , п ра вилоХ ебба п риводит к м а триц е: wij = xi x j , i ≠ j , wii = 0. П ока жем , ч тос ос тояние Y=X являетс я с та ц иона рным для с ети Х оп ф илда с да нной м а триц ей W. Д ей с твительно, з на ч ение ф ункц ии энергии в с ос тоянии X являетс я для нее глоба льным м иним ум ом : 1 n n 1 n n 1 n n 1 E ( X ) = − ∑ ∑ wij xi x j = − ∑ ∑ xi x j xi x j = − ∑ ∑ xi2 x 2j = − n 2 , 2 i =1 j =1 2 i =1 j =1 2 i =1 j =1 2 тоес ть с еть п рекра тит из м енения, дос тигнув с ос тояния X.
36 Д ля з а п ом ина ния K обра з ов п рим еняетс я итера ц ионный п роц ес с : k k −1 k k wij = wij + xi x j , k = 1, K (с ч ита ем , ч то wij0 = 0 ). Э тот п роц ес с п риводит к п олной м а триц е с вяз ей : K
wij = ∑ xik x kj k =1
Сеть Х оп ф илда на ш ла ш ирокое п рим енение в с ис тем а хассо циат ивно йп амят и, п оз воляющ их вос с та на влива ть идеа льный обра зп оим еющ ей с я неп олной или з аш ум ленной еговерс ии. П рим ер. В ка ч ес тве п рим ера ра с с м отрим с еть, с ос тоящ ую из70 ней ронов, уп орядоч енных в м а триц у10 × 7.
Рис . 18 И деа льные обра з ы обуч а ющ ей выборки.
Сеть обуч а ла с ь п оп ра вилуХ ебба на трехидеа льныхобра з а х- ш риф товыхна ч ерта нияхла тинс кихбукв А , B и C (Рис . 18). Тем ные яч ей ки с оответс твуют ней рона м в с ос тоянии +1, с ветлые -1. П ос ле обуч ения ней рос ети в ка ч ес тве на ч а льных с ос тояний ней ронов п редъявлялис ь ра з лич ные ис ка женные версии обра з ов, которые в п роц ес с е ф ункц ионирова ния с ети с ходилис ь к с та ц иона рным с ос тояниям . Д ля ка ждой п а ры из обра жений на рис унка х19, 20 и 21 левый обра зявляетс я на ч а льным с ос тоянием , а п ра вый - рез ульта том ра боты с ети - дос тигнутым с та ц иона рным с ос тоянием .
Рис . 19. Сеть Х оп ф илда ра с п оз на ет обра зс инф орм а ц ионным ш ум ом .
Рис . 20. Сеть Х оп ф илда ра с п оз на ет обра зп оегонебольш ом у ф ра гм енту.
37
Рис . 21. Сеть Х оп ф илда генерирует ложный обра з .
О п ыт п ра ктич ес кого п рим енения с етей Х оп ф илда п ока з ыва ет, ч то эти ней рос етевые с ис тем ы с п ос обны ра с п оз на ва ть п ра ктич ес ки п олнос тью з а ш ум ленные обра з ы и м огут а с с оц иа тивно уз на ва ть обра зп о его небольш ом у ф ра гм енту. О дна ко ос обеннос тью ра боты да нной с ети являетс я воз м ожна я генера ц ия ложных обра з ов. Л ожный обра зявляетс я ус той ч ивым лока льным м иним ум ом ф ункц ии энергии, но не с оответс твует ника ком у идеа льном у обра з у. Н а рис . 21 п ока з а но, ч тос еть не с м огла ра з лич ить, ка ком у изидеа льных обра з ов (B или C) с оответс твует п ода нное на вход з а ш ум ленное из обра жение, и выда ла в ка ч ес тве рез ульта та неч тос обира тельное. Л ожные обра з ы являютс я "неверным и" реш ениям и, и п оэтом у для ис ключ ения их изп а м яти с ети на эта п е ее тес тирова ния п рим еняетс я м еха низ м “ р азо б учения”. Суть их з а ключ а етс я в с ледующ ем . Е с ли обуч енна я с еть на эта п е тес тирова ния с ош ла с ь к ложном у обра з у Z = ( z1 ,..., zn ) , те ее вес овые коэф ф иц иенты п ерес ч итыва ютс я п о ф орм уле: wij ' = wij − ε zi z j , где ε − м а лое ч ис ло ( 0 < ε < 0.1 ) ч то га ра нтирует нез на ч ительное ухудш ение п олез ной п а м яти. П ос ле нес кольких п роц едур ра з обуч ения с вой с тва с ети улуч ш а ютс я. Э то объяс няетс я тем , ч то с ос тояниям ложной п а м яти с оответс твуют гора з до более “ м елкие” энергетич ес кие м иним ум ы, ч ем с ос тояниям , с оответс твующ им з а п ом ина ем ым обра з ом . Д ругим с ущ ес твенным недос та тком с етей Х оп ф илда являетс я небольш а я ем кос ть п а м яти. Многоч ис ленные ис с ледова ния п ока з ыва ют, ч тоней ронна я с еть, обуч енна я п оп ра вилу Х ебба , м ожет в с реднем , п ри ра з м ера х с ети n , хра нить не более ч ем 0.14 n ра з лич ных обра з ов. Д ля некоторого увелич ения ем кос ти п а м яти с ети ис п ольз уетс я с п ец иа льный а лгоритм ортогона лиз а ц ии обра з ов. Пр о цедур а о р то го нал и заци и о бр азо в Д ва ра з лич ных з а п ом ина ем ых векторных обра з а с ети X k , X l ( k ≠ l ) на з ыва ютс я ортогона льным и, ес ли их с ка лярное п роиз ведение ра вно нулю: n
∑ x kj xlj = 0 . j =1
Е с ли вс е з а п ом ина ем ые обра з ы с ети
X k , k = 1, K п оп а рно ортого-
на льны, ем кос ть п а м яти с ети Х оп ф илда увелич ива етс я до n , то ес ть с еть м ожет з а п ом нить колич ес тво обра з ов, не п ревос ходящ ее ч ис ло ней ронов в ней . Н а этом с вой с тве ос нова но улуч ш ение п ра вила Х ебба : п еред з а п ом ина нием в ней ронной с ети ис ходные обра з ы с ледует ортогона лиз ова ть. П роц едура ра с ч ета вес овых коэф ф иц иентов в этом с луч а е им еет с ледующ ий вид: Ш аг1. В ыч ис ляютс я элем енты м а триц ы B = (bkl ), k , l = 1, K :
38 n
bkl = ∑ x kj x lj . j =1
Ш аг2. Оп ределяетс я м а триц а C , обра тна я к м а триц е B : C = B −1 . Ш аг3. За да ютс я вес овые коэф ф иц иенты с ети Х оп ф илда : K K
wij = ∑ ∑ xik x lj ckl k =1 l =1
Cущ ес твенным недос та тком м етода ортогона лиз а ц ии являетс я его нел о к ал ьно ст ь: п режде ч ем на ч а ть обуч ение, необходим о на п еред з на ть все обуч а ющ ие обра з ы. Д оба вление новогообра з а требует п олногоп ереобуч ения с ети.
7.2. С еть Х эм м инга О с новным недос та тком с ети Х оп ф илда являетс я ее больш а я рес урс оем кос ть. Сеть Х эм м инга ха ра ктериз уетс я, п ос ра внению с с етью Х оп ф илда , м еньш им и з а тра та м и п а м яти и м еньш им объем ом выч ислений . Э та сеть с ос тоит издвух с лоев. Ка ждый с лой им еет п оm ней ронов, где m — ч ис лоз а п ом ина ем ых обра з ов. Сеть им еет n входов, с оединенных с овс ем и ней рона м и п ервогос лоя (W- м а триц а вес овых коэф ф иц иентов с вяз ей ). Зна ч ения входов с ети - бип олярные (изм ножес тва {-1,1}). Н ей роны второго с лоя с вяз а ны м ежду с обой отриц а тельным и обра тным и (ингибиторным и) с вяз ям и. Е динс твенный вес с п оложительной обра тной с вяз ью для ка ждогоней рона с оединенс егоже выходом . И дея ра боты с ети с ос тоит в оц енке велич ины, обра тной ра с с тоянию Х эм м инга , от тес тируем ого обра з а до вс ех эта лонных обра з ц ов (ра с с тоянием Х эм м инга на з ыва етс я ч ис лоотлич а ющ ихс я битов в двух бина рных вектора х). Сеть должна выбра ть обра з ец с м иним а льным ра с с тоянием Х эм м инга донеиз вес тноговходного с игна ла — и а ктивиз ирова ть только один выход с ети, с оответс твующ ий этом уобра з ц у. W
Рис . 22. Структура с ети Х эм м инга
39 А ктива ц ионна я ф ункц ия ней ронов п ервогои второгос лоя им еет вид линей ного s, s < T , где T , s ≥ T
п орога : y= f ( s) =
y— з на ч ение а ктива ц ионой ф ункц ии; s— а ргум ент а ктива ц ионой ф ункц ии (вз веш енна я с ум м а входов); T — велич ина п орога . В елич ина T должна быть дос та точ нобольш ой , ч тобы любые воз м ожные з на ч ения а ргум ента не п риводили к на с ыщ ению з а однуитера ц ию ра боты с ети. Н а с та дии иниц иа лиз а ц ии вес овым коэф ф иц иента м п ервогос лоя п рис ва ива ютс я X с ледующ ие з на ч ения: wik = ik ; i ∈ 1, m, k ∈ 1, n 2 Xik — i-й элем ент k-говходногообра з а (Xik п рина длежит м ножес тву {-1,1}). П орогуа ктива ц ионной ф ункц ии п ервогос лоя T п рис ва ива етс я з на ч ение n/2. В ес овые коэф ф иц иенты торм оз ящ их с ина п с ов во втором с лое берут ра вным и некоторой велич ине 0 < ε < 1/m , вз ятой с обра тным з на ком . В ес ней рона , с вяз а нный с егоже выходом , им еет з на ч ение +1 (с м . рис . 22). Ал го р и тм функ ци о ни р о вани я сети Хэм м и нга Ш аг1. Н а входы с ети п ода етс я неиз вес тный вектор X, ис ходя изкоторого ра с с ч итыва ютс я с ос тояния (выходы) ней ронов п ервого с лоя, которые п ереда ютс я на вход второгос лоя. Ш аг2. В ыч ис ляютс я выходы ней ронов второгос лоя. Ш аг 3. П роверяетс я, из м енилис ь ли выходы ней ронов второго с лоя з а п ос леднюю итера ц ию. Е с ли да — выходы второгос лоя ум ножа ютс я на с оответс твующ ие вес овые коэф ф иц иенты и п ереда ютс я на входы этого же с лоя, а з а тем п ереход к ш а гу2. Е с ли нет — выходы с та билиз ирова лис ь и ра бота с ети з а верш ена . В отлич ие от с ети Х оп ф илда , ем кос ть с ети Х ем м инга не з а вис ит от ра з м ернос ти входногос игна ла , она в точ нос ти ра вна колич ес твуней ронов m. Сеть Х оп ф илда с входным с игна лом ра з м ернос тью 100 м ожет з а п ом нить 10 обра з ц ов, п ри этом у нее будет 10000 с ина п с ов. У с ети Х ем м инга с та кой же ем кос тью будет вс его лиш ь 1000 с ина п с ов. О дна кона выходе с еть Х ем м инга выда ет не ра с п оз на нный эта лонный обра з , а толькоего ном ер.
7.3. С еть Д АП (двунаправленная ассоц иативная пам ять ) Сеть Х оп ф илда реа лиз ует та к на з ыва ем ую а втоа с с оц иа тивную п а м ять. Э тооз на ч а ет, ч тообра зм ожет быть з а верш енили ис п ра влен, ноне м ожет быть а с с оц иирова нс другим обра з ом . Д вуна п ра вленна я а с с оц иа тивна я п а м ять (Д А П ), ра з ра бота нна я в 1988 г. Бертом Кос ко, являетс я гетероа с с оц иа тивной : она с охра няет п а ры обра з ов и выда ет второй обра з ец п а ры, когда а с с оц иирова нный с ним п ервый обра з ец п ода ется на вход с ети. Ка к и с еть Х оп ф илда , Д А П с п ос обна к обобщ ению, выра ба тыва я п ра вильные реа кц ии, нес м отря на ис ка женные входы. Сеть Д А П (рис . 22) с одержит два с лоя ней ронов. Э лем енты вес овой м а триц ы wij отра -
40 жа ют с вяз ь м ежду i − м ней роном п ервогос лоя и j − м ней роном второгос лоя i = 1, n, j = 1, m . В п роц ес с е ф ункц ионирова ния с ети входной вектор X ум ножа етс я на тра нс п онирова нную м а триц увес ов с ети W T и п ода ется на вход п ервого с лоя, в рез ульта те ч еговыра ба тыва етс я вектор выходных с игна лов ней ронов п ера тем ум ножа етс я на м а триц уW и п ода етс я на вход втовогос лоя Y . В ектор Y з рогослоя, который выра ба тыва ет выходные с игна лы, п редс та вляющ ие с обой новый входной вектор X . Э тот п роц ес с п овторяетс я дотехп ор, п ока с еть не дос м енятигнет с та бильногос ос тояния, в котором ни вектор X , ни вектор Y не из ютс я.
Y
X
Рис . 23. Структура с ети Д А П .
Н ей роны в обоих с лоях с ети Д А П ф ункц ионируют а на логич но ней рона м с ети Х оп ф илда . Э тот п роц ес с м ожет быть выра женс ледующ им обра з ом : n
y Nj +1 = f (∑ xiN w ji ), i =1 m
j = 1, m ,
xiN +1 = f ( ∑ y Nj +1wij ), i = 1, n , j =1
− 1, s < Θ j ; где f ( s ) = 1, s > Θ j ; pred ( s ), s = Θ j , f f pred (s ) - з на ч ение ф ункц ии а ктива ц ии да нногоней рона на п редыдущ ем ш а ге. П ус ть з а да на обуч а ющ а я выборка а с с оц иирова нных обра з ов ( X k , Y k ), k = 1, K . В ес ова я м а триц а с ети Д А П выч ис ляетс я ка к с ум м а п роиз ведений вс ех векторных K
п а р обуч а ющ егона бора : wij = ∑ xik y kj , i = 1, n, j = 1, m . k =1
41 В отлич ие от с ети Х оп ф илда , вес ова я м а триц а в с ети Д А П не ква дра тна я, ч товом ногих с луч а ях п оз воляет оп тим из ирова ть выч ис лительные з а тра ты, необходим ые для ф ункц ионирова ния с ети. В ернем с я к п рим еру с з а п ом ина нием букв А , В, С, ра с см отренном у в п . 7.1. Сеть Х оп ф илда в этом п рим ере им ела 10×7=70 входов и требова ла для с воей ра боты хра нения вес овой м а триц ы ра з м ером 70×70, с одержа щ ей 4900 элем ентов. А с с оц иируем с ка ждым извходных обра з ов с ети двухбитовый вектор: с им вол A будет с вяз а нс вектором (1,-1,-1), с им вол B с вектором (-1, 1,-1), с им вол C с вектором (-1,-1,1). Та ким обра з ом , на п рим ер, п ри п ода ч е на вход ис ка женной верс ии буквы A, с еть п ос ле с та билиз а ц ии должна выда ва ть обра з(1,-1, -1). Та к ка к а с с оц иирова нные п а ры з а ра нее из вес тны, это п риведет к п ра вильном ура с п оз на ва нию з а ш ум ленноговхода . Н одля ра боты та кой с ети требуетс я хра нение вс его70×3 =210 элем ентов вес овой м а триц ы. О с новным недос та тком с ети Д А П (ка к и с ети Х оп ф илда ) являетс я небольш а я ем кос ть п а м яти. Та к, на п рим ер, ч ис ло з а п ом ина ем ых а с с оц иа ц ий не м ожет п ревыш а ть ч ис ла ней ронов в м еньш ем слое. Е с ли вс е п ороговые з на ч ения Θ j будут нулевым и, то оц енка ещ е ухудш а етс я: ра з м ер з а п ом ина ем ой выборки не долl жен п ревос ходить , где l − ч ис ло ней ронов в м еньш ем с лое. Е с ли этот 2 log 2 l лим ит п ревыш ен, с еть на ч ина ет выра бота ть неверные выходные с игна лы, вос п роиз водя а с с оц иа ц ии, которым не обуч ена . У П РАЖ Н Е Н И Я 1. П ока жите, ч то вс е обра з ы обуч а ющ ей выборки являютс я ус той ч ивым и с ос тояниям и с ети с ортогона лиз ова нной вес овой м а триц ей . 2. О п ределите вес овую м а триц у с ети Х оп ф илда , необходим ую для с охра нения обра з ов X 1 = (−1,−1, 1, 1, 1,−1,1), X 2 = (−1, 1 − 1, 1,−1,−1,1), X 3 = (1,−1,−1, 1,−1, 1, 1) . П ока жите, ч то кром е этих обра з ов ус той ч ивым с ос тоянием с ети являетс я “ ложный ” вектор Z = ( −1, 1,−1,− 1,−1,−1,−1) . И м еет ли эта с еть другие ложные обра з ы? 3. Н а п иш ите п рогра м м у п ос троения с ети Х оп ф илда для з а п ом ина ния из обра жений животных (рис .22) (из обра жения вз яты изколлекц ии ка ртинок Word). Ка ждое из обра жение ра з бей те на 100 ф ра гм ентов с еткой 10×10. Ка ждый ф ра гм ент с оответс твует входном у з на ч ению 1, ес ли с одержит ч а с ть ка ртинки, и -1 – ес ли не с одержит. П роведите тес тирова ние сети и, п ри необходим ос ти, ра з обуч ение.
Рис . 24. И деа льные обра з ы для с ети Х оп ф илда .
4. Н а п иш ите п рогра м м ура с п оз на ва ния ц иф р с п ом ощ ью с ети Х эм м инга .
42 5. Н а п иш ите п рогра м м у неч еткоготекс товогоп оис ка на ос нове с етей Х эм м инга . Д ля ра боты п рогра м м ы необходим текс товый ф а й л с обра з а м и (с лова рь). П рогра м м а ра бота ет с ледующ им обра з ом : вводитс я с лово для п оис ка (воз м ожно, с ош ибка м и и в п роиз вольном п а деже). П рогра м м а должна на й ти слово изс лова ря, на иболее близ кое в нем у, и с п оз иц ионирова ть на нем ука з а тель. Э та лонным и обра з а м и с ети являютс я вс е с лова изим еющ егос я с лова ря. Д ля кодирова ния букв в ц иф ры м ожноис п ольз ова ть ASCII код или другие м етоды кодирова ния. Х орош о п одобра в с ис тем у кодирова ния м ожно з на ч ительно улуч ш ить ка ч ес тво ра с п оз на ва ния. Н а п рим ер, ес ть с м ыс л для ис п ра влении оп еч а ток, п риним а ть во вним а ние ра с п оложение букв на кла виа туре. Кодировка должна быть ра з ра бота на та ким обра з ом , ч тобы рядом ра с п оложенные на кла виа туре буквы им ели близ кие (п о Х эм м ингу) коды. Н а вход с ети ра с п оз на ва ем ое с ловоц елесообра з ноп ода ва ть неоднокра тно, п ос ледова тельно удва ива я ка ждую избукв и п ос ледова тельно уда ляя п о одной букве (кром е п ервой и п ос ледней ). О тветом с ети с ч ита етс я эта лонное с лово, им еющ ее больш е вс его с овп а дений букв, с тоящ ихна одина ковых м ес та х, (извс ех п олуч енных выходов с ети) с ис ходным с ловом . П рим ер: вводитс я с лово“ ис кус тв”. Н а вход п ооч ереди п ода ютс я: “ ис кус тв”, “ ис с кус тв”, “ ис ккус тв”, “ ис куус тв”,“ ис кус с тв”, “ ис кус ттв”, “ икус тв”, “ ис ус тв”, “ ис кутв”, “ ис кус в”. В ыходом являетс я эта лонное с лово“ ис кус с тво” (8 с овп а дений с п ятым изп ода нных с лов). 6. Н а п иш ите п рогра м м у, реа лиз ующ ую с еть Д А П для п рим ера изп . 7.1, вос п роиз водящ ую а с с оц иа ц ии, оп ис а нные в п .7.3.
§ 8. С Е Т Ь АР Т (АД АП Т И В Н АЯ Р Е ЗО Н АН С Н АЯ Т Е О Р И Я) А да п тивна я рез она нс на я теория включ а ет две п а ра дигм ы, ка жда я изкоторых оп ределяетс я ф орм ой входных да нных и с п ос обом их обра ботки. А РТ-1 ра з ра бота на для обра ботки двоич ных входных векторов, в то врем я ка к А РТ-2 м ожет кла с с иф иц ирова ть ка к двоич ные, та к и неп рерывные векторы. Ра с с м отрим п одробно с еть А РТ-1, та к ка к нес м отря на более п рос тую а рхитектуру, им енно она ис п ольз уетс я в больш инс тве п ра ктич ес ких п риложений . Сеть ART-1 обуч а етс я безуч ителя и реа лиз ует п рос той а лгоритм кла с териз а ц ии. В с оответс твии с этим а лгоритм ом п ервый входной с игна л с ч ита етс я обра з ц ом п ервого кла с тера . Следующ ий входной с игна л с ра внива етс я с обра з ц ом п ервого кла с тера . Говорят, ч то входной с игна л п рина длежит п ервом у кла с теру, ес ли ра с с тояние до обра з ц а п ервого кла с тера м еньш е п орога . В п ротивном с луч а е второй входной с игна л - обра з ец второго кла с тера . Э тот п роц ес с п овторяетс я для вс ех с ледующ их входных с игна лов. Та ким обра з ом , ч ис локла с теров ра с тет с теч ением врем ени и з а вис ит ка к от з на ч ения п орога , та к и от м етрики ра с с тояния, ис п ольз ующ ей с я для с ра внения входных с игна лов и обра з ц ов кла с с ов. Сеть А РТ-1 с одержит два с лоя ней ронов. Ч ис ло ней ронов п ервого с лоя n с овп а да ет с ра з м ернос тью входных обра з ов. Ч ис лоней ронов второгос лоя m из м еняетс я в п роц ес с е на с трой ки с ети и с овп а да ет с ч ис лом с ф орм ирова нных кла с теров.
43 Ал го р и тм функ ци о ни р о вани я сети АРТ-1 Ш аг1. И ниц иа лиз а ц ия с ети: N = 1, m = 1; tijN = bijN = 1, i = 1, n, j = 1, m , где bijN - с ина п тич ес кий вес с вяз и от i-го ней рона п ервого с лоя к j-м у ней рону второго с лоя на итера ц ии с ном ером N, tijN - с ина п тич ес кий вес с вяз и от j-го ней рона второго с лоя к i-м у ней рону п ервого с лоя на итера ц ии с ном ером N. В ес а bijN и tijN , i = 1, n оп ределяют обра з ец , с оответс твующ ий ней ронуj. За да ть 0
Ш аг3. В ыч ис ление з на ч ений с оответс твия : y j = ∑ bijN xi , j = 1, m . i =1
Ш аг4. В ыбор обра з ц а с на ибольш им с оответс твием : yk = max y j . Е с ли yk =0, 1≤ j ≤ m
с оз да ть новый кла с тер, с оответс твующ ий входном уобра з ц ус вес а м и tijN = bijN = xi , п оложить m = m + 1и п ерей ти на ш а г8. Ш аг5. Сра внение с п орогом : n n || TX || > r , п ерей ти к ш а гу7. || X ||= ∑ xi , || TX ||= ∑ tik xi . Е с ли || X || i =0 i =0 Ш аг6. И с ключ ение п рим ера с на ибольш им з на ч ением с оответс твия. Зна ч ение с оответс твия обра з ц а yk врем енно ус та на влива етс я ра вным нулю. П ереход к ш а гу4 (п оис к новогоз на ч ения yk ). Ш аг7. А да п та ц ия п рим ера с на ибольш им з на ч ением с оответс твия: N tik xi tikN +1 = tikN xi , bikN +1 = , i = 1, n . n N 0.5 + ∑ tik xi i =1
Ш аг8. В ключ ение вс ех ис ключ енных на ш а ге 6 обра з ц ов. П оложить N = N + 1 . В оз вра т к ш а гу2. Зам ечание. П орог r п ока з ыва ет, на с колько должен входной с игна л с овп а да ть с одним их з а п ом ненных обра з ц ов, ч тобы они с ч ита лис ь п охожим и. Близ кое к единиц е з на ч ение п орога требует п оч ти п олного с овп а дения. П ри м а лых з на ч ениях п орога да же с ильнора з лич а ющ иес я входной с игна л и обра з ец с ч ита ютс я п рина длежа щ им и одном укла с теру. Н а ш а ге 5 выч ис ляетс я отнош ение с ка лярного п роиз ведения входного с игна ла и обра з ц а с на ибольш им з на ч ением соответс твия к ч ис лу единич ных бит входного с игна ла . Зна ч ение отнош ения с ра внива етс я с п орогом , введенном на п ервом ш а ге. Е с ли з на ч ение отнош ения больш е п орога , то входной с игна л с ч ита етс я п охожим на обра з ец с на ибольш им з на ч ением с оответс твия. В этом с луч а е обра з ец кла с те-
44 ра м одиф иц ируетс я п утем вып олнения оп ера ц ии AND (логич ес кое "И ") с входным вектором . Е с ли з на ч ение отнош ения м еньш е п орога , тос ч ита етс я, ч товходной с игна л отлич а етс я от да нного обра з ц а и ос ущ ес твляетс я п оис к другого п охожего вектора . Е с ли входной вектор отлич а етс я от вс ех обра з ц ов, то онра с с м а трива етс я ка к новый обра з ец . В с еть вводитс я ней рон, с оответс твующ ий новом у обра з ц у, и ра с с ч итыва ютс я з на ч ения с ина п тич ес кихвес ов.
П РИ Л О Ж Е Н И Е Пр о гр ам м ная р еал и заци я пер септр о на В ка ч ес тве п рим ера п рогра м м ной реа лиз а ц ии п ерс еп трона ра с с м отрим реш ение уп ра жнения 2 из§ 3, тоес ть п рогра м м у, обуч а ющ ую одноней ронный п ерс еп трон ра с п оз на ва нию из обра жений “ крес тиков” и “ ноликов”. Ф ра гм ент ра боты п рогра м м ы, реа лиз ова нной в с реде Delphi, из обра женна рис 25.
Рис 25. П ерс еп тронра с п оз на л из обра жение крес тика .
П рогра м м а п оз воляет п ольз ова телю рис ова ть с п ом ощ ью м ыш и из обра жения крес тиков или ноликов п о с етке ра з м ером 20×20 (DrawGrid). П олуч енную ка ртинку п утем на жа тия кноп ки “ В ыровнять” м ожном а с ш та бирова ть догра ниц вс ей с етки. Н а рис . 26 п риведеноиз обра жение нолика дои п ос ле м а с ш та бирова ния.
Рис 26. Ма с ш та бирова ние из обра жения нолика
45 Ма с ш та бирова ние п оз воляет с ущ ес твенно с низ ить врем я обуч ения п ерс еп трона и п риблиз ить точ нос ть ра с п оз на ва ния к 100%. П ос ле на жа тия кноп ки “ п роверить” п роис ходит ф орм ирова ние бина рного входногообра з а (1- яч ей ка с етки з а кра ш ена , 0-нет). В да нном с луч а е удобнее ра с с м а трива ть входной обра зка к м а триц у ра з м ером 20×20. П ри з а п ус ке п рогра м м ы идентич ного ра з м ера вес ова я м а триц а иниц иа лиз ируетс я с луч а й ным и ч ис ла м и, ра вном ернора с п ределенным и в п ром ежутке [-0.3,0.3]. Та к ка к вход и вес овые коэф ф иц иенты из вес тны, выч ис ляетс я выход п ерс еп трона . Е с ли п олуч еновыходное з на ч ение 1, с ч ита етс я, ч то п ерс еп трон ра с п оз на л крес тик, в п ротивном с луч а е – нолик. Рез ульта т ра с п оз на ва ния п ерс еп трона с ообщ а етс я п ольз ова телю в отдельном диа логовом окне (с м . рис 25). Е с ли рез ульта т неверный (п ольз ова тель на жа л “ нет”), п роис ходит обуч ение (коррекц ия вес ов) п ерс еп трона . Скорректирова нные вес а з а нос ятс я в ф а й л, п оэтом уп ри с ледующ ем обра щ ении к п рогра м м е м ожноне обуч а ть п ерс еп тронз а ново, а исп ольз ова ть с охра ненную м а триц увес ов. Текс т п рогра м м ы с п ояс нениям и п риведенда лее. О п ис а ние тип ов, конс та нт и п ерем енных: type TMainForm = class(TForm) DGImg: TDrawGrid;//сетка для рисования изображений крестиков и ноликов BtnClear: TButton;// кнопка “очистить” BtnScale: TButton; // кнопка “выровнять” BtnInitRandom: TButton;//кнопка “случ.веса” BtnCheck: TButton;//кнопка “проверить” OpenDialog: TOpenDialog; SaveDialog: TSaveDialog; BtnLoadWeights: TButton; //кнопка “загрузить веса” BtnSaveWeights: TButton; //кнопка “сохранить веса” SBStatus: TStatusBar; procedure DGImgDrawCell(Sender: TObject; ACol, ARow: Integer; Rect: TRect; State: TGridDrawState); procedure DGImgSelectCell(Sender: TObject; ACol, ARow: Integer; var CanSelect: Boolean); procedure BtnClearClick(Sender: TObject); procedure BtnScaleClick(Sender: TObject); procedure BtnInitRandomClick(Sender: TObject); procedure BtnCheckClick(Sender: TObject); procedure FormCreate(Sender: TObject); function SaveWeights(filename:string):boolean; function LoadWeights(filename:string):boolean; procedure BtnLoadWeightsClick(Sender: TObject); procedure BtnSaveWeightsClick(Sender: TObject); private { Private declarations } public { Public declarations } end; bmatrix=array[0..n-1,0..n-1] of byte; rmatrix=array[0..n-1,0..n-1] of real; const n=20; // размер сетки рисунка var MainForm: TMainForm; imgmatrix:bmatrix;// входная ìàòðèöà, õðàíÿùàÿ "ðèñóíîê" weights:rmatrix; // ìàòðèöà âåñîâ äëÿ îäíîãî íåéðîíà. äâóìåðíà ðàäè óäîáñòâà speed:real=0.7; // коэфф. скорости обучения
46 Сохра нение вес овой м а триц ы в ф а й л: Function TMainform.SaveWeights(filename:string):boolean; var f:textfile; i,j:integer; begin try AssignFile(f,filename); Rewrite(f); for i:=0 to n-1 do for j:=0 to n-1 do Writeln(f,weights[i,j]); CloseFile(f); result:=true; except result:=false; end; end; procedure TMainForm.BtnSaveWeightsClick(Sender: TObject); begin if (savedialog.Execute) then begin if SaveWeights(savedialog.FileName) then SBstatus.SimpleText:=' Âåñà ñîõðàíåíû.' else SBstatus.SimpleText:='Îøèáêà ïðè ñîõðàíåíèè âåñîâ. Ïðîâåðüòå ôàéë.' end; end;
За груз ка с охра ненной вес овой м а триц ы изф а й ла : Function TMainform.LoadWeights(filename:string):boolean; var f:textfile; i,j:integer; begin try AssignFile(f,filename); Reset(f); for i:=0 to n-1 do for j:=0 to n-1 do Readln(f,weights[i,j]); CloseFile(f); result:=true; except result:=false; end; end; procedure TMainForm.BtnLoadWeightsClick(Sender: TObject); begin If (opendialog.Execute) then begin if Loadweights(opendialog.FileName) then SBstatus.SimpleText:=' Âåñà çàãðóæåíû.' else SBstatus.SimpleText:='Îøèáêà ïðè çàãðóçêå âåñîâ. Ïðîâåðüòå ôàéë.' end; end;
И ниц иа лиз а ц ия весовой м а триц ы случ а й ным и ч ис ла м и изп ром ежутка [-0.3,0.3]: procedure TMainForm.BtnInitRandomClick(Sender: TObject); var i,j:integer; begin for i:=0 to n-1 do for j:=0 to n-1 do weights[i,j]:=-0.3+0.6*Random;
47 SBStatus.SimpleText:='Âåñà èíèöèèðîâàíû ñëó÷àéíûìè ÷èñëàìè'; end;
За п олнение входноговектора п оиз обра жению на с етке: procedure TMainForm.DGImgSelectCell(Sender: TObject; ACol, ARow: Integer; var CanSelect: Boolean); begin imgmatrix[Arow,Acol]:=abs(1-imgmatrix[Arow,Acol]); end;
Ма с ш та бирова ние и выра внива ние (лока лиз а ц ия) из обра жения: procedure TMainForm.BtnScaleClick(Sender: TObject); var i,j:integer; xmin,xmax,ymin,ymax:integer; tmp:bmatrix; begin for i:=0 to n-1 do for j:=0 to n-1 do tmp[i,j]:=0; // èùåì ãðàíèöû êâàäðàòа, ограничивающего ðèñóíок xmin:=n;xmax:=-1;ymin:=n;ymax:=-1; for i:=0 to n-1 do for j:=0 to n-1 do if imgmatrix[i,j]=1 then begin if j<xmin then xmin:=j; if j>xmax then xmax:=j; if iymax then ymax:=i; end; // ìàñøòàáèðóåì до границ всей сетки for i:=0 to n-1 do for j:=0 to n-1 do begin tmp[i,j]:=imgmatrix[ymin+trunc((i/n)*(ymax-ymin+1)),xmin+trunc((j/n)*(xmax xmin+1))]; end; DGImg.Enabled:=false; for i:=0 to n-1 do for j:=0 to n-1 do imgmatrix[i,j]:=tmp[i,j]; DGImg.Enabled:=true; Mainform.DGImg.Repaint; end;
О тобра жение отм а с ш та бирова нногои лока лиз ова нногорис унка на с етке (п оиз м ененным з на ч ениям входной м а триц ы): procedure TMainForm.DGImgDrawCell(Sender: TObject; ACol, ARow: Integer; Rect: TRect; State: TGridDrawState); begin with (Sender as TDrawGrid).Canvas do begin if imgmatrix[ARow,ACol]=1 then Brush.Color:=clRed; FillRect(rect); end; end;
О ч ис тка из обра жения (с тира етс я рис унок на с етке): procedure TMainForm.BtnClearClick(Sender: TObject); var i,j:integer;
48 begin DGImg.Enabled:=false; for i:=0 to n-1 do for j:=0 to n-1 do imgmatrix[i,j]:=0; DGImg.Enabled:=true; Mainform.DGImg.Repaint; end;
Ра с п оз на ва ние из обра жения на с етке: procedure TMainForm.BtnCheckClick(Sender: TObject); var i,j:integer; sum:real;//вход персептрона rety,//полученный выход персептрона test:shortint;//направление корректировки весов (+1 или -1) begin sum:=0; // ìàñøòàáèðóåì изображение на сетке до ее границ Mainform.BtnScaleClick(Sender); // ïîäñ÷èòûâàåì îòâåò ïåðcåïòðîíà äëÿ èìåþùåйñÿ ìàòðèöû âåñîâ for i:=0 to n-1 do for j:=0 to n-1 do sum:=sum+imgmatrix[i,j]*weights[i,j]; if sum>0 then rety:=1 else rety:=0; if rety=1 then test:=Application.MessageBox('Êðåñòèê?','Ðåçóëüòàò',MB_ICONQUESTION or MB_YESNO) else test:=Application.MessageBox('Íîëèê?','Ðåçóëüòàò',MB_ICONQUESTION or MB_YESNO); if test=IDNO then // îáó÷àåì персептрон в случае неправильного ответа begin if rety=0 then test:=1 else test:=-1; for i:=0 to n-1 do for j:=0 to n-1 do //корректируем веса по формуле weights[i,j]:=weights[i,j]+speed*test*imgmatrix[i,j]; //сохраняем измененные веса в файл SaveWeights('./weights.wts'); end; end;
Пр о гр ам м ная р еал и заци я сети Хэм м и нга В ка ч ес тве п рим ера п рогра м м ной реа лиз а ц ии с ети Х эм м инга ра с с м отрим реш ение уп ра жнения 4 из§ 7, то ес ть п рогра м м у, ра с п оз на ющ ую ч ерно-белые из обра жения ц иф р от 0 до 9 (реа лиз ова нную в с реде Delphi). Э та лонные обра з ы с одержа тс я в ф а й ла х0.bmp, 1.bmp,… ,9.bmp. Ра з м ер ра с п оз на ва ем оговходного обра з а (bmp-ф а й л) должен быть 100х100 точ ек (п а ра м етр SourceSize), а п еред обра боткой он п риводитс я к ра з м еру40x40 (п а ра м етр DestSize). Та ким обра з ом , колич ес твовходов с ети — 1600 (п а ра м етр n). Колич ес твовыходов m с овп а да ет с колич ес твом ц иф р и ра вняетс я 10. В ес отриц а тельной обра тной с вяз и ε второгос лоя был п ринят ра вным -0.05. О п ис а ние тип ов, конс та нт и п ерем енных: type
InputNeiron =recopd // Тип — нейрон первого слоя w: array[1..n] of real; // Весовые коэффициенты входов Output: real; // Выход end; Neiron= recopd // Тип — нейрон второго слоя Output:real; // Выход
49 Sum: real // Взвешенная сумма входов end; const SourceSize=100; // Размер стороны исходного изображения DestSize=40; // Размер стороны изображения для распознавания N=DestSize*DestSize; // Сколько входов m=10; // Сколько образов e=-1/(M*2); // Вес синапсов второго слоя var InputRow: array[1..m] of InputNeiron// Первый слой нейронов SecondRow: array[1..m] of Neiron//Второй слой нейронов I1,I2: TImage;//Эталонный и масштабированный образы Outputs=array[1..m] of real; // Копия выходов предыдущего прохода i,j,x,y,count,max, index:integer;
А лгоритм обуч ения с ети Х эм м инга , а да п тирова нный для да нной з а да ч и, выглядит с ледующ им обра з ом . 1. Выбира етс я i-й входной обра з . 2. И з обра жение лока лиз уетс я и п риводитс я к нужном ум а с ш та бу. 3. Обра зп оточ еч но п ода ё тс я на входы i-го ней рона . Е с ли k-я точ ка обра з а ч ё рна я, товес уk-говхода п рис ва ива етс я з на ч ение 0.5, в п ротивном с луч а е -0.5 . 4. П ереход на ш а г1, п ока не будут ис ч ерп а ны вс е эта лонные обра з ы. П рогра м м ный код а лгоритм а обуч ения: I1:=TImage.Greate(self); I2:=TImage.Greate(self); I2.Width:=DestSize; I2.Height:=DestSize; for i:=1 to m do begin I1.Picture.LoadFromFile(IntToStr(i-1)+’.bmp’); vScale(I1,I2); // Читаем и масштабируем образ end; for x:=1 to DestSize do for y:=1 to DestSize do // Перебираем поточечно if(I2.Canvas.Pixels[x-1,y-1]=clBlack)then InputRow[i].W[x*DestSize+y]=0.5; else InputRow[i].W[x*DestSize+y]=-0.5;
Д ля ус п еш ной ра боты нужновыяс нить точ ный ра з м ер и м ес топ оложение обра з а ц иф ры. П ос ле лока лиз а ц ии — п риводим обра зк ра з м еру40*40 (м а с ш та бирова ние). Э ти оп ера ц ии вып олняет ф ункц ия vScale(I1:TImage, var I2:TImage)- ка к на эта п е обуч ения с ети, та к и на эта п е ра с п оз на ва ния. Д ля эта лона , ввиду отс утс твия п ом ех, лока лиз а ц ию п ровес ти оч ень п рос то: дос та точ ноп ос ледова тельноп рос м отреть вс е точ ки обра з а и на й ти гра ниц ы ц иф ры. Л ока лиз а ц ия и м а с ш та бирова ние: var MinX,MinY,MaxX,MaxY:integer; // Границы локализованной цифры ScaleX, ScaleY: real//// Коэффициенты сжатия begin MinX:= SourceSize+1; MinY= MinX; MaxX= -1; MaxY= -1; for x:=0 to SourceSize-1 do//массив Pixels нумеруется с 0 for y:=0 to SourceSize-1 do if I1.Canvas.Pixels[x,y]=clBlack then begin if x<MinX then MinX=x; if y<MinY then MinY=y; if x>iMaxX then MaxX=x; if y>iMaxY then MaxY=y end;
50 ScaleX=(MaxX-MinX)/DestSize; ScaleY=(MaxY-MinY)/DestSize; for x:=0 to DestSize-1 do for y:=0 to DestSize-1 do I2.Canvas.Pixels[x,y] = I1.Canvas.Pixels[x*ScaleX+MinX,y*ScaleY+MinY]; end;
О бщ ий а лгоритм ра с п оз на ва ния для с ети Х эм м инга с ос тоит изч етырё хч а с тей : п ода ч а ра с п оз на ва ем огообра з а на входы с ети, п ереда ч а да нных с п ервогос лоя на второй , обра ботка да нных вторым с лоем , выбор ра с п оз на нногообра з а . А лгоритм ра боты п ервогоэта п а выглядит та к. 1. Выбира етс я оч ередной ней рон. 2. Обнуляетс я еговыход. 3. И з обра жение лока лиз уетс я и п риводитс я к нужном ум а с ш та бу. 4. Л ока лиз ова нный обра зп оточ еч ноп ода ё тс я на входы i-гоней рона . Е с ли k-я точ ка обра з а ч ё рна я, ток з на ч ению выхода п риба вляетс я з на ч ение вес а k-го входа , в п ротивном с луч а е этоз на ч ение выч ита етс я. 5. Зна ч ение выхода п роп ус ка етс я ч ерезф ункц ию линей ногоп орога . 6. П ереход на ш а г1, п ока не ис ч ерп а ны вс е ней роны п ервогос лоя. Код п ервогоэта п а п роц едуры ра с п оз на ва ния: for i: =1 to m do begin InputRow[i].Output:=0; for x: =1 to DestSize do for y: =1 to DestSize do // Подаём образ на нейроны первого слоя if i2.Canvas.Pixels[x-1,y-1]=clBlack then InputRow[i].Output:= InputRow[i].Output+InputRow[i].W[x*DestSize+y]; else InputRow[i].Output:= InputRow[i].Output-InputRow[i].W[x*DestSize+y]; if InputRow[i]. Output>=N/2 then InputRow[i].Output:=N/2; // Выход - через функцию линейного порога end
Н а втором эта п е на до п ереда ть да нные с выходов п ервого с лоя на входы второго и в с п ис ок рез ульта тов п редыдущ егоп рохода ра с п оз на ва ния: for i:=1 to m do begin SecondRow[i].Output= InputRow[i].Output; Outputs[i]:=InputRow[i].Output; SecondRow[i].Sum=0; end
Н а третьем эта п е на ч ина ет ра ботувторой с лой п ос ледующ ей с хем е. 1. Обнуляетс я с ч ё тч ик итера ц ий . 2. За п ом ина ютс я выходы ней ронов в с п ис ке рез ульта тов п редыдущ егоп рохода . 3. П еребира ютс я п ооч ередновс е ней роны. 4. Ка ждый ней рон п риним а ет з на ч ения выходов вс ех ней ронов, с ум м ирует их, п редва рительноум ножив на коэф ф иц иент ε (кром е с луч а я, когда ней ронп риним а ет с воё же з на ч ение, которое ос та етс я безиз м енения). 5. П олуч енную с ум м ука ждый ней ронп осыла ет на с вой выход. 6. П ереход на ш а г2, п ока выходы ней ронов на текущ ей итера ц ии не с овп а дут с выхода м и на п редыдущ ей или п ока с ч ё тч ик ч ис ла итера ц ий не п ревыс ит не-
51 которое з на ч ение. Теоретич ес ки второй с лой должен ра бота ть п ока его выходы не с та билиз ируютс я, нона п ра ктике колич ес твоитера ц ий ис кус с твенноогра нич ива ют. И с ходный код: Count:=0; repeat for i:=1 to m do // Значения предыдущей итерации begin Outputs[i]:=SecondRow[i].Output; SecondRow[i].Sum = 0; end for i:=1 to m do // Один шаг работы второго слоя for j:=1 to m do if i=j then // c его выходов на его же входы SecondRow[j].Sum := SecondRow[j].Sum+ SecondRow[i].Output; else SecondRow[j].Sum := SecondRow[j].Sum+ SecondRow[i].Output * e; Flag:=true; for i:=1 to m do begin SecondRow[i].Output = SecondRow[i].Sum If (Outputs[i] <> SecondRow[i].Output) then flag:=false; end; Count:=Count+1; until (flag or (Count>25));
П ос ледний ш а г— выбор ней рона второгослоя с на ибольш им з на ч ением на выходе. Е го ном ер и ес ть ном ер ра с п оз на нногообра з а: Max:= -N; For i:=1 to m do If SecondRow[i].Output>Max then begin Max = SecondRow[i].Output; Index = i; end;
Л И Т Е Р АТ У Р А 1. Минс кий М. Л . П ерс еп троны / М. Л . Минс кий , С. П ей п ерт - М: Мир, 1971. - 360 c. 2. Роз енбла тт Ф . П ринц ип ы ней родина м ики/ Ф . Роз енбла тт - М.: Мир, 1965.387 c. 3. У ос с ерм енФ . Н ей роком п ьютерна я техника : теория и п ра ктика / Ф . У ос с ерм ен- М.: Мир, 1992.- 380 с . 4. Ка ла нР. О с новные конц еп ц ии ней ронных с етей / Р. Ка ла н– М.: И з да тельс кий дом “ В ильям с ”, 2001.- 288 c. 5. Êðóãëîâ Â.Â. Èñêóññòâåííûå íåéðîííûå ñåòè. Òåîðèÿ è ïðàêòèêà/ Â.Â. Êðóãëîâ, Â.Â. Áîðèñîâ -Ì: Ãîðÿ÷àÿ ëèíèÿ- Òåëåêîì, 2002.-382 ñ. А втор: Реда ктор:
Ка ш ирина И .Л . Бунина Т.Д .