Popularne sztuczne sieci neuronowe

Sztuczny neuron jest matematycznym modelem specjalizowanej komórki biologicznej (Rysunek 20). Neurony z regu y posiadaj rozga zion struktur wielu wej (dendrytów). Sygna y z dendrytów zebrane s w ciele komórki posiadaj cej j dro. Pojedyncze w ókno nios ce informacje wyj ciow z neuronu to akson. Aksony s

Rysunek 20 Schematyczna budowa biologicznej komórki nerwowej (neuronu)

Na rysunku (Rysunek 21) przedstawiono schematyczn struktur modelu sztucznego neuronu.

Rysunek 21 Schematyczna struktura sztucznego neuronu

Przez s_i dla i 1, 2,..n oznaczono sygna y wej ciowe neuronu (odpowiedniki dendrytów), przez y oznaczono wyj cie z neuronu (akson) [24, 119]. Sygna y s_i oraz

y mog przyjmowa warto ci z ograniczonego przedzia u, z dok adno ci do skaluj cej

funkcji liniowej mo na przyj przedzia jako: s y_i, [ 1, 1]. Przez nale y rozumie funkcj aktywacji. W przedstawianej pracy jako przyj to tangens hiperboliczny. Zale no realizowana przez sztuczny neuron mo e by w najprostszym przypadku opisana jako funkcja liniowa:

1 n

i i i

y s (5.27)

Gdzie _i to wagi synaps mog ce zmienia swoje warto ci w trakcje procesu uczenia. Na rysunku (Rysunek 22) przedstawiono przyk ad jednowarstwowej sieci neuronow nazywanej skrótowoSLP (z ang. single-layer perceptron).

Rysunek 22 Przyk ad jednowarstwowej sieci neuronowej

Sie jednowarstwowa jest jednym z prostszych przyk adów sieci. Poniewa sie taka sk ada si z niewielkiej ilo ci neuronów, jej mo liwo ci s ograniczone. Znacznie wi kszy „potencja intelektualny”, czyli umiej tno rozwi zywania trudnych problemów posiadaj sieci wielowarstwowe. Na rysunku (Rysunek 23) przedstawiono przyk ad wielowarstwowej sieci neuronowej nazywanej skrótowo MLP (z ang.

Rysunek 23 MLP (multi-layer perceptron)

Sztuczne sieci neuronowe (podobnie jak ich prawdziwe odpowiedniki) do prawid owego dzia ania, wymagaj przeprowadzenia procesu uczenia. Poni ej znajduje si chronologiczna lista popularnych metod uczenia sieci:

Regu a Hebba (z ang. Hebbian rule) [33] powsta a w 1949 jako wynik obserwacji neurobiologicznych. „Je eli akson neuronu A bierze

systematycznie udzia w pobudzaniu neuronu B powoduj c jego aktywacj , to wywo uje to zmian metaboliczn w jednym lub obu neuronach, prowadz do wzrostu skuteczno ci pobudzania neuronu B przez neuron A.” [33]. Regu a ta jest jedn z podstawowych zasad uczenia bez

nauczyciela. Zgodnie z tym, przyrost wektora wag nast puje w chwili pobudzenia obu neuronów, a w przeciwnym wypadku maleje, co mo e by zapisane jako:

ij i j

w y s (5.28)

gdzie > 0 i jest za onym wspó czynnikiem uczenia, y_i jest wyj ciem i-tego neuronu, s_j jest j-tym wej ciem neuronów.

Regu a Hebba to przyk ad uczenia typu korelacyjnego, znaczy to, e dodatnia warto y s_{i j} powoduje wzrost wag, a co za tym idzie silniejsz odpowied neuronu przy kolejnym pobudzeniu takim samym sygna em wzorcowym. Dlatego, cz sto w praktyce stosuj si dodatkowy

wspó czynnik normalizuj cy, przeciwdzia aj cy niesko czonemu wzrostowi wag. Regu a Hebba jest podstaw do wielu innych typów uczenia sieci zarów nadzorowanych i tych bez nauczyciela. Popularna jest te modyfikacja tej metody umo liwiaj ca sieci zdolno zapominania (z

ang. neo-Hebbian learning) [56].

Regu a delta, inaczej LMS (z ang. least-mean-square rule), wyprowadzona przez Widrowa i Hoffa w 1960 roku [113]. Jest to najpopularniejsza i najcz ciej stosowana metoda uczenia nadzorowanego. Metoda ta dzia a w oparciu o metody gradientowe. Ka dy neuron pobudzony sygna em z wej cia sieci lub od innego neuronu, odpowiada sygna em wyj ciowym wyznaczonym na podstawie wcze niej ustalonej wagi warto ci wej cia oraz progu aktywacji. Odpowied neuronu porównywana jest z wzorcem podanym podczas procesu uczenia. Ró nica ta oznaczana jest greckim symbolem delty , st d nazwa metody. Zmian wag mo na opisa w nast puj cy sposób:

( )

ij i i j

w t net s (5.29)

gdzie > 0 i jest za onym wspó czynnikiem uczenia,

0

i i ij ij

j

net w w s przy czym w_i0 jest szumem. Uczenie sieci t metod

trwa dopóki b d rednio kwadratowy LMS nie zostanie zminimalizowany dla wszystkich przypadków rozpatrywanych w ci gu ucz cym.

Regu a perceptronowa (z ang. perceptron rule) opracowana w 1961 przez Rosenblatta [91]. Jest to metoda nauki z nauczycielem dla warstwowej sieci neuronowej i odnosi si do sieci z neuronami dyskretnymi. Jest to przyk ad bezgradientowej metody uczenia sieci. Regu a ta umo liwia uczenie sieci dla skokowych funkcji aktywacji, co jest niemo liwe dla metod gradientowych gdy nie spe niaj one warunku ci ci funkcji celu. Uczenie sieci dla tej metody mo na przedstawi jako:

( )

ij i i j

w t y s (5.30)

gdzie > 0 i jest za onym wspó czynnikiem uczenia. Dla pocz tkowych warto ci wag w oblicza si warto wyj cia y . Korekcje wag we wzorze

(5.30) dokonuje si wtedy, gdy t_i y_i . Regu a perceptronowa wykorzystuje w uczeniu jedynie informacj o aktualnej warto ci sygna u wyj ciowego neuronu i warto ci danej. Zalet tej metody jest jej zbie no w sko czonej liczbie iteracji.

Regu a gwiazdy wej (z ang. instar rule) i regu a gwiazdy wyj (z ang.

outstar rule) zdefiniowane przez Grossberga [32] powsta y w 1982 roku.

Regu a gwiazdy wej dopasowuje wagi do sygna ów wej ciowych. ównym zastosowaniem jest rozpoznawanie wektora wej ciowego. Uczenie gwiazdy wej nale y do nienadzorowanego. Polega ono na zmienianiu wag po cze tak, aby dopasowa y si do wektora wej ciowego. Metoda gwiazdy wyj polega na dopasowaniu wag wychodz cych z neuronów do w ów, dla których zadane s warto ci sygna ów wyj ciowych. Sie taka generuje w odpowiedzi na zadany sygna wej ciowy wektor po dany przez inne neurony powi zane z danym neuronem. Sposób uczenia gwiazdy wyj nale y do grupy metod nadzorowanych. Dla tej metody korekcja wag mo e by zdefiniowana jako:

( )

ji j ji

w t w (5.31)

gdzie > 0 i jest za onym wspó czynnikiem uczenia. Gwiazda wyj jest przyk adem sieci, od której wymaga si wydobycia statycznych cech sygna ów wej ciowych i wyj ciowych pomimo faktu uczenia nadzorowanego.

Regu a Kohonena (z ang. Kohonen rule) [53] opracowana przez Teuvo Kohonena w 1984 roku. Jest to regu a uczenia nienadzorowanego. Ten typ sieci cz sto nazywany jest samoorganizuj cym odwzorowaniem (z ang.

Self-Organizing Maps, SOM) lub samoorganizuj cym odwzorowaniem

cech (z ang. Self-Organizing Feature Map, SOFM). W sieci Kohonena wyst puje tak zwane uczenie konkurencyjne (z ang. competitive learning). W tym typie uczenia, korekcji podlegaj nie wszystkie neurony (jak w przypadku typowych sieci) ale tylko grupa neuronów wygrywaj cych. W przypadku jednej z modyfikacji metody jest to tylko jeden wygrywaj cy neuron (z ang. winner take all). W pocz tkowych pracach na temat samoorganizuj cych si odwzorowa jako miary podobie stwa u ywano

iloczynu skalarnego mi dzy wektorem wej ciowym a wektorem wag. Obecnie popularna jest metryka euklidesowa jako miara odleg ci (podobie stwa).

Uogólniona regu a delta, cz sto nazywana jest regu delta. Zosta a zaproponowana w 1986 roku przez kilku naukowców: Werbosa, Parkera, Le Cuna i Rumelharta [93]. Jest to metoda gradientowa, w której funkcja aktywacji musi by monotonicznie rosn ca i ró niczkowalna (np. tangens hiperboliczny). Korekcja wag mo e by opisana jako:

( ( )) ( )

ij i i i j

w t f net f net s (5.32)

Gdy t_i f net( _i) y_i nast puje zatrzymanie korekcji wag, oraz pr dko

zmian jest spowalniana, gdy funkcja f jest p aska w punkcje net_i. Wad tej metody jest mo liwo znalezienia minimum lokalnego zamiast globalnego, co powoduje, e dana sie nie zostanie nauczona w prawid owy sposób.