Sieć neuronowa FFBP

4 .1 .1 . S tru k tu ra i p o d sta w y tren in g u sieci n eu ro n o w ej F F B P

N a z w a angielska sieci F eed F o rw a rd B a c k P ro p a g a tio n (F F B P ) zaw iera dw ie ch arak tery sty czn e cech y tej sieci. "F eed F o rw ard " o k re śla k ieru n ek p rzesy łan ia danych, tzn. d an e p rzesy łan e s ą w k ieru n k u o d w ejść do w yjść (rys. 4 .1 ). "B ack P ro p ag atio n "

(E rro r B a c k P ro p a g a tio n , [R um elhardt e t al., 1986]) o d n o si się n ato m iast do algorytm u treningu sieci. D o d a ć m ożna, ż e c zęsto opisuje się sieć F F B P ja k o sieć sk ład ającą się z w ielu p e rc e p tro n ó w o d p o w ied n io ze s o b ą połączo n y ch , tzw . w ie lo w a rstw o w y p e rc e p tro n , M LP.

W p ra c y sto su je się sieci tró jw a rstw o w e , tzn . sieci z je d n ą w a rs tw ą u k ry tą (rys. 4.1).

Z godnie z [H ornik, 1991] tró jw a rstw o w a sieć n e u ro n o w a sto so w a n a m o że być do m o d elo w an ia d o w o ln ej funkcji m atem atycznej z d o k ła d n o śc ią za le ż n ą o d liczby k o m ó rek w w arstw ie u krytej. K o m ó rk i w w arstw ie w ejściow ej o p isan e s ą to ż s a m o śc io w ą funkcją aktyw acji, a k o m ó rk i w p o zo stały ch w a rstw a c h fun k cją sigm oidalną.

E k = \ t ( à kJ - o ) ) 2 (4-1) L j= \

W * * l = W k + A W k o ra z A Ï Ï k = - ł / V £ * ( f r i ) + a M A fF * "1 (4 .2 )

<«>

y 1 i=l j=l

Em a x = m ax ( — c»y)} d la i = l ..N o ra z j = l . . P , (4 .4 ) 'RMS

gdzie: d j - w a rto ś ć w z o rc o w a w yjścia z sieci; k - indeks k ro k u tren in g u ; Oj - o b liczo n a w a rto ś ć w yjścia z sieci; J ' ^ d e k s k o m ó rk i w yiściow ej,

— , . P - liczba k o m ó re k w w arstw ie

W - ro z s z e rz o n y o w a rto ś c i p ro g o w e

w yjściow ej;

w e k to r w ag;

N - liczba w e k to ró w tren u jący ch lub

r| - w sp ó łczy n n ik tren in g u ; J J

,, n testu ją c y c h w zale żn o ści o d zbioru,

a M - w sp ó łczy n n ik m o m e n tu m ( a w = 0 .8 ); J J ’

dla k tó re g o o b h czan y je s t błąd.

T ren in g sieci F F B P p o le g a n a m inim alizacji b łęd u E (4 .1 ) b azu ją c n a m eto d zie n ajw ięk szeg o s p a d k u n a p o w ierzch n i b łęd u w p rz e s trz e n i w ag . Z m ian a (uaktualnienie, d o p a so w a n ie ) w a g i w a rto ś c i p ro g o w y c h rea liz o w a n a je s t p o p rz e z p rzesu n ięcie w zdłuż k ie ru n k u u jem n eg o g ra d ie n tu w w ielo w y m iaro w ej p rz e s trz e n i w a g (4.2).

T ren in g sieci F F B P je s t tren in g iem z nau czy cielem (tren in g n a d z o ro w a n y ) i p o le g a n a cyklicznej p re z e n ta c ji sieci zb io ru u c ząceg o . P rz e z k ro k tre n in g u ro z u m ia n a je s t p rezen tacja sieci d a n e g o w e k to ra u c z ą c e g o , obliczenie w a rto ś c i bieżącej w yjść sieci i w y znaczenie w a rto ś c i zm ian (p o p ra w e k ) w a g i w a rto ś c i p ro g o w y c h . Z realizo w an ie k ro k ó w tren in g u z z a sto so w a n ie m w szy stk ich w e k to ró w u czący ch n azy w an e je s t iteracją.

Z b ió r u c z ą c y u to ż sa m ia n y m o ż e być ze zb io rem tren u jący m w p rz y p a d k u , g d y nie je s t sto so w a n y zb ió r w eryfikujący. Z b ió r w ery fik u jący to zb ió r w y d ziela n y z e zb io ru u cząceg o w celu w eryfikacji tre n in g u sieci. Z b ió r u c z ą c y za w ie ra p a ry w e k to ró w , tj. w e k to r tren u jący (w e k to r re p re z e n tu ją c y d a n e w ejścio w e, w ejścia d o sieci) i o d p o w ia d a ją c y w e k to r w a rto śc i w z o rc o w y c h n a w yjściu (w e k to r w yjść). W a rto śc i w ejść sk alo w an e s ą w p rz e d z ia le [0, 1], a w a rto ś c i w z o rc o w e w yjść w p rzed ziale [0.1, 0 .9 ]. T ren in g sieci u zn aje się zw ykle za zak o ń c z o n y , g d y sieć o siągnie z a ło ż o n y b łąd tre n in g u E r m s (4 .3 ) lub E Ma x (4 .4 ). S to so w a n e są ta k ż e k ry te ria b azu ją ce n a p o stę p ie tren in g u , tj. zm ian ach w a rto ś c i b łęd u tren in g u , lub bazujące n a w a rto ś c ia c h b łę d ó w E r m s i/lub E Ma x w y zn aczan y ch z z a sto so w a n ie m zbioru w ery fik u jąceg o .

O cen a ja k o ś c i, in terp re to w an ej ja k o m o d el p e w n eg o zjaw iska, sk o n stru o w an ej sieci u zależniona je s t o d ty p u ro zw iązy w an eg o zadania. W p rz y p a d k u za d a ń aproksym acji najczęściej sto so w a n e s ą b łęd y E r m s i/lub E Ma x w yzn aczan e z za sto so w a n ie m zbioru testu jąceg o . W p rz y p a d k u zad ań klasyfikacji d o k o n y w an a je s t w p ierw szy m k ro k u in terp re tacja w yjść z sieci F F B P . Z akładając, że ro z p a try w a n e je s t P ro złączn y ch klas, w w arstw ie w yjściow ej sto su je się P k o m ó rek . P rzy p ad ek 2 klas je s t p rzy p ad k iem tryw ialnym , w k tó ry m sto so w a n a je s t 1 k o m ó rk a w y jścio w a przyjm ująca sta n a k ty w y albo nieaktyw ny, tzn. w sk a z u ją c a na p rzy n ależn o ść d anych do je d n e j z ro zp a try w a n y c h klas. K ontynuując, w p rz y p a d k u P klas sta n ak ty w n y p rz y p o rz ą d k o w u je się k o m ó rc e , k tó re j w yjście m a n a jw ięk szą w a rto ść , n ato m iast p o z o sta łe k o m ó rk i tra k tu je się ja k o nieaktyw ne. S p raw n o ść klasyfikacji (sp ra w n o ść sieci sto so w an ej ja k o k lasyfikator) w y raża się sto su n k iem liczby p o p raw n ie sklasyfikow anych w e k to ró w zb io ru testu jąceg o do liczby w szy stk ich w e k to ró w te g o zbioru. W ty m m iejscu d o d a ć należy, że sp o só b p o d ziału d o stę p n y c h danych n a zbiór u czący i te s tu ją c y nie je s t je d n o zn a czn ie określony. Jeżeli p o d z ia ł nie w y n ik a bezp o śred n io z c h a ra k te ru ro zw iązy w an eg o zadania, d o k o n ać m o żn a p o d ziału arb itraln eg o lub losow ego.

S to so w a n y je s t ta k ż e N -k ro tn y p o d z ia ł lo so w y lub sto so w a n a je s t m e to d a N -fo ld cross v a lid a tio n . W m e to d z ie N -fo ld cro ss va lid a tio n zb ió r d an y ch d zielony je s t n a N p o d zb io ró w , z k tó ry c h k a ż d y in te rp re to w a n y je s t w kolejnych sym ulacjach^1) sieci ja k o zb ió r testujący.

- > Tle (4-5)

/ S A .

P l ' P l J

(4.6) S A

Tl - > Tl F , m = ~ t I f = m a x

gdzie: S A - stała o arbitralnie p rzyjm ow anej w arto ści;

Pm - liczba k o m ó re k w w arstw ie m -tej.

O d w o łu jąc się p o n o w n ie do zależn o ści (4 .2 ), zau w aży ć m o ż n a zasto so w an ie p o w szech n ie uznanej m e to d y m o m en tu m p ierw szeg o rz ę d u ze w sp ó łczy n n ik iem a M=0.8.

N astęp n ie, w a rto ś ć w sp ó łczy n n ik a tren in g u r) u stalan o arbitralnie (r)c, ( 4 .5 ) ) lub, n ależy d odać w w ięk szo ści sym ulacji, w a rto ś ć w spółczynnika tren in g u u stalan o m e to d ą fa n - in (4.6).

W m e to d zie tej sto so w a n e s ą zró żn ico w an e w a rto ś c i w sp ó łczy n n ik a treningu w p o szc z e g ó ln y c h w a rstw a c h sieci. W celu ułatw ien ia d alszych o p isó w p rzy jęto , aby w spółczynnik tren in g u w y rażać w a rto ś c ią m aksym alną r |F (4 .6 ). W u zupełnieniu zazn acza się, że w y b o ru sp o so b u u stalan ia w a rto śc i r| d o k o n an o n a p o d sta w ie w y n ik ó w te s tó w (np.

[S o k o ło w sk i, 1995]), w k tó ry c h o p ró c z r)F i r|c analizow ano ta k ż e m e to d y sp ro w ad zające się do zm ian w a rto ś c i r| w funkcji b łęd u E (4 .1 ) o raz te sto w a n o k o m p ro m iso w e p o d ejście Y ogla.

0 ) P o ję c ie „ sy m u la c ja siec i F F B P ” u ż y w a n e je s t w p ra c y ja k o p o ję c ie o g ó ln e , w y ra ż a ją c e re a liz a c ję w sz y stk ic h lu b je d y n ie c z ę ś c i k o n ie c z n y c h d z ia ła ń (c z y n n o śc i, o p e ra c ji) m a ją c y c h n a c e lu s k o n s tr u o w a n ie sieci, w ty m ta k ż e z a s to s o w a n ie sieci d o o c e n y is to tn o śc i d a n y c h . W a n a lo g ic z n y m z n a c z e n iu p o ję c ie to sto so w a n e je s t w o d n ie s ie n iu d o s y ste m ó w lo g ik i ro z m y te j o ra z a lg o ry tm ó w g e n ety cz n y c h .

T ren in g sieci realizo w an o z z a sto so w a n ie m alg o ry tm u k u m u lacy jn eg o A T S -cu m (C u m u lativ e W eig h t A d ju stm en t) lub alg o ry tm u in k rem en taln eg o A T S -in c (In crem en tal W eig h t A d ju stm en t). W alg o ry tm ie A T S -in c zm iany w a g sieci d o k o n y w a n e są w każdym k ro k u tren in g u . S to su ją c a lg o ry tm A T S -c u m zm iany w a g w p ro w a d z a n e s ą n ato m iast je d n o ra z o w o , p o k ażd ej iteracji. W ty m p rz y p a d k u w a g i u ak tu aln ian e s ą n a p o d sta w ie średnich w a rto ś c i zm ian w a g w y zn aczo n y ch p o p rezen tacji w szy stk ich w e k to ró w trenujących. Z a le tą a lg o ry tm u A T S -in c je s t d o k o n y w an ie zm ian w ag w rz e c z y w isty m k ie ru n k u m inim alizacji b łęd u , a nie, ja k w p rz y p a d k u A T S -cu m , w k ieru n k u w y p a d k o w y m N ie b e z p ie c z e ń stw o p o le g a je d n a k n a fakcie, iż w ag i sieci m o g ą być zm ieniane (c h w ilo w o o d ch y lan e ) w k ierunku w y zn aczo n y m p rz e z o statn io p re z e n to w a n e w e k to ry tren u jące, co p ro w a d z ić m o że do zn aczn y ch w a h a ń w a rto ś c i b łęd u tren in g u (destabilizacji treningu). D la te g o te ż zale ca się, aby sto su jąc a lg o ry tm A T S -in c lo so w o u stalać k o lejn o ść p rezen tacji w e k to ró w zb io ru tren u jąceg o .

Z a sto so w a n ie je d y n ie a lg o ry tm ó w A T S -in c i A T S -c u m w sk a z y w a ć m o ż e n a zn aczne u p ro sz c z e n ie zag ad n ien ia w y b o ru alg o ry tm u tre n in g u sieci F F B P . W św ietle celu p ro w a d z o n y c h b a d a ń ja k najbardziej zasad n e w y d aw ało b y się z a sto so w a n ie tzw . szybkich alg o ry tm ó w tren in g u . P rz e p ro w a d z o n e te s ty z zasto so w an iem , co n a le ż y p o d k reślić, danych an alizo w an y ch w niniejszej p ra c y o ra z w cześn iejsze b ad a n ia a u to r a ([S o k o ło w sk i, 1995], [S o k o ło w sk i, 2 0 0 0 ]) w zb u d ziły je d n a k ż e szereg w ątp liw o ści. W ra m a c h te s tó w p o ró w n y w a n o a lg o ry tm n o rm alizu jący [P arlo s et al., 1992], zm o d y fik o w an y w [S o k o ło w sk i, 1995] algorytm ad ap ta cy jn y [F an i W u , 1992] o ra z alg o ry tm g ra d ie n tó w sp rzężo n y ch (np. [S arw al i Srinath, 1992]) w w arian cie P o la k a - R ib ie r e ’a [S T A T IS T IC A -N N ] i a lg o ry tm L e v e n b e rg a -M a rq u a rd ta (np. [O so w sk i, 1996], [S T A T IS T IC A -N N ]). W y k azan o , iż a lg o ry tm n o rm alizu jący i alg o ry tm a d a p ta c y jn y nie p o z w a la ły n a w y ra ź n e p rzy sp ieszen ie tren in g u , a ta k ż e n eg aty w n ie w pływ ały n a z d o ln o ś ć g en eralizacji sieci F F B P . W y k azan o ta k ż e p o d a tn o ś ć n a „u tk n ięcia” w lokalnych m inim ach funkcji b łęd u (tzw . b lo k o w an ie tren in g u ) lub d u ż e te n d e n c je d o destabilizacji tren in g u . P o d o b n y m i cecham i ch a ra k te ry z o w a ł się ta k ż e a lg o ry tm Q u ic k -P ro p (np. [O sow ski, 1996]). Z n a c z n e sk ró c e n ie c z a su tren in g u u zy sk iw an o n ato m iast sto su ją c alg o ry tm g rad ien tó w sp rzężo n y ch i a lg o ry tm L e v e n b e rg a -M a rq u a rd ta . N iem niej je d n a k , w p rz e p ro w a d z o n y c h sym ulacjach w y raźn ie u jaw niła się p o d a tn o ś ć n a u tk n ię c ia w m inim ach lokalnych. P rak ty czn ie, w p rz e c iw ie ń stw ie d o a lg o ry tm ó w A T S -in c i A T S -cu m , je d y n ie w 4 0 % + 6 0 % sym ulacji o siąg an o z a ło ż o n e w a rto ś c i b łę d ó w tren in g u . P o d k reślić należy, że b lo k o w an ie treningu p ro w a d z ić m o ż e d o w n io sk u o k o n iecz n o ści zw ięk szen ia liczb y k o m ó re k ukry ty ch , czyli zb ęd n eg o ro z b u d o w a n ia sieci i p o ten cjaln ej u tra ty z d o ln o ści g en eralizacji lub k ry ty czn eg o u zn an ia m ałej re p re z e n ta ty w n o śc i an alizow anych danych.

4 .1 .2 . M e to d y sz a c o w a n ia liczb y k o m ó rek w w a r stw ie u krytej

P o d ejm u jąc zag ad n ien ie o sz a c o w a n ia liczby k o m ó re k w w a rstw ie u k ry te j przy p o m n ieć m o żn a zd ecy d o w a n ie n eg aty w n e k o n sek w en cje p o te n cjaln eg o b łęd u p o p ełn io n e g o n a tym

etapie k o n stru o w a n ia sieci F F B P . P om ija się w ty m p rz y p a d k u p rzy jęcie zb y t m ałej liczby k o m ó re k u k ry ty ch i k o n cen tru je się n a p roblem ie tzw . p rz ew y m iaro w an ia w a rstw y ukrytej (p rzew y m iaro w an ia stru k tu ry sieci). P ro b lem sp ro w ad za się do p rzy jęcia zb y t dużej liczby k o m ó re k w sto su n k u do liczby w e k to ró w trenujących. W efekcie, w y zn aczo n y m o d el m oże nie stanow ić u o g ó ln ien ia danych i być jed y n ie zapisem ty ch danych w innej p o sta c i [D iagnostyka techniczna, 1997], tz n . sieć n e u ro n o w a F F B P z a tra c a ć m o ż e zd o ln o ść generalizacji.

Z d an iem a u to ra , zbyt ro z b u d o w a n a stru k tu ra sieci nie je s t w aru n k iem w y starczający m u tra ty zd o ln o ści generalizacji. R ó w n ie isto tn y je s t w a ru n e k z a k o ń czen ia tren in g u sieci.

O zn acza to , ż e n aw et w p rz y p a d k u p rzew y m iaro w an ia stru k tu ry sieci, o d p o w ied n io dobran y w aru n ek z a k o ń czen ia tren in g u m o że stanow ić sk u teczn e zab ezp ieczen ie p rz e d u tr a tą zdolności generalizacji. Jak to zo stan ie p rz e d sta w io n e w dalszej części p ra c y (ro z d z ia ł 7), nie mniej isto tn y je s t c h a ra k te r danych. O gólnie, pom im o p ro w a d z o n y c h p ra c (np. [M e h ro tra et al., 1991], [T ak ah ash i e t al., 1993], [Z acksenhouse, 2 0 0 1 ]), b ra k je s t n ieza w o d n y ch reg u ł p o zw alający ch n a określenie optym alnej stru k tu ry sieci F F B P . Z azw yczaj sto su je się zb ió r w ery fik u jący lub te ż m e to d y szaco w an ia liczby k o m ó re k ukry ty ch . W ybrane, sto so w an e w dalszej części p ra c y m eto d y , ch arak tery zo w an e s ą w p o n iższej cz ę śc i p o d ro zd ziału .

Algorytm ATS-des ([Li i Kim, 1992])

A lg o ry tm A T S -d e s m o że być sto so w a n y do k o n stru o w a n ia tró jw a rstw o w e j sieci z k o m ó rk am i w w arstw ie w yjściow ej i w ejściow ej opisanym i to ż s a m o śc io w ą fu n k cją aktyw acji o raz k o m ó rk a m i w w arstw ie u k ry tej opisanym i fun k cją sigm oidalną. K o n stru o w a n ie sieci F F B P ro z p o c z y n a się o d tre n in g u sieci z ty lk o je d n ą k o m ó rk ą w w a rstw ie u krytej. P o stw ierdzeniu, iż ko lejn e iteracje n ie p o w o d u ją zm ian w a rto ś c i b łęd u tre n in g u (następuje stabilizacja w a rto ś c i b łęd u tren in g u ), do w a rstw y ukrytej w p ro w a d z a n a je s t d ru g a k o m ó rk a i ro z p o c z y n a się n astę p n a faza treningu. N ależy zaznaczyć, że w fazie tej zm ieniane s ą jedynie w agi n o w o w p ro w a d z o n e j k o m ó rk i. P o p o n o w n y m stw ierd zen iu stabilizacji b łęd u treningu w p ro w a d z a n a je s t k o lejn a k o m ó rk a i ro z p o c z y n a się tren in g w a g tej k o m ó rk i. W p ro w ad zan ie k o m ó re k k o n ty n u o w a n e je s t d o uzyskania założonej w a rto śc i b łęd u tren in g u lub do osiągnięcia fazy, w k tó re j w p ro w ad zan ie kolejnych k o m ó re k nie p o w o d u je zasad n iczy ch zm ian w arto ści błędu tren in g u . D o d a je się, że o b serw o w an y m błęd em tren in g u m o ż e by ć b łąd E r m s lub E Ma x

-Metoda pruningu komórek (fSietsma i Dow, 1991], [Sokołowski, 1995])

M e to d a p ru n in g u k o m ó re k o p iera się n a p rzep ro w a d z a n y m p o tren in g u sieci w yborze k o m ó rek w w arstw ie u krytej, k tó ry c h w yjścia przy jm u ją w przybliżeniu w a rto śc i stałe lub kom ó rek , k tó ry c h w yjścia p rz y jm u ją w a rto śc i an alogiczne do w a rto śc i w yjść innych k o m órek ukrytych, tzn. "naśladują" inne k o m ó rk i u kryte. Z ak ład a się, ż e w y b ran e k o m ó rk i m o g ą być o d rzu co n e, co o d p o w ia d a o k reślen iu koniecznej, z p u n k tu w id zen ia ro zw iązy w an eg o zadania, liczby k o m ó re k w w arstw ie u krytej.

(4 .7 )

wm+l,y',9 w m+l,y,? wm +l,j,p (4-8)

w m+l,j,g ~ w m+\,j,q wm + l,j,p o ra z ®m+l,y ®m+l,./+ > (4-10)

gdzie: m - in d ek s w a rstw y u krytej;

w m j ,• - w a g a łą c z ą c a i- tą k o m ó rk ą (w a rstw a m -1 ) z k o m ó r k ą j - t ą w m -tej w arstw ie;

0 m j - w a rto ś ć p ro g o w a j-te j k o m ó rk i w w arstw ie m -tej;

o m i - w yjście i-tej k o m ó rk i w w a rstw ie m -tej;

am i - w a rto ś ć śred n ia i-te g o w y jścia w w a rstw ie m -tej.

I s to ta m e to d y s p ro w a d z a się do zdefiniow ania k ry te rió w w y b o ru o d p o w ied n ich k o m ó re k w w a rstw ie ukrytej. W [S ietsm a i D o w , 1991] su g eru je się, ab y p rzy jąć p rzed ziały [0 .0 0 , 0 .3 5 ] o ra z [0 .6 5 , 1.00] i an alizo w ać w yjścia k o m ó re k w k a te g o ria c h : w a rto ś ć w yjścia k o m ó rk i n ależ y lub nie n a le ż y d o je d n e g o z ty ch p rzed ziałó w . W [S o k o ło w sk i, 1995]

z a p ro p o n o w a n o m o d y fik ację sp o s o b u w y b o ru k o m ó re k - k a n d y d a te k d o odrzucenia.

R o z b u d o w a n o m e to d ę p ru n in g u o w y zn aczan ie w a rto ś c i śred n ich w yjść p o szczeg ó ln y ch k o m ó re k w a rstw y u k ry tej a m i (zo b . ( 4 .7 ) ) . W sk azan ie k o m ó rk i do o d rz u c e n ia n astęp u je po stw ierd zen iu , iż w a rto ś c i w yjścia k o m ó rk i n a le ż ą d o p rzed ziału a m i ± p rK. W ielk o ść p rK n az y w a n a je s t p a ra m e tre m p ru n in g u k o m ó re k , a je j w a rto ś ć u sta la n a je s t n a d ro d ze arb itra ln eg o w y b o ru (najczęściej p rK= 0 .2 + 0.3).

O d rz u c e n ie w y b ran y ch k o m ó re k w iąże się z k o n ie c z n o śc ią w p ro w a d z e n ia zm ian w a rto ś c i w a g i w a rto ś c i p ro g o w y c h p o z o sta ły c h k o m ó re k s i e c i :

- je ż e li w yjście i-tej k o m ó rk i zach o w u je w przybliżeniu s ta łą w a rto ś ć , to w a rto ś ć ta stanow i d o d a tk o w ą w a rto ś ć p r o g o w ą k o m ó re k w w a rstw ie w yższej. O d rz u c a ją c i- tą k o m ó rk ę n a le ż y u a k tu aln ić w a rto ś c i p ro g o w e k o m ó re k w w arstw ie w y ższej z g o d n ie z (4 .7 ).

- je ż e li w a rto ś c i w yjść k o m ó rk i p s ą zbliżone d o w a rto ś c i w yjść k o m ó rk i q, to o d rzu cając k o m ó rk ę p n ależ y u a k tu aln ić w a g i k o m ó rk i q w w a rstw ie w y ższej z g o d n ie z (4 .8 ).

O p ró c z o p isan y ch d w ó c h p rz y p a d k ó w m o ż e ró w n ie ż w y stą p ić "n aślad o w an ie się”

k o m ó re k p i q p o p rz e z przy jm o w an ie p rzeciw n y ch w a rto ś c i w y jść (4 .9 ). A b y o d rzucić k o m ó rk ę p , n ależ y u a k tu aln ić w ag i i w a rto ś c i p ro g o w e zg o d n ie z (4 .1 0 ).

Metoda SW+GS ([STA TISTICA-NN])

P rzy taczając z a d o stęp n y m w [S T A T IS T IC A -N N ] opisem , o sz a c o w a n ie liczby k o m órek u k ry ty ch realizo w an e je s t w d w ó ch k ro k ach . W p ierw szy m k ro k u u stalan a je s t m aksym alna liczba k o m ó re k ukry ty ch , a w kolejnym k ro k u sto so w a n e je s t p o d ejście b azujące na sym ulow anym w y żarzan iu (S W ). M aksym alna liczba k o m ó re k o k reślan a je s t na p o d staw ie zało ż eń h eu ry sty czn y ch u w zględniających liczbę w ejść i w yjść o ra z liczbę w e k to ró w trenujących. N a stę p n ie sto so w a n y je s t alg o ry tm bisekcji w celu w y b o ru p o c z ą tk o w e j liczby k o m ó re k u krytych. Po u stalen iu p o c z ą tk o w e j liczby k o m ó re k realizo w an y je s t tren in g sieci F F B P o ró żn y ch stru k tu ra c h alg o ry tm em g ra d ie n tó w sp rzężo n y ch (G S ). S to so w an e są je d n o c z e śn ie d w a w a ru n k i zak o ń czen ia tren in g u . T ren in g u zn aje się z a z a k o ń c z o n y p o zrealizo w an iu 100 iteracji lub w p rzy p ad k u , g d y w kolejnych 5 iteracjach nie w y stę p u ją istotne zm iany w a rto śc i b łęd u tren in g u . S ugeruje się, aby zak o ń czen ie tren in g u o k reślan e było z za sto so w a n ie m zb io ru w eryfikującego, ja k k o lw ie k z a sto so w an ie te g o zb io ru nie je s t konieczne. P o n iew aż je d n ą z w ad algorytm u g ra d ie n tó w sp rzężo n y ch je s t m o żliw o ść łatw ego u tk n ięcia w lokalnych m inim ach funkcji b łęd u tren in g u , sym ulacje k ażd ej z sieci p o w ta rz a się 3 -k ro tn ie i najlepsze ro zw iązan ie je s t uw ażan e za re p re z e n ta n ta ty ch sym ulacji.

Z a sa d n ic z ą w ielk o ścią w p ły w ającą n a uzy sk iw an e w yniki je s t w sp ó łczy n n ik k a ry U P K (U nit P en alty F a c to r). Ilo czy n liczby k o m ó re k u k ry ty ch i arbitralnie ustalanej w arto ści w sp ó łczy n n ik a U P K d o d a w a n y je s t do b łęd u tren in g u sieci, co o d p o w ia d a fo rso w an iu m eto d y do w y b o ru m niejszej liczby k o m ó re k w w arstw ie ukrytej.

4 .1 .3 . M e to d y o cen y isto tn o śc i d a n y ch b a z u ją c e n a sieci n eu ro n o w ej F F B P

Metoda pruningu wag (np. [Sokołowski i Dornfeld, 1994], [Sokołowski, 1995])

Id e a z a sto so w a n a w m e to d z ie p ru n in g u w ag b azu je n a je d n e j z p o d sta w o w y c h cech sieci n eu ro n o w ej F F B P , tj. dużej m o c y obliczeniow ej sk o n stru o w an ej sieci uzyskiw anej dzięki licznym , w zajem nym p o łą c z e n io m k o m ó rek . P rzyjm uje się, że m ia rą isto tn o śc i poszczeg ó ln y ch k o m ó re k w ejścio w y ch je s t liczba aktyw nych p o łą c z e ń (w ag ) danej k o m ó rk i z ko m ó rk am i w w a rstw ie ukrytej. Z ak ład a się, że w p rz y p a d k u g d y istnieje m o żliw o ść istotnego zm niejszenia liczby w a g łączących d a n ą k o m ó rk ę w e jśc io w ą z k o m ó rk a m i w w arstw ie ukrytej, bez w p ro w a d z e n ia radykalnych zm ian w przy jęty ch , d o p u szczaln y ch w a rto śc ia c h błędów treningu, to d a n a k o m ó rk a w e jścio w a m o że być o d rzu co n a.

M e to d a p ru n in g u w a g realizo w an a je s t k ro k o w o . W k ażd y m k ro k u te s to w a n e s ą kolejno w szystkie w ag i łączące k o m ó rk i w ejściow e z k o m ó rk am i ukrytym i. T est danej w ag i p o le g a na o d rzu cen iu tej w ag i (nadaniu je j w a rto śc i z ero w ej) i w y zn aczen iu b łęd ó w E RMs (4.3) i E m a x (4.4). P o w yznaczeniu b łęd ó w w ad ze p rz y w ra c a n a je s t je j p o p rz e d n ia w arto ść. W efekcie u zyskuje się zestaw ienie, w k tó ry m p o szczeg ó ln e w a g i re p re z e n to w a n e są p rz e z błędy

E r m s i E Ma x - N a stę p n ie w y b iera się ty lk o te w agi, dla k tó ry c h b łąd E Ma x je s t m niejszy o d

zało ż o n ej w a rto ś c i p a ra m e tru p ru n in g u w a g p rw . D a n y k ro k p ru n in g u k o ń c z y się o d rzu cen iem

Metoda sum y wag ([Sokołowski, 1996], [Sokołowski i Kosmol, 1996a])

M e to d a su m y w a g O o p ie ra się n a p o d o b n y c h p rze sła n k a c h ja k m e to d a p ru n in g u w ag.

I O 1 o o 1 1)0 1 O 1| l \ 1 0 1 0 0 1 1 1 1 0 1 1|

K r z y ż o w a n ie je d n o p u n k to w e | 1 1 o o i 0(1 ęT-TTI --- I 1 1 0 0 1 olo 1 o 11 I O 1 ) 3 0 1 l|o 1 o 11 ,--- [ o 110 o 1 110 1 o 11 K rzy żo w a n ie d w u p u n k to w e I 1 1(0 o 1 0(1 o 1 11 --- l 1 110 o 1 11 1 o 1 11 I 0 1 0 0 1 1 0 1 0 1 1 | l 1 1 1 1 0 01110101010TTI K rzy żo w a n ie ró w n o m ie rn e 1 1 0 0 1 0 1 0 1 1 ! --- u -" " ^ I 111I0 ol 1 1 1 1 1 lol 1111

R ys. 4 .2 . W ybrane ty p y k rz y ż o w a n ia Fig. 4 .2 . S e lected c ro s so v e r ty p es