Z E S Z Y T Y N A U K O W E P O LITE C H N IK I ŚLĄ SK IEJ Seria: E L E K T R O N IK A z. 7
1996 N r k o l.1351
G rzegorz T Y M A Instytut E lektroniki P olitechniki Śląskiej
W Y B R A N E SIE C I N E U R O N O W E I IC H Z A ST O SO W A N IA
Streszczenie. Sieci neuronow e dzięki sw oim cechom ,takim ja k rów noległość przetw arza
nia, zdolność do uczenia i generalizacji oraz odpoeność na uszkodzenie cieszą się coraz w ięk
szym zainteresow aniem naukow ców . D zięki staraniom w ielu osób p rzestają one być przed
m iotem ro zaw żań ty lk o teoretycznych , nie s ą ju ż tylko „sztu k ą dla sztuki” , a zn ajd u ją prak
tyczne zastosow ania. P ow stało w iele struktur sieci neuronow ych. C zęść z nich naśladuje bio
logiczne pierw ow zory. Istnieje jed n ak dylem at ,czy takie naśladow nictw o nie da podobnych w yników ja k starania ludzi w naśladow aniu ptaków . D latego p o w stają także sieci neuronow e, które ja k się obecnie w ydaje, niew iele m a ją w spólnego z biologicznym i sieciam i. A rtykuł ten przedstaw ia reprezentantów ty ch dw óch rodzajów sieci neuronow ych. Z aw iera on także przykład zastosow ania sieci do rozpoznaw ania cyfr.
S E L E C T E T N E U R A L SETS A N D T H E IR A PLICA TIO N S
Sum m ary. D istributed com puting, ability to learn by exam ple and genereralisation, fault tolerance are these features o f neural netw orks w hich a great interest o f scientists in this do
m ain. B ecause o f w o rk o f m any people artificial neural netw orks it is not only theory, it is also im plem entation. A lot o f neural netw o rk ’s structures have been invented. Som e o f them try to follow biological prototypes. The question is i f it is a correct way. T he history o f air
craft gave us exam ple that som etim es artificial structures are belter. T his paper presents exam ples o f neural netw orks w hich belongs to the different categories. A n exam ple o f im ple
m entation in num eral recognition has been included.
W p row adzenie
Sieci n euronow e bardzo często w ykorzystyw ane sa do zadań rozpoznaw ania obrazów.
Schem at blokow y procesu rozpoznaw ania obrazów składa się z trzech elem entów (ry s.l.):
rejestratora, ekstraktora cech oraz klasyfikatora [9][14][16][27][34][38].
R y s .l.E le m e n t y s y ste m u r o z p o z n a w a n ia o b ra zó w F i g . l . h e m o d e l o f p a ttem re c o g n itio n
120 G .Tym a
R ejestrator je s t urządzeniem zam ieniającym obraz w ejściow y w sygnał, który następnie przetw arzany je s t przez m aszynę. E kstraktor cech w ybiera tę część inform acji z sygnału w ej
ściow ego, któ ra n iezbędna je s t do popraw nej klasyfikacji. K lasyfykator przypisuje określony zbiór cech do jed n ej z w cześniej zdefiniow anych kategófii. W ostatnim okresie pow stało i rozw inęło się w iele technik klasyfikacji w zorów w różnych dziedzinach zastosow ań. W śród nich m o żn a w ym ienić teorię B ayesa, m etody kw antyzacji w ektorów , m etody najbliższego sąsiedztw a. W ciągu ostatniej dekady m etody statystyczne odgryw ały do m in u jącą rolę [7], O statnio je d n a k coraz w iększym zainteresow aniem cieszą się techniki w ykorzystujące sieci neuronow e [4] [ 18] [20][24] [30][33].
System y z sieciam i neuronow ym i m ożna podzielić na dw ie grupy. P ierw sza z nich w yko
rzystuje klasyczne m etody ekstrakcji cech, a sieci neuronow e używ ane są tylko ja k o klasyfi
kator. D ruga grupa w ykorzystuje sieci neuronow e zarów no do ekstrakcji cech, ja k i do klasy
fikacji.
M ożem y w yróżnić cztery klasy system ów rozpoznaw ania opartych na sieciach neurono
w ych:
- sieci typu back-propagation, które funkcjonują bądź jak o klasyfikatory, bądź ja k o kom pletny system z w b u d o w an ą niezależnością na przekształcenia izom orficzne obraów [1][3][29][31];
- N eocognitron, sieć hierarchiczna (kolejne w arstw y analizują coraz bardziej;
- A R T, sieć neuronow a oparta na teorii rezonansu adaptacyjnego[15];
- sieci hybrydow e, ekstraktor i klasyfikator realizow ane s ą przy użyciu sieci neuronow ych, zw ykle różnych typów [5][8][17][19][25][26].
W artykule przedstaw iono system w ykrzystujący sieć n euronow ą h y brydow ą do zadania rozpoznaw ania cyfr pisanych odręcznie . System ten składa się z sieci neuronow ej trzeciego rzędu [37] do ekstrakcji cech i sieci Learning V ector Q uantization [23], działającej jak o kla
syfikator. Z am ieszczono także przykład sieci R adial B asis Functionss [25].
S ieci neuronow e w yższych rzędów
Sieci neuronow e w yższych rzędów pow stały jak o p róba naśladow ania działania praw dzi
w ych sieci neuronow ych oraz narzędzie do rozpoznaw ania obrazów , niew rażliw e na trans
form acje obrazu [12][13][35][37][36], R ozw ój tych sieci je s t jed n ak ham ow any ich rozm ia
ram i i kłopotam i z realizacją sprzętow ą.
W ybrane sieci neuronow e.. 121
A rgum entam i funkcji aktyw nej sieci w yższych rzędów są iloczyny sygnałów w ejściow ych.
S ygnał w yściow y ok m o że być zapisany w postaci:
°k=
gdzie: f[] fun k cja aktyw acji, Wjj. ik w agi połączeń,
Xj sygnał w ejściow y.
n -1 n -1 n-1
Z Z ... ZWiukXiXj-.x,
i=0 j=0 l=0
^k3
R y s. 2 . S p o s ó b w y z n a c z a n ia c e c h zn a k ó w z u ż y c ie m s ie c i n eu ro n o w ej 3 rzędu F ig . 2 . R u le s fo r c o n stru ctin g featu res v e c to r b y third ord er n etw o rk
D la sieci neuronow ej trzeciego rzędu sygnał w yjściow y opisany je s t zależnością:
Ok=f
n -1 n -1 n-1
Z Z Z WpXiXjX,
i=0 j=0 1=0
gdzie: fjj funkcja aktyw acji, w ij lic w agi połączeń,
Xj sygnał w ejściow y.
Sieci neuronow e trzeciego rzędu m o g ą daw ać na w yjściu sygnał niezależny od trzech przekształceń obrazu: skalow ania, przesunięcia i obrotu. R ysunek 2 ilustruje ,w ja k i sposób m oże to być osiągnięte. K ażdy zew zorów po szkieletow aniu je s t pokryw any trójkątam i, któ
rych w ierzchołki le ż ą na kontuarze znaku. T rójkąty te podzielono na sk o ń czo n ą liczbę klas, które ró ż n ią się od siebie zakresem m iar dw óch kątów w ew nętrznych trójkąta a ,p .
122 G .Tym a
D la każdego rozpoznaw anego znaku obliczana je s t znorm alizow ana liczba trójkątów w każdej klasie. W ektor zaw ierający w ym ienione liczby je st w ektorem cech używ anym przez klasyfikator.
O bliczanie długości w ektora cech
W zależności od przyjętej szerokości przedziałów klasyfikow anych trójkątów otrzym uje
m y w ektory cech o różnej długości. Spróbujm y określić tę długość w funkcji szerokości prze
działu.
O znaczm y kąty w trójkącie jako:cc,P,8. M uszą one spełniać zależność:a< P< 8. W yni-
71 71
ka z tego, iż: O x a < — ,gdyż:a + p + a = jr Szerokość przedziału w została zdefiniow ana tak, że:
gdzie W I Q s ą liczbam i naturalnym i.
Zatem :
k -ca < a -<(k + 1)co , g d z i e : 0 < k < W - 1 oraz
I • to < p -< (l + 1)co ; g d z ie : 0 < I < Q - 1
N a rys.3 przedstaw iono m ożliw e klasy trójkątów dla danego co.
Trójkąty, których kąty spełniają w ym ienione w arunki, m ają dw a w ierzchołki w punktach A ,B oraz w ierzchołek m ieszczący się w konturze BCD . P oliczm y ile je s t takich trójkątów .
W konturze A BC znajduje się N ABC trójkątów : A
a N Ab c = 2- I ( Q - k) = 2• I ( Q - k ) = Q
k=0 k=0 y
R y s .3 . W y z n a c z a n ie lic z b y k la s trójkątów F ig .3 . C a lc u la tin g th e n y m b e r o f cla ss e s
W ybrane sieci neuronow e.. 123
Z atem w konturze B C D m ieści się N, trójkątów (czynnik 2 w ynika z tego, iż rozróżniam y d w a trójkąty p odobne , z których je d e n obrócony je s t o kąt p):
N ,= (Nabc • N acd ) = 2Q —y — D la co = 7t/l 2 otrzym ujem y 32- elem entow y w ektor cech.
Istotnym problem em , ja k i należy rozw iązać przy stosow aniu tego rodzaju sieci, je s t pro
blem kom binatorycznego w zrostu liczby połączeń w raz ze w zrostem rzędu sieci i rozm iare- m analizow anego obszaru. Jednym ze sposobów zm niejszenia tej liczby połączń je s t ograni
czenie obszaru okna, w którym je s t analizow any obraz. A nalogię tego rozw iązania m ożna znaleźć w biologii. U w ielu ssaków , także u człow ieka, siatków ka o k a nie je s t jednorodna, d ostarcza on a szczegółow ych inform acji o m ałych fragm entach analizow anej sceny. Identyfi
k acja kom pletnego obrazu w ym aga szeregu ruchów oka i koncentracji na w ielu fragm entach sceny.
Sieć learn in g vecto r q uantization (lvq)
Sieć L V Q je s t siecio w ą im plem entacją klasyfikatora najbliższego sąsiedztw a [21][22][23].
K ażda k lasa w przestrzeni cech reprezentow ana je s t przez w ektory kodow e.
Z biór w szystkich w ektorów kodow ych tw orzy tzw . książkę kodow a. N iech m, będzie w ekto
rem należącym do książki kodow ew ej, który reprezentuje i-tą klasę w przestrzeni cech.
O znaczm y przez m c w ektor kodow y m, leżący najbliżej w ektora w ejściow ego x:
c = arg rnin|||x - m j ] . W artości w ektorów kodow ych m i; które m inim alizują praw dopodobień
stw o błędnej klasyfikacji, znajdow ane są w iteracyjnym procesie uczenia.
124 G.Tym a
OUTPUT
IC5EN7IFI0AT10N
M IN - N E T M IN -N E T ^ . . . ( ^ M IN - N E T *) -?r
l _ r
R y s .4 . B u d o w a s ie c i L V Q (d -w y m ia r o w y w ek to r w e jś c io w y i n k las) F ig . 4 . Structure o f th e L V Q n etw ork
N iech x(t) i m;(t) b ę d ą odpow iednio w ektorem uczącym i w ektorem kodow ym w dyskret
nej dziedzinie czasu. M ając dane w artości startow e mj m ożem y opisać przebieg uczenia LVQ1 następującym i rów naniam i:
m c( t+ l) = m c(t) + a (t)[x (t)- m c(t)], je śli x i m c n ależą do tej samej klasy, m c( t+ l) = m c(t)-a (t)[x (t)-m c(t)], je śli x i m c n ależą do różnych klas, m i(t+ l)= mj(t), je ś li i * c
0 < a ( t) < l, a ( t) m o g ą być stałe lub m aleć m onotoniczne w czasie.
W ykorzystyw ane s ą także m odyfikacje tego algorytm u: procedury LV Q 2 i LVQ 3.
W L V Q 2 m odyfikow ane s ą dw a najbliższe w ektory z książki kodowej mi i mj. Jeden z nich m usi należeć do tej sam ej klasy co w ektor uczący x, a drugi do innej klasy. P onadto x m usi leżeć w tzw ..oknie, które znajduje się w obszarze granicznym m iędzy mj i mj. Z ałóżm y, że dj i dj s ą odpow iednio odległościam i euklidesow ym ii x od mj i mr M ów im y, że x znajduje się w oknie o szerokości w, jeśli:
A lgorytm L V Q 2 opisany je s t w zoram i:
m j(t+ l)= m j(t) -a(t)[x(t)-m j(t)],
W ybrane sieci neuronow e.. 125
m j(t+ l )=mj(t)+ a(t)[x (t)-m j(t)],
gdzie: m, i mj s ą najbliższe x oraz x i mj n ależ ą do tej samej klasy, x i m, do różnych klas.
Ponadto x m usi leżeć w ew nątrz okna.
A gorytm LV Q 3 dany je s t w zoram i:
m i(t+1 )= m i(t)-a (t)[x (t)-m i(t)], mj(t+ l)= m j(t) + a(t)[x(t)-m j(t)],
gdzie : ną i mj s ą najbliższe x oraz x i mj n ależ ą do tej samej klasy, x i m, do różnych klas, x m usi leżeć w ew nątrz okna oraz:
m k(t+ l)= m k(t) + s a (t)[x (t)-m k(t)]
dla k e {i j }, je ś li x,m |, i mj n ależ ą do tej samej klasy.
O pis system u
System do rozpoznaw ania cyfr składa się z następujących części: sprzętu do akw izycji dsanych,m odułu przetew arzania w stępnego (filtracja, szkieletow anie), sieci neuronow ej trze
ciego rzędu (ekstraktor cech) oraz sieci LV Q (klasyfikator)(rys.5).
R y s .5 . S y ste m d o r o z p o z n a w a n ia zn a k ó w F ig .5 . T h e r e c o g n itio n sy ste m
126 G .Tym a
K ażda z cyfr reprezentow ana je s t przez m apę b ito w ą o rozm iarach 16x16 punktów . Każdy piksel m oże przyjm ow ać dw ie w artości:0 i 1. N a rys.6 przedstaw iono fragm ent zbioru z roz
poznaw anym i cyfram i.
2 Tt 5 6 / 5 0 ł. 7 <r s >5 i? 5 i) / 7 3 4 . 5 6 7
X ii. 5 6 *? 5 .9 r ?. .5 S £ 'f
fi
Grtf
i a 5 7 ? s5 6 t 3 0 / :4- 5 7 e « 0 t g ił u «ś £ r s 0 •
7 $ 9 0 i t JJ 5 w r e; 0 ± 2 r
4 5 6 7 fi « 0 i z 3 0 a & 7 $ <? V t 2. 3 li. af 6 •/ 5 0 i. 3 A- i:
i z 3 H .7 i;* y <i .9 0 i 2 3 7 6 - 3 9 ii» .i. 3 ii. <e 7 3 ¿i 5 € 7 >5 9' A. / 2 3 £ y f, ? 0 ?. * .7 ft y « s7 5 6 y * 0 i 2~3 ii- ? <>7 ż J f* 5 •/ 9 ę ri i V o' ? A .• fi. j: i/ ir ó ) 3 ■y c i l 3 *> 5 o •y i? ■? 0 / 2 SC
<ł O /. 1 5 £ V 1 C) 0 / 2 3 * 5* ■i» 7 i? y 0 ? £ 9 V 5
! Z 3 # 6 r 5 y i 2 X V S 0 i 2 3 •? 3 9
J it * i fi y /t i 3 * 5 ft' </i -. r 9 0 f 2. j 5 6’ */ V
>' s r $ «? Ą; 2 3 3 ć* / * 0 c- / «»y 9 5' ć r £ i/ 0 i
X 9 0 i 3 3 W 5 £ 7 £ 9 i z 3 "T 3 6' 7 V 0 l 2 Jv
R y s. 6 . F r a g m en t zb io ru z o d r ę c z n ie p isa n y m i cy fra m i F ig . 6. A fra g m en t o f th e set o f h and w ritten num erals
D la każdego w zoru obliczane są, przy użyciu sieci trzeciego rzędu, w ektory cech (rys.7).
D la przyjętej tolerancji co=7i/12 długość w ektora cech w ynosi 32.
R y s .7 . W ek to ry c e c h d la d w ó c h cy fr 8 F ig .7 . F eatures v e c to r s fo r t w o d ig its 8
O bliczone w ektory cech poddaw ane są klasyfikacji przy użyciu sieci LVQ . Do uczenia sieci L V Q używ ane były algorytm y LV Q 1.LV Q 2 i LVQ3.
W ybrane sieci neuronow e. 127
K siążka ko d o w a sieci LV Q zaw iera 40 w ektorów kodow ych, każdy o długości 32. W celu redukcji ro zm iarów sieci trzeciego rzędu zastosow ano okienkow anie obrazu na w ejściu sys
tem u. P rzetestow ano trzy rozm iary okien 16x16, 8x8 i 4x4 piksele.
T abela 1 p rezentuje osiągnięte w spółczynniki popraw nej klasyfikacji dla różnych rozm ia
rów okien.
T abela 1 R ozm iar okna [liczba okien] Popraw ne klasyfikacje
16 by 1 6 ,[1 ] 98%
8 by 8 , [4] 93%
4 by 4 , [49] 86%
4 by 4, [16] 77%
Sieć radial basis fu n ction (R BF)
Sieci R BF d o k o n u ją klasyfikacji korzystając z tzw. funkcji rdzeniow ych, będących najczę
ściej funkcjam i gaussow skim i [6][32j. F unkcje te um ieszczane są w w ęzłow ych punktach przestrzeni w ejściow ej. W ażone sum y w yjść funkcji rdzeniow ych o dw zorow ują przestrzeń w ejścio w ą w zb ió r zdefiniow anych uprzednio klas. Sieć R BF składa się z w arstw y w ejścio
w ej, w arstw y zaw ierającej w ęzły z gaussow skim i funkcjam i aktyw acji oraz liniow ej w arstw y w yjściow ej. K ażdy w ęzeł w arstw y ukrytej oblicza w artość funkcji gaussow skiej, której argu
m entem je s t odległość pom iędzy w ektorem w ejściow ym a w arto ścią śred n ią funkcji gaussow skiej. Sygnał n a w yjściu sieci je s t lin io w ą ko m b in acją w artości w yjściow ych w arstw y ukrytej.
F ig .8 . R B F n etw o rk a rchitectu re
128 G .Tym a
Sieć R B F realizuje funkcję f, która aproksym uje odw zorow anie:
f(*p)=yp d la p = l...P , gdzie: P je s t lic z b ą par uczących (x p my p).
M ożna to zapisać w postaci: -*
A x )~ Y. a i<t>(||x - Cif), i=0...I,
¡=0
g d z ie :(I+ l) je s t lic z b ą w ęzłów w w arstw ie ukrytej, c ( je st w arto ścią śred n ią dla i-tego w ęzłaz fu n k cją gaussow ską.
F unkcja g aussow ska <j>(.) je s t zdefiniow ana:
*(!x - cil)= ' ex{ -
1
(x - ci)T s ~1(x - cO( 2n) |S| ^
gdzie: d - w ym iar w ektora w ejściow ego, S - m acierz kow ariancji,
ISI - w yznacznik m acierzy kow ariancji.
U czenie sieci R B F polega na:
- określeniu konfiguracji sieci,
- znalezieniu w artości średnich i m acierzy kow ariancji dla funkcji gaussow skich, - określeniu w ag połączeń pom iędzy w arstw ą ukrytą a w yjściow ą.
B ardzo w ażnym etapem je s t ustalenie liczby w ęzłów w w arstw ie ukrytej oraz znalezienie w artości średnich (położenie środków funkcji gaussow skich). D o w yznaczenia tych param e
trów w ykorzystano algorytm analizy skupień.
A lgorytm a n a lizy skupień [39]
1. Przypisz każdem u w ektorow i uczącem u grupę.
2. L osow o ponum eruj grupy (K =1..C).
3. W ybierz p ierw szą grupę (K = l).
4. Z najdź in n ą grupę n ależącą do tej samej klasy.
5. Połącz te dw ie grupy i znajdź n o w ą w artość średnią.
6. O blicz odległość dop od w yznaczonej w artości średniej do najbliższej grupy z innej klasy.
7. O blicz odległość R (prom ień danej grupy) od obliczonej w artości średniej do najdalszej gru py, która pod leg ała połączeniu (z tej sam ej klasy).
W ybrane sieci neuronow e.. 129
8. Jeśli dop > aR (gdzie a je s t sta łą z przedziału < ł,3 > ), połączenie dokonane w kroku 5 je st akceptow ane i przechodzim y do kroku 4 (w artość K odpow iada now o utw orzonej grupie, C—C -l). Jeśli w arunek dop > aR nie je s t spełniony .połączenie nie je s t dokonyw ane i przecho
dzim y do kroku 4 (w artości K iC nie są zm ieniane). Pow tarzaj algorytm od kroku 4 do 8 dla w szystkich grup, następnie zw iększ K o jeden.
9. Pow tarzaj kroki od 4 do 8 aż spełniony będzie w arunek K =C.
E fektem działania tego algorytm u je s t znalezienie liczby funkcji gaussow skich oraz ich w artości średnich.
R y s.9 . W y z n a c z a n ie m a c ie r z y k o w a ria n cji F ig .9 . C o v a ria n ce m atrix estim a tio n
N astępnie należy obliczyć m acierze kow ariancji.K ontur stałej w artości dla w ielow ym iaro
wej funkcji gaussow skiej tw orzy elipsoidę w przestrzeni w ielow ym iarow ej. Jej kształt zależy od m acierzy kow ariancji. N ależy tak dobrać param etry m acierzy kow ariancji ,aby:
- osiągnąć ja k n ajw ięk szą generalizację,
- obszary w spólne d la funkcji gaussow skich reprezentujących różne klasy były ja k najm niej
sze.
D obór param etrów m acierzy kow ariancji odbyw a się przy w ykorzystaniu w ektora uczące
go należącego do przeciw nej klasy,który leży najbliżej danej w artości średniej.
M acierz kow ariancji m oże być zdekom ponow ana do postaci:
S = Q A Q \
gdzie w artości w łasne i w ektory w łasne m acierzy kow ariancji są odpow iednio w artościam i na przekątnej m acierzy A i kolum nam i m acierzy Q. Do znalezienia w artości w łasnych i w ekto
rów w łasnych m acierzy kow ariancji w ykorzystano procedurę ortogonalizacji G ram m a-
130 G .Tym a
Shm idta. W ektory w łasne określają kierunki osi elipsoid, a pierw iastki w artości w łasnych ich długości.
R ozpatrzm y przypadek dw uw ym iarow y.
W yznaczanie p a ra m etró w m acierzy kow ariancji (rys. 9)
1. Z najdujem y najbliższy do Cj (cr w atość średnia dla i-tej funkcji gaussow skiej) w ektor uczący należący do innej klasy (oznaczm y go jak o ą ).
2. W yznaczam y p ierw szą oś:
b i = a r c i . e i = - j ^ | .
3. S zukam y pozostałych w ektorów uczących nie należących do danej klasy, których rzuty na kierunek ej s ą m niejsze niż ||b |||. W ybieram y spośród nich ten,który m a n ajk ró tszą nor
m aln ą do C| (oznaczam y go jak o a2). D ruga oś w yznaczana je s t na podstaw ie w zorów:
b 2 = (a2- C|) - e ,T(a2- C;) e , , e2 =
II 2||
D la M -w ym iarow ego przypadku procedura ta je s t pow tarzana dotąd,aż znalezionych zo
stanie M osi. Z atem :
j-i t b :
b j = ( a j - c i) - 1 e (a j - c i) e k ,e j = r i ,
k j
ponadto:
®(aj - c i)||^llbkll dla k = l,2 ,...j-l (rzut m niejszy od ||bk ||),
||bj || nie m oże być zere ; je ż e li zachodzi taki przypadek ,to uw zględniany je s t drugi najbliższy w ektor uczący z klasy przeciw nej. W agi a, łączące w arstw ę u k ry tą z w yjściow ą w yznaczane s ą za p o m o c ą jed n ej z m etod optym alzacyjnych.
Przeanalizujm y proces sieci oraz jej działanie na przykładzie. W ygenerujm y dw uelem ento- w e w ektory w ejściow e ,które n ależ ą do trzech klas o rozkładach norm alnych z zadanym i w artościam i średnim i i w ariancjam i (rys. 10).
W ybrane sieci neuronow e.. 131
-1 - 0 .5 O 0 .5 1
R y s. 10. R o z k ła d g ę s t o ś c i p ra w d o p o d o b ień stw a F ig . 1 0 . D istr ib u tio n o f th e in p u t v ec to r s
O dpow iednio w artości średnie w ynoszą: c, = (0,0,5), c2=(-.0,5,-0,5),c3 = ( 0 . 8 , - 0 , 8 ) a w ariancje ct=(0.2,0.2), ct2= (0.2,01),ct3=(0.1,03).
T ak przygotow ane w ektory w ejściow e użyto w algorytm ie analizy skupień i algorytm ie w yznaczania m acierzy kow ariancji. W efekcie dobrano trzy w ęzły w w arstw ie ukrytej o na
stępujących param etrach funkcji gaussow skich:
r t _ ( 0 . 0 2 4 4 5 3 ) O- ( 0 . 0 8 9 - 0 . 0 0 4 ) ( 0 . 5 1 0 7 9 8 ) - ( - 0 . 0 0 4 0 .0 7 8 7 r o _ ( - 0 4 8 1 1 5 4 ) c o _ ( 0 . 1 1 7 - 0 . 0 2 4 ) ( - 0 . 5 0 1 9 1 o j - ( - 0 . 0 2 4 0 .0 6 7 ) r , . _ ( 0 . 7 8 8 8 6 4 0 ) _ ( 0 . 0 9 6 - 0 . 0 1 6 ) ( - 0 . 8 0 7 5 3 ) - ( - 0 . 0 1 6 0 . 0 6 2 )
M ając w yznaczone param etry w arstw y ukrytej, dobierzm y w agi połączeń do w arstw y w yj
ściow ej. N adajem y poszczególnym klasom w artości yp : 1,2, i 3. M inim alizując błąd średno- kw adratow y:
E = l [ f ( x p ) - yp ] 2
otrzym ujem y następujące w artości w ag:a,= 0.699, a2=1.296, a3=1.824.
132 G .Tym a
N a rys. 11 przedstaw iono odw zo
row anie w ektorów w ejściow ych w sygnał w yjściow y. Przedstaw ione akgorytm y analizy skupień i doboru param etrów w ęzłów w w arstw ie ukry
tej popraw nie skonfigurow ały sieć RBF. O trzym ane rezultaty potw ierdzi
ły przydatność zaproponow anej sieci neuronow ej do zadań klasyfikacyj
nych.
L IT ER A TU R A
1. A lpaydin E.: O ptical C haracter R ecognition U sing A rtifica l N eural Networks, I IEEE C onf.on A N N , 191-195, 1989
2. A rbib M .A .: Brains, M achines, a n d M athematics. Springer-V erlag, N ew Y ork In c ,1987 3. B abic R.: P a ra llel P rocessing System with F ixed C onnection as a N ew A pproach to
H andw ritten D ig it Recognition. IC A N N -1992, Brighton, 1163-1166,1992
4. B ealeR ., F inlay J.E.: N eu ra l N etw orks a n d P attern Recognition in H um an-C om puter In te
raction. E llis H orw ood, N ew Y ork, 1992
5. B lackw ell K .T., V ogl T.P., H ym an S.D., B arbour G .S.,A lkon D.L.: A N ew A pproach to H and-W ritten C haracter Recognition. Pattern R ecognition V ol.25,N o .6, 655-666,1992
6. B otros S .M .,A tkeson C.G.: G eneralization P roperties o f Radial B asis Functions. A dvances in N eu ra l Inform ation P rocessing System s 3, K aufm ann, San M ateo, 707-713, 1992
7. C hen C-H : S ta tistica l P attern Recognition. H ayden Book C om p.Inc. R ochelle Park,N ew Jersey, 1973
8. C hen C-H : A decision-enhanced p a tte rn classifier based on neural netw ork approach.
P attern R ecognition Letters, Vol. 13, 315-323,1992
9. D uda R .O .,H art P .E ..P attern classification a n d scene analysis. W illey,N ew Y ork, 1973
R y s . l l . O d w z o r o w a n ie w e k to r ó w w e jś c io w y c h w s y g n a ł w y j ś c io w y
F ig . 1 1 . M a p p in g o f the input v e c to r s to ou tpu t sign al
W ybrane sieci neuronow e. 133
10. F u k u sh im a K .,W ake N obuaki W.: H andw ritten A lphanum eric C haracter R ecognition by the N eocognitron. IE E E Tran, on N eural N etw orks, V ol.2, N o .3, 355-365, 1991
11. F u k u sh im a K.: N eocognitron: A H ierachical N eural N etw ork C apable o f Visual Pattern Recognition. N eural N etw orks, V o l.l, 119-130, 1989
12. G iles C .L., M axw ellT.: L earning Invariance, a n d G eneralization in H igh-O rder N eural N etw orks. A p p ilied O ptics, V ol.26, 4972-4978, 1987
13. G oggin S.D .D ., Johnson K .M ., G austafson K.E.: A Second- O rder Translation a n d Scale In va ria n t N eu ra l N etw orks. A dvances in N eural Inform ation Processing System s 3, K au
fm ann, San M ateo 313-319
14. G onzales R .C ., W oods R.E.: D igital Im age Processing. A ddison-W esley Publishing C om pany, Inc, 1992
15. G rossberg S.: N onlinear N eu ra l N ew o rks: Principles, M echanism s, a n d Architecture.
N eural N etw orks, V o l.l, 17-61, 1988
16. H aralic R .M ., Shapiro L.G .: C om puter a n d R obot Vision. V o l.l., A ddison-W esley Pu
b lishing C om pany, Inc, 1992
17. H inton G .E., W illiam s C. K., R evow M .D .: C om bining Two M ethods o f R ecognizing H a n d -P rin ted Digits. IC A N N -1992, B righton, 53-60, 1992
18. H ubbard W. : H andw ritten D igit Recognition: A pplications o f N eural N etw o rk C hips a nd A u to m a tic Learning. IEEE C om m unications M ag., N ovem ber 1989, 41-46, 1989
19. Iw ata A ., Ino Y ., H otta K ., S uzum ara N. : H and-w ritten Japanese K anji chacter recogni
tion by a structured self-grow ing neural netw ork ,,C om bbN ET-H ” . IC A N N -1992, B ri
ghton, 1189-1192
20. K eeler J.D ., R um elhert D .E., L eow W -K.: Integrated Segm entation a n d R ecognition o f H a n d -P rin ted N um erals. A dvances in N eural Inform ation Processing System s 3, K au
fm ann, San M ateo, 557-563, 1992
21. K ohonen T., K angas J., L aaksonen J., T arkkola K.: LV Q PA K The L ea rn in g Vector Q u
a ntization P rogram Package. Finland, 1992
22. K ohenT .: Self-O rganization a n d A ssociative M emory. Springer-V erlag, Berlin- H eidelberg, 1989
23. K ohen T.: Im p ro v e d version o f learning vector quantization. IJC N N -1990, San D iego, 1545-550, 1990
134 G .Tym a
24. K rogh A ., H ertz J. Palm er.: Introduction to the theory o f n eu ra l com putation. A ddison- W eseley P u b lish in g C om pany, 1991
25. Le C un Y ., Jackel L .D ., B oser D enker J.S., G ra f H .P., Guyort I., H enderson D ., H ow ard R .E ., L ee Y. H a n d w ritten D ig it R ecognition U sing K N earest-N eighbor, Radial-B asis F unction, a n d B ackpropagation N eu ra l Networks. N eural V com putation 3, 440-449, 1991
26. Li R .Y .., X u M .: C haracter recognition using a f a s t neural n et classifier. P attern R eco
gnition L etters, V o l.13, 369-374, 1992
27. L im J.S.: T w o-dim ensional sig n a l a n d im age processing. P rentice-H all International Edi
tions, 19989
R ecenzent: D r hab. T o m asz K acprzak W płynęło do R edakcji 28.09.1994 r.
A bstract
Interest in neaural netw orks is rapidly grow ing and several neural netw ork m odels has been p roposed fo r vario u s difficult problem s, especially classification problem s.T his p ap er presents three d ifferen t k inds o f artifical neural netw orks i.e. a third order neural netw ork, Learning V ecctor Q uantization netw ork and R adial Basis Function netw ork. A n exam ple o f im plem en
tatio n in nu m eral recognition has been included. T he third order neural netw ork has been used as a feature extractor, the L V Q netw ork has been utilised as a classifier. T he R B F ne
tw ork has been presen ted as w ell. A uthor proposed netw ork configuration algorithm s w hich find a n u m b er o f h id d en nodes and and thier param eters for the R B F netw ork. T he perfor
m ance o f the R B F netw o rk has been presented b y a classification task. E xperim ents confir
m ed usefulness o f th e artifical neural netw orks. O btained results w ere as good as could be expected.
