9. Sieć neuronowa radialna

9. Sieć neuronowa radialna

Dzisiejsze zadanie będzie polegało na przedstawieniu sieci neuronowej radialnej.

Sieci radialne stanowią naturalne uzupełnienie sieci sigmoidalnych. Neuron sigmo- idalny dokonywał podziału przestrzeni na dwie części. Podział odbywał się wzdłuż prostej, a realizowane przez ten neuron zadanie nazywaliśmy liniowoseparowalnym.

Neuron radialny reprezentuje hipersferę, dokonując podziału kołowego wokół punk- tu centralnego (Rys. 1) Sieć radialna to sieć skierowana do przodu (Rys. 2). Zawiera

Rysunek 1: Podział płaszczyzny

wektor wejściowy [x₁, ..., x_N] oraz dwie warstwy. Pierwsza z nich składa się z K neuronów radialnych, zaś druga z jednego neuronu działającego tak jak w sieci jed- nokierunkowej z liniową funkcją aktywacji. Wagi przypisane są jedynie do połączeń warstwy drugiej. Brak wag warstwy pierwszej wynika ze sposobu działania neuronu radialnego. Neuron radialny to neuron, którego funkcją aktywacji jest funkcja radial- na. Funkcja ta przyjmuje jako argument wektor i nie działa na zasadzie sumatora jak to miało miejsce w sieciach jednokierunkowych. Przykładami funkcji radialnych są:

• ϕ(r) = e^(−2δ2r2)

• ϕ(r) = ^√_r2¹_+δ2

• ϕ(r) =√

r²+ δ²

• ϕ(r) = r,

gdzie: r =k x − c k, δ > 0.

c ∈ R^N jest punktem centralnym neuronu radialnego, δ jest parametrem zaś k . k jest odległością wektora wejściowego ( x ∈ R^N) od centrum (c). Najczęściej stosowaną miarą odoległości jest norma euklidesowa.

1

Rysunek 2: Ogólny model sieci radialnej

Przykład

Spróbujmy rozwiązać zadanie klasyfikacyjne przedstawione na rysunku 3. Chcemy dokonać takiego podziału płaszczyzny, aby punkty oznaczone kolorem żółtym nale- żały do jednego obszaru, zaś kolorem niebieskim do drugiego. Wykorzystamy sieć radialną. Będzie to sieć z rysunku 2, dla której N = 2, K = 1, funkcja radialna:

ϕ(r) = r oraz wartości wag: w₀ = promień koła, w₁ = 1.

Rysunek 3: Zadanie klasyfikacyjne

Metoda doboru parametrów sieci

Sieć radialna jest wykorzystywana jako klasyfikator. Klasyfikacja odbywa się w ww.

sposób. W przykładzie przedstawiono wartości parametrów, dla których sieć rozwią- że postawiony problem. Ogólnie, sieć radialna działa na zasadzie wielowymiarowej interpolacji, której zadaniem jest odwzorowanie p różnych wektorów wejściowych x_i (i = 1, ..., p) z przestrzeni wejściowej N − wymiarowej w zbiór p liczb rzeczywistych

2

d_i (i = 1, ..., p), czyli określenie takiej funkcji F (x), dla której spełnione są warunki:

F (xi) = di

dla i = 1, ..., p, gdzie

F (x) =

p

X

i=1

w_iϕ(k x − x_i k)

Jeżeli ustalimy K = p, wówczas zadanie będzie rozwiązywalne ¹. Jest to jednak za duża liczna neuronów i należy ją ograniczyć. Metodą, którą można tu zastosować jest podział zbioru uczącego na grupy. Podział ten może być realizowany przy po- mocy sieci samoorganizującej. Wówczas otrzymamy tyle grup ile sieć wygenerowała neuronów winner’ów. Liczbę neuronów radialnych określimy jako liczbę winner’ów.

Należy jeszcze określić pozostałe parametry dla każdej z funkcji aktywacji. Dla każ- dej grupy w wyniku procesu uczenia został przypisany wektor wag - jest to wektor wag odpowiadający winner’owi. Jako centrum przyjmiemy wektor wag odpowiednie- go winner’a. Parametr δ będzie odległością centrum od najbliższego sąsiada w danej grupie. Określenie innych parametrów dla każdego neuronu radialnego powoduje, że każdy z neuronów tej samej warstwy ma inną funkcję aktywacji.

Wartości wag warstwy wyjściowej ustala się w wyniku procesu uczenia. Na po- czątku przypisuje się im wartość losową, a następnie modyfikuje metodą propagacji wstecznej. Funkcja błędu, którą minimalizujemy, wyraża się wzorem:

E = 1 2[

K

X

i=0

w_iϕ(x) − d]².

Zadanie

Zadanie będzie polegało na zaimplementowaniu problemu przedstawionego na ry- sunku 3 siecią radialną. Ma to być sieć składająca się z dwóch wejść, jednego neuronu radialnego oraz losowych wag. Chodzi tu o wizualizacją działania sieci radialnej (po- dobną do projektu 2). Proszę wykorzystać wszystkie omówione funkcje aktywacji.

Dodatkowo należy rozstrzygnąć, czy problem klasyfikacji przedstawiony na rysunku 4 można zrealizować przez sieć jednokierunkową. Jeśli tak, należy zaimplementować taką sieć.

Rysunek 4: Zadanie klasyfikacyjne

1Patrz S. Osowski ”Sieci neuronowe w ujęciu algorytmicznym”, WNT 1996, str.162

3