Sieci neuronowe typu RBF do zadania interpolacji

(1)

Sieci neuronowe typu RBF do zadania interpolacji.

Niech

ϕ(x) = e⁻(^xr)², (1)

gdzie r ∈ R jest parametrem. Jest to funkcja o symetrii radialnej, która może być użyta do konstrukcji interpolatora p par wzorzec wejściowy-wzorzec wyjściowy

Z = {(s^(k), f^(k))}^p_k=1. gdzie s^(k) ∈ Rⁿ i f^(k)∈ R dla k = 1, . . . , p.

Rozpatrzmy sieć taką jak na rysunku 1. Wyjście takiej sieci wyraża się wzorem y(x) =

p

X

i=1

wiϕ(||s⁽ⁱ⁾− x||).

dla x ∈ Rⁿ.

Rysunek 1: Interpolacyjna sieć typu RBF (z radialnymi funkcjami aktywacji).

Rozpatrzmy teraz wzorzec s^(k) zapisując warunek interpolacyjny dla wyjścia f^(k) =

p

X

i=1

w_iφ(||s⁽ⁱ⁾− s^(k)||),

dla k = 1, . . . , p. Tak więc mamy ich tyle ile elementów wektora wag w = [w_i] ∈ R^p.

Aby wyznaczyć wektor w tj. [w₁, w₂, . . . , w_p] rozpatrujemy zestaw warunków:

tzn.











f⁽¹⁾ = ^P^p_i=1w_iϕ(||s⁽ⁱ⁾− s⁽¹⁾||), f⁽²⁾ = ^P^p_i=1w_iϕ(||s⁽ⁱ⁾− s⁽²⁾||),

. . .

f^(p) = ^P^p_i=1w_iϕ(||s⁽ⁱ⁾− s^(p)||).

Z tych warunków wyznaczamy wartość składowych wektora w tj: w_1:p. Ostatecz- nie więc mamy do rozwiązania układ równań z niewiadomą będącą wektorem w

F = Φw, 1

(2)

gdzie

F = [f ]^T =







f⁽¹⁾ f⁽²⁾ . . . f^(p)







,

w =







w₁ w₂ . . . w_p







,

Φ =







ϕ(||s⁽¹⁾− s⁽¹⁾||) ϕ(||s⁽¹⁾− s⁽²⁾||) . . . ϕ(||s⁽¹⁾− s^(p)||) ϕ(||s⁽²⁾− s⁽¹⁾||) ϕ(||s⁽²⁾− s⁽²⁾||) . . . ϕ(||s⁽²⁾− s^(p)||)

. . .

ϕ(||s^(p)− s⁽¹⁾||) ϕ(||s^(p)− s⁽²⁾||) . . . ϕ(||s^(p)− s^(p)||)







.

Macierz Φ jest nieosobliwa (chociaż zazwyczaj b. źle uwarunkowana) dzięki wła- snościom funkcji radialnej (1) (patrz np. [1] rozdz. 5.).

Jeśli chodzi o parametr r we wzorze (1), czyli promień gaussowskiej funkcji bazowej, to można przyjąć

r = diam(S)/l, dla l = 1, 2, . . .

gdzie S = {s^(k)}^p_k=1 a diam(S) jest odległością pomiędzy dwoma najbardziej od siebie oddalonymi wzorcami s⁽ⁱ⁾ i s^(j) w zbiorze S.

Literatura

[1] Ch. Bishop, Neural networks for pattern recognition, Clarendon Press, Oxford, 1995.

2