Sieć neuronowa typu Elmana

Sieć neuronowa typu Elmana

Sieć Elmana jest przykładem sieci neuronowej ze sprzężeniem zwrotnym. W swo- jej konstrukcji składa się z dwóch warstw. Pierwsza – ukryta, jest warstwą, któ- rej sygnały wyjściowe są kierowane jako wejścia dla neuronów warstwy drugiej oraz jako sygnał zwrotny na wejście do sieci. Sygnały zwrotne tworzą tak zwaną warstwę kontekstową. Przekazane sygnały do warstwy kontekstowej nie mają wag.

Rysunek 1: Schemat sieci Elmana.

Jeżeli wejście do sieci jest N wymiarowe, oraz liczba neuronów w warstwie ukrytej wynosi K, to w kolejnym przejściu przez sieć wektor wejściowy będzie miał wymiar N + K. Ponieważ ostatnie K sygnałów pochodzi z poprzedniej iteracji sieci stosuje się indeksowanie względem czasu. Przyjmijmy (dla uprosz- czenia zapisu), że jeżeli rozważamy wartość w czasie t to indeks czasowy może być pominięty. Wartości brane z poprzedniej iteracji, czyli w czasie t − 1 zapi- sywane są wraz z indeksem czasowym.

Jeżeli przez x¹ oznaczymy wektor wejściowy do sieci, to otrzymujemy

x¹ = [x¹₀(t), . . . , x¹_N(t), x¹_{N +1}(t), . . . , x¹_{N +K}(t)]

= [x¹₀(t), . . . , x¹_N(t), y₁¹(t − 1), . . . , y¹_K(t − 1)],

gdzie [y₁¹(t − 1), . . . , y¹_K(t − 1)] jest wektorem wyjściowym warstwy pierwszej z poprzedniej iteracji. W czasie t = 0, [x¹_{N +1}(t), . . . , x¹_{N +K}(t)] ≡ 0.

Wartości wyjściowe z pierwszej wartstwy, to wektor K− elementowy y¹ taki, że

y¹ = [y¹₁, . . . , y_K¹],

gdzie y_i¹ = f (net¹_i), dla i = 1, 2, . . . , K. f oznacza funkcję aktywacji wspólną dla każdego neuronu warstwy pierwszej.

net¹_i =

N

X

j=0

x¹_jw¹_ij +

K

X

j=1

x¹_{N +j}w¹_{i N +j}

jest wartścią sumatora dla i = 1, 2, . . . , K. Indeksy przy wartościach wag ozna- czają: górny – numer warstwy, dwa dolne – na przykład ij – określają: i – do którego neuronu prowadzi dane połączenie oraz j – z którego wejścia poda- wany jest sygnał. Wektor y¹ wzbogacony o bias stanowi wektor wejściowy dla neuronów warstwy drugiej. Jeżeli przez x² oznaczymy wektor wejściowy do neuronów wartstwy drugiej to mamy, że

x² = y¹ = [y¹₀, y₁¹, . . . , y¹_K], gdzie y¹₀ = 1 oznacza bias.

Niech M oznacza liczbę neuronów w warstwie drugiej. Wówczas wyjściem z sieci będzie wektor

y² = [y²₁, . . . , y_M² ],

gdzie wartości y₁², . . . , y²_M są kolejnymi wartościami wyjściowymi neuronów warstwy drugiej wyliczane następująco

y_i² = f (net²_i) = f (

M

X

j=0

x²_jw²_ji)

gdzie i = 1, 2, . . . , M . Podobnie jak w warstwie pierwszej f oznacza funkcję aktywacji wspólną dla neuronów drugiej warstwy. Należy zaznaczyć, że funkcje aktywacji mogą być różne dla kolejnych warstw.

Uczenie sieci neuronowej typu Elmana

Zgodnie z definicją, sieć neuronową stanowi zbiór neuronów wzajemnie ze sobą powiązanych. Każda sieć neuronowa posiada wejścia (służące do wprowadzania wartości zmiennych obserwowanych na zewnątrz) oraz wyjścia (które wyzna- czają wynik obliczeń). Dodatkowo niektóre połączenia między neuronami mają przypisaną pewną wartość liczbową zwaną wagą.

Sposób uczenia sieci neuronowej zależy od jej rodzaju. Nauka sieci neuro- nowej typu Elmana jest pracedurą zmiany wartości wag. Zmiana wartości wag prowadzona jest w taki sposób aby zminimalizować wartość błędu. Funkcja błędu jest funkcją wielu zmiennych, jej argumentami są wszystkie wagi sieci.

Procedura uczenia odbywa się za pomocą zbioru uczącego. Przyjmijmy, dla ustalenia uwagi, tak jak w poprzedniej sekcji, że rozważana przez nas sieć posiada N wejść, K neuronów w warstwie pierwszej, K neuronów tworzących warstwę kontekstową oraz M neuronów w warstwie ostatniej. Konstrukcja sieci Elmana zakłada, że za wyjątkiem połączeń zwrotnych każde połączenie posiada wagę. Zbiorem uczącym nazywamy zbiór

L = {V, T },

gdzie V jest zbiorem wektorów wejściowych do sieci, zaś T jest zbiorem żąda- nych wektorów wyjściowych. Zakładając, że liczba elementów w zbiorze uczą- cym (liczba wzorców) wynosi C, możemy zapisać, że

V = {v¹, . . . , v^C},

gdzie vⁱ = [v₁ⁱ, . . . , v_Nⁱ ], i = 1, . . . , C oraz

T = {t¹, . . . , t^C},

gdzie tⁱ = [tⁱ₁, . . . , tⁱ_M], i = 1, . . . , C.

Modyfikacja wag realizowana przez procedurę uczenia ma na celu takie ustalenie ich wartości aby bez ich zmiany dla każdego elementu zbioru V war- tość na wyjściu z sieci była równa odpowiadającemu mu wektorowi ze zbioru T .

Innymi słowy, jeżeli przyjmiemy że wektor wejściowy do sieci Elmana x¹ = vⁱ, to ma zachodzić y² = tⁱ dla każdego i = 1, . . . , C.

Na początku procedury uczenia zakłada się, że wagi przyjmują losowe war- tości z ustalonego przedziału (najczęściej [−1, 1]). Dla zadanego zbioru uczą- cego definiujemy funkcję błędu

E(w) =

C

X

i=1 M

X

j=1

tⁱ_j − y_j²(vⁱ)^2, (1) gdzie

w oznacza wektor wszystkich wag sieci,

tⁱ_j oznacza j -tą współrzędną i -tego wzorca, zaś

y²_j(vⁱ) oznacza wartość wyjściową j -tego neuronu warstwy drugiej, pod wa- runkiem że do sieci został na wejście podany wektor vⁱ.

Funkcja błędu (1) jest nieujemna. Jej minimum wynosi 0. Procedura ucze- nia ma na celu taką modyfikcję wag, aby wartość funkcji błędu (1) osiągnęła wartość jak najbliższą zeru. W praktyce określa się parametr ε, którego war- tość jest mała, bliska zeru. ε określa maksymalny, akceptowalny przez nas błąd.

Procedura uczenia sieci kończy się gdy zrealizowany został cel. Celem tym jest wyznaczenie takich wartości wag aby bez ich zmiany wartość błędu (1) była nie większa od ε. Oznacza to, że dla każdego elementu zbioru V wartość na wyjściu z sieci niewiele różniła się od odpowiadającej jej wartości wektora ze zbioru T .

Realizacja procedury uczenia może przebiegać różnymi metodami. Najczę- ściej stosowanymi metodami są metody gradietowe. Zaliczamy do nich metodę najszybszego spadku i metodę Levenbergua - Marquarda. Różnica między tymi metodami polega na sposobie modyfikacji wartości wag.

Uczenie sieci neuronowej typu Elmana metodą gradien- tową najszybszego spadku

Metoda gradientowa najszybszego spadku jest iteracyjną metodą szukania mi- nimum funkcji celu. Realizację algorytmu rozpoczynamy od ustalonego punktu

początkowego. Następnie w kolejnych krokach wyliczamy kolejne argumenty funkcji celu. Dla kolejnych argumentów wartość funkcji maleje aż do osią- gnięcia wartości ε, czyli największej, akceptowalnej wartości błędu. Wówczas algorytm kończy działanie. Gdyby procedura była kontynuowana, zmieniała- by wynik o coraz mniejszą wartość i w kolejnych krokach algorytm zwracałby prawie ten sam argument. Dzieje się tak dlatego, że wyliczanie kolejnych argu- mentów funkcji celu jest realizowane na podstawie wartości gradientu funkcji celu, który przyjmuje wartości coraz bliższe zeru dla punktów leżących w bli- skiej odległości od ekstermum funkcji.

W rozważanym przez nas przypadku uczenia sieci, funkcją której minimum szukamy, jest funkcja błędu dana wzorem (1)

E(w) =

C

X

i=1 M

X

j=1

tⁱ_j − y_j²(vⁱ)^2,

gdzie

w oznacza wektor wszystkich wag sieci,

tⁱ_j oznacza j -tą współrzędną i -tego wzorca, zaś

y²_j(vⁱ) oznacza wartość wyjściową j -tego neuronu warstwy drugiej, pod wa- runkiem że do sieci został na wejście podany wektor vⁱ.

Argumentem początkowym dla działania algorytmu będzie wektor począt- kowych wartości wag w(0). Niech η > 0, będzie ustaloną stałą zwaną współ- czynnikiem uczenia. Wzór na modyfikację wag dla metody gradientowej naj- szybszego spadku przyjmuje postac

w(t + 1) = w(t) − η 5 E(w(t)), (2)

gdzie

t = 0, 1, . . . oznacza indeks czasowy, w(t) oznacza wetor wag w czasie t, η jest współczynnikiem uczenia.

Przyjmijmy, bez zmniejszania ogólności rozważań, że uczona przez nas sieć ma N wymiarowy wektor wejściowy, K neuronów w pierwszej warstwie i jeden neuron w warstwie wyjściowej. Wówczas wektor wag ma (N +K +1)×K +K +1

elementów. Istotnie w = [w₁₀¹ , . . . , w¹_{1N +K}, . . . , w¹_K0, . . . , w_{KN +K}¹ , w²₁₀, . . . , w²_1K].

Przy takich założeniach funkcja błędu przyjmuje postać

E(w₁₀¹ , . . . , w¹_{1N +K}, . . . , w_K0¹ , . . . , w¹_{KN +K}, w₁₀² , . . . , w²_1K) =

C

X

i=1

tⁱ₁− y₁²(vⁱ)^2. Celem uczenia jest osiągnięcie takiego stanu, aby odpowiedź sieci na dany sygnał wejściowy vⁱ była jak najbardziej zbliżona do odpowiedzi wzorcowej tⁱ dla wszystkich i = 1, 2, . . . , C. Aby to nastąpiło należy odpowiednio modyfi- kować wagi aż do momentu, gdy wartość funkcji błędu będzie równa zeru (w praktyce proces uczenia kończy się, gdy błąd zmaleje poniżej pewnej zadanej wartości ε).

Korekcja wag może następować w sposób przyrostowy (aktualizacja wag bezpośrednio po podaniu każdej pary uczącej) lub w sposób grupowy (korek- ta wag następuje po podaniu całego zestawu uczącego). Metody gradientowe mogą być realizowane przy założeniu różniczkowalności funkcji celu. W roz- ważanym przypadku ogranicza to klasę możliwych do zastosowania funkcji aktywacji. Najczęściej przyjmuje się (my również przyjmiemy takie założenie), że stosowaną funkcją aktywacji jest funkcja sigmoidalna z wartością β = 1, czyli funkcja dana wzorem f (x) = _{1+ exp(−x)}¹ .

W metodach gradientowych do aktualizowania wektora wag wykorzystuje się informacje o gradiencie funkcji błędu (składowymi wektora gradientu są pochodne cząstkowe funkcji błędu po poszczególnych wagach sieci). Gradient wskazuje kierunek najszybszego wzrostu wartości funkcji. Zatem stosowany przez nas algorytm najszybszego spadku jako kierunek minimalizacji przyj- muje kierunek ujemnego wektora gradientu funkcji błędu, który w przypadku rozważanej sieci przyjmuje postać

∇E =

"

∂E

∂w₁₀¹ , . . . , ∂E

∂w_{1N +K}¹ , . . . , ∂E

∂w¹_K0, . . . , ∂E

∂w_{KN +K}¹ , ∂E

∂w²₁₀, . . . , ∂E

∂w²_1K

#

. (3)

Według tego algorytmu modyfikacja pojedynczej wagi odbywa się zgodnie z poniższym wzorem

w_ij^q(t + 1) = w^q_ij(t) − η ∇∂E(w(t))

∂w^q_ij(t)

!

, (4)

gdzie w^qij ∈ⁿw¹₁₀, . . . , w¹_{1N +K}, . . . , w_K0¹ , . . . , w_{KN +K}¹ , w²₁₀, . . . , w_1K^{2 o}.

Uczenie sieci rozpoczynamy losując początkowy wektor wag. Dla tak otrzy- manej sieci obliczana jest wartość funkcji błędu oraz gradient, a następnie następuje modyfikacja wektora wag o pewną wielkość proporcjonalną do od- powiedniej składowej wektora gradientu ze znakiem przeciwnym. Powtarzamy takie postępowania, dopóki wartść funkcji błędu będzie większa od ustalonego na początku ε.

Metody gradientowe optymalizacji wymagają określenia wektora gradientu funkcji błędu względem wag wszystkich warstw sieci. Nie ma z tym problemu jeśli chodzi o warstwę ostatnią, gdyż wartość gradientu otrzymujemy tu bez- pośrednio (na podstawie wektora wyjściowego sieci i sygnałów wzorcowych).

W przypadku pozostałych warstw należy zastosować metodę wstecznej propa- gacji błędu.

Nazwa „propagacja wsteczna” pochodzi od sposobu obliczania błędów na poszczególnych warstwach sieci, gdyż jest on niejako obliczany od końca. Naj- pierw liczymy błąd w warstwie ostatniej. Błąd dla neuronów w warstwie wcze- śniejszej obliczany jest jako pewna funkcja błędów neuronów warstwy poprze- dzającej. Sygnał błędu jest propagowany od warstwy ostatniej, aż do warstwy wejściowej, a więc wstecz.

Załóżmy, że procedura aktualizacji wag jest realizowana dla każdego wzorca osobno. Niech c ∈ {1, 2, . . . , C} będzie ustalonym numerem wzorca. Wówczas błąd dla c -tego wzorca jest określona następująco

E(w) = 1 2

t^c− y₁²(v^c)^2. (5)

Wartość pochodnej cząstkowej błędu (5) liczona dla wagi warstwy drugiej, czyli w_1i², gdze i = 1, 2, . . . , K przyjmuje postać

∂E

∂w_1i² = ^1₂(t^c− y₁²(v^c))^2|_w²

1i

= − (t^c− y₁²(v^c)) (y₁²(v^c)) |_w²

1i

= − (t^c− y₁²(v^c)) (f (x²₀w²₁₀+ · · · + x²_Kw_1K² )) |_w²

1i

= − (t^c− y₁²(v^c)) y₁²(v^c)(1 − y₁²(v^c)) (x²₀w₁₀² + · · · + x²_Kw²_1K) |_w²

1i

= − (t^c− y₁²(v^c)) y₁²(v^c)(1 − y₁²(v^c))x²_i.

(6)

W przypadku pochodnej cząstkowej błędu (5) liczonej dla wag warstwy pierwszej, czyli w_ij¹ ∈ {w₁₀¹ , . . . , w_{1N +K}¹ , . . . , w_K0¹ , . . . , w¹_{KN +K}}, procedura jest bardziej skąplikowana. Wynika to z dwóch powodów. Po pierwsze, liczenie po- chodnej po wagach warstwy wewnętrznej jest tym bardziej skąplikowane, im jest to warstwa dalsza od końca. Dzieje się tak dlatego, że wartość wyjścio- wa z sieci jest wynikiem złożenia wielu funkcji aktywacji. Po drugie, liczenie pochodnej po wagach warstwy pierwszej musi uwzględniać sprzężenie zwrot- ne sieci Elmana. Ponadto aby odróżnić wartości z kolejnych przebiegów sieci musimy wprowadzić indeks czasowy w miejsce v^c.

Bez zmniejszania ogólności rozważań rozważmy przypadek dla wagi w¹_bc, gdzie w¹_bc∈ {w¹₁₀, . . . , w¹_{1N +K}, . . . , w¹_K0, . . . , w_{KN +K}¹ }. Indeksy⁰bc⁰zostały wpro- wadzone celowo zamiast indeksów ⁰ij ⁰, aby zaznaczyć że waga w_bc¹, po której liczymy pochodną cząstkową nie zmienia się w trakcie obliczeń. Mamy wówczas

∂E

∂w¹_bc = ^1₂(t^c− y₁²(t))^2|_w¹

bc

= − (t^c− y₁²(t)) (y₁²(t)) |_w¹

bc

= − (t^c− y₁²(t)) (f (x²₀(t)w₁₀² + · · · + x²_K(t)w²_1K)) |_w¹

bc

= − (t^c− y₁²(t)) y₁²(t)(1 − y₁²(t))^x²₀(t)w₁₀² + · · · + x²_K(t)w²_1K^

| {z }

net²₁(t)

|_w¹

bc

(7) W tym miejscu kończą się obliczenia dla warstwy wyjściowej a my liczymy dalej. Ponieważ

x²_i(t) = y_i¹(t),

gdzie i = 1, . . . , K, co oznacza, że sygnał wejściowy dla warstwy drugiej jest tym samym co wyjściowy z warstwy pierwszej oraz

y¹_i(t) = f





N +K

X

j=0

x¹_j(t)w¹_ij





| {z }

net¹_i(t)

= f





N

X

j=0

x¹_j(t)w¹_ij +

K

X

j=1

y_j¹(t − 1)w_{i N +j}¹



, (8)

gdzie i = 1, . . . , K, otrzymujemy

∂E

∂w¹_bc = − (t^c− y²₁(t)) y²₁(t)(1 − y²₁(t)) (x²₀(t)w²₁₀+ · · · + x²_K(t)w_1K² ) |_w¹

bc

= − (t^c− y₁²(t)) y₁²(t)(1 − y₁²(t)) (f (net¹₁(t))w₁₁² + · · · + f (net¹_K(t))w²_1K) |_w¹

bc

(9)

Ze wzoru (8) wynika, że wartości net¹₁(t), . . . , net¹_K(t) zależą od w¹_bc przez sygnały sprzężenia zwrotnego, zatem

∂E

∂w¹_bc = − (t^c− y²₁(t)) y₁²(t)(1 − y²₁(t))

w²₁₁f⁰(net¹₁(t)) net¹₁(t)|_w1

bc+ · · · + w²_1Kf⁰(net¹_K(t)) net¹_K(t)|_w1 bc

. (10)

Policzmy teraz ile wynosi net¹_i(t)|_w1

bc, gdzie i = 1, . . . , K

net¹_i(t)|_w1

bc = ^PN_j=0x¹_j(t)w_ij^1

w_bc¹ + w¹_{i N +1}f⁰(net¹₁(t − 1))net¹₁(t − 1)

w_bc¹

+ · · · + w_{i N +K}¹ f⁰(net¹_K(t − 1))net¹_K(t − 1)

w¹_bc.

(11) Wzór (10) wraz z wyliczonymi wartościami net¹₁(t)|_w1

bc, . . . , net¹_K(t)|_w1 bc

danymi wzorem (11) wyznacza ostateczną formułę na wyliczenie _∂w^∂E1 bc

. Należy podkreślić, że wzór (11) jest podany w formie rekurencyjnej zależności. Wy- liczenie net¹₁(1)|_w1

bc, . . . , net¹_K(1)|_w1

bc w pierwszym przebiegu odbywa się bez użycia formuły rekurencyjnej, gdyż w tym przebiegu nie ma jeszcze zależności od poprzedniego przebiegu sieci. Dzieje się tak, ponieważ na początku działania sieci wartości x¹_{N +1}(1), . . . , x¹_{N +K}(1) są równe zero.

Omówiona powyżej metoda gradientowa najszybszego spadku jest metodą która aktualizując wagi uwzględnia w danym momencie obliczeniowym zależ- ność od jednego wzorca uczącego. Algorytm Levenberga-Marquardta działa inaczej, gdyż modyfikuje wagi w sposób grupowy, czyli po podaniu wszystkich wektorów uczących. Jest bardziej efektywny, gdyż łączy w sobie zbieżność algo- rytmu Gaussa-Newtona ¹ blisko minimum oraz metodę najszybszego spadku, która bardzo szybko zmniejsza błąd gdy rozwiązanie jest dalekie.

1nieliniowa metoda najmniejszych kwadratów, por. http://www.ekonometria.com/nmnk.htm

Uczenie sieci neuronowej typu Elmana metodą Levenber- gua - Marquarda

Algorytm Levenberga-Marquardta² jest modyfikacją algorytmu Gaussa – New- tona, w której kierunek minimalizacji d(w(t)) przyjmuje postać

d(w(t)) = −[∇²E(w(t − 1))]⁻¹∇E(w(t − 1)). (12) W takim przypadku równanie zmiany wag przyjmuje postać

w(t + 1) = w(t) − [∇²E(w(t))]⁻¹∇E(w(t)). (13) Jeżeli przyjmiemy, że funkcja celu jest dana wzorem

E(w) =

C

X

i=1 M

X

j=1

tⁱ_j − y_j²(vⁱ)^2, (14)

to gradient ∇E oraz hesjan ∇²E tej funkcji mogła być obliczane następująco

∇E(w(t)) = J^T(w(t))ε(w(t)) (15)

∇²E(w(t)) = J^T(w(t))J (w(t)) + S(w(t)), (16) gdzie J jest jakobianem, czyli macierzą pierwszych pochodnych cząstkowych błędu każdej próbki w poszczególnych neuronach ostatniej warstwy

eⁱ_j = (tⁱ_j− y²_j(vⁱ))

2na podstwie http://www.kik.pcz.czest.pl/nn/jednokier.php?art=14

po wszystkich wagach w sieci

J (w) =



































































∂e¹₁

∂w¹₁₀ . . . _∂w1^∂e11 1 N +K

. . . _∂w^∂e1¹¹ K0

. . . _∂w1^∂e11 K N +K

∂e¹₁

∂w₁₀² . . . _∂w^∂e2¹¹ M K

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

∂e¹_M

∂w¹₁₀ . . . _∂w^∂e1 ^1M 1 N +K

. . . _∂w^∂e1M1 K0

. . . _∂w1^∂e1M K N +K

∂e¹_M

∂w₁₀² . . . _∂w^∂e2^1M M K

∂e²₁

∂w¹₁₀ . . . _∂w1^∂e21

1 N +K . . . _∂w^∂e1²¹

K0 . . . _∂w1^∂e21 K N +K

∂e²₁

∂w₁₀² . . . _∂w^∂e2²¹ M K

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

∂e²_M

∂w¹₁₀ . . . _∂w^∂e1 ^2M 1 N +K

. . . _∂w^∂e2M1 K0

. . . _∂w1^∂e2M K N +K

∂e²_M

∂w₁₀² . . . _∂w^∂e2^2M M K

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

∂e^C₁

∂w¹₁₀ . . . _∂w^∂e1 ^C1 1 N +K

. . . _∂w^∂e1^C1 K0

. . . _∂w1^∂eC1 K N +K

∂e^C₁

∂w₁₀² . . . _∂w^∂e2^C1 M K

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

∂e^C_M

∂w¹₁₀ . . . _∂w^∂e1 ^CM 1 N +K

. . . _∂w^∂eCM1 K0

. . . _∂w1^∂eCM K N +K

∂e^C_M

∂w₁₀² . . . _∂w^∂e2^CM M K



































































(17) natomiast e(w(t)) jest wektorem błędu poszczególnych próbek na każdym neu- ronie w warstwie ostatniej

e(w) =

































































e¹₁ . . . e¹_M e²₁ . . . e²_M . . . e^C₁ . . . e^C_M

































































(18)

Elementy macierzy J (w) danej wzorem (17) są wyliczane tak samo jak w przypadku metody gradientowej najszybszego spadku. Dla pochodnych cząst- kowych funkcji błędu liczonych po wagach warstwy drugiej stosujemy wzór (6), zaś dla pochodnych cząstkowych funkcji błędu liczonych po wagach warstwy pierwszej stosujemy wzór (10).

W metodzie Gaussa – Newtona zakłada się, że wartość S(w(t)) ≈ 0, czyli

równanie (13) przyjmuje postać

w(t + 1) = w(t) − [J^T(w(t))J (w(t))]⁻¹J^T(w(t))e(w(t)). (19) Wspomnianą modyfikacją Levenberga-Marquardta do metody Gaussa – Newtona jest założenie

S(w(t)) ≈ µI, (20)

gdzie µ jest parametrem algorytmu, I to macierz jednostkowa.

Po zastosowaniu modyfikacji danej równaniem (20) modyfikacja wag w me- todzie Levenberga-Marquardta wyglada następująco

w(t + 1) = w(t) − [J^T(w(t))J (w(t)) + µI]⁻¹J^T(w(t))e(w(t)) (21) czyli kierunek minimalizacji d(w(t)) przyjmuje postać

d(w(t)) = −[J^T(w(t))J (w(t)) + µI]⁻¹J^T(w(t))e(w(t)). (22) Parametr algorytmu µ zawiera się w przedziale (0, . . . ) i jest zmienny w trakcie uczenia. Jest on mnożony przez współczynnik β, β > 1, jeżeli przy- puszczalny następny krok zwiększa wartość błędu E danego wzorem (1) lub dzielony przez β jeżeli przypuszczalny następny krok zmniejsza tą wartość.

Można zauważyć, że kiedy µ przyjmuje ”duże” wartości, algorytm staje się metodą najszybszego spadku (z krokiem 1/µ), a dla małych wartości µ staje się algorytmem Gaussa – Newtona.