Rozdział 5. Uczenie ortogonalnych sieci neuronowych,
5.4. Szybkie obliczanie wartości wyjść FSNN
W [6] przedstawiono efektywny sposób obliczania wartości wyjścia MISO FSNN równocześnie dla wielu różnych wartości wejść wraz z propozycjami je-go zastosowania. Jedna z nich dotyczy wykonywania regularyzacji przez wczesne zatrzymanie [14].
n-wymiarowa DFT z przekształcenia danych wejściowych, które wykonuje
sieć, jest równa
ˆ Y (k1, . . . , kn) = M∑1−1 u1=0 M∑2−1 u2=0 . . . M∑n−1 un=0 ˆ y( [x1, x2, . . . , xn]T) e−j(k1x1x1+...+knxnpn) (5.23) Jeżeli znamy wartości współczynników ˆY , to w celu otrzymania wartości
wyj-ścia sieci jednocześnie dla M wektorów wejściowych, których elementy są rów-ne współrzędnym punktów leżących na hiperkracie opisarów-nej w podrozdziale 5.3, można obliczyć IDFT
ˆ y ( u1 p1 , . . . ,un pn ) ≈ 1 M M∑1−1 k1=0 M∑2−1 k2=0 . . . M∑n−1 kn=0 ˆ Y (k1, . . . , kn) ej(k1u1p1+...+knunpn.) (5.24) Zaproponowana w [6] metoda wyznaczania wartości wyjścia MISO FSNN dla różnych wartości wejść wymaga wykonania dwóch kroków:
– obliczenie współczynników określonych równaniem (5.23) na podstawie war-tości wag sieci,
– wyznaczenie odwrotnej DFT za pomocą algorytmów IFFT.
Obliczenie jednego współczynnika DFT wymaga wykonania O(2n) działań. Wystarczy obliczyć tylko współczynniki DFT dla k1 < M1/2 + 1, . . . , kn <
Mn/2 + 1, ponieważ pozostałe ˆY (k1, . . . , kn) są liczbami sprzężonymi. Złożoność
obliczeniowa n wymiarowej IFFT wynosi
O ( n ∑ v=1 ( n ∏ i=1 Mi ) log2Mv ) .
Całkowita zatem złożoność proponowanej metody to O ( 2n ( n ∏ v=1 Mv ) + n ∑ v=1 ( n ∏ i=1 Mi ) log2Mv ) .
Aby dokonać tych samych obliczeń bezpośrednio na podstawie równania (5.1), należałoby wykonać w przybliżeniu aż O(M2) działań.
W [6] zauważano, że w celu wyznaczenia wartości wyjścia sieci dla wekto-rów wejściowych, których elementy są wekto-równe współrzędnym punktów leżących na przesuniętej hiperkracie, należy współczynniki DFT przemnożyć przez liczbę Eulera podniesioną do odpowiedniej potęgi. Załóżmy, że przesunięcie wspomnia-nej hiperkraty względem punktu, którego wszystkie współrzędne są równe zeru, wynosi w i-tym wymiarze δi, gdzie δ1, . . . , δnsą liczbami rzeczywistymi. W takiej sytuacji należy współczynniki ˆY (k1, . . . , kn) przemnożyć przez
n
∏
i=0
ejpikiδi.
Wykonując obliczenia dla kilku przesuniętych hiperkrat, można zmniejszyć odle-głości pomiędzy rozważanymi punktami.
Metoda opisana w [6] może być wykorzystana w trakcie uczenia do śledzenia zmian przekształcenia danych wejściowych wykonywanego przez sieć. Zwłaszcza w układach adaptacyjnych, gdzie FSNN jest bez przerwy douczana, monitoro-wanie działania sieci często jest niezbędne. Przedstawiona metoda nadaje się do tworzenia dwuwymiarowych i trójwymiarowych wykresów ˆy. Można ją także
wykorzystać do wykonania regularyzacji przez wczesne zatrzymanie, jeżeli zbiór
{xk, yk} da się podzielić na zbiór testowy i zbiór danych do uczenia sieci w taki
sposób, żeby elementy wektorów xkze zbioru testowego były równe współrzędnym punktów leżących na n wymiarowej hiperkracie. Wówczas po każdej epoce ucze-nia (prezentacji wszystkich wektorów xk ze zbioru do uczenia) należy w opisany sposób wyznaczyć wartości wyjścia sieci dla wszystkich xk ze zbioru testowego. Wyniki te są niezbędne do obliczenia wybranej funkcji celu. Gdy wartość tej funkcji wzrasta, proces uczenia jest zatrzymywany. Typowy kształt zmian MSE odwzorowania wykonywanego przez sieć dla danych testowych i danych użytych do uczenia [14] przedstawiono na rysunku 5.5. Jeżeli nie jest możliwy podział zbioru{xk, yk} we wspomniany sposób, to można albo wykorzystać NUFFT,
al-bo aproksymować wartości yk odpowiadające punktom leżącym na wspomnianej hiperkracie i następnie z tych przybliżeń obliczyć IFFT. Szczególnie interesujące wydaje się połączenie przedstawionej metody z algorytmem najszybszego spad-ku. Mała liczba obliczeń jest wtedy potrzebna zarówno do wyznaczania zmian wag w kolejnych iteracjach, jak i do określenia właściwego momentu zakończenia treningu FSNN.
Rysunek 5.5. Zależność MSE od długości procesu uczenia dla zbioru danych uczących (przerywana linia) i zbioru testowego (ciągła linia)
5.5. Podsumowanie
ONN doskonale nadają się do wykorzystania w wielu aplikacjach, gdzie stoso-wane są sieci sigmoidalne, które mają niewielka liczbę wejść. Istotną wadą ONN jest wykładniczy wzrost liczby neuronów wraz ze zwiększeniem się liczby wejść sieci. Dlatego zaleca się przeanalizowanie możliwości zastosowania wraz z ONN metod redukcji wymiaru danych wejściowych, które zostały przedstawione między innymi w [4], [11], [16]. Bardzo interesujący sposób zmniejszenia wymiaru danych za pomocą głównych krzywych został pokazany w [12].
Dzięku dużej szybkości uczenia i małej liczbie potrzebnych obliczeń arytme-tycznych FSNN wraz z algorytmem najszybszego spadku doskonale nadają się do pracy w układach elektronicznych, w których dostępna moc obliczeniowa jest zbyt mała do uczenia innych rodzajów sieci neuronowych. Stosunkowo duża liczba różnych algorytmów, które mogą być wykorzystane do redukcji wpływu elemen-tów odstających, umożliwia wykorzystanie ONN do przetwarzania danych, wśród których mogą pojawić się błędy grube.
Nietrudno jest napisać program przeznaczony do szybkiego wyznaczania wag lub obliczania wartości wyjścia FSNN za pomocą FFT lub IFFT. Istnieje wiele
gotowych bibliotek z procedurami liczącymi FFT. Prawdopodobnie najszybszą, niezależną od sprzętu, biblioteką dostępną na licencji GNU General Public Licen-se jest FFTW (ang. Fastest Fourier Transform in the West ), którą można pobrać ze strony http://www.fftw.org. Dostępne są także wersje dla komputerów wie-loprocesorowych oraz do obliczeń rozproszonych. Wielowymiarową FFT można wyznaczyć przez wielokrotne obliczanie jednowymiarowych DFT. Do otrzymania współczynników DFT lub IDFT z danych rzeczywistych zaleca się zastosować algorytm „2N punktowej rzeczywistej FFT”. Umożliwia on zmniejszenie liczby mnożeń o 30 procent.
Sprzętowa realizacja sieci neuronowych umożliwia w pełni wykorzystać poten-cjał, jaki ma ich równoległa architektura. Na rynku dostępnych jest wiele ukła-dów scalonych, zawierających w sobie różne struktury sieci neuronowych. Brak jest jednak rozwiązań dedykowanych do ONN. Układy programowalne FPGA doskonale nadają się do wykorzystania sprzętowej implementacji ONN. Obecnie produkowane FPGA zawierają setki bloków mnożących, które potrafią wykonać miliardy obliczeń na sekundę. Układy te można wygodnie zaprogramować za pomocą języków opisu sprzętu, np. VHDL lub Verilog.
Bibliografia
[1] Bj¨orck A., Numerical Methods for Least Squares Problems, SIAM, Amsterdam, 1996. [2] Chu E., George A., Inside the FFT Black Box: Serial and Parallel Fast Fourier
Transform Algorithms, CRC Press, Boca Raton, 2000.
[3] Daniłow W., Iwanowa A., Isakowa K., Lusternik L., Salechow G., Chowański N., Cłaf J., Janpolski A., Funkcje, granice, szeregi, ułamki łancuchowe, PWN, Warsza-wa, 1970.
[4] Diamantaras K., Kung S., Principal component neural networks – Theory and
ap-plications, Springer, New York, 1996.
[5] Groß J., Linear Regression, Springer-Verlag, Berlin, 2003.
[6] Halawa K., Szybka metoda obliczania wyjść fourierowskich sieci neuronowych w
Sterowanie i automatyzacja: aktualne problemy i ich rozwiązania, (red.) Krzysztofa
Malinowskiego, Leszka Rutkowskiego, Exit, Warszawa, 2008, 652–659.
[7] Halawa K., Fast and Robust Way of Learning the Fourier Series Neural Networks on
the Basis of Multidimensional Discrete Fourier Transform Lecture Notes in
Com-puter Science: Lecture Notes in Artificial Intelligence, Proc. of 9th Int. Conf. on Artificial Intelligence and Soft Computing, 2008, Vol. 5097, 62—70.
[8] Halawa K., Optymalizacja procesu uczenia fourierowskich sieci neuronowych przy
wykorzystaniu algorytmu najszybszego spadku, Przegląd Elektrotechniczny, 6/2008,
125–127.
[9] Halawa K., Determining the Wegihts of a Fourier Series Neural Network on the
Basis of Multidimensional Discrete Fourier Transform, International Journal of
[10] Hansen Ch., Rank-Deficient and Discrete Ill-Posed Problems – Numerical Aspects
of Linear Inversion, SIAM, Philadelphia, 1998.
[11] Hyv¨arinen A. and Oja E., Independent Component Analysis: Algorithms and
Ap-plications, Neural Networks, 2000, Vol. 13, No. 4, 411–430.
[12] Kegl B., Krzyżak A., Linder T., Zeger K., Learning and Design of Principal Curves, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, Vol. 22, No. 3, 281–297.
[13] Liu Q.H., Nyguen N., An accurate algorithm for nonuniform fast Fourier
trans-forms, IEEE Microwave Guided Wave Letters, 1997, Vol. 8, No. 1, 18–20.
[14] Nelles 0., Nonlinear System Identification From Classical Approaches to Neural
Network and Fuzzy Model, Springer-Verlag, Berlin, 2001.
[15] Osowski S., Sieci neuronowe w ujęciu algorytmicznym, WNT, Warszawa, 1997. [16] Osowski S., Sieci neuronowe do przetwarzania informacji, Oficyna Wydawnicza
Po-litechniki Warszawskiej, 2006.
[17] Rafajłowicz E., Algorytmy planowania eksperymentu z implementacjami w
środowi-sku Mathematica, PLJ, Warszawa, 1996.
[18] Rafajłowicz E., Pawlak M., On Function Recovery by Neural Networks Based on
Orthogonal Expansions, Nonlinear Analysis, Theory and Applications, 1997, Vol. 30,
No. 3, 1343–1354, Proc. 2nd World Congress of Nonlinear Analysis, Pergamon Press. [19] Rusiecki A., Algorytmy uczenia sieci neuronowych odporne na błędy w danych, Praca
doktorska, Politechnika Wrocławska, 2007.
[20] Sher C.F, Tseng C.S. and Chen C.S., Properties and Performance of Orthogonal
Neural Network in Function Approximation International Journal of Intelligent
Sys-tems, 2001, Vol. 16, No. 12, 1377–1392.
[21] S¨oderstr¨om T., Stoica P., Identyfikacja systemów, PWN, Warszawa, 1997.
[22] Stasiński R., O liczeniu dyskretnej transformacji Fouriera, Wydawnictwo Politech-niki Poznańskiej, 2005.
[23] Tseng C.S., Chen C.S., Performance Comparison between the Training Method and
the Numerical Method of the Orthogonal Neural Network in Function Approxima-tion, International Journal of Intelligent Systems, 2004, Vol. 19, No. 12, 1257–1275.
[24] Van Loan Ch., Computational Frameworks for the Fast Fourier Transform, SIAM, Philadelphia, 1992.
[25] Walker J.S., Fast Fourier Transforms, CRC Press, Boca Raton, 1996.
[26] Zhu C., Shukla D., Paul F.W., Orthogonal Functions for System Identification and
Control, Control and Dynamic Systems: Neural Network Systems Techniques and
Applications, 2002, Vol. 7, 1–73 pod redakcją: Leondes C.T., Academic Press, San Diego.