Klasyfikacja wzorców wystepujących w finansowych szeregach czasowych przy użyciu sieci neuronowych Kohonena

Pełen tekst

(1)Paweł. Lula. Katedra Informatyki. Janusz Morajda Katedra Informatyki. Klasyfikacja wzorców występujących w finansowych szeregach czasowych przy UŻYciu sieci neuronowych Kohonena* Streszczenie: W artykule przedstawiono metodę bezwzorcowej klasyfikacji fonnacji występu~ w szeregach czasowych przy wykorzystaniu sieci Kohollcna. Zaproponowano opaną o sieć Kohoncna procedurę klasyfikacji wzorców generowanych przez indeks giełdowy WIG i zaprczen~ towano wyniki tej analizy wraz z ich wizualizacją graficzną. Przedyskutowano wyniki tej analizy wraz z ich wizualizacją graficzną. Przedyskutowano możliwości praktycznego wykorzystania tej metody w modelowaniu i prognozowaniu szeregów czasowych. Słowa kluczowe: sieci neuronowe, sieci Kohollcna, klasyfikacja bezwzorcowa, analiza szeregów czasowych.. jących. l. Wprowadzenie W zagadnieniu analizy i modelowania finansowych szeregów czasowych elementem jest poszukiwanie i identyfikacja w danym szeregu charakterystycznych fragmentów (wzorców, zwanych też formacjami), posiadają cych podobne własności. Określenie sposobu kształtowania się wartości szeregu w wyodrębnionych w przeszłości fragmentach może stanowić podstawę do wydawania sądów dotyczących kształtowania się jego kolejnych wartości w aktualnie zidentyfikowanych formacjach. Podejście tego typu realizowane jest na gruncie analizy technicznej rynków finansowych, gdzie na podstawie. ważnym. • Niniejsza praca. powstała. w ramach tematu badawczego nr 76/Kl/4120QO/S..

(2) Paweł. Lula, Janusz. subiektywnej oceny wzrokowej badacza lub przy wykorzystaniu wartości wyznaczonych wskaźników technicznych określana jest aktualna sytuacja i dokonywanajest próba prognozy. Wysoce celowe może okazać się jednak zastosowanie odpowiednio skonstruowanych modeli służących do rozpoznawania i klasyfikacji wzorców w finansowych szeregach czasowych. Narzędziem pomocnym przy poszukiwaniu wzorców w szeregach czasowych mogą być metody taksonomiczne. Dyskusję dotyczącą możliwości oferowanych w tym zakresie przez metody grupowania znaleźć można między innymi w pracy [Metody ... 1988]. Analiza formacji występujących w szeregach czasowych może również zostać przeprowadzona za pomocą neuronów. W niniejszej pracy scharakteryzowano metodę identyfikacji (klasyfikacji) wzorców przeprowadzoną za pomocą sieci neuronowej Kohonena.. 2. Sieci Kohonena Jako be:zwzorcowel. nar:z:ęd:zla. do klasyfikacji. Sieci Kohonena (określane również jako samoorganizujące się mapy SOM - se(f-organizing I1WpS) są sieciami dwuwarstwowymi [Kohonen 1995; Grabowski 1998; Rojas 1996; Tadeusiewicz 1993 ,Inteligentne ... 2000; Żurada, Barski, Jędruch 1996]. Neurony znajdujące się w pierwszej warstwie (wejścio wej) służą jedynie do wprowadzenia wartości wejściowych do sieci. Zasadnicze przetwarzanie danych odbywa się w neuronach drugiej (wyjściowej) warstwy sieci (tzw. warstwy Kohonena) zorganizowanej najczęściej w postaci dwuwymiarowej siatki (mapy). Każdy neuron tej siatki jest połączony z wszystkimi elementami wejściowymi (rys. 1).. Rys. 1. Schemat sieci Kohonena o wymiarach 8 x 8, posiadaj'lcej 3 neurony wejściowe Źródło:. opracowanie własne..

(3) wzorców ... Sieć Kohonenajest uczona w sposób nienadzorowany (bez nauczyciela). Po podaniu wzorca uczącego na wejście sieci każdy neuron warstwy Kohonena wyznacza wartość miary odległości pomiędzy wektorem wartości wejściowych a własnym wektorem wag. Neuron, dla którego wyznaczona odległość jest najmniejsza, określany jest neuronem zwycięskim. Uczeniu (modyfikacji wag) podlega jedynie neuron zwycięski oraz pewne neurony z jego sąsiedztwa. Dla każdego z neuronów podlegających uczeniu obliczany jest wektor różnic pomiędzy wektorem wejściowym a wektorem wag, a następnie, po przemnożeniu przez pewien dodatni (mniejszy od jedności) współczynnik, jest on dodawany do aktualnego wektora wag. Po przeprowadzeniu tej operacji wektory wag tych neuronów przybliżają się do bieżącego wektora wejściowego sieci. Przy dokonywaniu modyfikacji wag neuronów sąsiadujących z neuronem zwycięskim w początkowej fazie uczenia uwzględnia się sąsiadów znajdujących się w obszarze o dużym promieniu, zaś w trakcie uczenia zakres uwzględnianego sąsiedztwa ulega stopniowemu zmniejszeniu. W kOl\cowej fazie uczony jest wyłącznie neuron zwycięski. Ogólnie więc w procesie uczenia neurony współ pracują ze swoimi sąsiadami, a konkurują z neuronami z innych obszarów mapy Kohonena. W rezultacie proces uczenia porządkuje mapę w ten sposób, że wzorce podobne do siebie w przestrzeni cech (w sensie określonej metryki) są reprezentowane przez neurony warstwy wyjściowej leżące w bliskim sąsiedz twie (obiektom zbliżonym do siebie odpowiadają sąsiadujące neurony). Sieć Kohonena można uważać za narzędzie realizujące nieliniowe przekształcenie dowolnej przestrzeni metrycznej w dyskretną przestrzeI1 dwuwymiarową, a także za metodę realizującą dopasowanie skończonej liczby wektorów kodowych (wektorów wag neuronów mapy) do rozkładu obiektów w przestrzeni cech. Po zakończeniu procesu uczenia pewne neurony mapy (niekiedy wraz ze swoimi sąsiadami) reprezentują związane z nimi skupiska (klasy) wzorców, generując najsilniejsze sygnały na podane na wejściu wzorce z danej klasy. Ważną zaletą sieci Kohonena, oprócz zdolności do grupowania obiektów, jest także możliwość wizualizacji procesu grupowania poprzez analizę dwuwymiarowej mapy, na której sąsiednie neurony odwzorowują podobne do sicbie wzorce (grupy wzorców), a odległe neurony reprezentują odległe klasy.. 3. Problem klasyfikacJI wzorców wygenerowanych przez Indeks WIG Przedstawiony powyżej model sieci, często wykorzystywany w klasyfikacji bezwzorcowej, może służyć do identyfikacji wzorców występujących w szeregu czasowym [Inteligentne ... 2000]. W charakterze danych wejściowych wykorzystuje się wówczas zwykle wartości opóźnione szeregu lub wartości wybranych mierników wyznaczonych na podstawie danych pochodzących z wcześniejszych okresów..

(4) Paweł. Lula, Janusz. Mn.1'n1f1n. W zaprezentowanych niżej badaniach dokonano próby klasyfikacji bezwzorcowej (grupowania) wektorów generowanych przez kolejne 20 wartości' indeksu giełdowego WIG. Wykorzystane dane obejmują wszystkie dzienne wartości indeksu WIG z okresu od pierwszego notowania (16.04.1991) do 8.11.2000 r. Do konstrukcji analizowanych wzorców przyjęto zamiast bezwzgłędnych wartości indeksu WIG wzgłędne zmiany indeksu liczone wstecz w stosunku do danej obserwacji w oknie obejmuj"cym od I do 20 poprzednich wartości indeksu. Tego typu przekształcenie jest łatwe do interpretacji w przypadku szeregów finansowych, a kształt wzorca nie zależy od bezwzględnej wartości indeksu. Tak więc wzorzec w chwili" składa się z następujących 20 wartości:. gdzie: oznacza wartość WIG w chwiłi i. W ten sposób otrzymano 1918 wzorców, które zostały poddane procesowi grupowania przy braku jakichkolwiek założeń co do liczby klas. Celem grupowania jest zdobycie informacji o istniejących w szeregu WIG i możliwych do wyodrębnienia klasach wzorców, lic zebności tych klas, kształcie typowych dla danej klasy formacji , a także o typowych sekwencjach wzorców. Zagadnienie to stanowi typowy problem wydobywania wiedzy (Dala Mining), przydatnej w analizie rynków finansowych. W analizowanym problemie zastosowano typową sieć Kohonenil z kwadratową mapą neuronów o wymiarach 10 x 10. Wielkość sąsiedztwa (podlegają cego uczeniu wraz z neuronem najsilniej reagującym na dany wzorzec) określono na l. Oznacza to, iż wraz z neuronem zwycięskim uczeniu podlega jeszcze 8 sąsiednich elementów. Przyjęto współczynnik uczenia równy 0,1 zmniejszający swoją wartość o 0,001 po każdej epoce uczenia. Wzorce wejściowe poddano standaryzacji (polegającej na odjęciu wartości średniej i podzieleniu otrzymanych wielkości przez odchylenie standardowe). Początkowe wartoś ci wag neuronów (wektorów kodowych) określono jako liczby łosowe z przedziału [-1,1]. Przyjęto liczbę epok uczenia (ilość prezentacji całego ciągu uczącego zawierającego 1918 wzorców) równą 120. Xi -. I Parametr zwitlznny z długością analizowanego okna szeregu czasowego, wynoszący tu 20 kolejnych realizacji szeregu, dobrano arbitralnie..

(5) wzorców .... 4. Rezultaty uzyskane w analizowanym procesie klasyfikacJI W wyniku przeprowadzonego uczenia sieci otrzymano wynik w postaci gotowej mapy Kohonena z określonymi liczbami wzorców reprezentowanych przez każdy neuron mapy. Wartości wag tych neuronów stanowią współrzęd ne poszczególnych wektorów, reprezentujących klasy wzorców odwzorowywanych przez te neurony. Wektory te można zatem uważać za wzorce z poszczególnych klas. 2. 3. 4. 5. 6. 7. 8. 9. 10. SI S2 S3 S4 S5 S6 S7 S8 S9 SIO. Rys. 2. Obraz dwuwymiarowej mapy Kohonena o wymiarach IOxlO po zakończeniu procesu uczenia. Liczby określają ilość wzorców reprezentowanych przez poszczególne neurony mapy, tzn. wzorców, na które dany neuron reaguje najsilniej. Spójne obszary zaznaczone naprzemienni e odcieniami szarości i rozgraniczone podwójnymi liniamP przedstawiają. grupy neuronów o podobnych wektorach kodowych (wag), it wzorce (obiekty) reprezentowane przez neurony z jednej grupy można zaliczyć do jednej klasy. Na przedstawionej mapie wyróżniono 13 takich klas, zaś za typowych reprezentantów poszczególnych klas można uznać wektory kodowe neuronów odwzorowujących największą liczbę wzorców w określonych klasach. Są to elementy o wspólrzędnych: (5, S l), (3, S2), (7, S2), (I, S3), (9, S3), (1, S6), (5, S6), (3,S7), (1, S9), (3, S9), (5, S9), (7,S9), (9,SIO) Źródło: obliczenia własne. 2. Kwadraty stykające się do tej samej klasy.. należące. narożnikami. i o tym samym odcieniu. szarości reprezentują. neurony.

(6) Pawel Lula, Janusz. M"rn"to. Dokonując podzialu wzorcÓw na grupy można założyć, że każdy neuron mapy jest związany z odrębną grupą obiektów. Mając jednak na uwadze, iż w tej metodzie sąsiednie neurony reprezentują podobne WZOrce (klasy wzorców), celowe wydaje się dokonanie lączenia (grupowania) sąsiednich neuronów, kwalifikując tym samym wszystkie wzorce odwzorowywane przez neurony z pewnego obszaru mapy do jednej grupy. Podział mapy Kohonena na tego typu obszary ma poniekąd charakter arbitralny i jest dokonywany na podstawie analizy wizualnej mapy z uwzględnieniem ił ości WZOrców reprezentowanych przez poszczególne neurony'. Liczba wyodrębnionych obszarów mapy określa liczbę grup wzorców.. 90 -VL-ł'n. SI. \O. • 180-2\0. 1liI150-180. • 120-150 D 90-120. O GO-90. • 30-60. 11!1 0-30. Rys. 3. Trójwymiarowa prezentacja mapy Kohonena przedslawiająca graficznie liczby wzorców reprezentowanych przez poszczególne neurony Źródł o: obliczenia włnsnc. 3 Niekiedy obszary te są wyrat.nic wyodrębnione i rozgraniczone przez "puste" fragmenty mapy, jednak czasami wyznaczenie granicy pomiędzy obszarami może okazać się trudnym problemem,.

(7) Klasyfikacja WZorców .. ,. Na rys, 2 zaprezentowano obraz otrzymanej mapy Kohonena z podaniem liczby wzorców reprezentowanych przez każdy neuron i z zaproponowanym podzialem mapy na obszary, odwzorowujące poszczególne grupy wzorców, Wyniki te przedstawiono też graficznie w postaci trójwymiarowego wykresu (rys, 3) oraz w postaci mapy z poziomicami (rys, 4), SI S2 S3 54. SS S6 S7 S8 S9. SIO 2. •. 3. 180-210. O 60-90. 4. 5. 6. 7. 111 150-180. •. 120-150. O 30-60. •. 0-30. 8. 9. 10. O 90-120. Rys, 4, Dwuwymiarowy obraz siatki Kohonena, stanowiący widok z góry graficznej reprezentacji z rys. 3, z wykorzystaniem techniki poziomic. Wizualizacja ta stanowi swoiste uzasadnienie podziału siatki na obszary odwzorowujqce poszczególne klasy wzorców, Żróclło:. obliczenia własne.. W efekcie procesu uczenia sieci Kohonena oraz analizy otrzymanych rezultatów (liczby wzorców reprezentowanych przez poszczególne neurony) dokonano kompletnego pog1'l1powania wzorców na 13 klas, zgodnie ze schematem przedstawionym na rys. 2. Uzyskaną klasyfikację można wykorzystać do analizy historycznych notowań indeksu WIO, natomiast otrzymany model w postaci sieci Kohonena może być używany do klasyfikacji (identyfikacji) pojawiających się nowych wzorców generowanych przez aktualne notowania WIO..

(8) Pawel Lilia, Janusz Morajda. Neuron (5,SI). Neuron (9, S3). r. p .P. '\,. "-0-0"". 'o.".,. d. !O2 IQ(} 98 96 94 92 90. Neuron (3, S9). 110. ~. ". !O5 IQ(}. ~. 95. Nellrou (7, S2) !O5 ~. ~. /. !od. 105 ~. IQ(}. 95. 95. 90. 90. Rys. 5. Wzorce (formacje) indeksu WIG będące typowymi reprezentantami czterech wybranych klas. Źródło:. opracowanie własne.. Na rys. 5 przedstawiono typowe wzorce reprezentowane przez neurony odwzorow ujące najwięcej obiektów z wybranych kiJku klas. Wzorce przedstawiają zachowanie indeksu WIG podczas kolejnych 21 notowm\, przy zalożeniu końcowej wartości indeksu równej 100.. 5. Rozpoznawanie wzorców lako etap modelowania szeregu czasowego Dysponując zrealizowaną klasyfikacją wzorców generowanych przez badany szereg czasowy (np. indeks WIG) można wykorzystać ją w procesie prognozowania zmian dallego szeregu. Możliwe jest tu zastosowanie następujących metod analizy: .- identyfikacja (klasyfikacja) bieżącej formacji na podstawie rozpoznania jej początkowego fragmentu - wówczas kształt końcowej części typowego wzorca z danej klasy generuje prognozę dalszego przebiegu szeregu, - próba identyfikacji typowych sekwencji formacji występujących w szeregu poprzez analizę kolejności pojawiania się rozpoznawanych wzorców - wówczas rozpoznanie określonego wzorca (sekwencji wzorców) stanowić może przesłankę do wnioskowania o następnej oczekiwanej fonnacji i tym samym do prognozowania szeregu..

(9) wzorców .... Opisana w niniejszej pracy klasyfikacja fragmentów szeregu czasowego przy zastosowaniu sieci Kohonena może posłużyć też do podziału szeregu na części w celu przeprowadzenia szeroko rozumianego modelowania. Modelowanie takie może być realizowane niezależnie dla wydzielonych części (fragmentów) szeregu. Proces podziału szeregu czasowego na fragmenty obejmujące obserwacje zaliczone do tych samych klas może więc stanowić etap wstępnego przygotowania danych na potrzeby takiego sposobu modelowania. W wyniku przeprowadzenia procedury klasyfikującej, kolejne obserwacje szeregu zostały przypisane do klas reprezentowanych przez neurony wyjściowe sieci Kohonena. Dane wchodzące w skład każdego z wyróżnionych podzbiorów stanowią podstawę do budowy niezależnego modelu opisującego zachowanie szeregu. Do zasadniczych cech takiego sposobu postępowania należy zaliczyć następujące właściwości:. - poszczególne modele przystosowane są do podobnych fragmentów szeregu; temu są w stanie lepiej opisywać występujqce prawidłowości, - modele budowane dla różnych fragmentów szeregu mogą korzystać z róż nych zestawów informacji wejściowych, - w przypadku analizy długich szeregów czasowych podział na jednorodne fragmenty może przyczynić się do uproszczenia struktury stosowanych modeli i do znacznego skrócenia czasu niezbędnego do ich oszacowania. - istnieje możliwość wykorzystania odmiennych typów informacji w trakcie wyodrębniania podobnych fragmentów szeregu oraz w czasie budowy poszczególnych modeli. Scharakteryzowana w niniejszej pracy metoda identyfikacji wzorców może też być stosowana łącznie z dekompozycją szeregu czasowego na składowe, generowane np. w wyniku transformacji Fouriera lub transformacji falkowej [por. Lula 1999]. Analizowany szereg czasowy poddawany jest wówczas najpierw procesowi dekompozycji. Rezultatem tej operacji są składowe reprezentujące wahania o rozłącznych zakresach częstotliwości. Następnie, niezależnie dla każdej składowej, realizowany jest proces wyszukiwania wzorców przy zastosowaniu sieci Kohonena. Kolejnym etapem oblicze!l jest modelowanie prawidłowości występujących w kształtowaniu się składowych - przy czym budowane są oddzielne modele dla zidentyfikowanych, podobnych fragmentów każdej składowej. dzięki. 6. Podsumowanie W niniejszej pracy scharakteryzowano metodę klasyfikacji formacji wystę w finansowych szeregach czasowych przy wykorzystaniu sieci neuronowych Kohonena. Narzędzia te umożliwiają grupowanie obiektów bez przyjmowani<\ wstępnych założeń określających liczbę klas, a także wizualizację efektów tego procesu. Z kolei przeprowadzono badania obejmujące klasyfikację 20-elementowych wzorców występujących w szeregu czasowym stanowiącym pujących.

(10) Pawel Lula, Jallusz notowania indeksu giełdowego WIG. Wyniki badań potwierdzają przydatność map Kohonena w analizowanym zagadnieniu, a tym samym w problemach zdobywania wiedzy (Dala Mining) , polegających na poszukiwaniu i identyfikacji wzorców (formacji) w finansowych szeregach czasowych. Om ówiona metoda może zostać wykorzystana np. w modelowaniu rynku finansowego (tworzenie oddzielnych modeli dla poszczególnych klas wzorców), w ocenie bieżącej dynamiki notowań określonych instrumentów finansowych oraz w prognozowaniu szeregu czasowego. Rozwinięcie przedstawionych tutaj badań może obejmować m.in. porównanie efektywności procesu grupowania przy zastosowaniu sicci Kohonena z efektywnością metod klasycznych, próby prognozowania szeregów czasowych za pomocą modeli skonstruowanych niezależnie dla poszczególnych wzorców zidentyfikowanych w szeregu oraz wykorzystanie efektów grupowania w teoretycznej analizie dynamiki finansowych szeregów czasowych . Tematyka dalszych badań może także dotyczyć optymalnego doboru parametrów metody opartej na sieciach Kohonena.. literatura Azoff E.M. [1994]. Nel/ral Network Tillle Series Forecastillg ol Fi/lGllcial Markets, Wiley, New York. Deboeck [1997], Fillallcia/ Applicatiolls ol Self-Orgallizillg Maps, Viscovery SOMine CD-ROM produced by Eudaplics GmbH, Austria. Grabowski M. [l997], Sieci neuronowe w analizie don)'ch społeczno-ekonomicznych, praca doktorska, Akademia Ekonomiczna w Krakowie, Kraków, Haykin S. [1994], Neural Nenvorks. A COlllprehe/lSive FOl/lulatiol1, Maemillan College Pbl. Co., New York. lllteligelltlle systemy w zarządwniu-teoria i praktyka [2000], pod red. S.l. Zielińskiego,. Wydawnictwo Naukowe PWN, Warszawa, Jajuga K, [1990], Statystyczna teoria rozpoZIUlwallia obrazów, PWN, Warszawa, Kohonen T. [1995], Sell-orgmtizing Maps, Springcr-Verlng, Berlin. Lula p, [1999], Jednokiel'llllkowe sieci neuronowe \V modelowa/1iu ljawisk ekollomicznych, Wyd . AE w Krakowie, Kraków.. Metody taksoJ/omiczne IV badalliacll spolecvlO-ekollomicVlych [ł 988], J, Pociecha, B. Podolec, A. SOkolowski, K, Zaj~c, PWN , Warszawa, Morajda J., [1999], Applicatiolls ol Nel/ral Networks il1 the Finallcial Markets - Selected Aspects, Proc. of Ihe 4'" Conference New'al NetIVorks a/ld T/wir Applicltfio/ls, Zakopane. New'al Networks il1 tile Capital Markets [1995]. A.P. Refene s (red.), ChichesIeI', Wiley. Osowski S. [1996], Sieci lIeurollowe w ujęciu algorylmlcwym, WNT, Warszawa, Rajas R. [1996], Neural Networks. A Systema/ic ltllroduction, Springer-Verlag. Rutkawska D., PiliJiski M., Rulkowski L. [1997]. Sieci lIeUr0l10lVe, algorytmy genetycZlle i syslem)' rozmyte, PWN, Warszawa, Tadctlsiewicz R, [1993], Sieci nel/ronowe I Akademicka Oficyna Wydawnicza RM, Warszawa, Zuraua J.. Barski M" Jędruch W, [1996], Sztuczne sieci neuronowe. Podstawy teorii i zasto· sow(lIIia, PWN, Warszawa,.

(11) wzorców .... Classificatlon of Pallerns Occurrlng in Financlal Time Serles with Application of Kohonen Neural NeIWorks The paper pl'Csents the method af cluster analysis for patterns occurring in time series with the lIse af Kohonen neural netwarks. 'fhe classification procedure for patterns created in the chart ot' stack index WIG has been propased. The results af the performed analysis anel their graphical visualization have been presented. 'fhe possibilities of practical application. of the method to time series model ing and forecasting have been discllssed..

(12)