Czynniki efektywnego wykorzystania sieci neuronowych w procesie modelowania rynków finansowych

Pełen tekst

(1)604. Janusz Morajda Katedra Informatyki. Czynniki efektywnego wykorzystania sieci neuron0!'rch w procesie modelowania rynkow tiriansowych Streszczenie: W mtykulc przedstawiono istotne czynniki warunkujące skuteczność zastosowa~ nia sieci neuronowych w modelowaniu finansowych szeregów czasowych, fi także w prognozowaniu kursów akcji i innych instrumentów oraz w gcncrO\vaniu decy7Ji inwestycyjnych na rynkach finan~ sowycll. W pewnych zagadnieniach podano metody i kierunki poszukiwania rozwiązań dla danych problemów, Zaprezentowano też na podstawie literatury kilka typowych zastosowań sieci neuronowych na rynkach finansowych. Słowa kluczowe: sieci neuronowe, prognozowanie,. 1. Wprowadzenie W ostatnich latach można zaobserwować dynamiczny rozwój metod modelowania systemów i analizy danych wykorzystujących sieci neuronowe' (SN) - narżędzia inspirowane funkcjonowaniem naturalnych struktur neuronów w mózgu. Jak potwierdzają liczne badania, sieci neuronowe wykazują wysoką efektywność w modelowaniu różnych złożonych obiektów o nieznanych parametrach. Są przy tym metodami nieliniowymi, nieparametrycznymi oraz wykazującymi wysoką odporność na szumy, co czyni je szczególnie przydatnymi w zagadnieniach analizy i prognozowania rynków finansowych. Główne obszary wykorzystania SN w tej dziedzinie to: - prognozowanie wartości indeksów rynku (market timing) , - selekcja akcji i obligacji w portfelu inwestycyjnym, - prognozowanie kursów walut, I. Sieci neuronowe omówione są w bogatej literaturze [por. Tadeusiewicz 1993, Haykin 1994,. Osowski J 996, Rutkowska 1997, Zieliński 2000)..

(2) Janusz - szacowanie ryzyka inwestycyjnego. Sieci neuronowe wykorzystywane do analizy danych finansowych stały się obiektem zainteresowalI zarówno badaczy rozwijających teoretyczne i praktyczne aspekty zastosowania SN w tej problematyce,jak i praktyków (np. menedżerów funduszy inwestycyjnych) stosujących te narzędzia do wspomagania decyzji inwestycyjnych. Ich prace zaowocowały olbrzymią liczbą publikacji związa nych z wykorzystaniem SN do analizy rynków lub prognozowania kursów poszczególnych instrumentów finansowych. Spektrum tej literatury rozpoczyna się od krótkich ogólnikowych raportów, zawierających głównie doniesienia o praktycznych rezultatach zastosowań SN (z reguly bez żadnych informacji na temat topologii używanej sieci), a kończy na opracowaniach czysto naukowych o charakterze badawczym. Publikacje poświęcone tej tematyce można znaleźć zarówno w periodykach poświęconych SN (np. New'al Networks),jak i w pismach z zakresu finansów (np. FillanciaL AnaLysf JOlll"llaL). Wydawane są również specjalistyczne czasopisma dotyczące zastosowań SN na rynkach kapitałowych, a także wydawnictwa książkowe [por. np. Azoff 1994, Refenes 1995, Zielitiski 2000]. Niniejszy artykul ma na celu zaprezentowanie typowych zastosowań SN na rynkach finansowych oraz (przede wszystkim) zwrócenie uwagi na szereg uwarunkowań efektywnego wykorzystania sieci neuronowych w modelowaniu tych rynków. Praca stanowi próbę syntetycznego przedstawienia istotnych aspektów dotyczących finansowych zastosowań SN , których uwzględnienie może mieć duży wplyw na powodzenie badań.. 2. Przykłady zaslosowanla sieci neuronowych na rynkach finansowych Poniżej skrótowo omówiono kilka przykładowych publikacji, prezentujących typowe zastosowania sieci neuronowych na rynkach finansowych. W artykule [Trippi, DeSieno 1992] zostało opisane zastosowanie SN do . prognozowania indeksu rynku akcji. Sześć odpowiednio nauczonych sieci zostało użytych do generowania sygnałów zakupu lub sprzedaży dla stosowanego na giełdzie nowojorskiej indeksu Standard&Poor's 500 (pojęcie kupna/sprzedaży indeksu można odnosić do transakcji dotyczącej pakietu akcji o skI adzie proporcjonalnym do zestawu papierów tworzących indeks). Wartościami wejściowymi dla sieci są wybrane wielkości i wskaźniki techniczne oparte na danych z okresu dwóch tygodni poprzedzających moment decyzji. Każda z sieci jest odpowiednio przygotowywana (douczana) przed kolejną sesją gieł dową. W celu wygenerowania rekomendacji zakupu/sprzedaży w danej chwili stworzono prosty system podejmujący decyzje na podstawie wartości wyjścio wych wszystkich sieci. Rezułtaty funkcjonowania takiego systemu okazały się lepsze niż poszczególnych sieci osobno,jak również były znacznie lepsze od pasywnej strategii inwestycyjnej opartej o wzrost indeksu S&P 500..

(3) wykorzystania sieci neuronowych .... Inny przykład zastosowania SN, tym razem w zagadnieniu selekcji właści wych akcji do portfela inwestycyjnego, opisano w pracy (Kryzanowski i in. 1993). Jako kryterium wyboru akcji przyjęto prognozowany zysk z inwestycji w akcje danej firmy w ciągu najbliższego roku. W celu wykorzystania SN do prognozowania tych zysków, przygotowano zbiór uczący zawierający 88 zmiennych wejściowych, obejmujących 28 czynników fundamentałnych (związanych z czternastoma wybranymi wskaźnikami finansowymi danej firmy), 25 wielkości (również opartych o wskaźniki finansowe) przedstawiających pozycję danej firmy na tle swojej branży oraz 35 wielkości stworzonych na podstawie 7 wybranych wskaźników makroekonomicznych. Wykorzystano dane z 23 l firm (przypadków). Uzyskane rezultaty, otrzymane dla niezależnego zbioru testują cego, były dość obiecujące, np. w zagadnieniu podziału akcji na dwie grupy (odpowiednio przynoszące zysk i stratę) średnio w 66,4% przypadków sieć podejmowała prawidłowe decyzje, w 26,2% były to decyzje błędne, zaś w 7,4% przypadków sieć nie wygenerowała decyzji. W artykule [Siriopoułos i in. ł 996] zaprezentowano wyniki badali zastosowania SN do prognozy kierunków krótkoterminowych trendów rynku akcji oraz predykcji zmian kursu wybranych akcji w ID-dniowym horyzoncie czasowym . .Tako informacje wejściowe dla SN wykorzystano wybrane wskaźniki analizy technicznej, a w przypadku prognoz dla akcji - także pewne dane o charakterze fundamentalnym. Jako typ SN zastosowano perceptron z jedną warstwą ukrytą, uczony za pomocą algorytmu wstecznej propagacji błędów, przeprowadzono także empiryczne badania wielkości warstwy ukrytej. Pokrótce przeanalizowano zagadnienia doboru i wstępnego przetwarzania danych wejściowych, wielkości zbioru uczącego oraz długości procesu uczenia. Otrzymano obiecujące rezultaty funkcjonowania sieci, np. w przypadku predykcji kursu akcji otrzymano 68% poprawnych prognoz dotyczących wzrostu lub spadku kursu. Następnie zaproponowano aktywną strategię inwestycyjną wykorzystującą regułę logiczną' opartą na sygnałach wyjściowych SN. Ocena zastosowania tej strategii, dokonana na podstawie szeregu kryteri6w (np. całkowity zysk, wskaźnik Sharpe'a', itp.) okazała się istotnie lepsza niż podobna ocena strategii pasywnej, przy czym wykazano dużo większą skuteczność aktywnej strategii wykorzystującej SN dla rynku greckiego Uest to rynek rozwijający się o stosunkowo niskiej efektywności) niż dla znacznie bardziej rozwiniętego rynku niemieckiego. W artykule przedyskutowano także wybrane aspekty dotyczące ryzyka związanego z aktywną strategią inwestycyjną.. 2. Decyzja kupna. była. generowana w sytuacji, gdy pojawia!. się. dodatni. sygnał wyjściowy. sieci. był on większy od sygnału z poprzedniego dnia; decyzja sprzedaży podejmowana była jeżeli sygnał wyjściowy sieci mial wartość niższą nii sygnuł poprzedni oraz (\\luTUnek opcjonnlny) gdy. i. od chwili kupna lIl)łynęlo więcej nii. 4 dni. J Wskaźnik Shllrpe'l\ stanowi określoną liczbową miarę oceny strategii inwestycyjnej lub pOltfela inwestycyjnego, llwzględniajqcq zarówno zysk, jnk i ryzyko [por. np. Bodie i in. 1993]..

(4) Janusz. Mnmuln. W pracy [Morajda 2000] zaprezentowano próbę wykorzystania sieci neuronowych w modelowaniu i prognozowaniu polskiego rynku kontraktów terminowych dla indeksu WIG 20. Jako zmienne wejściowe zastosowano 19 wielkości charakteryzujących dynamikę zmian indeksu WIG 20 oraz badanego kontraktu terminowego. Do uczenia i testowania sieci wykorzystano dane z okresu dwóch lat (od 2 lutego 1998 do 31 stycznia 2000) . Otrzymane modele w postaci nauczonych sieci typu perceptron wygenerowaly znaczący zysk w wysokości od 50% do 78% w okresie testowym obejmującym ok. 100 sesji giełdowych. Dokonano też porównania efektywności kilku typów sieci neuronowych, a także metod neuronowych z klasyczną regresją liniową, wykazując widoczną przewagę nieliniowych sieci typu perceptroll w modelowaniu badanych zjawisk. Cytowane wyżej prace stanowią zaledwie niewielki wybór spośród licznych publikacji pojawiających się w ostatnich latach w literaturze związanej z zastosowaniem SN na rynkach finansowych. Wyniki wielu badań prezentowanych w literaturze potwierdzają celowość i duże możliwości wykorzystania sieci neuronowych jako nowego i efektywnego narzędzia do modelowania rynków finansowych oraz do optymalizacji decyzji inwestycyjnych na tych rynkach.. 3. Zasadnicze czynniki efektywnego wykorzystania sieci neuronowych w analizie I modelowaniu rynków finansowych 3.1. Wstęp. Problematyka wykorzystania sieci neuronowych do analizy rynków finansowych i prognozowania wartości finansowych szeregów czasowych jest bardzo złożona. Zastosowanie tych narzędzi nie może następować "automatycznie", zaś badacze zmuszeni są do podjęcia szeregu często arbitralnych decyzji dotyczą cych np. doboru danych uczących, zmiennych wejściowych, parametrów struktury sieci itp. Przyjęcie niewłaściwych elementów lub parametrów metody skutkuje prawie zawsze brakiem oczekiwanych efektów badań albo prowadzi do błędnych wniosków. Niezbędne jest zatem uwzględnienie w trakcie prac badawczych szeregu aspektów, które decydują o prawidłowej konstrukcji i efektywności modelu neuronowego. Znaczenie tych czynników potwierdzają liczne dotychczas opublikowane badania teoretyczne i empiryczne [por. np. Azoff 1994, Refenes 1995]. Stanowiły one też przedmiot własnych prac badawczych autora [Morajda 1999a, Morajda 1999b]. Poniżej wskazano i pokrótce omówiono najważniejsze z nich..

(5) CZyli/liki ef,'kI\Jwlle.a wykorzystania sieci. 3.2. Zapewnienie przeuczenia. zdolności uogólniających. sieci - unikanie efektu. Efekt przeuczenia SN jest to zjawisko polegające na tym, że sieć bardzo dobrze potrafi się nauczyć reakcji na wzorce wejściowe wchodzące w skład zbioru uczącego, podczas gdy praktycznie nie jest w stanie prawidłowo rozpoznawać i reagować na inne wzorce, które nie występowaly w fazie uczenia. Mówimy wówczas, że sieć traci zdolność do generalizacji (uogólniania). Występowanie tego efektu eliminuje model oparty na SN z praktycznych zastosowalI finansowych, w których oczekujemy przecież od sieci właściwych reakcji na nowe informacje wejściowe, pojawiające się już po zakończeniu procesu uczenia. Dlatego też zapewnienie zdolności sieci do uogólniania jest w omawianej problematyce w zasadzie najważniejszym ełementem konstrukcji modelu opartego na SN. W teorii SN istnieje szereg technik pozwalaj1lcych na unikanie efektu przeuczenia. Najważniejsze z nich to stosowanie niezależnej weryfikacji sieci (por. podrozdział 3.3), oraz ograniczenie wielkości warstw ukrytych (podrozd z iał 3.4).. 3.3. Zagadnienie uczenia I niezależnej weryfikacji sieci W procesie uczenia SN wykorzystywane są z reguly standardowe ałgorytmy uczenia, z których najpowszechniej stosowany jest algorytm wstecznej propagacji błędów oraz jego modyfikacje [por. np. Tadeusiewicz 1993; Haykin 1994]. Niekiedy jednak lepsze efekty można uzyskać przy użyciu innych algorytmów, np. Marquardta-Levenberga albo gradientów sprzężonych [Lula 1999, Morajda 2000]. Podstawową metodą stosowaną w celu zapobiegania wystąpienia efektu przeuczenia jest bieżąca weryfikacja stopnia nauczenia i zdolności uogólniają cych sieci. Weryfikacja ta jest realizowana z wykorzystaniem wyodrębnionego z całego zbioru dostępnych danych (przeznaczonych do konstrukcji SN) podzbioru, zwanego zbiorem sprawdzającym [Osowski 1996], który nie jest uży wany bezpośrednio do uczenia sieci, a jedynie do sprawdzania stopnia jej nauczenia (validation). Zbiory uczący (bezpośrednio wykorzystywany do doboru wspólczynników wagowych w ramach procesu uczenia) i sprawdzajtlcy muszą być wzajemnie rozłączne . Proces weryfikacji sieci połega na dokonywaniu bieżącej oceny stopnia generalizacji osiąganego przez sieć podczas jej uczenia, poprzez obliczanie (po każdej epoce uczenia) błędu generalizacji, liczonego identycznie jak błąd sieci' ella zbioru uczącego (błąd uczenia), ale w oparciu o zbiór sprawdzający. Jeżeli <\ Klasycznie do obliczenia bł'i!du wykorzystuje siQ kwadmtowq funkcjQ błQdu stanowiącą sunw (dla wszystkich elementów zbioru) kwadratów różnic miQdzy wyj śc iOWi) warlością wzorCO\Y~1 a warlości,! 17..cczywistl) wygcncrow1IJlC) przez sieć . Niekiedy jednak stosuje się inne runkcje błędu. (por. Azorr 1994] ..

(6) JallllSZ. Morajda. wraz ze spadkiem blędu uczenia spada również bhłd generalizacji, uczenie powinno być kontynuowane (oraz powinna być dokonywana odpowiednia korekta wag sieci), natomiast wzrost bJędu generalizacji przy jednoczesnym spadku bJędu uczenia świadczy o pojawiającym się niekorzystnym efekcie przeuczenia'. Jako końcowe wartości wag, otrzymane w procesie uczenia, przyjmuje się te wielkości , dla których bląd generalizacji osiągnąl minimum (rys. 1).. Wartość błędu. blljd generalizacji bląd. x. uczenia Czas. Rys . I. Przykładowy przebieg zmian błędu uczenia i błędu generalizacji w trakcie procesu uczenia sieci neuronowej . Za optymalny (końcowy) przyjmuje się zestaw wag uzyskauy w punkcie X, później pojawia się efekt przeliczenia Źródło: opracowanie własne.. 3.4. Dobór architektury sieci W większości zastosowań do analizy danych finansowych wykorzystywana jest sieć typu perceptron wielowarstwowy' z polączeniami jednokierunkowymi, Z jednym elementem w warstwie wyjściowej (Azoff 1994]. Niektórzy badacze podkreślają jednak w kontekście tych zastosowań zalety sieci posiadającej sprzężenia zwrotne, które mogą zwięks zać efektywno ść SN w niektórych przypadkach (por. np. Bassi 1996), na przy kI ad przy eliminacji wpływu nieskompensowanej linii trendu. s W takiej sytuacji nie dokonujemy modyfikacji wag sieci - jest ona rcalizownna tylko wówczas, gdy spadkowi błędu uczenia towarzyszy jednoczesny spadek blędu generalizacji. li Niekiedy używane są inne typy SN, np. sieci typu REF lub tzw. maszyny Boltzmanna..

(7) sieci. Kolejnym zagadnieniem jest dobór ilości warstw ukrytych oraz charakteru w sieci. W praktyce najczęściej w zastosowaniach finansowych wykorzystywane są SN z jedną warstwą ukrytą (niekiedy z dwoma), wykazano bowiem, że użycie większej liczby warstw ukrytych rzadko poprawia efektywność działania sieci, przyczynia się natomiast niewątpliwie do wzrostu czasu uczenia i kosztów przetwarzania informacji przez SN. Z kołei powszechnie stosowanym rodzajem połączeń w sieci jest architektura typu każdy z każdym, polegająca na polączeniu określonego neuronu z wszystkimi elementami warstwy poprzedzającej'. Ważnym problemem pozostaje dobór optymalnej liczby neuronów w warstwie ukrytej. Z jednej strony zbyt mały rozmiar warstwy ukrytej może przyczynić się do Zl1acznego zmniejszenia efektywności procesu uczenia (mala sieć nie jest w stanie nauczyć się rozpoznawania odpowiednio dużej liczby wzorców), z drugiej strony nadmierna liczba elementów ukrytych, oprócz zwiększe nia czasu obliczeń, może prowadzić do powstania efektu "uczenia na pamięć" elementów zbioru uczącego (przeuczenia) i utraty zdolności uogółniania (generalizacji). W zastosowaniach finansowych dąży się na ogól do określenia możliwie najmniejszej liczby neuronów w warstwie ukrytej - takiej, że jej zwiększanie nie powoduje widocznej poprawy oceny sieci według przyjętego kryterium. Dobór tej wielkoś ci następuje często na drodze eksperymentalnej, ponieważ proponowane w łiteraturze formuly nie gwarantują optymalnych rezultatów. Badacz może więc rozpocząć eksperymenty od stosunkowo malych rozmiarów warstwy ukrytej (np. 20% wielkości warstwy wejściowej) i zwięk szając później stopniowo ten rozmiar zaobserwować granicę, powyżej której dodawanie kolejnych neuronów ukrytych nie poprawia już efektywności sieci" [por. np. Morajda 1999a]. Przekroczenie tej wartości granicznej zwiększa jedynie podatność sieci na wystąpienie niekorzystnego efektu przeuczenia. połącze!\. 3.5. Problem właściwej transformacjI danych. wejściowych. W klasycznym podejściu do prognozowania szeregów czasowych przy uży ciu SN,jako informację wejściową wykorzystuje się poprzednie realizacje analizowanego szeregu czasowego, pochodzące z określonego okna (przedziału czasu) oraz ewentualnie wartości innych szeregów .czasowych, mogących mieć wplyw na wielkość prognozy. Okazuje się jednak, że w finansowych zastosowaniach SN lepsze efekty można osiągnąć dokonując odpowiedniego wstępnego przekształcenia oryginalnych wartości określonego szeregu czasowego, zamiast użyć wylącznie samych tych wartości jako danych wejściowych dla sieci. Przykladowo,jeżeli analizujemy szereg czasowy kursów akcji:. 7. Czasami po. wstępnym. polcgnj1lca nn eliminowaniu. nauczeniu sieci stosowana jest redukcja polączeń. połączeń (weigllt ])/'lIlIillg), wpływ na kształto. uicistotnych, to znaczy tukich, których. wnnie sygnału wyjściowego sieci jest na tyle mnly, że możliwy do pominięcia. II Jako miarę efektywności sieci można tu wykorzystać błąd sieci dla zbioru. sprawdzającego..

(8) Jan//sz Morajda. gdzie:. k - numer kolejnej sesji. giełdowej,. zamiast (oprócz) samych wartości xk można jako dane wejściowe dla SN wykorzystać:. - przyrosty kursu: xk - xk_1 - stopy zwrotu dla danej sesji: (xk - X k_ l ) I X k_ 1 - stopy zwrotu w okresie n sesji: (x k - X k_,,) I x k _" - łogarytmiczne slopy zwrotu w okresie n sesji: In (x k I x k _ ,,) - różnice wybranych średnich ruchomych obliczonych dla szeregu X (zob. niżej), - wartości wybranych wskażników analizy technicznej', - wmtości innych wskaźników, pochodzących m .in. z analizy fundamentalnej. Często także Uako pierwszy etap przekształcenia) celowa jest wstępna. transformacja szeregu X na szereg pozbawiony trendu (eliminacja trendu), gdyż występowanie istotnego rosnącego lub malejącego trendu w danych uczą cych może nadmiernie zdominować inne modełowane przez sieć, istniejące w danych zależności. 3.6.. Wstępna. eliminacja szumów - wykorzystanie. średnich. ruchomych. Dane pochodzące z rynków finansowych są zakłócone znacznymi szumami. Zaklócenia te w dużym stopniu utrudniają wydobycie z tych danych informacji istotnej dla modelowania rynku. Pomimo faktu, iż sieci neuronowe posiadają wysoką zdolność eliminacji szumów (niekiedy są wykorzystywane właśnie głównie do tego celu), to jednak warto te zakłócenia eliminować lub ograniczać ich wpływ. Wykazano, że wstępna redukcja zakłóceń na etapie przygotowania danych uczących często prowadzi do znacznej poprawy efektywności procesu uczenia SN. W celu ograniczenia poziomu szumów w danych, stosować można szereg narzędzi obliczeniowych funkcjonujących na zasadzie filtrów dolnoprzepustowycll. Popularną, prostą i skuteczną metodą jest wykorzystanie omówionych niżej średnich ruchomych. Wartości tych średnich można stosować jako zmienne wejściowe dła SN (lub ełementy formuł tych zmiennych) zamiast (oprócz) wartości szeregu pierwotnego. Rozważmy szereg czasowy X = (xI' x2' ... , x k' ... ) (może to być np. rozpatrywany powyżej szereg kursów akcji). Dła tego szeregu przytoczymy definicje podstawowych średnich ruchomych. W poniższych definicjach przyjmujemy parametry 11 oraz k, gdzie 11 jest okresem średniej"', zaś k jest momentem czasu (np. numerem sesji), w którym średnia jest obliczana. !ol. Wskaźnik.i techniczne są dość powszechnie stosowane jako narzędzia wst~lmcgo przetwarzn-. ni. inform.cji dla SN [Azoff 1994J. Szeroki przegląd Iych wskażników można znaleźć np. w [eolby, Mcyers 1988J . 10 Jeżeli szereg czasowy dotyczy wartości dziennych (np. z kolejnych sesji giełdowych), taką średnią nazywamy /l-dniową..

(9) ia sieci Zwykłą średnią ruchomą określamy. wzorem: l. k. Lx;. S"jX)=/i. (l). ;=k-tl+ I. Wykładniczą średnią ruchomą. obliczamy na podstawie zależności rekurencyj-. nej: 2 11-1 E",iX)=II+lxk+Il+1E",k_P;j,. E",I(X)=x 1. (2). Adaptacyjną ś rednią ruchom ą określamy następująco:. (3). A",k(X) = E"jR). gdzie:. = xi' I'k = II' E", iX) - (n-I) . E" ,k_I(X) E",k - oznacza średnią wykładniczą, Ważoną średnią ruchomą wyznaczamy ze wzoru: /"1. dla. k '? 2. ". ~WiXk_i + 1 i= l. W", k(X) = '-'-'----,,,,-----. (4). Lw; ;= I. gdzie współczynniki wagowe w; spełniają załeżność: w I > w2 > ... > w" > O, Pew ną wadą zwyklej średniej ruchomej jest występowanie opóźnienia przebiegu średniej w stosunku do zmian wartości szeregu czasowego, Analogiczna średnia wykladnicza charakteryzuje się mniejszym opóźnieniem, zaś śred nia adaptacyjna cechuje się już stosunkowo dobrym dopasowaniem do wartości, z których jest obliczana (właściwie spelnia zadanie "wygładz ania" szeregu czasowego, unikając przy tym dużych opóźniell przy znaczących zmianach jego wartości), Z kolei śred nia ważona nadaje większą wagę ostatnim realizacjom szeregu , traktując bardziej odlegle w czasie wartości jako mniej znaczące.. 3.7. Zagadnienie optymalnego doboru (selekcll) danych. welśclowych. Analizując możliwości tworzeni a wielu różnych typów danych wejścio wych dla SN, zw iększone dodatkowo opcjami doboru różnych ich parametrów (np. okresów średnich ruchomych), stwierdzić można, iż w następstwie tej obfitości potencjalnych rodzajów informacji powstaje problem identyfikacji danych istotnych oraz doboru optymalnego zestawu zmiennych wejściowych..

(10) Janusz MfI.,·n"lfI. Wykazano bowiem, że ograniczenie zbioru tych zmiennych, poza redukcją czasu obliczeń w procesie uczenia SN , często poprawia również dzialanie samej sieci [zob. Rutkowska i in. 1997). Fakt ten jest związany z poprawą efektywności procesu uczenia SN (zbędne lub nadmiarowe wejścia zwiększają poziom zakłóceń nie wprowadzając przy tym istotnej informacji). W literaturze dotyczącej finansowych zaslosowml SN autorzy często prezentują przyjęte zmienne wejściowe dla sieci, nie podając przy tym metodyki ich doboru, można zatem przypuszczać, że zmienne te zostały dobrane arbitralnie lub ustalone metodą prób i błędów. Istnieją także publikacje wskazujące na duże znaczenie i jednocześnie na wysoki stopień skomplikowania tego problemu, oraz omawiające różne metody stosowane przy doborze wejść dla SN [np. Thomason 1996), takie jak np. analiza wrażliwości lub analiza wag polączeń w sieci. Obiecujące efekty można także uzyskać dzięki zastosowaniu algorytmów genetycznych [Morajda 1999b).. 3.8. Redukcja. ilości. oraz eliminacja korelacli zmiennych. wejściowych. Niezależnie od wysilków zmierzających do rozwiązania problemu efektywnego doboru zmiennych wejściowych, celowa jest często w zastosowaniach sieci neuronowych redukcja wymiarowości przestrzeni wejść, a także transformacja tej przestrzeni w taki sposób, aby stopień korelacji zmiennych wynikowych (po transformacji) byl możliwie niski (bliski zeru). Takie operacje mogą przyczynić się do wzrostu efektywności procesu uczenia SN [Azoff 1994). Problem eliminacji korelacji zmiennych wejściowych SN ma szczególne znaczenie w przypadku analizy danych finansowych, gdzie poszczególne zmienne mogą być bardzo silnie skorelowane. W celu wyeliminowania korelacji danych wejściowych można zastosować szereg technik analitycznych, zmierzających do ortogonalizacji przestrzeni wejść. Dość powszechnie stosowanym narzędziem, umożliwiającym zarówno ortogonalizację, jak i dalszą redukcję wymiarowości przestrzeni cech,jest analiza głównych skladowych (ang. Principal Component Analysis - PCA). Analiza glównych składowych [Jajuga 1993) jest częścią wielowymiarowej analizy statystycznej. Oparta jest na liniowym przekształceniu n-wymiarowej przestrzeni skorelowanych cech (zmiennych wejściowych SN) w k-wymiarową (k $ 11) przestrzeń ortogonalnych (nie skorelowanych) zmiennych (nazywanych glównymi składowymi) według zależności:. y = V· x. (5). gdzie:. V = [VI' V2' ... , Vk]1'"Jest maCIerzą k x n, x - wektor zmiennych wejściowych przed transformacją, y - wektor zmiennych wejściowych po transformacji (głównych skladowych),.

(11) Czynniki efektywnego wykorzystania sieci VI' V 2 , ... , Vk - wektory własne macierzy kowariancji wyznaczonej dla zbioru wektorów x, odpowiadające kolejnym wartościom własnym Al' A2 , ... , Ak tej macierzy. W wyniku zastosowania PCA otrzymujemy zestaw niezałeżnych (ortogonałnych) zmiennych (głównych składowych), uporządkowanych według ich malejącej wariancji". Traktując wariancję jako miarę użytecznej informacji dostarczanej przez daną zmienną oraz przyjmując k < n, możemy dokonać redukcji wymiarowości przestrzeni wejść poprzez odrzucenie pewnej ilości ostatnich głównych składowych (tych o najmniejszej wariancji czyli o naj mniejszym znaczeniu). W wyniku takiej operacji realizujemy jednoczesną eliminację korelacji zmiennych wejściowych dla SN oraz zmniejszenie ich ilości , stąd też PCA jest powszechnie używanym narzędziem wstępnego przetwarzania danych w zastosowaniach SN do modelowania finansowych szeregów czasowych [Azoff 1994). Należy podkreślić, że oprócz klasycznych metod statystycznych (do których zaliczyć można m.in. analizę głównych składowych) istnieją też rozwiązania problemu wstępnego przetwarzania danych i redukcji ich ilości oparte na specyficznych konstrukcjach sieci neuronowych. Do nich należy rodzaj wielowarstwowego perceptronu, tzw. autoasociator, który oprócz redukcji wymiaru przestrzeni wejść dla właściwej SN może spelniać dodatkowo zadanie filtracji szumów [Azoff 1994]. Również omawiana tu transformacja PCA może być realizowana przez pewien typ samouczących się sieci neuronowych (Haykin, 1994,Osowski 1996, Grabowski 1997).. 3.9. Normalizacla zmiennych. wejściowych. Bardzo ważnym etapem wstępnego przetwarzania danych, stosowanym praktycznie we wszystkich aplikacjach SN, jest normalizacja zmiennych wejściowych, polegająca na takim przeskalowaniu wartości każdej zmiennej, aby sprowadzić te wartości do określonego zakresu (przedziału). Głównym celem tej operacji jest nadanie każdej zmiennej wejściowej jednakowego znaczenia (wagi) w stosunku do innych zmiennych. Gdyby bowiem przykładowo zakresem zmiennej wejściowej A był przedział [-1000, 1000], natomiast wartości zmiennej B należałyby do przedziału [-0,1,0,1), to sieć neuronowa reagowałaby w nieporównywalnie większym stopniu na zmiany wartości A, ignorując przy tym praktycznie wartości zmiennej B. Przyjmując aprioryczne założenie, że obie zmienne A i B posiadają jednakowy wpływ na wartość wyjściową obliczaną przez SN, należy liniowo przeskalować wartości tych zmiennych do tego samego zakresu (np. [-1, l]). Klasyczna operacja normalizacji danej zmiennej X do przedziału [-1, 1] wyrażona jest przekształceniem:. 11 Miarami wariancji tych zmiennych Sl}. wartości. wlasnc mncierzy kowarinncji A" A2. ·, .• Ak'.

(12) Janusz Morajda. --2. x-. x-min(X) I max(X) - min (X). (6). gdzie:. x - pierwotna. wartość. zmiennej,. x - wartość znormalizowana,. min(X) - minimum wszystkich wartości zmiennej X przed normalizacj ą, lI1ax(X) - maksimum wszystkich wartości zmiennej X przed normalizacją. Do innych często stosowanych metod normalizacji zaliczyć można także: - standaryzację, wyrażoną zależnością: _ x - średnia(X) x = ode/utd(X) (7) - normalizację "bez ksztalceniem:. przesunięcia. zera" (ang. zero offset),. x x- = --"--;:-::amax(X). opisaną. prze(8). gdzie we wzorach (7) i (8): x - pierwotna wartość zmiennej,. x - wartość znormalizowana. średnia(X). - średnia wszystkich wartości zmiennej X, odch_std(X) - odchylenie standardowe zmiennej X, amax(X) - największa wartość bezwzględna zmiennej X. Należy zwrócić uwagę, że niektóre techniki normalizacji (np. operacje określone zależnościami (6) i (8)) nie są odporne na występowanie danych nietypowych (auttiers) w normalizowanej serii wartości. Dane nietypowe determinują minimum i maksimum zmiennej wejściowej i powodują, iż po znormalizow aniu pewne istotne dane osiągną wielkości zbyt bliskie zera, przez co staną się malo znaczące jako sygnały dla SN. Jeżeli na skutek normalizacji dane będą należeć do wąskiego przedziału wartości, to będą zbyt słabo różnicowane przez SN. Celowe jest zatem w takich sytuacjach dokonanie przed normalizacją sprowadzenia wartości nietypowych (odstających) do wiełkości bliższych średniej, a więc wykonanie operacji zawężenia pierwotnego zakresu zmiennej poprzez tzw. eliminację wartości nietypowych (outliers trimming). Normalizacja poszczególnych zmiennych wejściowych według powyższych zasad nie jest jedynym podejściem wykorzystywanym przy analizie i predykcji finansowych szeregów czasowych przez SN. Można także stosować normalizację poszczególnych wzorców (wektorów wejściowych) osobno, normalizować pierwotne (nie przekształcone) szeregi czasowe (np. ceny akcji), sprowadzając ich wartości do określonego przed ziału lub realizować określone kombinacje tych metod (Azoff 1994)..

(13) sieci neuronowych ... 3.10. Dobór danych do konstrukcji I testowania sieci neuronowej. Bardzo ważnym zagadnieniem jest dobór zaluesu danych, które mają być do konstrukcji oraz testowania modelu. Nie zawsze bowiem celowe jest wykorzystanie wszystkich dostępnych historycznych danych do tego celu. Należy tutaj wziąć pod uwagę następujące aspekty: - dane powinny być stosunkowo aktualne; informacje ze zbyt odległych okresów mogą być nieadekwatne w stosunku do aktualnej, często zmienionej sytuacji (np. ekonomicznej) wpływającej na funkcjonowanie rynku finansowego, mogą więc one powodować pogorszenie funkcjonowania sieci, - dane powinny pochodzić z okresów charakteryzujących się podobnym do aktualnego zachowaniem się rynku; np. niecelowe jest uczenie sieci przeznaczonej do prognozowania rynku akcji w oluesie hossy w oparciu o dane z okresu bessy. Można przeprowadzić zatem wstępną klasyfikację danych dzieląc je np. na kilka klas charakteryzujących się odmienną dynamiką (zachowaniem) rynku i do konstrukcji modelu wykorzystać jedynie dane pochodzące z "aktualnej" klasy. Z drugiej jednak strony liczby wzorców uczących nie należy nadmiernie ograniczać, im większa jest bowiem ilość elementów użytych w zbiorze uczą cym, tym lepsza zdolność nauczonej sieci do generalizacji, efektywnego rozpoznawania wzorców wejściowych i generowania prawidłowych odpowiedzi na te wzorce. Niewątpliwie rozstrzygnięcie kwestii doboru zakresu i ilości danych zależy w znacznej mierze od konkretnego analizowanego problemu i często jest podejmowane arbitralnie. E.M. Azoff podaje, że w przypadku analizy finansowych szeregów czasowych wielkość zbioru uczącego powinna być co najmniej lO-krotnie większa od liczby parametrów (wag połączeń) w sieci [Azoff 1994], chociaż istnieją możliwości efektywnego uczenia sieci również w przypadku znacznie ograniczonej liczby wzorców uczących, co często zdarza się w praktyce. W celu dokonania rzetelnej oceny kOl\cowej nauczonej już sieci neuronowej, której wartość stanowi ważny element analizy efektywności SN, niezbędne jest dodatkowe testowanie sieci przy wykorzystaniu danych nie użytych w procesiejej uczenia i bieżącej wetyfikacji (zob. podrozdział 3.3). Testowanie takie należy zrealizować już po zakończeniu procesu uczenia SN (doboru wag). W tym celu konieczne jest wyodrębnienie (spośród wszystkich dostępnych danych) - oprócz zbiorów uczącego i sprawdzającego stopień nauczenia sieci - także niezależnego zbioru testującego". użyte. Jednym z głównych dylcllUltów jest lokalizacja podzbioru testującego - duża grupa badaczy go umieścić na samym końcu (w sensie czasowym) zbiolll wszystkich dost~p~ nych danych tak, aby zawierał on najbardziej aktualne danc, co powinno zapewnić rzetelną ocenę użyteczności modelu i stworzyć ewentualne przesłanki do wykorzystania sieci w przyszłej prak~ tyce. Rozwiązanie takie ma jednak wady - dane z ostatniego okresu czasowego nic zostaną użyte do uczenia sieci, co pogorszy (niejako z definicji) jakość jej dostosowania do zadań, które będzie spełniala w trakcie normalnej (regularnej) eksploatacji. 12. uważa, że należy.

(14) ]CI1lUSZ Mnrn;.",. 3.11.. Podział. danych na. uczące, sprawdzające. i testujące. Dylemat podziału całego zbioru danych na trzy rozłączne podzbiory: uczący, sprawdzający i testujący nie jest prosty, a jego rozwiązanie może mieć znaczący wpływ na późniejszą efektywność modelu opartego na SN. Często przyjmowane rozwiązanie polega na wstępnym podziałe całego zbioru dostępnych danych na kilka lub kilkanaście bloków, po czym dokonuje się wyodrębnienia w każdym z tych błoków danych uczących, sprawdzających i testujących - według tych samych zasad alokacji i z zachowaniem przyjętych proporcji, np. odpowiednio 60%,20%,20%. W cełu wyeliminowania wpływu arbitralnie dokommego wyboru obszaru danych uczących i sprawdzających na funkcjonowanie modełu, można skonstruować zbiór wielu sieci, przyjmując dla każdej z tych sieci różne opcje wyboru danych uczących i sprawdzających (przy zachowaniu tych samych danych testujących). Otrzymamy w ten sposób model generujący uśredniony sygnał wszystkich sieci, którego efektywność można następnie ocenić w oparciu o zbiór danych testujących . 3.12. Dobór i normalizacja zmiennej. wyjściowej. Pomimo faktu, iż w ogólnym przypadku siec typu perceptron może posiawiele elementów wyjściowych, w zastosowaniach SN do predykcji rynków finansowych stosuje się na ogół sieci z jednym neuronem w warstwie wyjścio wej, gdyż wykazują one najwięks zą efektywno ść" [Azoff 1994]. Bardzo istotnym i nietrywialnym zagadnieniem (zwłaszcza w przypadku prognoz finansowych) jest odpowiedni dobór zmiennej wyjściowej. Właściwego określenia wymaga tu nie tylko charakter tej zmiennej, ale również trafne zdefiniowanie horyzontu predykcji h. Najczęściej spotykane typy zmiennych wyjściowych to: - wartość analizowanego szeregu czasowego (np. cena akcji) po upływie okresu h, - względna zmiana wartości prognozowanej w okresie h, - trend szeregu czasowego (współczynnik kierunkowy prostej regresji) w okresie h, - sygnały bezpośrednio rekomendujące kupno lub sprzedaż danego instrumentu finansowego. Normalizacja zmiennej wyjściowej (uczącej, stanowiącej wzorzec) jest konieczna i dokonywana jest na ogół według zależności (6) (w niektórych przypadkach wskazana jest normalizacja "bez przesunięcia zera" według przeksztalcenia (8)). Zakres wartości znormalizowanych przyjętych dla wyjścia SN zależny jest od przedziału stanowiącego zbiór wartości funkcji aktywacji neu-. dać. n Prognozując np. wal10ści dwóch różnych finansowych s7.crcgów czasowych lepsze efekty uzyskamy wykorzystując dWie oddzielne sieci zjcdnym wyjściem każda niż stosujqcjcdną z dwoma clementami wyjściowymi..

(15) Czynniki efektywnego wykorzystania sieci neuronowych .... I. ronu wyjściowego - powinien on się mieścić wewnątrz tego przedzialu. Podczas operacji normalizacji należy także zwrócić uwagę na możliwość występowania wartości nietypowych w serii danych wyjściowych (uczących) i ewentualnie zastosować eliminację (trimming) tych wartości. 3.13. Ocena funkclonowania sieci neuronowej Wstępna ocena efektywności sieci neuronowej może być dokonana już na etapie konstrukcji modelu (uczenia sieci). Wykorzystujemy do tego celu wartość błędu generalizacji, obliczonego dla zbioru sprawdzającego l4 (którego zadaniem jest bieżące sprawdzanie stopnia nauczenia i zdolności sieci do generalizacji) oraz dynamikę spadku tego błędu w trakcie procesu uczenia. Ocena taka może być jednak nieadekwatna w stosunku do rzeczywistej efektywności sieci L5. Koń cowa (ostateczna) ocena sieci powinna być zatem zrealizowana z wykorzystaniem wyodrębnionego zbioru danych testujących (zob. podrozdział 3.10), nie używanych na etapie uczenia sieci. W przypadku wykorzystania SN na rynkach finansowych możliwe są dwa alternatywne podejścia przy wyznaczaniu takiej ostatecznej oceny: - obliczenie wartości błędu sieci dla danych testujących w sposób analogiczny jak dla błędu uczenia lub błędu generalizacji", - sprawdzenie rzeczywistego funkcjonowania sieci w przedziale czasu obejmującym dane testujące i ocena jej efektywności poprzez stopień realizacji właściwego celu, dla którego sieć została skonstruowana. Jeżeli przykładowo zadaniem sieci jest generowanie sygnałów kupna lub sprzedaży określonego instrumentu finansowego, to ocena kOl\cowa może być dokonywana na podstawie oceny efektywności aktywnej strategii inwestycyjnej wykorzystującej sygnały sieci w okresie obejmującym dane testujące", Podstawą oceny efektywności strategii może być wygenerowany przez nil) całkowity zysk, albo też inna miara uwzględniająca nie tylko sam zysk (np. wskaźnik Sharpe' a, który uwzględnia również ryzyko). Należy zwrócić także uwagę na fakt, iż nawet w przypadku uzyskania zadowalających wyników i podjęcia praktycznego wykorzystania SN do wspomagania decyzji inwestycyjnych, konieczna jest stała bieżąca kontrola efektywności funkcjonowania sieci, gdyż sieć może w trakcie eksploatacji pogarszać. sieci obliczony dla zbioru uczącego. takiej oceny, ma Zm\CZ1}cy wplyw na dobór kOIlco· wych wartości wag (co może fałszować oszacowanie zdolności gcncralizacyjnych sieci), ponadto zbiór tcn może być niekiedy (z konieczności) zbyt mały, aby dokonaną w oparciu o niego ocenę uznać za rzetelną; z kolei ewentualny składnik wyrażający jakość rozpoznawania wzorców ze zbiom lIezilcego nic wnosi w ogóle żadnej informacji odnoszącej się do zdolności sieci do generalizacji. 16 Im mniejsza wartość blędu, tym ta ocena sieci jest lepsza. 17 Tego typu mctoda oceny sieci może być dokonywana również dla danych sprawdzających jako ocenu wstępna. 14. Niektórzy badacze uwzglydniają. tli również bląd. 15 Zbiór sprawdzający. stanowiący podstawę.

(16) Jallusz Ml,mida. swoje dzialanie, np. na skutek utraty znaczenia danych, w oparciu o które byla uczona.. 4. PodsumowanIe W artykule, oprócz prezentacji przykładowych zastosowail sieci neUl'onowych do modelowania rynków finansowych, przedstawiono szereg problemów które musi rozstrzygnąć badacz przed przystąpieniem do próby analizy zjawisk zachodzących na danym rynku przy wykorzy staniu SN. Ponieważ zwykle nie istnieją uniwersalne rozwiązania tych dylematów, przedstawiono najczęściej pewne ogólne wskazówki dotyczące potencjalnych metod lub odsyłacze do literatury. Zwrócono jednak uwagę na istotne zagadnienia występujące w procesie modelowania z zastosowaniem SN, których zaniedbanie prowadzi zwykle do braku oczekiwanych efektów badawczych. Problemy te wymagają często przeprowadzenia dodatkowych badań i eksperymentów w celu optymalnego doboru parametrów modelu neuronowego w konkretnym typie zastosowań. Literatura Azoff E.M . [1994], New'al Nelwork Time Series ForeCllslillg of Fillallcial Markels, Wiley, New York. Bnssi D.F. [1996], Slock Price Pre"icliollS by Reclfrrelll Mul/iłuyer Nellral Ne/ll'ork Arehile clllres [w:] Nelll'al Networks ill Ihe Capital Markels, A.P. Refenes (red.), Wiley, Chichesler. Bodie Z., K"ne A., Marclls AJ. [1993], IlIveSlmellts 2nd ed.,lrwin, BostOll. Colby R.W., Meyers T.A. [1988], The Ellcyclopedia ofTedmieal Marketllldieators, DQW Jones -Irwin, Homewood, Illinois. Grnbowski M. {1997], Sieci neuronowe w allalizie danych spolecz"o~ekollol1licZllych, praca doktorsko, Akademia Ekonomiczna w Krakowie, H"ykin S. [1994]. Nel/ml Nelwork". A COII/preltellsi"e Fo/tlulatiol/, Macmillan College Pbl. Co., New York,. Hechl-Nielsen R. [1990], Nel/rocompl/lil/K, Re.ding, MA. Addison-Wesley. Jajuga K " {1993], Slaf)'sfyclIIa analiza wielowymiarowa. PWN, Warszawu , Kryzanowski L., Galler M., Wright D. [1993], UsilIg Arti/icał Nelll'al Nelworks /O Pick SlOcks, "Fin"ncial Analysts Journal", August. Luln p, [1999]. Jedllokie1'llllkowe sieci neuronowe IV modelowaniu ?,jawisk ekonomicznych , AE W Krakowie, Kraków, Momjdn 1. [1999a], Applieations of Nel/ral NetlVorks illllle Fillallcial Mm'kels - Selected. Aspecls. Proc. ar the 4lh COllference Neuml Networks mul T/wir Applications. Zakopane.. Momjdn 1. [1999b], Melody szwcznej imeligellcji IV zarządzaniu portfelem il/westyc):jllym,. Praca doktorska, AE w Krakowie, Kraków. Mornjdn 1. [2000], Neural Nelworks as Predietive Models ill Fillallcial FUlllres Tradillg, Proc. of the 5th Conference Neural Networks and Soft Computing. Zakopane. NCll/'al Networks illlhe Capital Markets [1995], Refenes A.P. (red.l, Chichesler, Wiley.. Osowski S. [1996], Sieci neuronowe IV ujęciu algorytmicZ1lym. WNT, Warszawa..

(17) CzynIliki er.,k/vw"". w',kr>l'7VslnniIJ sieci. Rutkowska D" Pililiski M" Rutkowski L, [1997], Sieci lleurO>lOIVe, algorytmy gelletyeme i systemy rozmyte, PWN, Warszuwa . Siriopo111os C" Markellos R,N" Sirlantzis K, [1996], Applieatioll oj Ar/ificia! New'a! Networks in Emerging FillQllcial Markets [w:] Neural Network.'! .... Tadeusiewicz R. [19931, Sieci nellrOllowe, Akademicka Oficyna Wydawnicza RM, Warszawa. Tadeusiewicz R. [1995] Sieci neuronowe 1\1 prognozowaniu procesów gospodarczych, Materiały konferencyjne nt.: Sztuczna inteligencja i żnfl'astruklllra ilijormatycmG, Siedlce. Thomason MR [1996], Net/rai Network /111'11/ Variable Setec/ioll (Revisted), "Neurovesl Jaumai", May/June, Trippi R, R., DeSieno D, [1992], 7l'adillg Eqllity bu/ex F/IIures lVi/h a Neum! Network, "The. Journnl ar Port folio Management". Fali . Zieliliski J ,S, (red,) [2000], In/eligellllle sys/emy IV zarządzalliu - teoria i praktyka, Wydaw-. nictwo Naukowe PWN Warszawa. I. The Factors of Effectlve Utillsation of Neural NeIWorks In Flnanclal Markets ModelIng The author considel's essential factors lhat determine the effectiveness of ocurał networks. applications to financial lime sedes model ing, stock (and other financial instrumenls) quotations forecasting and to investment decisiol1 making in the financial markets. For certain problems. the methods and hints for solU1iol1 searching have been introduced. Relying upon the bibliograph y, same typieal applications ar neural networks in finaneial markets have been presented,.

(18)