Uniwersytet Szczeciski
Streszczenie
Celem tego artykułu jest przedstawienie architektur sztucznych sieci neurono-wych wykorzystywanych do przewidywania i badania zjawisk ekonomicznych upo-rzdkowanych w czasie. Stanowi ono alternatyw lub rozszerzenie dla klasycznie ro-zumianej analizy szeregów czasowych i jest obecnie coraz czciej wykorzystywana w procesach predykcji m.in. w zarzdzaniu oraz na rynkach kapitałowych.
Słowa kluczowe: sieci neuronowe, prognozowanie finansowe 1. WstĊp
Sztuczne sieci neuronowe s jednym z narzdzi zaliczanych do sztucznej inteligencji (inne na-rzdzia - to np. algorytmy genetyczne czy te strategie ewolucyjne). Pojcie sztucznych sieci neu-ronowych nie jest zagadnieniem nowym. Swój pocztek miało ono ju w latach 40. ubiegłego stu-lecia, a dokładnie w 1943 roku, kiedy W S. McCulloch i W. Pitts ogłosili pierwszy, matematyczny model neuronu[1].
Jeli znasz dobrze jakie zjawisko, to wiedzc, jaki jest jego stan w danej chwili, potrafisz mniej wicej okreli , jak si bdzie zachowywa w najbliszej przyszłoci, nieprawda? Otó sztuczne sieci neuronowe mog słuy do tego samego. Stosuje si je głównie do opracowywania prognoz ruchów na giełdzie i do przewidywania pogody. Tak, nawet, zdawałoby si, tak przypad-kowe zmiany, jak zmiany giełdowe, podlegaj jakim prawom. Dowiadczony gracz potrafi prze-widzie , czy dana operacja zakoczy si powodzeniem. Nazywamy to przeczuciem, szóstym zmy-słem, lecz jest to jedynie podwiadome korzystanie z wiedzy nabytej równie niewiadomie przez lata obserwacji procesów giełdowych. A trzeba pamita , e mózg człowieka, cho ogromny (w porównaniu z sztucznymi sieciami neuronowymi), zajmuje si przecie niezliczon iloci in-nych zada, jak cho by utrzymywanie ciała w równowadze, itd. itp. Sie natomiast jest przezna-czona wyłcznie do jednego zadania i jemu powica cały swój potencjał. Podobnie, jak dobry gracz, sie potrafi trafnie prognozowa ruchy giełdowe, cho nie wiemy dokładnie, w jaki sposób to robi (tak, jak nie wiemy, na czym polega intuicja gracza).
Od czasu pierwszej prezentacji matematycznego modelu neuronu powstało wiele rónych ar-chitektur sieci neuronowych. W pocztkowym okresie starano si jak najwierniej odwzorowa sie-ci biologiczne, co w dłuszej perspektywie stało si w wielu przypadkach niekorzystne. Badania pokazały, e lepiej jest wprowadzi pewne, niekiedy daleko idce modyfikacje, które mimo e nie s analogi do sieci biologicznych, to jednak wprowadzaj now jako .
Przewidywanie szeregów czasowych - to obok zada zwizanych z klasyfikacj jeden głów-nych obszarów zastosowa sieci neuronowych w ekonomii. Jako przykłady zastosowa sieci w problemach zwizanych z predykcj zjawisk zachodzcych w czasie wymieni mona[3]:
• przewidywanie wielkoci odszkodowa wypłacanych przez towarzystwa ubezpieczeniowe, • przewidywanie zapotrzebowania na wynajem domów,
• przewidywanie wskanika inflacji, • predykcj cen opcji,
• prognozowanie zapotrzebowania na pracowników, • przewidywanie zmian zatrudnienia w skali kraju, • wycen nieruchomoci.
2.Budowa neuronu
Modele sztucznych sieci neuronowych stanowi prób odwzorowania działania ludzkiego mó-zgu, dotyczy to oczywicie jego podstawowych właciwoci i metod przetwarzania informacji. Oczywicie s one jedynie uproszczeniem modelu rzeczywistego, dlatego do poprawnego zdefi-niowania modelu i jego budowy niezbdne s pewne załoenia dotyczce funkcjonowania neuro-nu[2]:
• do neuronu dociera pewna ilo sygnałów wejciowych, s to dane pierwotne wprowadzane do sieci z zewntrz, bd dane pochodzce z innego neuronu.
• kada warto wprowadzana jest do neuronu poprzez połczenie o ustalonej sile (wadze), wartoci te odpowiadaj efektywnoci synapsy w neuronie biologicznym.
• kady neuron skojarzony jest z pojedyncz wartoci progow, która mówi jak silne musi by pobudzenie, by doszło do jego aktywacji.
• w neuronie obliczana jest waona suma wej (suma wartoci sygnałów wejciowych, prze-mnoona przez odpowiednie współczynniki wagowe), a nastpnie odejmowana jest od niej warto progowa. Powstała w ten sposób warto okrela pobudzenie neuronu.
• sygnał reprezentujcy łczne pobudzenie neuronu przekształcany jest przez okrelon funkcj aktywacji neuronu, a warto obliczona w wyniku tego działania jest wartoci wyjciow neu-ronu.
Znajc ju powysze załoenia dotyczce zasad budowy i funkcjonowania pojedynczego neu-ronu, naley zastanowi si nad sposobem łczenia tych komórek ze sob. Aby model budowanej sieci był uyteczny musi on posiada okrelon ilo wej (wartoci, które wprowadzane s do sieci neuronowej z zewntrz, na podstawie których prowadzone s dalsze obliczenia) oraz wyj (stanowicych wynik prowadzonych przez sie neuronow oblicze, np. prognoza ceny akcji na rynku kapitałowym, ocena wiarygodnoci klienta].
Ogromne zainteresowanie sztucznymi sieciami neuronowymi jest powodem powstawania ogromnej liczby sieci, czsto skrajnie ronych pod wzgldem struktury. Jedn z nielicznych wspólnych cech charakteryzujcych wikszo sieci jest definicja pojedynczego neuronu. Jego budowa pokazana została na rysunku 1 [6].
Rysunek1. Schemat budowy neuronu [5]
y - to sygnał wyjciowy neuronu, f - to funkcja aktywacji neuronu,
e - to tzw. całkowite pobudzenie neuronu zdefiniowane jako [8]:
(1) przy czym: wyraz wolny w jest elementem opcjonalnym,
x - to sygnały wejciowe (odpowiedniki sygnałów przesyłanych dendrytami w neuronie biologicz-nym),
n — to tzw. wagi neuronu (odpowiadaj efektywnoci synapsy w biologicznym neuronie). W sposób matematyczny neuron zdefiniowany jest w sposób nastpujcy[8]:
(2) Funkcja aktywacji neuronu moe przybiera wiele rónych postaci. Pod wzgldem podobie-stwa do modelu biologicznego najbardziej zblione s funkcje: progowa (zwana take unipolarn) i tzw. zmodyfikowana funkcja signum (nazywana czsto funkcj bipolarn).
Funkcja unipolarna dla przyjmuje wartoci 0 lub 1, natomiast funkcja bipolarna - podobnie jak funkcja progowa - przyjmuje jedynie dwie wartoci, w tym przypadku zamiast wartoci 0 wystpu-je -1. Stanowi to analogi do biologicznej komórki nerwowej.
Jeeli jako funkcj aktywacji uyje si przekształcenia tosamociowego f(e)=e, wówczas tak zdefiniowany neuron nazywany jest neuronem liniowym. W przypadku uycia innych funkcji ak-tywacji neuron nazywany jest nieliniowym.
3. Architektury sieci neuronowych
Neurony mog by łczone ze sob na wiele ronych sposobów. W przewidywaniu szeregów czasowych wykorzystuje si nastpujce rodzaje sztucznych sieci neuronowych[6]:
• sieci jednokierunkowe, • sieci rekurencyjne,
• sieci o radialnych funkcjach bazowych (RBF), • sieci realizujce regresj uogólnion (GRNN).
W sieciach jednokierunkowych, jak sama nazwa wskazuje, dane przechodz przez sie tylko w jednym kierunku (nie. wystpuj jakiekolwiek połczenia rekurencyjne, ani zmiany kierunku prze-chodzenia sygnałów). W obrbie sieci jednokierunkowych wyrónia si najczciej dwie podgru-py: sieci jednokierunkowe jednowarstwowe (rysunek 2) i sieci jednokierunkowe wielowarstwowe
W praktyce przy przewidywaniu szeregów czasowych wykorzystuje si najczciej sieci zbu-dowane z jednej lub dwóch warstw ukrytych (sieci dwuwarstwowe i trójwarstwowe). Sieci zbudo-wane z wikszej iloci warstw okazuj si mniej uyteczne. Zbyt rozbudowana struktura powoduje problemy w procesie uczenia, co i kolei skutkuje zwikszeniem błdu w wynikach generowanych przez sie [9].
Rysunek 2. Sie jednokierunkowa jednowarstwowa [1]
Kolejnym etapem przy budowie sieci jest dobór liczby neuronów w poszczególnych warstwach. Liczba neuronów w warstwie wyjciowej jest równa iloci zmiennych, które chce si prognozowa . W praktyce uwaa si, e maksymalna liczba zmiennych, jaka mona przewidywa , wynosi dwa. Zaleca si jednak ograniczenie si do zaledwie jednej zmiennej wyjciowej.
Podobnie bezproblemowy jest dobór iloci neuronów w warstwie wejciowej. W tym przypad-ku musi ona odpowiada iloci zmiennych wejciowych. Problem sprowadza si do wyboru odwiednich danych wejciowych, zwizanych z prognozowan zmienn. Nie ma obecnie reguł po-zwalajcych jednoznacznie stwierdzi , jakie dane wejciowe oraz jaka liczba zmiennych jest wiel-koci optymaln. W przypadku przewidywania zjawisk rozłoonych w czasie spotyka si zarówno sieci zbudowane z kilku, jak i z kilkuset zmiennych wejciowych.
Nastpnym problemem jest dobór iloci neuronów w warstwach ukrytych. Najczciej sugeruje si, aby neurony w kolejnych warstwach ukrytych oraz w warstwie wyjciowej tworzyły (wizual-nie) trójkt (w kadej kolejnej warstwie ukrytej liczba neuronów jest mniejsza). Zaleca si budo-wanie sieci z niezbyt wielu neuronów w warstwach ukrytych, gdy oprócz spowolnienia procesu uczenia, powoduje to zmniejszenie zdolnoci sieci do uogólniania, a w konsekwencji zwikszenie błdu na wyjciu sieci [4].
Doboru parametrów sieci jednokierunkowych (tj. wspomnianych danych wejciowych, struktu-ry sieci, funkcji aktywacji itp.) zazwyczaj dokonuje si w oparciu o badania empistruktu-ryczne. W wik-szoci przypadków nie istniej adne gotowe recepty na szybkie zbudowanie optymalnej sieci.
Sieci rekurencyjne – stanowi kolejn bardzo ciekaw i czsto wykorzystywan grup sieci. Jak nazwa wskazuje, posiadaj one sprzenia zwrotne, czyli połczenia zawracajce sygnały z dal-szych neuronów sieci do neuronów warstw.
W przypadku modeli słucych do predykcji, zazwyczaj wykorzystuje si tzw. sieci czciowo rekurencyjne, w których w przeciwiestwie do sieci rekurencyjnych (np. sie Hopfielda) nie wszystkie neurony wchodzce w skład sieci posiadaj sprzenia zwrotne. Jednymi z szerzej sto-sowanych architektur s sieci Elmana oraz sieci Jordana (przykładow struktur sieci Elmana przedstawia rysunek 4).
Rysunek 4. Architektura sieci Elmana [5]
Jedn z cech charakterystycznych sieci rekurencyjnych s dwa moliwe sposoby ich zachowa-nia sie: stabilny i niestabilny. W przypadku stabilnoci sieci sygnały w niej wystpujce przyjmuj ograniczone wartoci i po kilku krokach zaczynaj „zbiega sie" do pewnego ustalonego poziomu [7]. Problem stanowi natomiast zachowania niestabilne, gdy kolejne wartoci bezwzgldne sy-gnałów w sieci s coraz wiksze, co doprowadza do przekroczenia załoonych wartoci
dopusz-nów warstwy ukrytej jest dokonanie agregacji danych wyjciowych poprzez obliczenie odległoci midzy wektorem wejciowym, a wektorem wag. Wyznaczona t drog wielko zostaje uyta jako parametr symetrycznej wzgldem osi OY funkcji aktywacji [9].
Zalet sieci o radialnych funkcjach bazowych jest krótki, w porównaniu do sieci jednokierun-kowych wielowarstwowych, czas uczenia sieci oraz czas potrzebny do wyboru optymalnej struktu-ry sieci. Sieci radialne znajduj zastosowanie głównie w zadaniach klasyfikacji, ale sprawdzaj si równie w przewidywania skomplikowanych, ekonomicznych szeregów czasowych, takich jak np. przewidywanie trendów ekonomicznych[5].
Sieci realizujce regresj uogólnion, zwane w skrócie GRNN (ang. General Regression Neural Network) stanowi alternatyw dla uczonych metod wstecznej propagacji błdów sieci jednokie-runkowych wielowarstwowych. Ich budowa jest wynikiem próby uogólnienia sieci o radialnych funkcjach bazowych (RBF; oraz sieci probabilistycznych zwanych w skrócie PNN).[1]
Sie GRNN zbudowana jest z czterech warstw (rysunek 5): wejciowej, dwóch ukrytych oraz wyjciowej. Pierwsza z warstw ukrytych, tzw. warstwa wzorców ma budow zblion de warstwy ukrytej wystpujcej w sieciach o radialnych funkcjach bazowych. Jej zadaniem jest obliczenie „odległoci" midzy wektorami wejciowymi, a wektorami reprezentowanymi przez wagi. Druga z warstw ukrytych, tzw. warstwa podsumowujca, zbudowana jest z dwóch typów neuronów. H-podsumowujcych i D-H-podsumowujcych. Neuronów typu H moe by wiele, natomiast zawsze jest tylko jeden neuron typu D. Zadaniem neuronów podsumowujcych typu 8 jest wyznaczenie waonej sumy wartoci wyj wchodzcych w skład zbioru uczcego. Neuron typu D odpowie-dzialny jest za wyznaczenie sumy wag. W warstwie wyjciowej neurony obliczaj iloraz pomidzy wspomnianymi powyej wielkociami.
Wad sieci GRNN jest konieczno przetworzenia wszystkich danych ze zbioru uczcego, by moliwe było wyznaczenie wartoci wyjciowej sieci oraz konieczno ponownego uczenia sieci po dokonaniu zmian w zbiorze uczcym. Zalet jest natomiast krótki czas uczenia oraz brak pro-blemów z doborem optymalnej struktury.
Rysunek 5. Struktura sieci typu GRNN [6] 4. Podsumowanie
Modele sieci neuronowych, ze wzgldu na moliwo modelowania zjawisk o charakterze nie-liniowym, umoliwiaj rozwizywanie złoonych i niejednoznacznych zada z zakresu predykcji czy tez klasyfikacji. Takie rozwizanie jest np. alternatyw dla kadry zarzdzajcej, która dodat-kowo eliminuje ryzyko, poniewa modele sieci opieraj si na właciwociach i relacjach midzy danymi, a nie na subiektywnych hipotezach decydenta. Problem ten i jego praktyczne rozwizanie, a take inne zastosowania sieci neuronowych w szeroko rozumianej ekonomii przedstawia w swo-jej pracy E. Gatley [2], gdzie omawiane jest wykorzystanie sieci m.in. w prognozowaniu ban-kructw, klasyfikacji obligacji ze wzgldu na stopie atrakcyjnoci, analizie wniosków o kredyt.
Przedstawione w artykule architektury nie stanowi całego zbioru sieci neuronowych wykorzy-stywanych do prognozy zjawisk zachodzcych w czasie, s jednymi z najczciej wykorzystywa-nych do rozwizywania wspomniawykorzystywa-nych problemów. Dobór typu sieci - cho z reguły nie jest spra-w tak kluczospra-w jak wybór rodzaju danych wejciowych - stanowi jednak niezwykle wany etap tworzenia inteligentnego systemu predykcji. Poniewa na obecnym etapie rozwoju tej dziedziny wiedzy brak jest jednoznacznych reguł, którymi mona si kierowa przy wyborze architektury, w wikszoci przypadków zachodzi konieczno dowiadczalnego doboru typu i struktury sztucz-nej sieci neuronowej. Wiele symulatorów sieci neuronowych posiada wbudowane narzdzia wspomagajce, bd te całkowicie automatycznie wybierajce optymalny rodzaj sieci (w przewa-ajcej liczbie przypadków wykorzystuje si do tego algorytmy genetyczne)[7].
transakcyjnych, WIG-Press, Warszawa.
3. Grabowski M. [1998], Sieci Neuronowe w analizie danych społeczno-ekonomicznych, praca doktorska, AE w Krakowie, Kraków.
4. Hassoun M.H. [1995], Fundamentals of Artificial Neural Networks, The MIT Press, Cambridge
5. Jasiski T. [2003], Przegld architektur sztucznych sieci neuronowych wykorzystywanych w ekonomii do przewidywania szeregów czasowych, Zeszyt Naukowy SGH w Warszawie (nr 35), Warszawa.
6. Kiełtyka L., Jdrzejczak W. [2004], Budowa gospodarczych prognoz jakociowych przy uyciu sieci neuronowych, Prace Naukowe Akademii Ekonomicznej we Wrocławiu (nr 1044), Wrocław.
7. Lula P. [2000], Probabilistyczne sieci neuronowe i moliwoci ich zastosowa, Zeszyty Naukowe Akademii Ekonomicznej w Krakowie (nr 551), Kraków.
8. Tadeusiewicz R. [1993], Sieci neuronowe, Akademicka Oficyna Wydawnicza RM, Warszawa.
9. Tadeusiewicz R., Lula P. [2001], Wprowadzenie do sieci neuronowych, Statsoft Polska, Warszawa.
TYPES OF ARTIFICIAL NEURON NETWORKS USED AS AN INSTRUMENT OF PREDICTION IN MANAGEMENT PROCESS
Summary
The main purpose of this article is presentation of architectures of artificial neu-ron networks. The networks are developed to predict and research economic phe-nomena, organized in time. Therefore, it presents alternative or expansion for classi-cally implied analysis of temporal series and for example in management and capital market.
Keywords: neural networks, financial forecasting
Mateusz Dudzic
Wydział Nauk Ekonomicznych i Zarzdzania Uniwersytet Szczeciski
