Index of /rozprawy2/10161

Pełen tekst

(1)AKADEMIA GÓRNICZO-HUTNICZA IM. ST. STASZICA W KRAKOWIE WYDZIAŁ ELEKTROTECHNIKI, AUTOMATYKI, INFORMATYKI I ELEKTRONIKI. ROZPRAWA DOKTORSKA:. ADAPTACYJNE ALGORYTMY DETEKCJI ZDARZEŃ W SZEREGACH CZASOWYCH. AUTOR MGR INŻ. TOMASZ PEŁECH-PILICHOWSKI. PROMOTOR PROF. DR HAB. INŻ. JAN TADEUSZ DUDA. PRACA POWSTAŁA W RAMACH GRANTU PROMOTORSKIEGO MINISTERSTWA NAUKI I SZKOLNICTWA WYŻSZEGO NR N206 019 32/2826.. Kraków 2009.

(2) Promotorowi, Panu prof. dr hab. inż. Janowi T. Dudzie, serdecznie dziękuję za cenne uwagi, udzieloną pomoc oraz poświęcony mi czas w trakcie realizacji niniejszej rozprawy..

(3) SPIS TREŚCI. ROZDZIAŁ 1 WSTĘP .................................................................................................................................. 5 ROZDZIAŁ 2 PROBLEMY DETEKCJI ZDARZEŃ W SZEREGACH CZASOWYCH.......................... 10 2.1 Definicja zdarzeń analizowanych w rozprawie..................................................................................... 10 2.2 Metody przetwarzania szeregów czasowych ........................................................................................ 12 2.2.1 Predykcja szeregów czasowych....................................................................................................... 12 2.2.2 Problemy monitorowania szeregów czasowych i generowania sygnałów diagnostycznych........... 16 2.2.3 Detekcja zdarzeń ............................................................................................................................. 19 2.2.3.1 Problemy detekcji zdarzeń w szeregach czasowych ................................................................ 19 2.2.3.2 Metody detekcji i ich zastosowania – przegląd literatury ........................................................ 21 2.3 Sztuczne systemy immunologiczne ...................................................................................................... 23 2.3.1 Naturalne układy odpornościowe .................................................................................................... 23 2.3.2 Systemy immunologiczne w informatyce ....................................................................................... 24 2.4 Koncepcje badawcze i tezy rozprawy ................................................................................................... 27 2.4.1 Podsumowanie literatury pod kątem potrzeb badawczych w odniesieniu do specyfiki zadania ..... 27 2.4.2 Specyfika zadania analizy szeregów finansowych .......................................................................... 28 2.4.3 Tezy rozprawy ................................................................................................................................. 30 ROZDZIAŁ 3 CHARAKTERYSTYKA BADANYCH SZEREGÓW I ZASTOSOWANE NARZĘDZIA FORMALNE PREDYKCJI .................................................................................................. 33 3.1 Źródła danych i metody ich pozyskiwania............................................................................................ 33 3.2 Przygotowanie danych .......................................................................................................................... 36 3.3 Charakterystyka jakościowa badanych szeregów ................................................................................. 37 3.4 Prognozowanie matematyczne badanych szeregów finansowych ........................................................ 39 3.4.1 Metodyka analizy i wstępne przetwarzanie ..................................................................................... 39 3.4.2 Analiza harmoniczna szeregów finansowych.................................................................................. 42 3.4.3 Analiza korelacyjna i modele wieloczynnikowe ............................................................................. 47 3.4.4 Algorytmiczne nadzorowanie stosowalności predyktorów wieloczynnikowych w prognozowaniu średnioterminowym................................................................................................... 60 3.5 Predykcja średnioterminowa metodą ekstrapolacji lokalnego trendu liniowego i jej algorytmiczne nadzorowanie...................................................................................................................... 63 ROZDZIAŁ 4 ADAPTACYJNA DETEKCJA ZDARZEŃ Z WYKORZYSTANIEM PARADYGMATU IMMUNOLOGICZNEGO............................................................................................ 72 4.1 Idea ogólna............................................................................................................................................ 72 4.2 Wykorzystanie paradygmatu immunologicznego w zadaniu detekcji zdarzeń..................................... 74 4.2.1 Oryginalna idea algorytmu detekcji................................................................................................. 74 4.2.2 Konstrukcja limfocytów .................................................................................................................. 78 4.3 Wstępna detekcja zdarzeń..................................................................................................................... 80 4.3.1 Predykcja krótkoterminowa............................................................................................................. 81 4.3.2 Proste testy statystyczne .................................................................................................................. 82 4.4 Generowanie sygnałów diagnostycznych ............................................................................................. 83 4.4.1 Typy sygnałów diagnostycznych oraz ich transformacje ................................................................ 83 4.4.1.1 Zewnętrzne sygnały diagnostyczne i transformacje globalne.................................................. 83 4.4.1.1.1 Źródła zewnętrznych sygnałów diagnostycznych.......................................................... 83 4.4.1.1.2 Filtracja dolnoprzepustowa jako źródło zewnętrznych sygnałów diagnostycznych...... 85 4.4.1.2 Wewnętrzne sygnały diagnostyczne ........................................................................................ 88 4.4.2 Zbiór analizowanych sygnałów a dywersyfikacja detektorów ........................................................ 90. 3.

(4) 4.5 Odległości jako klasyczne miary podobieństwa szeregów ................................................................... 91 4.6 Proponowane nowe metody badania podobieństwa szeregów.............................................................. 96 4.6.1 Miary odległości jako kryteria detekcji ........................................................................................... 96 4.6.2 Etapy doboru i tryb stosowania detektorów zdarzeń ....................................................................... 97 4.6.3 Eliminacja wpływu zmiennych opóźnień w ciągach przyczynowo-skutkowych zdarzeń............... 98 4.6.4 Proponowane miary odległości szeregów ....................................................................................... 99 4.6.4.1 Odległość Fouriera (miara SF) ............................................................................................... 100 4.6.4.2 Podobieństwo spektralne determinizowane (Sd) ................................................................... 100 4.6.4.3 Elastyczna miara podobieństwa wzorców (miara typu W).................................................... 101 4.6.4.4 Miara podobieństwa zunifikowanych wzorców (U) .............................................................. 102 4.6.4.5 Podobieństwo zdarzeniowe (Z).............................................................................................. 104 4.6.5 Badanie skuteczności proponowanych miar odległości ................................................................ 104 4.6.5.1 Badanie wpływu transformacji unifikujących na skuteczność detekcji zdarzeń ...................... 105 4.6.5.2 Badanie skuteczności detekcji zdarzeń o różnej konfiguracji przy zastosowaniu wtórnych transformacji sygnałów komórki...................................................................................... 113 4.6.5.2.1 Efektywność miary odległości typu SF ................................................................................ 115 4.6.5.2.2 Efektywność miary odległości typu Sd................................................................................ 116 4.6.5.2.3 Efektywność miary odległości typu W ................................................................................ 117 4.6.5.2.4 Efektywność miary odległości typu U ................................................................................. 120 4.6.5.2.5 Efektywność miary odległości typu Z.................................................................................. 121 4.6.5.2.6 Podsumowanie analizy zaproponowanych miar odległości.............................................. 123 4.6.6 Normalizacja miary odległości: wskaźnik odległości i wskaźniki podobieństwa zdarzeń ............ 124 4.7 Badania efektywności proponowanego algorytmu detekcji zdarzeń .................................................. 126 4.7.1 Schemat, zasada działania, parametry początkowe oraz zmienne ................................................. 126 4.7.2 Sygnał diagnostyczny wykorzystany do badań symulacyjnych .................................................... 128 4.7.3 Wyniki pomiaru efektywności detekcji zmian typu B1K1............................................................ 129 4.7.4 Badanie efektywności detekcji zdarzeń dla danych empirycznych ............................................... 131 4.7.4.1 Dane wejściowe .................................................................................................................................. 131 4.7.4.2 Parametry algorytmu .......................................................................................................................... 131 4.7.4.3 Analiza efektywności detekcji.......................................................................................................... 133 4.7.4.4 Wyniki obliczeń .................................................................................................................................. 134 ROZDZIAŁ 5 WNIOSKI KOŃCOWE I KIERUNKI DALSZYCH BADAŃ ........................................ 138 5.1 Podsumowanie badań i wnioski.......................................................................................................... 138 5.2 Dalsze kierunki badań......................................................................................................................... 141 ZAŁĄCZNIK 1 Opis szeregów oraz ich charakterystyka statystyczna...................................................... 143 ZAŁĄCZNIK 2 Formalne właściwości prognozowania matematycznego z wykorzystaniem liniowych modeli regresyjnych ................................................................................................................ 148 Z2.1 Podstawy formalne analizy regresji .........................................................................................................148 Z2.2 Problemy doboru wejść objaśniających, ortogonalizacja przestrzeni wejść ............................................154 Z2.3 Problem niejednorodności szeregów w analizie regresji..........................................................................157 Z2.3.1 Wpływ trendu zmiennych objaśniających na estymaty współczynników modelu regresyjnego ............... 157 Z2.3.2 Wpływ dynamiki zmiennych objaśniających na estymaty współczynników modelu regresyjnego........... 161 Z2.4 Modele regresyjne dla przyrostów zmiennych.........................................................................................165 ZAŁĄCZNIK 3 Przykładowe analizy korelacyjne sygnałów diagnostycznych ......................................... 168 ZAŁĄCZNIK 4 Wyniki badań symulacyjnych oraz obliczeń numerycznych działania algorytmu detekcji zdarzeń........................................................................................................................................ 175 ZAŁĄCZNIK 5 Charakterystyka środowiska programistycznego oraz efektywność czasowa algorytmu.... 230 SPIS RYSUNKÓW .................................................................................................................................... 235 SPIS TABEL .............................................................................................................................................. 239 WYKAZ WAŻNIEJSZYCH OZNACZEŃ................................................................................................ 242 BIBLIOGRAFIA ........................................................................................................................................ 243. 4.

(5) Rozdział 1 Wstęp. W zadaniach zarządzania, a także sterowania nadrzędnego procesami, kluczowe znaczenie ma prawidłowe podejmowanie decyzji eksperckich (operatorskich). Ich skuteczność, szczególnie w sytuacjach o charakterze nietypowym, zależy w istotnym stopniu od dostępności informacji i jej sprawnej selekcji, w tym sygnalizowania zdarzeń wymagających szczególnej koncentracji uwagi decydenta oraz jej ukierunkowania na identyfikację źródeł zagrożeń, zainicjowania procedur diagnostycznych lub podjęcia decyzji w trybie pilnym. Problem wczesnej sygnalizacji takich zdarzeń ma bezpośredni wpływ na jakość prowadzonego przetwarzania danych. Związany jest on z minimalizowaniem opóźnienia detekcji bądź, co ma szczególne znaczenie dla uzyskiwania wiarygodnych prognoz krótko i średnioterminowych, szybką estymacją parametrów statystycznych szeregu. Powszechna. dostępność. systemów. komputerowych. o. dużych. możliwościach. obliczeniowych i rozwijane intensywnie w ostatnich latach technologie informatyczne stwarzają nowe możliwości pozyskiwania, gromadzenia i udostępniania olbrzymich zasobów informacji, daleko przekraczających zdolności percepcyjne wykorzystujących je ludzi. Stwarza to z jednej strony szanse, a z drugiej – konieczność algorytmizacji selekcji informacji usprawniających podejmowanie decyzji eksperckich, w tym detekcji zdarzeń. polegających. na. nietypowych. przebiegach. rejestrowanych. szeregów. czasowych. Zdarzenia takie mogą mieć charakter zarówno gwałtownych zmian poziomu sygnału, występowania nietypowych wartości (dane odstające), nietypowych sekwencji, jak i tzw. zdarzeń „cichych”, będących wczesnymi, trudno wykrywalnymi zwiastunami długoterminowych zmian właściwości statystycznych szeregu.. 5.

(6) Zagadnienia konstrukcji algorytmów wykrywania zmian właściwości statystycznych szeregów czasowych są ważnym i szybko rozwijającym się obszarem badawczym informatyki, w którym wykorzystuje się zarówno klasyczne techniki analizy sygnałów (analizy statystyczne, częstotliwościowe), jak i podejścia oparte na metodach rozpoznawania obrazów, inteligencji obliczeniowej czy analizy wielowymiarowej szeregów czasowych. Wyniki takiego przetwarzania wykorzystuje się dla potrzeb prognozowania bądź wykrywania anomalii (w tym na potrzeby retrospektywnych analiz właściwości szeregów). Dedykowane algorytmy znajdują rozległe zastosowania w technice (diagnostyka techniczna [19], [88], [204], [43], medyczna [148], [74], rozpoznawanie obrazów [186], [179], obronność, itp.). Zaawansowane i wysoce efektywne algorytmy detekcji zdarzeń są rzadziej publikowane [19], [216], jakkolwiek niewątpliwie są one przedmiotem badań w wielu ośrodkach naukowych. Techniki te są bowiem. wykorzystywane. między. innymi. w. działalności. wywiadowczej. i z pewnością osiągnięto tu bardzo wysoką skuteczność w sensie wykrywalności zmian parametrów sygnałów na tle silnych zakłóceń. Niniejsza rozprawa podejmuje problem usprawniania predykcji rozległych zbiorów szeregów czasowych, w szczególności finansowych (takich jak. notowania cen surowców, wskaźników giełdowych, akcji spółek giełdowych itp.), poprzez algorytmizację wykrywania zdarzeń, w dostosowaniu do specyficznych możliwości i potrzeb zarządzania, które jest bardzo obiecującym obszarem zastosowań tych metod [31], [69]. Dostępne komercyjnie komputerowe systemy wspomagania zarządzania koncentrują się na wykorzystaniu danych rejestrowanych w przedsiębiorstwie, ograniczając się do stosunkowo prostych metod ich przetwarzania1. Tymczasem specyfiką problemów decyzyjnych zarządzania jest potrzeba wykorzystania rozległych zasobów danych o otoczeniu przedsiębiorstwa, które m.in. mogą być pozyskiwane dynamicznie poprzez Internet (należą do nich wspomniane wyżej szeregi finansowe). Jednak wobec nadmiaru informacji i specyfiki Internetu, w zdecydowanym stopniu rośnie znaczenie oceny wartości (przydatności) informacji oraz automatyzacji rejestracji i analizy. W literaturze światowej znaleźć można wiele doniesień o. zastosowaniach. zaawansowanych technik przetwarzania w zarządzaniu. Ten obszar informatyki, określany. mianem. Business. Intelligence,. jest. reprezentowany. na. licznych. konferencjach, tak o tematyce informatycznej, jak i związanej z zarządzaniem2. Dużym zainteresowaniem cieszą się analizy szeregów finansowych, głównie giełdowych. 1 2. Np. systemy MRP, ERP [71]. http://bis.kie.ae.poznan.pl/; http://www.wi-iat09.disco.unimib.it; http://www.intsci.ac.cn/iip2008/.. 6.

(7) Istnieją liczne portale internetowe3 udostępniające wyniki analiz sytuacji na giełdach w formie zestawień, oszacowań ilościowych i jakościowych tendencji notowań oraz ich prognoz. Z drugiej strony, istnieje możliwość wykorzystania specjalistycznych platform przeznaczonych do zaawansowanej analizy oraz eksploracji danych ekonomicznych, marketingowych itp.4 Jednak narzędzia te bądź nie oferują możliwości szybkiego wykrywania zdarzeń, bądź wykorzystują głównie wiedzę ekspercką i wymagają specjalistycznych umiejętności użytkownika. Celem niniejszej rozprawy jest opracowanie nowych algorytmów detekcji zdarzeń, ukierunkowanych. na. usprawnienie. krótko. i. średnioterminowej. predykcji. niestacjonarnych szeregów czasowych. Podjęty problem naukowy polega na poszukiwaniu możliwości takich usprawnień, poprzez algorytmiczną analizę rozległych zasobów danych, ukierunkowaną na wykrywanie zdarzeń krótkoterminowych, poprzedzających. istotne,. długoterminowe. zmiany. właściwości. statystycznych. szeregów. Jako główną koncepcję badawczą przyjęto, że podstawą do usprawnienia prognoz może być wieloaspektowa analiza zdarzeń w otoczeniu badanego szeregu, zwiastujących zmiany jego trendu. Do detekcji takich zdarzeń i ich algorytmicznej interpretacji zaproponowano wykorzystanie paradygmatu immunologicznego, zgodnie z którym uzyskanie wysokiej wiarygodności detekcji zdarzeń istotnych w zmiennym otoczeniu o słabo zdeterminowanej strukturze i właściwościach można osiągnąć przez odwzorowanie. działania. niektórych. mechanizmów. naturalnych. systemów. immunologicznych. Idąc tą drogą, skonstruowano dwupoziomowy algorytm predykcji szeregów. Poziom pierwszy realizuje wieloaspektową analizę stacjonarności sygnałów diagnostycznych, opartą na komplementarnych miarach podobieństwa szeregów (z adaptacją strukturalną i parametryczną detektorów), a na poziomie drugim następuje adaptacja parametrów predyktora krótko i średnioterminowego w oparciu o informacje jakościowe o otoczeniu, uzyskane na poziomie pierwszym. Sformułowanie zasad implementacji paradygmatu immunologicznego dla omawianego tu zadania (w tym dobór odpowiednio różnorodnych sygnałów diagnostycznych), konstrukcja zestawu komplementarnych miar odległości szeregów oraz opracowanie i zbadanie zasad wykrywania zdarzeń tą metodą są najważniejszymi elementami oryginalnymi rozprawy. Z praktycznego punktu widzenia, istotną zaletą przyjętego podejścia jest możliwość uzyskania algorytmów, które będą miały stałą zdolność usprawniania zastosowanych technik (wraz z wydłużaniem okresu eksploatacji) oraz dostosowywania się do 3. Np. http://www.bossa.pl, http://finance.yahoo.com. Np. narzędzia do analizy oraz eksploracji danych (np. Statistica Data Miner, SPSS Clementine, SAS) oraz narzędzia bazodanowe (np. Microsoft SQL Server, Oracle).. 4. 7.

(8) zmiennych i nieograniczonych zasobów danych, np. pozyskiwanych przez Internet. Będą one mogły być implementowane jako autonomiczne moduły softwareowe prowadzące w pełni zalgorytmizowane analizy i produkujące ergonomiczne komunikaty o zjawiskach i procesach w otoczeniu, które wymagają wczesnej reakcji decydenta, w szczególności przedsiębiorcy. Realizacja przedstawionego wyżej celu pracy winna przyczynić się do ułatwienia dostępu szerszej rzeszy przedsiębiorców do zaawansowanych technik analizy szeregów finansowych, a przez to zmniejszenia ryzyka działalności gospodarczej (szczególnie małych i średnich przedsiębiorstw, które nie dysponują środkami na zlecanie specjalistycznych analiz). Niezależnie od tego, opracowane w ramach rozprawy techniki detekcji mogą być zastosowane do usprawnienia nadzorowania procesów produkcyjnych (w tym przypadku zadanie detekcji upraszcza się ze względu na zdeterminowane zasoby danych i mniejszy wpływ czynników losowych na rejestrowane dane procesowe). Praca składa się z 5. rozdziałów. Po wstępie, w rozdziale 2, sformułowano problemy detekcji zdarzeń oraz predykcji szeregów czasowych. Omówiono stan wiedzy dotyczący badanego obszaru informatyki, w szczególności – stosowane podejścia ilościowe, a także jakościowe. Zaakcentowano problematykę wstępnego przetwarzania danych do dalszych analiz oraz agregacji informacji. Sprecyzowano także istotę paradygmatu immunologicznego w odniesieniu do zadania detekcji i klasyfikacji zdarzeń na tle jego wykorzystania w informatyce. Rozdział ten kończy podsumowanie literatury, prezentacja koncepcji badawczych oraz tezy pracy. W rozdziale 3 scharakteryzowano ogólnie szeregi finansowe wykorzystane w pracy, wraz z opisem problematyki ich pozyskiwania (pełne zestawienie wszystkich wykorzystywanych danych oraz ich charakterystyki statystyczne umieszczono w załączniku 1). Omówiono pokrótce podstawy formalne predykcji niestacjonarnych szeregów czasowych, nawiązując do ich pełniejszej prezentacji, zamieszczonej w załączniku 2.. Podkreślono. rolę. analizy. harmonicznej. oraz. korelacyjnej. w przesuwanych oknach. Rozważania te zilustrowano wynikami analiz korelacyjnych i wieloczynnikowej predykcji średniookresowej dla wybranych szeregów badanego środowiska. Następnie opisano problem algorytmicznego nadzorowania predykcji i eksplorowaną w pracy metodę predykcji średnioterminowej, opartą na ekstrapolacji lokalnego trendu liniowego z wykorzystaniem testów stosunku funkcji wiarygodności do wykrywania załamań trendu. W rozdziale 4 zdefiniowano oryginalną koncepcję immunopodobnego algorytmu detekcji zdarzeń, przeznaczonego do wspomagania prognoz średnioterminowych.. 8.

(9) Scharakteryzowano podstawowe obiekty systemu oraz stosowane metody detekcji krótkoterminowych zmian, wraz z opisem uwarunkowań ich implementacji. Zaakcentowano rolę adaptacji strukturalnej środowiska w zwiększeniu skuteczności działania. klasycznych. rozwiązań.. Zaproponowano. nowe. miary. chwilowego. podobieństwa szeregu, a następnie przeprowadzono obszerne analizy ich skuteczności na danych symulowanych oraz rzeczywistych (szczegółowe wyniki umieszczono w załączniku 4). Dalej, opisano problematykę doboru sygnału diagnostycznego. Rozdział kończy opis badań na danych rzeczywistych właściwości newralgicznego – z punktu widzenia detekcji zdarzeń symptomatycznych – elementu koncepcji, tj. algorytmu detekcji zdarzeń zwiastujących załamania trendu. W rozdziale 5 podsumowano przeprowadzone badania, sformułowano najważniejsze wnioski oraz zarysowano dalsze kierunki planowanych prac autora związanych z problematyką rozprawy. Rozprawę uzupełnia 5 załączników. Załącznik 1 zawiera prezentację wykorzystanych w badaniach szeregów finansowych, z objaśnieniem stosowanych dalej skrótów. Pokazano przebiegi czasowe szeregów oryginalnych, ich przyrostów, a także rozkłady prawdopodobieństwa.. Załącznik 2. omawia. podstawy. formalne. prognozowania. matematycznego z wykorzystaniem liniowych modeli regresyjnych, w szczególności predykcji niestacjonarnych szeregów czasowych. Omówiono zasady wykorzystania analizy. regresji,. w. tym. modeli. sygnałowych. typu. ARIMA. i. ARIMAX.. Przeanalizowano formalną zasadność stosowania tych metod i podano rekomendacje dla wstępnego przetwarzania szeregów, umożliwiającego uzyskanie efektywnych i wiarygodnych prognoz. W załączniku 3 przedstawiono w formie graficznej wyniki analiz korelacyjnych najważniejszych sygnałów diagnostycznych. Załącznik 4 zawiera szczegółowe wyniki (w postaci tabelarycznej oraz graficznej) przeprowadzonych analiz efektywności zaproponowanych w pracy, oryginalnych miar odległości szeregów. Zamieszczono tam również szczegółowe (tabelaryczne) zestawienia porównawcze efektywności detekcji zdarzeń zwiastujących, uzyskane przy różnych parametrach algorytmu detekcji. Załącznik 5 zawiera informacje dotyczące wykorzystywanego i opracowanego w ramach badań oprogramowania oraz sprzętu komputerowego. Zamieszczono tam również dane charakteryzujące efektywność czasową opracowanego algorytmu immunopodobnego, a także czasy realizacji procedur segmentacji szeregów z wykorzystaniem testów największej wiarygodności.. 9.

(10) Rozdział 2 Problemy detekcji zdarzeń w szeregach czasowych. 2.1 Definicja zdarzeń analizowanych w rozprawie Przedmiotem badań w niniejszej rozprawie są zdarzenia ujawniające się w szeregach czasowych, a więc charakteryzowane ilościowo wartościami próbek szeregu. W przypadku szeregów finansowych mogą one być efektem istotnych zdarzeń jakościowych o charakterze gospodarczym, politycznym i społecznym, wpływających na decyzje wielu inwestorów lub są wynikiem skoordynowanych (na ogół niejawnych) przedsięwzięć (spekulacje). W ujęciu formalnym, w zależności od specyfiki zadania detekcji, zdarzenie będzie rozumiane jako występowanie w szeregu czasowym zmian właściwości statystycznych próbek (np. skokowych zmian wartości średniej lub dyspersji w krótkim okresie, istotnych zmian trendów), zmian własności częstotliwościowych, pojawienie się wartości odstających lub krótkookresowego ciągu nietypowych wartości próbek tworzących różne wzorce [187] (np. konfiguracje skoków). Mając do dyspozycji treningowy (wzorcowy/stacjonarny) oraz testowy (badany) szereg czasowy, zdarzenie [159] określa się jako istotną (wg określonych kryteriów, np. statystycznych) różnicę pomiędzy takimi szeregami w ustalonym, odpowiednio krótkim przedziale czasu (obejmującym zwykle od kilku do kilkunastu próbek). Szeregi finansowe (będące głównym przedmiotem zainteresowania niniejszej rozprawy) są kształtowane przez bardzo liczne czynniki rynkowe, psychologiczne, polityczne itp., podlegające ustawicznym zmianom, których wpływ jest najczęściej losowy. W efekcie, pojedyncze szeregi finansowe mają właściwości dynamiczne bardzo zbliżone do błądzenia. 10.

(11) przypadkowego (w ekonometrii określane jako szeregi integracyjne [57], [63], [83]). Wynika to z mechanizmów kształtowania się notowań, które na zasadzie równoważenia podaży i popytu niwelują możliwości osiągania stałych zysków w oparciu o łatwo wykrywalne autokorelacje przyrostów notowań. Niemniej, chwilowe kumulacje oddziaływań zewnętrznych mogą spowodować długoterminowe zmiany mechanizmów kształtujących te równowagi. Można to widzieć jako efekt bifurkacji w chaotycznym systemie dynamicznym, jakim są rynki lokalne i światowe [123]. Studium obszernej literatury omawiającej procesy kształtowania się notowań giełdowych [196], [171], [75], [231], [163], [151], [120] daje podstawy do założenia, że istotne zmiany właściwości statystycznych szeregów (warunkowych rozkładów prawdopodobieństwa) są poprzedzane wykrywalnymi zdarzeniami zwiastującymi (nietypowe serie przyrostów w danym szeregu, wcześniejsze zmiany w innych szeregach itp.). Istotna trudność konstrukcji algorytmów rozważanych w rozprawie wynika z faktu, że większość wykrywalnych zdarzeń w szeregach finansowych ma charakter anomalii, tj. chwilowych (zanikających) zakłóceń bez długoterminowych skutków (np. będących efektem spekulacji). Interesujące zdarzenia (szczególnie zmiany długoterminowych trendów) są stosunkowo rzadkie i w każdym przypadku występują w innych uwarunkowaniach, a więc na ogół typowe metody statystyczne ich wykrywania (oparte np. na analizie autokorelacji, błędów predykcji średnioterminowej) dają mało wiarygodne rezultaty. Z drugiej strony, w ostatnich latach możliwe jest stosunkowo łatwe zbieranie szeregów finansowych poprzez Internet, co umożliwia przeprowadzenie obszernych analiz przekrojowych. Można zatem postawić następujące pytania badawcze: 1. Czy istotne zmiany właściwości statystycznych szeregów finansowych są poprzedzane sygnałami zwiastującymi, wykrywalnymi statystycznie lub ogólniej – algorytmicznie? 2. W jakim stopniu wykrywalność zdarzeń poprzedzających zależy od liczby analizowanych szeregów? 3. W. jakim. stopniu. wykrywalność. zdarzeń. można. poprawić. przez. (a) zdefiniowanie odpowiednich, istotnych atrybutów (cech ilościowych) ciągów próbek, a z drugiej strony (b) usuwanie cech nieistotnych szeregu,. 11.

(12) maskujących współzależności cech istotnych (specyfikacja i pomijanie takich cech nieistotnych będzie dalej nazywane wygrubianiem informacji)? Nawiązując do punktu 3, zasadniczym problemem badawczym jest określenie na ile przydatna może być precyzyjna analiza cech ilościowych (np. analiza korelacyjna oryginalnych próbek), czy też lepsze rezultaty detekcji zdarzeń można uzyskać wykorzystując dane jakościowe, takie jak zgrubnie skwantyfikowane wartości sygnałów lub zagregowana informacja obrazowa nawiązująca do tzw. formacji, stosowanych powszechnie w eksperckich analizach technicznych szeregów notowań [171].. 2.2 Metody przetwarzania szeregów czasowych 2.2.1 Predykcja szeregów czasowych Komputerowa analiza szeregów czasowych jest ukierunkowana na identyfikację ich właściwości. statystycznych. i. dynamicznych,. w. powiązaniu. ze. znanymi. oddziaływaniami zewnętrznymi o charakterze jakościowym lub ilościowym. Jej celem jest na ogół umożliwienie wiarygodnej predykcji lub/i symulacji szeregów z wykorzystaniem modeli matematycznych. Matematyczna predykcja szeregu czasowego [22], [164], [57] polega na wyznaczeniu jego warunkowej wartości oczekiwanej (prognoza punktowa) dla chwili wyprzedzającej czas bieżący (czas rejestracji ostatniej próbki) o ustaloną liczbę próbek zwaną horyzontem predykcji. Wykorzystuje się do tego celu formuły matematyczne wyrażone jawnie (modele regresyjne parametryczne [22], [164], modele w przestrzeni stanu [67], [103]) lub niejawnie (estymatory nieparametryczne, np. jądrowe [164], predyktory neuronowe [218]). Parametry predyktora wyznacza się na podstawie odpowiednio dobranych danych historycznych metodami optymalizacji (identyfikacja modeli regresyjnych, uczenie modeli neuronowych) lub dostrajania (modele nieparametryczne jądrowe, modele Holta i Browna oparte na wygładzaniu wykładniczym [108]). Analiza właściwości statystycznych reszt lub błędów predyktora w okresie historycznym umożliwia wyznaczenie rozkładu prawdopodobieństwa błędów prognoz, na podstawie którego można formułować prognozy przedziałowe [22], [164].. 12.

(13) Modele predykcyjne można podzielić na jednowymiarowe i wielowymiarowe. W predykcji jednowymiarowej (jednoczynnikowej) szereg czasowy traktowany jest jako proces stochastyczny o nieznanym wejściu losowym. Predykcję, na ogół jednokrokową, wyznacza się bądź na podstawie modelu dynamiki szeregu (modele sygnałowe typu ARMA (ang. AutoRegressive Moving Average) Boxa-Jenkinsa [22]) lub poprzez ekstrapolację formuły trendu (modele ekstrapolacyjne). Modele ekstrapolacyjne mogą być stosowane dla dowolnych szeregów. Parametry funkcji trendu (przyjętej arbitralnie) wyznacza się albo metodą najmniejszych kwadratów przez aproksymację szeregów w oknie o ustalonej szerokości [67], [164] (ewentualnie uzupełnioną poprzez wyznaczenie tzw. trendu pełzającego [57]) albo metodą wygładzania wykładniczego bieżącej wartości oczekiwanej i przyrostów szeregu (predyktor Holta). Jako formułę trendu przyjmuje się najczęściej wielomian, zazwyczaj pierwszego stopnia (trend liniowy), ale mogą to być również funkcje okresowe, wykładnicze, logistyczne itp. [68]. Ze względu na założoną niestacjonarność modele te są na ogół adaptowane przez obliczanie albo modyfikację parametrów po uzyskaniu każdej kolejnej próbki. Modele sygnałowe Boxa-Jenkinsa wyznacza się metodą regresji dynamicznej jako zależność kolejnych wartości szeregu od jego wartości poprzednich (autoregresja, ang. AutoRegression, AR) oraz reszt uzyskanych w wyniku poprzednich predykcji w ustalonym przedziale czasu, obejmującym zwykle nie więcej niż kilka próbek (średnia ruchoma, ang. Moving Average, MA). Mogą być one stosowane tylko dla procesów stacjonarnych. Ze względu na silny wpływ czynników losowych, typowy dla procesów ekonometrycznych (m.in. szeregów finansowych), przeważnie stosuje się modele ARMA niewysokiego rzędu, najczęściej pierwszego, bez członu MA (AR(1,0)), jako że zastosowanie modeli wyższego rzędu daje przeważnie gorsze wyniki [65]. W przypadku braku istotnej autokorelacji pomija się również człon AR, co daje predyktor trywialny zerowego rzędu (ang. zero-order-prediction, ZOP). W tym przypadku prognozę punktową z dowolnym wyprzedzeniem stanowi długoterminowa wartość średnia takiego szeregu, a rozkład prawdopodobieństwa błędu jest taki, jak rozkład elementów szeregu w okresie historycznym. Taka prognoza jest często stosowana niejawnie w odniesieniu do przewidywania własności zmiennych losowych wyłącznie na podstawie ich historycznych statystyk (np. przewidywanie parametrów populacji generalnej w oparciu o statystyki uzyskane dla prób losowych). Predyktory dynamiczne stosowane są często do poprawiania prognoz ekstrapolacyjnych. Formułę. 13.

(14) ARMA wyznacza się wówczas dla reszt trendu lub ciągu błędów prognoz predyktora Holta, które można traktować jako proces stacjonarny. Dla często spotykanych w praktyce procesów niestacjonarnych typu integracyjnego [57], [63], predyktory dynamiczne typu ARMA wyznacza się dla przyrostów szeregu, co daje predyktor typu ARIMA (ang. Integrated ARMA). Szczególnym, ale bardzo ważnym i często spotykanym przypadkiem, jest tu proces Wienera, zwany błądzeniem przypadkowym (ang. random walk) lub procesem integracyjnym pierwszego rzędu, którego przyrosty są stacjonarnym ciągiem niezależnych liczb losowych. Dla szeregów mających. taką. własność optymalnym. predyktorem. punktowym. z. dowolnym. wyprzedzeniem jest ostatnia wartość szeregu – podtrzymanie zerowego rzędu (ang. zero-order-hold, ZOH). Wariancja błędu takiej prognozy jest proporcjonalna do długości horyzontu predykcji. Godne podkreślenia jest, że predyktor ZOH nie wymaga estymacji żadnych parametrów, a więc jest wyjątkowo wygodnym narzędziem prognozowania, jakkolwiek dla jego formalnego uzasadnienia konieczne jest wykazanie braku statystycznej istotności autokorelacji przyrostów, co wymaga analizy długich ciągów historycznych (co najmniej od kilkuset próbek). Jak wspomniano uprzednio, szeregi finansowe będące przedmiotem badań w niniejszej pracy, można w uproszczeniu traktować jako procesy Wienera. W związku z tym prognoza trywialna ZOH będzie punktem odniesienia do oceny efektywności innych technik prognozowania. Odnosi się to także do typowych zakłóceń przemysłowych [67]. Predyktory wieloczynnikowe uwzględniają powiązania statystyczne prognozowanego szeregu z innymi szeregami o znanych wartościach przy założeniu, że czynniki te – zwane egzogenicznymi – oddziałują istotnie, ale z opóźnieniem, na wartości szeregu prognozowanego. Najczęściej mają one postać modeli sygnałowych uzupełnionych członami reprezentującymi liniowy wpływ czynników zewnętrznych (formuły typu ARMAX i ARIMAX, ang. eXogenous ARMA, ARIMA) [164], [22], [193]. W przypadku, gdy zmienną objaśniającą jest zmienna decyzyjna, model określa się akronimem CARMA (ang. Controlled ARMA). Właściwości modeli sygnałowych jedno i wielowymiarowych oraz metody ich identyfikacji są obszernie omówione w monografii [22], a także w literaturze dotyczącej przetwarzania sygnałów w automatyce, metrologii itp. [183], [177], [67]. Stosowane są również zmodyfikowane wersje modeli sygnałowych [226], jak na przykład X-12 ARIMA. Szczegółowy opis. 14.

(15) podstaw formalnych predykcji z wykorzystaniem modeli regresyjnych, w tym sygnałowych, jest omówiony w załączniku 2. Do predykcji szeregów czasowych, charakteryzujących się zmienną wariancją, wykorzystuje się modele uwzględniające autoregresję wariancji, tzw. autoregresyjne heteroskedastyczne modele warunkowe ARCH (ang. AutoRegressive Conditional Heteroscedasticity) [72] oraz ich rozwinięcie – modele typu GARCH [151], [153], [152], [81]. Znajdują one zastosowanie m.in. do krótkoterminowego prognozowania szeregów finansowych. W ostatnich latach dużym zainteresowaniem cieszą się predyktory wieloczynnikowe oparte na wykorzystaniu sieci neuronowych [185], [81], [201], [231]. Implementuje się w ten sposób modele o strukturze zbliżonej do ARMA, ale z wykorzystaniem niejawnych, nieliniowych przekształceń zmiennych objaśniających, z parametrami wyznaczanymi metodą uczenia na danych historycznych. W szczególności, obiecujące wyniki prognozowania (m.in. szeregów giełdowych) uzyskano przez połączenie idei sieci neuronowych i klasyfikacji rozmytej z jednowymiarową funkcją przynależności [231], [239], zależną od odległości euklidesowej bieżących cech szeregu i jego otoczenia (wartości czynników uwzględnionych w modelu zarejestrowanych w chwili bieżącej) od centroidów wyspecyfikowanych klas (tzw. sieci neuronowe z radialnymi funkcjami bazowymi, ang. Radial Basis Function Neural Nets – RBFNN [27], [200]). Centroidy oraz parametry funkcji przynależności wyznacza się metodami uczenia sieci neuronowych. Podstawowym. założeniem. każdej. prognozy. matematycznej. jest. przyjęcie,. że wykorzystywane w predykcji właściwości statystyczne szeregów w okresie historycznym pozostają aktualne do chwili zakończenia horyzontu predykcji. Jeśli dla przyjętego horyzontu założenie to jest bezdyskusyjne, to prognozę określa się jako krótkoterminową i może być ona w pełni oparta na przyjętych formułach predyktora. Zwykle oznacza to ograniczenie horyzontu predykcji do kilku próbek. Prognozowanie z dłuższym horyzontem stwarza większe ryzyko wystąpienia istotnych zmian mechanizmów kształtujących szereg czasowy. Jeśli mimo to można założyć, że podstawowe mechanizmy zostaną zachowane, to prognozę nazywać będziemy średnioterminową. Dotyczy ona zwykle wyprzedzeń od kilkunastu do kilkudziesięciu próbek, a w niektórych przypadkach nawet kilkuset. Mogą tu być stosowane modele sygnałowe lub odcinkowo-liniowe reprezentacje szeregów (ang. piecewise linear. 15.

(16) representation) [134], [26], [29], gdzie dla każdego odcinka (segmentu) zakłada się stałość parametrów statystycznych, w tym dopuszczalność ekstrapolacji ostatnio wydzielonego trendu. Dla uniknięcia dużych błędów prognoz w przypadku zmian właściwości. statystycznych. szeregu,. w. szczególności. zmian. parametrów. ekstrapolowanego trendu, wskazane jest nadzorowanie działania predyktora metodami eksperckimi lub algorytmicznymi, ukierunkowane na detekcję wystąpienia tych zmian. W przypadku dłuższych horyzontów predykcji (rzędu kilkuset i więcej próbek) na ogół nie można założyć utrzymania adekwatności predyktorów matematycznych. Mówimy wówczas o predykcji długoterminowej, w której dominującą rolę odgrywają prognozy eksperckie.. Są. one. jednak. często. wspomagane. wariantowymi. prognozami. matematycznymi, technikami symulacji Monte Carlo itp. [57]. Przedmiotem zainteresowania w niniejszej rozprawie są możliwości usprawnienia prognoz. średnioterminowych. przez. opracowanie. metod. ich. algorytmicznego. nadzorowania, zarówno z wykorzystaniem testów statystycznych, jak i reguł wykorzystujących przekrojowe analizy zdarzeń w otoczeniu badanych szeregów. Niezależnie od zasadniczego. zastosowania,. predyktory matematyczne można. wykorzystać do analizy właściwości czynników losowych wpływających na badany proces. Jako ich reprezentację przyjmuje się albo reszty formuł ekstrapolacyjnych (analiza rezidualna), albo błędy prognoz opartych na modelach sygnałowych. Uzyskane w ten sposób ciągi traktuje się jako podstawowe sygnały diagnostyczne, umożliwiające detekcję zdarzeń, co w powiązaniu ze znanymi jakościowymi czynnikami zewnętrznymi wykorzystuje się do wsparcia prognoz eksperckich, wykrywania anomalii. lub. poszukiwania. powiązań. statystycznych. między. właściwościami. statystycznymi błędów predyktora, a zdarzeniami. To ostatnie zastosowanie będzie eksplorowane w niniejszej rozprawie.. 2.2.2 Problemy monitorowania szeregów czasowych i generowania sygnałów diagnostycznych Monitorowanie szeregów jest ważnym obszarem zastosowań komercyjnych, a także badań naukowych mającym m.in. zastosowanie w systemach komputerowego sterowania i nadzorowania. Celem monitorowania jest selekcja informacji istotnych, z wykorzystaniem dekompozycji szeregu na składowe wolno i szybkozmienne, w tym. 16.

(17) losowe. Dekompozycję prowadzi się z wykorzystaniem filtracji dolnoprzepustowej, m.in. metodą wygładzania szeregu [246], [5], transformacji falkowej [248], [246], [60], aproksymacji minimalnokwadratowej (wyznaczanie trendu, aproksymacja harmoniczna [12], [75]) i identyfikacji modeli sygnałowych. Selekcja informacji może być ukierunkowana bądź na wykorzystanie w analizach eksperckich, bądź do dalszego przetwarzania ilościowego. Dla potrzeb analiz eksperckich ważny jest dobór graficznej reprezentacji szeregu, z pokazaniem przebiegów poszczególnych składowych i wyodrębnieniem charakterystycznych wzorców. W odniesieniu do szeregów finansowych metody takie są szeroko rekomendowane jako tzw. analiza techniczna [171], [243]. Wykorzystuje się tu proste metody analiz ilościowo-jakościowych sygnałów, takie jak m.in. wizualizacja średnich ruchomych [125] (metoda trzech średnich, gdzie badana jest relacja średnich obliczonych w oknach o różnych szerokościach), analiza okresowości [53], wyodrębnianie segmentów szeregu o charakterystycznych, powtarzalnych kształtach (tzw. formacji), a także metoda świec japońskich (ilościowo-graficzna prezentacja danych w postaci ciągów tzw. świec) [171]. W analizach ilościowych składowe szeregów są poddawane dalszemu przetwarzaniu, jako oddzielne sygnały diagnostyczne (tzw. analiza wielorozdzielcza [109], [172], [217]). Mogą być one ukierunkowane na badanie współzależności o charakterze deterministycznym i losowym badanych zjawisk reprezentowanych szeregami czasowymi.. Wykorzystuje. się. tu. techniki. korelacyjne. [151],. transformację. Karhunena-Loevego (KL) [124], [154] i analizę składowych głównych PCA (ang. Principal Components Analysis) [121], [34], a także techniki eksploracji danych (do tej grupy zaliczane są m.in. metody oparte na zastosowaniu miar odległości, określanych też miarami odmienności szeregów [240], [104], [206], [158], [131]). Zastosowanie technik komputerowych pozwala na implementację złożonych metod przetwarzania szeregów. Implementowane są mechanizmy klasyczne oraz adaptacyjne, udoskonalone często metodami tzw. inteligencji obliczeniowej, eksplorujące różnorodne paradygmaty. Wiele algorytmów wymaga arbitralnego dostrajania parametrów [14], [115], [165]. Algorytmy takie, wykorzystujące analityczne oraz neuronowe techniki identyfikacji, grupowania i klasyfikacji, systemy ekspertowe, w tym metody zaliczane do tzw. nowej inżynierii [238], mają zastosowanie bezpośrednie (np. detekcja anomalii umożliwiająca wykrycie awarii urządzenia [43]) bądź pośrednie, ukierunkowane na. 17.

(18) przetwarzanie danych wejściowych w celu wygenerowania sygnału diagnostycznego, stanowiącego sygnał wejściowy innych metod przetwarzania, jak np. kompresji danych [34], [29] czy redukcji wymiarowości [147], [212], [232]. Metody inteligencji obliczeniowej wykorzystywane są do zwiększenia skuteczności mechanizmów klasycznych. Wśród takich metod można wyróżnić dwa stosowane podejścia. Pierwsze opiera się na narzędziowym wykorzystaniu danej metody ze względu na własności, charakterystykę, szybkość działania czy rodzaj uzyskiwanych wyników. Przykładem jest zastosowanie sztucznych sieci neuronowych [218], [219], [233], [241], [247], [90]. Drugie podejście związane jest z wykorzystaniem analogii zadania detekcji zdarzeń do innych zjawisk, w szczególności spotykanych w naturze5. Podejście to ma zastosowanie dla zwiększania skuteczności działania mechanizmów klasycznych, a także wpływa na efektywniejsze wykorzystanie mocy obliczeniowych powszechnie dziś dostępnych komputerów (m.in. poprzez rozpraszanie obliczeń, zastosowanie architektury klastrowej/gridowej). Jednym z wykorzystywanych paradygmatów jest podejście immunologiczne [40], którego założenia i mechanizmy znajdują także odwzorowanie w przetwarzaniu sygnałów oraz detekcji zdarzeń w szeregach czasowych [59]. Z punktu widzenia niniejszej pracy szczególną rolę odgrywa analiza składowych szybkozmiennych. Jak wspomniano w poprzednim rozdziale, mogą one być uzyskane przez wyznaczenie reszt modeli predykcyjnych i traktowane jako procesy stochastyczne reprezentujące czynniki losowe wpływające na proces. Można oczekiwać, że w tych składowych znajdują odzwierciedlenie nagłe zdarzenia jakościowe zewnętrzne, zarówno incydentalne (ujawniające się w postaci krótkotrwałych anomalii), jak i te powodujące długoterminowe skutki. Dla takich sygnałów prowadzone są analizy diagnostyczne zmierzające do detekcji zdarzeń. Analizy te mogą być prowadzone zarówno w dziedzinie czasu [235], [205], [25] oraz częstotliwości [22]. Istotnym elementem selekcji informacji jest eliminacja mniej istotnych cech szeregu, pozwalająca na skuteczniejszą ocenę najbardziej istotnych cech badanych procesów. Przykładowo, dla badania współzależności szeregów czasowych w ekonometrii powszechnie stosowane są korelacje rangowe Spearmana [225] oraz korelacje. τ Kendalla [126]. 5. W pracy [214] przeprowadzono analizę istnienia analogii pomiędzy sygnałem giełdowym, a sygnałem naturalnym – pulsem serca organizmu. Pomimo znalezienia podobieństw stwierdzono, że w obydwu przypadkach wiedza ekspercka ogrywa istotną rolę, co powoduje problemy algorytmizacji (brak możliwości identyfikacji modelu), natomiast można wykorzystywać podobne narzędzia analiz.. 18.

(19) 2.2.3 Detekcja zdarzeń 2.2.3.1 Problemy detekcji zdarzeń w szeregach czasowych W literaturze detekcja zdarzeń określana jest między innymi jako detekcja anomalii (ang. anomaly detection), nowości (ang. novelty detection) [165], [157], [157], [7], [223], [222], [144], [40], wartości odstających (ang. outlier detection) [197], [122], [2], [172], [145], [31], [224] czy zmian punktowych (ang. change point detection) [102], [184]. Znajdowanie. w. szeregu. czasowym. określonych. sekwencji. nazywane. jest. rozpoznawaniem wzorców (ang. pattern recognition) [44], [87], [198], [130], [54], [186]. Detekcja. zdarzeń. ukierunkowanym. związana na. jest. z. identyfikację. przetwarzaniem. krótko. oraz. danych. wejściowych,. długoterminowych. okresów. niestandardowego zachowania sygnału w analizowanym oknie, zazwyczaj wydzielania okresów. stacjonarności. i. niestacjonarności. (pojawienie. się. niestacjonarności. o nielosowych przyczynach). Zadanie detekcji anomalii może być postrzegane jako znalezienie odpowiedniego rozkładu prawdopodobieństwa określonych cech (atrybutów) anomalii [158]. Innym podejściem spotykanym w literaturze [211] jest rozpatrywanie problemu wykrywania zdarzeń jako zadania nienadzorowanej klasyfikacji (problem jednej klasy), gdzie zakłada się, że dane treningowe zawierają jedynie przykłady z jednej klasy, natomiast dane testowe mogą być zaliczone do wielu klas. Opisywana jest zazwyczaj tylko jedna klasa (klasyfikacja binarna) oraz sposób rozróżnienia pomiędzy innymi możliwymi obiektami. Detekcja zdarzeń jest więc problemem generowania granic decyzyjnych pomiędzy klasą normalną i klasą nieprawidłową (klasą anomalii) [81], a więc znalezienie odwzorowania przynależności danych wejściowych do danej klasy. Funkcja odwzorowująca. (minimalizująca. błąd. odwzorowania. [211]). jest. algorytmem. klasyfikacji, który jest trenowany (uczony) na podstawie zestawu danych treningowych. Jak wspomniano we wstępie tej pracy, zaawansowane algorytmy detekcji zdarzeń w szeregach czasowych są rzadko publikowane, jednak z pewnością są one przedmiotem badań w wielu ośrodkach naukowych. Klasyczne podejście opiera się na analizach istotności odchyłek [208], [237] oraz testach stosunku funkcji wiarygodności (ang. Likelihood Ratio Test, LR) znanych jako metoda Page’a-Hinkleya [18], wraz z uogólnieniami opartymi m.in. na wielokryterialnej analizie istotności trendów [67], [235]. Metody te wykazują bardzo dobrą skuteczność detekcji zmian dla sygnałów 19.

(20) zaszumionych. zakłóceniami. wysokoczęstotliwościowymi. [67].. Jednak. przy. rygorystycznych wymaganiach (niskie prawdopodobieństwo fałszywego alarmu, prawdopodobieństwo niewykrycia zdarzenia) metody te mają stosunkowo duże opóźnienie detekcji (zbyt długie okno analizy), przez co zachodzi potrzeba stosowania przetwarzania równoległego [139] (lub współbieżnego) szeregów w różnych wymiarach oraz opóźnieniach czasowych, z uśrednieniem wyników końcowych. W zadaniu wykrywania anomalii w szeregach czasowych istotna jest [61], [189], [190], [191], [192], [184] informacja o średniej wartości przyrostów analizowanych szeregów, trendzie i parametrach dynamiki czy odchyleniu standardowym, które mogą być parametrami wejściowymi słabych testów statystycznych (np. testu serii odchyłek od trendu umożliwiających detekcję krótkoterminowych zmian [235]), testów silnych (stosunku funkcji wiarygodności, umożliwiającego wykrycie zmian długoterminowych) oraz metod prognozowania krótko i średnioterminowego. Skokowe zmiany wartości średniej przyrostów o małej amplitudzie (względnie długo utrzymujące się) mogą być traktowane jako zmiany trendu w oryginalnym szeregu i wykrywane z wykorzystaniem silnych testów statystycznych. Zmiany takie powodują konieczność krótko lub długoterminowej zmiany parametrów predyktorów. Dla analiz szeregów finansowych istotne wydaje się być wykrywanie tzw. zdarzeń „cichych”, będących krótkoterminowymi zwiastunami długoterminowych zmian, o określonej konfiguracji. Poprzedzają one zmiany właściwości statystycznych szeregu, mogą generować informację o zmianie zachowania szeregu (lub grupy szeregów), mającej następstwo w postaci zmian w innym szeregu (bądź grupie). Wykrywanie takich konfiguracji (koincydencji) też może być przedmiotem detekcji, gdzie istotne znaczenie mieć będzie analiza danych w okresach czasu bezpośrednio poprzedzających zmianę trendu, co daje możliwość sygnalizowania potencjalnego wystąpienia kolejnych takich zmian w przyszłości bądź konieczności zmiany szerokości okna analizy (opóźnienia) przy utrzymaniu założonego prawdopodobieństwa fałszywego alarmu oraz prawdopodobieństwa niewykrycia zdarzenia. Implementacja określonej metody algorytmicznej detekcji zdarzeń uzależniona jest od charakterystyki danych wejściowych (właściwości statystyczne, częstotliwościowe, wymiarowość, kompletność), atrybutów zdarzeń (amplituda, czas trwania, okresowość, koincydencja), dopuszczalnego opóźnienia detekcji, czy stosowalności takich analiz dla określonych uwarunkowań. Wiele algorytmów wymaga dostrojenia parametrów pracy. 20.

(21) oraz odpowiedniego doboru sygnału diagnostycznego celem ukierunkowania na oryginalne warunki przetwarzania. Kluczowym elementem wykrywania zdarzeń jest zastosowany algorytm klasyfikacji, wpływający bezpośrednio na skuteczność detekcji oraz możliwość zastosowania dla heterogenicznych zestawów danych.. 2.2.3.2 Metody detekcji i ich zastosowania – przegląd literatury Przegląd literatury światowej z zakresu przetwarzania informacji cyfrowej oraz analizy i eksploracji danych wskazuje na duże zainteresowanie informatyków obszarem detekcji zdarzeń w szeregach czasowych. Zazwyczaj prezentowane są zastosowania algorytmów, których zasada działania opiera się głównie na zadaniu klasyfikacji. W wielu przypadkach istnieje trudność w uzyskaniu negatywnych próbek, dlatego algorytmy nienadzorowanego uczenia wydają się być przydatne w zadaniu uczenia maszynowego. Zastosowanie danej metody ukierunkowane jest na wychwycenie określonych cech zdarzeń oraz wykorzystanie zależności obecnych w szeregu i pomiędzy zdarzeniami. Przykładem jest monitorowanie szeregów pod kątem analizy częstotliwości występowania zdarzeń (różnica między częstotliwością aktualną, a oczekiwaną, uzyskaną na podstawie analizy danych historycznych) [130], analiza podobieństwa trendów, zlokalizowanych wzorców [30], [32] oraz charakterystyk (wartość, nachylenie, kształt) punktów serii treningowej i testowej [159]. Szczególnej analizie poddawane są odchyłki od naturalnego (ustalonego, statystycznego) zachowania szeregu [44], [40], [216] oraz wartości odstające [172], [165], [144]. Prezentowane w literaturze algorytmy wykrywania zdarzeń wykorzystują klasyczne oraz złożone metody przetwarzania danych [95], w tym hybrydowe (zagregowane) [155], [184], łączące podejścia stosowane w różnych modelach. W szczególności, badania ukierunkowane są na wykorzystanie podejścia statystycznego [52], [239], [165], [82]. Stosowane są tzw. metody różnicowe [184] wykazujące zmiany na podstawie analizy różnic pomiędzy aktualnymi, a założonymi wartościami, czy metody sum skumulowanych (CUSUM) [170], wykorzystywane przykładowo do monitorowania przekroczenia zadanego progu błędu. Do estymacji lokalizacji punktów zmian parametrów procesów stosowane są procedury bayesowskie [141], [102]. Detekcja zdarzeń może być przeprowadzona w oparciu o analizę rozkładów prawdopodobieństwa. Przykładowo, poprzez testowanie hipotez statystycznych [165] badana jest przynależność próbki do tego samego rozkładu, co próbka treningowa. Stosuje się także metodę GMM (Gaussian. 21.

(22) Mixture Model) (wykorzystanie liniowej kombinacji rozkładów normalnych) [165], [144], [151] oraz metody HMM (ukryte modele Markowa, ang. Hidden Markov Models) [13], [244], [87]. Większość podejść statystycznych bazuje na modelowaniu gęstości danych treningowych i odrzucania próbek, które znajdują się w regionach małych gęstości. W statystycznej analizie sygnałów często niezbędna jest a priori informacja o rozkładach, co uniemożliwia zastosowanie takich metod w każdych warunkach [184]. W tym celu stosuje się odpowiednie metody do aproksymowania rozkładów prawdopodobieństwa (np. sieci neuronowe [36], estymatory nieparametryczne [111]). Inną powszechnie stosowaną grupą metod są techniki eksploracji danych (ang. data mining) [146], [99], [56], [24], [92], [165], do których zaliczyć można m.in. metody badania asocjacji [74], [194], a także podejścia klasteryzacji [165], której idea opiera się na podziale danych na określoną liczbę klastrów. Do wyszukiwania podobnych wzorców w szeregach czasowych wykorzystuje się zazwyczaj algorytm najbliższego sąsiada (ang. nearest neighbour) [85]. Wiele podejść wykrywania zdarzeń [15], [15], [43], [93], bazuje na przekształceniu zadania detekcji do wielowymiarowej przestrzeni kształtów, gdzie proces detekcji ma formę generowania detektorów i dopasowywania do próbek. Generowane są detektory uogólnione,. ukierunkowane. na. wykrywanie. nieprzewidywalnych. (nieznanych). warunków [43]. Wykorzystywane są także tzw. modele ścieżkowe (ang. path models), stosowane do obliczania trajektorii dla szeregu testowego i treningowego [158]. Szerokim obszarem implementacji algorytmów detekcji zdarzeń są metody sztucznej inteligencji (w tym uczenia maszynowego [143], [91]): sztuczne sieci neuronowe [167], [231], [81], systemy immunologiczne [96], [107], [41], [15], [43], [15], [80], [44], [97], [93], [95], [97] oraz ekspertowe [243]. W zadaniu detekcji zdarzeń często wykorzystywana jest logika rozmyta [243], mająca zastosowanie m.in. w postaci rozmytych reguł decyzyjnych (klasyfikacyjnych) [93], [97], [195]. Do pozostałych metod, będących przedmiotem badań, zaliczyć można m.in. techniki oparte na dekompozycjach falkowych [217], [215], [147], [32], [147], [248], [21] i analizach częstotliwościowych [203], [246]. Algorytmy detekcji zdarzeń mają zastosowanie w wielu obszarach, jak m.in.: detekcji uszkodzeń (ang. fault detection) [223], [44], [160], rozpoznawaniu obrazów [186] (np. analizie mammogramów [222], [179], pisma odręcznego [224]), analizie ruchu. 22.

(23) sieciowego [172], [40], [2], systemach komunikacyjnych [100], prognozowaniu [54], [156], [185], [139], [181], w usługach internetowych oraz handlu elektronicznym (ang. e-commerce) [161], statystycznej kontroli procesów (ang. statistical process control, SPC) [101], [170], [235], [184], marketingu [2] i innych.. 2.3 Sztuczne systemy immunologiczne Jak wspomniano w podrozdziale 2.2, w wielu pracach sygnalizuje się możliwości usprawnienia przetwarzania szeregów przez odwzorowanie procesów i zjawisk występujących w przyrodzie. W szczególności, algorytmiczną adaptację predyktorów do nieoczekiwanych zmian właściwości szeregów można postrzegać jako zadanie analogiczne do ochrony organizmu przez system immunologiczny.. 2.3.1 Naturalne układy odpornościowe Naturalny układ odpornościowy realizuje proces ochrony organizmu, polegający na wykrywaniu i eliminacji komórek obcych (patogenów) przez limfocyty [249]. Proces ten przebiega w dwóch etapach (ma strukturę dwupoziomową). Etap pierwszy polega na stałym monitorowaniu komórek organizmu pod kątem wykrywania komórek obcych. Zadanie to realizowane jest przez limfocyty6 (głównie typu T) [249], [42], [178]. W etapie drugim następuje reakcja limfocytów (głównie komórek B) wobec rozpoznanych antygenów w postaci pierwotnej odpowiedzi immunologicznej (napotkanie patogenu po raz pierwszy) bądź wtórnej7 (detekcja patogenu wcześniej rozpoznanego) [249], [47], [199], będącej efektem tworzonej oraz modyfikowanej pamięci immunologicznej (istniejącej dzięki limfocytom, głównie Th oraz B), przechowującej informacje o typach napotkanych patogenów oraz sposobie reakcji układu. Wysoka skuteczność prowadzonej detekcji komórek obcych uzyskiwana jest dzięki procesowi selekcji negatywnej (odbywającego się w grasicy podczas dojrzewania tych komórek), podczas którego limfocyty są testowane na komórkach własnych organizmu i usuwane w przypadku błędnej klasyfikacji. Na skuteczność eliminacji patogenów ma wpływ 6. Limfocyty są tak ukształtowane, aby nie reagowały na obecność komórek własnych, natomiast w sytuacji napotkania patogenu generują sygnał inicjujący odpowiedź immunologiczną organizmu. Wysoką skuteczność detekcji uzyskuje się w organizmie poprzez stałą wymianę populacji limfocytów. 7 Wtórna odpowiedź układu jest szybsza i skuteczniejsza od pierwszej z uwagi na wykorzystanie pamięci immunologicznej, gdzie przechowywana jest informacja o sposobie reakcji na dany typ antygenu.. 23.

(24) selekcja klonalna oraz mutacja limfocytów [117], [17] dzięki czemu generowana jest duża populacja podobnych komórek, ukierunkowanych na wyeliminowanie patogenów. Limfocyty są nieustannie doskonalone, dzięki czemu system immunologiczny charakteryzuje się adaptacyjnością oraz możliwością wykrycia komórek obcych o liczbie znacznie przewyższającej liczbę limfocytów8.. 2.3.2 Systemy immunologiczne w informatyce Wiele zagadnień informatycznych można postrzegać w kategoriach immunologii, tj. zapewnienia. skutecznej. ochrony. przed. nieprzewidywalnymi. zagrożeniami. (np. ochrona zasobów sieciowych [91], detekcja uszkodzeń [43] itp.), co zrodziło ideę algorytmicznego odwzorowania przedstawionych wyżej mechanizmów, tj. stworzenia sztucznych systemów immunologicznych (ang. Artificial Immune Systems, AIS) [49], [178], [37], [165], [42], [49]. Zaliczane są one do tak zwanej nowej (kompleksowej) inżynierii [238], czerpiącej z zachowań naturalnych systemów, gdzie podstawowe komponenty są proste, natomiast całkowite zachowanie systemu jest w pełni kompleksowe. Jest to przeciwieństwo systemów tradycyjnych, które działają ściśle według przyjętych schematów, określających zachowanie każdego komponentu systemu [238], [192]. Naturalne systemy immunologiczne wykorzystują jednak bardzo złożone i w znacznym stopniu jeszcze nie rozpoznane mechanizmy, a zatem ich pełne odwzorowanie jest w praktyce niemożliwe. Niemniej, nawet ogólne zasady funkcjonowania systemów naturalnych (ang. immunological principles [39]) mogą stanowić cenną inspirację dla konstrukcji adaptacyjnych algorytmów wykrywania zdarzeń, co można określić jako wykorzystanie paradygmatu immunologicznego. Z punktu widzenia niniejszej rozprawy, w ujęciu informatycznym, system immunologiczny jest adaptacyjnym, dwupoziomowym klasyfikatorem, w którym na poziomie pierwszym klasyfikacja jest binarna (zdrowie/choroba), a na poziomie drugim – wieloklasowa, polegająca bądź na rozpoznaniu typu choroby i sposobu jej leczenia (pierwsza odpowiedź układu), bądź wyszukania w pamięci analogicznej sytuacji i wskazanej, wypracowanej wcześniej reakcji (druga odpowiedź immunologiczna). Na obu poziomach stosuje się dużą liczbę zróżnicowanych detektorów. Obydwa klasyfikatory są dostrajane, przy czym klasyfikator binarny wykorzystuje bardzo proste, szybkie metody klasyfikowania, jest. 8. Szacuje się, że w organizmie jest 106 własnych protein, natomiast w otoczeniu występuje około 1016 antygenów [178], [199].. 24.

(25) rutynowo wykonywany i permanentnie adaptowany, natomiast w klasyfikatorze drugim proces adaptacji może być złożony i jest uruchamiany tylko, gdy pamięć immunologiczna nie zawiera informacji o wykrytym typie choroby. System immunologiczny może być postrzegany jako specyficzny równoległy oraz rozproszony system adaptacyjny z częściowo zdecentralizowanymi mechanizmami kontroli [37]. Rozproszoność związana jest z dużą elastycznością, tj. odpornością na niewielkie zaburzenia, a także z faktem, że funkcjonowanie pojedynczych komponentów nie jest krytyczne dla zachowania układu, natomiast suma takich rozproszonych komponentów tworzy całość o skomplikowanych własnościach, co koresponduje w pewnym sensie z ideą systemów agentowych [178], [175], [192], [58], [28]. Praktyczne odwzorowanie algorytmiczne powyższych zasad klasyfikacji zależy od właściwości danych, przeznaczenia algorytmu, uwarunkowań czasowych jego funkcjonowania itp. Związane z tym problemy są przedmiotem licznych publikacji, począwszy od opracowań monograficznych (np. [178], [47], [221]), poprzez dysertacje (np. [106], [59], [106], [227], [202], [140], [98], [46], [73], [210], [169], [168]), a także artykuły prezentujące aspekty teoretyczne tego podejścia ([209], [220], [227], [228], [209], [35]). Zasady działania limfocytów typu T są zazwyczaj inspiracją budowy systemów detekcji anomalii [39], natomiast mechanizmy sterujące działaniem komórek typu B wykorzystywane są do konstrukcji algorytmów ukierunkowanych na rozwiązywanie problemów optymalizacyjnych lub analizę danych [178]. W zależności od potrzeb, poszczególne mechanizmy mogą być implementowane w różnym zakresie, pomijane lub bardzo upraszczane, ale najważniejsze cechy odróżniające algorytmy oparte na paradygmacie immunologicznym od ogólnej klasy algorytmów adaptacyjnych to: 1. Wielość stosowanych reguł klasyfikacji (detekcji) i odpowiednia agregacja informacji diagnostycznej. 2. Brak konieczności wcześniejszego uczenia i testowania9 (co korzystnie odróżnia system immunologiczny od sieci neuronowych). 3. Możliwość zastosowania do kompleksowego przetwarzania dużych zbiorów danych poprzez selektywne wykorzystanie wybieranych losowo zestawów. 9. Z punktu widzenia zadania detekcji, istotną cechą działania mechanizmów odpornościowych jest możliwość wykrywania obcych struktur na podstawie informacji o komórkach własnych.. 25.

(26) 4. Dwupoziomowość ze zróżnicowanymi regułami klasyfikacji i sposobami adaptacji na obu poziomach (metody szybkie na poziomie pierwszym, niekoniecznie szybkie na poziomie drugim). 5. Otwarte strategie adaptacji, szczególnie na poziomie drugim (ale również na pierwszym), sprowadzające się nie tylko do adaptacji parametrycznej, ale też strukturalnej (zmiany zestawów szeregów poddawanych analizie, zmiany sygnałów diagnostycznych, zmiany reguł klasyfikacji). 6. Duże znaczenie przetwarzania jakościowego wobec ilościowego (odpowiednia redukcja. ilości. informacji. wykorzystywanej. bezpośrednio. w. kryteriach. diagnostycznych). 7. Stosunkowo silna autonomia względnie prostych detektorów na obu poziomach (podobieństwo do systemów agentowych), co pozwala unikać kompleksowego, współbieżnego przetwarzania dużych zasobów danych. Należy podkreślić, że paradygmat immunologiczny nie precyzuje konkretnych metod adaptacji, niemniej, idąc za inspiracją systemem naturalnym, można stosować w tym przypadku adaptację genetyczną. Nie jest również konieczne stosowanie (na pierwszym poziomie) zasady selekcji negatywnej limfocytów. Algorytmy mogą włączać tutaj także mechanizmy selekcji pozytywnej (jakkolwiek występującej rzadko w systemach naturalnych), którą można realizować poprzez sprawdzenie trafności klasyfikacji binarnej (nagradzanie skutecznie wykrytych symptomów choroby, a nie tylko karanie za fałszywe alarmy). W literaturze można znaleźć liczne przykłady zastosowań tego podejścia [229], [176], [78], [37] w wielu obszarach nauki oraz inżynierii: do zapewnienia bezpieczeństwa komputerowego [137], [38], [107], [16], [138], [236], [76], [79], [78], [209], [77], [136], [94], [4] (np. detekcja wirusów [80], [89] czy systemy wykrywania włamań [91], [4]), wykrywania anomalii w zbiorach danych [97], [95], [182], [40], [39], [45], [119] (w tym m.in. detekcji uszkodzeń [23], [43], [116], [158], detekcji oszustw [112]), rozpoznawania obrazów [113], [142], [50], [45], wzorców [44], eksploracji danych [114], [230] (np. analizy danych i klasteryzacji [227], [51], [174], [105], [173], [107]), prognozowania [181], w sterowaniu adaptacyjnym [229], optymalizacji [50], [33], do modelowania biologicznych układów odpornościowych [220], jako podejście agentowe – np. w systemach wykrywania włamań w pomieszczeniach [55], dynamicznego uczenia [137], [173], [107], jako mechanizmy klasyfikacji w oparciu o selekcję. 26.

(27) negatywną [43], konstrukcji sieci immunologicznych [84], tworzenia nowych teorii immunologicznych [228] i innych. W pracach naukowych prezentowane są wyniki działania algorytmów hybrydowych, łączących wybrane mechanizmy działania naturalnych układów odpornościowych z innymi metodami (podejściami), np. jako generator danych uczących dla sieci neuronowych [48], [95], [201].. 2.4 Koncepcje badawcze i tezy rozprawy 2.4.1 Podsumowanie literatury pod kątem potrzeb badawczych w odniesieniu do specyfiki zadania Działanie prezentowanych w literaturze algorytmów bazuje na przetwarzaniu pojedynczych. sygnałów. bądź. zestawów. danych. pochodzących. zazwyczaj. z homogenicznych źródeł, o specyficznych (często stosunkowo prostych do identyfikacji) właściwościach statystycznych. W wielu przypadkach obiektem badań są dane symulowane bądź benchmarki [15], [40], [44], [97], dla których istnieje potencjalna możliwość znacznego spadku skuteczności działania w przypadku implementacji. dla. nowego. (nieznanego). zestawu. danych. rzeczywistych. (w szczególności szeregów finansowych). Implementowane informatyczne metody pozyskiwania informacji z szeregów czasowych ukierunkowane są na detekcję zdarzeń określonego typu, dając zadawalające rezultaty przy określonych warunkach i założeniach. Ograniczone zastosowanie wielu algorytmów. wynika. często. z. właściwości. wykorzystywanych. metod. analiz,. uniemożliwiających detekcję zdarzeń w przypadku niedostatecznej liczby próbek w ustalonym oknie analizy, specyficznego zachowania szeregu, obecności braków w danych (wymagających szczególnej ostrożności w stosowaniu metod statystycznych) czy niewłaściwej selekcji sygnału generowanego na podstawie danych oryginalnych. Można także zauważyć, że przedmiotem badań często jest udoskonalenie metod wcześniej opisywanych, bądź ich zastosowania dla innych uwarunkowań [91], [131], [110]. Porównanie prezentowanych wyników uwidacznia zazwyczaj nieznaczne usprawnienia w odniesieniu do metod klasycznych, możliwe do osiągnięcia przy spełnieniu określonych założeń [158], [148]. W literaturze proponowany jest szereg rozwiązań zagregowanych oraz adaptacyjnych (głównie adaptacja parametryczna), 27.

(28) w tym także z zakresu inteligencji obliczeniowej [173], [29], [98], [40], [7], osiągających stosunkowo wysoką skuteczność detekcji zmian oraz anomalii, aczkolwiek mechanizmy te rzadko są implementowane do przetwarzania szeregów finansowych.. 2.4.2 Specyfika zadania analizy szeregów finansowych Cechą charakterystyczną środowiska reprezentowanego przez szeregi finansowe jest zmian,. losowość. obecność. różnego. rodzaju. zdarzeń. symptomatycznych,. poprzedzających zmiany istotne (zmiany trendu), trudnych do wykrycia. Zdarzenia występują ze zmiennym opóźnieniem i pojawiają się w całym środowisku (zestawie danych) bądź w określonych grupach. Istotne zdarzenia w takich szeregach czasowych (załamania trendu) występują stosunkowo rzadko, natomiast zdarzenia o charakterze lokalnym. są. efektem. niemożliwych). do. wpływu. wielu. identyfikacji. oraz. czynników,. niezwykle. deterministycznego. trudnych. (lub. określenia. ich. współzależności. Zmiany w szeregach posiadają zróżnicowane atrybuty, jak m.in. czas trwania, skala (amplituda) czy cykliczność, co wymusza stosowanie szerokiego zestawu metod przetwarzania danych, dedykowanych także do charakterystyki statystycznej analizowanych danych. Takich lokalnych zdarzeń jest wiele, co w połączeniu z ogromnym zestawem dostępnych szeregów uniemożliwia ich kompleksowe przetwarzanie. Sugeruje to potrzebę zastosowania rozproszonych mechanizmów detekcji, implementowanych w formie przekrojowych, krótkoterminowych analiz dostępnych sygnałów. Dodatkowo, niezwykle istotna jest konstrukcja algorytmicznych mechanizmów wczesnej identyfikacji istotnych zmian oraz ich sygnalizacji, umożliwiająca szybkie podejmowanie decyzji oraz minimalizowanie błędów predykcji. Analiza zasad działania prezentowanych w literaturze algorytmów, ich zastosowania, a także skuteczności w zadaniu detekcji zdarzeń oraz predykcji szeregów finansowych, wskazuje na potrzebę podjęcia badań nad algorytmami automatycznie przetwarzającymi dane pochodzące ze źródeł heterogenicznych (rozległych zbiorów szeregów czasowych), bazujące zarówno na skutecznych i sprawdzonych mechanizmach klasycznych. (statystycznych),. jak. i. adaptacyjnych. (z. adaptacją. strukturalną. i parametryczną), umożliwiających selekcję źródeł informacji oraz dostrajanie parametrów procedur tradycyjnych. Z naukowego punktu widzenia interesujące jest poszukiwanie nowych metod adaptacji, uwarunkowanej rodzajem oraz właściwościami przetwarzanych sygnałów, a także implementujących mechanizmy wstępnego 28.