Porównanie testowanych metod ML z ES

Algorytmy uczenia maszynowego rozwiązały problem w znacznie krótszym czasie, a dodatkowo bez znaczących różnic w jakości wyników, w porównaniu z procedurami wyszukiwania wyczerpującego. Krytyczna różnica wstąpiła w cza-sie obliczeń. Sprawdzenie wszystkich możliwych parametrów wymagało dużo czasu (kilka do kilkunastu godzin), podczas gdy metody uczenia maszynowego dawały porównywalne wyniki w ułamku minuty. Przewaga w zakresie efektywno-ści czasowej może okazać się kluczowa dla rozwiązywania złożonych problemów, np. cechujących się większą przestrzeń parametrów. Względna różnica czasu była znaczna – na przykład metoda DEM zajęła 1650 razy mniej czasu niż pełna pro-cedura ES. Przyjmując taką samą proporcję, optymalizacja DEM, wykonywana w mniej niż jedną godzinę, mogłaby zastąpić metodę ES trwającą dwa miesiące.

Wyniki uzyskane w pracy sugerują, że wprowadzone w niej metody uczenia maszynowego mogą skutecznie zastąpić metodę wyszukiwania wyczerpującego, skracając czas obliczeń bez wpływu na jakość wyników (tabela 4). Analogiczne wyniki, jak dla kontraktów futures na indeks S&P500 i DAX, zostały otrzyma-ne dla pozostałych par testowanych aktywów finansowych.

W tabeli 4 widzimy, że podczas mediana i średnia kryterium optymalizacyj-nego otrzymaoptymalizacyj-nego dla testowanych metod ML stanowi prawie 100% wartości dla metody ES, to czas potrzebny do wykonania obliczeń w ramach metod ML w stosunku do metody wyszukiwania wyczerpującego jest nawet o 1000 razy krótszy.

Ta b e l a 4. Mediana i średnia kryterium optymalizacyjnego i czasu wykonania metod w stosunku do wyszukiwania wyczerpującego

ES EHC GM DEM

OC [%] czas [%] OC [%] czas [%] czas [%] czas [%] czas [%] OC [%]

Mediana 100 100 99.19 0.08 99.19 0.35 99.19 0.09

Średnia 100 100 97.62 0.12 99.19 0.35 99.42 0.12

Źródło: obliczenia własne. Tabela przedstawia kryterium optymalizacyjnego i czasu wykonania jako procent wyniku dla metody ES dla testowanych metod ML w okresie in-sample (1998–2013) dla pary kontraktów na SPX i DAX.

5. Podsumowanie

W pracy trzy metody uczenia maszynowego (EHC, GM oraz DEM) zosta-ły przedstawione i przetestowane w zadaniu optymalizacji strategii przecięcia średnich kroczących. Omawiane metody bazują na podstawowych algorytmach wykorzystywanych do prostszych zagadnień, ale zostały rozszerzone i dopa-sowane do specyfiki problemu optymalizacji algorytmicznej strategii inwesty-cyjnej, która obejmuje dyskretność przestrzeni rozwiązań i dużą wrażliwość kryterium na zmianę parametrów. W pracy przedstawiono dokładne wyniki testów dla zadania optymalizacji strategii działającej jednocześnie na indek-sach S&P500 i DAX na danych dziennych w okresie od 1998 do 2013 roku.

Porównanie skuteczności metod uczenia maszynowego opierało się na porównaniu kryterium optymalizacyjnego strategii wybieranych przez nie oraz czasu ich wykonania. Kryterium bazowało na zannualizowanej stopie zwro-tu, uwzględniając dodatkowo dwie miary ryzyka – zannualizowane odchylenie standardowe stóp zwrotu oraz maksymalne obsunięcie kapitału. Konstruk-cja kryterium optymalizacyjnego, uwzględniająca miary ryzyka przełożyła się na wybranie bardziej stabilnych i obarczonych mniejszym ryzykiem strategii przez wszystkie metody. Użycie maksymalnego obsunięcia kapitału odpowia-da za preferencje stabilnego zysku w czasie, wykluczając strategie generują-ce znaczną część zysku w krótkim okresie, co zmniejsza ryzyko zbyt mocnego dopasowania do danych historycznych i zwiększa szanse na działanie strategii w przyszłości.

Pierwsza metoda, o nazwie Extended Hill Climbing, zapewniała bardzo dobre i stabilne wyniki, porównywalne z optymalnymi, w stosunkowo krótkim, ale mało stabilnym czasie. Druga zaimplementowana metoda ML była czy-sto deterministycznym algorytmem, zwanym Metodą Siatki. Metoda zwróciła parametry strategii, z kryterium optymalizacyjnym podobnym do

optymalne-go. Pomimo tego, że czas potrzebny na obliczenia był kilkukrotnie dłuższy niż dla dwóch innych niedeterministycznych metod ML, to jednocześnie stanowił jedynie ułamek czasu potrzebnego do procedury wyszukiwania wyczerpujące-go. Największą zaletą tej metody jest stabilny czas obliczeń i deterministycz-ne wyniki. Właściwości tej procedury optymalizacji można docenić zwłaszcza w przypadku zastosowania w bardziej złożonych, automatycznych systemach.

Ostatnia metoda, zwana metodą ewolucji różnicowej (DEM), była w rzeczy-wistości jednym z najpopularniejszych algorytmów heurystycznych do rozwią-zywania nieregularnych, parametryzowalnych problemów, dostosowanym do specyfiki przestrzeni parametrów całkowitych. Czas wykonania optymalizacji jest kluczowy dla praktyków, ze względu na potrzebę szybkiego podejmowania decyzji oraz jego bezpośrednie przełożenie na możliwość przetestowania szer-szego zakresu, bardziej złożonych strategii.

Odnosząc się na koniec do postawionej na wstępie pracy głównej hipotezy badawczej, możemy powiedzieć, że zaproponowane metody uczenia maszyno-wego wymagały zdecydowanie mniej czasu niż metoda wyszukiwania wyczer-pującego, osiągając bardzo zbliżone do niego wyniki. W konsekwencji hipoteza nie została odrzucona.

Bibliografia

Ardia, D., Boudt, K., Carl, P., Mullen, K.M. i Peterson, B.G. (2010). Differential Evolution with DEoptim: An Application to Non-Convex Portfolio Optimization. The R Journal, 3(1).

Ardia, D., Boudt, K., Carl, P., Mullem, K.M. i Peterson, B.G. (2011). Large-scale portfolio optimization with DEoptim. CRAN R. Pozyskano z https://cran.r-project.org/web/packages/

DEoptim/vignettes/DEoptimPortfolioOptimization.pdf.

Choundhry, R. i Kumkum, G. (2008). A Hybrid Machine Learning System for Stock Mar-ket Forecasting. International Journal of Computer and Information Engineering, 2(3).

Gunasekarage, A. i Power, D.M. (2001). The profitability of moving average trading rules in South Asian stock markets. Emerging Markets Review, 2(1), 17–33.

Hastie, T., Tibshirani, R. i Friedman, J.H. (2001). The Elements of Statistical Learning. Data Mining, Inference, and Prediction. New York: Springer-Verlag. Pozyskano z https://web.

stanford.edu/~hastie/Papers/ESLII.pdf.

Hastie, T.,Tibshirani, R., James, G. i Witten, D. (2013). An Introduction to Statistical Lear-ning: With Applications in R. New York: Springer-Verlag.

Mullen et. al. (2016). Package ‘DEoptim’ – Global Optimization by Differential Evolution.

CRAN R Project. Pozyskano z https://cran.r-project.org/web/packages/DEoptim/vignettes/

DEoptim.pdf.

Samuel, A. (1959). Some Studies in Machine Learning Using the Game of Checkers. IBM Journal of Research and Development, 3(3), 210–229.

Shen, S., Jiang, H. i Zhang, T. (2012). Stock Market Forecasting Using Machine Learning Algo-rithms., Stanford, CA: Department of Electrical Engineering, Stanford University, 1–5.

Stanković, J., Marković, I. i Stojanović, M. (2015). Investment Strategy Optimization Using Technical Analysis and Predictive Modeling in Emerging Markets. Procedia Economics and Finance, 19, 51–62.

Storn, R.M. i Price, K.V. (1997). Differential Evolution – A Simple and Efficient Heuristic for Global Optimization over Continuous Spaces. Journal of Global Optimization, 11, 341–359.

Storn, R.M., Price, K.V. i Lampinen, J.A. (2006). Differential Evolution – A Practical Appro-ach to Global Optimization. Berlin Heidelberg: Springer-Verlag.

Valiant, L. (1984, November). A theory of the learnable. Communications of the ACM. https://

doi.org/10.1145/1968.1972. Pozyskano z http://web.mit.edu/6.435/www/Valiant84.pdf.