W tej pracy proponujemy metodę regresji, zwana δ regresja wektorów wspierajacych (δ -SVR), która polega na zamianie problemu regresji w problemy binarnej klasyfikacji, które są rozwiązywane za pomocą maszyn wektorów wspierających (SVM). Rezultaty wskazują, że δ-SVR osiąga porównywalny do ε regresji wektorów wspierających (ε-SVR) błąd generalizacji, mniej wektorów wspierających oraz mniejszy błąd generalizacji dla różnych wartości ε i δ. Proponujemy również metodę włączania wiedzy marginesowej per przykład do problemów klasyfikacji i regresji, zwaną ϕ klasyfikacja wektorów wspierających (ϕ-SVC) oraz dwa zastosowania: zmniejszenie błędu generalizacji modeli zredukowanych, oraz włączenie nieliniowego warunku do problemu optymalizacyjnego SVM. Ponadto proponujemy dwa usprawnienia w implementacji SVM. Pierwsze z nich, zwane heurystyką alternatyw (HoA), dotyczy nowej heurystyki wyboru parametrów do zbioru roboczego. Drugie z nich, zwane wielowymiarowa sekwencyjna metoda rozwiązywania podproblemów (SMS), dotyczy nowego sposobu rozwiązywania podproblemów o więcej niż dwóch parametrach. Na końcu prezentujemy zastosowanie zaproponowanych metod do wykonywania zleceń giełdowych.
In this thesis, we propose a regression method, called δ support vector regression ( δ-SVR), that replaces a regression problem with binary classification problems which are solved by support vector machines (SVM). The results indicate that δ-SVR achieves comparable to ε-insensitive support vector regression (ε-SVR) generalization error, fewer support vectors, and smaller generalization error over different values of ε and δ. We propose also a method called ϕ support vector classification (ϕ-SVC) for incorporating knowledge about margin of an example for classification and regression problems and two applications: decreasing the generalization error of reduced models, and incorporating the nonlinear constraint to the SVM optimization problem.
Moreover, we propose two SVM implementation improvements. The first one, called heuristic of alternatives (HoA), regards a new heuristic for choosing parameters to the working set. The second one, called sequential multidimensional subsolver (SMS), regards a new method of solving subproblems with more than two parameters. Finally, we present an application of proposed methods for executing orders on exchanges.
