Zastosowania metody rzutu
przypadkowego
w
głębokich
sieciach neuronowych
Praca prezentuje zastosowania metody rzutu przypadkowego (RP) w głębokich sieciach neuronowych. W pracy skupiono się na dwóch obszarach, w których użycie metody RP poprawia ich skuteczność: na efektywnym uczeniu głębokich sieci na danych wysokowymiarowych oraz na inicjalizacji parametrów sieci. W pierwszym z rozważanych obszarów zastosowań metoda RP jest włączana do architektury sieci jako warstwa wejściowa. Umożliwia to efektywne uczenie głębokich sieci neuronowych na danych pozbawionych struktury, reprezentowanych przez rzadkie, wysokowymiarowe wektory cech. W pracy pokazano, że dzięki użyciu warstwy wejściowej której wagi zostały zainicjalizowane elementami macierzy RP możliwe jest efektywne trenowanie głębokich sieci na tego typu danych. Przedstawiono kilka modyfikacji architektury sieci oraz metod jej trenowania, dzięki którym możliwe jest uczenie sieci na danych zawierających dziesiątki milionów przykładów uczących o wymiarowości przekraczającej miliony cech. Pozwoliło to uzyskać wyniki porównywalne lub lepsze od najlepszych wyników publikowanych w literaturze dla kilku dużych problemów klasyfikacji. W drugim obszarze zastosowań macierz RP wykorzystana jest do inicjalizacji wag sieci neuronowej. Pozwoliło to poprawić skuteczność residualnych sieci konwolucyjnych - modeli osiągających obecnie najlepsze wyniki w dziedzinie rozpoznawania obrazów.
Random Projection in Deep Neural Networks
This work investigates the ways in which deep learning methods can benefit from random projection (RP), a classic linear dimensionality reduction method. We focus on two areas where, as we have found, employing RP techniques can improve deep models: training neural networks on high-dimensional data and initialization of network parameters. Training deep neural networks (DNNs) on sparse, high-dimensional data with no |exploitable structure implies a network architecture with an input layer that has a huge number of weights, which often makes training infeasible. We show that this problem can be solved by prepending the network with an input layer whose weights are initialized with an RP matrix. We propose several modifications to the network architecture and training regime that makes it possible to efficiently train DNNs with learnable RP layer on data with as many as tens of millions of input features and training examples. In comparison to the state-of-the-art methods, neural networks with RP layer achieve competitive performance or improve the results on several extremely high-dimensional real- world datasets. The second area where the application of RP techniques can be beneficial for training deep models is weight initialization. Setting the initial weights in DNNs to elements of various RP matrices enabled us to train residual deep networks to higher levels of performance.
