Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Skoro sieci neuronowe mają być sposobem na odtworzenie działania mózgu, to powinny działać tak dobrze jak mózg.
Mózg/neurony biologiczne potrafią sobie radzić z rozpoznawaniem wzoróc bez nadzoru.
Nic dziwnego, że chcielibyśmy uczyć sieci neuronowe sposób nienadzorowany.
16 / 26
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Skoro sieci neuronowe mają być sposobem na odtworzenie działania mózgu, to powinny działać tak dobrze jak mózg.
Mózg/neurony biologiczne potrafią sobie radzić z rozpoznawaniem wzoróc bez nadzoru.
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Skoro sieci neuronowe mają być sposobem na odtworzenie działania mózgu, to powinny działać tak dobrze jak mózg.
Mózg/neurony biologiczne potrafią sobie radzić z rozpoznawaniem wzoróc bez nadzoru.
Nic dziwnego, że chcielibyśmy uczyć sieci neuronowe sposób nienadzorowany.
16 / 26
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Wracamy zatem do świata w którym dane nie są przypisane do klas.
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Wracamy zatem do świata w którym dane nie są przypisane do klas.
Nasz zbiór uczący jest postaci x1, x2, . . . , xm czyli nie mamy etykiet.
Sieć może nauczyć się podobieństwa między przykładami. Przykładem takich sieci są sieci Kohonena.
17 / 26
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Wracamy zatem do świata w którym dane nie są przypisane do klas.
Nasz zbiór uczący jest postaci x1, x2, . . . , xm czyli nie mamy etykiet.
Sieć może nauczyć się podobieństwa między przykładami.
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Wracamy zatem do świata w którym dane nie są przypisane do klas.
Nasz zbiór uczący jest postaci x1, x2, . . . , xm czyli nie mamy etykiet.
Sieć może nauczyć się podobieństwa między przykładami.
Przykładem takich sieci są sieci Kohonena.
17 / 26
Sieć Kohonena
Sieć Kohonena lub odwzorowanie Kohonena lub Self-Organizing Map zaproponowano w latach ’80.
The principal discovery is that in a simple network of adaptive physical elements which receives signals from a primary event space, the signal representations are automatically mapped onto a set of output responses in such a way that the responses acquire the same topological order as that of the primary events.
Teuvo Kohonen, Self-organized formation of topologically correct feature maps, Biological Cybernetics volume 43, pages 59-69 (1982)
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieć Kohonena określona jest przez
Graf połączeń między neuronami (najczęściej siatka 2D lub siatka heksagonalna).
Funkcję odległości służącą do określenia podobieństwa między przykładami.
Funkcję sąsiedztwa służącą do określenia wpływu neuronu na najbliższych sąsiadów.
19 / 26
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieć Kohonena określona jest przez
Graf połączeń między neuronami (najczęściej siatka 2D lub siatka heksagonalna).
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieć Kohonena określona jest przez
Graf połączeń między neuronami (najczęściej siatka 2D lub siatka heksagonalna).
Funkcję odległości służącą do określenia podobieństwa między przykładami.
Funkcję sąsiedztwa służącą do określenia wpływu neuronu na najbliższych sąsiadów.
19 / 26
Sieć Kohonena określona jest przez
Graf połączeń między neuronami (najczęściej siatka 2D lub siatka heksagonalna).
Funkcję odległości służącą do określenia podobieństwa między przykładami.
Funkcję sąsiedztwa służącą do określenia wpływu neuronu na najbliższych sąsiadów.
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieci Kohonena
Algorytm uczenia sieci Kohonena
Inicjalizacja wartości wag w nodach. Dla każdego przykład ze zbioru uczącego
Oblicz odległość między przykładem a elementami siec. Wybierz neuron najbliższy do przykładu.
Zaktualizuj wartość neuronu zgodnie ze wzorem wBMU(i + 1) = wBMU(i ) + r (i )d (wBMU(i ), x ).
Warunkiem stopu może być liczba iteracji lub wyzerowanie r (i ).
20 / 26
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieci Kohonena
Algorytm uczenia sieci Kohonena
Inicjalizacja wartości wag w nodach.
Dla każdego przykład ze zbioru uczącego
Warunkiem stopu może być liczba iteracji lub wyzerowanie r (i ).
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieci Kohonena
Algorytm uczenia sieci Kohonena
Inicjalizacja wartości wag w nodach.
Dla każdego przykład ze zbioru uczącego
Oblicz odległość między przykładem a elementami siec. Wybierz neuron najbliższy do przykładu.
Zaktualizuj wartość neuronu zgodnie ze wzorem wBMU(i + 1) = wBMU(i ) + r (i )d (wBMU(i ), x ).
Warunkiem stopu może być liczba iteracji lub wyzerowanie r (i ).
20 / 26
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieci Kohonena
Algorytm uczenia sieci Kohonena
Inicjalizacja wartości wag w nodach.
Dla każdego przykład ze zbioru uczącego
Oblicz odległość między przykładem a elementami siec.
Warunkiem stopu może być liczba iteracji lub wyzerowanie r (i ).
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieci Kohonena
Algorytm uczenia sieci Kohonena
Inicjalizacja wartości wag w nodach.
Dla każdego przykład ze zbioru uczącego
Oblicz odległość między przykładem a elementami siec.
Wybierz neuron najbliższy do przykładu.
Zaktualizuj wartość neuronu zgodnie ze wzorem wBMU(i + 1) = wBMU(i ) + r (i )d (wBMU(i ), x ).
Warunkiem stopu może być liczba iteracji lub wyzerowanie r (i ).
20 / 26
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieci Kohonena
Algorytm uczenia sieci Kohonena
Inicjalizacja wartości wag w nodach.
Dla każdego przykład ze zbioru uczącego
Oblicz odległość między przykładem a elementami siec.
Wybierz neuron najbliższy do przykładu.
Zaktualizuj wartość neuronu zgodnie ze wzorem wBMU(i + 1) = wBMU(i ) + r (i )d (wBMU(i ), x ).
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieci Kohonena
Algorytm uczenia sieci Kohonena
Inicjalizacja wartości wag w nodach.
Dla każdego przykład ze zbioru uczącego
Oblicz odległość między przykładem a elementami siec.
Wybierz neuron najbliższy do przykładu.
Zaktualizuj wartość neuronu zgodnie ze wzorem wBMU(i + 1) = wBMU(i ) + r (i )d (wBMU(i ), x ).
Warunkiem stopu może być liczba iteracji lub wyzerowanie r (i ).
20 / 26
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieci Kohonena
W sieci Kohonena podobne przykłady powinny aktywizować sąsiednie neurony.
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieci Kohonena
W sieci Kohonena podobne przykłady powinny aktywizować sąsiednie neurony.
Dlatego sieci Kohonena zachowują topologię przestrzeni przykładów.
Sieć Kohonena dokonuje mapowania z przestrzeni wielowymiarowej na przestrzeń 2D.
21 / 26
W sieci Kohonena podobne przykłady powinny aktywizować sąsiednie neurony.
Dlatego sieci Kohonena zachowują topologię przestrzeni przykładów.
Sieć Kohonena dokonuje mapowania z przestrzeni wielowymiarowej na przestrzeń 2D.
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Sieci Kohonena
Uczenie nienadzorowane
Sieci Kohonena
Przykład sieci Kohonena
Przykład w Orange: orange-painted-som-ex.ows
22 / 26
Podsumowanie
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Podsumowanie Materiały dodatkowe
Podsumowanie
Do zapamiętania na temat uczenia sieci neuronowych:
Sieci neuronowe mogą być uczone w sposób nadzorowany lub nienadzorowany.
Dla efektywnego uczenia wielowarstwowych sieci jednokierunkowych (np. MLP) kluczowy jest algorytm wstecznej propagacji błędów.
Sieci uczone bez nadzoru są wzorowane na układzie struktur w mózgu.
Przykładem sieci uczonej bez nadzoru są odwzorowania Kohonena.
24 / 26
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Podsumowanie Materiały dodatkowe
Podsumowanie
Do zapamiętania na temat uczenia sieci neuronowych:
Sieci neuronowe mogą być uczone w sposób nadzorowany lub nienadzorowany.
w mózgu.
Przykładem sieci uczonej bez nadzoru są odwzorowania Kohonena.
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Podsumowanie Materiały dodatkowe
Podsumowanie
Do zapamiętania na temat uczenia sieci neuronowych:
Sieci neuronowe mogą być uczone w sposób nadzorowany lub nienadzorowany.
Dla efektywnego uczenia wielowarstwowych sieci jednokierunkowych (np. MLP) kluczowy jest algorytm wstecznej propagacji błędów.
Sieci uczone bez nadzoru są wzorowane na układzie struktur w mózgu.
Przykładem sieci uczonej bez nadzoru są odwzorowania Kohonena.
24 / 26
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Podsumowanie Materiały dodatkowe
Podsumowanie
Do zapamiętania na temat uczenia sieci neuronowych:
Sieci neuronowe mogą być uczone w sposób nadzorowany lub nienadzorowany.
Dla efektywnego uczenia wielowarstwowych sieci jednokierunkowych (np. MLP) kluczowy jest algorytm wstecznej propagacji błędów.
Sieci uczone bez nadzoru są wzorowane na układzie struktur w mózgu.
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Podsumowanie Materiały dodatkowe
Podsumowanie
Do zapamiętania na temat uczenia sieci neuronowych:
Sieci neuronowe mogą być uczone w sposób nadzorowany lub nienadzorowany.
Dla efektywnego uczenia wielowarstwowych sieci jednokierunkowych (np. MLP) kluczowy jest algorytm wstecznej propagacji błędów.
Sieci uczone bez nadzoru są wzorowane na układzie struktur w mózgu.
Przykładem sieci uczonej bez nadzoru są odwzorowania Kohonena.
24 / 26
3Blue1Brown: But what is a neural network?, Chapter 1, Deep learning, https://youtu.be/aircAruvnKk
3Blue1Brown: Backpropagation calculus, Chapter 4, Deep learning, https://youtu.be/tIeHLnjs5U8
StatQuest: Neural Networks Pt. 2: Backpropagation Main Ideas, https://youtu.be/IN2XmBhILt4
D.E. Rumelhart, G.E. Hinton, R.J. Williams, Learning representations by back-propagating errors, Nature. 323 (6088): 533-536 (1986). Dostępny na stronie G. Hintona.
Teuvo Kohonen and Timo Honkela (2007), Kohonen network, Scholarpedia, 2(1):1568.
MiniSOM: minimalistic and NumPy-based implementation of the Self Organizing Map,
https://github.com/JustGlowing/minisom
Uczenie nadzorowane Uczenie nienadzorowane Podsumowanie
Podsumowanie Materiały dodatkowe
Podsumowanie
Następny wykład: kolokwium/test.
26 / 26