Samoorganizacja: Samoorganizacja: uczenie bez nadzoru uczenie bez nadzoru

Samoorganizacja:

Samoorganizacja:

uczenie bez nadzoru uczenie bez nadzoru

Wykład 5

Włodzisław Duch

Uniwersytet Mikołaja Kopernika

Google: W. Duch

Co będzie Co będzie

• Mapy w mózgu

• Samoorganizacja

• Sieci SOM (sieci Kohonena)

Mapy senso-motoryczne

Mapy senso-motoryczne

Mapy senso-motoryczne

Mapy senso-motoryczne

Samoorganizacja Samoorganizacja Samoorganizacja Samoorganizacja

Uczenie bez nadzoru: wykrywanie cech w sygnale, modelowanie

danych, analiza skupień, modele rozkładu prawd. stanów środowiska ...

Powstawanie wewnętrznych reprezentacji w mózgu: skomplikowane.

Proste bodźce wyzwalające u zwierząt, uboga reprezentacja.

Analiza danych zmysłowych i instrukcje motoryczne - neurony o podobnych funkcjach są obok siebie => mapy topograficzne.

• Mapy somatosensoryczne układu czuciowego, Mapy somatosensoryczne układu czuciowego,

• mapy motoryczne kory i móżdżku, mapy motoryczne kory i móżdżku,

• mapy tonotopiczne układu słuchowego, mapy tonotopiczne układu słuchowego,

• mapy orientacji dwuocznej układu wzrokowego, mapy orientacji dwuocznej układu wzrokowego,

• mapy wielomodalne układu orientacji (wzgórki czworacze górne) mapy wielomodalne układu orientacji (wzgórki czworacze górne)

Mapy czuciowe i motoryczne

Mapy czuciowe i motoryczne

Mapy czuciowe i motoryczne

Mapy czuciowe i motoryczne

Mapa palców

Mapa palców

Mapa palców

Mapa palców

Modele samoorganizacji Modele samoorganizacji

SOM lub SOFM (Self-Organized Feature Mapping) - samorganizująca się mapa cech.

Jak mapy topograficzne mogą się utworzyć spontanicznie?

Połączenia lokalne: neuron silnie pobudzany przez pobliskie, słabo przez odległe, hamowany przez neurony pośrednie.

Historia:

•

von der Malsburg i Willshaw (1976), uczenie konkurencyjne, mechanizm Hebbowski,

aktywacja typu „Meksykańskiego kapelusza”, początkowo model układu wzrokowego.

•

Amari (1980) - model ciągłej tkanki neuronowej.

•

Kohonen (1981) – najbardziej popularne uproszczenie: sieci bez hamowania, tylko dwie fazy - konkurencja i kooperacja.

Stąd często sieć SOM nazywa się też „siecią Kohonena”.

Uczenie SOM Uczenie SOM

Neurony reagują na sygnały X podobne do W.

Podobny = iloczyn skalarny największy lub odległość min.

Znajdź najsilniej reagujący neuron c.

 

²

^{; arg min}

j i ij j j

i

X W c

     

X W X W

Przesuń wagi neuronu c i innych neuronów w sąsiedztwie O(c):

 ¹     ^,

^,

 ^{    dla  }

i

t  

i

t  h r r t

i c

  t 

i

t   i O c 

W W X W



^{2 2}



( , , )

_c 0

( )exp

_c

/

_c

( ) h r r t  h t   r r  t

w stronę wektora X:

Algorytm SOM Algorytm SOM Algorytm SOM Algorytm SOM

Wektory danych X={X

₁, X₂ .. X_N}.

Siatka neuronów i = 1 .. K w 1D-3D,

każdy neuron  wektor z N wagami W

_i(t) = {W_i1 W_i2 .. W_iN}, t - dyskretny czas; nie ma połączeń pomiędzy neuronami!

1.

Inicjalizacja: przypadkowe W_i(0) dla wszystkich i=1..K.

Funkcja sąsiedztwa h(|r-r_c|/(t),t) definiuje wokół neuronu położonego w miejscu r_c siatki obszar Os(r_c).

2.

Oblicz odległości d(X,W), znajdź neuron z wagami W_c najbardziej podobnymi do X (neuron-zwycięzcę).

3.

Zmień wagi wszystkich neuronów w sąsiedztwie O_s(r_c)

4.

Powoli zmniejszaj siłę h₀(t) i promień (t).

5.

Iteruj aż ustaną zmiany.

Efekt: podział (tesselacja) na wieloboki Voronoia.

2D => 2D, kwadrat 2D => 2D, kwadrat 2D => 2D, kwadrat 2D => 2D, kwadrat

Rozkład jednostajny w kwadracie. SOM uczy się jednorodnego rozkładu. Początkowo wszystkie W0.

Sieć 2D, dane 3D Sieć 2D, dane 3D Sieć 2D, dane 3D Sieć 2D, dane 3D

x y z

oo o

o 'oo o'

o

o o=dane

2-D siatka

wagi przypisane neurony wejściowe

przestrzeń cech

połączeniom

neuronów ' = wagi sieci

' ' ' ' ' ' ' '

'' ''

' ^'_' ' '

' '

' '

' '

Uczenie sieci 2D Uczenie sieci 2D Uczenie sieci 2D Uczenie sieci 2D

o

o ox o

x

x x=dane

siatka neuronów

N-wymiarowa

o=pozycje wag x

neuronów o

o o

o o o

o

o

przestrzeń danych

wagi wskazują na punkty w N-D

w 2-D

Sieć 1D, dane 2D

Sieć 1D, dane 2D

Sieć 1D, dane 2D

Sieć 1D, dane 2D

2D => 1D trójkąty 2D => 1D trójkąty 2D => 1D trójkąty 2D => 1D trójkąty

Tworzenie się fraktalnych krzywych Peano.

Zniekształcenia Zniekształcenia

Początkowe zniekształcenia mogą zniknąć lub pozostać.

Stała uczenia Stała uczenia

Duża stała uczenia

prowadzi do eksploracji znacznej części

przestrzeni.

Symulacje z równomiernym

rozkładem wektorów;

końcowy podział jest równomierny.

Modyfikacje SOM Modyfikacje SOM

SOM działa jak metoda klasteryzacji k-średnich jeśli funkcja sąsiedztwa staje się deltą, czyli  = 0.

 ^{; ,}  ¹ ₂  ^,  ^{   }

²

i i j j

j

t h r r t t t

 ^{X W}    ^X  ^W

Neuron-zwycięzca ma najmniejszy błąd lokalny:

  ^{   }

²

arg min

_{i j}

,

_j

i j

c   h r r t  ^X t  ^W t



^{i j}

^,  ^exp _{2 ( )} ^{r r}

^{i j 22}

^{; ( )}

⁰

^e

^{2 0t t/ max}

h r r t t

t

 









  

    



  

Próba wprowadzenia funkcji błędu (Luttrell; Heskes i Kappen).

Błąd lokalny neuronu i jest sumą po wszystkich neuronach:

Własności SOM Własności SOM

Powolna zbieżność algorytmu SOM, zwykle ~10

⁴

-10

⁶

iteracji.

Trudno coś udowodnić o zbieżności lub punktach stacjonarnych.

Wyniki analityczne znane są tylko w 1D dla ciągłego czasu: wtedy wartości wag wzdłuż prostej porządkują się.

• Sąsiednie neurony kodują sąsiednie obszary, ale sąsiednie obszary mogą być kodowane przez odległe neurony.

• Skręcone konfiguracje przy zbyt szybkiej redukcji sąsiedztwa.

• Złożoność O(KNn) dla K neuronów i n danych N-wymiarowych:

konieczne porównanie wszystkich odległości => niezbyt duże mapy.

• Na komputerach wieloprocesorowych każdy neuron ma swój procesor, więc odległości O(Nn) + O(Kn) na szukanie zwycięzcy.

• Jakość klasyfikacji: zwykle niska. Kohonen: SOM służy głównie do wizualizacji ... ale wizualizacja też kiepska, bo brak oceny

pozwalającej na redukcję wprowadzanych zniekształceń.

• W oryginalnym SOM nie ma funkcji błędu, nie ma więc gradientu!

Włoska oliwa Włoska oliwa Włoska oliwa Włoska oliwa

572 próbki oliwy z 9 prowincji Włoch.

Zmierzono poziom 8 tłuszczy w każdej próbce.

Mapa SOM 20 x 20, Redukcja 8D => 2D.

Dokładność klasyfikacji to około 95-97%.

Przykład zastosowania SOM:

Topograficzne relacje zostały zachowane.

Czemu region 3 zajmuje tyle miejsca?

Demos Demos

SOM Pang kilka demo, uporządkowanie kolorów, fonetyczna klawiatura i inne.

GitHub SOM: SOM_Color i SOM_Image

Self-organizing Maps: PyMVPA kolory na mapie 2D

Xsom, wsom, somd – wizualizacja terningu SOM, C. Borgelt Self-Organizing Maps Applet

World Poverty Map

NN models: Kohonen SOM

Interactive Self-Organizing Map demo - Hynninen SOM-Rapid Miner docs

AI Junkie

Co dalej?

Co dalej?

• Uczenie konkurencyjne.

• Wizualizacja SOM i MDS.

• Probabilistyczne podstawy uczenia.

• Perceptrony

• ^{Sieci MLP}

• ^{Sieci RBF}

• Systemy dynamiczne.

Koniec wykładu 5 Koniec wykładu 5

Dobranoc !

Co było Co było

• Sieci ze sprzężeniami zwrotnymi

• Model Hopfielda

• Modele pamięci asocjacyjnej

• Maszyna Boltzmana