Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopﬁelda

(1)

Sieci rekurencyjne Autoasocjator Hopfielda Zadania

Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda

Maja Czoków, Jarosław Piersa

Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika

2011-12-13

(2)

1 Sieci rekurencyjne Sieci rekurencyjne

Modele sieci rekurencyjnej Energia sieci

2 Autoasocjator Hopfielda Konstrukcja

Odzyskiwanie obrazu Pojemność sieci

Poprawne odzyskiwanie

(3)

Sieci rekurencyjne Modele sieci rekurencyjnej Energia sieci

3 Zadania

(4)

Sieci skierowane

Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki dają się posortować topologicznie,

dynamika odbywa się synchronicznie zgodnie z kolejnością zadaną przez otrzymaną kolejność,

(5)

Sieci rekurencyjne

Graf sieci dopuszcza istnienie cykli skierowanych, sortowanie topologiczne nie jest możliwe,

dynamika nabiera aspektu temporalnego: sieć rozwijamy w szereg podsieci powiązanych ze sobą zależnościami czasowymi.

(6)

Sieci rekurencyjne typu Hopfielda

każda jednostka ma przypisany swój spin σ_i ∈ {−1, +1} — zmienny w trakcie dynamiki,

połączenia synaptyczne mają przypisane wagi wij = wji ∈ R — stałe,

wii = 0,

jeżeli krawędzi nie ma w grafie, to w = 0,

(7)

Sieci rekurencyjne typu Hopfielda

neuron zmienia swój spin i wysyła informację do sąsiadów, po zmianie jest nieaktywny przez pewien okres czasu τ_r (czas refrakcji),

przesył impulsu po krawędzi zajmuje pewien okres czasu τ_p (czas przesyłu, może zależeć od rodzaju lub długości krawędzi),

(8)

Dynamika Glaubera

Jeżeli τp τ_r, to sieć jest niewielka i można stosować następującą dynamikę:

wylosuj neuron σi, przypisz

σ_i = sign(X

j

w_ijσ_j + h_i )

powtarzaj 1 i 2 aż do ustabilizowania się sytuacji.

Oznaczmy M_i =P

jw_ijσ_j + h_i — lokalne pole wypadkowe dla jednostki i .

(9)

Dynamika Glaubera

Jeżeli τp τ_r, to sieć jest niewielka i można stosować następującą dynamikę:

wylosuj neuron σi, przypisz

σ_i = sign(X

j

w_ijσ_j + h_i )

powtarzaj 1 i 2 aż do ustabilizowania się sytuacji.

Oznaczmy M_i =P

jw_ijσ_j + h_i — lokalne pole wypadkowe dla jednostki i .

(10)

Dynamika Little’a

Jeżeli τ_p' τ_r, to działanie przybliżamy dynamiką synchroniczną:

wszystkie neurony jednocześnie ustawiają się zgodnie z lokalnym polem wypadkowym, tj, przypisujemy:

σi = sign(Mi)

przy wykorzystaniu zestawu spinów z poprzedniej iteracji.

(11)

Dynamika Little’a

Alternatywne sformułowanie:

Rozpocznij z losowego ¯σ⁰ Powtarzaj wielokrotnie:

Przypisz

¯

σ^t+1:= sign(W · ¯σ^t+ H)

gdzie W = [wij]i ,j =1..N jest macierzą wag, H - wektorem pól zewnętrznych ¯σ^t wektorem spinów w t-tym kroku.

(12)

Dynamika Hybrydowa

Jeżeli τp τ_r, to dynamika staje się skomplikowana ze względu na znaczne opóźnienia w przesyle.

małe fragmenty sieci (tj. bliskie jednostki) przybliżamy dynamiką asynchroniczną (Glaubera),

w dużej skali stosujemy dynamikę synchroniczną uwzględniającą różnice czasowe.

(13)

Energia sieci

Określmy energię sieci (Hammiltonian) zależny od bieżącej konfiguracji spinów neuronów:

E (¯σ) = −1 2

X

i 6=j

wijσiσj −X

i

hiσi

Wagi wij oraz pola zewnętrzne hi są ustalone, więc energia zależy tylko od spinów.

(14)

Twierdzenie

W trakcie dynamiki Glaubera energia sieci nie ulega wzrostowi.

Dowód na tablicy

(15)

Twierdzenie

W trakcie dynamiki Glaubera energia sieci nie ulega wzrostowi.

Dowód na tablicy

(16)

Dowód

Załóżmy, że z konfiguracji ¯σ przeszliśmy do ¯σ⁰. Niech σ_i będzie neuronem, który zmieniliśmy, tj σ_i = −σ⁰_i = −sign(M_i).

Zauważmy, że E (¯σ) = −1

2 X

j 6=i ,k6=i

w_jkσ_jσ_k− 1 22 ·X

j

w_ijσ_iσ_j −X

j 6=i

h_jσ_j− h_iσ_i

Zmieniliśmy tylko spin σi więcP

j 6=i ,k6=iwjkσjσk oraz P

j 6=ihjσj nie wpływają na zmianę energii.

Obliczmy E ( ¯σ⁰) − E (¯σ) =

= −X

j

wijσ⁰_iσj − h_iσ⁰_i−



−X

j

wijσiσj − h_iσi



=

(17)

Dowód

2 X

j 6=i ,k6=i

w_jkσ_jσ_k−1 22 ·X

j

w_ijσ_iσ_j −X

j 6=i

h_jσ_j− h_iσ_i

Obliczmy E ( ¯σ⁰) − E (¯σ) =

= −X

j



−X

j



=

(18)

Dowód

2 X

j 6=i ,k6=i

j

w_ijσ_iσ_j −X

j 6=i

h_jσ_j− h_iσ_i

Obliczmy E ( ¯σ⁰) − E (¯σ) =

= −X

j



−X

j



=

(19)

Dowód

2 X

j 6=i ,k6=i

j

w_ijσ_iσ_j −X

j 6=i

h_jσ_j− h_iσ_i

Obliczmy E ( ¯σ⁰) − E (¯σ) =

= −X

j



−X

j



=

(20)

Dowód cd.

E ( ¯σ⁰) − E (¯σ) = −X

j

w_ijσ_i⁰σ_j − h_iσ⁰_i+X

j

w_ijσ_iσ_j + h_iσ_i =

−X

j

w_ij(σ⁰_i− σ_i)σ_j− h_i(σ⁰_i− σ_i) =

(σ_i⁰− σ_i)



−X

j

wijσj − h_i



= (σ⁰_i− σ_i)(−Mi) Przypomnijmy, że podstawialiśmy σ⁰_i := sign(M_i).

E ( ¯σ⁰) − E (¯σ) = −(sign(M_i) − (−sign(M_i))M_i = −2|M_i| ≤ 0

(21)

Dowód cd.

E ( ¯σ⁰) − E (¯σ) = −X

j

−X

j

w_ij(σ_i⁰− σ_i)σ_j − h_i(σ⁰_i− σ_i) =

(σ_i⁰− σ_i)



−X

j

wijσj − h_i



(22)

Dowód cd.

E ( ¯σ⁰) − E (¯σ) = −X

j

−X

j

(σ_i⁰− σ_i)



−X

j

wijσj − h_i



= (σ⁰_i− σ_i)(−Mi)

Przypomnijmy, że podstawialiśmy σ⁰_i := sign(M_i).

(23)

Dowód cd.

E ( ¯σ⁰) − E (¯σ) = −X

j

−X

j

(σ_i⁰− σ_i)



−X

j

wijσj − h_i



E ( ¯σ⁰) − E (¯σ) = −(sign(Mi) − (−sign(Mi))Mi = −2|Mi| ≤ 0

(24)

Ewolucja sieci Hopfielda

click

(25)

Wniosek

Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji ¯σ również,

podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie.

Wykorzystamy dynamikę asynchroniczną sieci do znajdowania rozwiązania problemów optymalizacyjnych.

Wystarczy do tego sprecyzować wagi i pola lokalne.

(26)

Wniosek

Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji ¯σ również,

podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie.

Wykorzystamy dynamikę asynchroniczną sieci do znajdowania rozwiązania problemów optymalizacyjnych.

Wystarczy do tego sprecyzować wagi i pola lokalne.

(27)

Konstrukcja Odzyskiwanie obrazu Pojemność sieci Poprawne odzyskiwanie

3 Zadania

(28)

Cel

Chcemy stworzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będzie w stanie go odtworzyć.

Oznaczmy:

I^µ= {ξ_i^µ} — obraz wzorcowy, i = 1..N — ilość pikseli, µ = 1..P — ilość wzorców

σ_i — neurony sieci, po jednym neuronie na każdy piksel obrazu, wij — wagi między neuronami,

h_i — pola zewnętrzne,

(29)

Cel

Chcemy stworzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będzie w stanie go odtworzyć.

Oznaczmy:

I^µ= {ξ_i^µ} — obraz wzorcowy, i = 1..N — ilość pikseli, µ = 1..P — ilość wzorców

σi — neurony sieci, po jednym neuronie na każdy piksel obrazu, wij — wagi między neuronami,

h_i — pola zewnętrzne,

(30)

Konstrukcja

(31)

Konstrukcja

Oznaczmy stopień zgodności stanu sieci ¯σ ze wzorcem I^µ

M^µ(¯σ) = 1 N

N

X

i =1

σiξ^µ_i = 1 Nh¯σ, I^µi

M^µ(¯σ) = 1 oznacza pełną zgodność, M^µ(¯σ) = −1 całkowitą niezgodność, ale przy naszych oznaczeniach należy pamiętać, że jest to idealny negatyw.

(32)

Konstrukcja

Oznaczmy stopień zgodności stanu sieci ¯σ ze wzorcem I^µ

M^µ(¯σ) = 1 N

N

X

i =1

σiξ^µ_i = 1 Nh¯σ, I^µi

M^µ(¯σ) = 1 oznacza pełną zgodność, M^µ(¯σ) = −1 całkowitą niezgodność, ale przy naszych oznaczeniach należy pamiętać, że jest to idealny negatyw.

(33)

Energia

Zdefiniujmy energię

E (¯σ) = −N 2

P

X

µ=1

(M^µ(¯σ))² =

= −N 2





P

X

µ=1

1 N

N

X

i =1

σ_iξ_i^µ

!2

=

−N 2

P

X

µ=1



 1 N²

N

X

i =1 N

X

j =1,j 6=i

σ_iσ_jξ_i^µξ_j^µ+ 1 N²

N

X

i =1

σ_i²ξ_i^µ²





(34)

Energia

E (¯σ) = −N 2

P

X

µ=1

(M^µ(¯σ))² =

= −N 2





P

X

µ=1

1 N

N

X

i =1

σ_iξ_i^µ

!2

=

−N 2

P

X

µ=1



 1 N²

N

X

i =1 N

X

j =1,j 6=i

N

X

i =1

σ_i²ξ_i^µ²





(35)

Energia

E (¯σ) = −N 2

P

X

µ=1

(M^µ(¯σ))² =

= −N 2





P

X

µ=1

1 N

N

X

i =1

σ_iξ_i^µ

!2

=

−N 2

P

X

µ=1



 1 N²

N

X

i =1 N

X

j =1,j 6=i

N

X

i =1

σ_i²ξ_i^µ²





(36)

Energia

E (¯σ) = −N 2

P

X

µ=1

(M^µ(¯σ))² =

= −N 2





P

X

µ=1

1 N

N

X

i =1

σ_iξ_i^µ

!2

=

P 

N N N 

(37)

Energia

E (¯σ) = − 1 2N

P

X

µ=1



 X

i 6=j

σiσjξ_i^µξ_j^µ





= − 1 2N

N

X

i 6=j P

X

µ=1

σ_iσ_jξ^µ_i ξ_j^µ

= −1 2

N

X

i 6=j

σiσj



 1 N

P

X

µ=1

ξ_i^µξ_j^µ





(38)

Energia

E (¯σ) = − 1 2N

P

X

µ=1



 X

i 6=j





= − 1 2N

N

X

i 6=j P

X

µ=1

= −1 2

N

X

i 6=j

σiσj



 1 N

P

X

µ=1

ξ_i^µξ_j^µ





(39)

Energia

E (¯σ) = − 1 2N

P

X

µ=1



 X

i 6=j





= − 1 2N

N

X

i 6=j P

X

µ=1

= −1 2

N

X

i 6=j

σiσj



 1 N

P

X

µ=1

ξ_i^µξ_j^µ





(40)

Wagi

Otrzymujemy zależności na wagi:

w_ij = 1 N

P

X

µ=1

ξ^µ_i ξ_j^µ

oraz na pola zewnętrzne

hi = 0

(41)

Przestrzeń stanów

(42)

Rekonstrukcja obrazu — dynamika Glaudera

Gdy sieć jest już nauczona możemy odzyskać wejściowy zaszumiony obraz:

1 Obraz wejściowy konwertujemy na konfigurację spinów ¯σ,

2 Poddajemy bieżącą konfigurację ewolucji Glaudera:

1 Losujemy jednostkę i ,

2 Ustawiamy spin σ_i:= sign(P

jw_ijσ_j),

3 Powtarzamy 2.1 i 2.2 aż stan sieci się ustabilizuje,

3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów ¯σ.

(43)

Rekonstrukcja obrazu — dynamika Little’a

Ustaloną mamy macierz wag W = (wij)^N_{i ,j =1}

1 Obraz wejściowy konwertujemy na konfigurację początkową (t = 0) spinów ¯σ⁰,

2 Poddajemy konfigurację ewolucji:

1 Przypisujemy

¯

σ^t+1:= W · ¯σ^t

¯

σ^t+1_i := sign(¯σ^t+1_i )

2 Powtarzamy 2.1 aż stan sieci się ustabilizuje,

3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów ¯σ^T.

(44)

Trajektoria odzyskiwania obrazu

Rysunek uproszczony, przestrzeń to {−1, +1}^d a nie R².

-10 10

-2.5 -2 -1.5 -1 -0.5 0

(45)

Trajektoria odzyskiwania obrazu

(46)

Stabilność wzorca

Załóżmy, że

wzorce I^µ są niezależne, tj. prawdopodobieństwo, że losowy piksel jest włączony jest to samo

P(ξ^µ_i = +1) = P(ξ_i^µ= −1) = 1 2 Pytamy:

kiedy I^µ jest punktem stałym dynamiki sieci?

(47)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i =

X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

!

σ_j = X

µ

M^µ(¯σ)ξ_i^µ

Podstawmy za konfigurację wzorzec ¯σ := I^µ⁰. Mi(I^µ⁰) = ξ_i^µ⁰ + P

µ6=µ0M^µ(I^µ⁰)ξ^µ_i

|{z} | {z }

sygnał szum

(48)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i = X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

! σ_j

= X

µ

M^µ(¯σ)ξ_i^µ

|{z} | {z }

sygnał szum

(49)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i = X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

!

σ_j = X

µ

M^µ(¯σ)ξ_i^µ

|{z} | {z }

sygnał szum

(50)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i = X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

!

σ_j = X

µ

M^µ(¯σ)ξ_i^µ

Podstawmy za konfigurację wzorzec ¯σ := I^µ⁰.

Mi(I^µ⁰) = ξ_i^µ⁰ + P

|{z} | {z }

sygnał szum

(51)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i = X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

!

σ_j = X

µ

M^µ(¯σ)ξ_i^µ

Podstawmy za konfigurację wzorzec ¯σ := I^µ⁰. M_i(I^µ⁰) = ξ_i^µ⁰ + P

|{z} | {z }

sygnał szum

(52)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i = X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

!

σ_j = X

µ

M^µ(¯σ)ξ_i^µ

Podstawmy za konfigurację wzorzec ¯σ := I^µ⁰. M_i(I^µ⁰) = ξ_i^µ⁰ + P

(53)

Stabilność wzorca

Założyliśmy, że:

P(ξ_i^µξ_j^µ= +1) = P(ξ_i^µξ_j^µ= −1) = 1 2

Zdefiniujmy zmienną losową Ξ:

Ξ = ξ_i^µξ^µ_j

Wartość oczekiwana wynosi EΞ = 0, wariancja D²Ξ = 1: Z centralnego twiedzenia granicznego.

M^µ(I^µ⁰) = 1 N

X

j

ξ_i^µξ^µ_j = P

iΞ_i − N · 0

√ N√

N · 1 →_D 1

√

NN(0, 1) ∼ N(0, 1 N) I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )

(54)

Stabilność wzorca

P(ξ_i^µξ_j^µ= +1) = P(ξ_i^µξ_j^µ= −1) = 1 2 Zdefiniujmy zmienną losową Ξ:

Ξ = ξ_i^µξ^µ_j

Wartość oczekiwana wynosi EΞ = 0, wariancja D²Ξ = 1: Z centralnego twiedzenia granicznego.

M^µ(I^µ⁰) = 1 N

X

j

ξ_i^µξ^µ_j = P

iΞ_i − N · 0

√ N√

N · 1 →_D 1

√

NN(0, 1) ∼ N(0, 1 N) I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )

(55)

Stabilność wzorca

Ξ = ξ_i^µξ^µ_j

Wartość oczekiwana wynosi EΞ = 0, wariancja D²Ξ = 1:

Z centralnego twiedzenia granicznego. M^µ(I^µ⁰) = 1

N X

j

ξ_i^µξ^µ_j = P

iΞ_i − N · 0

√ N√

N · 1 →_D 1

√

NN(0, 1) ∼ N(0, 1 N) I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )

(56)

Stabilność wzorca

Ξ = ξ_i^µξ^µ_j

Z centralnego twiedzenia granicznego.

M^µ(I^µ⁰) =

1 N

X

j

ξ_i^µξ^µ_j = P

iΞ_i − N · 0

√ N√

N · 1 →_D 1

√

NN(0, 1) ∼ N(0, 1 N) I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )

(57)

Stabilność wzorca

Ξ = ξ_i^µξ^µ_j

M^µ(I^µ⁰) = 1 N

X

j

ξ_i^µξ^µ_j =

P

iΞ_i − N · 0

√ N√

N · 1 →_D 1

√

NN(0, 1) ∼ N(0, 1 N) I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )

(58)

Stabilność wzorca

Ξ = ξ_i^µξ^µ_j

M^µ(I^µ⁰) = 1 N

X

j

ξ_i^µξ^µ_j = P

iΞ_i − N · 0

√ N√

N · 1

→_D 1

√

NN(0, 1) ∼ N(0, 1 N) I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )

(59)

Stabilność wzorca

Ξ = ξ_i^µξ^µ_j

M^µ(I^µ⁰) = 1 N

X

j

ξ_i^µξ^µ_j = P

iΞ_i − N · 0

√ N√

N · 1 →_D 1

√

NN(0, 1)

∼ N(0, 1 N) I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )

(60)

Stabilność wzorca

Ξ = ξ_i^µξ^µ_j

M^µ(I^µ⁰) = 1 N

X

j

ξ_i^µξ^µ_j = P

iΞ_i − N · 0

√ N√

N · 1 →_D 1

√

NN(0, 1) ∼ N(0, 1 N)

I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )