Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopﬁelda

(1)

Sieci rekurencyjne Autoasocjator Hopfielda Przeliczenia

Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda

Maja Czoków, Jarosław Piersa

Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika

2013-12-10

Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”

realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki

(2)

1 Sieci rekurencyjne Sieci rekurencyjne

Modele sieci rekurencyjnej Energia sieci

2 Autoasocjator Hopfielda Konstrukcja

Odzyskiwanie obrazu

Stabilność wzorca i pojemność sieci

3 Przeliczenia Pojemność sieci

Poprawne odzyskiwanie

(3)

Sieci rekurencyjne Modele sieci rekurencyjnej Energia sieci

Odzyskiwanie obrazu

(4)

Sieci skierowane — przypomnienie

Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki dają się posortować topologicznie,

dynamika odbywa się synchronicznie zgodnie z kolejnością zadaną przez otrzymaną kolejność,

(5)

Sieci rekurencyjne

Graf sieci dopuszcza istnienie cykli skierowanych, sortowanie topologiczne nie jest możliwe,

Czynnik czasowy w dynamice: sieć rozwijamy w szereg podsieci powiązanych ze sobą zależnościami czasowymi.

(6)

Motywacja

Chcemy stworzyć rekurencyjną sieć neuronową, zdolną kodować i rozwiązywać (dyskretne) problemy optymalizacyjne

Rozważania w poniższym rozdziale będą dotyczyły konstrukcji autoasocjatora graficznego,

W dalszych wykładach pokażemy jak dostosować sieć do innych problemów.

(7)

Sieci rekurencyjne typu Hopfielda

każda jednostka ma przypisany swój spin σi ∈ {−1, +1} — zmienny w trakcie dynamiki,

połączenia synaptyczne mają przypisane wagi w_ij = w_ji ∈ R — stałe w trakcie dynamiki, zmienne w trakcie uczenia,

wii = 0,

jeżeli krawędzi nie ma w grafie, to wij = 0,

neurony otrzymują swoje pole zewnętrzne h_i ∈ R — stałe.

(8)

Ogólna koncepcja dynamiki w sieciach rekurencyjnych

neuron zmienia swój spin i wysyła informację do sąsiadów, po zmianie jest nieaktywny przez pewien okres czasu τr czas refrakcji,

po upływie τ_r neuron może przyjmować i wysyłać impulsy, przesył impulsu po krawędzi zajmuje pewien okres czasu τp

(czas przesyłu, może zależeć od rodzaju lub długości krawędzi),

(9)

Dynamika Glaudera

Jeżeli τ_p τ_r, to sieć jest niewielka i można stosować następującą dynamikę:

wylosuj neuron σ_i, przypisz

σi = sign(X

j

wijσj + hi )

powtarzaj 1 i 2 aż do ustabilizowania się sytuacji.

Oznaczmy Mi =P

jwijσj + hi — lokalne pole wypadkowe dla jednostki i .

(10)

Dynamika Little’a

Jeżeli τ_p' τ_r, to działanie przybliżamy dynamiką synchroniczną:

wszystkie neurony jednocześnie ustawiają się zgodnie z lokalnym polem wypadkowym, tj, przypisujemy:

σ_i = sign(M_i)

przy wykorzystaniu zestawu spinów z poprzedniej iteracji.

(11)

Dynamika Little’a

Alternatywne sformułowanie:

Rozpocznij z losowego ¯σ⁰ Powtarzaj wielokrotnie:

Przypisz

¯

σ^t+1:= sign(W · ¯σ^t+ H) gdzie:

W = [w_ij]_{i ,j =1..N} jest macierzą wag, H — wektor pól zewnętrznych

¯

σ^t — wektor spinów w t-tym kroku.

(12)

Dynamika Hybrydowa

Jeżeli τp τ_r, to dynamika staje się skomplikowana ze względu na znaczne opóźnienia w przesyle.

małe fragmenty sieci (tj. bliskie jednostki) przybliżamy dynamiką asynchroniczną (Glaudera),

w dużej skali stosujemy dynamikę synchroniczną uwzględniającą różnice czasowe.

(13)

Energia sieci

Określmy energię sieci (Hammiltonian) zależny od bieżącej konfiguracji spinów neuronów:

Energia

E (¯σ) = −1 2

X

i 6=j

wijσiσj −X

i

hiσi

Wagi w_ij oraz pola zewnętrzne h_i są ustalone, więc energia zależy tylko od spinów.

(14)

Twierdzenie

W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi.

Dowód na tablicy

(15)

Twierdzenie

W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi.

Dowód na tablicy

(16)

Dowód

Załóżmy, że z konfiguracji ¯σ przeszliśmy do ¯σ⁰. Niech σi będzie neuronem, który zmieniliśmy, tj σ_i = −σ⁰_i = −sign(M_i).

Zauważmy, że E (¯σ) = −1

2 X

j 6=i ,k6=i

w_jkσ_jσ_k− 1 22 ·X

j

w_ijσ_iσ_j −X

j 6=i

h_jσ_j− h_iσ_i

Zmieniliśmy tylko spin σi więcP

j 6=i ,k6=iwjkσjσk oraz P

j 6=ihjσj nie wpływają na zmianę energii.

Obliczmy E ( ¯σ⁰) − E (¯σ) =

= −X

j

wijσ⁰_iσj − h_iσ⁰_i−



−X

j

wijσiσj − h_iσi



=

(17)

Dowód

2 X

j 6=i ,k6=i

w_jkσ_jσ_k−1 22 ·X

j

w_ijσ_iσ_j −X

j 6=i

h_jσ_j− h_iσ_i

Obliczmy E ( ¯σ⁰) − E (¯σ) =

= −X

j



−X

j



=

(18)

Dowód

2 X

j 6=i ,k6=i

j

w_ijσ_iσ_j −X

j 6=i

h_jσ_j− h_iσ_i

Obliczmy E ( ¯σ⁰) − E (¯σ) =

= −X

j



−X

j



=

(19)

Dowód

2 X

j 6=i ,k6=i

j

w_ijσ_iσ_j −X

j 6=i

h_jσ_j− h_iσ_i

Obliczmy E ( ¯σ⁰) − E (¯σ) =

= −X

j



−X

j



=

(20)

Dowód cd.

E ( ¯σ⁰) − E (¯σ) = −X

j

w_ijσ_i⁰σ_j − h_iσ⁰_i+X

j

w_ijσ_iσ_j + h_iσ_i =

−X

j

w_ij(σ⁰_i− σ_i)σ_j− h_i(σ⁰_i− σ_i) =

(σ_i⁰− σ_i)



−X

j

w_ijσ_j − h_i



= (σ⁰_i− σ_i)(−M_i) Przypomnijmy, że podstawialiśmy σ⁰_i := sign(M_i).

E ( ¯σ⁰) − E (¯σ) = −(sign(M_i) − (−sign(M_i))M_i = −2|M_i| ≤ 0

(21)

Dowód cd.

E ( ¯σ⁰) − E (¯σ) = −X

j

−X

j

w_ij(σ_i⁰− σ_i)σ_j − h_i(σ⁰_i− σ_i) =

(σ_i⁰− σ_i)



−X

j

w_ijσ_j − h_i



(22)

Dowód cd.

E ( ¯σ⁰) − E (¯σ) = −X

j

−X

j

(σ_i⁰− σ_i)



−X

j

w_ijσ_j − h_i



= (σ⁰_i− σ_i)(−M_i)

Przypomnijmy, że podstawialiśmy σ⁰_i := sign(M_i).

(23)

Dowód cd.

E ( ¯σ⁰) − E (¯σ) = −X

j

−X

j

(σ_i⁰− σ_i)



−X

j

w_ijσ_j − h_i



(24)

Ewolucja sieci Hopfielda, dynamika Little’a

click

(25)

Wniosek

Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji ¯σ również,

podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie.

Wykorzystamy dynamikę asynchroniczną sieci do znajdowania rozwiązania problemów optymalizacyjnych.

Wystarczy do tego sprecyzować wagi wij i pola lokalne hj, Dostosowanie wag i pól zewnętrznych jest zagadnieniem uczenia sieci.

(26)

Wniosek

Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji ¯σ również,

podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie.

Wykorzystamy dynamikę asynchroniczną sieci do znajdowania rozwiązania problemów optymalizacyjnych.

Wystarczy do tego sprecyzować wagi wij i pola lokalne hj, Dostosowanie wag i pól zewnętrznych jest zagadnieniem uczenia sieci.

(27)

Konstrukcja Odzyskiwanie obrazu

Stabilność wzorca i pojemność sieci

Odzyskiwanie obrazu

(28)

Cel

Chcemy stworzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będziemy w stanie go odtworzyć.

Oznaczmy:

I^µ= {ξ_i^µ} — obraz wzorcowy,

i = 1..N — indeks piksela, N — ilość pikseli, µ = 1..P — indeks wzorca, P — ilość wzorców,

σi — neurony sieci, po jednym neuronie na każdy piksel obrazu, wij — wagi między neuronami,

h_i — pola zewnętrzne.

(29)

Cel

Chcemy stworzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będziemy w stanie go odtworzyć.

Oznaczmy:

I^µ= {ξ_i^µ} — obraz wzorcowy,

i = 1..N — indeks piksela, N — ilość pikseli, µ = 1..P — indeks wzorca, P — ilość wzorców,

σi — neurony sieci, po jednym neuronie na każdy piksel obrazu, wij — wagi między neuronami,

hi — pola zewnętrzne.

(30)

Konstrukcja

(31)

Konstrukcja

Oznaczmy stopień zgodności stanu sieci ¯σ ze wzorcem I^µ

M^µ(¯σ) = 1 N

N

X

i =1

σiξ^µ_i = 1 Nh¯σ, I^µi

M^µ(¯σ) = 1 oznacza pełną zgodność, M^µ(¯σ) = −1 całkowitą niezgodność, ale przy naszych oznaczeniach należy pamiętać, że jest to idealny negatyw.

(32)

Konstrukcja

Oznaczmy stopień zgodności stanu sieci ¯σ ze wzorcem I^µ

M^µ(¯σ) = 1 N

N

X

i =1

σiξ^µ_i = 1 Nh¯σ, I^µi

M^µ(¯σ) = 1 oznacza pełną zgodność, M^µ(¯σ) = −1 całkowitą niezgodność, ale przy naszych oznaczeniach należy pamiętać, że jest to idealny negatyw.

(33)

Energia

Zdefiniujmy energię

E (¯σ) = −N 2

P

X

µ=1

(M^µ(¯σ))² =

= −N 2





P

X

µ=1

1 N

N

X

i =1

σ_iξ_i^µ

!2

=

−N 2

P

X

µ=1



 1 N²

N

X

i =1 N

X

j =1,j 6=i

σ_iσ_jξ_i^µξ_j^µ+ 1 N²

N

X

i =1

σ_i²ξ_i^µ²





(34)

Energia

E (¯σ) = −N 2

P

X

µ=1

(M^µ(¯σ))² =

= −N 2





P

X

µ=1

1 N

N

X

i =1

σ_iξ_i^µ

!2

=

−N 2

P

X

µ=1



 1 N²

N

X

i =1 N

X

j =1,j 6=i

N

X

i =1

σ_i²ξ_i^µ²





(35)

Energia

E (¯σ) = −N 2

P

X

µ=1

(M^µ(¯σ))² =

= −N 2





P

X

µ=1

1 N

N

X

i =1

σ_iξ_i^µ

!2

=

−N 2

P

X

µ=1



 1 N²

N

X

i =1 N

X

j =1,j 6=i

N

X

i =1

σ_i²ξ_i^µ²





(36)

Energia

E (¯σ) = −N 2

P

X

µ=1

(M^µ(¯σ))² =

= −N 2





P

X

µ=1

1 N

N

X

i =1

σ_iξ_i^µ

!2

=

−N 2

P

X



 1 N²

N

X

N

X σ_iσ_jξ_i^µξ_j^µ+ 1 N²

N

Xσ_i²ξ_i^µ²





(37)

Energia

E (¯σ) = − 1 2N

P

X

µ=1



 X

i 6=j

σiσjξ_i^µξ_j^µ





= − 1 2N

N

X

i 6=j P

X

µ=1

σ_iσ_jξ^µ_i ξ_j^µ

= −1 2

N

X

i 6=j

σiσj



 1 N

P

X

µ=1

ξ_i^µξ_j^µ





(38)

Energia

E (¯σ) = − 1 2N

P

X

µ=1



 X

i 6=j





= − 1 2N

N

X

i 6=j P

X

µ=1

= −1 2

N

X

i 6=j

σiσj



 1 N

P

X

µ=1

ξ_i^µξ_j^µ





(39)

Energia

E (¯σ) = − 1 2N

P

X

µ=1



 X

i 6=j





= − 1 2N

N

X

i 6=j P

X

µ=1

= −1 2

N

X

i 6=j

σiσj



 1 N

P

X

µ=1

ξ_i^µξ_j^µ





(40)

Wagi

Otrzymujemy zależności na wagi:

Wagi

wij = 1 N

P

X

µ=1

ξ^µ_i ξ_j^µ

oraz na pola zewnętrzne Pola zewnętrzne

h_i = 0

(41)

Przestrzeń stanów

(42)

Rekonstrukcja obrazu — dynamika Glaudera

Gdy sieć jest już nauczona możemy odzyskać wejściowy zaszumiony obraz:

1 Obraz wejściowy konwertujemy na konfigurację spinów ¯σ,

2 Poddajemy bieżącą konfigurację ewolucji Glaudera:

1 Losujemy jednostkę i ,

2 Ustawiamy spin σ_i:= sign(P

jw_ijσ_j),

3 Powtarzamy 2.1 i 2.2 aż stan sieci się ustabilizuje,

3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów ¯σ.

(43)

Rekonstrukcja obrazu — dynamika Little’a

Ustaloną mamy macierz wag W = (wij)^N_{i ,j =1}

1 Obraz wejściowy konwertujemy na konfigurację początkową (t = 0) spinów ¯σ⁰,

2 Poddajemy konfigurację ewolucji:

1 Przypisujemy

¯

σ^t+1:= W · ¯σ^t

¯

σ^t+1_i := sign(¯σ^t+1_i )

2 Powtarzamy 2.1 aż stan sieci się ustabilizuje,

3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów ¯σ^T.

(44)

Trajektoria odzyskiwania obrazu

Rysunek uproszczony, przestrzeń to {−1, +1}^d a nie R².

-10

-5

0 5 -2.5 10

-2 -1.5 -1 -0.5 0

(45)

Trajektoria odzyskiwania obrazu

(46)

Ograniczenia

Jakie wymagania sieć musi spełniać aby poprawnie odtwarzać wzorce?

Ile maksymalnie wzorców P =? może się pomieścić w sieci o N neuronach?

(47)

Fakt

Jakie wymagania sieć musi spełniać aby poprawnie odtwarzać wzorce?

Ile maksymalnie wzorców może się pomieścić w sieci o N neuronach?

(48)

Pojemność sieci

Fakt

W sieci o N wierzchołkach można przechować maksymalnie _{4 log N}^N nieskorelowanych wzorców.

Hertz, Krogh i Palmer (1991) poprawili to oszacowanie:

Fakt

W sieci o N wierzchołkach można przechować maksymalnie 0.138N nieskorelowanych wzorców.

(49)

Pojemność sieci

W poprawnym działaniu ważną rolę odgrywa brak korelacji między wzorcami uczącymi.

(50)

Co to są wzorce skorelowane?

(51)

Co to są wzorce skorelowane?

(52)

Korelacja a poprawne odzyskiwanie

-10

-5 5

-1 10 -0.8-0.6 -0.4-0.20 -10

-5 5

-1 10 -0.8-0.6 -0.4-0.20 -10

-5 5

-1 10 -0.8-0.6 -0.4-0.20

-10 -5

0 5

10-10 -5

0 5 -1 10

-0.8-0.6 -0.4-0.20 -10

-5 0

5 10-10

-5 0

5 -1 10

-0.8-0.6 -0.4-0.20 -10

-5 0

5 10-10

-5 0

5 -1.4 10

-1.2-1 -0.8-0.6 -0.4-0.20

(53)

Niepoprawne odzyskiwanie — za dużo wzorców lub wzorce skorelowane

-10 -5

0 5

10-10 -5

0 5 -1 10

-0.8-0.6 -0.4-0.20 -10

-5 0

5 10-10

-5 0

5 -1 10

-0.8-0.6 -0.4-0.20 -10

-5 0

5 10-10

-5 0

5 -1 10

-0.8-0.6 -0.4-0.20

-10 -5

0 5

10-10 -5

0 5 -1 10

-0.8-0.6 -0.4-0.20 -10

-5 0

5 10-10

-5 0

5 -1 10

-0.8-0.6 -0.4-0.20 -10

-5 0

5 10-10

-5 0

5 -2 10

-1.5-1 -0.50

(54)

Pojemność sieci Poprawne odzyskiwanie

Przeliczenia

Poniższy fragment zawiera szkice oszacowań pojemności sieci, przy której można stabilnie odzyskać obraz,

Nie obowiązuje na egzaminie.

(55)

Stabilność wzorca

Załóżmy, że

wzorce I^µ są niezależne, tj.

P(ξ^µ_i = +1) = P(ξ_i^µ= −1) = 1 2 Pytamy:

kiedy I^µ jest punktem stałym dynamiki sieci?

(56)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i =

X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

!

σ_j = X

µ

M^µ(¯σ)ξ_i^µ

Podstawmy za konfigurację wzorzec ¯σ := I^µ⁰. Mi(I^µ⁰) = ξ_i^µ⁰ + P

µ6=µ0M^µ(I^µ⁰)ξ^µ_i

|{z} | {z }

sygnał szum

(57)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i = X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

! σ_j

= X

µ

M^µ(¯σ)ξ_i^µ

|{z} | {z }

sygnał szum

(58)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i = X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

!

σ_j = X

µ

M^µ(¯σ)ξ_i^µ

|{z} | {z }

sygnał szum

(59)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i = X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

!

σ_j = X

µ

M^µ(¯σ)ξ_i^µ

Podstawmy za konfigurację wzorzec ¯σ := I^µ⁰.

Mi(I^µ⁰) = ξ_i^µ⁰ + P

|{z} | {z }

sygnał szum

(60)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i = X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

!

σ_j = X

µ

M^µ(¯σ)ξ_i^µ

|{z} | {z }

sygnał szum

(61)

Stabilność wzorca

Policzmy:

M_i(¯σ) =X

j

w_ijσ_i = X

j

1 N

X

µ

ξ^µ_i ξ_j^µ

!

σ_j = X

µ

M^µ(¯σ)ξ_i^µ

|{z} | {z }

sygnał szum

(62)

Stabilność wzorca

Założyliśmy, że:

P(ξ_i^µξ_j^µ= +1) = P(ξ_i^µξ_j^µ= −1) = 1 2

Zdefiniujmy zmienną losową Ξ:

Ξ = ξ_i^µξ^µ_j

Wartość oczekiwana wynosi EΞ = 0, wariancja D²Ξ = 1: Z centralnego twierdzenia granicznego.

M^µ(I^µ⁰) = 1 N

X

j

ξ_i^µξ^µ_j = P

iΞi − N · 0

√ N√

N · 1 →_D 1

√

NN(0, 1) ∼ N(0, 1 N) I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )

(63)

Stabilność wzorca

P(ξ_i^µξ_j^µ= +1) = P(ξ_i^µξ_j^µ= −1) = 1 2 Zdefiniujmy zmienną losową Ξ:

Ξ = ξ_i^µξ^µ_j

Wartość oczekiwana wynosi EΞ = 0, wariancja D²Ξ = 1: Z centralnego twierdzenia granicznego.

M^µ(I^µ⁰) = 1 N

X

j

ξ_i^µξ^µ_j = P

iΞi − N · 0

√ N√

N · 1 →_D 1

√

NN(0, 1) ∼ N(0, 1 N) I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )

(64)

Stabilność wzorca

P(ξ_i^µξ_j^µ= +1) = P(ξ_i^µξ_j^µ= −1) = 1 2 Zdefiniujmy zmienną losową Ξ:

Ξ = ξ_i^µξ^µ_j

Wartość oczekiwana wynosi EΞ = 0, wariancja D²Ξ = 1:

Z centralnego twierdzenia granicznego. M^µ(I^µ⁰) = 1

N X

j

ξ_i^µξ^µ_j = P

iΞi − N · 0

√ N√

N · 1 →_D 1

√

NN(0, 1) ∼ N(0, 1 N) I dalej:

X

µ6=µ0

M^µ(I^µ⁰)ξ_i^µ∼ N(0,P − 1 N )