2013-12-17 MajaCzoków,JarosławPiersa Wstępdosiecineuronowych,wykład12Wykorzystaniesiecirekurencyjnychwoptymalizacjigrafowej

(1)

Przypomnienie Sieci Hopfielda w optymalizacji grafowej Uwagi

Wstęp do sieci neuronowych, wykład 12 Wykorzystanie sieci rekurencyjnych w optymalizacji

grafowej

Maja Czoków, Jarosław Piersa

Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika

2013-12-17

Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”

realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki

(2)

1 Przypomnienie Sieci Hopfielda

2 Sieci Hopfielda w optymalizacji grafowej Dwupodział grafu

Kolorowanie wierzchołkowe Cykl Hammiltona

Przydział zadań

3 Uwagi

Złożoność pamięciowa Dynamika stochastyczna

(3)

Sieci Hopfielda

Przydział zadań

3 Uwagi

(4)

Sieci Hopfielda

Model sieci rekurencyjnej

każda jednostka ma przypisany swój spin σ_i ∈ {−1, +1} — jest to aktualna aktywacja neuronu i , która może się zmieniać podczas dynamiki,

połączenia synaptyczne mają przypisane wagi w_ij = w_ji ∈ R, przyjmujemy w_ii = 0,

jeżeli krawędzi nie ma w grafie, to przyjmujemy w = 0,

ponadto neurony otrzymują swoje pole zewnętrzne h_i ∈ R —

(5)

Sieci Hopfielda

Energia sieci

Określmy energię sieci zależną od bieżącej konfiguracji spinów neuronów:

energia

E (¯σ) = −1 2

X

i 6=j

w_ijσ_iσ_j −X

i

h_iσ_i

(6)

Sieci Hopfielda

Dynamika Glaubera

Losujemy neuron σ_i, Przypisujemy

σi = sign(X

j

wijσj + hi )

Powtarzamy 1 i 2 aż do ustabilizowania się sytuacji.

(7)

Sieci Hopfielda

Dynamika Little’a

Rozpoczynamy z losowego ¯σ⁰ Powtarzamy wielokrotnie:

Przypisujemy

¯

σ^t+1:= sign(W · ¯σ^t+ ¯h)

gdzie W = [w_ij]_{i ,j =1..N} — macierz wag,

¯h — wektor pól zewnętrznych,

¯

σ^t — wektor spinów w t-tym kroku.

(8)

Dwupodział grafu Kolorowanie wierzchołkowe Cykl Hammiltona Przydział zadań

Przydział zadań

3 Uwagi

(9)

Dwupodział Grafu

Problem:

Dany jest graf ważony G = (V, E ), v : E → R≥0. Cel:

Podzielić V na dwa podzbiory V = U1∪ U₂, takie że sumaryczna waga krawędzi pomiędzy U₁ a U₂ będzie minimalna.

Krawędzie w obrębie jednej klasy (z U₁ do U₁ oraz z U₂ do U₂) są darmowe.

X

(u,v )∈E:u∈U1,v ∈U2

v ((u, v )) → min

(10)

Dwupodział Grafu

(11)

Konfiguracja sieci

Oznaczenia:

spin neuronu σ_i = +1:

przynależność do zbioru U1, v_i ∈ U₁,

spin σi = −1: vi ∈ U₂. konfiguracjasigma¯ jednoznacznie odpowiada podziałowi V na dwa podzbiory.

(12)

Energia sieci

Składnik optymalizujący:

E₁(¯σ) = −X

i 6=j

σ_iσ_jv (ij )

Składnik penalizujący:

E₂(¯σ) = (|U₁| − |U₂|)² = X

i

σ_i

!2

Pomiń obliczenia

(13)

Energia sieci

Składnik optymalizujący:

E₁(¯σ) = −X

i 6=j

σ_iσ_jv (ij )

Składnik penalizujący:

E₂(¯σ) = (|U₁| − |U₂|)² = X

i

σ_i

!2

Pomiń obliczenia

(14)

Energia sieci

Energia

E (¯σ) = c₁E₁+ c₂E₂

Gdzie c₁, c₂ > 0 są skalarami. Powinno przy tym zachodzić: c1E1 ' c₂E2.

W efekcie:

E (¯σ) = −c₁



 X

i 6=j

σ_iσ_jv (i , j )



+ c₂



 X

i 6=j

σ_iσ_j+X

i

σ²_i





ponieważ P

iσ_i²=P

i1 = const E (¯σ) = −1

2 X

i 6=j

σiσj 2 (c1· v (i , j) − c₂)

(15)

Energia sieci

Energia

E (¯σ) = c₁E₁+ c₂E₂

Gdzie c₁, c₂ > 0 są skalarami. Powinno przy tym zachodzić:

c1E1 ' c₂E2. W efekcie:

E (¯σ) = −c₁



 X

i 6=j

σ_iσ_jv (i , j )



+ c₂



 X

i 6=j

σ_iσ_j+X

i

σ²_i





ponieważ P

iσ_i²=P

i1 = const E (¯σ) = −1

2 X

i 6=j

σiσj 2 (c1· v (i , j) − c₂)

(16)

Energia sieci

Energia

E (¯σ) = c₁E₁+ c₂E₂

E (¯σ) = −c₁



 X

i 6=j

σ_iσ_jv (i , j )



+ c₂



 X

i 6=j

σ_iσ_j +X

i

σ²_i





ponieważ P

iσ_i²=P

i1 = const E (¯σ) = −1

2 X

i 6=j

σiσj 2 (c1· v (i , j) − c₂)

(17)

Energia sieci

Energia

E (¯σ) = c₁E₁+ c₂E₂

E (¯σ) = −c₁



 X

i 6=j

σ_iσ_jv (i , j )



+ c₂



 X

i 6=j

σ_iσ_j+X

i

σ²_i





ponieważ P

iσ_i²=P

i1 = const E (¯σ) = −1

2 X

i 6=j

σiσj 2 (c1· v (i , j) − c₂)

(18)

Energia sieci

Energia

E (¯σ) = c₁E₁+ c₂E₂

E (¯σ) = −c₁



 X

i 6=j

σ_iσ_jv (i , j )



+ c₂



 X

i 6=j

σ_iσ_j+X

i

σ²_i





ponieważ P

iσ_i²=P

i1 = const

E (¯σ) = −1 2

X

i 6=j

σiσj 2 (c1· v (i , j) − c₂)

(19)

Energia sieci

Energia

E (¯σ) = c₁E₁+ c₂E₂

E (¯σ) = −c₁



 X

i 6=j

σ_iσ_jv (i , j )



+ c₂



 X

i 6=j

σ_iσ_j+X

i

σ²_i





ponieważ P

iσ_i²=P

i1 = const E (¯σ) = −1

2 X

i 6=j

σ_iσ_j 2 (c1· v (i , j) − c₂)

(20)

Wagi

Otrzymujemy zależności na:

wagi

wij = 2 (c1· v (i , j) − c₂)

oraz

pola zewnętrzne

h_i = 0

(21)

Kolorowanie wierzchołkowe

Problem:

Dany graf G = (V, E ) oraz k kolorów {1, .., k}.

Cel:

Chcemy każdemu z wierzchołków v ∈ V przypisać jeden z k kolorów, tak aby sąsiadujące wierzchołki otrzymały różne kolorowania. Tzn.

znaleźć funkcję F : V → {1, .., k} spełniającą:

∀_{(u,v )∈E}F (u) 6= F (v ) Jeżeli graf jest planarny, to k ≤ 4.

(22)

Konfiguracja sieci

N = k|V| neuronów, indeksowanych podwójnym oznaczeniem σi α,

i — numer wierzchołka w grafie, α — numer koloru, σi α ∈ {0, +1},

σ_{i α} = +1 — wierzchołek i ma przypisany kolor α, σ_{i α} = 0 — wierzchołek i nie ma przypisanego koloru α, konfiguracja dopuszcza przypisanie więcej niż jednego koloru jednocześnie.

(23)

Konfiguracja sieci

(24)

Energia sieci

Pomiń obliczenia

Oznaczmy

vij =

+1 (i , j ) ∈ E

0 wpw

δαβ =

+1 α = β

0 wpw

Składnik optymalizujący energii: E1(¯σ) = c1

X

i 6=j

X

α,β

vij · σ_{i α}· σ_{j β}· δ_αβ

E₁(¯σ) = −1 2

X

i ,j ,α,β

−2c₁v_ij · δ_αβ· σ_{i α}· σ_{j β}

(25)

Energia sieci

Pomiń obliczenia

Oznaczmy

vij =

+1 (i , j ) ∈ E

0 wpw

δαβ =

+1 α = β

0 wpw

X

i 6=j

X

α,β

vij · σ_{i α}· σ_{j β}· δ_αβ

E₁(¯σ) = −1 2

X

i ,j ,α,β

−2c₁v_ij · δ_αβ· σ_{i α}· σ_{j β}

(26)

Energia sieci

Pomiń obliczenia

Oznaczmy

vij =

+1 (i , j ) ∈ E

0 wpw

δαβ =

+1 α = β

0 wpw

X

i 6=j

X

α,β

vij · σ_{i α}· σ_{j β}· δ_αβ

E₁(¯σ) = −1 2

X

i ,j ,α,β

−2c₁v_ij · δ_αβ· σ_{i α}· σ_{j β}

(27)

Energia sieci

Pomiń obliczenia

Oznaczmy

vij =

+1 (i , j ) ∈ E

0 wpw

δαβ =

+1 α = β

0 wpw

Składnik optymalizujący energii:

E1(¯σ) = c1

X

i 6=j

X

α,β

vij · σ_{i α}· σ_{j β}· δ_αβ

E₁(¯σ) = −1 2

X

i ,j ,α,β

−2c₁v_ij · δ_αβ· σ_{i α}· σ_{j β}

(28)

Energia sieci

Pomiń obliczenia

Oznaczmy

vij =

+1 (i , j ) ∈ E

0 wpw

δαβ =

+1 α = β

0 wpw

E1(¯σ) = c1

X

i 6=j

X

α,β

vij · σ_{i α}· σ_{j β}· δ_αβ

E (¯σ) = −1 X

−2c v · δ · σ · σ

(29)

Energia sieci

Składnik penalizujący energii:

E₂(¯σ) = c₂X

i

−1 +X

α

σ_{i α}

!2

E2(¯σ) = c2

X

i



1 − 2X

α

σi α+X

α6=β

σi ασi β+ X

α

σ²_{i α}





= c₂



N −X

i

X

α

σ_{i α}+X

i

X

α6=β

σ_{i α}σ_{i β}





= c2



N−X

i α

σi α+ X

j

δij

X

i

X

α6=β

σi ασi β





(30)

Energia sieci

E₂(¯σ) = c₂X

i

−1 +X

α

σ_{i α}

!2

E2(¯σ) = c2

X

i



1 −2X

α

σi α+X

α6=β

σi ασi β+ X

α

σ²_{i α}





= c₂



N −X

i

X

α

σ_{i α}+X

i

X

α6=β

σ_{i α}σ_{i β}





= c2



N−X

i α

σi α+ X

j

δij

X

i

X

α6=β

σi ασi β





(31)

Energia sieci

E₂(¯σ) = c₂X

i

−1 +X

α

σ_{i α}

!2

E2(¯σ) = c2

X

i



1 − 2X

α

σi α+X

α6=β

σi ασi β+ X

α

σ²_{i α}





= c₂



N −X

i

X

α

σ_{i α}+X

i

X

α6=β

σ_{i α}σ_{i β}





= c2



N−X

i α

σi α+ X

j

δij

X

i

X

α6=β

σi ασi β





(32)

Energia sieci

E₂(¯σ) = c₂X

i

−1 +X

α

σ_{i α}

!2

E2(¯σ) = c2

X

i



1 − 2X

α

σi α+X

α6=β

σi ασi β+ X

α

σ²_{i α}





= c₂



N −X

i

X

α

σ_{i α}+X

i

X

α6=β

σ_{i α}σ_{i β}







X X XX



(33)

Energia sieci

E2(¯σ) = −c2

2



−2X

i α

σi α+ 2X

ij αβ

δij(1 − δ_αβ)σi ασ_{i β}





E = E₁+ E₂

E (¯σ) = −1 2

X

i ,j ,α,β

(−2c1vijδ_αβ − 2c₂δij(1 − δ_αβ))σi ασ_{j β}+X

i α

σi αc2

(34)

Energia sieci

E2(¯σ) = −c2

2



−2X

i α

σi α+ 2X

ij αβ





E = E₁+ E₂

E (¯σ) = −1 2

X

i ,j ,α,β

(−2c1vijδ_αβ − 2c₂δij(1 − δ_αβ))σi ασ_{j β}+X

i α

σi αc2

(35)

Energia sieci

E2(¯σ) = −c2

2



−2X

i α

σi α+ 2X

ij αβ





E = E₁+ E₂

E (¯σ) = −1 2

X

i ,j ,α,β

(−2c1vijδ_αβ− 2c₂δij(1 − δ_αβ))σi ασ_{j β}+X

i α

σi αc2

(36)

Wagi

wagi

w_{ij αβ} = −2c1vijδ_αβ − 2c₂δij(1 − δ_αβ)

oraz

pola zewnętrzne

h_{i α}= c₂

(37)

Cykl Hammiltona

Problem:

Dany jest graf ważony G = (V, E ) oraz wagi krawędzi v : V × V → R.

Jeżeli (u1u2) /∈ E, to jej waga jest duża v ((u₁u2)) N · maxe∈Ev (e).

Cel:

Chcemy znaleźć kolejność wierzchołków (permutację τ ∈ SN), taką by odwiedzenie wierzchołków w jej kolejności, dało minimalny koszt.

N−1

X

i =1

v ((u_{τ (i )}u_{τ (i +1)})) + v (uτNuτ1) → min

(38)

Konfiguracja sieci

sieć składa się z N²= |V|² neuronów indeksowanych podwójnym oznaczeniem σi µ,

σi µ= +1 — µ-tym elementem cyklu jest wierzchołek vi, σ_{i µ}= 0 — że wierzchołek v_i nie został odwiedzony w kroku µ-tym cyklu,

konfiguracja ¯σ dopuszcza sytuacje, w których jakiś wierzchołek może być odwiedzony więcej niż raz,

dopuszamy też odwiedzenie dwóch lub więcej wierzchołków na raz.

(39)

Cykl Hammiltona

(40)

Energia sieci

E1(¯σ) = c1

X

i µ

X

j ν

vij · (δ_µ,ν−1+ δµ−1,ν) · σi µσj ν

E2(¯σ) = c2

X

µ

X

i

σi µ− 1

!2

+ c2

X

i

X

µ

σi µ− 1

!2

Pomiń obliczenia

(41)

Energia sieci

E1(¯σ) = c1

X

i µ

X

j ν

vij · (δ_µ,ν−1+ δµ−1,ν) · σi µσj ν

E2(¯σ) = c2

X

µ

X

i

σi µ− 1

!2

+ c2

X

i

X

µ

σi µ− 1

!2

Pomiń obliczenia

(42)

Energia sieci

E₂(¯σ) = c₂P

µ

P

iσ_{i µ}² +P

i 6=jσ_{i µ}σ_{j µ}− 2P

iσ_{i µ}+1 + c2P

i

P

µσ_{i µ}² +P

µ6=νσi µσi ν − 2P

µσi µ+1

E₂(¯σ) = c₂P

µνδ_µνP

ij(1 − δ_ij)σ_{i µ}σ_{j ν}− c₂P

i µσ_{i µ} + c2P

i ,jδijP

µν(1 − δµν)σi µσj ν− c₂P

i µσi µ

E2(¯σ) = c2

X

ij µν

(δµν(1 − δij) + δij(1 − δµν)) σi µσj ν− 2c₂X

i µ

σi µ

(43)

Energia sieci

E₂(¯σ) = c₂P

µ

P

iσ_{i µ}² +P

i 6=jσ_{i µ}σ_{j µ}− 2P

iσ_{i µ}+1 + c2P

i

P

µσ_{i µ}² +P

µσi µ+1

E₂(¯σ) = c₂P

µνδ_µνP

ij(1 − δ_ij)σ_{i µ}σ_{j ν}− c₂P

i µσ_{i µ} + c2P

i ,jδijP

i µσi µ

E2(¯σ) = c2

X

ij µν

i µ

σi µ

(44)

Energia sieci

E₂(¯σ) = c₂P

µ

P

iσ_{i µ}² +P

i 6=jσ_{i µ}σ_{j µ}− 2P

iσ_{i µ}+1 + c2P

i

P

µσ_{i µ}² +P

µσi µ+1

E₂(¯σ) = c₂P

µνδ_µνP

ij(1 − δ_ij)σ_{i µ}σ_{j ν}− c₂P

i µσ_{i µ} + c2P

i ,jδijP

i µσi µ

E2(¯σ) = c2

X

ij µν

i µ

σi µ

(45)

Energia sieci

E₂(¯σ) = c₂P

µ

P

iσ_{i µ}² +P

i 6=jσ_{i µ}σ_{j µ}− 2P

iσ_{i µ}+1 + c2P

i

P

µσ_{i µ}² +P

µσi µ+1

E₂(¯σ) = c₂P

µνδ_µνP

ij(1 − δ_ij)σ_{i µ}σ_{j ν}− c₂P

i µσ_{i µ} + c2P

i ,jδijP

i µσi µ

E2(¯σ) = c2

X

ij µν

i µ

σi µ

(46)

Energia sieci

E (¯σ) = −1 2

X

ij µν

σ_{i µ}σ_{j ν}· (−c₂(δ_µν(1 − δ_ij) + δ_ij(1 − δ_µν))−

−c₁v_ij(δ_µ,ν−1+ δ_µ−1,ν)) − c₂X

i µ

σ_{i µ}

(47)

Wagi

wagi

wij µν = −c2(δµν(1 − δij) + δij(1 − δµν)) − c1vij(δµ,ν−1+ δµ−1,ν))

oraz na

pola zewnętrzne

h_{i µ}= c₂

(48)

Przydział zadań

Problem:

Danych jest N zadań oraz N wykonawców. Koszt wykonania zadania α przez wykonawcę i wynosi v_{i α}, gdzie i , α = 1..N.

Cel:

Chcemy przyporządkować zadania wykonawcom tak, aby każde zadanie zostało wykonane oraz każdy wykonawca wykonał zadanie.

Szukamy najtańszego przydziału (permutacji τ ∈ S_N):

X

i

v_{i ,τ}_i → min

(49)

Konfiguracja sieci

sieć liczy N² neuronów indeksowanych podwójnym oznaczeniem σ_{i α},

i — numer pracy, α — numer wykonawcy, Niech σi α ∈ {0, +1},

σ_{i α} = +1 — zadanie i wykonuje pracownik α, σ_{i α} = 0 — zadania i nie wykonuje pracownik α,

(50)

Energia sieci

E₁(¯σ) = c₁X

i α

v_{i α}σ_{i α}

E2(¯σ) = c2

X

α

X

i

σi α− 1

!2

+ c2

X

i

X

α

σi α− 1

!2

(51)

Energia sieci

E₁(¯σ) = c₁X

i α

v_{i α}σ_{i α}

E2(¯σ) = c2

X

α

X

i

σi α− 1

!2

+ c2

X

i

X

α

σi α− 1

!2

(52)

Energia sieci

Po przeliczeniach (analogicznie jak przy cyklu Hammiltona):

E₂(¯σ) = c₂X

ij αβ

(δ_αβ(1 − δ_ij) + δ_ij(1 − δ_αβ)) σ_{i α}σ_{j β}− 2c₂X

i α

σ_{i α}

(53)

Wagi

Zależności na:

wagi

w_{ij αβ} = −2c2(δ_αβ(1 − δij) + δij(1 − δ_αβ))

oraz na

pola zewnętrzne

h_{i α} = 2c₂− c₁v_{i α}

(54)

Złożoność pamięciowa Dynamika stochastyczna

Przydział zadań

3 Uwagi

(55)

Reprezentacja naiwna

int N=100;

float wagi[N][N][N][N];

Niech |V| = N = 100,

Sieć liczy N² = 10⁴ neuronów,

Ilość krawędzi synaptycznych (N²)² = 10⁸, Tablica float-ów (4B) — 400MB na sieć...

Wagi są symetryczne w_{ij αβ}= w_{ji βα}, więc tablice dynamiczne redukują o połowę.

(56)

Jak oszczędzić?

Wagi w autoasocjatorze Hopfielda:

w_ij = −1 N

P

X

µ=1

ξ_i^µξ_j^µ,

PP

µ=1ξ^µ_i ξ_j^µ∈ −P, ..., +P,

P N², więc 1B wystarczy na 127 wzorców,

zamiast tablicy wag przetrzymujemy P N² tablic z wzorcami uczącymi,

wymaga to PN²= 100 · 10000(·4B) = 4MB (za cenę liczenia

(57)

Jak oszczędzić?

Wagi w problemie kolorowania wierzchołków:

wij αβ= −2c1vijδαβ − 2c₂δij(1 − δαβ) c₁ i c₂ są stałe,

δ_αβ, δ_ij ∈ {0, 1} i można je policzyć w czasie stałym, v_ij jest jedyną informacją, którą trzeba przechować, tablica (symetryczna) v zajmie N²· 4B = 40kB

(58)

Dynamika stochastyczna

1 Rozpoczynamy ze startowego lub losowego układu spinów ¯σ,

2 Powtarzamy wielokrotnie:

1 Próbujemy zmienić spin losowo wybranej jednostki,

2 Jeżeli redukuje to energię, to przyjmujemy tą zmianę,

3 Jeżeli zwiększa to energię o ∆E , to przyjmujemy zmianę z prawdopodobieństwem

P = exp(−β∆E )

i odrzucamy z komplementarnym. β > 0 jest temperaturą odwrotną i rośnie w trakcie dynamiki.

(59)

Ewolucja sieci Hopfielda w wysokiej temperaturze

Uwaga. Animacja jest znacznie przyśpieszona i może powodować zmęczenie wzroku!

click

(60)

Ewolucja sieci Hopfielda w niskiej temperaturze

Uwaga. Animacja jest znacznie przyśpieszona i może powodować zmęczenie wzroku!

click

(61)

Zadania

Przedstaw sposób kodowania problemu grafowego (dwupodział, kolorowanie, cykl Hammiltona) na konfigurację sieci neuronowej.

Zaimplementuj sieć neuronową do rozwiązywania problemu grafowego (jeden z powyższych).

Przemodeluj reprezentację, aby sieć mogła pracować na większych danych.

Zapoznaj się z zagadnieniem symulowanego wyżarzania (simmulated annealing). Dodaj ten mechanizm do implementacji.