2012-24-01 M.Czoków,J.Piersa Wst¦pdosiecineuronowych,wykªad15Zespolonesiecineuronowe

(1)

Wst¦p Neurony zepolone

Wst¦p do sieci neuronowych, wykªad 15 Zespolone sieci neuronowe

M. Czoków, J. Piersa

Faculty of Mathematics and Computer Science, Nicolaus Copernicus University, Toru«, Poland

2012-24-01

(2)

Wst¦p

Neurony zepolone Motywacja

Liczby zespolone powtórzenie

Idea

Funkcjonalno±¢ klasycznego neuronu (pracuj¡cego na liczbach rzeczywistych) jest do±¢ ograniczona.

Okazuje si¦, »e wiele ogranicze« neuronu mo»e by¢

wyeliminowanych, je±li neuron zamiast na liczbach rzeczywistych b¦dzie pracowª na liczbach zespolonych.

Zespolone neurony maja wi¦ksze mo»liwo±ci i lepiej si¦ ucz¡ ni»

klasyczne neurony.

(3)

Wst¦p

Ograniczenia klasycznego perceptronu

Rozwa»my perceptron z binarnym wej±ciem i binarnym wyj±ciem oraz funkcje boolowske postaci f : {0, 1}ⁿ→ {0, 1}

funkcje boolowskie separowalne za pomoc¡ funkcji liniowej mog¡

by¢ odwzorowane przez klasyczny perceptron

funkcje boolowskie nieseparowalne za pomoc¡ funkcji liniowej nie mog¡ by¢ odwzorowane przez klasyczny perceptron

liczba funkcji boolowskich separowalnych liniowo jest bardzo maªa w porównaniu do wszystkich funkcji

dla n = 3 104 spo±ród 256

dla n = 4 okoªo 2000 spo±ród 65536

funkcje nieseparowalne w sposób liniowy nie mog¡ by¢

odwzorowane za pomoc¡ pojedynczego neuronu, musimy do tego u»y¢ sieci neuronowej (Minsky-Papert, 1969)

(4)

Wst¦p

Posta¢ algebraiczna

Liczba zespolona jest to liczba postaci:

z = a + bi,

gdzie a i b s¡ pewnymi liczbami rzeczywistymi oraz i jest tzw.

jednostk¡ urojon¡, tj. i² = −1. Dla liczby z = a + bi deniuje si¦ jej cz¦±¢ rzeczywist¡ jako Re z = a

cz¦±¢ urojon¡ jako Im z = b

(5)

Wst¦p

Pªaszczyzna zespolona

Liczbom zespolonym mo»na

przyporz¡dkowa¢ w sposób wzajemnie jednoznaczny wektory na pªaszczy¹nie, podobnie jak uto»samia si¦ wektory na prostej z liczbami rzeczywistymi.

Wspóªrz¦dne s¡ nazwane rzeczywist¡

(Re, pozioma) i urojon¡ (Im, pionowa). Ka»dej wi¦c liczbie zespolonej z = a + bi mo»na przyporz¡dkowa¢ wektor ~z = [a, b]

i odwrotnie.

Re Im

a b

0

|z|

(6)

Wst¦p

Moduª i sprz¦»enie

Równowa»ne s¡ stwierdzenia moduª (|z|) liczby z i dªugo±¢ wektora ~z.

Deniujemy je w nast¦puj¡cy sposób:

|z| = |~z| =pa²+b².

Sprz¦»enie liczby z = a + bi jest zdeniowane w nast¦puj¡cy sposób:

¯z = a − bi.

(7)

Wst¦p

Argument

Niech ϕ oznacza k¡t, który wektor ~z tworzy z prost¡ Re, oznaczmy go przez argz. Jest to tak zwany argument.

Zatem sin ϕ = _|^b_z| i cos ϕ = _|^a_z|. Liczba zespolona ró»na od zera ma niesko«czenie wiele argumentów.

Argument liczby z speªniaj¡cy

nierówno±¢ 0 ≤ argz < 2π oznacza si¦

przez Argz i nazywa si¦ go

argumentem gªównym. Re

Im

0 cos

sin

|z|

(8)

Wst¦p

Posta¢ trygonometryczna

Liczba zespolona mo»e by¢ wyra»ona w nast¦puj¡cy sposób:

z = a + bi = |z|(cos ϕ + i sin ϕ).

Poza tym zachodzi:

z^k = |z|^k(cos ϕ + i sin ϕ)^k = |z|^k(cos kϕ + i sin kϕ).

(9)

Wst¦p

Wzór Eulera

z = |z|ei^ϕ= |z|(cos ϕ + i sin ϕ) z^k = |z|^kei^kϕ = |z|^k(cos kϕ + i sin kϕ)

Ka»da liczba zespolona z 6= 0 posiada k ró»nych pierwiastków k-tego stopnia:

zj =p|^k z|ei^ϕ+^k^2jπ = p|^k z|(cosϕ +2jπ

k +i sinϕ +2jπ k ), dla j = {0, 1, ..., k − 1}.

(10)

Neuron wielowarto±ciowy Okresowa funkcja aktywacji

Uczenie MVN dla okresowej funkcji aktywacji

Logika wielowarto±ciowa

Tradycyjny rachunek zda« jest dwuwarto±ciowy s¡ w nim mo»liwe tylko dwie warto±ci logiczne prawda albo faªsz.

Jednak»e klasyczna dwuwarto±ciowo±¢ jest tylko jedn¡

z mo»liwo±ci zakresu warto±ci logicznych. Istniej¡ logiki, w których wyst¦puj¡ wi¦cej ni» dwie warto±ci.

Warto±ci wielowarto±ciowej logiki (k-warto±ciowej) s¡ tradycyjnie kodowane za pomoc¡ liczb caªkowitych {0, 1, ..., k − 1}.

(11)

Wielowarto±ciowa logika nad ciaªem liczb zespolonych

Deniujemy bijekcj¦ dziaªajac¡ ze zbiory warto±ci logiki j ∈ {0, 1, ..., k − 1} do zbioru warto±ci poªo»onych na okr¦gu jednostkowym na pªaszczy¹nie zespolonej. Zatem:

j → ε^j =exp(i2πj/k) ε^j ∈ {ε⁰, ε, ε², ..., ε^k−1} pierwiastki k-tgo stopnia liczby 1 s¡ warto±ciami k-warto±ciowej logiki nad ciaªem liczb

zespolonych.

Re Im

0 1

0=1

k-1 1

(12)

Neuron wielowarto±ciowy

Neuron wielowarto±ciwy (z angielskiego Multi-Valued Neuron, w skrócie MVN):

jest to jednostka z n wej±ciami, jednym wyj±ciem zlokalizownaym na okr¦gu jednostkowym pªaszczyzny zespolonej i z wagami o warto±ciach zespolonych

jego teoretycznym podªo»em jest logika wielowarto±ciowa (k-warto±ciowa) nad ciaªem liczb zespolonych

(13)

Funkcja aktywacji warto±ciowana (k-warto±ciowana) w sposób dyskretny

Re Im

1 0=1

k-1 1

j

z j+1

Funkcja aktywacji P(z) ma nast¦puj¡c¡ posta¢:

P(z) = exp(i2πj/k) = ε^j, dla j, dla którego:

2πj/k ≤ Argz < 2π(j + 1)/k.

Funkcja P(z) mapuje zespolon¡

pªaszczyzn¦ na zbiór k pierwisatków jedno±ci.

(14)

Wªasno±ci wielowarto±ciowego neuronu

wagi nad ciaªem liczb zespolonych

funkcja aktywacji P(z) dziaªaj¡ca na argumencie sumy wa»onej zespolone wej±cia

wyj±cia le»¡ce na okr¦gu jednostkowym pªaszczyzny zespolonej wi¦ksza funkcjonalno±¢ ni» w tradycyjnym neuronie

prostota uczenia

(15)

Uczenie wielowarto±ciowego neuronu

W^(r+1)=W^(r)+ α

(n + 1)(ε^q− ε^s) ¯X , gdzie

W wektor wag

X przykªad ucz¡cy, wektor dªugo±ci n + 1, pierwszy element wektora to bias

X sprz¦»enie X¯

α staªa uczenia (mo»e zawsze mie¢ warto±¢ 1) r numer iteracji

ε^q po»¡dane wyj±cie ε^s aktualne wy±cie

(16)

Motywacja

Je±li istnieje zestaw wag, dla którego MVN odwzorowuje funkcj¦

k-warto±ciow¡, to w wyniku uczenia zostanie on znaleziony.

A co je±li nie istnieje, czy nale»y u»y¢ sieci neuronowej, by odwzorowa¢ funkcj¦?

Funkcj¦ k warto±ciow¡ mo»na odwzorowa¢ na funkcj¦

m-warto±ciow¡ (m = lk, l > 1), dla której istnieje odpowiedni zestaw wag.

(17)

l-powtarzalna k-okresowa funkcja aktywacji

Wprowad¹my okresow¡ funkcj¦ aktywacji, w której warto±ci k-warto±ciowej logiki b¦d¡ powtarzane ze wspóªczynnikiem l.

Re Im

1 0

3 1

2

k=4, l=1

Re Im

1 0 2 1

3

0 3

1 2 k=4, l=2

(18)

Okresowa funkcja aktywacji dla neuronu wielowarto±ciowego

Re Im

0 1 1 k-1 ...

k+1 k

m-1 m-2 ...

...

... ... ... ...

P=0 P=1 P=k-1

P=k mod k

=0 P=(k+1) mod k

=1

P=(m-1) mod k

=(kl-1) mod k =k-1 P=(m-2) mod k

=(kl-2) mod k ...

...

Funkcja aktywacji ma posta¢:

P(z) = j mod k, dla j, dla którego zachodzi:

2πj/m ≤ Argz < 2π(j + 1)/m, j = 0, 1, ..., m − 1; m = kl, l ≥ 2.

(19)

Okresowa funkcja aktywacji dla wielowarto±ciowych neuronów

Funkcja aktywacji ma posta¢:

P(z) = j mod k, dla j, dla którego zachodzi:

funkcja aktywacji jest k-okresow¡ l-powtarzaln¡ funkcj¡ aktywacji okresowa funkcja aktywacji odwzorowuje k-warto±ciow¡ logik¦ na m-warto±ciow¡ logik¦, gdzie m = kl

(20)

Rozwi¡znaie problemu XOR

Re Im

-1 1

P=0

P=0 P=1

P=1

Wektor wag W = (0, 1, i) i funkcja aktywacji P s¡ rozwi¡zaniem dla problemu XOR.

x1 x2 z = w0 P(z) XOR +w1x1

+w2x2

1 1 1 + i 0 0

1 −1 1 − i 1 1

−1 1 −1 + i 1 1

(21)

Okresowo±¢ funkcji aktywacji

Re Im

-1 1

-

P=0

P=0 P=1

P=1

Funkcja aktywacji P jest okresowa.

Dzieli pªaszczyzn¦ zespolon¡ na 4 sektory i ustawia ich warto±ci jako przemienny ci¡g 0, 1, 0, 1.

(22)

Problem parzysto±ci na trzech bitach

Czy na wej±ciu mamy parzyst¡ liczb¦ 1? W = (0, ε, 1, 1)

-1 1

0 1

1 1

0

x1 x2 x3 z = w0 P(z) f +w1x1

+w2x2

+w3x3

1 1 1 ε +2 0 0

1 1 −1 ε 1 1

1 −1 1 ε 1 1

1 −1 −1 ε −2 0 0

−1 1 1 −ε +2 1 1

(23)

Problem parzysto±ci

Problem parzysto±ci dla N bitów mo»e zosta¢ rozwi¡zany za pomoc¡ pojedynczego neuronu z okresow¡ funkcj¡ aktywacji i k = 2 dla ka»dego N.

Zostaªo to udowodnione matematycznie dla wszystkich N i eksperymentalnie dla wszystkich N mniejszych od 18.

(24)

Algorytm uczenia

W⁽^r+1)=W⁽^r)+ α

(n + 1)(ε^q− ε^s) ¯X , gdzie

ε^q po»¡dane wyj±cie ε^s aktualne wy±cie

(25)

Aktualne wyj±cie

Aktualnym wyj±ciem jest j-ty pierwiastek zespolony m-tego stopnia:

ε^s =exp(i2πj/m), dla którego zachodzi:

(26)

Po»¡dane wyj±cie

Zaªó»my »e w bie»¡cym kroku iteracji algorytmu uczenia, sie¢ ma zwróci¢ odpowied¹ q, gdzie 0 ≤ q ≤ k − 1.

Istnieje l sektorów, dla których je±li z b¦dzie le»e¢ w jednym z nich, to sie¢ zwróci q.

Je±li le»y w jednym z nich, to nie modykujemy wektora wag.

W przeciwnym wypadku z l mo»liwych sektorów wybieramy ten, dla którego pierwiastek z nim powi¡zany le»y najbli»ej w sensie odlegªo±ci k¡towej od wektora z.

Pierwiastek tego sektora stanowi nasze ε^q w bie»¡cym kroku

(27)

Zalety neuronu wielowarto±ciowego

uczy si¦ szybciej przystosowuje si¦ lepiej

mo»e nauczy¢ si¦ poprawnie klasykowa¢ zbiór nieseparowalny liniowo

otwiera obiecuj¡ce, nowe mo»liwo±ci projektowania sieci

2012-24-01 M.Czoków,J.Piersa Wst¦pdosiecineuronowych,wykªad15Zespolonesiecineuronowe

Wst¦p do sieci neuronowych, wykªad 15 Zespolone sieci neuronowe

Idea

Ograniczenia klasycznego perceptronu

Posta¢ algebraiczna

Pªaszczyzna zespolona

Moduª i sprz¦»enie

Argument

Posta¢ trygonometryczna

Wzór Eulera

Logika wielowarto±ciowa

Wielowarto±ciowa logika nad ciaªem liczb zespolonych

Neuron wielowarto±ciowy

Funkcja aktywacji warto±ciowana (k-warto±ciowana) w sposób dyskretny

Wªasno±ci wielowarto±ciowego neuronu

Uczenie wielowarto±ciowego neuronu

Motywacja

l-powtarzalna k-okresowa funkcja aktywacji

Okresowa funkcja aktywacji dla neuronu wielowarto±ciowego

Okresowa funkcja aktywacji dla wielowarto±ciowych neuronów

Rozwi¡znaie problemu XOR

Okresowo±¢ funkcji aktywacji

Problem parzysto±ci na trzech bitach

0 1

1 1

0

Problem parzysto±ci

Algorytm uczenia

Aktualne wyj±cie

Po»¡dane wyj±cie

Zalety neuronu wielowarto±ciowego

Ograniczenia klasycznego perceptronu