Wykład NN5 (PDF) Sieci LVQ i CP (1 MB)

(1)

SIECI

LVQ

L

earning

V

ector

Q

uantization

SIECI

CP

C

ounter

P

ropagation

(2)

SIECI

LVQ

Joanna Grabska- Chrząstowska

KLASA 1 KLASA 2 KLASA 3

X1 X2 X3 X4

(3)

REGUŁA WIDROW-HOFFA

(DELTA)

 = z - y

w

_{k i}(j+1)

=w

_{k i}(j)

+ η



x

_i(j)

METODA SAMOUCZENIA HEBBA

w

_{k i}(j+1)

=w

_{k i}(j)

+ η y

_k(j)

x

_i(j)

(4)

UCZENIE Z FORSOWANIEM

w

_{k i}(j+1)

=w

_{k i}(j)

+ η z

_k(j)

x

_i(j)

(5)

ARCHITEKTURA SIECI LVQ

WARSTWA KOHONENA WARSTWA WEJŚCIOWA WARSTWA WYJŚCIOWA

KLASA 1 KLASA 2 KLASA 3

(6)

Sieć LVQ

(wprowadzona przez Kohonena) służy do klasyfikowania sygnały wejściowych i jest przykładem uczenia z forsowaniem. Warstwa wyjściowa przypisuje wektory wyjściowe do jednej z kilku klas. Główna częścią sieci jest WARSTWA KOHONENA, która ucząc się dokonuje klasyfikacji.

LVQ

dostarcza jednakową liczbę neuronów przypisanych do danej klasy. Podklasy w danej grupie nie muszą być podobne.

(7)

WERSJ

A

PODST

A

WO

W

A

(8)

W podstawowej wersji sieci LVQ obliczana jest

odległość między wektorem wejściowym a

wekto-rem wag i - tego neuronu dla każdego i =

1, ..., m

N

d

_i

= w

_i

– x =

S

( w

_ij

– x

_j

)

2

j=1

Wagi zwycięskiego neuronu sa modyfikowane zgodnie z wzorem:

W’ =

w +

a

(x - w)

jeśli neuron należy do właściwej klasy

(9)

(10)

(11)

STRATEGIA UCZENIA

SIECI LVQ

W typowych zastosowaniach powinno zacząć się od:

wariantu LVQ 1,

następnie przejść do

wersji podstawowej LVQ

lub

LVQ bez odpychania,

a na koniec użyć

(12)

(13)

(14)

(15)

(16)

PRZYKŁAD ZASTOSOWANIA

SIECI LVQ

x₁( 1 , 1 , 0 ) klasa 1 x₂( 0 , 0 , 0 ) klasa 2 x₃( 0 , 0 , 1 ) klasa 2 x₄( 1 , 0 , 0 ) klasa 1 x₅( 0 , 1 , 1 ) klasa 1 x1 _x2 _x3 1 2 (1,1,1) (0,1,0) (1,1,0) (0,0,1) (1,0,0) (0,1,1) (0,0,0)

(17)

PRZYKŁAD ZASTOSOWANIA

SIECI LVQ

x₁( 1 , 1 , 0 ) klasa 1 x₂( 0 , 0 , 0 ) klasa 2 x₃( 0 , 0 , 1 ) klasa 2 x₄( 1 , 0 , 0 ) klasa 1 x₅( 0 , 1 , 1 ) klasa 1 x1 _x2 _x3 1 2 (1,1,1) (0,1,0) (1,1,0) (0,0,1) (1,0,0) (0,1,1) (0,0,0) w1

(18)

PRZYKŁAD ZASTOSOWANIA

SIECI LVQ

x₁( 1 , 1 , 0 ) klasa 1 x₂( 0 , 0 , 0 ) klasa 2 x₃( 0 , 0 , 1 ) klasa 2 x₄( 1 , 0 , 0 ) klasa 1 x₅( 0 , 1 , 1 ) klasa 1 x1 _x2 _x3 1 2 (1,1,1) (0,1,0) (1,1,0) (0,0,1) (1,0,0) (0,1,1) (0,0,0) w1 w2

(19)

PRZYKŁAD ZASTOSOWANIA

SIECI LVQ

x₁( 1 , 1 , 0 ) klasa 1 x₂( 0 , 0 , 0 ) klasa 2 x₃( 0 , 0 , 1 ) klasa 2 x₄( 1 , 0 , 0 ) klasa 1 x₅( 0 , 1 , 1 ) klasa 1 x1 _x2 _x3 1 2 (1,1,1) (0,1,0) (1,1,0) (0,0,1) (1,0,0) (0,1,1) (0,0,0) w1 w2 x₃

(20)

PRZYKŁAD ZASTOSOWANIA

SIECI LVQ

x₁( 1 , 1 , 0 ) klasa 1 x₂( 0 , 0 , 0 ) klasa 2 x₃( 0 , 0 , 1 ) klasa 2 x₄( 1 , 0 , 0 ) klasa 1 x₅( 0 , 1 , 1 ) klasa 1 x1 _x2 _x3 1 2 (1,1,1) (0,1,0) (1,1,0) (0,0,1) (1,0,0) (0,1,1) (0,0,0) w1 w2 x₃

(21)

PRZYKŁAD ZASTOSOWANIA

SIECI LVQ

x₁( 1 , 1 , 0 ) klasa 1 x₂( 0 , 0 , 0 ) klasa 2 x₃( 0 , 0 , 1 ) klasa 2 x₄( 1 , 0 , 0 ) klasa 1 x₅( 0 , 1 , 1 ) klasa 1 x1 _x2 _x3 1 2 (1,1,1) (0,1,0) (1,1,0) (0,0,1) (1,0,0) (0,1,1) (0,0,0) w1 w2 x₄

(22)

PRZYKŁAD ZASTOSOWANIA

SIECI LVQ

x₁( 1 , 1 , 0 ) klasa 1 x₂( 0 , 0 , 0 ) klasa 2 x₃( 0 , 0 , 1 ) klasa 2 x₄( 1 , 0 , 0 ) klasa 1 x₅( 0 , 1 , 1 ) klasa 1 x1 _x2 _x3 1 2 (1,1,1) (0,1,0) (1,1,0) (0,0,1) (1,0,0) (0,1,1) (0,0,0) w1 w2 x₄

(23)

PRZYKŁAD ZASTOSOWANIA

SIECI LVQ

x₁( 1 , 1 , 0 ) klasa 1 x₂( 0 , 0 , 0 ) klasa 2 x₃( 0 , 0 , 1 ) klasa 2 x₄( 1 , 0 , 0 ) klasa 1 x₅( 0 , 1 , 1 ) klasa 1 x1 _x2 _x3 1 2 (1,1,1) (0,1,0) (1,1,0) (0,0,1) (1,0,0) (0,1,1) (0,0,0) w1 w2 x₅

(24)

PRZYKŁAD ZASTOSOWANIA

SIECI LVQ

x₁( 1 , 1 , 0 ) klasa 1 x₂( 0 , 0 , 0 ) klasa 2 x₃( 0 , 0 , 1 ) klasa 2 x₄( 1 , 0 , 0 ) klasa 1 x₅( 0 , 1 , 1 ) klasa 1 x1 _x2 _x3 1 2 (1,1,1) (0,1,0) (1,1,0) (0,0,1) (1,0,0) (0,1,1) (0,0,0) w1 w2 x₅

(25)

SIECI

CP

C

ounter

P

ropagation

(26)

(27)

Sieci CounterPropagation (CP)

uczona z nauczycielem !!!

zaproponowane przez Roberta Hecht-Nielsens są kompilacją sieci Kohonena i sieci Grosberga. Wprowadzają nową jakość, czyli zwiększoną szybkość uczenia. Jest odpowiedzią na wady sieci ze wsteczną propagacją, w której uczenie jest powolne i pracochłonne.

Przy pomocy CP można szybko weryfikować hipotezy robocze.

(28)

DZIAŁANIE PIERWSZEJ WARSTWY

||x|| =1

Założenie: normalizacja wektorów

wejściowych

x

_i

x ’

_i

=

n

S

X

_j 2 j=1

e

_j

=W

_jT

X

k

_j

=

1

gdy



ij

e

_j

> e

_i

0

w przeciwnym przypadku

(29)

GDY BRAK NORMALIZACJI

Przykład: W₁ = 1 2 3 0 1 0 W₂ = 1 2 3 X = 2 1 x₁ x₂ x₃

e₁ = 14 e2 = 2 neuron nr 1 zostaje zwycięzcą

(30)

GDY BRAK NORMALIZACJI

Przykład: W₁ = 1 2 3 0 1 0 W₂ = 0 1 0 X = 2 1 x₁ x₂ x₃

e₁= 2 e2 = 1 neuron nr 1 zostaje zwycięzcą

(31)

DZIAŁANIE DRUGIEJ WARSTWY

Druga warstwa realizuje algorytm

Outstar Grossberga

(32)

METODA OUTSTAR LEARNING

“GWIAZDY WYJŚĆ”

k

y

₁

y

₂

y

₃

y

₄

y

₅

w

_1i

w

₂ i

w

₃ i

w

₄ i

w

5 i

i

x

_i i – ustalone k - zmienne

w

_ki( j+1)

= w

_ki( j )

+

h

(j)

[ y

_k ( j )

– w

_ki ( j )

]

h(j) _{= 0,1 –}l_{* j}

(33)

DZIAŁANIE DRUGIEJ WARSTWY

Druga warstwa realizuje algorytm Outstar Grossberga

Y = V K czyli

S

m j =1 y_s = v_sjk_j y₁ y₂ y₃ y₄ y₅ k_i x₁ x₂ warstwa Kohonena warstwa Grosberga V W

(34)

UCZENIE PIERWSZEJ WARSTWY

W danym kroku uczenia

korekcie wag podlega tylko zwycięzca

D

W =

h

₁

( X - W)

początkowo w_ij= 1/n

zamiast x podaje się na wejście x’:

(35)

UCZENIE PIERWSZEJ WARSTWY

D

W =

h

₁

( X - W)

x

_i(k)

’ =

h

₂

(k) x

_i(k)

+ [1 -

h

₂

(k) ]

1/n

dla małych

h

₂

_{(k) -}

małe

(36)

UCZENIE PIERWSZEJ WARSTWY

D

W =

h

₁

( X - W)

x

_i(k)

’ =

h

₂

(k) x

_i(k)

+ [1 -

h

₂

(k) ] 1/n

h

₂

(k) -

rośnie do 1

bliskie 0

(37)

UCZENIE DRUGIEJ WARSTWY

Warstwę Grossberga uczymy według reguły Widrow - Hoffa

v

_ij(k+1)

= v

_ij(k)

+ h

₃

( z

_i

- y

_i

) k

_j

Proces uczenia warstwy Grossberga polega na wpisywaniu do tablicy „look up table” właściwych wartości, które mają być odpowiednią reakcją na pewną grupę sygnałów pojawiających się na wejściu sieci, a którą identyfikuje pewien neuron z warstwy Kohonena.