2013-10-15 MajaCzoków,JarosławPiersa Wstępdosiecineuronowych,wykład02Perceptronyc.d.Maszynaliniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Maja Czoków, Jarosław Piersa

Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika

2013-10-15

Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”

realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki

Uwaga

poniższe slajdy są eksperymentem

zawierają wyłącznie ilustracje i tabele, których sens przepisywania na tablicę jest wątpliwy

są niemal całkowicie pozbawione treści pisanej (w tym wzorów!)

1 Perceptron — dokończenie Interpretacja geometryczna Perceptron jako bramka logiczna Perceptron jako bramka logiczna Uwagi kombinatoryczne

2 Diagnozowanie za pomocą perceptronu Przykład

3 Klasyfikacja wielokategoryjna

Model maszyny liniowej

Konstrukcja Kesslera

1 Perceptron — dokończenie Interpretacja geometryczna Perceptron jako bramka logiczna Perceptron jako bramka logiczna Uwagi kombinatoryczne

2 Diagnozowanie za pomocą perceptronu Przykład

3 Klasyfikacja wielokategoryjna

Model maszyny liniowej

Konstrukcja Kesslera

Interpretacja geometryczna

W przypadku 1d brzeg rozdzielający jest punktem dzielącym prostą.

-3 -2 -1 0 1 2 3

Interpretacja geometryczna

W przypadku 2d brzeg rozdzielający jest prostą dzielącą płaszczyznę.

-6 -4 -2 0 2 4 6

Interpretacja geometryczna

W przypadku 3d jest to płaszczyzna rozdzielająca przestrzeń.

-5 0 5 10

-6 -4 -2 0 2 4 6 -10

-5 0 5 10 15

Interpretacja geometryczna uczenia

click

Interpretacja geometryczna uczenia

Dlaczego nie należy korzystać z podstawowej wersji algorytmu?

click

NOT

NOT

p NOT (p)

0 1

1 0

Jedno wejście p,

Problem jest rozwiązywalny przez pojedynczy perceptron.

AND

AND

p q AND(p, q)

0 0 0

1 0 0

0 1 0

1 1 1

Dwa wejścia p, q, Problem liniowo separowalny.

-0.5 0 0.5 1 1.5

-0.5 0 0.5 1 1.5

y

x

np. w ₁ = w ₂ = +1, w ₀ = 1.5

OR

OR

p q OR(p, q)

0 0 0

1 0 1

0 1 1

1 1 1

Dwa wejścia p, q, Problem liniowo separowalny.

-0.5 0 0.5 1 1.5

-0.5 0 0.5 1 1.5

y

x

np. w 1 = w 2 = +1, w 0 = 0.5

Projekcja

P _i (x ₁ , ..., x _n ) = +1 ⇐⇒ x _i = +1

p 1 ...p i −1 p i p i +1 p n P i (p 1 , p 2 , ..., p n )

∗ 0 ∗ 0

∗ 1 ∗ 1

Dwa wejścia p, q,

Problem liniowo separowalny.

Uogólniony AND

AND

p 1 p 2 ... p n AND(p 1 , p 2 , ..., p n )

0 0 ... 0 0

1 0 ... 0 0

...

1 1 ... 0 0

1 1 ... 1 1

n wejść p 1 , p 2 , ..., p n ,

Problem liniowo separowalny.

Uogólniony OR

OR

p 1 p 2 ... p n OR(p 1 , p 2 , ..., p n )

0 0 ... 0 0

1 0 ... 0 1

...

1 1 ... 0 1

1 1 ... 1 1

n wejść p 1 , p 2 , ..., p n ,

Problem liniowo separowalny.

XOR

XOR

p q XOR(p, q)

0 0 0

1 0 1

0 1 1

1 1 0

Dwa wejścia p, q, Problem nie jest liniowo separowalny.

-0.5 0 0.5 1 1.5

-0.5 0 0.5 1 1.5

y

x

NXOR / IFF

NOT XOR / IF and only IF

p q IFF (p, q)

0 0 1

1 0 0

0 1 0

1 1 1

Dwa wejścia p, q,

Problem nie jest liniowo separowalny.

NAND i NOR

NAND (NOT AND) oraz NOR (NOT AND) Negacja koniunkcji i alternatywy,

Po dwa wejścia p, q,

Oba problemy okazują się separowalne liniowo,

Zadanie: wskazać wagi perceptronów rozwiązujących problemy.

Separowalne liniowo funkcje logiczne

Wszystkich funkcji logicznych o n zmiennych jest 2 ²

, Ilość funkcji separowalnych liniowo rośnie wielomianowo, Dla małych wymiarów

n 2 ²

il. funkcji sep.

1 4 4

2 16 14

3 256 104

4 65536 1882

Tabela za R. Rojas A systematic introduction to neural networks

1 Perceptron — dokończenie Interpretacja geometryczna Perceptron jako bramka logiczna Perceptron jako bramka logiczna Uwagi kombinatoryczne

2 Diagnozowanie za pomocą perceptronu Przykład

3 Klasyfikacja wielokategoryjna

Model maszyny liniowej

Konstrukcja Kesslera

Przykład 1

przykład ¯ x = (+1, +1 + 1, +1),

wagi dodatnie w ₁ > w ₂ > w ₃ > w ₄ > 0,

odpowiedź O(¯ x ) = +1.

Przykład 1/3

Przykład 2/3

Przykład 3/3

Przykład 2

przykład ¯ x = (+1, +1, −1, +1),

niektóre wagi są ujemne w ₂ < w ₃ < 0 < w ₄ < w ₁ , odpowiedź O(¯ x ) = +1,

x 2 w 2 nie wspiera odpowiedzi,

x 3 w 3 wspiera odpowiedź (wada ujemna, ale cecha nie występuje).

Przykład 1/4

Przykład 2/4

Przykład 3/4

Przykład 4/4

1 Perceptron — dokończenie Interpretacja geometryczna Perceptron jako bramka logiczna Perceptron jako bramka logiczna Uwagi kombinatoryczne

2 Diagnozowanie za pomocą perceptronu Przykład

3 Klasyfikacja wielokategoryjna

Model maszyny liniowej

Konstrukcja Kesslera

Maszyna Liniowa

out

Rozpoznawanie znaków

1

2 3 4

A

MAX

Interpretacja geometryczna

-10 -5

0 5

10

-10 -5 0 5 -10010

-50 0 50 100

z

x y

z

-10 -5 0 5 10

-10 -5 0 5 10

y

x

Interpretacja geometryczna

Bez biasu / progu.

-10 -5 0 5 10

-10 -5 0 5 10

y

Z biasem w 0 / progiem θ.

-10 -5 0 5 10

-10 -5 0 5 10

y

Interpretacja geometryczna

Etap startowy

w1 = [-0.63, 0.47, 0.74]

w2 = [-2.49, 2.26, -2.35]

w3 = [2.64, -0.89, 1.46]

w4 = [0.13, -2.71, 1.08]

-4 -3

-2 -1

0 1

2 3

4 x

-4 -3

-2 -1

0 1

2 3

4

y -10

-5 0 5 10 15 20 z

ERR = 33

Etap końcowy

w1 = [0.12, 1.50, -0.48]

w2 = [-2.29, -0.56, -2.57]

w3 = [1.14, -1.10, 1.79]

w4 = [0.68, -0.71, 2.18]

-4 -3

-2 -1

0 1

2 3

4 x

-4 -3

-2 -1

0 1

2 3

4

y -10

-5 0 5 10 15 20 z

ERR = 0

Interpretacja geometryczna

click

Konstrukcja Kesslera

Maszyna liniowa:

out

Konstrukcja Kesslera

Odpowiadający perceptron:

out