2013-10-22 MajaCzoków,JarosławPiersa Wstępdosiecineuronowych,wykład03WarstwyRBF,jednostkaAdaline.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Maja Czoków, Jarosław Piersa

Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika

2013-10-22

Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”

realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki

1 RBF Pomysł Przykłady Zastosowanie

2 Jednostka AdaLine

Algorytm spadku gradientowego Uczenie Adaline

3 Zastosowania

Filtrowanie obrazów Rozpoznawanie obrazów DFT

Zadania

1 RBF Pomysł Przykłady Zastosowanie

2 Jednostka AdaLine

Algorytm spadku gradientowego Uczenie Adaline

3 Zastosowania

Filtrowanie obrazów Rozpoznawanie obrazów DFT

Zadania

Idea

-4 -2 0 2 4

-4 -2 0 2 4

f(x) = exp(- (x - x₀)² / (2 sigma²))

-4 -3 -2 -1 0 1 2 3 4

x -4

-3 -2 -1 0 1 2 3 4

y

Norma euklidesowa

f (¯ x ) = ||¯ x − ¯ x 0 || ₂ = q

(x − x 0 ) ² + (y − y 0 ) ²

-10 -5

0

5 10

-10 -5 0 5 010 5 10 15 20

x y

Hiperbola

f (x ) = q

a(x − x 0 ) ² + b(y − y 0 ) ² + c

-10 -5

0 5

10 -10 -5

0 5

10 0

5 10 15 20 25

RBF

x y

RBF

Hiperbola

f (x ) = a(x − x ₀ ) ² + b(y − y ₀ ) ² + c ²
d

, d < 0

-10 -5

0 5

10

-10 -5 0 5 010 0.2 0.4 0.6 0.8 1

RBF

x y

RBF

Funkcja Gaussa

f (x ) = exp −||x − x ₀ || ² ₂ 2σ ²

-4 -3 -2 -1

0 1 2 3

4 -4 -3 -2 -1 0 1 2 3 4 0

0.2 0.4 0.6 0.8 1

RBF

f(x) = exp(- (x - x

)

/ (2 sigma

))

x y

RBF

Funkcja liniowo-logarytmiczna

f (x ) = c||x − x 0 || ² ln(c · ||x − x 0 ||), c > 0

-10 -5

0 5

10

-10 -5 0 5 010 200 400 600 800 1000

RBF

x y

RBF

Jak wykorzystać w zagadnieniach klasyfikacyjnych

-6 -4

-2 0

2 4

6 0

2 4 6

8 10 12

0 0.5 1 1.5 2

Jak wykorzystać w zagadnieniach klasyfikacyjnych

-6 -4

-2 0

2 4

6 0 2

4 6

8 10

12 0

0.5 1 1.5 2

out

Efekt

-8 -6 -4 -2 0 2 4 6 8

x -8

-6 -4 -2 0 2 4 6 8

y

-8 -6

-4 -2

0 2

4 6

8 -8 -6

-4 -2

0 2

4 6

8 0

0.2 0.4 0.6 0.8 1

RBF

x

y RBF

Efekt

-8 -6 -4 -2 0 2 4 6 8

x -8

-6 -4 -2 0 2 4 6 8

y

-8 -6 -4 -2 0 2 4 6 8

-6 -8 -2 -4 0 4 2 8 6 0

0.2 0.4 0.6 0.8 1

RBF

x

y RBF

1 RBF Pomysł Przykłady Zastosowanie

2 Jednostka AdaLine

Algorytm spadku gradientowego Uczenie Adaline

3 Zastosowania

Filtrowanie obrazów Rozpoznawanie obrazów DFT

Zadania

Funkcja błędu

-15 -10 -5 0 5

0 2 4 6 8 10

-15 -10 -5 0 5

0 2 4 6 8 10

Algorytm spadku gradientowego

-6 -4 -2 0 2 4 6

-6 -4 -2 0 2 4 06 10 20 30 40 50

Postęp algorytmu

click

Algorytm

click

Wykres błędu

0 500 1000 1500 2000 2500 3000

0 50 100 150 200 250 300

Error

Iterations Error

Wielkość η

-5 -4

-3 -2

-1 0

1 2

3

x

-4 -5 -2 -3 0 -1 2 1 4 3

y 0

20 40 60 80 100 120 140

p(x,y)

Zastosowania

Zadania

Filtry liniowe

Oryginalny rysunek za http://en.wikipedia.org/, 2011-09.

Zastosowania

Zadania

Rozpoznawanie obrazów

Chcemy rozpoznawać obraz po przesunięciu,

Zastosowania

Zadania

DFT

obraz DFT obraz DFT

Zastosowania

Zadania

DFT

DFT 100 × log(DFT)

Zastosowania

Zadania

DFT

DFT 100 × log(DFT)

Zastosowania

Zadania

DFT

out