2013-11-04 M.Czoków,J.Piersa Wstępdosiecineuronowych,wykład05Algorytmwstecznejpropagacjibłędu

(1)

Wstęp do sieci neuronowych, wykład 05 Algorytm wstecznej propagacji błędu

M. Czoków, J. Piersa

Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika w Toruniu

2013-11-04

Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”

realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki

M. Czoków, J. Piersa WSN 2013/2014 Wykład 05

(2)

Ogólna koncepcja

x

1

x

₂

x

i

x

0

=1

(próg)

y

1

y

₂

y

_j

y

0

=1

(próg)

z

1

z

k warstwa

wejściowa warstwa ukryta

warstwa wyjściowa

+

-6 -4 -2 0 2 4 6

-6 -4 -2 0 2 4 06 10 20 30 40 50

= wagi

(3)

Sigmoida

sigmoida:

φ(s) = σ(s) = 1 1 + exp(−s) , symetryczna sigmoida:

φ ₁ (s) = 2σ(s) − 1 = 1 − exp(−s) 1 + exp(−s) ,

-10 -5

0 5

10

-10 -5 0 5 010 0.2 0.4 0.6 0.8 1 1.2 1.4

(4)

Pochodna sigmoidy

Pochodna:

σ ⁰ (s) = σ(s)(1 − σ(s))

(5)

Nieciągła funkcja błędu

-4 -2 0 2 4

-4 -2 0 2 4 0

0.5 1 1.5 2 2.5 3 3.5 4

(6)

Ciągła funkcja błędu

-5 0 5 10 15 20 25

-5 0 5 10 15 20 25 0

0.5 1 1.5 2 2.5 3 3.5 4

w = [ -3.0 3.0 -1.5 3.0 -3.0 -1.5 * * -2.0]

(7)

Cel

-10

-5 0

5 10

-10 -5 0 5 010 0.2 0.4 0.6 0.8 1

-10 -5

0

5 10

-10 -5 0 5 010 0.2 0.4 0.6 0.8 1

(8)

Co zrobiłby człowiek?

O n

1

(¯ x ) = _1+exp(− ^P ¹

j

w

_{j ,n1}

·x

_j

)

n ₁

(9)

Co zrobiłby człowiek?

O _AND (¯ x ) = _1+exp(− ^P ¹

j

w

_{nj ,and}

·O

_nj

(¯ x ))

n ₁

n ₂ n ₃

and

(10)

Co zrobiłby człowiek?

O OR (¯ x ) = _1+exp(− ^P ¹

j

w

_{andj ,or}

·O

_andj

(¯ x ))

n 1

n ₂ n ₃

and

n ₄ n ₅

n ₇

n ₆ and or

(11)

Schemat pojedynczej iteracji (flash)

http://www-users.mat.umk.pl/~maja/www/contents/

teaching/wsn2012/avi/animacja.swf

(12)

Przebieg algorytmu

click

-10 -5

0 5

10

-10 -5 0 5 010 0.2 0.4 0.6 0.8 1

(13)

Przebieg algorytmu

click

-10 -5

0 5

10

-10 -5 0 5 010 0.2 0.4 0.6 0.8 1

2013-11-04 M.Czoków,J.Piersa Wstępdosiecineuronowych,wykład05Algorytmwstecznejpropagacjibłędu

Wstęp do sieci neuronowych, wykład 05 Algorytm wstecznej propagacji błędu

M. Czoków, J. Piersa

Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika w Toruniu

2013-11-04

Ogólna koncepcja

x

x

x

x

=1

y

y

y

y

=1

z

z

+

= wagi

Sigmoida

sigmoida:

φ(s) = σ(s) = 1 1 + exp(−s) , symetryczna sigmoida:

φ 1 (s) = 2σ(s) − 1 = 1 − exp(−s) 1 + exp(−s) ,

Pochodna sigmoidy

Pochodna:

σ 0 (s) = σ(s)(1 − σ(s))

Nieciągła funkcja błędu

Ciągła funkcja błędu

Cel

Co zrobiłby człowiek?

O n

(¯ x ) = 1+exp(− P 1

w

·x

)

n 1

Co zrobiłby człowiek?

O AND (¯ x ) = 1+exp(− P 1

w

·O

(¯ x ))

n 1

n 2 n 3

and

Co zrobiłby człowiek?

O OR (¯ x ) = 1+exp(− P 1

w

·O

(¯ x ))

n 1

n 2 n 3

and

n 4 n 5

n 7

n 6 and or

Schemat pojedynczej iteracji (flash)

http://www-users.mat.umk.pl/~maja/www/contents/

teaching/wsn2012/avi/animacja.swf

Przebieg algorytmu

click

Przebieg algorytmu

click

φ ₁ (s) = 2σ(s) − 1 = 1 − exp(−s) 1 + exp(−s) ,

σ ⁰ (s) = σ(s)(1 − σ(s))

(¯ x ) = _1+exp(− ^P ¹

n ₁

O _AND (¯ x ) = _1+exp(− ^P ¹

n ₁

n ₂ n ₃

O OR (¯ x ) = _1+exp(− ^P ¹

n ₂ n ₃

n ₄ n ₅

n ₇

n ₆ and or