4-2 Funkcje aktywacji 4-3 Warstwa

(1)

4. Standardowe elementy sieci neuronowych

4-1 Neuron

4-2 Funkcje aktywacji 4-3 Warstwa

4-4 Perceptron wielowarstwowy 4-5 Sieć bez sprzężeń

4-6 Sygnały

4-7 Adaptacja wag

(2)

aﬁniczna transformacja wejścia u

z = b +

n

X

i =1

w i u i = b + w

^T

u wagi w = [w ₁ · · · w ⁿ ]

^T

obciążenie b , próg ϑ = −b równanie neuronu

y = g b +

n

X

i =1

w i u i

= g(b + w

^T

u)

funkcja aktywacji g : R 7→ R obciążenie jako waga

wagi rozszerzone o wagę w ₀ = b wejścia rozszerzone o wejście u ₀ = 1

n

(3)

Funkcje aktywacji

• dyskretne f. aktywacji ( twarde nieliniowości): f. znaku, f. skokowa

• ciągłe f. aktywacji (miękkie nieliniowości): f. sigmoidalne, sigmoid, f. gaussowska

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2

0 0.2 0.4 0.6 0.8 1

sigmoid

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5

funkcje radialne gaussowskie

(4)

• struktura warstwy

y =





 y ₁

. . . y m







= g(b + Wu), g (z) =







g ₁ (z ₁ ) . . . g m (z m )







b =





 b ₁

. . . b m







, W =





 w ₁

^T

. . . w

^T

_m







=







w _1,1 · · · w _1,n . .

.

. . .

. . . w m, 1 · · · w m,n







• zapis rozszerzony

y = g(W u), u =



 1 u



 , W = [b W] =







b ₁ w

^T

1 . . .

b w

^T







(5)

Perceptron wielowarstwowy

w a r s t w y u k r y t e warstwa wyjściowa

u ⁽¹⁾ = u, u ^(k) = y ^(k−1) , k = 2, . . . , L y ^(k) = N ^(k) (u ^(k) ), k = 1, . . . , L

y = y ^(L)

(6)

u ⁽¹⁾ = u, u ^(k) =





 u y ⁽¹⁾

.. . y ^(k−1)







, k = 2, . . . , L

y ^(k) = N ^(k) (u ^(k) ), k = 1, . . . , L

(7)

Sygnały

zbiór wejść U ⊂ R ⁿ

• n – liczba punktów obrazu, liczba czujników

• punkty obrazu binarne: U = zbiór wierzchoł- ków kostki

◮ reprezentacja asymetryczna

◮ reprezentacja symetryczna

• wejścia ograniczone: U = kostka w R ⁿ

sygnał: funkcja T 7→ U

(8)

Adaptacja wag

• sieć statyczna y(t) = N u(t); w

• uczenie

– przykład treningowy u(k), y ^∗ (k); y ^∗ (k) – wyjście pożądane – ciąg trenujący (ciąg uczący)

u(k), y ^∗ (k), i = 1, . . . , N – modyﬁkacja wag w(t + 1) = h(w(t), u(t))

• sieć z uczeniem: y(t) = N u(t); h w(t − 1), u(t − 1) układ dynamiczny y(t) = N{u(s), s ≤ t}

• struktura neuronu/warstwy/sieci mogą być bardziej skomplikowane

• sieć dynamiczna y(t) = N{u(s), s ≤ t}

• “szybka dynamika” (nie związana z uczeniem) i“wolna dynamika” (uczenie)

4-2 Funkcje aktywacji 4-3 Warstwa

4. Standardowe elementy sieci neuronowych

4-1 Neuron