Modele wieloparametrowe

Modele wieloparametrowe

Marcin Orchel

AGH University of Science and Technology in Poland

1 / 11

Agenda

Agenda 2 / 11

1

Koncepcja sieci neuronowych

Agenda 3 / 11

Koncepcja sieci neuronowych

Koncepcja sieci neuronowych 4 / 11

Koncepcja sieci neuronowych

Istotnym elementem modelu sieci neuronowych jest sumowanie sygnałów wejściowych z odpowiednią wagą i poddanie otrzymanej sumy działaniu nieliniowej funkcji aktywacji.

inspiracja mózgiem człowieka, 85 miliardów neuronów, każdy neuron ma kilka tysięcy połączeń, w sumie około 100 trylionów

neuron ma wiele wejść informacyjnych (dendryty), i oraz pojedynczy nośnik informacji wyjściowej (akson), który jest powielany i rozsyłany do różnych neuronów odbiorczych przez rozgałęzioną strukturę wyjściową (telodendron)

Koncepcja sieci neuronowych 5 / 11

Model neuronu

p - liczba wejść w neuronie

wektor wejściowy x = [x

, . . . , x

]

wagi neuronu w = [w

, . . . , w

]

. Zauważmy, że rozmiar wektora wagowego jest identyczny jak rozmiar wektora wejściowego (w

odpowiada wartości x

= 1)

y - wartość wyjściowa neuronu, w

- wartość progowa neuronu, f - funkcja aktywacji. Mamy

y = f (s) (1)

gdzie

s =

n

X

i =0

x

w

= ~ x

· ~ w + w

(2) gdzie s to sygnał wyjściowy. Zakładamy, że wartość sygnału x

jest równa 1. Jest to przydatne do tego aby otrzymać wyraz wolny b.

Waga w

, czyli wyraz wolny nazywamy progiem.

Koncepcja sieci neuronowych 6 / 11

Model neuronu

W perceptronie funkcja f ma szczególną postać

f (s) = 1 (3)

gdy s > 0 oraz

f (s) = −1 (4)

gdy s ≤ 0.

Zadanie polega na znalezieniu wektora wagowego, tak aby rozwiązać wybrany problem uczenia maszynowego

Dla problemu klasyfikacji definiujemy funkcję aktywacji jak wyżej.

A więc kluczowymi elementami neuronu są: występowanie iloczynu skalarnego oraz nieliniowej funkcji aktywacji

Koncepcja sieci neuronowych 7 / 11

Model neuronu

sieci neuronowe to połączenie wielu neuronów uporządkowanych w warstwy

sieci neuronowe można przedstawić w postaci funkcji z wagami wraz z funkcją celu

jednym z zagadnień w sieciach neuronowych jest wydajne znalezienie wartości wag, tak aby optymalizować wybraną funkcję celu, jest to zagadnienie z zakresu metod optymalizacji funkcji

kolejnym zagadnieniem jest postać granicy decyzyjnej

Koncepcja sieci neuronowych 8 / 11

SVM

maszyn wektorów wspierających (SVM) mogą być zamodelowane jako sieci neuronowe

do warstwy wejściowej podawane są punkty treningowe

Liczba neuronów w warstwie ukrytej to liczba punktów treningowych n. Każdy neuron w warstwie ukrytej posiada wektor wagowy będący współrzędnymi odpowiadającemu mu punktowi treningowemu.

Parametry α

to wagi ostatniego neuronu, który zwraca wartość funkcji decyzyjnej

funkcja aktywacji to funkcja jądrowa

dla funkcji jądrowej RBF jest również brany pod uwagę iloczyn skalarny z dokładnością do stałej.

Koncepcja sieci neuronowych 9 / 11

SVM

Twierdzenie

Niech D ⊂ R

będzie zbiorem otwartym o skończonej mierze, f : R

→ R będzie funkcją ciągłą, taką, że |f (x )| < ∞ na zbiorze D. Dodatkowo niech ˆ

y (x ) = ^P

g (w

x ), gdzie g jest ograniczoną i monotoniczną funkcją ciągłą. Wówczas dla każdego ε > 0 istnieje taki zbiór wektorów wag {w

}, że dla każdego x ∈ D zachodzi

|ˆ y (x ) − f (x )| < ε (5)

Koncepcja sieci neuronowych 10 / 11

SVM

Twierdzenie (Kołmogorowa)

Niech f będzie funkcją ciągłą na [0, 1]

. Wtedy f może zostać zapisana w następującej postaci: niech δ > 0 będzie stałą i wybierzmy wymierne 0 < ε < δ. Wtedy

f =

2d +1

X

k=1

g (z

) (6)

gdzie g : R → R jest funkcją ciągłą (zależy od f oraz ε), a każde z

ma postać

z

=

d

X

j=1

λ

ϕ (x

+ εk) + k (7)

gdzie λ ∈ R, a ϕ jest funkcją rosnącą monotoniczną. Dodatkowo λ oraz ϕ nie zależą od f i ϕ jest funkcją lipschitzowską: |ϕ(x ) − ϕ(y )| ≤ c|x − y | dla pewnego c > 0.

Koncepcja sieci neuronowych 11 / 11