Metody jądrowe

Marcin Orchel

AGH University of Science and Technology in Poland

1 / 13

Agenda 3 / 13

zakładając przestrzeń R

, mamy granicę decyzyjną y = x

. Jeżeli dodamy trzecią współrzędną z, dane leżą teraz w przestrzeni (x , y , z).

Każdy punkt przekształcamy do przestrzeni R

w ten sposób, że definiujemy współrzędną z jako x

, to granicą będzie płaszczyzna y = z.

dla pewnych jąder pochodna przestrzeń ma nieskończenie wiele wymiarów

Iloczyny skalarne ϕ(~ x

) · ϕ( ~ x

) chcemy wyrazić jako funkcje jądra K K (~ x

, ~ x

) = ϕ (~ x

) · ϕ ( ~ x

) (1)

Metody jądrowe 5 / 13

Funkcje K , dla których istnieje co najmniej jedna para {E , ϕ}, taka, że zachodzi powyższa zależność muszą spełniać warunek Mercera.

Twierdzenie

Na to, by symetryczna funkcja K (u, v ) ∈ L

, u, v ∈ R

miała rozwinięcie K (u, v ) =

∞

X

k=1

a

α

(u) α

(v ) , a

> 0 (2)

potrzeba i wystarcza, aby dla dowolnej funkcji 0 6≡ f ∈ L

był spełniony warunek

Z Z

K (u, v ) f (u) f (v ) dudv > 0 (3)

Dla jądra postaci K (u, v ) = (1 + u · v )

, gdzie u, v ∈ R

otrzymujemy

K (u, v ) = (1 + u

v

+ u

v

)

= 1+2u

v

+2u

v

+2u

u

v

v

+u

v

+u

v

= ϕ (u)·ϕ (v ) (4)

gdzie

ϕ (u) = ^ 1, √ 2u

, √

2u

, √

2u

u

, u

, u

^ (5) Dla jądra wielomianowego stopnia q, K (u, v ) = (1 + u

v )

docelowa przestrzeń ma wymiar

p + q q

!

− 1 . (6)

Metody jądrowe 7 / 13

Funkcje spełniające warunek Mercera: jądro wielomianowe

K (u, v ) = (1 + u · v )

(7)

jądro normalne (Gaussa)

K (u, v ) = exp − ku − v k

2σ

!

(8)

jądro sigmoidalne (tylko dla niektórych wartości κ i δ)

K (u, v ) = tgh (κu · v − δ) (9)

Nie ma potrzeby znajomości przekształcenia ϕ i obliczania wartości

ϕ(x ).

Jak wygląda funkcja ϕ dla jądra normalnego?

Wyprowadzenie

K (~ x , ~ y ) = exp − k~x − ~y k

2σ

!

(10) Po rozpisaniu normy dla σ = 1

exp − ~ x

2

!

exp − ~ y

2

!

exp (~ x · ~ y ) (11)

= exp − ~ x

2

!

exp − ~ y

2

!

X

j=0

(~ x · ~ y )

j! (12)

=

∞

X

j=0





exp ^ − k~x k

/2j ^

√ j!

exp ^ − k~y k

/2j ^

√ j!

~ x · ~ y





j

(13)

Metody jądrowe 9 / 13

Jak rozpiszemy iloczyn skalarny to otrzymujemy sumę, więc możemy rozpisać tą sumę za pomocą uogólnienia dwumianu Newtona na wiele składników

(x

+ x

+ . . . + x

)

= ^X

k1+k2+...+km=n

n k

, k

, . . . , k

!

Y

t=1

x

(14)

gdzie

n k

, k

, . . . , k

!

= n!

k

!k

! . . . k

! (15)

czyli

=

∞

X

j=0

X

k1+k2+...+km=j

exp ^ − k~x k

/2j ^

√ j!

j k

, k

, . . . , k

!

Y

t=1

x

(16) exp ^ − k~y k

/2j ^

√ j!

j k

, k

, . . . , k

!

Y

t=1

y

(17) A zatem widzimy, że mamy iloczyn skalarny, pierwsza część to będzie ϕ(~ x ) a druga ϕ(~ y ).

Metody jądrowe 11 / 13

Dlaczego maszyn wektorów wspierających (SVM) mogą zwracać granicę decyzyjną dla funkcji jądrowej RBF, która składa się z wielu części? Można to sobie wyobrazić jako przecięcie funkcji gęstości prawdopodobieństwa opartej na nieparametrycznej estymacji

estymator jądrowy gęstości (KDE) z płaszczyzną o kierunku zmiennej wyjaśnianej. Przecięcie to składa się z wielu części w zależności od funkcji bazowych. Im mniejsza rozpiętość poszczególnych funkcji bazowych (mniejsze σ), tym więcej może być tych części. W

poprzednim wykładzie jest związek estymacji gęstości z optymalizacją,

a stąd krok do SVM.

W jaki sposób przekształcić granicę decyzyjną liniową dla SVM w przestrzeni jądrowej na granicę decyzyjną nieliniową w oryginalnej przestrzeni? Można zauważyć, że to jest ta sama granica, a więc krzywa nieliniowa jest “rozciągana” do hiperpłaszczyzny i odwrotnie.

Równoległe hiperpłaszczyzny są przekształcane również do krzywych nieliniowych. Jeśli hiperpłaszczyzny nie przecinały się w przestrzeni jądrowej, to krzywe nieliniowe nie będą się przecinały w przestrzeni oryginalnej.

Metody jądrowe 13 / 13