6. Nadzorowane algorytmy minimalno-odległo´sciowe: NM, kNN

Algorytmy rozpoznawania obrazów

6. Nadzorowane algorytmy minimalno-odległo´sciowe:

NM, kNN

dr in˙z. Urszula Libal

Politechnika Wrocławska

2015

1. Nadzorowane algorytmy minimalno-odległo´sciowe

— nearest mean (NM) - najbli˙zsza ´srednia,

— nearest neighbor (NN) - najbli˙zszy s ˛asiad,

— k nearest neighbors (kNN) - k najbli˙zszych s ˛asiadów.

Algorytmy oparte o ci ˛agi ucz ˛ace:

1. podej´scie globalne (NM), 2. lokalne (NN),

3. po´srednie (kNN).

2. Klasyfikator najbli˙zsza ´srednia (NM)

W nadzorowanej wersji algorytmu, wyliczamy centra klas na podstawie ci ˛agów ucz ˛acych:

w klasie 1n x⁽¹⁾_j oN1

j=1oraz w klasie 2n x⁽²⁾_j oN2

j=1:

µ₁= (µ11, µ21, . . . , µD1) = 1 N₁

N₁ j=1∑

x⁽¹⁾_j , (1)

µ₂= (µ₁₂, µ₂₂, . . . , µ_D2) = 1 N₂

N2

∑

j=1

x⁽²⁾_j . (2)

Obraz x = (x₁x₂, . . . , x_D) jest klasyfikowany do tej klasy, z której ´sredni ˛a dzieli go mniejsza odległo´s´c w ustalonej metryce

ΨNM(x) =











1, gdy ||x − µ₁|| < ||x − µ₂||, 2, w przeciwnym wypadku.

(3)

Dla metryki euklidesowej warunek upraszcza si˛e do

ΨNM(x) =











1, gdy ∑^Di=1(x_i− µi1)²< ∑^Di=1(x_i− µi2)², 2, w przeciwnym wypadku.

(4)

a) b)

Rysunek 1. Klasyfikator najbli˙zsza ´srednia: (a) widok 2D, (b) widok 3D.

Zródło: opracowanie własne´

Nazwa metryki Wzór d(x, y) = ||x − y||

euklidesowa d(x, y) =n

(x − y)^T(x − y)o¹₂

= q

∑^D_i=1(x_i− y_i)² taksówkowa, Manhattan d(x, y) = ∑^Di=1|x_i− y_i|

Czebyszewa d(x, y) = maxi=1,...,D|x_i− y_i| Canberry [1] d(x, y) =_D¹∑^Di=1

|x_i−y_i| xi+yi

Lance’a-Williamsa [1] d(x, y) = ^{∑Di=1|xi−yi|}

∑^D_i=1(x_i+y_i)

3. Klasyfikator najbli˙zszy s ˛asiad (NN)

Obliczamy N = N₁+ N₂odległo´sci ||x − x^(k)_j || mi˛edzy klasyfikowanym obrazem x a wektorami cech x^(k)_j ( j = 1, 2, . . . , N_k) z ci ˛agów ucz ˛acych dla obu klas, k = 1, 2.

Klasyfikujemy obraz x do klasy obrazu z ci ˛agu ucz ˛acego, który jest poło˙zony najbli˙zej obrazu x, czyli klasyfikujemy obraz do klasy pochodzenia jego najbli˙zszego s ˛asiada.

Klasyfikacj˛e za pomoc ˛a algorytmu najbli˙zszy s ˛asiad mo˙zna formalnie zapisa´c nast˛epuj ˛aco

Ψ_NN(x) =











1, gdy ∃_i∀_j||x − x⁽¹⁾_i || < ||x − x⁽²⁾_j ||, 2, w przeciwnym wypadku.

(5)

Cover i Hart [2] opublikowali w 1967 roku oszacowanie ryzyka klasyfikatora najbli˙zszy s ˛asiad R_NN za pomoc ˛a ryzyka R^∗optymalnego algorytmu Bayesa w asymptotycznym przypadku, gdy długo´s´c ci ˛agu ucz ˛acego N → ∞

R^∗≤ R_NN≤ R^∗

 2 − M

M− 1R^∗



, (6)

Mto liczba klas.

W przypadku problemu dwuklasowego (M = 2) otrzymujemy oszacowanie

R^∗≤ R_NN≤ 2R^∗(1 − R^∗) . (7)

Rysunek 2. Górne i dolne ograniczenie ryzyka klasyfikatora najbli˙zszy s ˛asiad dla dwóch klas - wzór (7).

Zródło: opracowanie własne´

4. Klasyfikator k-najbli˙zszych s ˛asiadów (kNN)

Zamiast kierowa´c si˛e klas ˛a tylko jednego (najbli˙zszego) s ˛asiada, mo˙zna decyzj˛e oprze´c na informacji o klasach pochodzenia k-najbli˙zszych s ˛asiadów.

Aby unikn ˛a´c sytuacji remisowych, najpro´sciej jest przyjmowa´c k nieparzyste.

Wtedy “wygrywa” klasa, z której pochodzi wi˛ekszo´s´c s ˛asiadów z najbli˙zszego otoczenia badanego obrazu.

Jak dobiera´c liczb˛e k s ˛asiadów?

Liczba k musi by´c:

— na tyle du˙za, by redukowa´c wra˙zliwo´s´c algorytmu na zakłócenia

— na tyle mała, by nie wybiera´c s ˛asiadów mocno osadzonych w innych klasach

— trzeba tak˙ze uwzgl˛edni´c długo´sci ci ˛agów ucz ˛acych

— mo˙zna zastosowa´c procedur˛e kroswalidacji

Rysunek 3. S ˛asiedztwo.

Zródło: opracowanie własne´

a) b)

Ryzyko klasyfikatora k-najbli˙zszych s ˛asiadów R_kNN dla problemu dwuklasowego d ˛a˙zy do ryzyka Bayesa R^∗przy liczbie k rosn ˛acej do niesko´nczono´sci

k→∞limR_kNN= R^∗. (8)

Rysunek 5. Ryzyko klasyfikatora kNN.

Zródło: [4]´

Literatura

[1] A.R. Webb, K.D. Copsey, Statistical Pattern Recognition, 3rd ed., Wiley, (2011)

[2] T. Cover, P. Hart, Nearest neighbor pattern classification, Information Theory, IEEE Transactions on, 13(1): 21-27, (1967)

[3] M. Krzy´sko, W. Woły´nski, T. Górecki, M. Skorzybut, Systemy ucz ˛ace si˛e.

Rozpoznawanie wzorców, analiza skupie´n i redukcja wymiarowo´sci. WNT, Warszawa (2008)

[4] R.O. Duda, P.E. Hart, D.G. Stork, Pattern Classification, 2nd ed., Wiley, (2000)