zmodyfikowana funkcja obserwacji ϕ∗ϕ: S 7→ U∗ (5)Klasyfikacja obrazów • funkcja klasyfikująca ℓ(u

5-1 Obiekty i obrazy 5-2 Cechy

5-3 Klasyfikacja obrazów 5-4 Funkcje decyzyjne

5-5 *Klasyfikacja obiektów a klasyfikacja obrazów 5-6 *Problem niejednoznaczności obserwacji

5-7 *Niejednoznaczne dziedziczenie klas 5-8 *Dziedziczenie probabilistyczne

5-9 Klasyfikacja binarna a funkcje logiczne 5-10 Klasyfikacja liniowa

5-11 Najprostsze klasyfikacje nieliniowe

5-12 Liczba klasyfikacji liniowych N obrazów w Rⁿ 5-13 Liczba klasyfikacji liniowych - przykład

5-14 Liczba binarnych klasyfikacji liniowych 5-15 Klasyfikatory liniowe

5-16 Liniowe klasyfikatory binarne 5-17 *Kontekst probabilistyczny

5-18 Budowa klasyfikatorów — dostępna informacja

Obiekty i obrazy

• zbiór obiektów S

• funkcja obserwacji ϕ: S 7→ U

• zbiór obrazów U

• zwykle U ⊂ Rⁿ

n – liczba czujników, liczba punktów obrazu

• obraz u = [u₁ · · · u_n]^T ∈ U

• obraz binarny, obraz czarno-biały ui ∈ {L, H}; (zwykle {0, 1})

Cechy

• zbiór wektorów cech U^∗ ⊂ R^n∗

• funkcja cech ϕ^∗: U 7→ U^∗

• zmodyfikowana funkcja obserwacji ϕ^∗ϕ: S 7→ U^∗

Klasyfikacja obrazów

• funkcja klasyfikująca ℓ(u) = k ⇐⇒ u ∈ Uk

• funkcje przynależności do klasy Uk, k = 1, . . . , c

χk(u) = 1 ⇐⇒ u ∈ Uk

χk(u) = 0 ⇐⇒ u /∈ U_k

• zbiór decyzyjny D = P

k ∂ Uk

Funkcje decyzyjne

• funkcja klasyfikująca ℓ

• funkcje decyzyjne

ℓ(u) = k ⇐⇒ dk(u) > dj(u) dla j 6= k

• funkcje przynależności χk są funkcjami decyzyj- nymi

*Klasyfikacja obiektów a klasyfikacja obrazów

• klasy obiektów Si

• dziedziczone klasy obrazów Ui = ϕ(Si)

• dziedziczenie jednoznaczne Ui ∩ Uj = ∅ for i 6= j

• klasyfikacja obrazów a klasyfikacja obiektów: u ∈ U_k ⇐⇒ s ∈ Sk

*Problem niejednoznaczności obserwacji

• obraz u

• funkcja obserwacji może nie być odwracalna: niejednoznaczności obserwacji

• przeciwobraz ϕ⁻¹(u) obrazu u: zbiór obiektów mających ten sam obraz u s ∈ ϕ⁻¹(u) ⇐⇒ ϕ(s) = u

• klasy dziedziczone rozłączne: obiekty mające ten sam obraz należą do tej samej klasy

• klasy dziedziczone mogą nie być rozłączne

*Niejednoznaczne dziedziczenie klas

• niejednoznaczność, jeżeli Ui ∩ Uj 6= ∅

• χ przyjmuje wartości z (niezerowych) wierzchołków kostki jednostkowej

*Dziedziczenie probabilistyczne

• rozkład obiektów P

• funkcja przynależności w U: χk(u) = P{s ∈ Sk}

• χ przyjmuje wartości z kostki jednostkowej

Klasyfikacja binarna a funkcje logiczne

• N = 4 (4 obrazy)

• U ⊂ R² (obrazy złożone z 2 punktów)

• c = 2 (klasyfikacje binarne)

e− e−

e− u+

- 6

u1 AND u2

e− u+

u+ u+

- 6

u1 OR u2

u+ u+

e− e−

- 6

NOT u1

e− u+

u+ e−

- 6

u1 XOR u2

Klasyfikacja liniowa

• hiperpłaszczyzna H(w, b) = {u ∈ Rⁿ : w^Tu+ b = 0}

w – wektor normalny, b — przesunięcie

• podprzestrzeń dodatnia U₊(w, b) = {u ∈ Rⁿ : w^Tu+ b > 0} względem hiperpłaszczyzny H(w, b)

podprzestrzeń ujemna U₋(w, b)

• klasyfikacja liniowa: dowolne dwie klasy można rozdzielić hiperpłaszczyzną

Najprostsze klasyfikacje nieliniowe

3 obrazy w R, 2 klasy

u+ e

−

u-+ e

−

u+ e

-−

4 obrazy binarne w R², 2 klasy

e

− u+

u+ e−

- 6

u+ e−

e

− u+

- 6

Liczba klasyfikacji liniowych N obrazów w R

• liczba klasyfikacji liniowych ≤ L(N, n) (< dla szczególnych usytuowań obrazów)

L(N, n) =







2^N for N ≤ n + 1 (“mało obrazów”) 2Pn

i=0

N−1 i

for N ≥ n + 1

• liczba klasyfikacji liniowych / liczba klasyfikacji binarnych ≤

r(N, n) = L(N, n) B(N ) =







1 dla _n+1^N ≤ 1

2^1−N Pn i=0

N−1 i

dla _n+1^N ≥ 1

0 1 2 3 4

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

n=1 64 256 16 4

N / (n+1) r(N,n)

polowa klasyfikacji liniowa

n = 1, 4, 16, 64, 256

• dla co najwyżej N0 = n + 1 obrazów w Rⁿ wszystkie klasyfikacje mogą być liniowe

• dla Nv = 2(n + 1) obrazów w Rⁿ co najwyżej połowa klasyfikacji jest liniowa

N = 2

N =

3

N =

4

N =

5

N =

6

N =

7

N =

8

wszystkie li- niowe

pojemność

•• • • • • • •• • • • •

•

• • • •

••

• • • •

• • •

• • • •

• • ••

B(N ) 4 8 16 32 64 128 256

R¹ *4 6 •8 10 12 14 16 2 4

R² 4 *8 14 22 •32 44 58 3 6

R³ 4 8 *16 30 52 84 •128 4 8

R⁴ 4 8 16 *32 62 114 198 5 10

R⁵ 4 8 16 32 *64 126 240 6 12

lewa + górna lewa

L(N, n) = L(N − 1, n) + L(N − 1, n − 1)

Liczba binarnych klasyfikacji liniowych

liczba max. liczba liczba liczba ułamek punktów obrazów klasyfikacji klasyfikacji klasyfikacji

obrazu binarnych binarnych liniowych liniowych n N = 2ⁿ B(N ) = 2^N L(N, n) r = L/B

2 4 16 14 0.875

3 8 256 128 0.500

4 16 65536 3882 0.059

5 32 4.3 10⁹ 412736 9.6 10^-5

8 256 10⁷⁷ 10¹⁵ 10^-63

16 65536 10¹⁹⁷²⁸ 10⁶⁴ 10^-19664

Klasyfikatory liniowe

• afiniczne funkcje decyzyjne dk(u) = bk + w_k^Tu, k = 1, . . . , c

d(u) =











b₁ + w^T₁u ...

bc + w_c^Tu











= b + W u = Wu

• afiniczne funkcje decyzyjne ⇒ klasy liniowo rozdzielne

klasy liniowo rozdzielne ⇒ istnieją afiniczne funkcje decyzyjne

• funkcje decyzyjne są porównywane parami (liczbę wierszy W można zmniejszyć o jeden)

bi + w_i^Tu > bj + w^T_j u ⇔ b + w^Tu > 0 gdzie w = wi − w_j, b = bi − b_j

Liniowe klasyfikatory binarne

• binarny klasyfikator liniowy d(u) =





b+ + w^T₊u b₋ + w^T₋u





ℓ(u) =







−1 jeśli w^Tu+ b < 0 1 jeśli w^Tu+ b > 0 gdzie w = w+ − w₋, b = b+ − b₋

• zmodyfikowana funkcja decyzyjna – porównywana z zerem d(u) = b + w^Tu

• hiperpłaszczyzna klasyfikująca H(w, b) = {u : d(u) = 0}

• jeśli ϕ(Si)∩ ϕ(Sj) 6= ∅ to klasyfikacja nie jest jednoznaczna.

• dodatkowo znana miara probabilistyczne P na S – rozkład obrazów w ramach każdej klasy (ciągły)

fu| k(z) dz = P(z ≤ u ≤ z + dz | s ∈ Sk)

– rozkład a priori klas {πk, k = 1, . . . , c}, gdzie πk = P{s ∈ Sk}

• znany obraz u; rozkład a posteriori klas π_{k| u} = P{s ∈ Sk | u}

(reguła Bayesa) = π_k fu| k(u)

f^u(u) = π_k fu| k(u) Pc

i=1πi fu| i(u)

• klasyfikacja w zbiorze obrazów

– funkcja decyzyjna: dk(u) = π_{k| u} klasyfikator bayesowski – równoważna f.d: dk(u) = πkfu| k(u)

• dla dyskretnego rozkładu obrazów: pj| k = P(u = j | s ∈ Sk) π = π_k p_{j| k}

= π_k p_{j| k}

Budowa klasyfikatorów — dostępna informacja

• liczba klas c znana

• przykład uczący (ui, ℓ(ui))

• zbiór uczący (zbiór trenujący) UL = 

u_i, ℓ(ui)
, i = 1, . . . , N

• liczba klas c znana lub nie

• przykład uczący u_i (klasa nieznana)

• zbiór uczący

UL = {ui, i = 1, . . . , N }