Uczenie maszynowe - systemy reguowe

Reguly

Warunek

Koniunk ja selektorów, ka»dy selektor reprezentuje test warto± i

pojedyn zego atrybutu, warunek odpowiada obiektom speªniaj¡ ym

wszystkie selektory

De yzja

Ka»da reguªa zwi¡zana jest z jedn¡ de yzj¡,

przypisy wa n ¡ obiektom speªniaj¡ ym warunek reguªy

Przykªad

Reguly: selektory

Atrybuty symboli zne:

♦

Selektor równo± iowy

X

= v

♦

Selektor wyklu zaj¡ y

X

6= v

♦

Selektor ogólny

X

∈ {v

1

, . . . , v

k

}

Atrybuty numery zne:

♦

Selektor przedzia ªowy

X

∈ (a, b)

Przedziaª mo»e by¢ jednostronnie nieograni zony,

Reguly spojne

Reguªa

α

⇒ dec = d

jest spójna ze zbiorem treningowym

U

trn

je±li ka»dy przykªad

x

∈ U

trn

speªniaj¡ y warunek

α

ma de yzj

dec

(x) = d

x

o

x

x

x

x

x

_x

x

x

x

o

o

o

o

o

o

o

o

x

x

x

x

x

x

x

x

a

a

1

2

Reguly spojne: przyklad

Day Outlook Temperature Humidity Wind PlayTennis

D1 Sunny Hot High Weak No

D2 Sunny Hot High Strong No

D3 Over ast Hot High Weak Yes

D4 Rain Mild High Weak Yes

D5 Rain Cool Normal Weak Yes

D6 Rain Cool Normal Strong No

D7 Over ast Cool Normal Strong Yes

D8 Sunny Mild High Weak No

D9 Sunny Cool Normal Weak Yes

D10 Rain Mild Normal Weak Yes

D11 Sunny Mild Normal Strong Yes

D12 Over ast Mild High Strong Yes

D13 Over ast Hot Normal Weak Yes

D14 Rain Mild High Strong No

Reguly spojne: przyklad

Day Outlook Temperature Humidity Wind PlayTennis

D1 Sunny Hot High Weak No

D2 Sunny Hot High Strong No

D3 Over ast Hot High Weak Yes

D4 Rain Mild High Weak Yes

D5 Rain Cool Normal Weak Yes

D6 Rain Cool Normal Strong No

D7 Over ast Cool Normal Strong Yes

D8 Sunny Mild High Weak No

D9 Sunny Cool Normal Weak Yes

D10 Rain Mild Normal Weak Yes

D11 Sunny Mild Normal Strong Yes

D12 Over ast Mild High Strong Yes

D13 Over ast Hot Normal Weak Yes

D14 Rain Mild High Strong No

Outlook

= Overcast ⇒ P layT ennis = Y es

?? spójna

Reguly spojne: przyklad

Day Outlook Temperature Humidity Wind PlayTennis

D1 Sunny Hot High Weak No

D2 Sunny Hot High Strong No

D3 Over ast Hot High Weak Yes

D4 Rain Mild High Weak Yes

D5 Rain Cool Normal Weak Yes

D6 Rain Cool Normal Strong No

D7 Over ast Cool Normal Strong Yes

D8 Sunny Mild High Weak No

D9 Sunny Cool Normal Weak Yes

D10 Rain Mild Normal Weak Yes

D11 Sunny Mild Normal Strong Yes

D12 Over ast Mild High Strong Yes

D13 Over ast Hot Normal Weak Yes

D14 Rain Mild High Strong No

Outlook

= Overcast ⇒ P layT ennis = Y es

?? spójna

Systemy regulowe

♦

CN2 (Clark,Nib lett 91)

♦

AQ (Mi hal ski 86)

♦

Zbiory przybli»one (Skowron, Rauszer 92)

Systemy regulowe: uczenie i klasyfikacja

U zenie

Generowanie zbioru reguª na podstawie zbioru przykªadów treningowy h

Klasyka ja

Wyszukiwane s¡ reguªy pasuj¡ e do klasykowanego obiektu

x

, tzn. te, który h warunek jest speªniany przez obiekt

x

,

mo»liwe s¡ dwie strategie podejmowania de yzji:

1. Najl epszy wygrywa:

reguªom przypisan a jest miara wa»no± i

Importance

,

de yzja podejmowana jest na podstawie pasuj¡ ej do

x

reguªy

r

o najwy»szej warto± i

Importance(r)

2. Gªosowanie:

reguªy maj¡ przypisan e wagi

W eight

, obiekt

x

klasykowany jest de yzj¡ o najwy»szej sumie wag reguª pasuj¡ y h

max arg

_d

_j

Σ

_α

_{⇒ d}

j

:

x

spelnia

α

Generowanie regul

♦

Bezpo±rednio ze zbioru przykªadów  zupeªne

 sekwen yjne pokrywanie (CN2, AQ)

♦

Przy u»y iu struktur po±redni h

 z reduktu (teoria zbiorów przybli»ony h)

Generowanie regul zupelne

Fakt

Dla dowolnej reguªy

s

1

∧ . . . ∧ s

m

⇒ d

wszystkie obiekty rozpoznawane przez ni¡ rozpoznawane s¡ tak»e przez ka»d¡ reguª zbudowan¡ z podzbioru

jej selektorów

s

i1

∧ . . . ∧ s

i

k

⇒ d

a

a

1

2

a in [1;3]

a in [1;3]

&

a in [1,3]

1

1

2

Generowanie regul zupelne

Wniosek: Obszar przestrzeni obiektów pokrywany przez wszystkie maksymal-nie ogólne reguªy spójne (

G

1

, . . . , G

m

) jest taki sam jak obszar pokrywany przez wszystkie reguªy spójne

this region all inconsistent

This region all inconsistent

More general

More specific

S

1

G

1

S

2

G

2

G

3

. . .

G

m

. . .

S

n

⇒

Wystar zy wyszuka¢ wszystkie reguªy spójne o minimalnym zbiorze se-lektorów, tzn. takim, »e usuni ie dowolnego selektora daje reguª niespójn¡.

Generowanie regul zupelne

Jak to robi¢??

Mo»na przeszukiwa¢ przestrze« wszystki h reguª za zynaj¡ od reguª

najbar-dziej ogólny h. Dopóki reguªy nie s¡ spójne ze zbiorem treningowym, s¡

rozszerzane o selektory wyklu zaj¡ e przykªady powoduj¡ e i h niespójno±¢.

{ }

G

G

G

...

0

₁

m

most general rule

Generowanie regul zupelne: algorytm

fun tion Exhaustive-Rules(examples,de isions,s ele tors) returns a rule set

rules

←

{}

for ea h de ision d

∈

de isions do

andidates

←

{}

⇒

d

repeat

newCandidates

←

{}

for ea h andidate rule

α

⇒

d

∈

andidates do

e

neg

←

a random example mat hing

α

but with a de ision

6=

d

for ea h sele tor s

∈

sele tors ex luding e

neg

do

r

new

← α∧

s

⇒

d

if r

new

overs one or more obje ts with de ision d in examples

and is not subsumed by another rule from rules

∪

newCandidates

if r

new

is onsistent with examples then rules

←

rules

∪

r

new

else newCandidates

←

newCandidates

∪

r

new

andidates

←

newCandidates

until andidates is empty

Generowanie regul zupelne: przyklad

Reguªy z de yzj¡

P layT ennis

= Y es

andidates:

Outlook

= Overcast ⇒ P layT ennis = Y es

Kontrprzykªad: <Over ast,Cool,N ormal,Weak,

P layT ennis

= N o

>

<Overcast, ?, ?, ?>

Generowanie regul: sekwencyjne pokrywanie

Generowanie reguª zupeªne przegl¡da zazwy zaj wykªadni zo du»¡ podp

rze-strze« reguª, w prakty e niewykonalne

Pomysª (heurysty zny): Reguªy mo»na generowa¢ pojedyn zo do momentu

pokry ia przez nie wszystki h obiektów treningowy h

fun tion Sequential-Covering(examples ) returns a rule set

rules

←

{}

un overed

←

examples

repeat

r

←

Learn-One-Rule(examples,un overed) rules

←

rules

∪

r

remove all examples overed by r from un overed

until un overed is empty

return rules

Funk ja Learn-One-Rule wyszukuje heurysty znie jak najlepsz¡ reguª

CN2

Clark, Niblett, 1991

♦

U»ywa atrybutów symboli zny h

Traktuje wszystkie atrybuty jako symboli ze, atrybuty numery zne zamienia n e

s¡ na symboli zne w ten sposób, »e zakres warto± i ka»dego atrybytu dzielony

jest na równe przedzia ªy, warto± i z jednego przedziaªu zamienia ne s¡ na tak¡

sam¡ warto±¢ symboli zn¡

♦

U»ywa metody sekwen yjnego pokrywania

Szukanie kolejnej reguªy (pro edura Learn-One-Rule ) podobnie jak

gene-rowanie reguª zupeªne rozpo zyna od najbardziej ogólny h reguª (warunków)

i usz zegóªawia je dodaj¡ kolejne selektory, ale:

 zbiór reguª-kandydatów ograni zony jest do rozmiaru k okre±lanego przez

u»ytkownika, do rozszerzania brane s¡ najlepsze kandyduj¡ e reguªy,

 jako wynik zwra ana jest najlepsza reguªa spo±ród wygenerowany h

CN2: szukanie najlepszej reguly

fun tion Learn-One-Rule-CN2(un ov,k ) returns a rule

inputs : un ov , the examples not overed by the previous rules

k , the width of sear hing

best

←

the most general empty ondition

andidates

← {

best

}

repeat

newCandidates

←

{}

for ea h andidate

α

∈

andidates do

for ea h sele tor s of the form a

=

v or a

6=

v onsistent with

α

do

if

α∧

s

6∈

andidates

∪

newCandidates then

newCandidates

←

newCandidates

∪ {α∧

s

}

if Performan e(

α∧

s,un ov )>Perform an e(best,un ov )

then best

← α∧

s

retain only k best andidates in newCandidates a ording to Performan e

andidates

←

newCandidates

until andidates is empty

CN2: szukanie najlepszej reguly, przyklad

Rozmiar zbioru kandydatów = 1

⇒

przeszukiwanie za hªanne

...

...

IF Wind=weak

THEN PlayTennis=yes

IF Wind=strong

THEN PlayTennis=no

IF

THEN PlayTennis=yes

THEN

IF Humidity=normal

Wind=weak

PlayTennis=yes

IF Humidity=normal

THEN PlayTennis=yes

THEN

IF Humidity=normal

Outlook=sunny

PlayTennis=yes

THEN

IF Humidity=normal

Wind=strong

PlayTennis=yes

THEN

IF Humidity=normal

Outlook=rain

PlayTennis=yes

IF Humidity=high

THEN PlayTennis=no

CN2: miara jakosci reguly

Funk ja Performan e(

α

, un o v) sza uje jako±¢ warunku

α

na podstawie doty h zas niepokryty h przykªadów un ov

n

 li zba przykªadów z un ov pasuj¡ y h do

α

n

_d

 li zba przykªadów z un ov pasuj¡ y h do

α

z naj zstsz¡ de yzj¡

d

m

-estymata prawdopodobie«stwa

n

_d

+ mp

d

n

+ m

< p

_d1

, . . . , p

_d

_D

>

 pierwotny rozkªad prawdopodobie«stwa w dany h

m  parametr estyma ji

CN2 u»ywa sz zególnego przypadku, estymaty Lapla e'a: równomierny rozkªad pierwotny

<

1

D

, . . . ,

1

D

>

i

m

= D

(

D

 li zba de yzji)

n

_d

+ D

_D

1

n

+ D

=

n

_d

+ 1

n

+ D

Inne miary jakosci reguly

Funk ja Performan e(

α

, un o v) sza uje jako±¢ warunku

α

na podstawie doty h zas niepokryty h przykªadów un ov

n

 li zba przykªadów z un ov pasuj¡ y h do

α

n

_d

 li zba przykªadów z un ov pasuj¡ y h do

α

z naj zstsz¡ de yzj¡

d

Czsto±¢ wzgldna

n

_d

n

Nega ja entropii

Σ

d

_i

n

_d

_i

n

log

2

n

_d

_i

n

Miary jakosci reguly: przyklad

α

1

pokrywa 1000 przykªadów z de yzj¡

d

1

i 1 przykªad z de yzj¡

d

2

α

2

pokrywa 5 przykªadów z de yzj¡

d

1

i 0 przykªadów z de yzj¡

d

2

α

3

pokrywa 1 przykªad z de yzj¡

d

1

i 0 przykªadów z de yzj¡

d

2

α

1

⇒ d

1

α

2

⇒ d

1

α

3

⇒ d

1

Czsto±¢ wzgldna 99.9% 100% 100%

Nega ja entropii <0 0 0

Czsto±¢ wzgldna i nega ja entropii faworyzuj¡ reguªy

α

2

⇒ d

1

i

α

3

⇒ d

1

Warto± i estymaty Lapla e'a (

D

= 2

):

99.8% dla

α

1

⇒ d

1

85.7% dla

α

2

⇒ d

1

66.6% dla

α

3

⇒ d

1

CN2: klasyfikacja pierwszy wygrywa

Lista de yzyjna to lista reguª utworzona przez algorytm sekwen yjnego pokry-wania uporz¡dkowana w kolejno± i takiej, w jakiej reguªy byªy generowane, z

dodatkow¡ reguª¡ domy±ln¡ na ko« u

→ R

0

→ R

1

→ R

2

→ . . . → R

_m

→ Def ault

W CN2:

R

0

 reguªa wygenerowana ze wszystki h przykªadów

R

1

 reguªa wygenerowana z przykªadów niepokrywany h przez

R

0

R

2

 reguªa wygenerowana z przykªadów niepokrywany h przez

R

0

,

R

1

, itd.

Def ault

 reguªa bezwarunkowa zwra aj¡ a naj zstsz¡ de yzj w zbiorze

treningowym

Obiektowi przypisy wan a jest de yzja

d

z pierwszej reguªy

α

⇒ d

na li± ie de yzyjnej, której warunek

α

pasuje do obiektu.

CN2: klasyfikacja przez glosowanie regul

rules

 zbiór warunków wygenerowany przez algorytm

sekwen yjnego pokrywania (bez ustalony h de yzji)

Rozkªad de yzyjny warunku

α

∈ rules

:

< n

1

(α), . . . , n

_|D|

(α) >

n

_i

 li zba przykªadów z de yzj¡

d

i

speªniaj¡ y h

α

w zbiorze un ov,

tzn. tylko ty h przykªadów, które nie spelniaj¡

»adnego z w ze±niej wygenerowany h warunków

Wybór de yzji dla obiektu

x

przez sumowanie rozkªadów:

AQ

AQ15, Mi hal ski, 1986

♦

U»ywa atrybutów symboli zny h i numery zny h

Do atrybutów symboli zny h stosuje selektory równo± iowe i wyklu zaj¡ e, do

atrybutów numery zny h stosuje selektory ograni zaj¡ e (

<,

≤, >, ≥

).

♦

U»ywa metody sekwen yjnego pokrywania, ale oddzielnie dla ka»dej de yzji Szukanie kolejnej reguªy (pro edura Learn-One-Rule ) podobnie jak w

CN2 przebiega od najbardziej ogólny h do bardziej spe y zny h reguª, ale:

 przeszukiwanie sterowane jest wybranym przykªadem

 reguªy-kandydatki poprawiane s¡ tak dªugo, dopóki nie osi¡gn¡ warunku

spójno± i ze zbiorem treningowym, reguªa najlepsza wybierana jest

AQ: szukanie najlepszej reguly

fun tion Learn-One-Rule-AQ(examples,un ov,d,k ) returns a rule

inputs : examples , all training examples

un ov , the examples not overed by the previous rules

d, de ision of a return rule

k , the width of sear hing

e

pos

←

a random example from un ov with de ision d

andidates

← {

the most general empty ondition

}

repeat

e

neg

←

example with de ision

6=

d overed by one or more onditions in andidates

with the maximum number of values = the orrespondin g values of e

pos

sele tors

←

all sele tors onsistent with e

pos

ex luding e

neg

andidates

← {

x

∧

s: x

∈

andidates, y

∈

sele tors

}

andidates

← {

x

∈

andidates:

¬∃

y

∈

andidates more general than x

}

retain only k best andidates in andidates a ording to Performan e

until andidates over no examples with de ision

6=

d

best

←

the best ondition in andidates a ording to Performan e

AQ: miara jakosci reguly

Performan e(

α

⇒ d

, examples) =

pos

included

+

neg

excluded

pos

_included

 li zba przykªadów w examples z de yzj¡

d

pasuj¡ y h do

wa-runku

α

tzw. wspar ie reguªy

neg

_excluded

 li zba przykªadów w examples z de yzj¡

6= d

wyklu zany h przez warunek

α

Uwaga

Je±li reguªa jest spójna ze zbiorem treningowym,

tzn. warunek reguªy wyklu za wszystkie przykªady z de yzj¡

6= d

, to miary jako± i reguªy jest równa wspar iu reguªy

AQ: klasyfikacja

Klasyka ja przez gªosowanie reguª

Waga pojedyn zej reguªy:

W eight

(α ⇒ d) =

|pos

included

(α ⇒ d)|

|examples|

Wybór de yzji dla obiektu

x

:

max arg

_d

Σ

α

⇒ d: x

spelnia

α

|pos

included

(α ⇒ d)|

Generowanie regul: CN2 vs AQ

Ce hy wspólne

♦

metoda sekwen yjnego pokrywania

♦

szukanie pojedyn zej reguªy:

 metoda pierwszy najlepszy ustalonej szeroko± i

 od najbardziej ogólny h w kierunku bardziej spe y zny h

Ró»ni e

Przeszukiwanie sterowane Wymaganie spójno± i Miara jako± i reguª

CN2 aªym zbiorem NIE estymata Lapla e'a

Teoria zbiorow przyblizonych

♦

Zbiory przybli»one (Pawlak, 1981)

♦

Redukty i reguªy generowane z reduktów (Skowron, Rauszer, 1992)

A

= {a

1

, . . . , a

_n

}

 zbiór e h (atrybutów) opisuj¡ y h przykªady

U

_trn

 zbiór przykªadów opisany h wektorami warto± i e h

< x

1

, . . . , x

n

>

Deni ja

Zbiór atrybutów

R

⊆ A

jest reduktem dla zbioru przykªadów

U

trn

, je±li  dla ka»dej pary przykªadów

x, y

∈ U

trn

o ró»ny h de yzja h

dec

(x) 6= dec(y)

istnieje

a

i

∈ R

rozró»niaj ¡ y t¡ par przykªadów:

x

i

6= y

i



R

jest minimalnym zbiorem maj¡ ym powy»sz¡ wªasno±¢,

tzn. dla dowolnego

R

′

_{⊂ R}

istnieje para przykªadów w

U

trn

o ró»ny h de yzja h i taki h samy h warto± ia h

na wszystki h atrybuta h

a

i

∈ R

′

Redukty

Deni ja

Redukt

R

jest minimalny, je±li zawiera najmniejsz¡ mo»liw¡ li zb atrybutów, tzn. dla ka»dego reduktu

R

′

:

|R| ≤ |R

′

_|

Redukty

Deni ja

Redukt

R

jest minimalny, je±li zawiera najmniejsz¡ mo»liw¡ li zb atrybutów, tzn. dla ka»dego reduktu

R

′

:

|R| ≤ |R

′

_|

Fakt: Problem znalezienia minimalnego reduktu jest NP-trudny

Przykªad: a b d de

x

1

0 2 1 0 0

x

2

1 2 2 1 0

x

3

2 0 2 1 1

x

4

0 2 1 1 2 Redukty??

Redukty

Deni ja

Redukt

R

jest minimalny, je±li zawiera najmniejsz¡ mo»liw¡ li zb atrybutów, tzn. dla ka»dego reduktu

R

′

:

|R| ≤ |R

′

_|

Fakt: Problem znalezienia minimalnego reduktu jest NP-trudny

Przykªad: a b d de

x

1

0 2 1 0 0

x

2

1 2 2 1 0

x

3

2 0 2 1 1

x

4

0 2 1 1 2 Redukty??

{a, d}

,

{b, c, d}

Redukty minimalne??

Redukty

Deni ja

Redukt

R

jest minimalny, je±li zawiera najmniejsz¡ mo»liw¡ li zb atrybutów, tzn. dla ka»dego reduktu

R

′

:

|R| ≤ |R

′

_|

Fakt: Problem znalezienia minimalnego reduktu jest NP-trudny

Przykªad: a b d de

x

1

0 2 1 0 0

x

2

1 2 2 1 0

x

3

2 0 2 1 1

x

4

0 2 1 1 2 Redukty??

{a, d}

,

{b, c, d}

Redukty minimalne??

{a, d}

Generowanie regul z reduktu

Rules

(R) := {

^

Generowanie regul z reduktu

Rules

(R) := {

^

a

_i

∈R

a

i

= x

i

⇒ dec = dec(x) : x ∈ U

trn

}

Przykªad: a b d de

x

1

0 2 1 0 0

x

2

1 2 2 1 0

x

3

2 0 2 1 1

x

4

0 2 1 1 2

R

= {b, c, d}

Reguªy ??

Generowanie regul z reduktu

Rules

(R) := {

^

a

_i

∈R

a

i

= x

i

⇒ dec = dec(x) : x ∈ U

trn

}

Przykªad: a b d de

x

1

0 2 1 0 0

x

2

1 2 2 1 0

x

3

2 0 2 1 1

x

4

0 2 1 1 2

R

= {b, c, d}

Reguªy ??

b

= 2 ∧ c = 1 ∧ d = 0 ⇒ dec = 0

b

= 2 ∧ c = 2 ∧ d = 1 ⇒ dec = 0

b

= 0 ∧ c = 2 ∧ d = 1 ⇒ dec = 1

b

= 2 ∧ c = 1 ∧ d = 1 ⇒ dec = 2

Skracanie regul z reduktu

Skra anie reguªy polega na odrzu eniu niektóry h selektorów z warunku reguªy

Metoda

Reguªa

α

∧ s ⇒ dec = d

mo»e zosta¢ zast¡piona przez

α

⇒ dec = d

, je±li

α

⇒ dec = d

pozostaje spójna ze zbiorem treningowym

Fakt

Mo»e si zdarzy¢, »e ró»ne reguªy z t¡ sam¡ de yzj¡ zostan¡ skró óne do tej

samej posta i

Skracanie regul z reduktu: przyklad

a b d de

x

1

0 2 1 0 0

x

2

1 2 2 1 0

x

3

2 0 2 1 1

x

4

0 2 1 1 2

b

= 2 ∧ c = 1 ∧ d = 0 ⇒ dec = 0

b

= 2 ∧ c = 2 ∧ d = 1 ⇒ dec = 0

b

= 0 ∧ c = 2 ∧ d = 1 ⇒ dec = 1

b

= 2 ∧ c = 1 ∧ d = 1 ⇒ dec = 2

Skracanie regul z reduktu: przyklad

a b d de

x

1

0 2 1 0 0

x

2

1 2 2 1 0

x

3

2 0 2 1 1

x

4

0 2 1 1 2

b

= 2 ∧ c = 1 ∧ d = 0 ⇒ dec = 0

b

= 2 ∧ c = 2 ∧ d = 1 ⇒ dec = 0

b

= 0 ∧ c = 2 ∧ d = 1 ⇒ dec = 1

b

= 2 ∧ c = 1 ∧ d = 1 ⇒ dec = 2

Po skró eniu:

b

= 2 ∧ d = 0 ⇒ dec = 0

lub

c

= 1 ∧ d = 0 ⇒ dec = 0

b

= 2 ∧ c = 2 ⇒ dec = 0

b

= 0 ⇒ dec = 1

Klasyfikacja oparta na wsparciu

rules

 zbiór reguª z jednozna zn¡ de yzj¡

U

_trn

 zbiór przykªadów treningowy h

x

- obiekt do klasyka ji

Klasyka ja przez maksymaliza j wspar ia:

rules

(x) = {α ⇒ d ∈ rules : x

spelnia

α

}

Redukty lokalne

Zbiór atrybutów

R

⊆ A

jest reduktem lokalnym dla przykªadu

x

∈ U

trn

w zbiorze przykªadów

U

trn

, je±li

 dla ka»dego przykªadu

y

∈ U

trn

z inn¡ de yzj¡

dec

(y) 6= dec(x)

istnieje

a

i

∈ R

rozró»niaj ¡ y

x

od

y

:

x

i

6= y

i



R

jest minimalnym zbiorem maj¡ ym powy»sz¡ wªasno±¢, tzn. dla dowolnego

R

′

_{⊂ R}

istnieje przykªad w

U

trn

z inn¡ de yzj¡ i warto± iami taki samymi jak

x

na wszystki h atrybuta h

a

i

∈ R

′

Fakt 1:

Li zba reduktów lokalny h dla jednego przykªadu mo»e by¢ wykªadni za

wzgl-dem li zby atrybutów i li zby przykªadów treningowy h

Fakt 2:

Problem znalezienia minimalnego reduktu lokalnego dla danego przykªadu jest

Generowanie regul z reduktow lokalnych

Reguªa generowana z reduktu lokalnego

R

dla przykªadu

x

:

^

a

i∈R

a

i

= x

i

⇒ dec = dec(x)

Fakt 1: Reguªa generowana z reduktu lokalnego jest reguª¡ spójn¡ minimaln¡

(tzn. usuni ie któregokolwiek selektora powoduje utrat spójno± i)

Fakt 2: Zbiór reguª wygenerowany h ze wszystki h reduktów lokalny h =

zbiór wszystki h minimalny h reguª spójny h = zbiór wszystki h reguª

gene-rowany h przez algorytm zupeªny (z selektorami równo± iowymi)

Przypomnienie: Li zba wszystki h minimalny h reguª spójny h mo»e by¢

wy-kªadni za wzgldem li zby atrybutów i przykªadów treningowy h

Fakt 3 (Bazan, 1998): Nie h

rules

all

 zbiór wszystki h minimalny h reguª spójny h. Istnieje algorytm symuluj¡ y klasyka j z maksymaliza j¡ wspar ia

w zbiorze reguª

rules

all

(bez jawnego li zenia reguª) wykonuj¡ y klasyka j pojedyn zego obiektu w zasie

O

(|U

trn

|

2

C4.5rules: generowanie regul

Outlook

Overcast

Humidity

Normal

High

No

Yes

Wind

Strong

Weak

No

Yes

Yes

Rain

Sunny

Pomysª: maj¡ dane drzewo de yzyjne mo»na generowa¢ reguªy na podstawie

C4.5rules: generowanie regul

Outlook

Overcast

Humidity

Normal

High

No

Yes

Wind

Strong

Weak

No

Yes

Yes

Rain

Sunny

Pomysª: maj¡ dane drzewo de yzyjne mo»na generowa¢ reguªy na podstawie

jego struktury

⇒

Drzewo jest generowane algorytmem C4.5 opisanym na wykªadzie o drzewa h de yzyjny h

C4.5rules: przyklad

Outlook

Overcast

Humidity

Normal

High

No

Yes

Wind

Strong

Weak

No

Yes

Yes

Rain

Sunny

Outlook

= Sunny ∧ Humidity = High ⇒ P layT ennis = N o

Outlook

= Sunny ∧ Humidity = N ormal ⇒ P layT ennis = Y es

Outlook

= Overcast ⇒ P layT ennis = Y es

Outlook

= Rain ∧ W ind = Strong ⇒ P layT ennis = N o

Outlook

= Rain ∧ W ind = W eak ⇒ P layT ennis = Y es

C4.5rules: skracanie regul

α

∧ s ⇒ d

 reguªa przed skró eniem

α

⇒ d

 reguªa po skró eniu

C4.5rules wyli za statysty zne górne osza owanie bªdów obu reguª na po

d-stawie przykªadów ze zbioru treningowego pokrywany h przez te reguªy, i

za-stpuje reguª

α

∧ s ⇒ d

reguª¡ skró on¡

α

⇒ d

, je±li górne osza owanie bªdu dla reguªy skró onej jest nie wiksze ni» dla reguªy oryginaln ej

Reguªa mo»e by¢ skró ona wielokrotnie, je±li usuwanie kolejny h selektorów

C4.5rules: klasyfikacja

Fakt

Warunki reguª przed skró eniem wyklu zaªy si wzajemnie,

po skró eniu ju» nie musz¡ si wyklu za¢

Wniosek

Klasyka ja wymaga zastosowania wyboru najlepszej reguªy

lub gªosowania reguª

⇒

C4.5rules stosuje zaawansowane metody do usuni ia niektóry h reguª skró ony h

i uporz¡dkowania pozostaªy h wedªug wa»no± i