Do metod uczenia poprzez analiz¦ przypadków mo»na zaliczy¢: wnioskowanie pami¦ciowe zaproponowane przez Stan lla i Waltza (ang. memory based reasoning, MBR) [163], uczenie w oparciu o instancje autorstwa Aha i innych (ang. instance based learning, IBL) [2] oraz wnioskowanie w oparciu o przypadki (ang. case based reasoning, CBR) [120]. Wszystkie one bazuj¡ na algorytmie k-NN, jednak»e »adna z wymienionych dotychczas metod nie miaªa na celu reprezentacji danych w sposób zrozumiaªy dla czªowieka.
Gªównym zadaniem metod IBL jest maksymalizacja zdolno±ci generalizacji i minimalizacji zªo»ono±ci obliczeniowej algorytmu k-NN. Powoduje to, »e metody nale»¡ce do grupy IBL stanowi¡ istotn¡ grup¦ algorytmów mog¡cych sªu»y¢ ekstrakcji reguª-P. Niestety przeprowadzone eksperymenty [82] wskazuj¡, i» cz¦±¢ z metod IBL pozostawia du»o niepotrzebnych wektorów w procesie uczenia, koncentruj¡c si¦ nie na uzyskaniu przejrzysto±ci modelu, lecz jedynie na maksymalizacji jego zdolno±ci uogólniania.
CBR powszechnie stosowany jest do rozwi¡zywania ró»nych problemów analizy przypadków, gdzie pojedyncze sytuacje odpowiadaj¡ wyst¡pieniu okre±lonych zjawisk.
Innymi sªowy CBR bazuje na rozwi¡zywaniu nowych problemów na podstawie podobie«stwa do ju» rozwi¡zanych zagadnie« zgromadzonych w bazie wiedzy. CBR mi¦dzy innymi u»ywany jest w analizie przepisów prawa precedensowego, wiele wdro»e«
mo»na równie» zaobserwowa¢ w medycynie np. [148]. W systemach CBR gªówny nacisk poªo»ony jest równie» na maksymalizacj¦ dokªadno±ci predykcji, jednak»e poszczególne przypadki traktowane s¡ jako pojedyncze reguªy post¦powania, a baza wiedzy jest cz¦sto inkrementacyjnie rozbudowywana. Zwi¡zane jest to z procesem eksploracji danych online, gdzie cz¦sto ka»dorazowy sukces lub pora»ka predykcji zako«czony jest umieszczeniem tego przypadku w bazie wiedzy z odpowiednio zmody kowan¡ etykiet¡.
Wykorzystanie algorytmu k-NNw CBR zwi¡zane jest z konieczno±ci¡ analizy podj¦tej decyzji, a jak opisano w poprzednim podrozdziale metoda k-NNpozwala na jej ªatw¡
interpretacj¦.
Gªówn¡ ró»nic¡ modeli CBR w stosunku do reguª-P jest brak przejrzysto±ci systemów CBR, co zwi¡zane jest z du»¡ liczb¡ przypadków zgromadzonych w bazie wiedzy. Problem ten powoduje równie» zmniejszenie szybko±ci dziaªania oraz du»e zapotrzebowanie na zasoby tego typu systemu. Dlatego powszechnie stosuje si¦ ró»ne metody maj¡ce na celu przyspieszenie procesu znajdywania najbli»szych s¡siadów. Do typowych rozwi¡za« nale»¡ tutaj algorytm Kd-tree [176] lub inne metody drzew decyzji jak C4.5, które wykorzystywane s¡ do wst¦pnej indeksacji i selekcji przypadków [139].
Rozdziaª 5
Miary odlegªo±ci
Miary odlegªo±ci, jak i miary podobie«stwa stanowi¡ baz¦ wi¦kszo±ci metod inteligencji obliczeniowej. W literaturze opisywana jest du»a liczba mo»liwych miar odlegªo±ci, jednak»e praktyka metod sztucznej inteligencji pokazuje, »e nie wszystkie z nich musz¡
speªnia¢ wªasno±ci metryki opisywane warunkami (5.1).
W prezentowanej rozprawie terminy takie, jak podobie«stwo lub odlegªo±¢ s¡ u»ywane w szerszym znaczeniu ni» matematycznym i musz¡ jedynie speªnia¢ warunek izolacji dla odlegªo±ci. Zaªo»enie takie podyktowane jest zarówno analogi¡ do procesów kognitywnych zachodz¡cych w naszych mózgach, gdzie przykªadowo niebo kojarzy si¦
z kolorem niebieskim, ale odwrotna relacja nie jest ju» tak silna D (niebo, niebieski) 6=
D (niebieski, niebo) (gdzie D(·) oznacza funkcj¦ odlegªo±ci) nie jest wi¦c speªniony warunek symetrii; podobnie mówi¡c, »e dziecko jest podobne do ojca oraz podobne do matki nie oznacza faktu, »e matka i ojciec s¡ do siebie podobni; oraz z praktyki metod inteligencji obliczeniowej, gdzie, jak pokazano w rozdziale 9 transformacja iloczynu trójk¡tnej lub trapezoidalnej funkcja przynale»no±ci systemów rozmytych do postaci funkcji odlegªo±ci nie speªniaj¡ warunku nierówno±ci trójk¡ta.
D (x, p) ≥ 0, równo±¢, wtedy i tylko wtedy gdu x = p (izolacja) D (x, p) = D (p, x)(symetria)
D (x, p) ≤ D (x, y) + D (y, p)(nierówno±¢ trójk¡ta) (5.1) Ogólna taksonomia ró»nych neuronowych funkcji transferu zawieraj¡ca funkcje odlegªo±ci i podobie«stwa mo»e by¢ znaleziona w [50, 124]. Jednak»e nie wyczerpuje ona wszystkich znanych miar, o pewnych zastosowaniach specy cznych miar odlegªo±ci, jak w problemach wizji komputerowej (ang. computer vision) donoszono równie» w pracach [41, 78, 129]. W rozprawie przedstawiono jedynie najpopularniejsze miary z ich wªasno±ciami, które jak dot¡d zostaªy zastosowane w systemach reguª progowych z bardzo dobrymi rezultatami.
W swojej pracy Duch i Jankowski [50] zaproponowali ró»ne metody podziaªu miar odlegªo±ci, jednak»e najbardziej istotn¡ metod¡ z punktu widzenia rozprawy wydaje si¦ by¢ podziaª ze wzgl¦du na wpªyw danych na warto±¢ miary odlegªo±ci.
5.1 Deterministyczne miary odlegªo±ci
Deterministyczne funkcje odlegªo±ci charakteryzuj¡ si¦ brakiem wpªywu rozkªadu danych w przestrzeni na warto±¢ funkcji odlegªo±ci. Innymi sªowy rozkªad danych treningowych nie wpªywa na warto±¢ odlegªo±ci mierzonej pomi¦dzy par¡ wektorów.
Najpopularniejszym przykªadem takich funkcji jest metryka Euklidesa (norma L2) (5.2) odlegªo±¢ D jest liczona. Metryka ta ma istotn¡ wªa±ciwo±¢ z punktu widzenia reguª prototypowych, a mianowicie stosuj¡c reguª¦ najbli»szego s¡siada uzyskiwana granica decyzji pomi¦dzy dwoma prototypami jest zawsze hiperpªaszczyzn¡. Dzi¦ki temu znacznie upraszcza si¦ proces wnioskowania i zrozumienia rezultatów podj¦tych decyzji.
Innym przykªadem metryki deterministycznej jest odlegªo±¢ Manhattan, znana równie»
jako norma L1 gzie odlegªo±¢ jest obliczana jako suma ró»nic projekcji wektorów na osie ukªadu wspóªrz¦dnych (5.3).
D (x, p) =
Xn
i=1
|xi− pi| (5.3)
Wa»n¡ negatywn¡ cech¡ normy L1 w zastosowaniu do algorytmu k-NNjest mo»liwo±¢
wyst¡pienia impasów. Wªa±ciwo±¢ ta wynika z faktu, i» w odró»nieniu od innych miar odlegªo±ci obszar równej odlegªo±ci pomi¦dzy dwoma prototypami nie jest jak w przypadku normy L2 hiperpªaszczyzn¡ lub ogólnie gur¡ pªask¡, lecz granica ta w pewnych obszarach przyjmuje posta¢ podprzestrzeni o równej odlegªo±ci od pary prototypów, co uniemo»liwia jednoznaczne podj¦cie decyzji. Przedstawia to rys.(5.1)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Rysunek 5.1: Przykªad wykorzystania odlegªo±ci Manhattan oraz impasu powstaªego po jej wykorzystaniu (obszar nie zakre±lony)
Norma L∞znana równie» jako odlegªo±¢ Czebyszewa opisywana jest równaniem (5.4) D (x, p) = max
i=1..n|xi − pi| (5.4)
Funkcja ta, z punktu widzenia reguª prototypowych ma istotne znaczenie, pozwalaj¡c na uzyskiwanie klasycznych reguª ostrych w zapisie prototypowym.
Przedstawione dotychczas miary odlegªo±ci stanowi¡ poszczególne przypadki ogólnej metryki Minkowskiego opisanej równaniem (5.5), gdzie zmiana parametru α wpªywa na ksztaªt konturu staªej odlegªo±ci od prototypu. (5.2)
D (x, p) =
Przez odpowiednie okre±lenie warto±ci parametru α mo»liwe jest uzyskanie odlegªo±ci Manhatan dla α = 1, podobnie dla α = 2 otrzymuje si¦ odlegªo±¢ Euklidesa, natomiast dalszy wzrost warto±ci w granicy gdy α → ∞ prowadzi do odlegªo±ci Czebyszewa.
Interpretacja rys.(5.2) zmierza do wniosku, »e wzrost warto±ci α odpowiada zwi¦kszeniu wypukªo±ci funkcji odlegªo±ci, tym samym wzrostowi pola recepcyjnego pojedynczego prototypu. Powoduje to, »e zmianie ulega ksztaªt granicy decyzji klasy katora 1NN, co obrazuje rys.(5.3). W praktyce analizy danych bardzo cz¦sto warto±¢ α poddawana jest adaptacji w procesie uczenia jako jeden z parametrów modelu, tak by zmaksymalizowa¢
dokªadno±¢ uzyskanych wyników.
Rysunek 5.2: Ksztaª odlegªo±ci Minkowskiego dla trzech ró»nych warto±ci parametru α:
1,2,10
Rysunek 5.3: Ksztaªt granicy decyzji dla klasy katora 1NN dla trzech ró»nych warto±ci α odlegªo±ci Minkowskiego: 1,2,10
Pewn¡ popularn¡ miar¡ odlegªo±ci, daj¡c¡ dla niektórych zbiorów danych bardzo dobre wyniki, jest miara Canberra (5.6) nale»¡ca do grupy miar korelacyjnych rys.(5.4).
D(x, p) =
Xn
i=1
|xi− pi|
|xi| + |pi| (5.6)
Miara ta ma pewne specy czne cechy, jest niesymetryczna (nie jest wi¦c miar¡ metryczn¡) oraz dla wektora referencyjnego poªo»onego w pocz¡tku ukªadu wspóªrz¦dnych przyjmuje staª¡ warto±¢ równ¡ 1. Inn¡ cech¡ tej miary jest mo»liwo±¢
wyst¦powania symbolu nieoznaczonego jako warto±¢ odlegªo±ci w przypadku wyst¡pienia dzielenia przez 0. Cechy te powoduj¡ »e praktyczne zastosowania w/w funkcji cho¢
cz¦sto daj¡ce dobre rezultaty powinno by¢ uwa»nie rozpatrzone. Inn¡, popularn¡
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Rysunek 5.4: Ksztaªt granicy decyzji oraz wykres powierzchni odlegªo±ci Canbera
miar¡ powszechnie stosowan¡ do analizy tekstów jest odlegªo±¢ cosinusowa, b¦d¡ca w rzeczywisto±ci miar¡ podobie«stwa zde niowan¡ jako (5.7).
D (x, p) = xTp
|x| |p| (5.7)
Funkcja ta mierzy cosinus konta pomi¦dzy dwoma wektorami x oraz p jako ich iloczyn skalarny znormalizowany przez iloczyn dªugo±ci tych wektorów. Wªasno±¢ ta jest u»ywana do porównywania dokumentów, gdy» przedstawia ona odlegªo±¢ jako relatywny rozkªad jej elementów skªadowych, uniezale»niaj¡c warto±¢ od dªugo±ci tekstów. Ksztaªt granic decyzji oraz ksztaªt powierzchni odlegªo±ci cosinusowej przedstawia rys.(5.5) Podobnie do analizy tekstów u»ywa si¦ miar znormalizowanych, uniezale»niaj¡c warto±¢
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Rysunek 5.5: Granica decyzji oraz ksztaªt cosinusowej funkcji odlegªo±ci
odlegªo±ci od dªugo±ci wektorów, co zapisuje si¦ jako (5.8).
D(x, p) = D³x/|x|, p/|p|´ (5.8)