ANNA KEMPA
Akademia Ekonomiczna w Katowicach
Streszczenie
W artykule zaprezentowano i omówiono wstĊpne wyniki badaĔ nad weryfikacją skutecznoĞci – jednego z podejĞü sztucznej inteligencji, naĞladującego układ odpor-noĞciowy w Īywym organizmie - sztucznych systemów immunologicznych w ocenie zdolnoĞci kredytowej klientów indywidualnych.
Słowa kluczowe: sztuczne systemy immunologiczne, SSI 1. Wprowadzenie
Banki w coraz wikszym zakresie d do stosowania systemów informatycznych wspomaga-jcych podejmowanie decyzji kredytowych. Usiłuj zwikszy stopie zautomatyzowania procesu decyzyjnego i trafnoci decyzji a take zredukowa koszty ich przygotowania. W procesie podej-mowania decyzji odnonie kredytów, zarówno dla indywidualnych jak i komercyjnych klientów, jednymi z istotnych zada s ocena zdolnoci kredytowej klienta oraz oszacowanie ryzyka udziele-nia kredytu. S to zadaudziele-nia złoone, realizowane w warunkach niepewnoci i ograniczonej wiedzy o kliencie. Dlatego banki podejmuj intensywne wysiłki w celu pozyskania wiedzy o swych przy-szłych klientach, poszukuj doskonalszych metod oceny ich zdolnoci do spłaty kredytów i d do usprawnienia procesów podejmowania decyzji kredytowych.
W literaturze przedmiotu, powiconej odkrywaniu wiedzy uytecznej do oceny zdolnoci kredytowej (m.in. [7], [9]), a take w ofertach firm projektujcych modele oceny zdolnoci kredy-towej dla banków proponuje si wykorzystanie metod statystycznych oraz metod sztucznej inteli-gencji.
Poszukujc rozwiza w dziedzinie odkrywania wiedzy siga si równie po inspiracje m.in. do systemów funkcjonujcych w organizmach ywych. Przykładem moe by układ immunolo-giczny, który obok układu nerwowego, obdarzony jest szczególn zdolnoci zdobywania i podno-szenia swoich moliwoci poprzez uczenie si i dowiadczenie. Układ ten posłuył jako model dla tworzenia i rozwijania kolejnego paradygmatu inynierii wiedzy - sztucznych systemów logicznych (SSI). Jak dotychczas nie zaproponowano zastosowania sztucznych systemów immuno-logicznych w odkrywaniu wiedzy dla oceny zdolnoci kredytowej, chocia SSI okazały si ju dobrym rozwizaniem wielu zada, m.in. ochrony antywirusowej, optymalizacji harmonogramo-wania, analizy szeregów czasowych, profilowania uytkowników [4]. Zbadanie zatem moliwoci ich zastosowania w ocenie zdolnoci kredytowej wydaje si by interesujcym zadaniem zarówno z punktu widzenia eksploracji potencjału samej metody (informatycznego) jak i praktycznego wy-korzystania wyników we wspomaganiu decyzji kredytowych. Mona znale lad takich zaintere-sowa w pracy [8].
W pracy przedstawiono przebieg wstpnych bada autorki majcych na celu zweryfikowanie uytecznoci SSI w porównaniu z wybranymi innymi metodami na obszarze oceny zdolnoci kre-dytowej klientów indywidualnych.
2. Ocena zdolnoci kredytowej
Ocena zdolnoci kredytowej, która stanowi podstaw oceny ryzyka kredytowego, obejmuje ocen pod wzgldem formalnoprawnych oraz merytorycznym [9]. Ocena merytoryczna obejmuje dwa podstawowe aspekty: personalny oraz ekonomiczny. W zakresie kredytów konsumpcyjnych dominujcym jest aspekt personalny, który moe obejmowa takie dane jak stan rodzinny, stan majtkowy (mieszkanie, dom, samochód itp.), reputacj, kwalifikacje zawodowe. Aspekt ekono-miczny (np. biece dochody) take jest wany. Do próby oceny zdolnoci kredytowej (w obu aspektach łcznie) mona wykorzysta róne metody statystyczno-matematyczne z uyciem narz-dzi informatycznych i komputera. Próbuje si w tym celu take wykorzystywa metody sztucznej inteligencji, m.in. sztuczne sieci neuronowe. Wykorzystywane metody na podstawie analizy po-przednich wniosków kredytowych generuj model, jaki powinien pozwoli podzieli badany zbiór na dwie grupy – kredyty dobre (prawidłowo spłacone lub takie, których dotychczasowy przebieg jest bez zastrzee) oraz kredyty złe (nie spłacone). Wiedza o stanie faktycznym (przebiegu spłaty) dla wniosków z przeszłoci jest weryfikowana z wynikami jakie generuje dany model. Na tej pod-stawie, weryfikujc model wzgldem rzeczywistych obserwacji mona oceni skuteczno modelu i tym samym jego przydatno dla nowych przypadków (kredytów).
3. Przyjte miary oceny modeli
Do oceny badanych modeli przyjto miary oparte na tzw. macierzy pomyłek (ang. confusion matrix). Macierz pomyłek jest macierz kwadratow o wymiarach k x k, gdzie k stanowi liczb klas decyzyjnych. Wiersze macierzy zawieraj informacje o liczbie rzeczywistych przyporzdkowa-niach przykładów do klas, natomiast w kolumnach umiejscowione s liczby przykładów przypo-rzdkowanych wg predykcji modelu. Na przeciciu i-tego wiersza oraz j-tej kolumny umieszczana jest liczba przykładów nalecych do i-tej klasy, a zaliczonych przez model do klasy j-tej. Problem badawczy uwzgldniony w pracy zawiera dwie klasy decyzyjne (dobry kredyt, zły kredyt). Rys.1 przedstawia ogóln macierz pomyłek dla dwóch klas decyzyjnych.
Klasy przewidywane
pozytywna negatywna
pozytywna TP - True Positives (Prawdziwie Pozytywne) FN - False Negatives (Fałszywie Negatywne) K la sy r z e c z y w is te
negatywna FP - False Positives (Fałszywie Pozytywne)
TN - True Negatives (Prawdziwie Negatywne) Rys. 1. Ogólna macierz pomyłek
W polu TP (ang. true positive) umieszcza si liczb poprawnie sklasyfikowanych przykładów z pozytywnej klasy1 (przykładowo liczba dobrych kredytów, jakie klasyfikator zakwalifikował jako dobre). Natomiast pole FN (ang. false negative) zawiera liczb błdnie przyporzdkowanych przy-kładów z tej samej klasy (np. liczba dobrych kredytów, które klasyfikator uznał jako złe). Odpo-wiednio FP (ang. false positive) okrela liczb błdnie zakwalifikowanych przykładów w przeciw-nym kierunku (np. liczba złych kredytów jakie system uznał jako dobre). TN (ang. true negative) to liczba przykładów słusznie zakwalifikowanych jako negatywne (np. liczba złych kredytów zakwa-lifikowanych jako złe). Na podstawie danych z macierzy mona obliczy dodatkowe miary: wra-liwo (ang. sensitivity lub True Positive Rate), specyficzno (ang. specificity), dokładno (trafno ) (ang. accurancy) oraz łczny błd klasyfikacji (ang. overall error rate) wyraajce si odpowiednio wzorami: Wraliwo = FN TP TP + Specyficzno = TN FP TN + Trafno = FN FP TN TP TN TP + + + + Błd klasyfikacji = FN FP TN TP FN FP + + + +
Wraliwo klasyfikatora to jego zdolno do wykrywania przypadków prawdziwie pozytyw-nych, natomiast specyficzno okrela zdolno odwrotn – do wykrywania przypadków prawdzi-wie negatywnych. Trafno wyraa stosunek liczby poprawnie zakwalifikowanych obserwacji do liczby wszystkich obserwacji. Uywa si take współczynnika stanowicego uzupełnienie do je-dynki trafnoci klasyfikowania, nazywanego łcznym błdem klasyfikowania, który okrela stosu-nek liczby niepoprawnie zakwalifikowanych obserwacji do liczby wszystkich obserwacji. Wszyst-kie podane miary podaje si zazwyczaj procentowo, trzy pierwsze naley interpretowa wg zale-noci: im wysza warto tym lepsza zdolno klasyfikatora.
Inn uywan metoda okrelania zdolnoci klasyfikacyjnych jest analiza krzywej ROC (ang. Receiver Operating Characteristics). Wyznaczanie krzywej ROC polega na obliczaniu wraliwoci oraz specyficznoci dla poszczególnych wartoci progu decyzyjnego w zakresie [0,1], a nastpnie osadzeniu obliczonych wartoci (wraliwoci oraz dopełnienia specyficznoci do 1) na wykresie [2]. Pole powierzchni pod krzyw ROC, oznaczane skrótem AUC (ang. Area Under ROC Curve) zawiera si w przedziale [0,1]. Idealny klasyfikator daje krzyw przylegajc do lewego i górnego brzegu wykresu z AUC równym 1. Natomiast krzywa dla losowych klasyfikacji z AUC równym 0,5 pokrywałaby si z przektn. Krzywa ROC jest przydatna take przy wyborze optymalnego progu decyzyjnego (dajcego równe prawdopodobiestwa błdnych klasyfikacji w kadej z klas). Porównania klasyfikatorów przy pomocy krzywej ROC mog dawa pełniejszy obraz, dziki braku arbitralnego wyboru progu decyzyjnego w tej metodzie.
1 OkreĞlenia „pozytywny” i „negatywny” w ogólnej macierzy pomyłek pochodzą z obszaru pierwotnego jej wykorzystania
- medycyny, gdzie oceniano efekty poszczególnych metod leczenia. Po wyjĞciu metody z obszaru medycyny, w ocenie binarnych klasyfikatorów, obie nazwy pozostały i słuĪą do okreĞlenia dwóch róĪnych klas (jak 1 i 0).
Do oceny zdolnoci modeli klasyfikacyjnych wykorzystuje si take znane z obszaru wyszu-kiwania informacji (ang. Informarion Retrieval, IR) miary – kompletno (ang. reacall) oraz do-kładno (prezycja) (ang. precision) definiowane wg wzorów [5],[10].
Miara, która łczy kompletno z dokładnoci jest miara F (ang. F-measure) [10]. Do oceny zgodnoci klasyfikacji rzeczywistej z wyznaczon przez model zostanie w pracy uyty take współczynnik kappa Cohena KC (ang. kappa statistic) [3]. Do oceny trafnoci klasyfikacji mona uy take prostych, znanych z oceny predykcji miar takich jak: błd redniokwadratowy, redni moduł błdu, czy relatywny błd redniokwadratowy [10].
4. Metoda walidacji modelu
Modele bd testowane na zbiorach przykładów, które stanowi prób losow (z uwzgldnieniem załoonego stosunku dobrych i złych kredytów) pobran z populacji wszystkich moliwych przykładów. Jeli ten sam zbiór jest stosowany do treningu modelu oraz estymacji miar oceny modelu, otrzymane wyniki s obarczone błdem nadmiernego dopasowania modelu do danych, czyli przeuczeniem (ang. overfitting). W celu pokonania tego problemu stosuje si odpowiednie strategie walidacji, w pracy zastosowano metod k-krotnej walidacji krzyowej (ang. k-fold cross-validation). Metoda polega na losowym podziale zbioru na k podzbiorów, jeden z podzbiorów wykorzystany jest jako zbiór testowy, natomiast k-1 pozostałe podzbiory tworz zbiór treningowy. Procedura ta jest powtarzana k razy, dziki temu kady element zbioru jest uyty zarówno do testów jak i treningu (w rónych iteracjach). Na kocu k cykli urednia si błdy otrzymujc miar jakoci modelu. Najczciej przyjmuje si k=10. Ale mona w wyniku eksperymentów dobra inn warto dla testowanych zbiorów danych. [10] [6].
5. Opis zbioru danych
W pracy wykorzystano zbiór danych z banków australijskich umieszczony w repozytorium naukowym UCI Machine Learning Repository, stanowice cenne ródło dla badaczy zajmujcych si maszynowym uczeniem oraz testowaniem inteligentnych systemów [12].
Wszystkie nazwy atrybutów oraz wartoci zostały zmienione na nic nie znaczce symbole w celu ochrony poufnoci danych klientów banku. Zbiór danych jest atrakcyjny dla przeprowadza-nych testów, poniewa posiada róne typy atrybutów – numeryczny oraz nominalny z du iloci moliwych wartoci. Zbiór zawiera take troch niepełnych bd nieprawidłowych, co nierzadko ma miejsce w rzeczywistoci. Zbiór zawiera 690 przypadków (rekordów), posiada 14 atrybutów wejciowych (z czego 6 numerycznych oraz 8 nominalnych) oraz jeden klasowy dwuwartociowy. Wartoci nominalnych atrybutów zostały zmienione dla potrzeb uytych algorytmów.
Proporcja przypadków obrazujcych dobry i zły kredyt jest zbliona do połowy, tzn. zbiór posiada 307 (44,5%) dobre kredyty oraz 383 (55,5%) złe kredyty.
6. Narzdzia informatyczne i przyjty format danych
Głównym programem, jaki wykorzystano w pracy jest biblioteka WEKA implementujca wikszo podstawowych metod odkrywania wiedzy w jzyku Java. WEKA jest skrótem od Wa-ikato Environment for Knowledge Analysis. Korzystanie z biblioteki WEKA wymaga rodowiska jzyka Java. WEKA posiada interfejs graficzny, pozwala wizualizowa dane i rozwizania oraz porównywa róne algorytmy uczenia maszynowego. Poprzez moliwo zdefiniowania strumieni przepływu wiedzy mona ustali kolejne zadania procesu uczenia i analizy wyników.
Dane wejciowe mog by w rónych formatach: ARFF (podstawowy), CSV, C4.5, binarny. W pracy wykorzystano format ARFF (opisany w [10]).
WEKA wyposaona jest w filtry przygotowujce dane wejciowe poprzez dyskretyzacj da-nych, selekcj atrybutów oraz normalizacj. WEKA posiada wiele algorytmów klasyfikacji, m.in.: drzewa decyzyjne, sie Bayesowska, sieci neuronowe, sztuczne systemy immunologiczne. Biblio-teka pozwala take na znalezienie zalenoci midzy grupami atrybutów (reguły asocjacyjne).
Program WEKA posiada dokumentacj dostpn na stronie www [11], jednak dokumentacja ta obejmuje jedynie ogólne informacje dotyczce uywania samego programu, nie zawiera wiedzy z zakresu data mining potrzebnej do pełnego wykorzystania moliwoci systemu. Omówienie sys-temu WEKA wraz z zagadnieniami dotyczcymi data mining zawarte jest w [10].
Niektóre z wybranych do badania (w dalszej czci pracy) algorytmów s sparametryzowane, przyjto do bada ich wartoci domylne. Bywa, e takie podejcie nie jest słuszne, ale na testowa-nym zbiorze autorka dokonała szereg testów zmierzajcych do dostrojenia parametrów do danych – i nie udało si uzyska wyników znaczco lepszych.
Wiele oblicze pomocniczych oraz rysunków wykonano przy pomocy arkusza kalkulacyjne-go MS Excel.
7. Selekcja atrybutów
Wyszukanie optymalnego podzbioru zmiennych niezalenych modelu, czyli selekcja atrybu-tów jest jednym z waniejszych zada data minig wchodzcym w zakres wstpnego przygotowania zbioru danych. Selekcj atrybutów dokonuje si w celu redukcji wymiaru wektorów reprezentuj-cych zbiór uczcy. Nie wszystkie atrybuty charakteryzuj si jednakow zdolnoci predykcyjn, niektóre mog wykazywa wzajemn korelacj – optymalny podzbiór atrybutów powinien zawie-ra moliwie mał ilo zmiennych dajcych wysok jako klasyfikacji.
Wykorzystane metody selekcji atrybutów mona podzieli na dwa główne podejcia. Pierw-sze, które obejmuje metody filtrujce (ang. filter method) stosuje uniwersalne metody selekcji oparte na specyficznych metrykach do oceny i wyboru cech, drugie natomiast, które obejmuje me-tody typu wrapper (ang. wrapper method) polega na ocenie jakoci podzbioru z uyciem algorytmu maszynowego uczenia, który zostanie ostatecznie wykorzystany do uczenia. Ponadto stosowane metody selekcji mona podzieli na dwie grupy: selekcja poprzez przeszukanie wszystkich moli-wych podzbiorów atrybutów (w programie WEKA nazywane Attribute Subset Evaluator) oraz po-tencjalnie szybsza ale na ogół mniej dokładna - selekcja oparta na ewaluacji kadego atrybutu osobno i rankingu najlepszych oszacowa (w programie WEKA nazywane Single Attribute Evalu-ator).
Na podstawie podzbiorów atrybutów wskazanych przez dostpne metody selekcji dokonano sprawdzenia kilku zestawów atrybutów pod wzgldem dokładnoci oraz czasu generowania mode-lu. Przeprowadzone analizy dla kilku rónych algorytmów wykazały najlepsze rezultaty dla pełne-go zestawu 14 atrybutów wejciowych.
Dane z banków australijskich dostpne w repozytorium dla badaczy zajmujcych si maszy-nowym uczeniem, nie wymagały zbyt wielu czynnoci przygotowawczych. Wszystkie atrybuty wejciowe s reprezentowane przez wartoci liczbowe (nominalne lub numeryczne). Niektóre ba-dane algorytmy wymagaj normalizacji atrybutów wejciowych. Dokonano normalizacji warto-ciami z przedziału (0,1) i znormalizowanego zbioru uyto dla wszystkich metod – poniewa dla
wikszoci metod nie wymagajcych normalizacji - normalizacja albo podniosła skuteczno albo nie wpłynła znaczco na zmian.
8. Wyniki analizy
Badania prowadzono dla czterech grup algorytmów: Bayes, drzewa decyzyjne, sieci neuronowe oraz sztuczne systemy immunologiczne. W kadej z grup dla pełnego zestawu wyodrbniono do dalszej analizy po dwa najlepsze algorytmy:
• Bayes: Bayes Net oraz Complement NaiveBayes • Drzewa decyzyjne: AD Tree oraz J48
• Sieci neuronowe: Back Propagation oraz Bold Drive Back Propagation • Immunologiczne: Immunos1 oraz Immunos2.
Do analizy porównawczej starano si wybra algorytmy o wysokiej skutecznoci. Rónice w dokładnoci s niewielkie. Rónica midzy najnisz a najwysz wartoci wynosi zaledwie 1,5%. Dokładno dla badanych algorytmów zawiera si w przedziale 85,20%-86,67%. Algo-rytmy immunologiczne wykazały dokładno 85,22% (Immunos1) oraz 85,51% (Immunos2) – co przy niewielkich rónicach wzgldem innych, skutecznych metod – pozwala je uzna jako dorów-nujce. Wyranie najdłuszy czas generowania modelu posiadaj algorytmy sieci neuronowych - w wartociach bezwzgldnych jest to niewielka warto (0,56s i 0,61s), jednak przy wikszych zbio-rach trenujcych – czynnik czasu moe mie znaczenie. Tabela 1 zawiera szczegółowy wykaz ob-liczonych miar.
Współczynnik kappa wyraa zgodno midzy rónymi wariantami przypisania przykładów do klas poprawion o zgodno przypadkow. Statystyka kappa dla wszystkich badanych algoryt-mów jest wysoka. Miara F, która stanowi redni harmoniczn kompletnoci (recall) i precyzji (precision) wynosi dla badanych metod od 0,86 do 0,88, najwysza dla J48 i BackPropagation. Mona zauway róne proporcje kompletnoci i precyzji w poszczególnych metodach – w przy-padku modeli immunologicznych, sieci neuronowych oraz jednego z algorytmów bayesowskich (ComplementNaiveBayes) zauwaalnie wiksza jest warto precyzji (stosunek poprawnie sklasy-fikowanych przykładów do wszystkich jakie model zakwalifikował do danej kategorii) od kom-pletnoĞci (stosunek poprawnie sklasyfikowanych przykładów do rzeczywistej ich iloci w klasyfi-kowanej kategorii). Jedynie dla BayesNet oraz drzewa J48 rónice te kształtuj si odwrotnie, ale w obu przypadkach s mniej znaczce (0,02 i 0,03).
Najwiksz warto AUC (wielkoci pola pod krzyw ROC) maj algorytmy AdTree oraz BayesNet (0,92 i 0,91). Pozostałe algorytmy maj AUC = 0,86 oraz dla dwóch algorytmów nieco wicej 0,87 i 0,88. Podane wartoci AUC wskazuj na wysok skuteczno analizowanych algo-rytmów.
Algorytmy immunologiczne oraz sieci neuronowe wykazały nisk warto redniego modułu błdu (MAE) – z zakresu 0,13-0,15. Najwysze wartoci MAE maj algorytmy drzew decyzyj-nych. Uzyskane miary błdów sugeruj, e badane metody myl si w róny sposób – co naley dokładniej zbada . Program WEKA dla obliczanego algorytmu generuje raport, w którym m.in. znajduje si tabela z poszczególnymi wartociami predykcji klasyfikacji.
Tabela 1. Wyniki dla badanych algorytmów Algorytm Dokładno (odch.std) Czas (s) K a p p a M A E R M S E R A E R R S E IR P re ci -si o n IR r ec a ll m ia ra F A U C BayesNet 85,74 (3,61) 0,01 0,71 0,17 0,32 34,93 64,82 0,86 0,88 0,87 0,91 Complement NaiveBayes 85,20 (3,65) 0,00 0,71 0,15 0,38 29,96 76,81 0,93 0,79 0,86 0,86 AdTree 85,38 (3,76) 0,08 0,70 0,26 0,33 52,91 67,27 0,87 0,87 0,87 0,92 J48 86,32 (3,72) 0,02 0,72 0,19 0,33 38,77 66,69 0,86 0,91 0,88 0,88 BackPropagation 86,67 (3,45) 0,56 0,73 0,13 0,36 26,99 72,83 0,90 0,85 0,88 0,87 BoldDriverBack Propagation 85,51 (3,60) 0,61 0,71 0,14 0,38 29,34 75,98 0,93 0,80 0,86 0,86 Immunos1 85,22 (3,63) 0,00 0,71 0,15 0,38 29,93 76,76 0,93 0,79 0,86 0,86 Immunos2 85,51 (3,60) 0,00 0,71 0,14 0,38 29,34 75,98 0,93 0,80 0,86 0,86
ródło: opracowanie własne na podstawie oblicze w programie WEKA
Z raportu mona odczyta dla poszczególnych przykładów (rekordów) informacje o tym w ja-kiej klasie przypadek jest faktycznie, jak przypisał model oraz informacje o błdzie. Raport w dostpnej formie semistrukturalnej został przez autork ustrukturalizowany, dziki czemu moliwa stała si dalsza analiza błdów badanych modeli pod ktem rónic: w jakim stopniu badane algo-rytmy myl si rónie wzgldem siebie. Nie badano rónic kadego z kadym. Zbadano rónice dla algorytmu Immunos2 z siedmioma pozostałymi.
Program WEKA umoliwia porównanie algorytmów take przy pomocy sparowanego testu t studenta – w wersji standardowej lub testu nazywanego corrected resampled t-test, szeroko omó-wionego w pracy [1]. Dla weryfikacji polegajcej na powtarzaniu oblicze dla rónych wariantów podziału zbioru na cz treningow i testow, a nastpnie urednianiu otrzymanych wyników, co ma miejsce w przypadku stosowanej przez autork walidacji krzyowej, jako korzystn alternaty-w dla klasycznego sparowanego testu t studenta rekomendowany jest test corrected resampled t-test [10]. Tabela istotnoci rónic w dokładnoci pomidzy algorytmami, sporzdzon na podsta-wie corrected resampled t-test (dla poziomu ufnoci 0,05, test dwustronny) wykazuje, e dla bada-nych algorytmów brak istotbada-nych rónic w skutecznoci.
Zbadano jednak przy pomocy testu t take miary błdów. Tabela 2. wskazuje ranking algo-rytmów wg istotnoci rónic w popełnianiu błdu MAE.
Tabela 2. Ranking wg istotnoĞci róĪnic w błĊdach MAE (poziom ufnoĞci 0,05)
Wynik Lepszy Gorszy Algorytm
4 4 0 ComplementNaiveBayes 4 4 0 BackPropagation 4 4 0 BoldDriverBackPropagation 4 4 0 Immunos1 4 4 0 Immunos2 -2 3 5 BayesNet -4 2 6 J48 -6 1 7 AdTree -8 0 8 ZeroR
ródło: opracowanie własne na podstawie oblicze w programie WEKA
Pi pierwszych algorytmów nie róni si istotnie midzy sob, ale istniej znaczce rónice z pozostałymi algorytmami. Podobnie jak z analizy rónicy błdów wykonanej na podstawie rapor-tu z predykcji wynika, e algorytmy immunologiczne w zakresie popełniania błdów w najwik-szym stopniu róni si od drzew klasyfikacyjnych oraz algorytmu BayesNet, natomiast najmniej od sieci neuronowych oraz algorytmu ComplementNaiveBayes.
9. Uwagi kocowe
Z przeprowadzonej analizy, w której uwzgldniono oprócz badanych algorytmów immunolo-gicznych – metody, jakie na polu wspomagania decyzji kredytowych zostały sprawdzone i uznane za skuteczne – wynika, e algorytmy immunologiczne dorównuj porównanym metodom pod wzgldem dokładnoci (trafnoci klasyfikacji), nie wykazujc przy tym znaczcych rónic. Nato-miast wykazuj istotne rónice w popełnianiu błdów z niektórymi porównywanymi algorytmami (drzewa decyzyjne oraz BayesNet). Istnienie rónic w popełnianiu błdów moe mie znaczenie przy budowie złoonych klasyfikatorów. Mimo braku znaczcych rónic zarówno w dokładnoci jak i popełnianiu błdów z sieciami neuronowymi algorytmy immunologiczne ze wzgldu na krót-szy czas generowania modelu maj tu przewag, jaka w okrelonych warunkach moe mie zna-czenie.
Uzyskane wyniki autorka traktuje jako zacht do pogłbiania analiz na innych zbiorach da-nych o kredytach przy jednoczesnym włczeniu wicej metod dla analiz porównawczych. Pogł-bienie bada bdzie polegało take na analizie samych modeli matematycznych badanych algoryt-mów immunologicznych – pod ktem metodycznych rónic z porównywanymi metodami, starajc si wyłoni specyfik SSI take w kontekcie potencjału podejcia, jakie wci si rozwija i znaj-duje nowe zastosowania.
Bibliografia
1. Bengio Y., Nadeau C.: Interference for the Generalization Error, Advances in Neural Information Processing Systems 12, MIT Press, 2000
2. Fawcett T.: An introduction to ROC analysis, Pattern Recognition Letters 27, 2006 (861-874)
3. Jarosz-Nowak Joanna, Modele oceny stopnia zgody pomidzy dwoma ekspertami z wykorzystaniem współczynników kappa, Matematyka Stosowana 8, 2007
4. Kempa A., Sta T.: Metody inteligentne w personalizacji, w: Bojar W. (red.): Studia i Materiały Polskiego Stowarzyszenia Zarzdzania Wiedz, Polskie Stowarzyszenie Zarzdzania Wiedz, Bydgoszcz 2008
5. Kłopotek M.A.: Inteligentne wyszukiwarki internetowe, Akademicka Oficyna Wydawnicza EXIT, Warszawa 2001
6. Larose D.T.: Odkrywanie wiedzy z danych. Wprowadzenie do eksploracji danych, Wydawnictwo Naukowe PWN, Warszawa 2006
7. Lasek M.: Data Mining. Zastosowania w analizach I ocenach klientów bankowych. Biblioteka Menedera i Bankowca, Warszawa 2002
8. Leung K., Cheong F., Cheong C.: Consumer Credit Scoring using an Artificial Immune System Algorithm, IEEE Congress on Evolutionary Computation 2007
9. Matuszyk A.: Credit Scoring, Wydawca CeDeWu, Warszawa 2004
10. Witten I.H., Frank E.: Data Mining - Practical Machine Learning Tools and Techniques, Elsevier Inc., USA, San Francisco 2005
11. http://www.cs.waikato.ac.nz/~ml/weka/; dostp padziernik 2008
12. UCI Machne Learning Repository. Center for Machine Learning and Intelligent Systems. http://archive.ics.uci.edu/ml/datasets.html; dostp wrzesie 2008
ACCURANCY VERIFICATION OF ARTIFICIAL IMMUNE SYSTEMS IN CREDIT ABILITY EVALUATION FOR PRIVATE CUSTOMER
Summary
The article presents preliminary results of accuracy verification – the approach of artificial intelligence that mimics the immune system in living organisms – of arti-ficial immune systems in credit ability evaluation for private customer.
Keywords: artificial immune systems, AIS
Anna Kempa
Katedra Inynierii Wiedzy
Akademia Ekonomiczna w Katowicach 40-287 Katowice, ul. Bogucicka 3 e-mail: kempa@ae.katowice.pl
