Klasyfikacja metodą grupowania cech z uwzględnieniem ich wzajemnej korelacji

Pełen tekst

(1)BIULETYN INSTYTUTU AUTOMATYKI I ROBOTYKI WAT NR 14, 2000. .ODV\ILNDFMDPHWRGJUXSRZDQLDFHFK ]XZ]JO GQLHQLHPLFKZ]DMHPQHMNRUHODFML. :áRG]LPLHU].:,$7.2:6.,1 675(6=&=(1,( 3U]HGVWDZLRQR PHWRG NODV\ILNDFML ]QDMGXMF ]DVWRVRZDQLH Z SU]\SDGNDFK EUDNX PR*OLZRFL UHDOL]DFML SURFHVX XF]HQLD ] QDXF]\FLHOHP : DUW\NXOH SURSRQXMH VL Z\NRU]\VWDQLH NRUHODFML DQDOL]RZDQ\FK V\JQDáyZ SRSU]H] ]DVWRVRZDQLH JUXSRZDQLD RSDUWHJR QD RGOHJáRFL 0DKDODQRELVD 3U]HGVWDZLRQD PHWRGD PR*H ]QDOH(ü ]DVWRVRZDQLH Z ]DGDQLDFK VHJPHQWDFMLUHSUH]HQWDFML/3&V\JQDáXPRZ\. 1. Wprowadzenie :L NV]Rü PHWRG UR]ZL]\ZDQLD ]DGD NODV\ILNDFML SROHJD QD UHDOL]DFML GZyFK HWDSyZHWDSSLHUZV]\SROHJDQDDQDOL]LHGRVW SQ\FKGDQ\FKZFHOXV\QWH]\RGSRZLHGQLHM UHJXá\ ZQLRVNRZDQLD L ]Z\NOH MHVW QD]\ZDQ\ SURFHVHP XF]HQLD HWDS GUXJL QDWRPLDVW polega na podejmRZDQLXGHF\]ML]JRGQLH]QDXF]RQUHJXá:\Uy*QLDVL SU]\W\PGZLH zasadnicze strategie uczenia: z nauczycielem (ang. supervised learning) i bez nauczyciela (ang. unsupervised learning

(2) : SU]\SDGNX PR*OLZRFL UHDOL]DFML SURFHVX XF]HQLD z nauczycielem stRVRZDQH V JáyZQLH PHWRG\ RSDUWH QD UR]ZL]DQLX RGSRZLHGQLHJR ]DGDQLDDSURNV\PDFML>@7HQVSRVyEUR]ZL]DQLDMHVWW\SRZ\GODXNáDGyZNODV\ILNXMF\FK UR]SR]QDMF\FK

(3) ]QDQ\FK MDNR SHUFHSWURQ\ L RJyOQLHM V]WXF]QH VLHFL QHXURQRZH jednokierunkowe, do uczenia których wykorzystywany jest algorytm wstecznej propagacji Eá GyZ .RQLHF]QRü XF]HQLD EH] QDXF]\FLHOD Z\VW SXMH Z SU]\SDGNX JG\ QLH ]QDP\ SU]\NáDGyZSUDZLGáRZHMNODV\ILNDFML:WHG\QLHSRWUDILP\SU]HZLG]LHüSRSUDZQ\FKZDUWRFL V\JQDáyZ Z\MFLRZ\FK XNáDGyZ NODV\ILNXMF\FK QHXURQyZ

(4) QLH ]QDMGXM ZL F ]DVWRVRZDQLDSURFHGXU\SRV]XNLZDQLDRSW\PDOQHMVWUXNWXU\XNáDGXNODV\ILNXMFHJRRSDUWH 1. =DNáDG$XWRPDW\NL,QVW\WXW$XWRPDW\NLL5RERW\NL:$7XO.DOLVNLHJR -908 Warszawa.. 139.

(5) :áRG]LPLHU].ZLDWNRZVNL. QD PLQLPDOL]DFML Eá GX V\JQDáyZ Z\MFLRZ\FK : W\P SU]\SDGNX QDMEDUG]LHM SRSXODUQH UR]ZL]DQLH SROHJD QD Z\NRU]\VWDQLX neuronów typu Winner Takes All L UHJXá\ XF]HQLD .RKRQHQD>@-HGQDNSUDZLGáRZHG]LDáDQLHWHJRW\SXVLHFLLVWRWQLH]DOH*\RGQRUPDOL]DFML V\JQDáyZ ZHMFLRZ\FK L ZDJ : SU]\SDGNDFK ]DGD NODV\ILNDFML Z NWyU\FK NRUHODFMD V\JQDáyZ QDOH*F\FK GR SRV]F]HJyOQ\Fh grup jest istotna, zastosowanie metody .RKRQHQD Z\PDJD V]F]HJyOQLH UR]ZD*QHM QRUPDOL]DFML WDN DE\ RGSRZLHGQLD LQIRUPDFMD QLH ]DJLQ áD 6]F]HJyOQ\ SUREOHP VWDQRZL ]DGDQLD Z NWyU\FK SRV]F]HJyOQH NODV\ SU]HNU\ZDM VL D UR]Uy*QLHQLH NODV MHVW PR*OLZH W\ONR SRSU]H] VSR*\WNRZDQLH LQIRUPDFML o korelacji danych. 3U]\NáDG]DGDQLDNODV\ILNDFMLZNWyU\PZ\VW SXMHSUREOHPXZ]JO GQLHQLDNRUHODFML danych jest przedstawiony na rys. 1. Na rys. 1 (a) jest zobrazowany zbiór danych SRGOHJDMF\FK NODV\ILNDFML 5\V (b) przedstawia oczekiwany wynik klasyfikacji. Na rys. 1 F

(6) SU]HGVWDZLRQRZ\QLNNODV\ILNDFMLRSDUWHMQDSRUyZQ\ZDQLXRGOHJáRFLHXNOLGHVRZHM– MHVWWRZ\QLNQLH]DGRZDODMF\ (b). (a). (c). 3. 3. 3. 2. 2. 2. 1. 1. 1. 0. 0. 0. -1. -1. -1. -2. -2. -2. -2. 0. 2. -2. 0. 2. -2. 0. Rys. 13U]\NáDG]DGDQLDNODV\ILNDFMLD

(7) GDQHE

(8) Z\QLNRF]HNLZDQ\F

(9) Z\QLN klasyfikacji opartej nDRGOHJáRFLHXNOLGHVRZHM. 2. 2GOHJáRü0DKDODQRELVD :SURZDG]LP\QDVW SXMFHR]QDF]HQLD 1) X - wektor cech obiektu z klasy . , 2) X = EX -ZDUWRüRF]HNLZDQDZHNWRUDFHFKNODV\. , 3) 5 = ( X − X

(10) X − X

(11) ′ - macierz kowariancji wektora cech klasy . .. 140. 2.

(12) .ODV\ILNDFMDPHWRGJUXSRZDQLDFHFK... 3U]\MPLHP\ ]DáR*HQLH *H macierz kowariancji 5 MHVW GRGDWQLR RNUHORQD 'OD GDQHM macierzy kowariancji 5 Z\]QDF]\P\ZDUWRFLZáDVQH λ N LZHNWRU\ZáDVQH W N : (1). 5 W N = λN W N. N = Q. 3RQLHZD* PDFLHU] NRZDULDQFML MHVW V\PHWU\F]QD L – ] ]DáR*HQLD - GRGDWQLR RNUHORQD ZDUWRFL ZáDVQH λ N V GRGDWQLH D ZHNWRU\ ZáDVQH W N macierzy 5 V U]HF]\ZLVWH i ortonormalne: (2).  W ′L W M =  . MHOL MHOL. L= M L≠ M. 3U]HNV]WDáFHQLH OLQLRZH RUWRJRQDOQH R PDFLHU]\ SU]HNV]WDáFHQLD 7 ′ , gdzie 7 jest PDFLHU]PRGDOQW]QXWZRU]RQ]ZHNWRUyZZáDVQ\FK (3). 7 = [W . W WQ ]. ]QDQH MHVW MDNR SU]HNV]WDáFHQLH .DUKXQHQD-Loève’a2 >@ ,VWRWD WHJR SU]HNV]WDáFHQLD polega na dekorelacji wektora cech, bowiem macierz kowariancji wyniku transformacji jest PDFLHU]GLDJRQDOQ (4). (>7 ′(X − X )@ >7 ′(X − X )@′ = 7 ′ (> X − X

(13) X − X

(14) @′ 7 =  W ′   W ′  W ′  W ′    ′ = 7 57 = 5 [W W W Q ] =   [5W 5W 5W Q ] =         W ′Q  W ′Q   W ′   λW ′W λ W ′W W ′  λ W ′ W λ W ′ W   [λ W λ W λQ W Q ] =  =       W ′Q  λW ′Q W λ W ′Q W . λ Q W ′W Q  λ Q W ′ W Q  = GLDJ (λλ λ Q )   λQ W ′Q W Q  . 2. 3U]HNV]WDáFHQLHWRMHVW]QDQHWDN *HMDNRSU]HNV]WDáFHQLH+RWHOOLQJD Por.: 1) Hotelling H.: Analysis of a complex of statistical variables into principle components, J. Educ. Psychology, 24, 417-441, 498-520, 1933. 2) Karhunen K.: Über lineare Methoden in der Wahrscheinlichkeitsrechnung. Ann. Acad. Sci. Fennicae, Ser. A, Math.-Phys., 37, 3-79, 1947. 3) Chien Y.T., Fu K.S.: On the generalized Karhunen-Loève expansion, IEEE Trans. Inf. Theory, IT-13,3, pp.518-520, 1967.. 141.

(15) :áRG]LPLHU].ZLDWNRZVNL. Otrzymany wynik jest zgodny ze znanym twierdzeniem3 *H GOD ND*GHM PDFLHU]\ symetrycznej 5 o elementach rzeczywistych istnieje macierz ortogonalna 7 WDND*H 7 ′5 7 = . (5) przy czym:. = GLDJ (λ λ λQ ). (6). 2FHQD ]JRGQRFL Z\QLNX SRPLDUX [ ] NODV . SROHJD QD REOLF]HQLX Uy*QLF\ badanego wyniku [ LZDUWRFLRF]HNLZDQHM X = EX FHFK\ZWHMNODVLHW]QZDUWRFL (7). a [ =[−X. DQDVW SQLH]DVWRVRZDQLXGRRWU]\PDQHMUy*QLF\SU]HNV]WDáFHQLD.DUKXQHQD-Loève’a:. (8). a  W ′[  \   ′ a \  W [  a  \= = 7′ [ =       a   \ Q  W ′Q [ . -HVWRF]\ZLVWH*HSU]HNV]WDáFHQLDRUWRJRQDOQH]DFKRZXMRGOHJáRüW]Q (9) Istota. 7 ′a [ wykorzystania. . [ ′ 7 7 ′a [=a [ ′a [= a [ =a transformaty. . Karhunena-Loève’a. polega. na. mo*OLZRFL. unormowania poszczególnych zdekorelowanych komponentów poprzez utworzenie QDVW SXMFHJRZHNWRUD. ( 10 ).    ]   ]   ] =   =        ] Q    . \   λ  \  λ   \Q  λ Q . Uzyskany w ten sposób wektor ] MHVWXQRUPRZDQ\ZW\PVHQVLH*HPDPDFLHU]NRUHODFML UyZQPDFLHU]\MHGQRVWNRZHM. 3. Por. np.: Kowalczyk B.: Macierze i ich zastosowania, WNT, Warszawa, 1976, str. 102.. 142.

(16) .ODV\ILNDFMDPHWRGJUXSRZDQLDFHFK... ( 11 ).  ]] ]] ]]Q  ] ] ] ] ] ]  Q ((]]′) = (  =     ]Q ] ]Q ] ]Q ]Q      =(      . \ \ λ \ \. \ \ . \ \ Q   λλQ  \\Q  λ λQ  = GLDJ ( )  \Q\Q  λ Q . . λλ \\ λ \Q\ λQ λ. λ λ \ Q \ λ Q λ. 2FHQD]JRGQRFLEDGDQHMFHFK\ [ ]NODV . SROHJDQDZ\]QDF]HQLXNZDGUDWXGáXJRFL wektora ] VWDQRZLFHJRXQRUPRZDQZDUWRüWUDQVIRUPDW\.DUKunena-Loève’a wektora a [ = [ − X W]QREOLF]HQLDQDVW SXMFHJRIXQNFMRQDáX a ) Q Q \ N ( W ′N [ a′W ) (W ′ [ a G ([ ) = ] ′] = ∑ ] = ∑ =∑ = ∑ ([ N N )= λ λ λ N = N = N = N N = N N Q. ( 12 ). N. Q. λ−  − a′[W W W ]  λ =[ Q    .      λ−Q . .  W ′  W ′  a = [ − X

(17) ′ 7 −7 ′ [ − X

(18) =  [     W ′Q . = [ − X

(19) ′ 5 − [ − X

(20) 3RZ\*V]\IXQNFMRQDáPR*HE\üLQWHUSUHWRZDQ\MDNRNZDGUDWRGOHJáRFLEDGDQego wyniku SRPLDUXRGZ]RUFDNODV\:\VW SXMFDZHZ]RU]H( 12

(21) ZD*RQDRGOHJáRüZSU]HVWU]HQL FHFKMHVW]Z\NOHQD]\ZDQDRGOHJáRFL0DKDODQRELVD4.. 3. Algorytm klasyfikacji =DSURSRQRZDQ\ VSRVyE RFHQ\ RGOHJáRFL EDGDQHJR Z\QLNX SRPLDUX cechy od Z]RUFD PR*H VWDQRZLü SRGVWDZ NODV\ILNDFML SRSU]H] JUXSRZDQLH NODVWHU\]DFM

(22) . 4. FLOHU]HF]ELRUF3&0DKDODQRELVZVZRMHMSUDF\>@]GHILQLRZDáRGOHJáR üPL G]\GZLHPDSRSXODFMDPL o równych macierzach kowariancji: G = X − X

(23) ′ 5 − X − X

(24) , gdzie 5 = 5 = 5 .. 143.

(25) :áRG]LPLHU].ZLDWNRZVNL. Grupowanie jest zaliczane do problematyki samoorganizacji, a odpowiednie algorytmy F] VWR V RNUHODQH QD]Z ,62'$7$ DQJ Iterative Self-Organizing Data Analysis Techniques). 0HWRG\ JUXSRZDQLD Z QDWXUDOQ\ VSRVyE ]QDMGXM ]DVWRVRZDQLH ZV] G]LH WDPJG]LH]DFKRG]LNRQLHF]QRüNODV\ILNDFMLEH]QDXF]\FLHOD 3U]HGVWDZLP\ ]D >@ SURVW\ DOJRU\WP JUXSRZDQLD PLQLPDOL]XMF\ VXP RGOHJáRFL wszystkich punktów grupy (klasteru) od jej centrum. 3U]\MPLHP\ *H GDQH ZHMFLRZH SURFHVX JUXSRZDQLD VWDQRZL ]ELyU ZHNWRUyZ ; = {[ [ [ 1 }. Zdanie polega na utworzeniu. /. grup. * N R QDVW SXMF\FK. ZáDFLZRFLDFK 1) Grupa * N zawiera /N wektorów ze zbioru ; JUXS\VUR]áF]QHLZVXPLHZ\F]HUSXM zadany zbiór ; .

(26) 'ODND*GHMJUXS\Z\]QDF]RQHMHVWMHMFHQWUXP ] N . 3) -DNR ZVND(QLN MDNRFL JUXSRZDQLD SU]\MPXMH VL VXP NZDGUDWyZ RGOHJáRFL VNáDGQLNyZJUXSRGFHQWUyZRGSRZLHGQLFKJUXSW]Q /. 4=∑. (13 ). ∑ [−]. N = [∈*N. N. $OJRU\WPUHDOL]DFMLSURFHVXJUXSRZDQLDPR*QDRSLVDüQDVW SXMFR .URN ZVW SQ\ L = ): 1DOH*\ Z\EUDü MDNR FHQWUD ]

(27) ]

(28) ] /

(29) grup dowolne, Uy*QLFHVL ZHNWRU\]H]ELRUX ; . Krok kolejny o numerze L : 'OD ND*GHJR ZHNWRUD [ ∈ ; QDOH*\ ]QDOH(ü JUXS WDN *H rozpatrywDQ\ZHNWRUMHVWSRáR*RQ\QDMEOL*HMMHMFHQWUXPW]QQDOH*\ZHNWRU [ ∈ ; ]DOLF]\ü do grupy o numerze N MHOL (14 ). [ − ] N (L ). . ≤ [ − ] M (L ). . dla wszystkich M = / ZSU]\SDGNXVSHáQLHQLDZDUXQNXSU]H]ZL FHMQL*MHGQJUXS EDGDQ\ ZHNWRU QDOH*\ ]DV]HUHJRZDü GR GRZROQHM DOH W\ONR MHGQHM ] QLFK

(30) :\QLNLHP SU]\SRU]GNRZDQLD ZHNWRUyZ GR JUXS MHVW XWZRU]HQLH ]ELRUyZ * N (L ) , gdzie N oznacza numer grup, a L - QXPHU LWHUDFML 'OD RWU]\PDQ\FK JUXS Z\]QDF]DQH V QRZH FHQWUD zgodnie z wzorem: (15 ). 144. ] N (L + ) =. . /N (L ). ∑[. [∈*N (L ).

(31) .ODV\ILNDFMDPHWRGJUXSRZDQLDFHFK... gdzie: /N (L ) = * N (L ) -OLF]HEQRüJUXS\ * N (L ) . .URNNRFRZ\ ProFHVJUXSRZDQLD]RVWDMH]DNRF]RQ\MHOLNROHMQDLWHUDFMDQLHSRZRGXMH zmian w grupach. =DVWRVRZDQLHRGOHJáRFL0DKDODQRELVDSROHJDQDZ\NRU]\VWDQLXZ]RUX [. (16 ). . = [ ′ 5 −[. (a). (b). -0.5. -0.5. -1. -1. -1.5. -1.5. -2. -2. -2.5. -2.5 1.5. 2. 2.5. 1.5. (c). 2.5. 2. 2.5. (d). -0.5. -0.5. -1. -1. -1.5. -1.5. -2. -2. -2.5. -2.5 1.5. 2. 2. 2.5. 1.5. Rys. 23U]\NáDGJUXSRZDQLDD

(32) GDQHE

(33) Z\QLNRF]HNLZDQ\F

(34) Z\QLNNODV\ILNDFML RSDUWHMQDRGOHJáRFLHXNOLGHVRZHMG

(35) Z\QLNNODV\ILNDFMLRSDUWHMQDRGOHJáRFL Mahalanobisa. 4. 8ZDJLNRFRZH Stosowanie prRFHGXU VDPRXF]HQLD VWDMH VL NRQLHF]QRFL Z SU]\SDGNDFK EUDNX GDQ\FK Z]RUFRZ\FK QS JG\ QLH ]QDP\ SU]\NáDGyZ SUDZLGáRZHM NODV\ILNDFML -HGQDN SURFHV\VDPRRUJDQL]DFMLV]QDWXU\U]HF]\WUXGQHGRVWHURZDQLDDRWU]\P\ZDQHZ\QLNL QLH ]DZV]H V ]JRGQH ] oczekiwanymi. Dlatego zwykle o powodzeniu zastosowania 145.

(36) :áRG]LPLHU].ZLDWNRZVNL. PHWRG\VDPRXF]HQLD JUXSRZDQLD

(37) PR*QDRU]HNDüMHG\QLHZRGQLHVLHQLXGRNRQNUHWQHJR problemu badawczego. 3U]HGVWDZLRQD Z DUW\NXOH PHWRGD ]RVWDáD RSUDFRZDQD GOD SRWU]HE VHJPHQWDFML V\JQDáX PRZ\ ZVW SQH Z\QLNL MHM ]DVWRVRZDQLD V ]DFK FDMFH 1D U\V (a) SU]HGVWDZLRQRSU]\NáDG]ELRUXZVSyáF]\QQLNyZ/3& U\VXQHNSU]HGVWDZLDZDUWRFLGZyFK SLHUZV]\FK ZVSyáF]\QQLNyZ /3&

(38) 5\V (b) przedstawia oczekiwany wynik klasyfikacji: ]ELyUZVSyáF]\QQLNyZVNáDGDVL ]F]WHUHFKJUXSND*GD]QLFKRGSRZLDGDQDJUDQLXJáRVNL “a” lub “y” przez jednego z dwóch mówców. Na rys. 2 (c) przedstawiono wynik klasyfikacji RSDUWHM QD SRUyZQ\ZDQLX RGOHJáRFL HXNOLGHVRZHM Z SU]HVWU]HQL FHFK – jest to wynik QLH]DGRZDODMF\ :\QLN JUXSRZDQLD XZ]JO GQLDMFHJR NRUHODFM GDQ\FK ]RVWDá przedstawiony na rys. 2 G

(39) -DNPR*QD]DXZD*\üRWU]\PDQ\Z\QLNJUXSRZDQLDMHVWEOLVNL oczekiwanemu.. Literatura [1]. Grad L., Zastosowanie transformaty Karhunena-Loeve’a do rozpoznawania mówcy, Biuletyn IAiR WAT, Nr 13, 2000.. [2]. Kwiatkowski W., 2 ]DVWRVRZDQLX PHWRG DSURNV\PDFML GR UR]ZL]\ZDQLD ]DGD NODV\ILNDFML V\JQDáyZ, Biuletyn IAiR WAT, Nr 4, 1996.. [3]. Kwiatkowski W., Klasyfikacja Karhunena-Loeve’a, Biuletyn IAiR WAT, Nr 13, 2000.. [4]. Kwiatkowski W., Podstawy systemów multimedialnych - Z\EUDQH SUREOHP\ SU]HNV]WDáFH i SU]HWZDU]DQLDV\JQDáyZ, IAiR WAT, 1999.. [5]. Mahalanobis P.C.: A generalized distance in statistics, Proc. Nat. Inst. Sci. India, 12, 4955,1936.. [6]. Osowski S.: Sieci neuronowe. Oficyna Wydawnicza Politechniki Warszawskiej, Warszawa, 1994.. [7]. Tou J. T., Gonzalez R.C., Pattern Recognition Principles, Addison-Wesley Publishing Company, 1974.. [8]. Warmus M.: 8RJyOQLRQHRGZURWQRFLPDFLHU]\, PWN, Warszawa, 1972.. 5HFHQ]HQWGUKDELQ*Marian Chudy, prof. WAT. 3UDFDZSá\Q áDGRUHGDNFML. 146.

(40)