M o ty w a cj a
Wiedzaoświeciejakąposiadaagentinteligentnyjestzkoniecznościniepełna iniepewna.Nawetwprzypadkachkiedymógłbyonzdobyćwiedzękompletnąipewną, możetobyćniepraktyczne. Wsztucznejinteligencjioddawnapróbowanobudowaćmechanizmyiformalizmy pozwalającewnioskowaćidziałaćwtakichwarunkach,poprzezdodanieoszacowania wiarygodnościposiadanychfaktówdownioskowanialogicznego.Przykładamimogą być:logikimodalne,logikatrójwartościowa,logikiniemonotoniczne,logikarozmyta, logikaprobabilistyczna,iinne. Praktycznezastosowaniatychmetodokazująsięjednakograniczone.Dopiero stosunkowoniedawnowzrosłozainteresowaniewykorzystaniemprawdopodobieństwa wsposóbbezpośredni.Topodejścieprzyniosłodużysukces,imetodyopartena reprezentowaniuwiedzyagentaoświeciewpostaciprawdopodobieństwsąjednymi znajbardziejdynamicznierozwijającychsiętechniksztucznejinteligencji.Wtym schemaciereprezentacjimetodąwnioskowaniajestmatematycznyrachunek prawdopodobieństwa. Przeglądpojęćzprawdopodobieństwa—motywacja1P ra w d o p o d o b ie ń st w o b e zw ar u n k o w e
Prawdopodobieństwobezwarunkowe(apriori)określaliczbowoszansę wystąpieniajakiegośzjawiska,gdyniesąznaneżadneokolicznościzwiązaneztym zjawiskiem(np.czyonowrzeczywistościsięwydarzyło). Graficznawizualizacjazdarzeńiichprawdopodobieństw: A ¬A✫✪✬✩P(A)=powierzchniakółka P(¬A)=dopełnieniedoprostokąta powierzchniaprostokąta=1 Np.:prawdopodobieństwo,żezgłaszającysiędolekarzapacjentjestchoryna nietypowezapaleniepłucSARS(SevereAcuteRespiratorySyndrome)1możewynosić P(SARS)=0.0001 Jednakgdybylekarzwiedział,żepacjentwłaśnieprzyjechałzHong-Konguima wszystkieobjawynietypowegozapaleniapłuc,toprawdopodobieństwoposiadaniaprzez niegochorobywywołanejtymwirusemnależałobyokreślićzupełnieinaczej. 1Wyjaśnienie:tenprzykładpowstałwroku2003kiedywChinachszalałaepidemiaSARS.SARSjestkoronawirusem powodującymciężkieinfekcjedrógoddechowych,zpoczątkowymiobjawamiprzypominającymigrypę.Niejestznana skutecznaterapia,jednakpo2004rokuliczbazachorowańnaświeciespadłado0. Przeglądpojęćzprawdopodobieństwa—prawdopodobieństwobezwarunkowe2
A k sj o m a ty p ra w d o p o d o b ie ń st w a
•0≤P(A)≤1 •P(True)=1 •P(False)=0 •P(A∨B)=P(A)+P(B)−P(A∧B) ✬ ✫✩ ✪
✬ ✫
✩ ✪ P(True)
P(A∧B)
P(A∨B) P(B) P(A) Przeglądpojęćzprawdopodobieństwa—prawdopodobieństwobezwarunkowe3
W ię ce j o a k sj o m a ta ch p ra w d o p o d o b ie ń st w a
Zdanychaksjomatówmożnawyprowadzićwieleużytecznychzależności: P(¬A)=1−P(A)(1) P(A)=P(A∧B)+P(A∧¬B)(2) (iinne). Aksjomatyprawdopodobieństwamajągłębokisens—ścisłetrzymaniesięich gwarantujeniepopełnieniebłęduwobstawianiuswoichszans.Inaczejmówiąc,gdyby wjakiejśgrzelosowejagentzastosowałwswoimrozumowaniuprawdopodobieństwa naruszająceteaksjomaty,igotówbyłprzyjmowaćzakładyzgodneztymi prawdopodobieństwami,toistniejestrategiaobstawianiawtychzakładach, gwarantującawygranąjegoprzeciwnikowi. Przeglądpojęćzprawdopodobieństwa—prawdopodobieństwobezwarunkowe4Z m ie n n e lo so w e
Zmiennalosowareprezentujejakieśzjawiskolosowe,któremożeprzyjmować wartościzpewnegozbioru(dziedzinyzmiennejlosowej). Np.:chcącokreślićjakabędziedziśpogodaizjakimprawdopodobieństwem,możemy potraktowaćdzisiejsząpogodę(PogodaDZIŚ)jakozmiennąlosową,którejwartości należądozbioru:{Słońce,Chmury,Deszcz,Śnieg} Zestawwartościprawdopodobieństwwszystkichmożliwychwartościzmiennejlosowej nazywamyrozkłademprawdopodobieństwatejzmiennejlosowej.Rozkład prawdopodobieństwadlazmiennejlosowejPogodaDZIŚmożnazapisać: P(PogodaDZIŚ)={0.8,0.1,0.09,0.01} Przeglądpojęćzprawdopodobieństwa—zmiennelosowe5Ł ą cz n y ro zk ła d p ra w d o p o d o b ie ń st w
Możemybraćpoduwagękilkazmiennychlosowychopisującychróżnezjawiskalosowe. Zdarzeniematomowymnazywamyprzypisaniewartościwszystkimzmiennymlosowym, czylikombinacjatychwartości.Naprzykład,dladwóchzmiennychlosowychXiY możnaskonstruowaćtabelęzdarzeńatomowych: X=x1X=x2...X=xn Y=y1 Y=y2 ... Y=yk Łącznyrozkładprawdopodobieństwa(JPD)dlazbioruzmiennychlosowychjesttabelą prawdopodobieństwwszystkichzdarzeńatomowych.Wpolutabeliwrzędziej ikolumnieiznajdujesięprawdopodobieństwojednoczesnegoprzyjęciaprzezzmienną XwartościxiiprzezzmiennąYwartościyj,czyliP(X=xi∧Y=yj).Sumując wtejtabeliwzdłużrzędówlubkolumnmożemyotrzymaćprawdopodobieństwadla poszczególnychwartościpojedynczychzmiennych.Sumawszystkich prawdopodobieństwcałejtabelidaje1.0. Przeglądpojęćzprawdopodobieństwa—zmiennelosowe6P o sł u g iw a n ie si ę ta b e lą J P D
MającwypełnionątabelęJPDmożemyobliczaćprawdopodobieństwadowolnych zdarzeń.Naprzykład: •PrawdopodobieństwozdarzeniapolegającegonaprzyjęciuprzezzmiennąXwartości xiP(X=xi)możemyobliczyćprzezzsumowaniewszystkichwartościwkolumniei tabeliJPD. •Prawdopodobieństwozdarzeniapolegającegonatym,żezmiennaXprzyjmie wartośćxilubżezmiennaYprzyjmiewartośćyjmożemyobliczyćprzezzsumowanie wszystkichwartościwkolumnieiirzędziejtabeliJPD,liczączawartośćpola(i,j) tabelitylkoraz.Jakwidaćwynikbędziedokładnietensam,jakgdybyobliczaćztabeli wartościwedługwzoru: P(A∨B)=P(A)+P(B)−P(A∧B) Jednakabywtensposóbposługiwaćsięprawdopodobieństwamimusimyobliczyć prawdopodobieństwawszystkichzdarzeńatomowych,ikompletniewypełnićtabelę JPD,comożebyćkosztowne. Przeglądpojęćzprawdopodobieństwa—zmiennelosowe7O b li cz a n ie p ra w d o p o d o b ie ń st w a to m o w yc h
Skądpochodządaneoprawdopodobieństwach?Możnajezgromadzićstatystycznie, możnadokonaćanalizyiobliczyćjakoinherentnecechyzjawiskafizycznego,można równieżzwiązaćteprawdopodobieństwazagentem,charakteryzującjegopunkt widzenianaświat. Naprzykład,jakiejestprawdopodobieństwozdarzenia,żesłońcebędzieistniałojutro? Możnapróbowaćtoobliczyćnawielesposobów,przyjmującróżnepunktywidzenia: •niedasięokreślić,boniesposóbprzeprowadzićniezbędnycheksperymentów, •poprzednie„podobne”eksperymentydowodzą,żesłońce„zawsze”istnieje,więc prawdopodobieństwowynosi1, •prawdopodobieństwowynosi1−ǫgdzieǫjestprawdopodobieństwemwybuchu gwiazdydanegodnia, •prawdopodobieństwowynosid/(d+1)gdziedjestliczbądnidotychczasowego istnieniasłońca, •prawdopodobieństwomożnaokreślićbudującmodelistnieniairozpadusłońcana podstawiezachowaniainnych,podobnychgwiazd. Przeglądpojęćzprawdopodobieństwa—zmiennelosowe8P ro b le m M o n ty H a ll a (1 9 7 5 )
Bierzemyudziałwgrzetelewizyjnej.Mamywybraćjedneztrojgadrzwi,gdzie zajednymiznichstoisamochóddowygrania.Nieposiadamyżadnych dodatkowychinformacji,więcwybieramynp.drzwinumer1.Wtedyprowadzący gręotwierajednezpozostałychdwojgadrzwi—załóżmy,żesątodrzwi numer3—zaktórymijestpusto,idajenammożliwośćzmianypierwotnego wyboru,lubpozostaniaprzyswoim. Copowinniśmyzrobić,żebyzmaksymalizowaćszansęwygraniaauta? Pierwotneprawdopodobieństwowygranejwynosiło1/3.Pootwarciudrzwinr3 musimyuznać,żewzrosło,tylkopytanieoile? Możnabyprzyjąć,żeterazgrajakbyzaczynasięodnowa,mamytylkodwojedrzwido wyboru,iprawdopodobieństwowygranejbędzierówne1/2. Alemożnateżprzyjąćinnypunktwidzenia,żeprowadzący,wiedzącgdziestoi samochód,otworzyłinnedrzwi,wtensposóbprzekazującnamczęśćswojejwiedzy. Prawdopodobieństwo,żewygranajestzadrzwiaminr2lub3wynosiło2/3,iteraz nadaltylewynosi,ponieważwynikatozlosowegojejrozmieszczenia.Tylkomyteraz wiemy,którychzdrzwi2lub3nienależywybierać. Któryzpowyższychpunktówwidzeniajestsłuszny?Czytojesttylkokwestianaszego subiektywnegowyboruktórypunktwidzeniaprzyjmiemy? Prawdopodobieństwowarunkowe—wnioskowanienaprawdopodobieństwach9 Jednakjesttorzecznajzupełniejobiektywna.Możnaprzeprowadzićserię eksperymentów,iobliczyćprawdopodobieństwoznalezieniasamochoduzadrzwiami pierwotniewybranymi,iza„tymidrugimi”.Obliczonawartośćprawdopodobieństwa potwierdzisłusznośćjednegozmożliwychwyjaśnień.2 Rozważmyinneprzykłady: •Lekarzoszacowałprawdopodobieństwowystąpieniagroźnejchorobypacjenta,lecz poprzeprowadzeniuspecjalistycznychbadańwyszłoonobardzoniskie,np.0.001 ilekarzzdecydowałoniepodejmowaniuleczeniatylkoobserwacjipacjenta.Jednak pojawiłysięnoweobjawy,mogące—zpewnymprawdopodobieństwem,np.0.005 —potwierdzaćpierwotnągroźnądiagnozę.Jakzaktualizowaćprawdopodobieństwo tejchoroby? •Studentoszacowałprawdopodobieństwop1zdaniatrudnegoegzaminu,abypodjąć decyzję:czypowiniensystematyczniesięnauczyć,czymożepoprzestaćna znajomościpytańzlatpoprzednich(iszablonuodpowiedzi).Wyszło,żeniewarto sięuczyć.Lecznaglewykładowcazapowiedział,żeułożynowetrudniejszepytania. Wiadomo,żetakiezapowiedziwykładowcysąbardzoniepewne.Jestczłowiekiem bardzozajętym,możeblefować,izprawdopodobienstwemp2nicnowegonieułoży. Jednakryzykooblaniaegzaminutrzebaobliczyćodnowa,tylkojak? 2Oczywiściesłusznejestdrugiewyjaśnienie,izmianawyborunadrzwinr2zwiększaszansewygranejdo2/3. Prawdopodobieństwowarunkowe—wnioskowanienaprawdopodobieństwach10W n io sk o w a n ie n a p ra w d o p o d o b ie ń st w a ch
Powyższescenariuszeilustrująprzykładywnioskowaniajakiechcielibyśmyprowadzićna zmiennychlosowychiprawdopodobieństwach.Wwielupraktycznychsytuacjachpewne prawdopodobieństwamogąbyćdobrzeznane,alegdysytuacjasięzmienianależałoby przeprowadzićnowebadaniabyzaktualizowaćteprawdopodobieństwa.Jestto uciążliweiniezawszemożliwe. Zamiasttegowygodniejeststosowaćprawdopodobieństwowarunkowe. Prawdopodobieństwowarunkowe—wnioskowanienaprawdopodobieństwach11 Prawdopodobieństwowarunkowe—wnioskowanienaprawdopodobieństwach12P ra w d o p o d o b ie ń st w o w ar u n k o w e
Prawdopodobieństwowarunkowe(aposteriori)P(A|B)— prawdopodobieństwozdarzeniaAobliczanetylkowsytuacjach,wktórychBjest spełnione.Jestzwiązanezbezwarunkowymwzorem: P(A|B)=P(A∧B) P(B)(3) Wzórtenmożnawytłumaczyćnastępująco:abyobliczyćprawdopodobieństwoP(A|B) musimywziąćułamekprzypadkówzdarzeniaA∧Bwewszystkichprzypadkach zdarzeniaB. ✬ ✫✩ ✪
✬ ✫
✩ ✪P(A∧B)P(B) P(A) Prawdopodobieństwowarunkowe—definicjaiwłasności13 Innewytłumaczeniemożnaprzedstawićnapodstawiewzoruodwróconego: P(A∧B)=P(A|B)P(B)(4) AbyobliczyćP(A∧B)musimywiedzieć,żenastąpiłoB,iwiedzącto,wtedyobliczyć prawdopodobieństwoA.(Albonaodwrót.) Ważny,częstoprzydatnywzórwiążącybezwarunkoweprawdopodobieństwozdarzenia zwarunkowymotrzymujemyzpołączeniawzorów(2,str.4)i(4): P(A)=P(A|B)P(B)+P(A|¬B)P(¬B)(5) Należypodkreślić,żeprawdopodobieństwowarunkowedlaustalonegowarunkuspełnia wszystkieaksjomatyprawdopodobieństwa,azatemposiadawszystkiewłasności prawdopodobieństwabezwarunkowego,naprzykład: P(A|B)+P(¬A|B)=1(6) Prawdopodobieństwowarunkowe—definicjaiwłasności14
Musimyposługiwaćsięprawdopodobieństwemwarunkowym,ilekroćchcemywyliczyć prawdopodobieństwojakiegośzdarzeniawsytuacji,gdyposiadamyjakąświedzę oinnych,byćmożezależnychzdarzeniach.P(A)jestpoprawnym prawdopodobieństwemzdarzeniaAoilenieposiadamyżadnejwiedzy.Jeślijednak wiemy,żeB,topoprawnymprawdopodobieństwemzdarzeniaAjestP(A|B), agdybyśmydowiedzielisię,żejeszczeC,tomusimyjużposługiwaćsię prawdopodobieństwemP(A|B∧C).Wtensposóbmożemyuważać,że prawdopodobieństwobezwarunkoweP(A)jestprawdopodobieństwemwarunkowym P(A|)wsytuacji,gdynieposiadamyżadnejwiedzy. Prawdopodobieństwawarunkowemożnaobliczaćztablicyłącznegorozkładu prawdopodobieństwaJPDzapomocąwzoru(3). Jednaknietaksięzwyklerobi. Prawdopodobieństwowarunkowe—definicjaiwłasności15 Prawdopodobieństwowarunkowe—definicjaiwłasności16
R e g u ła B ay e sa
Zdwukrotnegozastosowaniawzoru(3)możemyuzyskaćnastępującąprostązależność, zwanąregułąBayesa,będącąpodstawąwieluprocesówwnioskowania probabilistycznego: P(B|A)=P(A|B)P(B) P(A)(7) Dlaczegotaregułamaznaczenie?Wróćmydoprzykładuzpacjentemzobjawami SARS,niezwyklegroźnejchoroby.Załóżmy,żeupacjentaprzeprowadzonotestna obecnośćwirusa,iwypadłonpozytywnie.Czypacjentanależykoniecznie hospitalizowaćirozpocząćleczenie?Okazujesię,żetozależy! Przeprowadzonytestnigdyniejestcałkowicieniezawodny.Jeślijestdobry,to zapewniawysokieprawdopodobieństwowynikupozytywnego(potwierdzającego obecnośćwirusa)wprzypadkach,kiedywirusrzeczywiściejestobecny.Równieważne okazujesięwymaganie,żebytestzwysokimprawdopodobieństwemdawałwynik negatywnywprzypadkachbrakuwirusa. CzylitestzapewniaodpowiedniowysokąwartośćP(T⊕ |SARS)jakrównież P(T⊖|¬SARS).Jednaktocointeresujelekarza,aprzedewszystkimjegopacjenta,to jestwartośćP(SARS|T⊕)alboP(¬SARS|T⊖). Prawdopodobieństwowarunkowe—regułaBayesa17R e g u ła B ay e sa — p rz yk ła d
Jakwidać,abynapodstawieprzeprowadzonegobadaniapróbkikrwiwnioskować oprawdopodobieństwiechoroby,koniecznejestodwróceniewarunków prawdopodobieństwawarunkowego,czyliwłaśnieskorzystaniezregułyBayesa. Załóżmy,żetestnaSARSdajewynikpozytywnyw95%przypadkówobecnościwirusa. Wprzypadkubrakuwirusa,testdajewyniknegatywny(tzn.prawidłowy)w90% przypadków.Wiadomo,żewiruswystępujeu0.01%ogółuludności. P(SARS)=0.0001 P(T⊕ |SARS)=0.95 P(T⊖ |¬SARS)=0.90 Rozważmypacjenta,dlaktóregotestdałwynikpozytywny. Jakiejestprawdopodobieństwo,żepacjentmaSARS? MusimyobliczyćP(SARS|T⊕ )! Prawdopodobieństwowarunkowe—regułaBayesa18P(SARS|T⊕ )=P(T⊕ |SARS)P(SARS) P(T⊕) brakujenamwartościP(T⊕),którąmożemywyliczyćzwzoru(5,str.14): P(T⊕ )=P(T⊕ |SARS)P(SARS)+P(T⊕ |¬SARS)P(¬SARS) P(T⊕ )=0.95×0.0001+0.10×0.9999 P(T⊕ )=0.000095+0.09999 P(T⊕ )=0.100085 iwkońcuobliczamyinteresującąwartość: P(SARS|T⊕ )=0.95×0.0001 0.100085 P(SARS|T⊕ )=0.00094919 czyliponiżejjednegopromila!Prawiedziesięćrazypowyżejprzeciętnej,aleczydosyć abyrozpocząćbyćmożekosztownąinieobojętnądlazdrowiaterapię?? Prawdopodobieństwowarunkowe—regułaBayesa19 Widać,żeposiadającwiedzęprzyczynowo-skutkowąomechanizmachchoroby iwynikachtestów,możemyobliczaćinteresującenasprawdopodobieństwa diagnostyczne.Możenasuwaćsiępytanie,dlaczegotrzebateprawdopodobieństwa każdorazowoobliczać;czemuproducenttestupodajewartościP(T⊕ |SARS) iP(T⊖|¬SARS),zamiastodrazuwygodniewyliczyćpotrzebnąużytkownikowitestu wartośćP(SARS|T⊕)? Odpowiedźwynikazłatwiejszejdostępnościdanychprzyczynowychniż diagnostycznych,którychokreślaniemożebyćzłożone.Naprzykład,gdybywystąpił nagływzrostzachorowańnaSARS(epidemia—Epi),towartośćP(SARS) gwałtowniebywzrosła,azaniąrównieżP(SARS|T⊕ ).JednakwartośćP(T⊕ |SARS) powinnapozostaćbezzmian,ponieważodzwierciedlaonajedyniefizjologięchoroby idziałanietestu.Zatemwcześniejszeobliczeniapozostanąsłuszne,pouwzględnieniu zwiększonejwartościP(SARS).3 3ZmianieulegniewtedyrównieżwartośćP(T⊕)obliczanejakoP(T⊕|Epi),jednakmożemyjąobliczyć: P(T⊕|Epi)=P(T⊕|SARS,Epi)P(SARS|Epi)+P(T⊕|¬SARS,Epi)(1−P(SARS|Epi)) Prawdopodobieństwowarunkowe—regułaBayesa20
R e g u ła B ay e sa — n ie za le żn o ść w ar u n k ó w
Powróćmydonaszegopacjenta,zpozytywnymwynikiemtestuSARS.Byćmoże otrzymanawartośćprawdopodobieństwaniejestwystarczającadodefinitywnego stwierdzeniachoroby,izakwalifikowaniapacjentanaleczenie.Wyobraźmysobie,że istniejedrugitestoinnychcharakterystykach,ioczywiścieoinnymrozkładzie prawdopodobieństw. Jeślipotraktujemytendrugitestjakotrzeciązmiennąlosową,topouzyskaniujego wynikumusimyobliczaćprawdopodobieństwoSARSjakouwarunkowanewynikamiobu testów.WogólnymprzypadkuwzórnaP(SARS|Test⊕ 1∧Test⊕ 2)będzieuwzględniał zależnościpomiędzywynikamiobutestów.Tooznaczakoniecznośćobliczania, wprzypadkuwieluzmiennychlosowych,dużejliczbyprawdopodobieństw,co teoretycznieniweczyzaletyużyciaprawdopodobieństwawarunkowegozamiastJPD. Ważnymelementemjestzauważenie,żewynikiobutestów zależątylkoodwystępowaniawirusa,anieodsiebie nawzajem.Pouwzględnieniutejobserwacjiupraszczająsię wzory,ipotrzebnejesttylkowyliczenieprawdopodobieństw warunkowychwynikówposzczególnychtestów.✤ ✣
✜ ✢SARS ✧✦
★✥ T1 ✧✦
★✥ T2
✁ ✁ ✁ ✁✁☛
❆ ❆
❆ ❆❆❯
Prawdopodobieństwowarunkowe—regułaBayesa21 P(SARS|T⊕ 1,T
P(SARS∩T⊕ 2)=
⊕ 1∩T
⊕ 2) ⊕ 1⊕ 2P(T∩T) P(T =
⊕ 1∩T
⊕ 2|SARS)P(SARS) P(T
⊕ 1∩T
⊕ 2) P(T =
⊕ 1|SARS)P(T
⊕ 2|SARS)P(SARS) P(T
⊕ 1)P(T
⊕ 2) licrystykijakobnyzoakmwcześniejtewaryGchbyobatestdymłyidentyczneia ówikzobutestywwskazałbynawynotnytoprwzykłade,zirzymanypozyty cz10ylijużprawieni0razywiększeż25,do90st00prawpodobieńwochorobyrówne0. inji.rmfoacubrzyprak rewe—BgułaunayesakooarwwsteńbidopodowraP22
S ie ci p rz e k o n a ń
Łącznyrozkładprawdopodobieństwapozwalaznajdowaćodpowiedzinapytania dotyczącedziedzinyproblemowej,lecztrudnosięnimposługiwaćprzywielu zmiennych.Ponadto,określanieprawdopodobieństwdlazdarzeńatomowychmoże wymagaćprzeprowadzeniakompleksowychbadaństatystycznych. JakwynikazprzedstawionegoprzykładuzwirusemSARS,możnazbudowaćgraf przedstawiającyrzeczywistezależnościmiędzyzmiennymilosowymi,ipowyznaczeniu ichprawdopodobieństwwarunkowychefektywnieobliczaćprawdopodobieństwainnych zdarzeń.Ściślej,sieciąprzekonań(beliefnetwork,Bayesiannetwork,probabilistic network)nazywamynastępującygraf: •węzłamisiecisązmiennelosowe, •łukisiecisąskierowane,iłukX−→Ymaintuicyjneznaczenie:„zmiennaXma bezpośredniwpływnaY”, •każdywęzełXmazwiązanąznimtablicęprawdopodobieństwwarunkowych określającychwpływwywieranynaXprzezjegorodziców(poprzednikówwgrafie), •siećniemożemiećcykli(skierowanych). Probabilistycznesieciprzekonań—koncepcja23 Budowasiecipoleganawyznaczeniujejtopologii,orazprawdopodobieństw warunkowychdlawęzłów,dlaktórychistniejąbezpośredniezależności. Ideasieciprzekonańzasadzasięnawzględnejłatwości,zjakąmożemywyznaczać prawdopodobieństwatychbezpośrednichzależności.Prawdopodobieństwainnych zdarzeńbędziemywyznaczaćjużzgotowejsieci. Probabilistycznesieciprzekonań—koncepcja24S ie ci p rz e k o n a ń — p rz yk ła d
Przykład:systemalarmowywmieszkaniu,reagujenawłamaniaoraz,niestety,również nadrobnetrzęsienia(ziemi).SąsiedziJohniMarysąumówieni,żebyzadzwonićdo właścicielagdyusłysząalarm.Johnjestnadgorliwyibierzeróżnezdarzenia(np. dzwonektelefonu)zasygnałalarmowy(iwtedyzawszedzwoni).Maryrozpoznaje alarmpoprawnie,leczczęstosłuchagłośnejmuzykiimożegowogóleniedosłyszeć. Będzienasinteresowaćokreślenieprawdopodobieństwatego,żewraziewłamaniaktoś zadzwoni,żebynaszawiadomić,jakrównieżtego,żezawiadomienieowłamaniumoże byćfałszywe. AlarmEarthquake MaryCallsJohnCalls
Burglary Probabilistycznesieciprzekonań—koncepcja25 Zauważmy,żeignorujemytutajwieleistotnychczynników,np.toczyMarysłucha wdanejchwilimuzykęczynie,ponieważtomożebyćniemożliwedoustalenia, ireprezentujemycałąniepewnośćinieokreślonośćsytuacjiwprawdopodobieństwach warunkowychdanychzmiennychlosowych. Ogólnie,musimyokreślićprawdopodobieństwawarunkowedlazmiennychlosowych wzależnościodinnychzmiennych,któresąreprezentowanewnaszejsieci.Konkretnie, musimyokreślićprawdopodobieństwawarunkowedlakażdejwartościzmiennejlosowej Xdlawszystkichkombinacjiwartościzmiennychlosowych,odktórychzmiennaX zależy. BurglaryEarthquakeP(Alarm|Burglary,Earthquake) (włamanie)(trz.ziemi)TrueFalse TrueTrue0.9500.050 TrueFalse0.9400.060 FalseTrue0.2900.710 FalseFalse0.0010.999 Probabilistycznesieciprzekonań—koncepcja26
Zestawtakichprawdopodobieństwtworzytablicęprawdopodobieństw warunkowychCPT(conditionalprobabilitytable).Dlazmiennych,któreniezależą odniczegomusimyokreślićprawdopodobieństwaapriori.Wtakimprzypadkutabela CPTmatylkojedenrządzwartościamiprawdopodobieństwdlamożliwychwartości zmiennejlosowej(sumującymisiędo1.0). Kompletnasiećprzekonańdlaprzykładuzsystememalarmowym: .001P(B) .002P(E) Alarm
Earthquake MaryCallsJohnCalls
Burglary B T T F F
E T F T F
.95 .29 .001.94
P(A|B,E) A T F.90 .05
P(J|A)A T F.70 .01
P(M|A) Probabilistycznesieciprzekonań—koncepcja27
P rz yk ła d o w a si e ć w sy st e m ie J a va B ay e s
Probabilistycznesieciprzekonań—koncepcja28K o n st ru k cj a si e ci p rz e k o n a ń
Możnawidziećsiećprzekonańjakopewnąreprezentacjęłącznegorozkładu prawdopodobieństwzmiennychlosowych.Tenrozkładjesttabeląokreślającą pojedynczeprawdopodobieństwazdarzeńtypuP(X1=x1,...,Xn=xn).Wskrócie zapisujemytoprawdopodobieństwojako:P(x1,...,xn).Korzystajączfaktu,że prawdopodobieństwokoniunkcjimożemywyrazićprzeziloczynprawdopodobieństw warunkowychprzezprawdopodobieństwazależności(wzór(3)nastronie13),mamy: P(x1,...,xn)=nY i=1P(xi|Poprzedniki(Xi))(8) Zatemkażdapozycjawtablicyprawdopodobieństwałącznegojestiloczynem odpowiednichelementówwtablicyCPT,czyliCPTjestelementarnąreprezentacją łącznegorozkładuprawdopodobieństwaJPD. Probabilistycznesieciprzekonań—konstrukcja29 Dlapoprzedniegoprzykładu,obliczmyprawdopodobieństwo,żerozległsięalarm, przyczymniewystąpiłoanitrzęsienieziemianiwłamanie,aleobojeJohniMary zadzwonili. P(J∧M∧A∧¬B∧¬E) =P(J|A)P(M|A)P(A|¬B∧¬E)P(¬B)P(¬E) =0.90×0.70×0.001×0.999×0.998 =0.00062 Wtensposóbmożnaodpowiadaćnadowolnezapytaniawyliczającpozycjełącznego rozkładuprawdopodobieństwa,np.przezwyliczeniecałejtabeliJPD(jointprobability distribution),ztabeliCPT.Jednakjeślimamywielezmiennychtotametodajest bardzopracochłonnaiistniejąbardziejbezpośrednieiefektywnemetody. Probabilistycznesieciprzekonań—konstrukcja30A lg o ry tm b u d o w y si e ci p rz e k o n a ń
Otrzymanywzórnaprawdopodobieństwołącznemożnawogólnościprzedstawić wnastępującysposób: P(x1,...,xn)=P(xn|xn−1,...,x1)P(xn−1,...,x1) =... =P(xn|xn−1,...,x1)···P(x2|x1)P(x1) =nY i=1P(xi|xi−1,...,x1) Zporównaniapowyższegorównaniazrównaniem(8)nastronie29możemywyciągnąć wniosek,że: P(Xi|Xi−1,...,X1)=P(Xi|Poprzedniki(Xi))(9) oiletylkoPoprzedniki(Xi)⊆{xi−1,...,x1} Ostatniązależnośćłatwojestosiągnąćnumerujączmiennelosowezgodnie zczęściowymporządkiemokreślonymprzezłukinasieci. Probabilistycznesieciprzekonań—konstrukcja31 Tewynikimożnazinterpretowaćwtensposób,żesiećprzekonańjestpoprawną reprezentacjądziedzinypodwarunkiem,żekażdywęzełjestwarunkowoniezależnyod swoich(dalszych)przodków,próczbezpośrednichrodziców.(Inaczej:całazależność jednejzmiennejoddrugiejwyrażonajestwjawnejzależnościodrodziców,inne zależnościsąwtórne.) Wskazujenamtowjakiwięcsposóbmusimykonstruowaćsieciprzekonań.Intuicyjnie, bezpośrednimirodzicamiwęzłaXipowinnybyćwszystkietewęzłyX1,...,Xi−1,które bezpośredniowpływająnaXi,iżadneinne. Dlazmiennychzprzedstawionegowcześniejprzykładu,możnaprzypuszczać,żeB wpływanaM,aleniewpływabezpośrednio.Możnatopodsumowaćnastępująco: P(M|J,A,B,E)=P(M|A) Probabilistycznesieciprzekonań—konstrukcja32Ogólnyalgorytmkonstrukcjisieci: 1.WybierzzbiórzmiennychlosowychXiopisującychdziedzinę. 2.Wybierzporządeknatychzmiennych. 3.Dopóty,dopókipozostałyjeszczezmienne: (a)WybierzzmiennąXi,którazależybezpośredniotylkodozmiennychjuż wybranych,idodajdosieciwęzełdlaniej (b)UstalPoprzedniki(Xi)jakominimalnyzbiórwęzłówjużumieszczonychwsieci, takbybyłaspełnionawłasnośćniezależności(9)nastronie31 (c)OkreślprawdopodobieństwawarunkowedlaXi. Algorytmtengwarantuje,żesiećniebędziemiałacykli,jakrównież,żeniebędą określaneżadnenadmiarowewartościprawdopodobieństw,któremogłybynaruszyć aksjomatyprawdopodobieństwa(zwyjątkiemjednejdopełniającejliczbywkażdym rzędzie). Probabilistycznesieciprzekonań—konstrukcja33 Probabilistycznesieciprzekonań—konstrukcja34
Z w ar to ść si e ci i n ie o p ty m a ln e p o rz ą d k i w ę zł ó w
Sieciprzekonańsązwyklewnaturalnysposóbzwarte,ponieważzwykletylkoniewielka liczbazmiennychlosowych,spośródbyćmożewielkiejichliczby,wpływanakażdą pojedynczązmienną. Naprzykład,dlasiecion=20węzłach,wktórejmaksymalnaliczbazależności dlawęzłówwynosik=5,dlazmiennychbinarnychtabliceCPTdlawęzłówbędą miałymaksymalnie2k =32wartościprawdopodobieństwadookreślenia,codaje dlacałejsiecin×2k =640wartości.KompletnatablicaJPDma 2n≈1,000,000wartości. Taoszczędnośćjestmożliwatylkowtedy,gdyzmiennemająbezpośredniązależność tylkoodpewnej(małej)liczbyinnychzmiennych,czyliwarunkowąniezależnośćod większościzmiennych.Gdybyzmiennewsiecimiałyzależnościodwszystkichinnych zmiennychtoreprezentacjatychzależnościwpostacisieciprzekonańmiałabyniewielki sens.Jednakwwiększościzagadnieńpraktycznychistniejesilnastrukturaproblemu, którąmożnawefektywnysposóbwykorzystaćwbudowiesieci. Probabilistycznesieciprzekonań—konstrukcja35 Czasamimożnatoosiągnąć,ignorującpewnezależnościoniewielkim prawdopodobieństwie(np.bezpośredniwpływtrzęsieńzieminafaktczysąsiedzi zadzwoniączynie,którymożebyćznaczącylubnie).Wprowadzatopewną niedokładnośćwsieci,alemożeznacznieuprościćjejkonstrukcję. Jednakznaczniebardziejnazwartośćwpływapoprawneokreślenieporządku zmiennych. JohnCallsMaryCalls Alarm Burglary Earthquake
MaryCalls Alarm
Earthquake Burglary
JohnCalls Powyższeprzykładyilustrująwynikiotrzymanezkonstrukcjisieciprzyniewłaściwej kolejnościrozpatrywaniawęzłów(np.M,J,A,B,E). Probabilistycznesieciprzekonań—konstrukcja36
W n io sk o w a n ie w si e ci a ch p rz e k o n a ń — p rz yk ła d
Przykładwnioskowaniadiagnostycznego:mamysiećopisującąpodstawowezjawiska towarzysząceuruchamianiusamochodu.Stanpoczątkowy:autoniechceodpalić. Mamyzdarzeniaobserwowalne(węzłyzielone),izdarzeniaidentyfikującekonkluzje wnioskowaniadiagnostycznego(przyczynyawarii—węzłypomarańczowe).Węzły szaresąwęzłamiwewnętrznymi,które,opisującpewnezjawiskawewnętrzne izależności,pozwalajązmniejszyćwielkośćsieci. lights no oilno gasstarter brokenbattery agealternator brokenfanbelt broken battery deadno charging battery flat gas gauge
fuel line blocked oil light
battery meter car won’t startdipstick Probabilistycznesieciprzekonań—wnioskowanie37
W n io sk o w a n ie w si e ci a ch p rz e k o n a ń — p rz yk ła d (2 )
Bardziejrozbudowanyprzykład,służącydoprzewidywaniakosztówodszkodowania (medical,liability,property),napodstawiedanychzformularzaubezpieczeniowego (pozostałeniewyszarzonewęzły). SocioEcon Age GoodStudent ExtraCar Mileage VehicleYearRiskAversion SeniorTrain DrivingSkillMakeModel DrivingHist DrivQualityAntilock AirbagCarValueHomeBaseAntiTheft Theft OwnDamage PropertyCostLiabilityCostMedicalCostCushioning
RuggednessAccident OtherCostOwnCost Probabilistycznesieciprzekonań—wnioskowanie38