Agnieszka Nowak – Brzezińska

Agnieszka Nowak – Brzezińska



Klasyfikacja Bayesowska jest klasyfikacją statystyczną.



Pozwala przewidzieć prawdopodobieństwo przynależności obiektu do klasy. Opiera się na twierdzeniu Bayesa.



Twierdzenia Bayesa pokazuje, w jaki sposób obliczyć prawdopodobieństwo warunkowe P(H|X), jeśli znane są prawdopodobieństwa: warunkowe P(X|H) oraz bezwarunkowe P(H) i P(X).



Prawdopodobieństwa: P(X|H), P(H) oraz P(X) mogą być

bezpośrednio wyliczone z danych zgromadzonych w

treningowym zbiorze danych (w bazie danych).

 Każdy obiekt traktowany jest jako wektor X (krotka) wartości atrybutów A₁, ..., A_n: X = (x1, x2, ..., xn).

 Niech C₁, ..., C_m będą klasami, do których może należeć X,

 P(C|X) niech oznacza prawdopodobieństwo przynależności X (ściślej: obiektów o właściwości X) do klasy C.

 W klasyfikacji Bayesa przypisujemy X do tej klasy, do której prawdopodobieństwo warunkowe przynależności X jest największe.

 X jest więc przypisany do C_i, jeśli P(C_i|X) ≥ P(C_k|X), dla każdego k, 1 ≤ k ≤ m, k ≠ i.

1. W klasyfikacji Bayesa maksymalizujemy:

2. Ponieważ P(X) jest stałe, więc wystarczy maksymalizować Iloczyn P(X|C_i)P(C_i).

3. Ponadto przyjmujemy: P(C_i) = s_i / s,

gdzie s oznacza liczbę obiektów w zbiorze treningowym, a s_i oznacza liczbę obiektów w klasie C_i.

4. Dla X = (x₁, x₂, ..., x_n), wartość P(X|C_i) obliczamy jako iloczyn: P(X|C_i) = P(x₁|C_i)*P(x₂|C_i)* ... *P(x_n|C_i),

przy czym: P(x_k|C_i) = s_ik / s_i,

gdzie s_ik oznacza liczbę obiektów klasy C_i, dla których wartość atrybutu A_k jest równa x_k, a s_i oznacza liczbę wszystkich obiektów klasy Ci w zadanym zbiorze treningowym.

Klasyfikacja bayesowska, to metoda budowy systemu ekspertowego, w której wiedza przedstawiona jest á priori z warunkowymi prawdopodobieństwami, a wnioskowanie polega na liczeniu następnych prawdopodobieństw.

Mechanizm wnioskowania wykorzystujący twierdzenie Bayesa polega na obliczaniu prawdopodobieństwa każdego możliwego wyniku, gdy znany jest dany konkretny przypadek.

Wadą tej metody jest fakt, że wymaga ona znajomości dokładnych wartości lub rozkładów prawdopodobieństw pojawienia się parametrów zjawiska, czyli problemu będącego przedmiotem rozważań.

Innym problemem jest to, że należy dokonać pewnych nierealistycznych założeń – na przykład w klasyfikacji bayesowskiej wymagane wyniki, np. rozpoznawania, musza się wzajemnie wykluczać. Niestety w wielu przypadkach mogą występować liczne podobne wyniki (np. w diagnostyce:

pacjent może mieć wiele chorób).

Innym założeniem, co prawda niewymaganym przez twierdzenie Bayesa, ale wymuszonym przez praktykę, jest statystyczna niezależność cechy problemu .

Koncepcja sieci Bayesa wynika wprost z koncepcji prawdopodobieństwa warunkowego.

Jak się okazuje w rzeczywistym świecie jest wiele sytuacji w których wystąpienie jakiegoś zdarzenia ściśle zależy od innego zdarzenia.

Zastosowanie sieci Bayesa

 pozwala na uniknięcie obliczeń o dużej złożoności – obliczenie jednego prawdopodobieństwa a posteriori łączy się z uprzednim

obliczeniem wykorzystywanych prawdopodobieństw.

 Sieci Bayesa służą do przedstawiania niepewności wiedzy.

Niepewność wiedzy używanej zawartej w systemach ekspertowych może mieć wiele czynników:

 niepewność ekspertów dotycząca ich wiedzy

 niepewność tkwiąca w modelowanej dziedzinie

 niepewność inżyniera próbującego przetłumaczyć wiedzę

 niepewność wynikła z dokładności dostępnej wiedzy

 Sieci Bayesa używają teorii prawdopodobieństwa do określenia niepewności przez jawne reprezentowanie warunkowych zależności pomiędzy różnymi częściami wiedzy.

 Pozwala to na intuicyjną graficzną wizualizację wiedzy zawierającą wzajemne oddziaływania pomiędzy różnymi źródłami niepewności.

 Sieci Bayesa są stosowane w diagnostyce, w rozumowaniu przebiegającym od efektów do przyczyn i odwrotnym.

 W systemach ekspertowych sieci Bayesa znalazły zastosowanie w medycynie (systemy doradcze, które rozpoznają chorobę na podstawie podawanych objawów).

Wejście:

• Rozważana populacja obiektów (klientów) opisana jest za pomocą czterech atrybutów: Wiek, Dochód, Studia, OcenaKred.

• Interesuje nas przynależność obiektów do jednej z dwóch klas:

klienci kupujący komputery (o etykiecie TAK) i klienci nie kupujący komputerów (o etykiecie NIE).

• Z bazy danych wybrano zbiór treningowy.

• Obiekt X o nieznanej przynależności klasowej ma postać:

X = (Wiek = „<=30”, Dochód = „średni”, Student = „tak”, OcenaKred

= „dobra”) Wyjście:

• Określić przynależność obiektu X do klasy C1 („tak”) lub C2 („nie”) za pomocą klasyfikacji Bayesa.

Klasyfikowany obiekt:

X = (Wiek = „<=30”, Dochód = „średni”, Student = „tak”, OcenaKred =

„dobra”)

Należy obliczyć, dla jakiej wartości i, (i =1, 2) iloczyn P(X|C_i)*P(C_i), osiąga maksimum.

2. P(C_i) oznacza prawdopodobieństwo bezwarunkowe przynależności obiektu do klasy (inaczej: prawdopodobieństwo klasy) C_i, i = 1, 2.

Ze zbioru treningowego obliczamy:

P(C₁) = 9/14 = 0.643 P(C₂) = 5/14 = 0.357

3. Prawdopodobieństwa warunkowe P(X|C_i) są odpowiednio równe iloczynom prawdopodobieństw warunkowych:

P(X|C₁) = P(Wiek=„<=30”|C₁) * P(Dochód=„średni”|C₁) P(Studia=„tak”|C₁) * P(OcenaKred=„dobra”|C₁),

P(X|C₂) = P(Wiek=„<=30”|C₂) * P(Dochód=„średni”|C₂) P(Studia=„tak”|C₂) * P(OcenaKred=„dobra”|C₂),

Ze zbioru treningowego obliczamy:

P(Wiek=„<=30”|C

₁

) = 2/9 = 0.222

P(Dochód=„średni”|C

₁

) = 4/9 = 0.444 P(Studia=„tak”|C

₁

) = 6/9 = 0.667

P(OcenaKred=„dobra”|C

₁

) = 6/9 = 0.667 P(Wiek=„<=30”|C

₂

) = 3/5 = 0.600

P(Dochód=„średni”|C

₂

) = 2/5 = 0,400 P(Studia=„tak”|C

₂

) = 1/5 = 0.200

P(OcenaKred=„dobra”|C

₂

) = 2/5 = 0.400

Stąd:

P(X|C

₁

) = 0.222*0.444*0.667*0.667 = 0.044 P(X|C

₁

)P(C

₁

) = 0.044*0.643 = 0.028

P(X|C

₂

) = 0.600*0.400*0.200*0.400 = 0.019 P(X|C

₂

)P(C

₂

) = 0.019*0.357 = 0.007

X – został zaklasyfikowany do C

₁

.

Thomas Bayes (ur. ok. 1702 w Londynie — zm. 17 kwietnia 1761) brytyjski matematyk i duchowny prezbiteriański, znany ze sformułowania opublikowanego pośmiertnie twierdzenia Bayesa, które to zapoczątkowało dział statystyki.



(od nazwiska Thomasa Bayesa) to twierdzenie teorii prawdopodobieństwa, wiążące prawdopodobieństwa warunkowe zdarzeń.



Na przykład, jeśli jest zdarzeniem "u pacjenta występuje wysoka gorączka", i jest zdarzeniem "pacjent ma grypę", twierdzenie Bayesa pozwala przeliczyć znany odsetek gorączkujących wśród chorych na grypę i znane odsetki gorączkujących i chorych na grypę w całej populacji, na prawdopodobieństwo, że ktoś jest chory na grypę, gdy wiemy że ma wysoką gorączkę.



Twierdzenie stanowi podstawę teoretyczną sieci

bayesowskich, stosowanych w eksploracji danych.

Jeśli A i B są prostymi zdarzeniami w przestrzeni prób, to prawdopodobieństwo warunkowe P(A/B) będzie określone jako:

B wyników w

liczba

B i

jak A

zarówno w wyników

liczba B

P

B A

B P A

P   

) (

) ) (

| (

Również P(B/A) = P(AB)/P(A).

Przekształcając ten wzór, otrzymujemy wzór na przecięcie zdarzeń P(AB) = P(B/A)P(A) i po podstawieniu mamy:

) (

) ( ) / ) (

|

( P B

A P A B B P

A

P 

Co jest tezą twierdzenia Bayesa dla prostych zdarzeń.

Sieć bayesowska to acykliczny (nie zawierający cykli) graf skierowany, w którym:



węzły reprezentują zmienne losowe (np. temperaturę jakiegoś źródła, stan pacjenta, cechę obiektu itp.)



łuki (skierowane) reprezentują zależność typu „ zmienna X ma bezpośredni wpływ na zmienna Y”,



każdy węzeł X ma stowarzyszona z nim tablice prawdopodobieństw warunkowych określających wpływ wywierany na X przez jego poprzedników (rodziców) w grafie,



Zmienne reprezentowane przez węzły przyjmują wartości

dyskretne (np.: TAK, NIE).



Siecią Bayesa nazywamy skierowany graf acykliczny o wierzchołkach reprezentujących zmienne losowe i łukach określających zależności.



Istnienie łuku pomiędzy dwoma wierzchołkami oznacza istnienie bezpośredniej zależności przyczynowo skutkowej pomiędzy odpowiadającymi im zmiennymi.



Siła tej zależności określona jest przez tablice

prawdopodobieństw warunkowych.

 Aby zdefiniować graf zwykle podaje się zbiór jego wierzchołków oraz zbiór jego krawędzi.

 Każdy wierzchołek reprezentuje obserwację lub hipotezę, każda krawędź jest określona w ten sposób, że podaje się dla niej informacje o wierzchołkach które dana krawędź łączy, oraz ewentualnie dla grafów skierowanych informację o kierunku krawędzi.

 Załóżmy, że G będzie grafem określonym zbiorem wierzchołków N i krawędzi E.

 Załóżmy, również że dany jest zbiór prawdopodobieństw warunkowych CP. Elementami tego zbiory są prawdopodobieństwa opisujące poszczególne krawędzie grafu

a

b

c

d

F

G E

gdzie a, b, c, d to obserwacje, E, F, G to hipotezy

Pod pojęciem sieci Bayesowskiej rozumieć będziemy trójkę:

B = { N, E, CP }

gdzie dwójka {N,E} jest zorientowanym grafem acyklicznym zbudowanym na podstawie zadanych prawdopodobieństw warunkowych zawartych w zbiorze CP.

N – (ang. Nodes) węzły w grafie odpowiadające zbiorom obserwacji i hipotez

E – (ang. edges) krawędzie odzwierciedlające kierunek wnioskowania

Każdy wierzchołek w sieci przechowuje rozkład P(X_i|_(i)) gdzie X_(i) jest zbiorem wierzchołków odpowiadających (i) – poprzednikom (rodzicom) wierzchołka (i).

Prawdopodobieństwo wystąpienia anginy w przypadku objawów takich jak ból gardła i gorączka jest wysokie i wynosić może 0.8. Jednak wystąpienie gorączki i bólu głowy może świadczyć o grypie, co jest hipoteza prawdopodobna na 0.6. W przypadku gdy pacjent cierpiący na grypę nie wyleczył się całkowicie może dojść do zapalenia oskrzeli z prawdopodobieństwem 0.4. Zapalenie oskrzeli może spowodować ból gardła z prawdopodobieństwem 0.3.

Hipotezy:

A – Angina D-grypa

O-Zapalenie oskrzeli

Objawy:

b-ból gardła g-Gorączka c-ból głowy

e-brak całkowitego wyleczenia

b g

CP = {P(A|b,g)=0.8; P(D|g,c)=0.6; P(O|D,e)=0.4;P(b|O)=0.3}

A

c

D e

O

0.8

0.4 0.6

0.3

Rozkład prawdopodobieństw zapisuje się jako:

W grafie wierzchołki są etykietowane nazwami atrybutów. Przy każdym wierzchołku występuje tabela prawdopodobieństw warunkowych pomiędzy danym wierzchołkiem i jego rodzicami.

 ⁿ

i

i i

n P x X

x x

P

1

) (

1 ,..., ) ( )

(



 _

Węzeł A jest rodzicem lub poprzednikiem wierzchołka X, a wierzchołek X jest potomkiem lub następnikiem węzła A, jeżeli istnieje bezpośrednia krawędź z wierzchołka A do X.



^m

i

X rodzice i

i m

m

x p X x

_i

X x

X x

X p

1

) ( 2

2 1

1

, ,..., ) ( | )

(













A więc prawdopodobieństwo pojawienia się wierzchołka

potomnego zależy tylko od jego rodziców !



zdefiniowanie zmiennych,



zdefiniowanie połączeń pomiędzy zmiennymi,



określenie prawdopodobieństw warunkowych i ”a priori”

(łac. z założenia)



wprowadzenie danych do sieci,



uaktualnienie sieci,



wyznaczenie prawdopodobieństw ”a posteriori” ( łac. z następstwa)

Sieć bayesowska koduje informacje o określonej dziedzinie za pomocą wykresu, którego wierzchołki wyrażają zmienne losowe, a krawędzie obrazują probabilistyczne zależności między nimi.



Sieci te mają wiele zastosowań m.in. w Sztucznej inteligencji, medycynie (w diagnozowaniu), w genetyce, statystyce, w ekonomii.



O popularności SB zadecydowało to, że są dla nich wydajne metody wnioskowania. Możliwe jest proste wnioskowanie o zależności względnej i bezwzględnej badanych atrybutów.



Niezależność może tak zmodularyzować naszą wiedzę, że wystarczy zbadanie tylko części informacji istotnej dla danego zapytania, zamiast potrzeby eksploracji całej wiedzy.



Sieci Bayesowskie mogą być ponadto rekonstruowane, nawet jeśli

tylko część właściwości warunkowej niezależności zmiennych jest

znana. Inną cechą SB jest to, że taką sieć można utworzyć mając

niepełne dane na temat zależności warunkowej atrybutów.

Przykład: jakie są szanse zdania ustnego egzaminu u prof. X, który jest kibicem Wisły i nie lubi deszczu ?

 Z - zaliczony egzamin

 N - dobre przygotowanie

 H - dobry humor egzaminatora

 A - awans Wisły do Ligi Mistrzów

 D - deszcz

Łączny rozkład prawdopodobieństwa:

P(Z, N, H, A ,D)

wyznaczony przez 2⁵ wartości (32 wartości)

Prawdopodobieństwo dobrego humoru, jeżeli Wisła awansowała: P(H=trueA=true):





D N Z

D A H N Z P A

H P

, ,

) , , , , ( )

, (





D H N Z

D A H N Z P A

P

, , ,

) , , , , ( )

(

8 sumowań

16 sumowań

) (

) , ) (

|

( P A

A H A P

H

P 

obliczymy z łącznego rozkładu

P(Z, N, H, A ,D),

na podstawie prawdopodobieństw brzegowych:

P (A) 0.20

P (D) 0.30

P (N)

0.20 A D P(H)

T 0.95 F 0.99 T 0.05 F 0.15 T

F

N H P(Z) T 0.90 F 0.55 T 0.45 F 0.05 T

P(Z|H,D) = P(Z|H) F

 Musimy pamiętać mniej wartości: w naszym przypadku 11 zamiast 31 (ogólnie n2^k, n-liczba wierzchołków, k - maksymalna liczba rodziców; zamiast 2ⁿ-1 wszystkich wartości w rozkładzie pełnym)

 Naturalne modelowanie: łatwiej oszacować prawd. warunkowe bezpośrednich zależności niż koniunkcji wszystkich możliwych zdarzeń

 Dowolny kierunek wnioskowania

 Czytelna reprezentacja wiedzy

 Łatwa modyfikacja

 Reguła łańcuchowa: z def. P(X₁,X₂)=P(X₁|X₂)P(X₂)

 Numerując wierzchołki grafu tak aby indeks każdej zmiennej był mniejszy niż indeks przypisany jego przodkom oraz korzystając z warunkowej niezależności otrzymujemy:

 Model zupełny

) ..., ,

| ( )

,...,

( _{1 1 n}

i

i i

n P X X X

X X

P ^



^

)) (

| ( )

,...,

|

(X_i X_{i 1} X_n P X_i Parents X_i

P _ 

)) (

| ( )

,...,

( ₁ ^



i

i i

n P X Parents X X

X P

P(Z,N,H,A,D) = P(Z|N,H)  P(N)  P(H|A,D)  P(A)  P(D)

Jaka jest szansa zaliczenia dla nieprzygotowanego studenta, gdy pada, Wisła odpadła i egzaminator jest w złym humorze ?

P(Z  N  H  A  D) = 0.05  0.8  0.05  0.8  .30 = 0.0048

P (A) 0.20

P (D) 0.30 P (N)

0.20

A D P(H) T 0.95 F 0.99 T 0.05 F 0.15 T

F N H P(Z)

T 0.90 F 0.55 T 0.45 F 0.05 T

F

Prawdopodobieństwo Zaliczenia 74%

Egzamin zaliczony, jakie były tego przyczyny ?

Wzrost P(A) z 20% do 40%, przy spadku P(D) - wykluczanie

Jeśli się przygotowaliśmy, to jaka jest szansa na zaliczenie ?

Spadek P(Z) z 26% do 17%

... ale dodatkowo, Wisła awansowała i świeci słońce !

Wzrost P(Z) z 17% do 45%.

Podchodzić ?

Podej Zalicz Styp true 7000 false 2500 true 5000 false 5000 true

false

Dodajemy wierzchołki decyzyjne (Podejście) oraz użyteczności (Stypendium) i możemy mierzyć wpływ ilościowy decyzji (Podchodzić, Nie Podchodzić)

Czy warto iść gdy jesteśmy nieprzygotowani, świeci słońce i Wisła awansowała ?

A – pogoda

(słonecznie/pochmurno/deszczowo/wietrznie) B – czas wolny (^tak/nie)

X– humor (bardzo dobry/dobry/nietęgi)

C – zajęcie na zewnątrz (spacer/basen/rower) D – zajęcie w domu(komputer/książka/gotowanie)

A

X

B

C D

If A=a4 and B=b2 then X=x1 with 30%

If A=a4 and B=b2 then X=x2 with 40%

If A=a4 and B=b2 then X=x2 with 30%

P(X|A,B) x1 x2 x3

a1b1 0.3 0.3 0.4

a1b2 0.2 0.4 0.4

a2b1 0.1 0.3 0.6

a2b2 0.05 0.35 0.6

a3b1 0.4 0.4 0.2

a3b2 0.2 0.5 0.3

a4b1 0.6 0.35 0.05

a4b2 0.3 0.4 0.3

If A=a1 and B=b1 then X=x1 with 30%

If A=a1 and B=b1 then X=x2 with 30%

If A=a1 and B=b1 then X=x2 with 40%

If A=a1 and B=b2 then X=x1 with 20%

If A=a1 and B=b2 then X=x2 with 40%

If A=a1 and B=b2 then X=x2 with 40%

If A=a2 and B=b1 then X=x1 with 10%

If A=a2 and B=b1 then X=x2 with 30%

If A=a2 and B=b1 then X=x2 with 60%

If A=a2 and B=b2 then X=x1 with 5%

If A=a2 and B=b2 then X=x2 with 35%

If A=a2 and B=b2 then X=x2 with 60%

If A=a3 and B=b1 then X=x1 with 40%

If A=a3 and B=b1 then X=x2 with 40%

If A=a3 and B=b1 then X=x2 with 20%

If A=a3 and B=b2 then X=x1 with 20%

If A=a3 and B=b2 then X=x2 with 50%

If A=a3 and B=b2 then X=x2 with 30%

If A=a4 and B=b1 then X=x1 with 60%

If A=a4 and B=b1 then X=x2 with 35%

If A=a4 and B=b1 then X=x2 with 5%

A

a1 0.25 a2 0.25 a3 0.25 a4 0.25

B

b1 0.4 b2 0.6

P(X|A,B) x1 x2 x3 a1b1 0.3 0.3 0.4 a1b2 0.2 0.4 0.4 a2b1 0.1 0.3 0.6

a2b2 0.0

5 0.35 0.6 a3b1 0.4 0.4 0.2 a3b2 0.2 0.5 0.3 a4b1 0.6 0.35 0.05 a4b2 0.3 0.4 0.3

P(C|X) c1 c2 c3

X1 0.1 0.2 0.7

X2 0.2 0.6 0.2

X3 0.5 0.4 0.1

P(DX) d1 d2 d3 X1 0.1 0.3 0.6 X2 0.7 0.2 0.1 X3 0.3 0.4 0.3

A

a1 0.25

a2 0.25

a3 0.25

a4 0.25

B

b1 0.4 b2 0.6 P(X|A,B) X1 x2 x3

a1b1 0.3 0.3 0.4

a1b2 0.2 0.4 0.4

a2b1 0.1 0.3 0.6

a2b2 0.05 0.35 0.6

a3b1 0.4 0.4 0.2

a3b2 0.2 0.5 0.3

a4b1 0.6 0.35 0.05

a4b2 0.3 0.4 0.3

P(C|X) c1 c2 c3 X1 0.1 0.2 0.7 X2 0.2 0.6 0.2 X3 0.5 0.4 0.1

P(DX) d1 d2 d3

X1 0.1 0.3 0.6

X2 0.7 0.2 0.1

X3 0.3 0.4 0.3

0015 .

0 4 . 0

* 5 . 0

* 05 . 0

* 6 . 0

* 25 . 0

)

| (

)

| (

)

| (

) (

) (

) ,

, ,

, (

)

| (

)

| (

)

| (

) (

) (

) ,

, ,

, (

3 2

3 1

2 4

3 2

4

3 2

1 2

4

3 2

3 1

2 4

3 2

4

3 2

1 2

4





































































x X

d D p x X

c C p b B a

A x X

p b B p a A p

x X

d D c C b B a A p

x X

d D p x X

c C p b B a

A x X

p b B p a A p

x X

d D c C b B a A p

A

a1 0.25

a2 0.25

a3 0.25

a4 0.25

B

b1 0.4 b2 0.6

P(X|A,B) X1 x2 x3

a1b1 0.3 0.3 0.4

a1b2 0.2 0.4 0.4

a2b1 0.1 0.3 0.6

a2b2 0.05 0.35 0.6

a3b1 0.4 0.4 0.2

a3b2 0.2 0.5 0.3

a4b1 0.6 0.35 0.05

a4b2 0.3 0.4 0.3

03 . 0 1

. 0

* 3 . 0 )

4 . 0

* 25 . 0 (

* 3 . 0

) (

* ) (

* )

|

(

_{1 1 1 1 1}

















 x A a B b p A a p B b X

p

A

a1 0.25

a2 0.25

a3 0.25

a4 0.25

B

b1 0.4 b2 0.6

P(C|X) c1 c2 c3 X1 0.1 0.2 0.7 X2 0.2 0.6 0.2 X3 0.5 0.4 0.1

P(DX) d1 d2 d3

X1 0.1 0.3 0.6

X2 0.7 0.2 0.1

X3 0.3 0.4 0.3

2525 .

0 15 . 0

* 3 . 0 1 . 0

* 6 . 0 15 . 0

* 2 . 0 1 . 0

* 4 . 0 15 . 0

* 05 . 0 1 . 0

* 1 . 0 15 . 0

* 2 . 0 1 . 0

* 3 . 0

) (

)

| (

) (

)

| (

) (

)

| (

) (

)

| (

) (

)

| (

) (

)

| (

) (

)

| (

) (

)

| (

) (

2 4

2 4

1

1 4

1 4

1 2

3 2

3 1

1 3

1 3

1 2

2 2

2 1

1 2

1 2

1 2

1 2

1 1

1 1

1 1

1 1





















































































































































b B a

A p b B a

A x X p

b B a

A p b B a

A x X p b

B a

A p b B a

A x X p

b B a

A p b B a

A x X p b

B a

A p b B a

A x X p

b B a

A p b B a

A x X p b

B a

A p b B a

A x X p

b B a

A p b B a

A x X p x

X p

P(X|A,B) X1 x2 x3

a1b1 0.3 0.3 0.4

a1b2 0.2 0.4 0.4

a2b1 0.1 0.3 0.6

a2b2 0.05 0.35 0.6

a3b1 0.4 0.4 0.2

a3b2 0.2 0.5 0.3

a4b1 0.6 0.35 0.05

a4b2 0.3 0.4 0.3

Jakie są szanse zdania ustnego egzaminu u prof. X, który jest kibicem Wisły i nie lubi deszczu?

Wynik egzaminu zależy od:



dobrego przygotowania studenta



dobrego humor egzaminatora



awansu Wisły do Ligi Mistrzów



Deszczu – by nie padał !!!

Jak prawdopodobne jest zdanie egzaminu gdy humor egzaminatora i przygotowanie studenta jest pewne w skali „pół na pół” ?

Jak prawdopodobne jest zdanie egzaminu gdy humor egzaminatora i przygotowanie studenta jest pewne przynajmniej w 70 % ?

Jak prawdopodobne jest zdanie egzaminu gdy humor egzaminatora jest dobry ale przygotowanie studenta niestety fatalne ! ?

SMILE Zestaw klas C++ implementujących różne modele decyzyjne w oparciu o analizę probabilistyczną. Wśród nich sieci Bayesa, modele równań strukturalnych. SMILE doskonałe sprawdzi się w roli engine'u dla różnego rodzaju aplikacji, których celem jest tworzenia graficznej reprezentacji model probabilistycznego. Biblioteka została zaprojektowana w ten sposób, iż może być wykorzystana w kodzie C poprzez wywołania funkcji. Co więcej, istnieje również wersja przeznaczona dla platformy .NET.

Platforma: Macintosh, Linux, Solaris, Windows

Licencja: Decision Systems Laboratory, University of Pittsburgh License http://www.sis.pitt.edu/~genie/smile/smile.htm

GeNIe 2 GeNIe stanowi komplementarny element dla SMILE. Jest graficzną nakładką dla tej biblioteki. Z uwagi na to, że twórcy SMILE rozwijali również GeNIe, można być pewnym bezproblemowej współpracy. Za sprawą wbudowanego edytora modeli GeNIe pozwala na swobodną modyfikację modeli probabilistycznych. Możliwa jest także wymiana danych z

innymi aplikacjami (Excel).

Platforma: Windows

Licencja: Decision Systems Laboratory, University of Pittsburgh License http://www.sis.pitt.edu/~genie/genie/genie.htm

Przedstawione na grafie zależności są modelowane przez przedstawione liczbowo prawdopodobieństwo wyrażające siłę, z jaką oddziałują na siebie zmienne.

Prawdopodobieństwo jest kodowane w tabelach dołączanych do każdego węzła i indeksowanych przez węzły nadrzędne. Górne wiersze tabeli przedstawiają wszystkie kombinacje stanów zmiennych nadrzędnych.

Węzły bez poprzedników są opisane głównymi prawdopodobieństwami. Węzeł

„Success” będzie opisany przez rozkład prawdopodobieństw tylko jego dwóch wyników możliwych: Success i Failure.

Węzeł „Forecast” będzie natomiast opisany przez rozkład prawdopodobieństw wyjściowych wartości (Good, Moderate, Poor) uwarunkowanych dodatkowo przez ich poprzedniki (węzeł Success, i wyjściowe wartości Success i Failure).

Sieć Bayesa

Węzeł Odpowiedź Komentarz

zdolności techniczne tak Typowy gracz jest zainteresowany nowinkami technologicznymi, zdobywa różnego rodzaju gadżety i potrafi je obsługiwać. Dodatkowo, gry uczą logicznego myślenia.

twórczość nie Brak poczucia estetyki i twórczego myślenia.

zdolności werbalne nie Mogą być problemy z wysłowieniem się poza wirtualnym światem, dosyć ograniczone słownictwo.

zdolności liczbowe tak Zamiłowanie do matematyki, fizyki.

praca z ludźmi nie Trudności w poznawaniu nowych ludzi. Rzadkie spotkania z przyjaciółmi wskazują na

zamkniętość osoby.

polityka nie Brak zainteresowania bieżącymi wydarzeniami społecznymi i gospodarczymi.

status społeczny wysoki Oczekiwanie wysokiego statusu społecznego.

zarobki wysokie Oczekiwanie wysokich zarobków.

kontakt z ludźmi brak Oczekiwanie braku częstego kontaktu z ludźmi w pracy – praca indywidualna.

Rozważmy osobę, która spędza sporo czasu przy komputerze, w wolnych chwilach gra na komputerze oraz przegląda Internet. Mało czasu poświęca na sport czy spotkania z przyjaciółmi. W szkole nie ma problemów z przedmiotami ścisłymi typu matematyka czy fizyka, jednak ma pewne problemy z przedmiotami humanistycznymi. Osoba lubi majsterkować ze sprzętem

Rozważmy osobę, która spędza sporo czasu przy komputerze, w wolnych chwilach gra na komputerze oraz przegląda Internet.

Mało czasu poświęca na sport czy spotkania z przyjaciółmi. W szkole nie ma problemów z przedmiotami ścisłymi typu matematyka czy fizyka, jednak ma pewne problemy z przedmiotami humanistycznymi. Osoba lubi majsterkować ze sprzętem

 Otrzymane wyniki (kolor fioletowy na diagramie):

◦ Warstwa kierunki studiów:

 Kierunki techniczne: otrzymały najwyższy wynik (pole żaden uzyskało tylko 5%).

Osoba nie mająca problemów z przedmiotami ścisłymi ma predyspozycje do

kierunków technicznych. W ramach tego typu kierunków widać niewielką przewagę kierunku informatyka (50%) nad kierunkiem budownictwo (45%).

 Kierunki ekonomiczne: również przystępny wynik (pole żaden uzyskało 33%). Brak problemów z matematyką osoby, wpłynął na dosyć wysoki wynik dla kierunku finanse (48%) oraz niższy dla kierunku marketing (20%). Sumowanie się wyników do 101% jest spowodowane zapewne błędem programu GeNIe.

 Kierunki społeczne i artystyczne: otrzymano 100% i 96% dla pola żaden. Osoba, która rzadko spotyka się z przyjaciółmi, czy ma problemy z przedmiotami

humanistycznymi powinna unikać tych kierunków.

◦ Warstwa praca zawodowa, stanowisko:

 Praca inżynierska: Wysoki wynik dla kierunków technicznych w poprzedniej warstwie wpłynął na dosyć wysoki wynik dla zawodów, które wymagają tytułu inżyniera (85%).

 Branża rozrywkowa: Niski wynik spowodowany unikaniem kontaktów z ludźmi przez typowego gracza

 Stanowisko kierownicze: Dosyć wysoki wynik (80%) wynika z predyspozycji osoby do kierunków technicznych oraz ekonomicznych.

 Marketing: Tutaj również unikanie kontaktów z ludźmi zaniżyło wynik (11%), mimo dosyć dobrych wyników kierunków ekonomicznych.

 Finanse: Dosyć wysoki wynik (63%) spowodowany zdolnościami technicznymi oraz liczbowymi typowego gracza.

◦ Warstwa różne cechy i aspekty pracy:

 Kariera zawodowa: Dobre wyniki dla pracy jako inżynier oraz w finansach w poprzedniej warstwie, spowodowały wysoki wynik dla stabilności kariery zawodowej typowego gracza (87%).

 Sieci bayesowskie - efektywne narzędzie w zagadnieniach systemów eksperckich oraz sztucznej inteligencji

 Szerokie zastosowania: NASA-AutoClass, Microsoft-Office Assistant, w przemyśle - www.hugin.com, medycyna, sądownictwo, itd.

 Sieci Bayesa stanowią naturalną reprezentację niezależności warunkowej (indukowanej przyczynowo).

 Topologia sieci i tablice prawdopodobieństwa warunkowego (CPT) pozwalają na zwartą reprezentację rozkładu łącznego prawdopodobieństwa.

 Sieci Bayesa są szczególnie przydane i łatwe do zastosowania w systemach ekspertowych.

 Naiwny klasyfikator bayesowski jest prostym probabilistycznym klasyfikatorem.

 Zakłada się wzajemną niezależność zmiennych niezależnych (tu naiwność)

 Bardziej opisowe może być określenie- „model cech niezależnych”.

 Model prawdopodobieństwa można wyprowadzić korzystając z twierdzenia Bayesa.

 W zależności od rodzaju dokładności modelu prawdopodobieństwa, naiwne klasyfikatory bayesowskie można „uczyć” bardzo skutecznie w trybie uczenia z nadzorem.

 Jeśli wiemy, że kulek czerwonych jest 2 razy mniej niż zielonych (bo czerwonych jest 20 a zielonych 40) to prawdopodobieństwo tego, że kolejna (nowa) kulka będzie koloru zielonego jest dwa razy większe niż tego, że kulka będzie czerwona.

 Dlatego możemy napisać, że znane z góry prawdopodobieństwa:

Jeśli więc czerwonych jest 20 a zielonych 40, to razem wszystkich jest 60. Więc

Więc teraz gdy mamy do czynienia z nową kulką ( na rysunku – biała):

 To spróbujmy ustalić jaka ona będzie. Dokonujemy po prostu klasyfikacji kulki do jednej z dwóch klas: zielonych bądź czerwonych.

 Jeśli weźmiemy pod uwagę sąsiedztwo białej kulki takie jak zaznaczono, a więc do 4 najbliższych sąsiadów, to widzimy, że wśród nich są 3 kulka czerwone i 1 zielona.

 Obliczamy liczbę kulek w sąsiedztwie należących do danej klasy : zielonych bądź czerwonych z wzorów:

W naszym przypadku, jest dziwnie, bo akurat w sąsiedztwie kulki X jest więcej kulek czerwonych niż zielonych, mimo, iż kulek zielonych jest ogólnie 2 razy więcej niż czerwonych. Dlatego zapiszemy, że

Dlatego ostatecznie powiemy, że

Prawdopodobieństwo że kulka X jest zielona = prawdopodobieństwo kulki zielonej * prawdopodobieństwo, że kulka X jest zielona w swoim sąsiedztwie

=

Prawdopodobieństwo że kulka X jest czerwona = prawdopodobieństwo kulki

czerwonej * prawdopodobieństwo, że kulka X jest czerwona w swoim sąsiedztwie =

Ostatecznie klasyfikujemy nową kulkę X do klasy kulek czerwonych, ponieważ ta klasa dostarcza nam większego prawdopodobieństwa posteriori.



Tylko dla cech jakościowych



Tylko dla dużych zbiorów danych

Aby obliczyć P(diabetes=1) należy zliczyć liczbę obserwacji dla których spełniony jest warunek

„diabetes=1”. Jest ich dokładnie 9 z 20 wszystkich.

Podobnie, aby obliczyć P(diabetes=0) należy zliczyć liczbę obserwacji dla których spełniony jest warunek

„diabetes=0”. Jest ich dokładnie 11 z 20 wszystkich.

Zakładając, że zmienne niezależne faktycznie są niezależne, wyliczenie P(X|diabetes=1) wymaga obliczenia prawdopodobieństwa warunkowego wszystkich wartości dla X:

Np. obliczenie P(BP=high|diabetes=1) wymaga znów obliczenia P(BP=high) i P(diabetes=1) co jest odpowiednio równe 4 i 9 zatem prawdopodobieństwo to wynosi 4/9:

Zatem:

Mając już prawdopodobieństwa P(X|diabetes=1) i P(diabetes=1) można wyznaczyć iloczyn tych prawdopodobieństw:

Teraz podobnie zrobimy w przypadku P(X|diabetes=0)

Możemy więc wyznaczyć P(X|diabetes=0):

Ostatecznie iloczyn prawdopodobieństw jest wyznaczany:

Jakoże P(X|diabeltes=1)P(diabetes=1) jest większe niż

P(X|diabetes=0)P(diabetes=0) nowa obserwacja będzie zaklasyfikowana do klasy diabetes=1.

Prawdopodobieństwo ostateczne że jeśli obiekt ma opis taki jak X będzie z klasy diabetes=1 jest równe:



Jakie będzie prawdopodobieństwo klasyfikacji do klasy „diabetes=1” gdy mamy następujące przypadki:

X:BP=Average ; weight=above average; FH= yes; age=50+

X:BP=low ; weight=average; FH= no; age=50+

X:BP=high ; weight=average; FH= yes; age=50+

– jeden z algorytmów regresji nieparametrycznej używanych w

statystyce do prognozowania wartości pewnej zmiennej losowej.

Może również być używany do klasyfikacji.

-

• Dany jest zbiór uczący zawierający obserwacje z których każda ma przypisany wektor zmiennych objaśniających oraz wartość zmiennej objaśnianej Y.

• Dana jest obserwacja C z przypisanym wektorem zmiennych objaśniających dla której chcemy prognozować wartość zmiennej objaśnianej Y.

Założenia



Wyznaczanie odległości obiektów: odległość

euklidesowa

Obiekty są analizowane w ten sposób , że oblicza się odległości bądź podobieństwa między nimi. Istnieją różne miary podobieństwa czy odległości. Powinny być one wybierane konkretnie dla typu danych analizowanych: inne są bowiem miary typowo dla danych binarnych, inne dla danych nominalnych a inne dla danych numerycznych.

Nazwa Wzór

odległość euklidesowa

odległość kątowa

współczynnik korelacji liniowej Pearsona

Miara Gowera

gdzie: x,y - to wektory wartości cech

porównywanych obiektów w przestrzeni p- wymiarowej, gdzie odpowiednio

wektory wartości to: oraz .

Oblicz odległość punktu A o współrzędnych (2,3) do punktu B o współrzędnych (7,8).

D (A,B) = pierwiastek ((7-2)² + (8-3)²) = pierwiastek (25 + 25) = pierwiastek (50) = 7.07

0 1 2 3 4 5 6 7 8 9

0 2 4 6 8

A B

 Mając dane punkty:

 A(2,3), B(7,8) oraz C(5,1) oblicz odległości między punktami:

 D (A,B) = pierwiastek ((7-2)² + (8-3)²) = pierwiastek (25 + 25) = pierwiastek (50) = 7.07

 D (A,C) = pierwiastek ((5-2)² + (3-1)²) = pierwiastek (9 + 4) = pierwiastek (13) = 3.60

 D (B,C) = pierwiastek ((7-5)² + (3-8)²) = pierwiastek (4 + 25) = pierwiastek (29) = 5.38 A

B

C

0 1 2 3 4 5 6 7 8 9

0 1 2 3 4 5 6 7 8

A B C

1.

porównanie wartości zmiennych objaśniających dla obserwacji C z

wartościami tych zmiennych dla każdej obserwacji w zbiorze uczącym.

2.

wybór k (ustalona z góry liczba) najbliższych do C obserwacji ze zbioru uczącego.

3.

Uśrednienie wartości zmiennej objaśnianej dla wybranych obserwacji, w wyniku czego uzyskujemy prognozę.

Przez "najbliższą obserwację" mamy na myśli, taką obserwację, której odległość do analizowanej przez nas obserwacji jest możliwie najmniejsza.

Najbliższy dla naszego obiektu „buźka” jest obiekt

Więc przypiszemy nowemu obiektowi klasę:

Mimo, że najbliższy dla naszego obiektu „buźka” jest obiekt

Metodą głosowania ustalimy, że skoro mamy wziąć pod uwagę 5 najbliższych sąsiadów tego obiektu, a widać, że 1 z nich ma klasę:

Zaś 4 pozostałe klasę:

To przypiszemy nowemu obiektowi klasę:

Obiekt klasyfikowany podany jako ostatni : a = 3, b = 6 Teraz obliczmy odległości

poszczególnych obiektów od wskazanego. Dla

uproszczenia obliczeń posłużymy sie wzorem:

Znajdujemy więc k najbliższych sąsiadów. Załóżmy, że szukamy 9 najbliższych sąsiadów. Wyróżnimy ich kolorem zielonym.

Sprawdzamy, które z tych 9 najbliższych sąsiadów są z klasy „+” a które z klasy „-” ? By to zrobić musimy znaleźć k najbliższych sąsiadów (funkcja Excela o nazwie MIN.K)

Wyobraźmy sobie, że nie mamy 2 zmiennych opisujących każdy obiekt, ale tych zmiennych jest np. 5: {v1,v2,v3,v4,v5} i że obiekty opisane tymi zmiennymi to 3 punkty: A, B i C:

V1 V2 V3 V4 V5

A 0.7 0.8 0.4 0.5 0.2

B 0.6 0.8 0.5 0.4 0.2

C 0.8 0.9 0.7 0.8 0.9

Policzmy teraz odległość między punktami:

D (A,B) = pierwiastek ((0.7-0.6)² + (0.8-0.8)² + (0.4-0.3)² + (0.5-0.4)² + (0.2-0.2)²) = pierwiastek (0.01 + 0.01 + 0.01) = pierwiastek (0.03) = 0.17

D (A,C) = pierwiastek ((0.7-0.8)² + (0.8-0.9)² + (0.4-0.7)² + (0.5-0.8)² + (0.2-0.9)²) = pierwiastek (0.01 + 0.01 + 0.09 + 0.09 + 0.49) = pierwiastek (0.69) = 0.83

D (B,C) = pierwiastek ((0.6-0.8)² + (0.8-0.9)² + (0.5-0.7)² + (0.4-0.8)² + (0.2-0.9)²) = pierwiastek (0.04 + 0.01 + 0.04+0.16 + 0.49) = pierwiastek (0.74) = 0.86

Szukamy najmniejszej odległości, bo jeśli te dwa punkty są najbliżej siebie, dla których mamy najmniejszą odległości ! A więc najmniejsza odległość jest między punktami A i B !

Schemat algorytmu:

 Poszukaj obiektu najbliższego w stosunku do obiektu klasyfikowanego.

 Określenie klasy decyzyjnej na podstawie obiektu najbliższego.

Cechy algorytmu:

 Bardziej odporny na szumy - w poprzednim algorytmie obiekt najbliższy klasyfikowanemu może być zniekształcony - tak samo zostanie zaklasyfikowany nowy obiekt.

 Konieczność ustalenia liczby najbliższych sąsiadów.

 Wyznaczenie miary podobieństwa wśród obiektów (wiele miar podobieństwa).

 Dobór parametru k - liczby sąsiadów:

 Jeśli k jest małe, algorytm nie jest odporny na szumy – jakość klasyfikacji jest niska. Jeśli k jest duże, czas działania algorytmu rośnie - większa złożoność obliczeniowa. Należy wybrać k, które daje najwyższą wartość klasyfikacji.