Wykład 7

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Wprowadzenie do “data science”

Wykład 7 - regresja logistyczna, klasyfikatory, klasyfikator

bayesowski

dr in˙z. Julian Sienkiewicz

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Przykład

Rozpatrzmy nast ˛epuj ˛acy przypadek: zale˙zno´s´c sukcesu podczas egzaminu od liczby godzin sp ˛edzonych na przygotowaniach.

Jak wida´c, regresja liniowa nie jest adekwatnym narz ˛edziem do modelowania tego typu zale˙zno´sci.

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Przykład

Rozpatrzmy nast ˛epuj ˛acy przypadek: zale˙zno´s´c sukcesu podczas egzaminu od liczby godzin sp ˛edzonych na przygotowaniach.

Jak wida´c, regresja liniowa nie jest adekwatnym narz ˛edziem do modelowania tego typu zale˙zno´sci.

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Przykład

Rozpatrzmy nast ˛epuj ˛acy przypadek: zale˙zno´s´c sukcesu podczas egzaminu od liczby godzin sp ˛edzonych na przygotowaniach.

Jak wida´c, regresja liniowa nie jest adekwatnym narz ˛edziem do modelowania tego typu zale˙zno´sci.

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Zmienne i model

Zmienne

zakładamy, ˙ze Y jest binarn ˛a zmienn ˛a odpowiedzi (zmienn ˛a obja-´snian ˛a),

Y = 1 oznacza wyst ˛epowanie danej cechy, Y = 0 — jej brak,

X = (X1,X2, ...,Xp)jest zbiorem zmiennych obja´sniaj ˛acych, które mog ˛a by´c zarówno ci ˛agłe jak i dyskretne

Model

Model mo˙ze zosta´c zapisany jako

πi =Pr(Yi=1|Xi =xi) =

exp(Xiβ) 1 + exp(Xiβ)

= 1

1 + exp(−Xiβ)

lub te˙z w to˙zsamej formie

logit(πi) =ln πi 1 − πi

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Zmienne i model

Zmienne

zakładamy, ˙ze Y jest binarn ˛a zmienn ˛a odpowiedzi (zmienn ˛a obja-´snian ˛a),

Y = 1 oznacza wyst ˛epowanie danej cechy, Y = 0 — jej brak,

X = (X1,X2, ...,Xp)jest zbiorem zmiennych obja´sniaj ˛acych, które mog ˛a by´c zarówno ci ˛agłe jak i dyskretne

Model

Model mo˙ze zosta´c zapisany jako

πi =Pr(Yi=1|Xi =xi) =

exp(Xiβ) 1 + exp(Xiβ)

= 1

1 + exp(−Xiβ)

lub te˙z w to˙zsamej formie

logit(πi) =ln πi 1 − πi

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Zmienne i model

Zmienne

zakładamy, ˙ze Y jest binarn ˛a zmienn ˛a odpowiedzi (zmienn ˛a obja-´snian ˛a),

Y = 1 oznacza wyst ˛epowanie danej cechy, Y = 0 — jej brak,

X = (X1,X2, ...,Xp)jest zbiorem zmiennych obja´sniaj ˛acych, które mog ˛a by´c zarówno ci ˛agłe jak i dyskretne

Model

Model mo˙ze zosta´c zapisany jako

πi =Pr(Yi=1|Xi =xi) =

exp(Xiβ) 1 + exp(Xiβ)

= 1

1 + exp(−Xiβ)

lub te˙z w to˙zsamej formie

logit(πi) =ln πi 1 − πi

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Zmienne i model

Zmienne

zakładamy, ˙ze Y jest binarn ˛a zmienn ˛a odpowiedzi (zmienn ˛a obja-´snian ˛a),

Y = 1 oznacza wyst ˛epowanie danej cechy, Y = 0 — jej brak,

X = (X1,X2, ...,Xp)jest zbiorem zmiennych obja´sniaj ˛acych, które mog ˛a by´c zarówno ci ˛agłe jak i dyskretne

Model

Model mo˙ze zosta´c zapisany jako

πi =Pr(Yi=1|Xi =xi) =

exp(Xiβ) 1 + exp(Xiβ)

= 1

1 + exp(−Xiβ)

lub te˙z w to˙zsamej formie

logit(πi) =ln πi 1 − πi

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Zało˙zenia

Zało˙zenia

dane Y1, ...,Yn s ˛a niezale˙zne (tzn poszczególne przypadki s ˛a nieza-le˙zne),

Yipochodzi z rozkładu dwumianowego,

brak zało˙zenia o liniowo´sci pomi ˛edzy zmienn ˛a obja´snian ˛a a zmiennymi obja´sniaj ˛acymi, zakłada si ˛e liniow ˛a zale˙zno´s´c pomi ˛edzy funkcj ˛a logitow ˛a odpowiedzi aX β,

podobnie jak w regresji liniowej, poszczególnymi zmiennymi mog ˛a by´c równie˙z pot ˛egi lub inne nieliniowe funkcje oryginalnych zmiennych,

nie musi by´c spełniona jednorodno ´s ´c wariancji,

niepewno´sci (odchyłki) musz ˛a by´c niezale˙zne, ale nie musz ˛a pochodzi´c z rozkładu normalnego

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Estymator

Estymator najwi ˛ekszej wiarygodno´sci

Estymator najwi ˛ekszej wiarygodno´sci (MLE) otrzymujemy korzystaj ˛ac z roz-kładu prawdopodobie ´nstwa zmiennej obja´snianej – w tym przypadku jest to rozkład dwumianowy, st ˛ad ł ˛aczny rozkład g ˛esto´sci prawdopodobie ´nstwa to

L(y |β) = N Y i=1 ni! yi!(ni− yi)! πyi_{(1 − π} i)ni−yi.

Funkcja wiarygodno´sci ma tak ˛a sam ˛a posta´c, jedynie interesuje nas w tym momencie wyra˙zenie nieznanych warto´sci β jako funkcji znanych, ustalonych yi, tzn L(β|y ). Czynnik, który nie zawiera πimo˙zna pomin ˛a´c:

L(β|y ) ∼ N Y i=1  πi 1 − πi yi (1 − πi)ni = N Y i=1 exiTβyi_{(1 + e}xiTβ₎−ni

W efekcie logarytm funkcji wiarygodno´sci to

l(β) = N X i=1 xiTβyi− N X i=1 niln(1 + ex T iβ₎

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Algorytm Newtona-Raphsona

Metoda Newtona-Raphsona (NR)

Przypu´s´cmy, ˙ze chcemy zmaksymalizowa´c funkcj ˛e wiarygodno´sci l(θ) wzgl ˛e-dem paramatru θ = (θ1, ..., θp)T. W ka˙zdym kroku t aktualne oszacowanie θ wyznaczane jest jako:

θt+1= θt+h−l00(θt)i−1l0(θt), gdzie l0(θt) = ∂l ∂θ1 , ..., ∂l ∂θp T ,

natomiastl00(θ)jest macierz ˛a drugich pochodnych p × p (tj. Hesjanem):

l00(θt) =         ∂2l ∂θ1θ1 ∂2l ∂θ1θ2 . . . ∂2l ∂θ1θp ∂2l ∂θ2θ1 ∂2l ∂θ2θ2 . . . ∂2l ∂θ2θp . . . . . . . .. ... ∂2_l ∂θpθ1 ∂2_l ∂θpθ2 . . . ∂2_l ∂θpθp         ,

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Metoda NR w regresji logistycznej

Metoda NR w regresji logistycznej

Dla regresji logistycznej metoda NR przyjmuje daje poni˙zsze równania:

∂l ∂βj = N X i=1 yixij− N X i=1 1 1 + exT iβ exiTβ₌ N X i=1 (yi− niπi)xij oraz ∂2l ∂βjβk = − N X i=1 nixij ∂ ∂βk exiTβ 1 + exiTβ = N X i=1 niπi(1 − πi)xijxik.

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Diagnostyka modelu

Bł ˛ad standardowy βi

Aby obliczy´c bł ˛ad standardowy βikorzystamy z nast ˛epuj ˛acej relacji

σβi=

q

(XT_{VX )}−1 ii , przy czymX oraz V s ˛a dane jako

X =       1 x11 · · · x1p 1 x21 · · · x2p . . . . . . ._. . . . . 1 xN1 · · · xNp       V =       π1(1 − π1) 0 · · · 0 0 π2(1 − π2) · · · 0 . . . . . . ._. . . . . 0 0 · · · πN(1 − πN)       Bł ˛ad standardowy βi

W celu oceny istotno´sci współczynników βimo˙zemy obliczy´c statystyk˛e βi/σβi

i porówna´c j ˛a rozkładem normalnym tzn. wyznaczy´c p-warto´s´c pβ_i =2[1 − Fz(|βi/σβi|)], gdzie Fzto dystrybuanta rozkładu normalnego.

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Diagnostyka modelu

Bł ˛ad standardowy βi

Aby obliczy´c bł ˛ad standardowy βikorzystamy z nast ˛epuj ˛acej relacji

σβi=

q

(XT_{VX )}−1 ii , przy czymX oraz V s ˛a dane jako

X =       1 x11 · · · x1p 1 x21 · · · x2p . . . . . . ._. . . . . 1 xN1 · · · xNp       V =       π1(1 − π1) 0 · · · 0 0 π2(1 − π2) · · · 0 . . . . . . ._. . . . . 0 0 · · · πN(1 − πN)       Bł ˛ad standardowy βi

W celu oceny istotno´sci współczynników βimo˙zemy obliczy´c statystyk˛e βi/σβi

i porówna´c j ˛a rozkładem normalnym tzn. wyznaczy´c p-warto´s´c pβi =2[1 −

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Diagnostyka modelu

Wracamy do poczatkowego przykładu.

β =  −4.08 1.50  σβ=  1.76 0.63  pβ=  0.021 0.017 

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Przykład

W jaki jednak sposób powinni´smy sprawdzi´c, czy przewidywania modelu pokrywaj ˛a si ˛e z zaobserwowanymi danymi? Poniewa˙z πis ˛a warto´sciami prawdopodobie ´nstwa, mo˙zemy po prostu przyj ˛a´c:

πi ≥ 1/2 to 1, πi <1/2 to 0.

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Macierz pomyłek

Wygodn ˛a metod ˛a oceny jako´sci jest tzw. macierz pomyłek (confusion ma-trix), w której konfrontujemy wyniki działania modelu z rzeczywisto´sci ˛a zlicza-j ˛ac wszystkie mo˙zliwe pary dane–model:

dane: 0, model: 0, dane: 0, model: 1, dane: 1, model: 0, dane: 1, model: 1,

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Rodzaje bł ˛edów

Bł ˛ad pierwszego rodzaju – bł ˛ad polegaj ˛acy na odrzuceniu hipotezy zerowej, która w rzeczywisto´sci nie jest fałszywa. Oszacowanie prawdopodobie ´nstwa po-pełnienia bł ˛edu pierwszego rodzaju oznaczamy symbolem α i nazywamy pozio-mem istotno´sci testu

Bł ˛ad drugiego rodzaju (bł ˛ad przyj ˛ecia) – bł ˛ad polegaj ˛acy na nieodrzuceniu hi-potezy zerowej, która jest w rzeczywisto´sci fałszywa. Oszacowanie prawdopo-dobie ´nstwa popełnienia bł ˛edu drugiego rodzaju oznaczamy symbolem β, a jego dopełnienie do jedno´sci nazywane jest moc ˛a testu

Bł ˛ad trzeciego, czwartego rodzaju... :-)

Nasz przykład model: 1 model: 0 dane: 1 8 2 dane: 0 2 8 dokładno´s´c (accuracy) ACC = (TP + TN)/(TP + TN + FP + FN) czuło´s´c (sensitivity, true positive rate) TPR = TP/(TP + FP)

specyficzno´s´c (specifity, true negative rate) TNR = TN/(TN + FN)

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Rodzaje bł ˛edów

Bł ˛ad pierwszego rodzaju – bł ˛ad polegaj ˛acy na odrzuceniu hipotezy zerowej, która w rzeczywisto´sci nie jest fałszywa. Oszacowanie prawdopodobie ´nstwa po-pełnienia bł ˛edu pierwszego rodzaju oznaczamy symbolem α i nazywamy pozio-mem istotno´sci testu

Bł ˛ad drugiego rodzaju (bł ˛ad przyj ˛ecia) – bł ˛ad polegaj ˛acy na nieodrzuceniu hi-potezy zerowej, która jest w rzeczywisto´sci fałszywa. Oszacowanie prawdopo-dobie ´nstwa popełnienia bł ˛edu drugiego rodzaju oznaczamy symbolem β, a jego dopełnienie do jedno´sci nazywane jest moc ˛a testu

Bł ˛ad trzeciego, czwartego rodzaju... :-)

Nasz przykład model: 1 model: 0 dane: 1 8 2 dane: 0 2 8 dokładno´s´c (accuracy) ACC = (TP + TN)/(TP + TN + FP + FN) czuło´s´c (sensitivity, true positive rate) TPR = TP/(TP + FP)

specyficzno´s´c (specifity, true negative rate) TNR = TN/(TN + FN)

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski

Rodzaje bł ˛edów

Klasyfikatory

regresja logistyczna jest przykłademklasyfikatora,

klasyfikacja to jedno z zada ´nuczenia pod nadzorem, gdzie mamy

do-st ˛ep do poprawnie sklasyfikowanego zbiór danych (tzn. dane, o których wiemy, ˙ze nale˙z ˛a do konkretnej klasy), czyli tzw. zbioru treningowego zadaniem w problemie klasyfikacyjnym jest przypisanie klasy do no-wych, nieoznaczonych obserwacji na podstawie dost ˛epnych danych,

istnieje cała gama klasyfikatorów: pocz ˛awszy od wła´snie regresji logi-stycznej, poprzez metody zwi ˛azane z podej´sciem bayesowskim, ma-szyny wektorów no´snych a˙z do sieci neuronowych,

klasyfikatory s ˛a dobierane na podstawie dopasowania do konkretnego przypadku — zwykle interesuje nas skuteczno´s´c (lub te˙z czuło´s´c lub specyficzno´s´c)

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Klasyfikator bayesowski

Klasyfikator bayesowski

Zaobserwowany wektor x klasyfikujemy jako pochodz ˛acy z tej klasy k, dla której warto´s´c

p(k |x) k = 1, ..., g jest najwi ˛eksza.

p(k |x) - prawdopodobie ´nstwo, ˙ze obserwacja x pochodzi z klasyk

Twierdzenie Bayesa

p(k |x) = _Pgπkp(x|k )

r =1πrp(x|r )

= πkp(x|k ) p(x)

p(x|k ) - rozkład obserwacji x z klasy k ,

πk - prawdopodobie ´nstwo a priori, ˙ze obserwacja pochodzi z

klasy k ,

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Klasyfikator bayesowski

Klasyfikator bayesowski

Zaobserwowany wektor x klasyfikujemy jako pochodz ˛acy z tej klasy k, dla której warto´s´c

p(k |x) k = 1, ..., g jest najwi ˛eksza.

p(k |x) - prawdopodobie ´nstwo, ˙ze obserwacja x pochodzi z klasyk

Twierdzenie Bayesa

p(k |x) = _Pgπkp(x|k )

r =1πrp(x|r )

= πkp(x|k ) p(x)

p(x|k ) - rozkład obserwacji x z klasy k ,

πk - prawdopodobie ´nstwo a priori, ˙ze obserwacja pochodzi z

klasy k ,

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Klasyfikator bayesowski

Klasyfikator bayesowski

Zaobserwowany wektor x klasyfikujemy jako pochodz ˛acy z tej klasy k, dla której warto´s´c

p(k |x) k = 1, ..., g jest najwi ˛eksza.

p(k |x) - prawdopodobie ´nstwo, ˙ze obserwacja x pochodzi z klasyk

Twierdzenie Bayesa

p(k |x) = _Pgπkp(x|k )

r =1πrp(x|r )

= πkp(x|k ) p(x)

p(x|k ) - rozkład obserwacji x z klasy k ,

πk - prawdopodobie ´nstwo a priori, ˙ze obserwacja pochodzi z

klasy k ,

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Dla dwóch klas (g = 2)

p(2|x)

p(1|x) =

π2p(x|2) π1p(x|1)

Załó˙zmy teraz, ˙ze składowe wektorax = [x1_,x2_{, ...,x}p_]T _{s ˛a niezale˙zne}

p(x|k ) = p Y i=1 p(x(i)|k ) Wtedy p(2|x) p(1|x)= π2Qpi=1p(x i_|2) π1Qpi=1p(xi|1)

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Dla dwóch klas (g = 2)

p(2|x)

p(1|x) =

π2p(x|2) π1p(x|1)

Załó˙zmy teraz, ˙ze składowe wektorax = [x1_,x2_{, ...,x}p_]T _{s ˛a niezale˙zne}

p(x|k ) = p Y i=1 p(x(i)|k ) Wtedy p(2|x) p(1|x)= π2Qpi=1p(x i_|2) π1Qpi=1p(xi|1)

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Dla dwóch klas (g = 2)

p(2|x)

p(1|x) =

π2p(x|2) π1p(x|1) Załó˙zmy teraz, ˙ze składowe wektorax = [x1

,x2 , ...,xp ]T s ˛a niezale˙zne p(x|k ) = p Y i=1 p(x(i)|k ) Wtedy p(2|x) p(1|x)= π2Qpi=1p(x i_|2) π1Qpi=1p(xi|1)

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Dla dwóch klas (g = 2)

p(2|x)

p(1|x) =

π2p(x|2) π1p(x|1) Załó˙zmy teraz, ˙ze składowe wektorax = [x1

,x2 , ...,xp ]T s ˛a niezale˙zne p(x|k ) = p Y i=1 p(x(i)|k ) Wtedy p(2|x) p(1|x)= π2Qpi=1p(x i_|2) π1Qpi=1p(xi|1)

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Dla dwóch klas (g = 2)

p(2|x)

p(1|x) =

π2p(x|2) π1p(x|1) Załó˙zmy teraz, ˙ze składowe wektorax = [x1

,x2 , ...,xp ]T s ˛a niezale˙zne p(x|k ) = p Y i=1 p(x(i)|k ) Wtedy p(2|x) p(1|x)= π2Qpi=1p(x i_|2) π1Qpi=1p(xi|1)

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Po zlogarytmowaniu lnp(2|x) p(1|x)=ln π2 π1 + p X i=1 lnp(x i_|2) p(xi_|1) Prowadzi to do nast ˛epuj ˛acej reguły klasyfikacyjnej:

Naiwny klasyfikator bayesowski dla g = 2

Je˙zeli lnπ2 π1 + p X i=1 lnp(x i_|2) p(xi_|1) >0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Po zlogarytmowaniu lnp(2|x) p(1|x)=ln π2 π1 + p X i=1 lnp(x i_|2) p(xi_|1)

Prowadzi to do nast ˛epuj ˛acej reguły klasyfikacyjnej:

Naiwny klasyfikator bayesowski dla g = 2

Je˙zeli lnπ2 π1 + p X i=1 lnp(x i_|2) p(xi_|1) >0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Po zlogarytmowaniu lnp(2|x) p(1|x)=ln π2 π1 + p X i=1 lnp(x i_|2) p(xi_|1) Prowadzi to do nast ˛epuj ˛acej reguły klasyfikacyjnej:

Naiwny klasyfikator bayesowski dla g = 2

Je˙zeli lnπ2 π1 + p X i=1 lnp(x i_|2) p(xi_|1) >0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Po zlogarytmowaniu lnp(2|x) p(1|x)=ln π2 π1 + p X i=1 lnp(x i_|2) p(xi_|1) Prowadzi to do nast ˛epuj ˛acej reguły klasyfikacyjnej:

Naiwny klasyfikator bayesowski dla g = 2

Je˙zeli lnπ2 π1 + p X i=1 lnp(x i_|2) p(xi_|1)>0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Cechy naiwnego klasyfikatora bayesowskiego:

addytywny wpływ kolejnych składowych wektora obserwacji x

warto´s´c prawdopodobie ´nstw p(xi|k ) s ˛a nieznane i estymujemy je jako ˆ

p(xi=l|k ) =nik(l) nik

nik - liczba wszystkich obserwacji w próbie ucz ˛acej z klasy

k , dla których została zmierzona warto´s´c i-tej składowej, nik(l) - liczba wszystkich obserwacji w próbie ucz ˛acej z

klasy k , dla których została zmierzona warto´s´c i-tej składowej, która przyj ˛eła poziom l

podobnie ˆπk estymujemy jakon_nk, gdzie n liczba wszystkich obserwacji, nk - liczba obserwacji z klasy k

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Cechy naiwnego klasyfikatora bayesowskiego:

addytywny wpływ kolejnych składowych wektora obserwacji x

warto´s´c prawdopodobie ´nstw p(xi|k ) s ˛a nieznane i estymujemy je jako

ˆ

p(xi=l|k ) =nik(l) nik

nik - liczba wszystkich obserwacji w próbie ucz ˛acej z klasy

k , dla których została zmierzona warto´s´c i-tej składowej, nik(l) - liczba wszystkich obserwacji w próbie ucz ˛acej z

klasy k , dla których została zmierzona warto´s´c i-tej składowej, która przyj ˛eła poziom l

podobnie ˆπk estymujemy jakon_nk, gdzie n liczba wszystkich obserwacji, nk - liczba obserwacji z klasy k

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Cechy naiwnego klasyfikatora bayesowskiego:

addytywny wpływ kolejnych składowych wektora obserwacji x

warto´s´c prawdopodobie ´nstw p(xi|k ) s ˛a nieznane i estymujemy je jako ˆ

p(xi=l|k ) =nik(l) nik

nik - liczba wszystkich obserwacji w próbie ucz ˛acej z klasy

k , dla których została zmierzona warto´s´c i-tej składowej, nik(l) - liczba wszystkich obserwacji w próbie ucz ˛acej z

klasy k , dla których została zmierzona warto´s´c i-tej składowej, która przyj ˛eła poziom l

podobnie ˆπk estymujemy jakon_nk, gdzie n liczba wszystkich obserwacji, nk - liczba obserwacji z klasy k

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Cechy naiwnego klasyfikatora bayesowskiego:

addytywny wpływ kolejnych składowych wektora obserwacji x

warto´s´c prawdopodobie ´nstw p(xi|k ) s ˛a nieznane i estymujemy je jako ˆ

p(xi=l|k ) =nik(l) nik

nik - liczba wszystkich obserwacji w próbie ucz ˛acej z klasy

k , dla których została zmierzona warto´s´c i-tej składowej, nik(l) - liczba wszystkich obserwacji w próbie ucz ˛acej z

klasy k , dla których została zmierzona warto´s´c i-tej składowej, która przyj ˛eła poziom l

podobnie ˆπk estymujemy jakon_nk, gdzie n liczba wszystkich obserwacji, nk - liczba obserwacji z klasy k

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski

Cechy naiwnego klasyfikatora bayesowskiego:

addytywny wpływ kolejnych składowych wektora obserwacji x

warto´s´c prawdopodobie ´nstw p(xi|k ) s ˛a nieznane i estymujemy je jako ˆ

p(xi=l|k ) =nik(l) nik

nik - liczba wszystkich obserwacji w próbie ucz ˛acej z klasy

k , dla których została zmierzona warto´s´c i-tej składowej, nik(l) - liczba wszystkich obserwacji w próbie ucz ˛acej z

klasy k , dla których została zmierzona warto´s´c i-tej składowej, która przyj ˛eła poziom l

podobnie ˆπk estymujemy jako n_k

n, gdzie n liczba wszystkich obserwacji, nk - liczba obserwacji z klasy k

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

Kodowanie

Wilgotno´s´c powietrza:

Ci´snienie atmosferyczne:

Klasy:

dzie ´n wilgotno´s´c ci´snienie klasa

1 2 3 4 5 6 7 8 9 10 11 12

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c?

lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = lnπˆ2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1) +lnˆp(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂1₇5₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂1₇5₁ =ln5₇ <0

Regresja logistyczna Ocena jako´sci modelu Klasyfikator bayesowski Naiwny klasyfikator bayesowski - przykład

wilgotno´s´c ci´snienie niskie

2

2

1

4

2

4

3

2

1

1

1

1

Σ

5

7

5

7

2/5

2/7

1/5

4/7

2/5

4/5

3/5

2/7

1/5

1/5

1/5

1/7

Σ

1

1

1

1

Estymacja prawdopodobie ´nstw a priori: ˆπ1=₁₂5, ˆπ2= ₁₂7.

Pojawia si ˛e nowa obserwacjax = [H = niska, p = wysokie]T_{. Do}

której klasy nale˙zy j ˛a sklasyfikowa´c? lnp(2|x) p(1|x) = ln ˆ π2 ˆ π1 +lnp(H = niska|2)ˆ ˆ p(H = niska|1)+ln ˆ p(p = wysokie|2) ˆ p(p = wysokie|1) lnp(2|_p(1|x)_x) = ln127 5 12 +ln 27 2 5 +ln 17 1 5 =ln7₅2₇5₂₇15₁ =ln5₇ <0