1 Wykład 6

1 Wykład 6

Przykład 1.1 Podczas rozprawy s þ adowej, wykorzystuj þ ac zebrane dowody i zez- nania ´swiadków, s þ edzia musi odpowiedzie´c na pytanie: Czy prawd þ a jest, úze pod- s þ adny jest winien? Zadanie to moúzna przedstawi´c w j þ ezyku testowania hipotez:

H

: Pods þ adny jest niewinny H

: Pods þ adny jest winien

Decyzja, podejmowana przez s þ ad, polega na wyborze hipotezy, która jego zdaniem jest prawdziwa. S þ ad moúze jednak popełni´c jeden z dwóch moúzliwych bł þ edów:

H

jest prawdziwa, a s þ ad twierdzi, úze H

jest prawdziwa ( s þ ad skazał niewinnego)

lub teúz

H

jest prawdziwa, a s þ ad twierdzi, úze H

jest prawdziwa ( s þ ad uwolnił winnego)

Skutki tych bł þ edów s þ a róúzne. W prawodawstwie wielu krajów przyjmuje si þ e, úze pierwszy bł þ ad jest bardziej dotkliwy - s þ ady skazuj þ a gdy dysponuj þ a mocnymi ar- gumentami przeciw pods þ adnemu. Ten sposób post þ epowania nazywa si þ e zasad þ a domniemania niewinno´sci. ¥

Jeúzeli θ jest parametrem modelu statystycznego, układ dwóch hipotez moúze by´c sformułowany jako:

H

: θ ∈ Θ

H

: θ ∈ Θ

,

oraz Θ

∩ Θ

= ∅. W post þepowaniu, prowadz þacym do rozstrzygni þecia, która z tych dwóch hipotez jest prawdziwa, moúzemy popełni´c dwa bł þedy:

• bł þ ad pierwszego rodzaju:

twierdzimy, úze H

jest prawdziwa gdy H

jest prawdziwa

• bł þ ad drugiego rodzaju:

twierdzimy, úze H

jest prawdziwa gdy H

jest prawdziwa

Optymalne post þepowanie powinno prowadzi´c do zmniejszenia ryzyka popełnienia bł þedu. Niestety, nie moúzna unikn þ a´c popełnienia obu bł þedów jednocze´snie. Za- zwyczaj, przy próbie zminimalizowania bł þedu pierwszego rodzaju zwi þeksza sie szansa popełnienia bł þedu drugiego rodzaju. Podobnie jest z bł þedem drugiego rodzaju. Aby unikn þ a´c kłopotów post þepuje si þe w statystyce podobnie jak w orzecznictwie s þ adowym: obowi þ azuje zasada domniemania prawdziwo´sci hipotezy zerowej, cz þesto nazywan þ a zasad þ a konserwatyzmu.

Zasada domniemania prawdziwo´sci hipotezy zerowej oznacza, úze chcemy mie´c gwarancj þe, úze bł þ ad pierwszego rodzaju

nie wyst þ api zbyt cz þesto. Musimy

1

a wi þec bł þ ad polegaj þ acy na tym, úze odzrucamy hipotez þe zerow þ a, gdy jest ona prawdziwa

wi þec okre´sli´c dopuszczaln þ a granic þe bł þedu I rodzaju. Spo´sród wszystkich znanych nam sposobów podj þecia decyzji odrzucenia hipotezy zerowej, spełniaj þ acych ten warunek, wybieramy ten, który daje najmniejszy bł þ ad II rodzaju. Jeúzeli jako hipotez þe zerow þ a wybierzemy stan wiedzy przed przeprowadzeniem eksperymentu to zasada domniemania prawdziwo´sci hipotezy zerowej oznacza, úze przyjmiemy nowe fakty

jedynie wtedy, gdy jej odrzucenie b þedzie dobrze udokumentowane.

Podobnie, jak w post þepowaniu s þ adowym, gdzie odrzucenie hipotezy o niewin- no´sci musi by´c dobrze udokumentowane (w þ atpliwo´sci s þ a uwzgl þedniane z korzy´s- ci þ a dla oskarúzonego).

DeÞnicja 1.1 Hipotez þ e nazywamy prost þ a jeúzeli zbiór parametrów j þ a kre´slaj þ a- cych jest jednoelementowy. Hipoteza jest złoúzona jesli nie jest prosta.

Przykład 1.2 Rzucamy monet þ a i chcieliby´smy dowiedzie´c si þ e, czy moneta jest symetryczna czy niesymetryczna. Układ dwóch hipotez w tym przypadku byłby nast þ epuj þ acy:

H

: θ = 1 2 , H

: θ 6= 1

2

Hipoteza zerowa jest prosta, hipoteza konkurencyjna jest złoúzona. ¥

Przykład 1.3 Obserwujemy w do´swiadczeniu warto´sci pewnej zmiennej o dys- trybuancie F , pochodz þ acej z rodziny dystrybuant F. Chcemy rozstrzygn þ a´c, czy ma ona rozkład normalny.Układ dwóch hipotez w tym przypadku jest nast þ epu- j þ acy:

H

: F ∈ N = {N (µ, σ) : µ ∈ R, σ ∈ (0, ∞]}

H

: F ∈ F − N

W tym przykładzie zarówno hipoteza zerowa jak i konkurencyjna s þ a złoúzone. ¥ DeÞnicja 1.2 Hipoteza, w której zbiór parametrów jest podzbiorem R

nazywa si þ e hipotez þ a parametryczn þ a, w przeciwnym przypadku mówimy o hipotezie nieparame- trycznej. Dodatkowo, je´sli w hipotezie zerowej jest mowa o typie rozkładu, to mówimy o hipotezie zgodno´sci.

Hipotezy w przykładzie 1.2 s þ a parametryczne, natomiast w przykładzie 1.3 s þ a nieparametrycznymi hipotezami zgodno´sci.

Decyzja o wyborze hipotezy powinna by´c oparta na obserwacjach i musi wskazywa´c, jakie warunki musz þ a one spełnia´c aby moúzna było odrzuca´c hipotez þe zerow þ a. A wi þec reguła podj þecia decyzji oznacza wskazanie zbioru C ⊂ R

, zwanego zbiorem krytycznym. Ustalenie zbioru krytycznego nazywa si þe teúz wyborem testu statystycznego. Gdy obserwacja X ∈ C to b þedziemy odrzuca´c hipotez þe zerow þ a

. W przeciwnym przypadku hipotezy zerowej nie b þedziemy odrzuca´c. W post þepowaniu s þ adowym zbiór krytyczny oznaczałby okre´slenie, jakie dowody wystarcz þ a do udowodnienia winy oskarúzonemu.

Bł þ ad I rodzaju oznacza zdarzenie X ∈ C pod warunkiem, úze hipoteza zerowa jest prawdziwa. Miar þ a szansy zaj´scia tego zdarzenia jest jego praw- dopodobie´nstwo.

2

a wi þec odrzucimy hipotez þe zerow þ a

3

co oznacza przyj þecie hipotezy konkurencyjnej

DeÞnicja 1.3 Rozmiarem testu nazywamy prawdopodobie´ nstwo sup {P ( X ∈ C| θ) : θ ∈ Θ

}

Rozmiar testu jest wi þec najwi þekszym prawdopodobie´ nstwem popełnienia bł þedu I rodzaju. Podobnie mogliby´smy okre´sli´c prawdopodobie´ nstwo bł þedu II rodzaju:

sup {P ( X / ∈ C| θ) : θ ∈ Θ

}

Zasada domniemania prawdziwo´sci hipotezy zerowej oznacza, úze rozmiar testu nie przekroczy pewnej warto´sci α zwanej poziomem istotno´sci:

sup {P ( X ∈ C| θ) : θ ∈ Θ

} ≤ α Mówimy wtedy, úze test jest na poziomie istotno´sci α.

W praktyce przyjmuje si þe dwa standardowe poziomy istotno´sci: α = 0.05 i α = 0.01.

Przykład 1.4 Rzucamy n = 5 razy monet þ a, w której prawdopodobie´ nstwo wyrzuce- nia orła wynosi θ. Chcemy rozstrzygn þ a´c hipotez þ e

H

: θ = 1 2 przeciwko hipotezie

H

: θ = 1 4

Niech X oznacza liczb þ e orłów uzyskanych w tych 5 rzutach.Jako zbiór krytyczny wybierzemy przedział C = [0, 2] . Rozmiar tego testu wynosi:

sup {P ( X ∈ C| θ) : θ ∈ Θ

} = P µ

X ≤ 2| θ = 1 2

¶

= X

i=0

µ 5 i

¶ µ 1 2

¶

= 1

2 natomiast bł þ ad drugiego rodzaju wynosi

sup {P ( X / ∈ C| θ) : θ ∈ Θ

} = P µ

X > 2| θ = 1 4

¶

=

1 − X

µ 5 i

¶ µ 1 4

¶

µ 3 4

¶

= 53

512 ≈ .104

¥

Chcieliby´smy umie´c konstruowa´c moúzliwie najlepsze testy na zadanym poziomie ufno´sci. Słowo ”najlepszy” oznacza, úze w´sród wszystkich testów na zadanym poziomie ufno´sci ten test ma najmniejsze prawdopodobie´ nstwo bł þedu II rodzaju.

Zagadnienie to w szczególnym przypadku, rozwi þ azali w 1928,Jerzy Neyman i Egon Pearson

.

Konstrukcja testów według Neymana i Pearsona opiera si þe na poj þeciu ilorazu wiarygodno´sci hipotez.

4

Jerzy Spława-Neyman (1984-1981), matematyk polski; Egon Sharpe Pearson (1895-1980)

matematyk angielski

DeÞnicja 1.4 Iloraz wiarygodno´sci hipotez H

, H

jest ilorazem L

(H

, H

) = L

(H

)

L

(H

) gdzie

L

(H) = sup {θ ∈ Θ

: f

( x| θ)}

oraz gdzie Θ

jest zbiorem parametrów opisuj þ acych hipotez þ e H a f

( x| θ) jest g þ esto´sci þ a (rozkładem w przypadku zmiennej dyskretnej) cechy X w punkcie x.

Funkcj þ e L

(H) nazywamy wiarygodno´sci þ a hipotezy H dla obserwacji x.

Iloraz wiarygodno´sci podaje, ile razy cz þe´sciej wyst þ apiłby wynik x gdyby prawdziwa była hipoteza H

niúz gdyby prawdziwa była hipoteza H

. Skłonni byliby´smy odrzuca´c hipotez þe H

na rzecz hipotezy H

na podstawie wyniku x gdyby iloraz wiarygodno´sci L

(H

, H

) miał duúz þ a warto´s´c.

Przykład 1.5 (cd przykladu (1.4)) Iloraz wiarygodno´sci hipotez gdy uzyskamy x orłów w 5 rzutach wynosi:

L

(H

, H

) = P ¡

X = x| θ =

¢ P ¡

X = x| θ =

¢ =

¡

x

¢ ¡

4

¢

¡

4

¢

¡

x

¢ ¡

2

¢

= 243 32 3

Wida´c, úze im mniejsza liczba wyrzuconych orłów, tym bardziej byliby´smy skłonni odrzuca´c hipotez þ e H

na rzecz hipotezy H

, co jest zgodne z nasz þ a intuicj þ a. Gdy, na przykład, w wyniku 5 rzutów wypadn þ a 2 orły, to iloraz wiarygodno´sci w tym przypadku wynosi

243

32 3

≈ .844

co sugeruje, úze hipoteza H

jest słabsza od hipotezy H

. ¥

B þedziemy rozwaúza´c zbiory krytyczne postaci C = {x : L

(H

, H

) > k}.

Poniúzsze twierdzenie, znane pod nazw þ a lematu Neymana-Pearsona podaje kon- strukcj þe testów optymalnych, gdy testujemy prost þ a hipotez þe przeciwko prostej hipotezie alternatywnej.

Lemat 1.1 (Neymana - Pearsona) Niech H

: f = f

, H

: f = f

i f

oraz f

b þ ed þ a g þ esto´sciami prawdopodobie´ nstwa, ci þ agłymi i dodatnimi na tym samym zbiorze.

Wtedy w´sród wszystkich testów o rozmiarze nie przekraczaj þ acym α test o najmniejszym prawdopodobie´ nstwie bł þ edów II rodzaju dany jest wzorem:

C = {x : L

(H

, H

) > k} , gdzie k spełnia warunek

α = P ( X ∈ C| H

) = Z

C

f

(x) dx

Dowód. Niech D b þedzie dowolnym testem na poziomie ≤ α . Oznacza to, úze

P ( X ∈ D| H

) ≤ α.

Niech

φ

(x)

=

½ 1 gdy x ∈ A 0 gdy x / ∈ A Wtedy dla kaúzdego x

0 ≤ (φ

(x) − φ

(x)) (f

(x) − kf

(x)) oraz

0 ≤

Z

C

(φ

(x) − φ

(x)) (f

(x) − kf

(x)) dx =

= P ( X ∈ C| H

) − P ( X ∈ D| H

) − k (P ( X ∈ C| H

) − P ( X ∈ D| H

)) =

= P ( X ∈ C| H

) − P ( X ∈ D| H

) − k (α − P ( X ∈ D| H

)) ≤

≤ P ( X ∈ C| H

) − P ( X ∈ D| H

)

T þe ostatni þ a nierówno´s´c moúzna zapisa´c w innej postaci:

P ( X / ∈ C| H

) ≤ P ( X / ∈ D| H

) co oznacza, úze test C ma mniejszy bł þ ad II rodzaju niúz test D.

Przykład 1.6 Niech X

= (x

, x

, . . . , x

) b þ edzie prób þ a prost þ a z rozkładu nor- malnego N (µ, σ) i odchylenie standardowe σ jest znane. Chcemy testowa´c hipotezy

H

: µ = µ

, H

: µ = µ

gdzie µ

> µ

. Z lematu Neymana - Pearsona wynika, úze obszar krytyczny musi by´c skonstruowany za pomoc þ a ilorazu wiarygodno´sci

L

(H

, H

) =

¡ 2πσ

¢

exp ³

− P

i=1

(x

− µ

)

/2σ

´ (2πσ

)

exp ³

− P

i=1

(x

− µ

)

/2σ

´ =

= exp Ã

X

i=1

³

(x

− µ

)

− (x

− µ

)

´ /2σ

!

= exp ¡

n ¡

2x (µ

− µ

) + ¡ µ

− µ

¢¢ /2σ

¢

Iloraz wiarygodno´sci jest rosn þ ac þ a funkcj þ a x tak wi þ ec rozwi þ azyranie nierówno´sci L

(H

, H

) > k jest równowaúzne rozwi þ azaniu nierówno´sci x > k

. Tak wi þ ec b þ edziemy odrzuca´c hipotez þ e H

gdy obserwacje X

= (x

, x

, . . . , x

) spełnia´c b þ ed þ a nierówno´s´c

x > k

gdzie stała k

jest rozwi þ azaniem równania P ( x > k

| H

) = α

To ostatnie równanie da si þ e łatwo wyrazi´c przez dystrybuant þ e Φ standardowego rozkładu normalnego, gdyúz zmienna losowa

Z = X − µ

σ/ √ n

ma standardowy rozkład normalny. Korzystaj þ ac z tego faktu, α = P ( x > k

| H

) = P

µ X − µ

σ/ √

n > k

− µ

σ/ √ n

¯ ¯

¯ ¯ H

¶

=

= 1 − Φ

µ k

− µ

σ/ √ n

¶

Jeúzeli wprowadzimy oznaczenie z

def

= Φ

(1 − α) to k

=z

σ/ √

n + µ

. Na

przykład, gdy α = 0, 05 to z

= 1.65 , gdy α = 0, 01 to z

= 2.33