Testowanie hipotez

(1)

Testowanie hipotez

Niech X = (X₁, . . . , X_n) będzie próbą losową na przestrzeni X , zaś P = {P_θ, θ ∈ Θ}

rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X .

Definicja 1. Hipotezą zerową Θ₀ ⊂ Θ nazywamy hipotezę, której prawdziwość chcemy zweryfikować na podstawie obserwacji. Hipoteza alternatywna jest postaci Θ1 = Θ\Θ0.

Hipoteza prosta zawiera jeden element, np. H₀ : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H0 : θ > 4.

Definicja 2. Obszar krytyczny testu jest to obszar odrzucenia hipotezy zerowej. Naj- częściej ma on postać K = {X : T (X) > c}, gdzie c jest poziomem krytycznym testu, wyznaczonym przez kwantyl rozkładu, z jakiego pochodzi statystyka testowa przy zało- żeniu prawdziwości hipotezy zerowej (zależy on od przyjętego poziomu istotności testu).

Definicja 3. Test można identyfikować z jego obszarem krytycznym K lub funkcją kry- tyczną ϕ : X −→ {0, 1} postaci

ϕ(X) = 1_K(X) = 1, gdy X ∈ K, 0, gdy X /∈ K,

Definicja 4. Prawdopodobieństwo błędu pierwszego rodzaju to prawdopodobieństwo odrzucenia hipotezy zerowej, gdy jest ona prawdziwa:

α_I(θ) = P_θ(X ∈ K), θ ∈ Θ₀.

Definicja 5. Prawdopodobieństwo błędu drugiego rodzaju to prawdopodobieństwo przy- jęcia hipotezy zerowej, gdy jest ona fałszywa:

α_II(θ) = P_θ(X ∈ K^c) = 1 − P_θ(X ∈ K), θ ∈ Θ₁. Definicja 6. Funkcją mocy testu nazywamy β : Θ −→ [0, 1] postaci

β(θ) = P_θ(X ∈ K) = E_θϕ(X).

Z reguły bada się moc testu na alternatywie, czyli θ = θ₁.

Definicja 7. Test o funkcji krytycznej ϕ (o obszarze krytycznym K) jest testem na poziomie istotności α ∈ (0, 1), jeżeli

∀_θ∈Θ₀ E_θϕ(X) = P_θ(X ∈ K) = β(θ) ≤ α.

Definicja 8. Rozmiarem testu o funkcji krytycznej ϕ (obszarze krytycznym K) nazywamy wielkość

β = sup

θ∈Θ0

E_θϕ(X) = sup

θ∈Θ0

β(θ).

Definicja 9. Test ϕ^∗ (K^∗) na poziomie istotności α jest testem jednostajnie najmocniejszym (JNM) w klasie testów Φ (K) na poziomie α, jeżeli

∀ϕ∈Φ ∀θ∈Θ1 β^∗(θ) ≥ β(θ).

(2)

Twierdzenie (podstawowy lemat Neymana-Pearsona) Niech P₀ i P₁ będą rozkła- dami prawdopodobieństwa i niech f₀ i f₁ będą gęstościami tych rozkładów (względem pewnej ustalonej miary µ). Niech α ∈ (0, 1) będzie ustaloną liczbą.

(a) (istnienie testu) Istnieją stałe c i γ > 0 takie, że ϕ(x) =







1, gdy f₁(x) > cf₀(x), γ, gdy f₁(x) = cf₀(x), 0, gdy f₁(x) < tf₀(x),

jest testem hipotezy H₀ : P₀ przeciwko H₁ : P₁ na poziomie istotności α, tzn.

E₀ϕ(X) = α. (1)

(b) (dostateczność) Jeżeli test ϕ spełnia warunek (1) i dla pewnego c warunek ϕ(x) = 1, gdy f₁(x) > cf₀(x),

0, gdy f₁(x) < tf₀(x), (2) to ϕ jest testem najmocniejszym dla testowania H₀przeciwko H₁na poziomie istotności α.

(c) (konieczność) Jeżeli φ jest testem najmocniejszym na poziomie istotności α dla testowania H₀ przeciwko H₁, to dla pewnego c spełnia on warunek (2).

Podsumowując, test statystyczny składa się z:

1. Hipotezy zerowej H0 i hipotezy alternatywnej H1, 2. Statystyki testowej T (X),

3. Obszaru krytycznego K.

4. Poziomu istotności α,

Decyzja: jeżeli T (X) ∈ K, to odrzucamy hipotezę H₀, jeżeli T (X) /∈ K, to nie mamy podstaw do odrzucenia hipotezy zerowej.

Definicja 10. P-wartość (p-value) to graniczny poziom istotności - najmniejszy, przy któ- rym zaobserwowana wartość statystyki testowej prowadzi do odrzucenia hipotezy zerowej.

Jest to więc taki poziom istotności, przy którym zmienia się decyzja testu (zaczynając od lewej - od małego poziomu α, kiedy to nie mamy podstaw do odrzucenia H₀, po przekroczeniu p-wartości zaczynamy odrzucać H0).

P-wartość pozwala bezpośrednio ocenić wiarygodność hipotezy. Im p-wartość jest większa, tym bardziej hipoteza H₀ jest prawdziwa. Mała p-wartość świadczy przeciwko hipotezie zerowej.

Znajomość p-wartości pozwala przeprowadzić testowanie dla dowolnego poziomu istot- ności:

-odrzucamy hipotezę zerową H0, gdy

p-wartość ≤ α,

-nie mamy podstaw do odrzucenia hipotezy zerowej H₀, gdy p-wartość > α.

(3)

Test Chi-kwadrat zgodności

nr klasy 1 2 3 4 5 ...

liczebności empiryczne n₁ n₂ n₃ n₄ n₅ ...

• Hipotezy

H₀ : X ∼ F, H₁ : X F, F jest dowolnym rozkładem prawdopodobieństwa.

• Statystyka testowa

χ² =

k

X

i=1

(n_i− n^t_i)² n^t_i , gdzie

k - liczba klas,

n_i - liczebności empiryczne (zaobserwowane), n^t_i = n · p^t_i - liczebności teoretyczne,

p^t_i = P_F(Xprzyjeła wartosc z klasy i) - prawdopodobieństwa teoretyczne.

Przy założeniu prawdziwości hipotezy zerowej statystyka χ² ma rozkład chi-kwadrat z (k − r − 1) stopniami swobody (r jest liczbą nieznanych parametrów hipotetycz- nego rozkładu F ).

• Obszar krytyczny

K = (F_χ⁻¹2 k−1

(1 − α), +∞), gdzie F_χ⁻¹2

k−1

(1 − α) jest kwantylem rzędu 1 − α rozkładu chi-kwadrat z (k − r − 1) stopniami swobody.

Test Chi-kwadrat niezależności Tablica kontyngencji:

Cecha 1 Cecha 2 1 2 . . . k

1 n₁₁ n₁₂ . . . n_1k 2 n₂₁ n₂₂ . . . n₂₃ . . . . r nr1 nr2 . . . nrk

• Hipotezy

H₀ : X, Y są niezależne, vs H₁ : X, Y są zależne

(4)

χ² =

k

X

j=1 r

X

i=1

(n_ij− n^t_ij)² n^t_ij , gdzie

k - liczba kolumn w tablicy kontyngencji, r - liczba wierszy w tablicy kontyngencji, nij - liczebności empiryczne (zaobserwowane), n^t_ij - liczebności teoretyczne, dane wzorem

n^t_ij =

k

P

j=1

n_ij ·

r

P

i=1

n_ij

n ,

gdzie n =

k

P

j=1 r

P

i=1

n_ij .

Przy założeniu prawdziwości hipotezy zerowej statystyka χ² ma rozkład chi-kwadrat z (k − 1)(r − 1) stopniami swobody.

K = (F_χ⁻¹2 (k−1)(r−1)

(1 − α), +∞), gdzie F_χ⁻¹2

k−1

(1 − α) jest kwantylem rzędu 1 − α rozkładu chi-kwadrat z (k − r − 1) stopniami swobody.

Test Kołmogorowa

Test Kołmogorowa testuje zgodność z rozkładem F dla jednej próby (Test Kołmogorowa - Smirnowa dla dwóch prób testuje zgodność rozkładów w obu próbach).

• Hipotezy

H₀ : X ∼ F, H₁ : X F, gdzie F jest ciągłym rozkładem prawdopodobieństwa.

1. n ≤ 100

Dn= sup

x∈R

|F (x) − Fn(x)| = max

1≤i≤n

max

F (Xi:n) − i − 1 n

,

i

n − F (Xi:n)

,

(5)

K = (F_D⁻¹

n(1 − α), 1],

gdzie F_D⁻¹_n(1−α) jest kwantylem rzędu 1−α rozkładu statystyki Kołmogorowa (D_n).

2. n > 100

• Statystyka testowa √

nD_n,

K = (λ_1−α, +∞),

gdzie λ_1−α jest kwantylem rzędu 1 − α granicznego rozkładu statystyki Kołmogo- rowa (√

nD_n).

Test Shapiro-Wilka Jest to test normalności rozkładu.

• Hipotezy

H₀ : X ∼ N, H₁ : X N

W =

_n P

i=1

a_ix_i:n

2 n

P

i=1

(xi− x)² ,

gdzie stałe a_i są dane wzorem

(a₁, . . . , a_n) = m^>V⁻¹

√m^>V⁻¹V⁻¹m,

gdzie m = (m₁, . . . , m_n)^>, są wartościami oczekiwanymi statystyk pozycyjnych z pochodzących z próby iid z rozkładu standardowego normalnego a V jest ich ma- cierzą kowariancji (stablicowane).

K = (W_n(1 − α), +∞),

gdzie W_n(1 − α) jest kwantylem rzędu 1 − α rozkładu statystyki Shapiro-Wilka W .

(6)

Test t-studenta

Jest to test parametryczny dla jednej lub dwóch prób, polegający na testowaniu równości wartości oczekiwanych (test istotności). Zakładamy, że pomiary podlegają rozkładowi normalnemu, oraz że wariancje w próbach nie różnią się od siebie istotnie.

1. Test t dla jednej próby

• Hipotezy

H₀ : µ = µ₀,

H1 : µ > µ0, (3)

µ < µ0, (4)

µ 6= µ₀ (5)

T =√ n

X − µ¯ 0

s_X , gdzie s²_X = _n−1¹

n

P

i=1

(X_i− ¯X)² to próbkowe odchylenie standardowe. Statystyka testowa T ma rozkład t-studenta o (n − 1) stopniach swobody.

Zależy od postaci hipotezy alternatywnej w następujący sposób:

K₁ = (F_t⁻¹_n−1(1 − α), +∞), K₂ = (−∞, −F_t⁻¹_n−1(1 − α)),

K₃ = (−∞, −F_t⁻¹_n−1(1 −^α₂)) ∪ (F_t⁻¹_n−1(1 −^α₂), +∞),

gdzie F_t⁻¹_n−1(a) to kwantyl rzędu a rozkładu t-studenta z (n − 1) stopniami swobody.

Jeżeli wariancja rozkładu jest znana, wówczas s_X zastępujemy przez odchylenie standardowe rozkładu, zaś F_t⁻¹_n−1(a) zastępujemy przez Φ⁻¹(a).

2. Test t dla dwóch prób niezależnych

• Hipotezy

H₀ : µ₁ = µ₂, H₁ : µ₁ 6= µ₂

T =

X¯₁− ¯X₂ SX¯1− ¯X2

, gdzie

SX¯1− ¯X2 = s

(n₁− 1)s²₁+ (n₂− 1)s²₂ n₁+ n₂− 2

1 n₁ + 1

n₂

,

s₁, s₂ to nieznane odchylenia standardowe z próbek, zaś n₁, n₂ to liczebności próbek.

Statystyka testowa T ma rozkład t-studenta o (n₁+ n₂− 2) stopniach swobody.

(7)

K = (−∞, −F_t⁻¹

n1+n2−2(1 −α

2)) ∪ (F_t⁻¹

n1+n2−2(1 −α

2), +∞) 3. Test dla dwóch prób zależnych

• Hipotezy

H₀ : µ₁ = µ₂, H₁ : µ₁ 6= µ₂

T = d¯ Sd¯

, gdzie

d =¯ 1 n

n

X

i=1

d_i,

d_i = x_1i− x_2i, i = 1, . . . , n,

Sd¯= v u u t

1 n − 1

n

X

i=1

(d_i− ¯d)²,

zaś x1i, x_2i oznaczają wartości cechy X dla i-tego obiektu w pierwszym i drugim badaniu. Statystyka testowa T ma rozkład t-studenta o (n − 1) stopniach swobody.

K = (−∞, −F_t⁻¹

n−1(1 −α

2)) ∪ (F_t⁻¹

n−1(1 −α

2), +∞)

UWAGA: Gdy liczebność próby jest duża (n > 30, n₁+ n₂ > 30), to kwantyl rozkładu t-studenta zastępujemy przez kwantyl rozkładu standardowego normalnego (F_t⁻¹_n ' Φ).