Przegląd wybranych testów

Przegląd wybranych testów

Testy dotyczące wartości oczekiwanej w rozkładzie normalnym i problem testowania równości średnich w dwóch zależnych populacjach o rozkładzie normalnym.

Model 1. Niech X=(X1,...,Xn) będzie próbą prostą z rozkładu N(m,²) przy czym ² jest znane.

Testujemy hipotezę

1. H^0a: mm0 wobec alternatywy H1a: m<m0

2. H0b: mm0 wobec alternatywy H1b: m>m0

3. H0c: m=m0 wobec alternatywy H1c: mm0

Statystyką testową jest

 ) 0

( X m

n X

T 

 ,

która przy ustalonym m ma rozkład N( n ^m_^m0,1). Zbiór krytyczny (odrzucenia H0) C na poziomie  konstruujemy następująco:

1. C{X:T(X)u_} dla alternatywy H1a: m<m0

2. C{X:T(X)u_1} dla alternatywy H_1b: m>m₀

3. { : | ( )| }

1^2



 X T X u

C dla alternatywy H1c: mm0

gdzie u_ jest kwantylem rzędu  rozkładu N(0,1)

Uwaga. W przypadku 1 i 2 test jest jednostajnie najmocniejszy. W przypadku 3 test jest jednostajnie najmocniejszy w klasie testów nieobciążonych. Test jednostajnie najmocniejszy w tym przypadku nie istnieje.

Model 2. Niech X=(X₁,...,X_n) będzie próbą prostą z rozkładu N(m,²) przy czym ² jest nieznane.

Testujemy hipotezę

1. H0a: mm₀ wobec alternatywy H_1a: m<m₀ 2. H0b: mm0 wobec alternatywy H1b: m>m0

3. H0c: m=m0 wobec alternatywy H1c: mm0

n Sn

m n X

S m n X X

T ⁰

*

0 1

)

( 



 

 ,

(gdzie





 ⁿ

i

n Xi

X

1

1 , ²

1 1 2 1

* (X X)

S

n

i n i

n 





  , ²

1

2 1 (X X)

S

n

i n i

n 







) ,

która przy prawdziwości H0 ma niecentralny rozkład t-Studenta o n-1 stopniach swobody i parametrze niecentralności  n ^m_^m0 (czyli t_n1, ). Zbiór krytyczny (odrzucenia H0) C na poziomie  konstruujemy następująco:

1. C{X:T(X)u_} dla alternatywy H1a: m<m0

2. C{X:T(X)u_1} dla alternatywy H_1b: m>m₀

3. { : | ( )| }

1^2



 X T X u

C dla alternatywy H_1c: mm₀

gdzie u_ jest kwantylem rzędu  rozkładu centralnego t Studenta t_n-1 .

Uwaga. W przypadku 1 i 2 test jest jednostajnie najmocniejszy. W przypadku 3 test jest jednostajnie najmocniejszy w klasie testów nieobciążonych. Test jednostajnie najmocniejszy w tym przypadku nie istnieje. Dla n >30 rozkład t-Studenta aproksymujemy rozkładem normalnym N(0,1).

Powyższe testy mogą być użyte do porównywania wartości oczekiwanych w dwóch próbach zależnych o rozkładzie normalnym.

Niech (X1,Y1),...,(Xn,Yn) będzie próbą prostą z dwuwymiarowego rozkładu normalnego )

,

( 



 



 



 





y yx

xy x

y x

V C

C V m

N m . Chcemy testować hipotezę

H0: mx=my przeciwko alternatywie H0: mxmy

Z powyższym problemem mamy do czynienia, gdy dla tego samego pacjenta rejestrujemy dwa pomiary pewnej wielkości przed i po zażyciu leku.

Definiując zmienną Z=Y-X , którą możemy interpretować jako poprawę spowodowaną zażyciem leku dostajemy próbę prostą (Z1,...,Zn) z rozkładu N(mz,²) , gdzie

mz = my - mx i

 

_



 







 



 

 1

1 1

2 1

y yx

xy x

V C

C

 V

i problem sprowadza się do testowania hipotezy H0: mz=0 wobec alternatywy H1: mz0 (lub mz>0

Testowanie równości średnich w dwóch niezależnych populacjach o rozkładzie normalnym.

Niech X=(X₁,...,X_n) i Y=(Y₁,...,Y_m) będą niezależnymi próbami prostymi z rozkładów N(m_x,²) i N(m_y,²) odpowiednio. Nieznana wariancja ² jest taka sama w obu rozkładach.

Testujemy hipotezę

H₀: m_x=m_y wobec jednej z alternatyw H_1a: m_x<m_y , H_1b: m_x>m_y,, H_1c: m_xm_y Statystyką testową jest





 













 

m

j j

n

i i

m n

m n nm

Y Y X

X

Y Y X

X T

1

2 1

2 )

2 (

) ( )

( )

,

( ,

która przy prawdziwości H0 ma rozkład t-Studenta o n+m-2 stopniach swobody (czyli tn+m-2). Zbiór krytyczny (odrzucenia H₀) C na poziomie  konstruujemy następująco:

1. C{X:T(X)u_} dla alternatywy H1a: mx<my

2. C{X:T(X)u_1} dla alternatywy H1b: mx>my

3. { : | ( )| }

1^2



 X T X u

C dla alternatywy H1c: mxmy

gdzie u_ jest kwantylem rzędu  rozkładu t_n+m-2 .

Uwaga. W przypadku 1 i 2 test jest jednostajnie najmocniejszy. W przypadku 3 test jest jednostajnie najmocniejszy w klasie testów nieobciążonych. Test jednostajnie najmocniejszy w tym przypadku nie istnieje. Dla n >30 rozkład t-Studenta aproksymujemy rozkładem normalnym N(0,1).

Nieparametryczne odpowiedniki powyższych modeli testowania hipotez -testy Wilcoxona i Manna-Whitneya.

Rozważmy jeszcze raz problem porównywania dwóch prób zależnych. Niech (X1,Y1), ..., (Xn,Yn) będzie próbą prostą z pewnego dwuwymiarowego rozkładu ciągłego. Sytuacja taka odpowiada np.

pomiarowi pewnej zmiennej dla tych samych jednostek eksperymentalnych przed i po zastosowaniu terapii. Definiując zmienną Z=Y-X , którą możemy interpretować jako poprawę spowodowaną terapią, dostajemy próbę prostą (Z₁,...,Z_n) z pewnego rozkładu ciągłego. Jeśli terapia jest nieskuteczna, czyli zmienne X i Y mają taki sam rozkład, to zmienna Z ma rozkład symetryczny wokół 0. Oznacza to że zmienne Z (poprawa) i –Z (pogorszenie) mają taki sam rozkład. Oznaczając przez F_Z(t) dystrybuantę zmiennej Z widać, że F-Z(t)=P(-Zt)=1-P(-Z>t)=1-P(Z<-t)=1-FZ(-t). Warunek symetryczności (wokół 0) rozkładu zmiennej Z przybiera postać FZ(t)+FZ(-t)=1 dla każdego tR. Jeżeli skutkiem terapii jest przesunięcie rozkładu, to zmienna Z ma dystrybuantę F(t) gdzie F jest nieznaną dystrybuanta

Niech Z1, ...,Zn będzie próbą prostą z pewnego rozkładu F(t)gdzie F jest ciągłą dystrybuantą rozkładu symetrycznego. Jest o oczywiście nieparametryczna rodzina rozkładów. Parametrem jest para (F,) _symR ( _sym jest zbiorem symetrycznych absolutnie ciągłych dystrybuant na R.

Testujemy hipotezę

H0: =0 (terapia jest nieskuteczna) wobec jednej z alternatyw

H1a: <0 albo H1b: >0 albo H1c: 0.

Dystrybuanta F jest w tym przypadku parametrem zakłócającym. Problem testowania jest niezmienniczy względem grupy wszystkich transformacji z _i^' f(z_i), i=1,...,n takich, że f jest ciągła, nieparzysta i ściśle rosnąca. Transformacje powyższe zachowują znaki obserwacji i porządek bezwzględnych wartości obserwacji.

Oznaczmy przez R_i=ranga | Z_i| wśród |Z₁|,...,|Z_n|

Można pokazać (Lehmann), że maksymalnym niezmiennikiem jest zbiór rang R ,...,₁ R . Redukcja _n przez statystyki dostateczne zastosowana do maksymalnego niezmiennika prowadzi do rang



R1 ,...,R_k^, odpowiadających dodatnim obserwacjom Z1, ...,Zn ( których jest k).

Statystyka oparta na tym niezmienniku ma rozkład niezależny od dystrybuanty F sym. Statystyką testową jest statystyka Wilcoxona





 ^k  i

Ri

W

1

. Oznaczmy przez







 

0 , 0

0 , 1

i i

i X

S X i=1,...,n ciąg zmiennych losowych. Przy prawdziwości H0

zmienne losowe S1,...,Sn są niezależne o rozkładzie Bernouliego B(1,₂¹)więc E(S_i) ¹₂ V(S_i) ₄¹

Przy prawdziwości H₀ ⁽₂¹⁾₂^{1 (}₄¹⁾

1 1

1

) ( )

( ) ( )

( ^{ }







    



  

^{n nn nn}

i

i i n

i i i k

i

i E RS RE S

R E W

E

24 ) 1 2 )(

1 ( 4 1 6

) 1 2 )(

1 ( 1

1 1

) ( )

( ) ( )

( ^{   }







    



  

^{n nn n nn n}

i

i i n

i i i k

i

i V RS RV S

R V W

V .

W zależności od hipotezy alternatywnej obszar krytyczny konstruujemy lewostronny prawostronny, obustronny. Rozkład statystyki W jest stablicowany (Zieliński R, Zieliński W., Tablice statystyczne) Dla n>16 stosujemy aproksymację gaussowską

Statystyka

24 ) 1 2 )(

1 (

4 ) 1 (





  n n n

n

W n

ma dla n>16 w przybliżeniu rozkład N(0,1).

Problem dwóch prób

Niech ( ,..., )

1 Xn1

 X

X oraz ( ,..., )

1 Yn2

 Y

Y będą dwiema niezależnymi próbami prostymi z rozkładów o dystrybuantach odpowiednio F_X i F_Y.

Testujemy hipotezę H0: F_X = F_Y

wobec jednej z alternatyw

I (location) H1: F_Y(t)F_X(t) 0, albo ,0, albo 0 II (scale) H1: F_Y(t)F_X(_^t) ,  0

III (Lehmann alternative) H1: F_Y(t)1(1F_X(t)^1 , 1 0, IV (stochastic domination) H1: F_Y(t)F_X(t) t i t: F_Y(t)F_X(t) V (general alternative) H₁:F_Y(t)F_X(t)

Ad III. W przypadku alernatywy Lehmanna dla N, F_Y(t)1(1F_X(t)^1jest dystrybuantą minimum z 1zmiennych X(X₁,...,X_1)

Ad IV XY 

st

t t F t

F_Y() _X()  i t: F_Y(t)F_X(t)

W każdym z powyższych przypadków mamy do czynienia z nieparametrycznym problemem testowania. Musimy skonstruować rozsądną statystykę testową, której rozkład (przynajmniej przy prawdziwości H₀: F_X= F_Y=F nie zależy od nieznanej dystrybuanty F. W przypadku testowania hipotezy H0: F_X = F_Y=F wobec alternatywy (location) H1: F_Y(t)F_X(t) lub alternatywy (stochastic domination) H₁: F_Y(t)F_X(t) t i t: F_Y(t)F_X(t) problem testowania jest niezmienniczy względem grupy transformacji x _i^' f(x_i), y ^'_j f(y_j)(i 1,...,n₁, j 1,...,n₂, gdzie f jest ciągłą i ściśle rosnącą bijekcją zbioru R na siebie. Niech R₁R₂LR_n1n2będą rangami (kolejnymi numerami) odpowiednio obserwacji

nn

n Y Y

X X₁,..., , ₁,...,

1 w połączonej próbie ( ,..., )

1 Xn1

 X

X

i Y(Y₁,...,Y_n2). Maksymalnym niezmiennikiem jest zbiór rang R₁,R₂,L,R_n1n2.Oznaczmy przez }

,..., ,

{in1 1 in1 2 in1 n2

S _{  } zbiór indeksów odpowiadających obserwacjom ( ,..., )

1 Yn2

 Y

Y . Statystyką

testową testu Manna-Whitneya-Wilcoxona (MWW) jest







S i

Ri

W (czyli suma rang Y-ków) Duże wartości statystyki







S i

Ri

W świadczą przeciwko H0 na rzecz H1: 0 a małe na rzecz H1:

Rozważmy schemat losowania bez zwracania n₂elementowego podzbioru S ze zbioru nn₁n₂ elementowego i oznaczmy przez







 

S i

S S i

I_i

, 0

, ) 1

( , i1,...,n dychotomiczną zmienną losową

określoną na zbiorze indeksów {1,...,n}.

Oczywiście _i P(iS) ⁿ_n²,i1,...,n a dla i j



_ij P(i,jS) ⁿ_n²₍⁽ⁿ_n²_1^₎¹⁾.

i i S I

E( ( ))



, 2

2 1 2

2(1 )

) 1 ( )) (

( n

n n n n n n i i i S I

V 







   ,

. ))

( ) (

cov( ²( 1)

2 1

 







 n n

n n j i ij j

i S I S

I j

i

  

Widać, że

) (

1

S I R R

W _i

n

i i S

i

i





 



 .

Stąd

2 ) 1 ( 2

) 1 ( 1

1 1

2 1 2 2

2

)) 2

( ( )

( ^{  }

















  

^{n nn nn n n n}

i n i n n n n

i i i

n

i

iE I S R R

R W

E

12 ) 1 ( 12

1 1

) 1 2 (

2 ) 1 ( 6

) 1 2 )(

1 ( ) 1 ( 2 1 1

2 )

1 (

, 1

2 )

1 1 (

2 )

1 1 (

1 1

2

) 1 ( 1

2 1

2

2 1 2 1 2

1 2

2 1 2

2 1

2 2 1 2

2 1 2

2 1

2 2 1 2

2 1

) ) ( (

) ) ( (

) (

) )

1 ((

) (

)) ( ), ( cov(

)) ( ( )

(



 











 

 

 



 







 

































































n n n n n n

n n n n

n n n n n n

n n n

i i n

i n i n

n n

j j i

i n

i n i n

n n j j i

i n

i n i

n n n j j i n i n

i n i

n n

j j i n i n

n n n

i n i

n n J

i j j i

i i

n

i i

n R

R n

R R R

n R

R R

n R

R R

R R R

S I S I R R S

I V R W

V

Znane są rozkłady statystyk testowych dla małych n₁i n₂ (które nie zależą od F).(zobacz ZielińskiR.

Siedem wykładów...)) i aproksymacja normalna dla dużych n₁ i n₂(twierdzenie Hoeffdinga).

Statystyka

12 ) 1 (

2 ) 1 (

2 1 2 1

2 1 2







  n n n n

n n

W n

ma rozkład zbieżny do rozkładu N(0,1), gdy min(n₁,n₂).

Aproksymacja ta jest wystarczająco dokładna dla min(n₁,n₂)4 i n ₁ n₂20 (Plucińska).

Uwaga: Powyższy rozkład graniczny nie wynika z CTG Lindeberga Levy’ego , gdyż zmienne losowe )

(S

I_i w sumie ( )

1

S I R R

W _i

n

i i S

i

i





 



 są zależne.

Test zgodności Kołmogorowa

Niech X=(X₁,...,X_n) będzie próbą prostą z rozkładu o ciągłej dystrybuancie FFc. Niech F₀Fc będzie ustaloną ciągłą dystrybuantą. Testujemy hipotezę

H₀: F=F₀ (hipoteza prosta) wobec jednej z alternatyw

H1a: F<F0 albo H1b: F>F0 albo H1c: FF0 .

Oznaczmy przez Fˆ_ndystrybuantę empiryczną i rozważmy następujące statystyki Kołmogorowa:

)) ( ) ˆ ( (

sup F x F₀ x

D _n

x

n^   ,

)) ˆ ( ) ( (

sup F₀ x F x

D _n

x

n^   ,

| ) ( ) ˆ (

|

sup F x F₀ x

D _n

x

n   .

Niech (X₍₁₎,K,X_(n)) będzie wektorem statystyk pozycyjnych (próbą uporządkowaną).

Dowodzi się, że max(_nⁱ ₀( _(i)))

n i F X

D^   , max( ₀( _(i)) ⁱ_n¹)

n i F X

D^   ^ , D_n max{D_n^,D_n^}. Przy prawdziwości H₀ rozkłady statystyk Kołmogorowa nie zależą od F₀ i są znane. Znane są również rozkłady graniczne wyżej wymienionych statystyk. Duże wartości statystyki D_n^ świadczą na korzyść H_1a (przeciwko H₀). Podobnie duże statystyki D_n^ świadczą na korzyść H_1b (przeciwko H₀) a duże statystyki D świadczą na korzyść H_{n 1c} (przeciwko H₀) .

Jeżeli F₀ jest dystrybuantą rozkładu N(m,²), którego parametry m i ² nie są znane lub dystrybuantą rozkładu wykładniczego E() z nieznanym parametrem  , to dokładny rozkład statystyki D został _n wyznaczony przez Lillieforsa. Test Kolmogorowa Lillieforsa może być więc użyty do testowania hipotezy o normalności rozkładu.

Test zgodności chi- kwadrat

Rozważmy eksperyment, który może się zakończyć jednym z k różnych wyników A₁,...,A_k przy czym pj=P(Aj) ; 0<pj<1, j=1,...,k ; 1

1





 k

j

pj . Powtarzając eksperyment w niezmiennych warunkach n razy rejestrujemy liczności poszczególnych zdarzeń. Niech Xj oznacza liczbę zaobserwowanych zdarzeń Aj. Oczywiście

nk

k n

k k

k p p

n n n n X n X

P ...

!

!...

) ! ,...,

( ₁¹

1 1

1   ; 1

1





 k

j

pj , n n

k

j j



1

. Powyższy rozkład wielomianowy jest uogólnieniem rozkładu dwumianowego.

Chcemy testować hipotezę

H0: (p₁,...,p_k)(p₁⁰,...,p_k⁰) (hipoteza prosta) przeciwko







k

i i

i i

np np n

1 0

2 0)

( ma graniczny (n) rozkład _k²_1

Ponieważ statystyka Pearsona jest pewną miarą odstępstw liczności obserwowanych od oczekiwanych przy prawdziwości H0 , "duże" wartości statystyki Pearsona świadczą przeciwko hipotezie H0 . Wobec tego H0 należy odrzucić na poziomie , jeżeli



    

k

i

k i

i i

np np n

1

2 0 1

2 0

) 1 ) (

(   , gdzie _k²_1(1) oznacza

kwantyl rzędu 1- rozkładu _k²_1.

Testowanie złożonej hipotezy zgodności

H₀: (p₁,...,p_k)(p₁(),...,p_k()), gdzie R^s ; s<k-2 przeciwko H₁: H₀.

Niech ˆ będzie estymatorem największej wiarygodności parametru . Oznaczmy p ˆ_i p_i(ˆ); i=1,...,k.

Wówczas statystyka







k

i i

i i

p n

p n n

1

2

ˆ ˆ )

( ma graniczny rozkład _k²_{1 s} .

Dalsza procedura jest kopią powyższej z jedyną modyfikacją dotyczącą ilości stopni swobody granicznego rozkładu _k²_{1 s} .

Test W Shapiro-Wilka

Jest to powszechnie uważany za "najlepszy" uniwersalny test normalności.

Niech X=(X₁,...,X_n) będzie próbą prostą z rozkładu o ciągłej dystrybuancie FFc. Testujemy hipotezę

H0: F= F0 , gdzie F0 jest dystrybuantą rozkładu N(m,²), którego parametry m i ² nie są znane, wobec alternatywy

H₁: FF₀

 Opis konstrukcji testu Domański C., Statystyczne testy nieparametryczne, PWE

















 _n

i i i

i i n in

X X

X X

a W

n

1

2 ]

[

1

2 ) ( ) 1 (

) (

) (

2

Współczynniki a_insą tablicowane dla n50. Dla n50są dostępne programy komputerowe obliczające te współczynniki