Neparametrické testy pokračování

(1)

testy

Neparametrick ´e testy – pokraˇcov ´an´ı

2021

(2)

Neparametrick´e testy Outline

Outline

Neparametrick´e testy 2021 2 / 1

(3)

Neparametrick´e testy

Poˇradov ´e testy – pokra ˇcov ´an´ı

Necht’X1, . . . , Xnjsou nez ávisl é n áhodn é veliˇciny se spojitou distribuˇcn´ı funkc´ı F , Ri– poˇrad´ı X_i mezi X1, . . . , Xn, i = 1, . . . , n

Plat´ı P(Xi = Xj) = 0, i 6= j Pˇr´ıklad

Xi 53 48 45 55 63 51 66 56 50 58

Ri 05 02 01 06 09 04 10 07 03 08

Poˇradov é testy jsou zaloˇzeny na R1, . . . , Rn, jednoduch é, maj´ı ˇradu výhod, ale ztr ác´ıme ˇc ást informace

V ˇeta 1 Necht’ X1, . . . , Xnjsou nez ávisl é n áhodn é veliˇciny se spojitou distribuˇcn´ı funkc´ı F . Pak plat´ı

P(R1= r1, . . . , Rn= rn) = 1

n!, (r1, . . . , rn) permutace 1, . . . , n, P(Ri= j ) = 1

n, i , j = 1, . . . , n P(R1= r1, R2= r2) = 1

n(n − 1), i 6= j 1 ≤ ri, rj≤ n ri 6= r_j E R_i= (n + 1)/2, i = 1, . . . , n

var Ri= 1 n − 1

n

X

j =1

j²− 1 n − 1

n + 1 2

2

(4)

Rozd ˇelen´ı R1, . . . , Rnnez ´avis´ı na F , pokud je distribu ˇcn´ı funkce spojit ´a!!!

N ˇekter é statistiky zaloˇzen é na poˇrad´ıch a jejich vlastnosti Definujemeline árn´ı poˇradovou statistikupˇredpisem

S =

n

X

i =1

cia(Ri),

kde c1, . . . , cna a(1), . . . , a(n) jsou dan ´a ˇc´ısla, napˇr. a(i ) = i , i², . . ..

Za pˇredpokladu pˇredchoz´ı v ˇety plat´ı

E S =1 n

n

X

i =1

ci n

X

j =1

a(j )

var {S} = 1 n − 1

n

X

i =1

(c_i− cn)²

n

X

j =1

(a(j ) − an)²

cn=1 n

n

X

i =1

ci, an=1 n

n

X

j =1

a(j ).

(5)

Jin á poˇradov á statistika -poˇradov á statistika pro hypot ézu symetrie:

S⁺=

n

X

i =1

a(R_i⁺)sign Xi

kde R_i⁺je poˇrad´ı |Xi| mezi |X1|, . . . , |Xn| a sign x = 1, x > 0; = −1, x < 0; = 0 x = 0.

V ˇeta 2 Necht’ jsou spln ˇeny pˇredpoklady v ˇety 1 a necht’ F (x) + F (−x) = 1, x ∈ R¹. Pak jsou |X_i| a sign Xinez ávisl é n áhodn é veliˇciny.nez ávisl é Nav´ıc, n áhodn é vektory (R₁⁺, . . . , R_n⁺)a (sign X1, . . . , sign Xn)jsou nez ávisl é.

D ˚ukaz Plat´ı pro x > 0:

P(|X1| < x, sign X1= 1) = P(0 < X1< x ) = F (x ) − F (0),

P(|X1| < x) = P(−x < X₁< x ) = F (x ) − F (−x ) = 2F (x ) − 1, P(sign X1= 1) = P(X1> 0) = 1/2, F (0) = 1/2

Tedy

P(|X1| < x, sign X₁= 1) = P(|X1| < x)P(sign X₁= 1) Podobn ˇe pro P(|X1| < x, sign X1= −1).

(6)

V ˇeta 3 Necht’ jsou spln ˇeny pˇredpoklady v ˇety 2. Pak

E S⁺= 0, var S⁺=1 n

n

X

j =1

a²(j )

D ˚ukaz Plat´ı E S⁺=Pn i =1

E signXi

e a(R_i⁺) E sign X_i = 0

var S⁺=

n

X

i =1

E signXi

2

e a(R_i⁺)2

Poˇradov ´e statistiky pro test hypot ´ezy symetrie

X1, . . . , Xnnez ávisl é stejn ˇe rozd ˇel én é n áh. veliˇciny s spojitou distr. fc´ı F Hypot éza symetrie: formulace

H₀⁺: F (x ) + F (−x ) = 1, x ∈ R¹ ex.-li hustota f pak

H0: f (x ) = f (−x ), x ∈ R¹ (az na Leb. miru 0) v tomto pˇr´ıpad ˇe je medi ´an roven 0

(7)

zobecn ˇen´ı: ex. a re áln é, ˇze f (x + a) = f (a − x) pro vˇs. x alternativn´ı hypot éza: H0neplat´ı

pouˇz´ıvaj´ı se mimo jin ´e testy zaloˇzen ´e na S⁺

Motivace pro H₀⁺a klasický p árový t-test

dvojice nez ávislých pozorov ń´ı (Y1, Z1), . . . , (Yn, Zn), (Yi, Zi)m á distribuˇcn´ı funkci F (y , z)

Zi– odpov´ıd á oˇsetˇren´ı (zdravotn´ı stav pˇred l éˇcbou) Yi– odpov´ıd á kontrole (zdravotn´ı stav po l éˇcbou) H0: F (y , z) = F (z, y )pro vˇs. y , z

tedy oˇsetˇren´ı nem á vliv, popˇr. l éˇcba nem á vliv na zdravotn´ı stav ˇcasto definujeme: Xi= Yi− Zi, i = 1, . . .

G– distr. fce n ´ahodn ´e veliˇciny X_i pak H0: G (x ) + G (−x ) = 1

je-li G distribuˇcn´ı fce N(µ, σ²), µ ∈ R¹and σ²> 0nezn ´m é pak H0: µ = 0a aplikujeme tzv. jednovýb ˇerový t-test

(8)

Klasick ´a testov ´a statistika:Tn=_s^Xⁿ

n(x )

√n

Xn=¹_nPn

i =1Xi, s²_n(x ) = _n−1¹ Pn

i =1(Xi− Xn)² zam´ıt ´ame na hladin ˇe α, jestliˇze

|Tn| ≥ t_{n−1,1−α/2}

kde t_{n−1,1−α/2}je kvantil t-rozd ˇelen´ı on n − 1 stupn´ıch volnosti

Test je vhodný, pokud je spln ˇen pˇredpoklad normality nebo je n dost velk é a jsou koneˇcn é momenty (centr áln´ı limitn´ı v ˇeta).

Wilcoxon ˚uv jednov´yb ˇerov´y test

a(i ) = i , S⁺=

n

X

i =1

sign XiR_i⁺

S^∗=

n

X

i =1,X_i>0

R_i⁺, S^∗∗=

n

X

i =1,X_i<0

R_i⁺

S⁺= S^∗− S^∗∗, S⁺= 2S^∗−n(n + 1)

2 ,

S^∗+ S^∗∗

n

X

i =1

i =n(n + 1)

2 , S^∗∗=n(n + 1) 2 − S^∗,

E S⁺= 0, var S⁺=

n

X

i =1

i²= n(n + 1)(2n + 1)/6

(9)

Lze dok ´azat:

V ˇeta 4 Necht’ X1, . . . , Xnjsou nez ávisl é n áhodn é veliˇciny se spojitou distribuˇcn´ı funkc´ı F takovou, ˇze

F (x ) + F (−x ) = 1, pro vs. x ∈ R.

Pak pro n → ∞ sup

x

|P(S⁺< xp

n(n + 1)(2n + 1)/6) − Φ(x )| → 0

kde Φ(x) je hodnota distribuˇcn´ı funkce normovan ´eho norm ´aln´ıho rozd ˇelen´ı N(0, 1).

Test:

(i) Statistick´y software spoˇc´ıt ´a tzv. p-hodnotu.

(ii) Pro mal á n lze pouˇz´ıt tabulky, napv r. v And ˇelovi, jsou tabelov ány hodnoty wn(α) takov é, ˇze

P(min(S^∗, S^∗∗) ≤ wn(α)) = α

a hypot ´ezu H0zam´ıt ´ame, jestliˇze min(S^∗, S^∗∗) ≤ wn(α), α je hladina testu.

(iii) Pro velk ´a n pouˇzijeme v ˇetu 4 a zam´ıt ´ame H0, jestliˇze

|S⁺| ≥ Φ⁻¹(1 − α/2)p

n(n + 1)(2n + 1)/6), kde Φ

Φ⁻¹(1 − α/2)

= 1 − α/2.

(10)

Pˇr´ıklad 10 pokusných osob m ˇelo nez ávisle na sob ˇe a bez pˇredchoz´ıho tr éninku odhadnout, kdy od dan ého sign álu uplyne 1 minuta.

V´ysledky ( v sekund ´ach):

53, 48, 45, 55, 63, 51, 66, 56, 50, 58

H0: Fje symetrick á kolem 60, tj. F (x − 60) + F (−(x − 60)) = 1 odet¸eme 60 od kaˇzd ého pozorov án´ı

−7, −12, −15, −5, 3, −9, 6, −4, −10, −2

to vede na hypot ´ezu symetrie kolem 0

spoˇcteme Wilcoxonovu jednov´yb ˇerovou statistiku:

R₁⁺= 6, R₂⁺= 9, R₃⁺= 10, R₄⁺=, R₅⁺= 2, R₆⁺= 7, R₇⁺= 5, R₈⁺= 3, R₉⁺= 8, R₁₀⁺ = 1

S^∗= 2 + 5 = 7, S^∗∗= 10 × 11

2 − S^∗= 48, min(S^∗, S^∗∗) = 7 < w10(0, 05) = 8 Tedy zam´ıt ´ame H0na hladin ˇe α = 0, 05

Pouˇzijeme-li limitn´ı v ˇety:

|S⁺| = 41 > Φ⁻¹(0, 975)√

387 = 1, 96 × 3, ???

Tedy i tady zam´ıt ´ame.

(11)

Znam ´enkov´y test

S⁺= sign Xi, S^∗= pocet Xi> 0, S^∗∗= pocet Xi < 0 Pouˇz´ıv ´a se pro test: H0: median = 0

S^∗m á binomick é rozd ˇelen´ı (n, P(Xi> 0)),jsou-li X1, . . . , Xnnez ávisl é stejn ˇe rozd ˇelen é n áhodn é veliˇciny

H0: P(Xi> 0) = 1/2 H0zam´ıt ´ame, jestliˇze

S^∗≤ k₁, S^∗∗≥ n − k₁ kde

PH₀(S^∗≤ k₁)α/2, PH₀(S^∗≥ n − k₁) ≤ α/2 Je-li n velk ´e, m ´a 2(S^∗− n/2)/√

nm ´a pˇribliˇzn ˇe N(0, 1) a tedy H0zam´ıtneme, jestliˇze

|2S^∗− n|/√

n ≥ Φ⁻¹(1 − α/2)

(12)

Dvouvýb ˇerový probl ém

X1, . . . , Xn₁— nez ávisl é stejn ˇe rozd ˇelen é n áhodn é veliˇciny se spojitou distr. funkc´ı F Y1, . . . , Yn₂— nez ávisl é stejn ˇe rozd ˇelen é n áhodn é veliˇciny se spojitou distr. funkc´ı G vˇsechny n áhodn é veliˇciny nez ávisl é

H0: F = G H1: F 6= G R1, . . . , Rn₁+n₂jsou poˇrad´ı odpov´ıdaj´ıc´ı X1, . . . , Xn₁, Y1, . . . , Yn₂

Pouˇz´ıvaj´ı se testov ´e statistiky:

S1=

n1

X

i =1

a(Ri), nebo S2=

n2+n1

X

i =n₁+1

a(Ri)

Zˇrejm ˇe

S1+ S2=

n₁+n₂

X

i =1

a(i )

(13)

Nejˇcast ˇeji se pouˇz´ıv á Wilcoxon ˚uv dvouvýb ˇerový test: a(i ) = i , i = 1, . . . , n1+ n2

Pak S1+ S2=Pn1+n2

i =1 i =⁽ⁿ¹⁺ⁿ²⁾⁽ⁿ₂¹⁺ⁿ²⁺¹⁾

E S1= (n1+ n2+ 1)n1/2, var S1= (n1+ n2+ 1)n1n2/12 Cast ˇeji se pouˇz´ıv ´a tvar:ˇ

U1= n1n2+ n1(n1+ 1)/2 − S1, U2= n1n2+ n2(n2+ 1)/2 − S2

U1+ U2= n1n2, E U1= E U2= n1n2/2 U1je t ´eˇz zn ´amo jakoMann-Whitney test

Test pro mal ´e n1, n2existuj´ı tabulky, b ˇezn´y software poskytuje p hodnotu, pro n1, n2

velk ´a lze pouˇz´ıt aproximaci zaloˇzenou na:

sup

x

|P_H₀

U1− E_H₀U1≤ xp var U1

− Φ(x)| → 0

pro min(n1, n2) → ∞

(14)

Pˇr´ıklad Je tˇreba zjistit, zda jsou dva druhy hnojen´ı ekvivalentn´ı pˇri stejn´ych ostatn´ıch podm´ınk ´ach.

1. skupina (X_i) 5, 7 5, 5 4, 3 5, 9 5, 2 5, 6 5, 8 5, 1 2. skupina (Yi) 5, 0 4, 5 4, 2 5, 4 4, 4

t-test:

n1= 8, X = 5, 3875, s_x²= 0, 2698 n2= 5, Y = 4, 7000, s_y²= 0, 24

t = 2, 370 > t11(0, 975) = 2, 160-tedy zam´ıt ´ame na hladin ˇe α = 0, 05, ovˇsem mus´ı b´yt spln ˇeny pˇredpoklady!!!

poˇrad´ı v sech pozorov ´an´ı: 11, 9, 2, 13, 7, 10, 12, 6, 5, 4, 2, 8, 3 S1= 70, S2= 21, U1= 6, U2= 34

zam´ıt ´ame na hladin ˇe α = 0.05

|U√₁−E U₁|

var U₁ = 2.049 > 1.96 = Φ⁻¹(0, 975)

(15)

Z áv ˇereˇcn é pozn ámky k z ákladn´ım poˇradovým test ˚um

(a) výhody poˇradových test ˚u: rozd ˇelen´ı testových statistik pˇri H0nez ávis´ı na distribuˇcn´ı funkci n áhodných veliˇcin, výpoˇcetn ˇe jednoduch é

(b) nevýhoda: ztr ác´ıme ˇc ást informace, vhodn é jen pro jendoduche situace

(c) existuj´ı poˇradov é testy i pro dalˇs´ı situace (testy nez ávislosti, pro regresn´ı modely) (d) existuj´ı odhady zaloˇzen é na poˇrad´ıch

(e) existuje teorie týkaj´ıc´ı se volby funkce a(.), zn áme-li distribuˇcn´ı funkci F (f) pozor na tzv. shody (ties anglicky), jestliˇze se dv ˇe pozorov án´ı shoduj´ı.

(16)

Kolmogorovovy-Smirnovovy testy

X1, . . . , Xnjsou nez ávisl é stejn ˇe rozd ˇelen é n áhodn é veliˇciny s spojitou distribuˇcn´ı funkc´ı F

empirick ´a distribuˇcn´ı funkce Fnje definov ´ana:

Fn(x ) = 1 n

n

X

i =1

I {Xi≤ x} = 1

npocet Xi≤ x, x ∈ R

Plat´ı:

EFn(x ) = F (x ), var {Fn(x ) = 1

nFn(x )(1 − Fn(x ) x ∈ R1

P(sup

x

|Fn(x ) − F (x )| ≥ ε) → 0, n → ∞ pro kaˇzd ´e ε > 0,

rozd ˇelen´ı sup_x√

n|Fn(x ) − F (x )|nez ´avis´ı na distribuˇcn´ı funkci F plat´ı pro y > 0:

n→∞lim P(sup

x

√n|Fn(x ) − F (x )| ≤ y ) = 1 − 2

∞

X

k=1

exp{−2k²y²}

(17)

Lze vyuˇz´ıt pro konstrukci test ˚u:

(i) X1, . . . , Xnjsou nez ávisl é stejn ˇe rozd ˇelen é n áhodn é veliˇciny se spojitou distribuˇcn´ı funkc´ı F a testujeme hypot ézu:

H0: F = F0(F0− dano) H1: F 6= F0

Test lze zaloˇzit na n ˇekter ´e z n ´asleduj´ıc´ıch statistik:

Kolmogorov -Smirnovova statistika sup

x

|Fn(x ) − F0(x )|√ n

Cram ´er-von Misesova statstika

n Z

R₁

|F_n(x ) − F0(x )|²dx

Anderson-Darligova statistika

n Z

R1

|Fn(x ) − F0(x )|²w (x )dx

kde w (.) je kladn á v áhov á funkce, napˇr.

w (x ) = 1

F0(x )(1 − F0(x )), x ∈ R1.

(18)

Pro Kolmogov=Smirnov ˚uv test zam´ıt ´ame na hladin ˇe α, jestliˇze sup

x

|Fn(x ) − F (x )|√

n ≥ qn(1 − α)

qn(1 − α)urˇceno tak, aby test m ˇel hladinu α, pro mal á n existuj´ı tabulky, pro velk á se pouˇz´ıv á limitn´ı rozd ˇelen´ı. Statistický software spoˇc´ıt á p- hodnotu.

POZOR!!! Vyˇse popsan é testy zaloˇzen é na empirick é dostribuˇcn´ı funkci lze pouˇz´ıt jen pokud F0v nulov é hypot éze je pln ˇe specifikovan á, napˇr. F0odpov´ıd á N(µ0, σ₀²), kde µ0, σ²₀jsou zn ám é.

Jestliˇze

H0: F ∈ F = {F (., θ), θ ∈ Θ}

, kde θ je paramter a Θ jsou jeho moˇzn ´e hodnoty. Pak lze test zaloˇzit na

sup

x

|Fn(x ) − F (x ; bθ)|√ n

kde bθ)je vhodn´y odhad parametru. Limitn´ı rozd ˇelen´ı z ´avis´ı na θ. V ˇetˇsina softvaru je schopna pracovat i s touto situac´ı.

(19)

(ii) Dvouv´yb ˇerov´y Kolmogorov ˚uv-Smirnov ˚uv test

X1, . . . , Xn₁jsou nez ávisl é stejn ˇe rozd ˇelen é n áhodn é veliˇciny se spojitou distribuˇcn´ı funkc´ı F

Y1, . . . , Yn₂jsou nez ávisl é stejn ˇe rozd ˇelen é n áhodn é veliˇciny se spojitou distribuˇcn´ı funkc´ı G

vˇsechny n áhodn é veliˇciny nez ávisl é

H0: F1= F2, F16= F2

Test

sup

x

|Fn₁(x ) − Gn₂(x )|√

n ≥ qn₁,n₂(1 − α)

qn₁,n₂(1 − α)urˇceno tak, aby test m ˇel hladinu α, pro mal á n1a n2existuj´ı tabulky, pro velk á se pouˇz´ıv á limitn´ı rozd ˇelen´ı. Statistický software spoˇc´ıt á p- hodnotu.