Skr´ oty wyk lad´ ow ze SwZ (semestr zimowy, 2014/2015) Wyk lad 2
Wyk lad 2: Testy statystyczne
WSTE ¸ P TEORETYCZNY
Definicja. Hipotez¸ a statystyczn¸ a nazywamy przypuszczenie dotycz¸ ace nieznanego rozk ladu badanej cechy populacji, o praw- dziwo´ sci lub fa lszywo´ sci kt´ orego wnioskuje si¸ e na podstawie pobranej pr´ obki.
PRZYK LADY:
Definicja. Hipotezy, kt´ ore dotycz¸ a wy l¸ acznie warto´ sci parametru lub parametr´ ow rozk ladu badanej cechy nazywamy hipotezami parametrycznymi. Hipotezy, kt´ ore nie s¸ a hipotezami parametrycznymi nazywamy hipotezami nieparametrycznymi.
Definicja. Hipotez¸ a prost¸ a nazywamy hipotez¸ e, kt´ ora jednoznacznie okre´ sla rozk lad badanej cechy. Hipotez¸ a z lo˙zon¸ a nazy- wamy hipotez¸ e, kt´ ora okre´ sla ca l¸ a grup¸ e rozk lad´ ow.
W praktyce rozwa˙zamy dwie hipotezy: hipotez¸ e zerow¸ a i hipotez¸ e alternatywn¸ a. Je´ sli odrzucamy hipotez¸ e zerow¸ a, to przyjmujemy hipotez¸ e alternatywn¸ a i na odwr´ ot.
Np. wiemy, ˙ze badana cecha ma rozk lad normalny N (µ, σ 2 = 1).
Testujemy H 0 : µ = 5 przeciwko H 1 : µ > 5.
1
Skr´ oty wyk lad´ ow ze SwZ (semestr zimowy, 2014/2015) Wyk lad 2
Przeprowadzamy eksperyment losowy. Wynik takiego eksperymentu to wektor losowy X = (X 1 , X 2 , . . . , X n ) o warto´ sciach w R n .
Definicja. Statystyk¸ a testow¸ a nazywamy funkcj¸ e δ(X 1 , X 2 , . . . , X n ), kt´ ora s lu˙zy do weryfikacji H 0 przeciwko H 1 . Zbi´ or wszystkich mo˙zliwych warto´ sci funkcji δ dzielimy na dwa roz l¸ aczne zbiory W i W 0 takie, ˙ze:
• je´sli δ(x 1 , x 2 , . . . , x n ) ∈ W , to H 0 odrzucamy,
• je´sli δ(x 1 , x 2 , . . . , x n ) ∈ W 0 , to H 0 przyjmujemy.
W nazywamy zbiorem krytycznym testu (zbiorem odrzuce´ n H 0 ).
Musimy dobrze skonstruowa´ c statystyk¸ e testow¸ a i rozs¸ adnie dobra´ c zbi´ or krytyczny, tak by podejmowa´ c decyzje zgodne z rzeczywisto´ sci¸ a. Jednak, poniewa˙z decyzje podejmujemy jedynie na podstawie pr´ obki, nie mamy ca lkowitej informacji o bada- nej populacji i w zwi¸ azku z tym zawsze jeste´ smy nara˙zeni na pope lnienie b l¸ edu - podj¸ ecie decyzji niezgodnej z rzeczywisto´ sci¸ a.
Dok ladniej, mo˙zemy pope lni´ c jeden z dw´ och b l¸ ed´ ow:
1. odrzuci´ c H 0 w sytuacji, gdy jest ona prawdziwa (tzw. b l¸ ad pierwszego rodzaju);
2. przyj¸ a´ c H 0 w sytuacji, gdy jest ona fa lszywa (tzw. b l¸ ad drugiego rodzaju).
Chcieliby´ smy by prawdopodobie´ nstwa obu tych b l¸ ed´ ow by ly jak najmniejsze. Niestety, gdy przy ustalonej statystyce testowej, zmieniamy W tak by mala l b l¸ ad pierwszego rodzaju, to b l¸ ad drugiego rodzaju ro´ snie i na odwr´ ot. Post¸ epujemy zatem tak:
• ustalamy z g´ ory maksymaln¸ a warto´ s´ c prawdopodobie´ nstwa b l¸ edu pierwszego rodzaju, oznaczamy t¸ a warto´ s´ c α i nazywamy j¸ a poziomem istotno´ sci testu (zwyczajowo przyjmuje si¸ e α = 0, 01 lub α = 0, 05, czasami α = 0, 1);
• zbi´ or krytyczny W wyznaczamy tak by prawdopodobie´ nstwo b l¸ edu pierwszego rodzaju nie przekracza lo α i by prawdo- podobie´ nstwo b l¸ edu drugiego rodzaju by lo mo˙zliwie najmniejsze.
Zapisujemy to symbolicznie:
P (δ(X 1 , X 2 , . . . , X n ) ∈ W |H 0 )
| {z }
prawdop. b l¸ edu pierwszego rodzaju
≤ α i
P (δ(X 1 , X 2 , . . . , X n ) / ∈ W |H 1 )
| {z }
prawdop. b l¸ edu drugiego rodzaju
− mo˙zliwie najmniejsze
Definicja. Moc testu parametrycznego (power of the test) to funkcja zmiennej θ (gdzie θ to badany parametr) dana wzorem β(θ) = P (δ(X 1 , X 2 , . . . , X n ) ∈ W |θ) = prawdop. odrzucenia H 0 w sytuacji, gdy nieznany parametr przyjmuje warto´ s´ c θ.
Je´ sli H 0 : θ = θ 0 , to β(θ 0 ) =
Je´ sli H 1 : θ = θ 1 , to β(θ 1 ) =
Definicja. Najmniejszy poziom istotno´ sci, przy kt´ orym zaobserwowana warto´ s´ c statystyki testowej prowadzi do odrzucenia H 0 , nazywamy p-warto´ sci¸ a (p-value) przeprowadzonego testu. Tzn.
p − value ≤ α ⇒ odrzucamy H 0 , p − value > α ⇒ przyjmujemy H 0 .
2
Skr´ oty wyk lad´ ow ze SwZ (semestr zimowy, 2014/2015) Wyk lad 2
TESTY PARAMETRYCZNE
Podstawowe statystyki x = 1 n P n
j=1 x j , s 2 = n−1 1 P n
j=1 (x j − x) 2 x = 1 n P k
j=1 n j x 0 j , s 2 = n−1 1 P k
j=1 n j (x 0 j − x) 2
dla indywidualnego wykazu danych dla szeregu rozdzielczego: x 0 j - ´ srodek j -tej klasy, k - ilo´ s´ c klas Oznaczenia podstawowych kwantyli
dla rozk ladu normalnego dla rozk ladu t-Studenta dla rozk ladu chi-kwadrat dla rozk ladu F-Snedecora
z α t α,n χ 2 α,n F (α, n, m)
Weryfikacje hipotez dotycz¸ acych warto´ sci ´ sredniej na poziomie istotno´ sci α
UWAGA: je˙zeli wyznaczone warto´ sci statystyk (Z lub T ) nale˙z¸ a do odpowiednich zbior´ ow krytycznych, to H 0 odrzucamy.
Model I. X ∼ N (µ, σ), µ - nieznane, σ - znane. Hipoteza zerowa H 0 : µ = µ 0 . Statystyka testowa Z = x−µ σ
0√ n.
Hipoteza alternatywna Hipoteza alternatywna Hipoteza alternatywna
H 1 : µ 6= µ 0 H 1 : µ > µ 0 H 1 : µ < µ 0
Zbi´ or krytyczny Zbi´ or krytyczny Zbi´ or krytyczny
W = −∞; −z 1−α/2 ∪ z 1−α/2 ; +∞) W = hz 1−α ; +∞) W = (−∞; −z 1−α i
Model II. X ∼ N (µ, σ), µ - nieznane, σ- nieznane. Hipoteza zerowa H 0 : µ = µ 0 . Statystyka testowa T = x−µ s
0√ n.
Hipoteza alternatywna Hipoteza alternatywna Hipoteza alternatywna
H 1 : µ 6= µ 0 H 1 : µ > µ 0 H 1 : µ < µ 0
Zbi´ or krytyczny Zbi´ or krytyczny Zbi´ or krytyczny
W = −∞; −t 1−α/2,n−1 ∪ t 1−α/2,n−1 ; +∞
W = ht 1−α,n−1 ; +∞) W = (−∞; −t 1−α,n−1 i
Model III. X ma rozk lad dowolny (pr´ oba du˙za n ≥ 100). Hipoteza zerowa H 0 : µ = µ 0 . Statystyka testowa Z = x−µ s
0√ n.
Hipoteza alternatywna Hipoteza alternatywna Hipoteza alternatywna
H 1 : µ 6= µ 0 H 1 : µ > µ 0 H 1 : µ < µ 0
Zbi´ or krytyczny Zbi´ or krytyczny Zbi´ or krytyczny
W = −∞; −z 1−α/2 ∪ z 1−α/2 ; +∞) W = hz 1−α ; +∞) W = (−∞; −z 1−α i
Model IV. X ma rozk lad dwupunktowy P (X = 1) = p, P (X = 0) = q = 1 − p, p - nieznane, nˆ p ≥ 5 i nˆ q ≥ 5, gdzie ˆ p = k n = ilo´ s´ c sukces´ ow
ilo´ s´ c pr´ ob , ˆ q = 1 − ˆ p.
Hipoteza zerowa H 0 : p = p 0 . Statystyka testowa Z = q p−p ˆ
0p0 (1−p0) n
.
Hipoteza alternatywna Hipoteza alternatywna Hipoteza alternatywna
H 1 : p 6= p 0 H 1 : p > p 0 H 1 : p < p 0
Zbi´ or krytyczny Zbi´ or krytyczny Zbi´ or krytyczny
W = −∞; −z 1−α/2 ∪ z 1−α/2 ; +∞) W = hz 1−α ; +∞) W = (−∞; −z 1−α i
Weryfikacja hipotezy dotycz¸ acej jednej wariancji na poziomie istotno´ sci α
UWAGA: je˙zeli wyznaczona warto´ s´ c statystyki χ 2 nale˙zy do odpowiedniego zbioru krytycznego, to H 0 odrzucamy.
Model. X ∼ N (µ, σ), µ - nieznane, σ - nieznane. Hipoteza zerowa H 0 : σ 2 = σ 2 0 . Statystyka testowa χ 2 = (n−1)s σ
2 2 0. Hipoteza alternatywna H 1 : σ 2 6= σ 0 2 Hipoteza alternatywna H 1 : σ 2 > σ 2 0 Hipoteza alternatywna H 1 : σ 2 < σ 0 2
Zbi´ or krytyczny Zbi´ or krytyczny Zbi´ or krytyczny
W =
0, χ 2 α/2;n−1 E
∪ D
χ 2 1−α/2;n−1 ; +∞
W = χ 2 1−α;n−1 ; +∞
W = 0; χ 2 α;n−1
Weryfikacja hipotezy dotycz¸ acej r´ owno´ sci dw´ och wariancji na poziomie istotno´ sci α UWAGA: je˙zeli wyznaczona warto´ s´ c statystyki F nale˙zy do zbioru krytycznego W , to H 0 odrzucamy.
Model I. (test F)
X ∼ N (µ 1 , σ 1 ), Y ∼ N (µ 2 , σ 2 ), µ 1 , µ 2 , σ 1 , σ 2 - nieznane; dysponujemy niezale˙znymi pr´ obami losowymi z tych populacji.
Hipoteza zerowa H 0 : σ 1 2 = σ 2 2 . Statystyka testowa F = s 2 1 /s 2 2 (w liczniku jest wi¸ eksza z wariancji).
Hipoteza alternatywna H 1 : σ 1 2 6= σ 2 2 Hipoteza alternatywna H 1 : σ 2 1 > σ 2 2
Zbi´ or krytyczny Zbi´ or krytyczny
W = hF (1 − α/2, n 1 − 1, n 2 − 2); +∞) W = hF (1 − α, n 1 − 1, n 2 − 2); +∞) Model II. (test Levene’a)
Jest to test odporny na odst¸ epstwa od normalno´ sci badanych rozk lad´ ow.
Szczeg´ o ly: patrz np. J.P. Marques de S´ a, Applied Statistics Using SPSS, STATISTICA, MATLAB and R, str.130-131.
3
Skr´ oty wyk lad´ ow ze SwZ (semestr zimowy, 2014/2015) Wyk lad 2
W eryfik acje hip otez dot ycz ¸acyc h dw´ oc h ´srednic h na p oz iomie istotno ´sci α UW A GA : je ˙zeli wyznaczone w arto ´sci stat yst yk (Z lub T ) nale ˙z¸a do o d p o wie d nic h zbior´ ow kryt ycz n yc h, to H 0 o drzucam y . Mo del I. X ∼ N (µ 1 , σ 1 ) , Y ∼ N (µ 2 , σ 2 ), µ 1 , µ 2 - nieznane, σ 1 , σ 2 - znane; dysp on ujem y niezale ˙zn ymi pr´ obami loso wymi z tyc h p opulacji. Hip oteza zero w a H 0 : µ 1 = µ 2 . Stat yst yk a testo w a Z = x − y r
σ2 1 n1+
σ2 2 n2
. Hip oteza alternat ywna Hip oteza alternat ywna Hip oteza alternat ywna H 1 : µ 1 6= µ 2 H 1 : µ 1 > µ 2 H 1 : µ 1 < µ 2 Zbi´ or kryt yczn y Zbi´ or kryt yczn y Zbi´ or kryt yczn y W = (−∞ ; − z 1 − α/ 2 ∪ z 1 − α/ 2 ; + ∞ ) W = hz 1 − α ; + ∞ ) W = (−∞ ; − z 1 − α i Mo del I I.(unpaired t-test) X ∼ N (µ 1 , σ 1 ) , Y ∼ N (µ 2 , σ 2 ), µ 1 , µ 2 - nieznane, σ 1 , σ 2 - nieznane, ale takie, ˙ze σ 1 = σ 2 ; dysp on ujem y niezale ˙zn ymi pr´ obami loso wymi z tyc h p opulacji. Hip oteza zero w a H 0 : µ 1 = µ 2 . Stat yst yk a testo w a T = x − y r
(n1−1)s2 1+(n2−1)s2 2 n1+n2−2 1 n1+
1 n2. Hip oteza alternat ywna Hip oteza alternat ywna Hip oteza alternat ywna H 1 : µ 1 6= µ 2 H 1 : µ 1 > µ 2 H 1 : µ 1 < µ 2 Zbi´ or kryt yczn y Zbi´ or kryt yczn y Zbi´ or kryt yczn y W = −∞ , − t 1 − α/ 2 ,n
1+ n
2− 2 ∪ t 1 − α/ 2 ,n
1+ n
2− 2 ; + ∞ W = ht 1 − α,n
1+ n
2− 2 ; + ∞ ) W = (−∞ , − t 1 − α,n
1+ n
2− 2 i Mo del I I I.(paired t-test) (X , Y ) ∼ N 2 (µ 1 , µ 2 , σ 1 , σ 2 , ρ ), µ 1 , µ 2 - nieznane, σ 1 , σ 2 lub ρ - nieznane. Dysp on ujem y parami ob serw acji, gdzie pary s¸a wza jemnie niezale ˙zne. Hip oteza zero w a H 0 : µ 1 = µ 2 . Stat yst yk a testo w a T = z s
z√ n, gdzie z i = x i − y i , i = 1 , 2 , .. . ,n . Hip oteza alternat ywna Hip oteza alternat ywna Hip oteza alternat ywna H 1 : µ 1 6= µ 2 H 1 : µ 1 > µ 2 H 1 : µ 1 < µ 2 Zbi´ or kryt yczn y Zbi´ or kryt yczn y Zbi´ or kryt yczn y W = −∞ ; − t 1 − α/ 2 ,n − 1 ∪ t 1 − α/ 2 ,n − 1 ; + ∞ W = ht 1 − α,n − 1 ; + ∞ ) W = (−∞ ; − t 1 − α,n − 1 i Mo del IV. Cec h y X , Y ma j¸a rozk lady do w olne (n 1 ≥ 100 , n 2 ≥ 100) , µ 1 , µ 2 , σ 1 , σ 2 - nieznane; dysp on ujem y niezale ˙zn ymi pr´ obami loso wym i z tyc h p opulacji. Hip oteza zero w a H 0 : µ 1 = µ 2 . Stat yst yk a testo w a Z = x − y r
s2 1n1
+
s2 2 n2
