Hipotezy ortogonalne

(1)

Hipotezy ortogonalne

Rozważamy model liniowy:

X=+

gdzie XRⁿ jest wektorem obserwacji

 Rⁿ jest wektorem średnich (wartości oczekiwanych), o którym wiadomo, leży w pewnej właściwej podprzestrzeni liniowej  przestrzeni Rⁿ, tzn.  Rⁿ i dim()<n

 Rⁿ jest losowym wektorem błędów o rozkładzie Nn(0,²I) Rozważmy dwie hipotezy liniowe specyfikujące 2 podprzestrzenie liniowe 1  i 2 

przestrzeni . Hipotezę liniową będziemy utożsamiać z podprzestrzenią, którą ona specyfikuje.

Oczywiście 12 jest podprzestrzenią liniową Potrafimy już testować hipotezę

H₀: ₁₂

przeciwko H₁:  -12,

ale jeśli test odrzuci hipotezę H₀:₁₂ , to chcielibyśmy wiedzieć czy fałszywą jest hipoteza

₁czy ₂ czy obie jednocześnie. Nie zawsze jest to możliwe Przykład. Model regresji liniowej

xi=0+1ai+2bi +i , i=1,...,n

_i i.i.d. N(0,²), który można zapisać w postaci

























































































n n n

n b

b

a a

x x





    



1 1 2 1 1 0

1

1 1

Jeżeli chcemy zbadać czy zmienna a wpływa na wynik (odpowiedź) x, to testujemy hipotezę

₁=0 ( zmienna a nie ma wpływu na x) która specyfikuje















































bn

b



1

, 1 1

1 span

 .

Jeżeli chcemy zbadać czy zmienna b wpływa na wynik (odpowiedź) x, to testujemy hipotezę

₂=0 ( zmienna a nie ma wpływu na x), która specyfikuje















































an

a



1

, 1 1

2 span



Jeżeli testujemy hipotezę o braku wpływu zmiennych a i b na odpowiedź x) x, to testujemy hipotezę

1=0 i 2=0 która specyfikuje

































1 1 span 

2

1 



(2)

Może się jednak okazać, że nie potrafimy oddzielić od siebie wpływów zmiennych(tu nielosowych) a i b. Jeżeli

wektory

















an

a



1

i

















bn

b



1

są sobie równe, to parametry ₁ i ₂ są nieidentyfikowalne a suma ₁+₂ może być

identyfikowalna , gdy



































1

1 1



 const a

a

n

. Wówczas







































































n n

n a

a x

x





   



1 1 2 1 0

1

) (

1 1

W mniej skrajnych przypadkach kolumny macierzy planu mogą być „prawie liniowo zależne” co skutkuje tw.

złym uwarunkowaniem i testy hipotezy ₁=0 i hipotezy ₂=0 mogą być słabe a test hipotezy ₁+₂=0 może być całkiem mocny.

Estymowalność i testowalność

Rozważmy model X=A+ , Nn(0,²I)

Def. Liniowa funkcja parametryczna c^T jest (nieobciążenie) estymowalna, gdy istnieje liniowy nieobciążony estymator b^TX tej funkcji.

WKW estymowalności E(b^TX)= b^TE(X)= b^TA = c^T   A^Tb = c  cIm(A^T) (wiersz c^T jest liniową kombinacją wierszy macierzy A)

Def. Hipoteza liniowa H=0 jest testowalna, jeżeli estymowalne są wszystkie liniowe funkcje parametryczne generowane przez wiersze macierzy H

WKW testowalności : Im(H^T)  Im(A^T)

(wiersze macierzy H są liniowymi kombinacjami wierszy macierzy A) Wracamy do modelu

X=+ , N(0,²I) ,  Rⁿ , dim()<n Rozważmy hipotezy H¹₀:₁ i H₀²:₂

Oczywiście ₁ ₁^ i ₂ ₂^ (sumy proste)

Def. Hipotezy ₁ i ₂ nazywamy hipotezami ortogonalnymi gdy przestrzenie ₁^ i ₂^ są ortogonalne

(3)

Z warunku ortogonalności hipotez ₁ i ₂ czyli z warunku ₁^  ₂^ wynika



1  ₂ (bo ₂ ₂^)



2  ₁ (bo ₁₁^)

zatem dim(₁ + ₂)  dim(₁ +₁^) = dim() (sumy algebraiczne ) Ale (₁ + ₂)  stąd dim(₁ + ₂)  dim().

Wobec tego dzięki ortogonalności hipotez 1 i 2 (czyli ₁^  ₂^) mamy dim(1 + 2)= dim().

Oznaczmy odpowiednio q= dim(1  2)

r₁= dim(₁) (tzn macierz H₁jest typu (s- r₁, s) pełnego rzędu –specyfikuje s- r₁ ograniczeń) r₂= dim(₂) (tzn macierz H₂ jest typu (s- r₂, s) pełnego rzędu –specyfikuje s- r₂ ograniczeń) s= dim()

Warunek ortogonalności badanych hipotez pozwala napisać fundamentalny związek pomiędzy wymiarami odpowiednich przestrzeni

s= r₁+ r₂- q

Postać kanoniczna

Wprowadźmy w Rⁿ nową bazę ortonormalną (e₁^',...,e^'_n) tak aby

' ' 1,...,e_q

e baza w 12

, ,..., ^'

'

1 eq

e e^'_q_₁,...,e^'_r₁ baza w 1

, ,..., ^'

1' eq

e ,e^'_r₁_₁,...,e^'_s baza w 2

, ,..., ^'

'

1 eq

e e_q^'_₁,...,e_r^'₁,e^'_r₁_₁,...,e^'_s baza w  ,

,..., ^'

'

1 eq

e e_q^'_₁,...,e_r^'₁,e^'_r₁_₁,...,e_s^' , e^'_s_₁,...,e^'_n) baza w Rⁿ

Niech P będzie macierzą przejścia od starej bazy kanonicznej do nowej bazy(e₁^',...,e^'_n) Oznacza to, że





 ⁿ

i ij i

j P

1

' e

e . Macierz P jest oczywiście macierzą ortogonalną. Związek pomiędzy współrzędnymi x wektora w starej bazie i jego współrzędnymi x^’ w nowej bazie jest postaci x =P x^’ lub równoważnie x^’ =P^Tx

Ponieważ w bazie kanonicznej możemy utożsamiać wektor z jego zestawem współrzędnych w bazie kanonicznej, kolumny macierzy P (wiersze P^T) są zestawione z wektorów nowej bazy (e₁^',...,e^'_n)

(4)

Wektor A leżący w przestrzeni Im(A) rozpinanej także przez (e₁^',...,e^'_s) może być zapisany w

postaci ^'

1 i

s i ie

Aβ





 

Mnożąc obustronnie X=A+ przez P^Totrzymujemy P^T X= P^T A+ P^T = P^T ^'

1 i

s i ie





 + P^T 

Oznaczając Y=P^T X = P^T  otrzymujemy równoważny model w postaci kanonicznej



























































































η O

I 0 0

0 I

0

0 0 I

Y

s q r q r q





1

2 1

przy czym N(0,²I)

Y=A_kan +

Dla modelu w postaci kanonicznej hipoteza H₀ przybiera postać

1

H0: ₁ ₁ 0

1_ 

r ,...,_s 0

02

H : 2  _q_₁0,...,_r₁ 0

2 , 01

H : 12  _q_₁0,...,_r₁ 0, _r₁_₁0,...,_s 0

Ponieważ przekształcenie ortogonalne zachowuje normę więc prawdziwe są równości

2 2

1 1

2 2 2

0 ˆ ˆ ⁿ _s _n

s

i i

kan Y Y Y

R      _  







^

γ A Y

ε

resztkowa suma kwadratów (wewnątrzgrupowa) w modelu bezwarunkowym .







 ₁ ² ₁ ²

1 ε Y A_kanγ

R ²₁ ² ²₁ ²

1 s s n

r Y Y Y

Y _   _  resztkowa suma kwadratów w modelu warunkowym przy H¹₀







 ₂ ² ₂ ²

R ²₁ ² ²₁ ²

1 s n

r

q

Y Y Y

Y

_

   

_

  

resztkowa suma kwadratów w modelu warunkowym przy H₀²







 ₁_,₂ ² ₁_,₂ ²

R ²₁ ² ²₁ ² ²₁ ²

1

1 r s s n

r

q

Y Y Y Y Y

Y

_

   

_

   

_

  

resztkowa suma kwadratów w modelu warunkowym przy H¹₀H₀²

Widać, że zmienne

(5)



 ₀

1 R

R ²₁ ²

1 s

r Y

Y _ 



 ₀

2 R

R Y_q²_₁ Y_r₁²

2 2

1

0 Ys Yn

R  _  są niezależne i

R₁₂-R₀= (R₂ R₀)+(R₁ R₀)= ²₁ ²

r1

q Y

Y _  + ²₁ ²

1 s

r Y

Y _  . Ponadto (oznaczając przez 

P_i rzut wektora =E(X) na przestrzeń _i )

 ¹ ₂ ⁰

 R R 

ma rozkład _s²_r₁_,_₁ przy czym ₂ ²

1 2 2

12 ₁

1

1  _

 

  ^s P

r i

i  









 ² ₂ ⁰

 R R 

ma rozkład _s²_r₂_,_₂ przy czym ₂ ²

1 2 2

22 2

1 1

1  _ 

 

  P

r q

i i  









 ⁰₂



R ma rozkład _n² _s

Podsumowaniem jest następująca Tabelka ANOVA

Źródło

zmienności Suma kwadratów Stopnie

swobody Średni kwadrat Iloraz F Hipoteza 1

Hipoteza ₂ R1-R0

R2-R0

s-r1

s-r2

1

1 s1r

m  _ (R1-R0)

2

2 s1r

m  _ (R2-R0)

0 1 1

m F  m

0 2 m2

F  m

Hipoteza

₁₂ R₁₂-R₀ s-q

m

₁₂



_s¹__q

( R

₁₂

 R

₀

)

0 12

12

m

F  m

Błąd

(wewnątrz grup) R₀ n-s m₀ _n_¹_s R₀

Ogółem R_1,2 n-q

Warto na etapie planowania eksperymentu zadbać o to by interesujące nas hipotezy były ortogonalne, gdyż ortogonalność umożliwia oprócz testowania łącznej hipotezy liniowej także testowanie hipotez składowych a statystyki testowe dla tych hipotez szczegółowych są niezależne

Zadanie. Pokazać że w modelu efektów głównych dwuczynnikowej ANOVA plan z macierzą liczności

1 2 2 4

prowadzi do ortogonalnych hipotez a plan z macierzą liczności 1 2

2 3 nie prowadzi do ortogonalnych hipotez.

(6)

Rozwiązanie

Przy parametryzacji oszczędnej macierz planu jest postaci













1 1 1

0 1 1

1 0 1

0 0 1

. Oznaczając przez a₁,

a₂ i a₃ kolejne kolumny macierzy planu mamy

































































































 ^



31 31 31 3 1 32 32 31 3 1 32

3 1

1 ,

1 1 1 1 1 1 1 1 1

1 1 1 1 0 0 1 1 0

,

1 1 1 1 1 1 1 1 1

} ,

{a a span span

 span ,







































3 1 3 1 3 1 3 1 3 1 3 1 32 32 32

1 span





































































































13 13 13 3 1 13 13 32 32 32

2 1

2 ,

1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 0 0 0

,

1 1 1 1 1 1 1 1 1

} ,

{a a span span

 span ,

































 ^





3 1 3 1 3 1 3 1 32 32 3 1 3 1 32

2 span



.

Widać, że



₁^,



₂^ 0, czyli ₁^₂^, wiec hipotezy ₁ i ₂ są ortogonalne.

(7)

W drugim przypadku przy parametryzacji oszczędnej macierz planu jest postaci

 







 







1 1 1

0 1 1

1 0 1

0 0 1

.

Oznaczając przez a₁, a₂ i a₃ kolejne kolumny macierzy planu mamy

 





 







 





 







 







 









 







 









 





 







 





 







 







 







 







 









3 3 3 5 5 3 3 5

,

1 1 1 1 1 1 1 1

1 1 1 0 0 1 1 0

,

1 1 1 1 1 1 1 1

} ,

{

₁ ₃ ¹₈ ₁₂₀¹

1

span a a span span



,







































353 353 353 2 2 2 3

2 3

215

1

215 215 353 353



span

 





 







 





 







 







 









 







 









 





 







 





 







 







 







 







 









3 3 3 3 3 5 5 5

,

1 1 1 1 1 1 1 1

1 1 1 1 1 0 0 0

,

1 1 1 1 1 1 1 1

} ,

{

₁ ₂ ¹₈ ₁₂₀¹

2

span a a span span



,







































353 353 353 2 3

2 3

2 2

215

2

353 353 215 215



span .

Widać, że



₁^,



₂^ ₁₅¹ , wiec w tym przypadku hipotezy ₁ i ₂ nie są ortogonalne