Hipotezy liniowe
Rozważany poprzednio problem testowania hipotezy o równości wartości oczekiwanych w k populacjach o rozkładach N(mi,σ2), i=1,...,k jest szczególnym przypadkiem pewnego ogólniejszego problemu testowania:
Model
: X=ϕ+εgdzie X∈Rn jest wektorem obserwacji
ϕ∈Ω⊂ Rn jest wektorem średnich, o którym wiadomo, że należy do pewnej właściwej podprzestrzeni liniowej Ω przestrzeni Rn, tzn. Ω⊂ Rn i dim(Ω)<n
ε∈ Rn jest losowym wektorem błędów o rozkładzie ε∼Nn(0,σ2I) Uwaga: X∼Nn(ϕ,σ2I)
Interesuje nas problem testowania hipotezy H0: ϕ∈ω ⊂ Ω
przeciwko H1: ϕ∈ Ω-ω ,
gdzie ω jest pewną właściwą podprzestrzenią liniową przestrzeni Ω czyli ω ⊂ Ω i dim(ω)<dim(Ω).
Uwaga. Zbiory ω i Ω są podprzestrzeniami liniowymi, czyli nie mogą to być zbiory ograniczone np.
kule w Rn.
Przykłady
Przykład 1. Model regresji liniowej xi=β0+β1ai+εi , i=1,...,n εi i.i.d. N(0,σ2) Inaczej
+
+
=
n n
n a
a
x x
ε ε β
β M M M
M
1 1 1 0
1
1 1
Jeżeli nie wszystkie ai są sobie równe, to Ω =
an
a M M
1
, 1 1
span dim(Ω)=2.
Jeżeli testujemy hipotezę o braku wpływu zmiennej a ( tu nielosowej) na X , to problem sprowadza się
do testowania : H0: β1=0 wobec alternatywy H0: β1≠0, czyli ω=
1 1
span M , dim(ω)=1.
Przykład 2. Porównywanie k średnich
Rozważmy k niezależnych prób prostych
knk
k
n
X X
X X
,..., ,...,
1 1
11 1
M pochodzących odpowiednio z
rozkładów N(m1,σ2),..., N(mk,σ2). Można więc napisać
ij i
ij m
X = +ε , i=1,...,k , j=1,...,ni ,
przy czym εij są niezależnymi zmiennymi losowymi o identycznych rozkładach normalnych N(0,σ2).
Testowana jest hipoteza H0: m1=...=mk wobec alternatywy H1: ∼ H0
W zapisie macierzowym
+
+
+
=
k
k kn
k k n
k
kn k k n
m m
m
X X X
X X X
ε ε ε
ε ε ε
M M M M
M M M M
M M M M
M M M M
M M M M
1 2
21 1
11
2 1
1 2
21 1
11
2 1
2 1
1 1 0 0 0 0
...
0 0 1 1 0 0
0 0 0 0 1 1
X=m1a
1+ m2a
2+...+ mka
k+ε. X=Am+ε.
W tym problemie
= Ω
1 1 0 0 0 0
..., ,
0 0 1 1 0 0
,
0 0 0 0 1 1
pan
M M M M
M M M M
M M M M
s dim Ω=k , ω=span
1 1 1 1 1 1
M M M M
, dim ω=1
Inna parametryzacja w problemie porównywania k średnich
Niech i
k
i n nm m
∑
i=
=
1
będzie ważoną średnią grupowych wartości oczekiwanych. Oznaczając αi=mi-m ,
i=1,...,k odchylenie wartości oczekiwanej w i-tej grupie od m otrzymujemy ograniczenie 0
1
∑
== i k
i n ni
α .
Po przeparametryzowaniu model można zapisać w postaci
ij i
ij m
X = +α +ε , i=1,...,k , j=1,...,ni , przy czym 0
1
∑
== i k
i n
niα .
Jest to tzw. parametryzacja z sigma ograniczeniami
Parametr m reprezentuje średni poziom (poziom odniesienia) dla wszystkich obserwowanych zmiennych. Parametr αi jest odchyleniem wartości oczekiwanej w i tej grupie od poziomu odniesienia.
Problem testowania równości k średnich sprowadza się w tym przypadku do testowania hipotezy H0: α1=...=αk wobec alternatywy H1: ∼ H0 przy czym 0
1
∑
== i k
i n ni
α (parametr m nas nie interesuje).
Zadanie Przy tej parametryzacji znaleźć przestrzenie Ω i ω .
= Ω
1 1 0 0 0 0
..., ,
0 0 1 1 0 0
,
0 0 0 0 1 1
,
1 1 1 1 1 1
pan
M M M M
M M M M
M M M M
M M M M
s dim Ω=k , ω=span
1 1 1 1 1 1
M M M M
, dim ω=1
Uwaga: pierwszy z k+1 wektorów jest sumą pozostałych.
Jeszcze inna parametryzacja. Przypuśćmy, że jedna z grup (dla ustalenia uwagi pierwsza) jest wyróżniona np. jest to grupa kontrolna. Przyjmując parametry
β1=m1
βi=mi-m1 , i=2,...,k
+
+
+
=
k
k kn
k k n
k
kn k k n
X X X
X X X
ε ε ε
ε ε ε
β β
β
M M M M
M M M M
M M M M
M M M M
M M M M
1 2
21 1
11
2 1
1 2
21 1
11
2 1
2 1
1 1 0 0 0 0
...
0 0 1 1 0 0
1 1 1 1 1 1
Testowanie hipotezy o równości średnich sprowadza się do testowania hipotezy H0: β i=0 , i=2,...,k.
Parametr β1=m1 wyznaczający „poziom odniesienia” nas nie interesuje.
Parametryzacja z grupą kontrolną jest przykładem parametryzacji oszczędnej.
Zadanie1.Linie lotnicze zainteresowane są porównaniem przydatności 2 wyświetlaczy dla kontrolerów ruch lotniczego. Każdy wyświetlacz był sprawdzany w 3 symulowanych warunkach zagrożenia. Dwunastu wysoko wykwalifikowanych kontrolerów z podobnym doświadczeniem zawodowym zostało wybranych do badań. Kontrolerzy zostali losowo przypisani do klatek
(wyświetlacz, warunki zagrożenia) po dwóch do każdej klatki. Mierzono czas w sekundach potrzebny do opanowania sytuacji awaryjnej.
Model strukturalny
ijk j i
ijk m
X
= + α + β + ε
i=1,2; j=1,2,3; k=1,2= 0
∑
iα
i ,
∑
=0j
β
j) , 0 (
~ σ
2ε
ijk iid NUwaga Statistica stosuje następującą parametryzację Z Sigma ograniczeń otrzymujemy α2 =−α1 i β3=−β1−β2.Stąd
+
−
−
−
−
−
−
= −
M M M M M
ε
1 1 1 1
1 0 1 1
0 1 1 1
1 1 1 1
1 0 1 1
0 1 1 1
III II I III
II I
2 1 1
β β α m
B A
Można także dla rozważanego przypadku zbudować ogólniejszy model uwzględniający interakcję Wyświetlacz × Zagrożenie, a mianowicie
ijk ij j i
ijk m
X = +α +β +γ +ε i=1,2; j=1,2,3 , przy czym
=0
∑
i
αi ,
∑
=0j
βj ,
∑
=0i
γij dla każdego j,
∑
=0j
γij dla każdego i.
Parametryzacja Statistica
23 13
22 12
21 11
γ γ γ γ γ γ
+
−
−
−
−
−
−
−
−
−
−
= −
M M M M M
ε
1 1
1 0
0 1
1 1
1 0
0 1
1 1 1 1
1 0 1 1
0 1 1 1
1 1 1 1
1 0 1 1
0 1 1 1
III II
I III
II I
12 11 2 1 1
γ γ ββ α m
B A
.
Po wyborze parametryzacji rozważany model liniowy można zapisać w postaci gaussowskiego modelu liniowego
X=Aβ+ε
ε∼N(0,σ2I)
A jest tu nielosową macierzą wymiaru (n,k) zwaną macierzą planu eksperymentu o kolumnach ai , i=1,...,k ,przy czym dla uproszczenia założymy, że te kolumny są liniowo niezależne tzn. rz(A)=k.
Wektor ϕ=E(X) ∈ Ω⊂ Rn przy czym Ω=span{ai; i=1,...,k}=Im(A) Testować będziemy hipotezę liniową
H0: Hβ=0 , H jest macierzą (r,k) r<k pełnego rzędu tzn. rz(H)=r ,
która specyfikuje podprzestrzeń ω=Im(A|KerH) (dim(ω)=k-r) będącą obrazem obcięcia przekształcenia A do jądra przekształcenia H , przeciwko H1: ϕ∈ Ω-ω.
Test hipotezy liniowej oparty na ilorazie wiarygodności (wariant I)
Na początku skonstruujemy estymator największej wiarygodności parametrów
( ϕ , σ
2)
w modelu liniowymε X
= ϕ +
,gdzie
ϕ ∈
M ⊂Rn i ε∼N(
0, σ
2I)
a M jest podprzestrzenią liniową przestrzeni Rn.
Funkcja wiarygodności jest postaci2 2 2
1
)
22 ( )
; ,
( ϕ σ
2 X= πσ
2 − e− σ X−ϕL n
a jej logarytm
2 2
2 1 2
2
)
22 ln(
ln )
; ,
( ϕ σ
X=
L= −
nπσ −
σ X− ϕ
l .
Oznaczmy przez PM projekcję ortogonalna na podprzestrzeń M ⊂Rn. Tym samym symbolem będziemy oznaczać reprezentację macierzową tej projekcji (rzutowania). Macierz PM jest
idempotentna ( P =M2 PM- to gwarantuje, że jest to macierz rzutowania) i symetryczna (P =MT PM- ten warunek zapewnia, że projekcja jest ortogonalna). Stąd
2 2
2 1 2
2
)
22 ln(
)
; ,
( ϕ σ = − πσ −
σ−
P X+
P X− ϕ
l X n X M M , ale
2 2
2
ϕ , ϕ ϕ
ϕ = − + − − + − = − + −
− +
−
X X X X X X X X X X XX PM PM PM PM PM PM PM PM
bo X−PMX,PMX−
ϕ
=0 gdyż X−PMX∈M⊥ a PMX−ϕ
∈M.Wobec tego 2
2 2 1 2
2 1 2
2
2
)
22 ln(
)
; ,
( ϕ σ
X= −
nπσ −
σ X−
PMX−
σ PMX− ϕ
lW powyższej funkcji wektor
ϕ
występuje tylko w jednym miejscu, więc łatwo widać, że∀ ϕ
2 2
2 1 2
2
)
22 ln(
)
; ,
(
X n X PMXl
ϕ σ ≤ − πσ −
σ−
i równość występuje tylko dlaϕ =
PMX więc]
ˆ [ ϕ
ϕ =
PMX=
ENW . 22 2 1 2
2 2
)
22 ln(
)
; ˆ , ( max
ˆ = arg
lϕ σ
X= −
nπσ −
σ X−
PMXσ
wyznaczamyszukając ekstremum funkcji różniczkowalnej jednej zmiennej. Oczywiście
σ ˆ
2=
1n X−
PMX 2.Wykażemy, że rzeczywiście
( ϕ ˆ , σ ˆ
2) = (
X−
PMX,
n1 X−
PMX 2) =
ENW( ϕ , σ
2)
.2 2
ˆ 1 ˆ
2
2 2
2 1 2
2 1 2
2 ˆ
2 2 1 2
2 2
2 2 2 2
2
2 2
2
) 1 ln (
) )
ln ) 2 ln(
(
ˆ ) ln ) 2 ln(
)
; , ( ) ˆ ; ˆ , (
ϕ
ϕ σ
π σ π
σ ϕ σ
ϕ
σ σ σ σ
σ
σ σ
σ
− +
+
−
−
=
−
−
−
−
−
−
−
−
−
−
−
=
−
X
X X
X X X
X X
M n
M M
n
M n
P
P P
P l
l
Z nierówności lnx≤ x−1, która jest konsekwencją wklęsłości funkcji lnx otrzymujemy nierówność −lnx−1+x≥0, która jest prawdziwa dla wszystkich x>0 a równość zachodzi jedynie dla x=1.
Widać wiec że l
( ϕ ˆ , σ ˆ
2;
X) −
l( ϕ , σ
2;
X)
jest sumą dwóch nieujemnych składników )1 ln
( 2
2 2
2 ˆ
ˆ
2 σσ
σ
σ − +
−
n i 2
2 1
2
ϕ
σ PMX
−
więc l( ϕ ˆ , σ ˆ
2;
X) −
l( ϕ , σ
2;
X) ≥ 0
, a wartość 0 różnica ta osiąga, gdy oba składniki równocześnie się zerują, czyliϕ =
PMX a 2 1ˆ2 =
σσ .
Konstrukcja testu hipotezy liniowej oparta na ilorazie wiarygodności ) }
; , (
)
; ˆ ˆ , ) ( ( :
{
22
L k
C
= =
L>
X X X
X
ϕ σ
σ λ ϕ
&
&
= { : ˆ }2
2 2
k
n
>
σ σ&
X = }
: ˆ
{ 2
2
>k σ σ&
X = }
ˆ : ˆ
{ 2
2 2
>k
− σ
σ σ&
X Oznaczając
2 2 1
=
X−
PωX=
ε&
R resztkowa suma kwadratów przy prawdziwości H0 (w problemie k-prób całkowita suma kwadratów SStotal)
2 2 0
=
X−
PΩX= ˆε
R resztkowa suma kwadratów w modelu bez ograniczeń
(w problemie k-prób suma kwadratów wewnątrz grup SSwithin)
otrzymujemy { : }
0 0
1 k
R R C R − >
= X .
Interpretacja geometryczna
2 2
2 0
1 R
ˆ
P X P XR
− =
ε& −
ε=
Ω−
ω (w problemie k-prób suma kwadratów pomiędzy grupamiSSbetween)ω
X
X PΩ
εˆ
Ω
0
X
Pω PΩX −PωX
ε&
Postać kanoniczna
Niech Ω⊂Rn dim(Ω)=kω⊂Ω dim(ω)=k-r
Wprowadźmy w Rn nową bazę ortonormalną (e1',...,e'n) tak aby )
,...,
(e1' e'k−r baza w ω
, ,...,
(e1' e'k−r e'k−r+1,...,e'k) baza w Ω ,
,...,
(e1' e'k−r e'k−r+1,...,ek' , e'k+1,...,e'n) baza w Rn
Niech P będzie macierzą przejścia od starej bazy kanonicznej do nowej bazy(e1',...,e'n) Oznacza to, że
∑
=
= n
i i ij
j P
1
' e
e . Macierz P jest oczywiście macierzą ortogonalną. Związek pomiędzy współrzędnymi x wektora w starej bazie i jego współrzędnymi x’ w nowej bazie jest postaci x =Px’ lub równoważnie x’ =PTx .
Ponieważ w bazie kanonicznej możemy utożsamiać wektor z jego zestawem współrzędnych w bazie kanonicznej kolumny macierzy P (wiersze PT) są zestawione z wektorów nowej bazy (e1',...,e'n) Każdy wektor leżący w przestrzeni Ω(m.in.
ϕ
iϕ ˆ =
PΩX) rozpinanej także przez pierwszychkwektorów nowej bazy (e1',...,e'k −r,e'k−r+1,...,ek' ) może być zapisany w postaci '
1 i k
i ie
∑
=γ
. Oczywiściewektor '
1 i r k
i
X i
P e
ω ω
∑
−=
=
=
∋ ϕ & γ
jest liniową kombinacją pierwszych k −rwektorów nowej bazy.Przechodząc do nowej bazy zapiszemy nasz model w nowych współrzędnych ε
P P X
PT
=
Tϕ +
TOznaczając Y=PT X , γ =PT
ϕ
, η= PT ε otrzymujemy równoważny model w postaci kanonicznej
+
=
+ +
−
− +
−
−
+ +
−
−
n k
k r k
r k
k r k
r k
n k
k r k
r k
Y Y
Y Y
Y Y
η η
η η
η η
γ γ
γ γ
M M M
M M M
M M M
1 1 1
1 1
1 1 1
0 0
⇔ Y=γ+η
lub równoważnie
+
=
−
η O
I 0
0 I
Y
k r r k
γ γ
M1
przy czym η∼N(0,σ2I)
Dla modelu w postaci kanonicznej hipoteza H0 przybiera postać H0 : γk-r+1=0,..., γk=0
Ponieważ przekształcenie ortogonalne zachowuje normę więc
2 2
1 1
2 2 2
2
0
ˆ
k nn
k i
i Y Y
Y P
P
R
= = − = − = =
++ +
+
= Ω
ΩX Y Y
∑ L
X
ε
resztkowa suma kwadratów (wewnątrzgrupowa) w modelu bezwarunkowym (SSwithin).
=
=
−
=
−
=
= ∑
+
−
= n
r k i
Yi
P P
R
1 2 2
2 2
1 ε
&
X ωX Y ωY 2 21 2 2
1 k k n
r
k Y Y Y
Y −+ +L+ + + +L+ (SStotal)
resztkowa suma kwadratów w modelu warunkowym (całkowita suma kwadratów)
∑
− +=
=
− k
r k i
Yi
R R
1 2 0
1 =Yk2−r+1+L+Yk2 suma kwadratów pomiędzy grupami (SSbetween) Ponieważ Y∼N
(
γ, σ
2I)
więc otrzymujemy wniosek• Zmienne losowe R1-R0 oraz R0 są niezależne oraz
• 1 2 0 σ
R
R − ma rozkład χr2,δ przy czym 2 2 2 2
1 2 2
2
1 1 1
ϕ σ ϕ
γ σ
δ σ
γ Pωγ Pωk
r k i
i
= − = −
= ∑
+
−
=
• 02 σ
R ma rozkład χn−2 k
Stąd statystyka testowa
0 0 1
R R F nrk R −
= − ma niecentralny rozkład Snedecora-Fishera Fr,n-k,δ a przy
prawdziwości H0 rozkład centralny Fr,n-k .
Podsumowaniem jest następująca tabelka ANOVA Źródło
zmienności
Suma kwadratów
SS
Stopnie swobody
df
Średni kwadrat
MS Iloraz F
Pomiędzy grupami
Between R1-R0 r r1(R1-R0)
0 0 1
R R F nrk R −
= − Wewnątrz grup
Within R0 n-k n−1k R0
Ogółem
Total R1 n-k+r
Test hipotezy liniowej oparty na ilorazie wiarygodności (wariant II)
Rozważmy gaussowski model liniowy (X,Aβ,σ2I ) z oszczędną parametryzacją tzn.X=Aβ+ε ε∼N(0,σ2I)
przy czym macierz A wymiaru (n,k) planu eksperymentu jest tu nielosową macierzą o liniowo niezależnych kolumnach ai , i=1,...,k tzn. rz(A)=k.
Rodzina rozkładów na przestrzeni prób Rn jest parametryzowana wektorowym parametrem θ=(β,σ2) ze zbioru Θ={θ=(β,σ2)∈Rk×R+}. Interesować nas będzie hipoteza liniowa H0: Hβ=0, dotycząca parametru β. Parametr σ2 pełni rolę parametru zakłócającego Hipoteza zerowa specyfikuje podzbiór Θ0={θ=(β,σ2)∈Rk×R+ : Hβ=0}⊂Θ przestrzeni parametrów.
Z punktu widzenia interesującego nas parametru β zbiór Θ specyfikuje β∈Rk, co odpowiada specyfikacji k wymiarowej podprzestrzeni Ω=span{ai; i=1,...,k}=Im(A) w której leży wektor E(X). Z kolei zbiór Θ0 specyfikuje kolejną podprzestrzeń ω=Im(A|KerH)⊂ Ω
Przy założeniu ε∼N(0,σ2I) funkcja wiarygodności ma postać
) ( ) 2 (
2 2 2
1
) 2
2 ( )
; ,
(βσ X = πσ − e−σ X−AβT X−Aβ
L n
a jej logarytm
) ( )
2 ln(
) (
) (
) 2 ln(
)
; ,
( 2 2
2 2 1 2 2
2 1 2
2 X X Aβ X Aβ β
β S
l σ =−n πσ − σ − T − =−n πσ − σ , gdzie
) (
) (
)
(β = X−Aβ T X−Aβ
S . Wiadomo, że (bezwarunkowymi) estymatorami NW (β,σ2) są odpowiednio βˆ=(ATA)−1ATX i σˆ2 =n1 X−Aβˆ,X−Aβˆ .
Stąd L(βˆ,σˆ2;X)=(2πσˆ2)−n2e−n2.
Podobnie wyznaczamy warunkowe estymatory NW max
arg ) ,
(β& σ&2 = { ln(2 ) 2 ( )
2 2 1
2 S β
n
πσ − σ
− } przy warunku Hβ=0.
Funkcja Lagrange’a dla tego problemu po przeskalowaniu mnożników może być zapisana w postaci }
, 2 ,
{ ) 2 ln(
)
; ,
( 2
2 2 1 2
2 λ X Aβ X Aβ λ Hβ
β =− − − − +
Φ σ n πσ σ
Problem wyznaczenia sprowadza się do wyznaczenia β& =argmin X−Aβ,X−Aβ przy warunku Hβ=0 a następnie (jak poprzednio) σ&2 = 1n X−Aβ&,X−Aβ&
Funkcja Lagrange’a dla tego ostatniego problemu jest postaci Hβ
λ Aβ X Aβ X λ
β; ) , 2 ,
( = − − +
Φ = X
,
X− 2
ATX,
β+
ATAβ,
β+ 2
HTλ,
βWyznaczając pochodną Frecheta mamy dekompozycję
= Φ
−
∆ +
∆ +
Φ(β β;λ λ) (β;λ)
[ ]
∆
− ∆
+ λ
Hβ β X A λ H Aβ
A ,
2 T T T + reszta
Warunek znikania pochodnej 2
[
ATAβ+HTλ−ATX ,Hβ]
=[ ]
0,0 prowadzi do układu równań
=
0 X A λ β 0 H
H A
AT T T
Można pokazać (Silvey str. 235), przez konstrukcję macierzy odwrotnej do macierzy w postaci blokowej, że jeżeli ATA jest nieosobliwa (równoważnie rz(A)=k) i macierz H o wymiarach (k,m) m<k (jest pełnego rzędu tzn. rz(H)=m ) , to macierz
0 H
H A
AT T
jest nieosobliwa i
(*)
=
−
0 X A 0
H H A A λ
β T T 1 T
&
&
i w konsekwencji L(β&,σ&2;X)=(2πσ&2)−2ne−n2
Uzupełnienie. Konstrukcja macierzy odwrotnej
Z definicji
=
I 0
0 I R Q
Q P 0 H
H
Σ T T
otrzymujemy układ równań 1. ΣP+HTQ=I
2. ΣQT+HTR=0 3. HP=0 4. H QT = I
Z (1) mamy P+Σ-1HTQ=Σ-1 . Mnożąc przez H i uwzględniając (3) mamy HΣ-1HTQ=HΣ-1 . Ponieważ H jest pełnego rzędu macierz HΣ-1HT jest nieosobliwa więc Q=(HΣ-1HT)-1HΣ-1 i w konsekwencji P=Σ-1 - Σ-1HT(HΣ-1HT)-1HΣ-1. Podobnie z (2) QT+Σ-1HTR =0, mnożąc przez H po uwzględnieniu (4) I+ H Σ-1HTR =0, stąd R= - (H Σ-1HT)-1.
Konstrukcja testu hipotezy liniowej
) }
; , (
) ˆ ; ˆ, ) ( ( :
{ 2
2
L k
C= =L >
X β
X X β
X σ
λ σ
&
& = }
: ˆ {
2
2 2
k
n
>
σ σ&
X = }
: ˆ
{ 2
2
>k σ σ&
X = }
ˆ : ˆ
{ 2
2 2
>k
− σ
σ σ&
X Oznaczając
2 2 1= X−Aβ&,X−Aβ& = X−Aβ& = ε&
R resztkowa suma kwadratów przy prawdziwości H0
(w problemie k-prób całkowita suma kwadratów)
2 2 0
=
X−
Aβˆ ,
X−
Aβˆ =
X−
Aβˆ =
εˆ
R resztkowa suma kwadratów w modelu bez ograniczeń
(w problemie k-prób suma kwadratów wewnątrz grup)
otrzymujemy { : }
0 0
1 k
R R C R − >
= X .
Interpretacja geometryczna
2 2 2 0
1
−
R=
ε& −
εˆ =
A(
β& −
βˆ )
R (w problemie k-prób suma kwadratów pomiędzy grupami)
Uwaga: Łącząc oba podejścia jesteśmy w stanie wypisać jawnie reprezentację macierzową projekcji
Jeśli Ω=ImA a ω=ImA|KerHi A jest pełnego rzędu (ma liniowo niezależne kolumny), to
T
PΩ
=
A(
ATA)
−1AT T
T T
T T
T
Pω =A(ATA)−1A −A(A A)−1H (H(A A)−1H )−1H(A A)−1A .
X A A A A β A
X T T
P ˆ ( ) 1
ˆ= Ω = = −
ϕ
⇒ PΩ=
A(
ATA)
−1ATβ A
ωX
&
&= P =
ϕ
( podstawiając zaβ& rozwiązanieukładu (*)otrzymujemy postać Pω)x
β A ˆ
εˆ
Im(A)
