Użycie reszt wydaje się intuicyjne, ponieważ są oszacowaniami składników losowych

(1)

Zadanie 1: Estymator wariancji składnika losowego

Pierwszym krokiem do uzyskania interesującego nas estymatora jest wyprowadzenie zależności pomię- dzy resztami a składnikiem losowym. Użycie reszt wydaje się intuicyjne, ponieważ są oszacowaniami składników losowych.

Podstawowa macierz idempotentna

Reszty z regresji y na X są z definicji równe e = y − X ˆβ. Podstawiając za ˆβ wzór uzyskamy:

e = y − X ˆβ = y − X(X^TX)⁻¹X^Ty = (I − X(X^TX)⁻¹X^T)y = M_xy Macierz M_x nazywana jest podstawową macierzą idempotentną:

MxMx= [I − X(X^TX)⁻¹X^T][I − X(X^TX)⁻¹X^T]

= I − X(X^TX)⁻¹X^T − X(X^TX)⁻¹X^T + X(X^TX)⁻¹X^TX(X^TX)⁻¹X^T W ostatnim składniku sumy dostrzegamy (X^TX)⁻¹(X^TX) = I.

MxMx= I − X(X^TX)⁻¹X^T = Mx

.

Macierz M_x jest również symetryczna:

M_x^T = I^T − [X(X^TX)⁻¹X^T]^T = I − X(X^TX)⁻¹X^T. Dodatkowo wiersze i kolumny tej macierzy są ortogonalne do kolumn macierzy X:

M_xX = [I − X(X^TX)⁻¹X^T]X = X − X = 0.

Podstawowa macierz idempotentna przekształca y w reszty. Co więcej, macierz ta przekształca wektor składników losowych ε w wektor reszt (wykorzystamy informację, że M_xX = 0):

e = Mxy = Mx(X ˆβ + ε) = MxX ˆβ + Mxε = Mxε

Mając związek pomiędy składnikiem losowym a resztami, możemy się zająć relacją pomiędzy wariancją składnika losowego a wariancją reszt.

Nieobciążony estymator σ²

Korzystamy z założeń KMRL E(ε) = 0. Reszty są oszacowaniami składników losowych, średnia arytmetyczna jest oszacowaniem średniej. W modelu ze stałą suma reszt jest równa zero. Możemy założyć, że wartość oczekiwana reszty jest równa zero. Do obliczenia wariancji reszt będzie potrzebne obliczenie wartości oczekiwanej sumy kwadratów reszt.

Skorzystamy z zależności pomiędzy wektorem składników losowych ε a wektorem reszt, aby opisać sumę kwadratów reszt.

e^Te = ε^TM_x^TM_xε = ε^TM_xε.

1

(2)

Suma kwadratów reszt jest skalarem. Dla dalszych obliczeń skorzystamy ze sztuczki: będziemy korzystać z praw działań na śladzie macierzy (tr). Ślad skalara jest równy temu skalarowi, dlatego:

e^Te = tr(e^Te) = tr(ε^TM_xε).

Kolejną pożyteczną własnością śladu jest, że ślad iloczynu dwóch macierzy jest równy śladowi iloczynu tych macierzy przemnożonych w odwrotnej kolejności:

tr(ε^TM_xε) = tr(ε^T(M_xε)) = tr(M_xεε^T).

Operator śladu może zostać przeniesiony przed wartość oczekiwaną:

E(e^Te) = E(tr(Mxεε^T)) = tr(MxE(εε^T)).

Z kolei E(εε^T) = σ²I, korzystamy tutaj z założenia KMRL o homoskedastyczności składnika losowego (stałości wariancji).

Pozostaje pytanie, czemu jest równe tr(M_x). Ponownie skorzystamy z właściwości śladu, która po- zwala zmieniać kolejność mnożenia jego argumentów (N to liczba obserwacji, a k to liczba parametrów do oszacowania w modelu).

tr(M_x) = tr(I_{N xN}) − tr(X(X^TX)⁻¹X^T)

= tr(I_{N xN}) − tr((X^TX)⁻¹X^TX)

= tr(I_{N xN}) − tr(I_kxk) = N − k.

Dzięki temu wiemy już, czemu jest równa wartość oczekiwana sumy kwadratów reszt:

E(e^Te) = σ²(N − k) .

Dzieląc obie strony przez N − k:

σ² = E( e^Te N − k).

Nieobciążony estymator σ² często jest oznaczany jako s²:

s²= e^Te N − k.

Proszę zwrócić uwagę, że otrzymany wzór różni się od wzoru na wariancję empiryczną. Estymator nieobciążony wariancji składnika losowego otrzymujemy dopiero po zastosowaniu poprawki związanej z utratą k stopni swobody – z tego powodu w mianowniku znajduje się N − k a nie N .

2