Asymptotyczne własności
estymatorów metody najmniejszych kwadratów
Definicja 1. Ciąg zmiennych losowych {Zn} określonych na tej samej przestrzeni probabilistycznej jest zbieżny z prawdopodobieństwem 1 (inaczej: zbieżny prawie na pewno) do zmiennej losowej Z, gdy P (limn→∞Zn= Z) = P ({ω ∈ Ω : limn→∞Zn(ω) = Z(ω)}) = 1, co oznaczamy: Zn
−−−−→P 1 n→∞ Z.
Definicja 2. Ciąg macierzy losowych {Zn}, gdzie Zn = Zni,j, 1 ≤ i ≤ k, 1 ≤ j ≤ m określonych na tej samej przestrzeni probabilistycznej jest zbieżny z prawdopodobieństwem 1 (inaczej: zbieżny prawie na pewno) do macierzy losowej Z, gdzie Z = Zi,j, 1 ≤ i ≤ k, 1 ≤ j ≤ m, gdy
∀ i ∈ {1, 2, . . . , k} ∀ j ∈ {1, 2, . . . , m} Zni,j−−−−→P 1
n→∞ Zi,j, co oznaczamy: Zn
−−−−→P 1 n→∞ Z.
Zbieżny ciąg deterministyczny jest zbieżny z prawdopodobieństwem 1 do swojej granicy. Należy też zwrócić uwagę, że granicą ciągu zbieżnego z prawdopodobieństwem 1 może być wielkość deterministyczna (liczba, wektor deterministyczny, macierz deterministyczna).
Twierdzenie 1. (Mocne prawo wielkich liczb Kołmogorowa) Niech {Zn} będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie takim że E|Z1| < ∞. Wówczas
1 n
n
X
i=1
Zi−−−−→P 1
n→∞ EZ1. Lemat 1. Jeśli P (A) = P (B) = 1, to P (A ∩ B) = 1.
Dowód. P (A ∩ B) = P (A) + P (B) − P (A ∪ B) = 1 + 1 − P (A ∪ B) ≥ 1 + 1 − 1 = 1
Twierdzenie 2. Niech {Zn} będzie ciągiem wektorów losowych o wartościach w Rk takim że Zn −−−−→P 1
n→∞ Z.
Niech {An} będzie ciągiem macierzy losowych rozmiaru m × k takim że An −−−−→P 1
n→∞ A. Niech {bn} będzie ciągiem wektorów losowych o wartościach w Rk takim że bn −−−−→P 1
n→∞ b Zakładamy również, że ciągi {Zn}, {An} i {bn} są określone na tej samej przestrzeni probabilistycznej. Wówczas AnZn+ bn−−−−→P 1
n→∞ AZ + b.
Dowód. Niech ΩA = {ω ∈ Ω : limn→∞An(ω) = A(ω)}, ΩZ = {ω ∈ Ω : limn→∞Zn(ω) = Z(ω)} i Ωb= {ω ∈ Ω : limn→∞bn(ω) = b(ω)}. Z lematu 1 wynika, ze P (ΩA∩ ΩZ∩ Ωb) = 1. Niech ω ∈ ΩA∩ ΩZ∩ Ωb. Wówczas limn→∞(An(ω)Zn(ω) + bn(ω)) = limn→∞An(ω) · limn→∞Zn(ω) + limn→∞bn(ω)) = A(ω)Z(ω) + b(ω). W takim razie AnZn+ bn
−−−−→P 1
n→∞ AZ + b.
Twierdzenie 3. Niech {Zn} będzie ciągiem wektorów losowych o wartościach w Rk. Niech dana będzie funkcja g : D → Rl, gdzie D ⊆ Rk i P (Zn ∈ D) = 1, n ∈ N. Jeśli Zn
−−−−→P 1
n→∞ z, gdzie z ∈ D (ustalona liczba) jest punktem ciągłości funkcji g, to g(Zn)−−−−→D
n→∞ g(z).
Dowód. Ze względu na ciągłość funkcji g w punkcie z mamy
∀ ω ∈ Ω lim
n→∞Zn(ω) = z ⇒ lim
n→∞g(Zn(ω)) = g(z).
Oznacza to, że {ω ∈ Ω : limn→∞Zn(ω) = z} ⊆ {ω ∈ Ω : limn→∞g(Zn(ω)) = g(z)}. W takim razie 1 = P ({ω ∈ Ω : limn→∞Zn(ω) = z}) ≤ P ({ω ∈ Ω : limn→∞g(Zn(ω)) = g(z)}) a zatem g(Zn) −−−−→D
n→∞
g(z).
Definicja 3. Ciąg zmiennych losowych {Zn} o dystrybuantach odpowiednio F1, F2, . . . jest zbieżny według rozkładu do zmiennej losowej Z o dystrybuancie F wtedy, gdy limn→∞Fn(t) = F (t) dla każdego t ∈ R, które jest punktem ciągłość funkcji F , co oznaczamy: Zn
−−−−→D
n→∞ Z
1
Definicja 4. Ciąg wektorów losowych {Zn} o wartościach w Rk jest zbieżny według rozkładu do wektora losowego Z o wartościach w Rk, gdy dla każdego a ∈ Rk zachodzi zbieżność: a0Zn
−−−−→D n→∞ a0Z.
Twierdzenie 4. Niech {Zn} będzie ciągiem wektorów losowych o wartościach w Rk. Jeśli Zn
−−−−→P 1 n→∞ Z, to Zn
−−−−→D n→∞ Z.
Należy zwrócić uwagę, że granicą ciągu zbieżnego według rozkładu może być deterministyczna (liczba, wektor deterministyczny, macierz deterministyczna).
Twierdzenie 5. (Centralne twierdzenie graniczne dla ciągów niezależnych zmiennych losowych o jedna- kowym rozkładzie) Niech dany będzie ciąg niezależnych zmiennych losowych {Zn} o tym samym rozkła- dzie, przy czym EZ12< ∞. Niech EZ1= µ i V ar(Z1) = σ2> 0. Wówczas
√1 n
n
X
i=1
Zn− nµ
!
−−−−→D
n→∞ N (0, σ2).
Twierdzenie 6. (Centralne twierdzenie graniczne dla ciągów niezależnych wektorów losowych o jedna- kowym rozkładzie) Niech dany będzie ciąg {Zn} niezależnych wektorów losowych o tym samym rozkładzie o wartościach w Rk, przy czym Zn = (Zn1, Zn2, . . . , Znk)0 i E|Z1iZ1j| < ∞, 1 ≤ i, j ≤ k. Niech EZ1= µ i Cov(Z1) = Σ, przy czym zakładamy, że macierz Σ jest ściśle dodatnio określona. Wówczas
√1 n
n
X
i=1
Zn− nµ
!
−−−−→D
n→∞ N (0, Σ).
Twierdzenie 7. (Słuckiego) Niech {Zn} będzie ciągiem wektorów losowych o wartościach w Rk takim że Zn−−−−→D
n→∞ Z. Niech {An} będzie ciągiem macierzy losowych rozmiaru m × k takim że An
−−−−→D
n→∞ A, przy czym A jest macierzą deterministyczną. Niech {bn} będzie ciągiem wektorów losowych o wartościach w Rk takim że bn −−−−→D
n→∞ b, przy czym b jest wektorem deterministycznym. Wówczas AnZn+bn−−−−→D
n→∞ AZ+b.
Definicja 5. Niech {Zn}, gdzie Zn∈ Rl, będzie ciągiem obserwacji. Estymator ˆθn= ˆθn(Z1, Z2, . . . , Zn) ∈ Rk parametru θ ∈ Rk nazywamy mocno zgodnym, gdy ˆθn
−−−−→P 1 n→∞ θ.
Niech dany będzie ciąg modeli liniowych postaci:
Yn= Xnβ + n, gdzie
Yn =
Y1
Y2
... Yn
, Xn =
X10 X11 . . . X1,k−1
X20 X21 . . . X2,k−1
. . . . Xn0 Xn1 . . . Xn,k−1
, β =
β0
β1
... βk−1
, n=
ε1
ε2
... εn
.
Niech ˆβn oznacza estymator metody najmniejszych kwadratów parametru β wyznaczony w modelu Yn = Xnβ + n, przy czym zakładamy, że estymator ten jest wyznaczony jednoznacznie, a zatem βˆn= (X0nXn)−1X0nYn.
Ponadto niech Xi=
Xi0 Xi1
... Xi,k−1
.
2
Twierdzenie 8. Jeśli
(i) {Xi} jest ciągiem niezależnych wektorów losowych o jednakowym rozkładzie, (ii) E|X1iX1j| < ∞ dla 0 ≤ i, j ≤ k − 1,
(iii) EX1X10 jest macierzą nieosobliwą,
(iv) {εi} jest niezależnym od {Xi} ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, (v) Eε1= 0 i Eε21= σ2, 0 < σ2< ∞,
to ˆβn jest mocno zgodnym estymatorem parametru β i √
n( ˆβn− β)−−−−→D
n→∞ N (0, σ2(EX1X10)−1).
Dowód. Mamy
βˆn = (X0nXn)−1X0nYn= (X0nXn)−1X0n(Xnβ + n) =
= (X0nXn)−1X0nXnβ + (X0nXn)−1X0nn= β + (X0nXn)−1X0nn =
= β + 1 nX0nXn
−1
· 1 nX0nn.
1
nX0nXn= 1 n
X10 X20 . . . Xn0 X11 X21 . . . Xn1
. . . . X1,k−1 X2,k−1 . . . Xn,k−1
X10 X11 . . . X1,k−1 X20 X21 . . . X2,k−1
. . . . Xn0 Xn1 . . . Xn,k−1
=
= 1 n
Pn
l=1Xl0Xl0 Pn
l=1Xl0Xl1 . . . Pn
l=1Xl0Xl,k−1 Pn
l=1Xl1Xl0 Pn
l=1Xl1Xl1 . . . Pn
l=1Xl1Xl,k−1
. . . .
Pn
l=1Xl,k−1Xl0 Pn
l=1Xl,k−1Xl1 . . . Pn
l=1Xl,k−1Xl,k−1
=
=
1 n
Pn
l=1Xl0Xl0 n1Pn
l=1Xl0Xl1 . . . n1Pn
l=1Xl0Xl,k−1
1 n
Pn
l=1Xl1Xl0 n1Pn
l=1Xl1Xl1 . . . n1Pn
l=1Xl1Xl,k−1
. . . .
1 n
Pn
l=1Xl,k−1Xl0 1 n
Pn
l=1Xl,k−1Xl1 . . . n1Pn
l=1Xl,k−1Xl,k−1
−−−−→P 1 z tw. 1
−−−−→P 1 n→∞
EX10X10 EX10X11 . . . EX10X1,k−1 EX11X10 EX11X11 . . . EX11X1,k−1
. . . . EX1,k−1X10 EX1,k−1X11 . . . EX1,k−1X1,k−1
=
= E
X10X10 X10X11 . . . X10X1,k−1 X11X10 X11X11 . . . X11X1,k−1
. . . . X1,k−1X10 X1,k−1X11 . . . X1,k−1X1,k−1
= E
X10 X11 ... X1,k−1
X10X11 . . . X1,k−1
= EX1X10
1
nX0nn= 1 n
X10 X20 . . . Xn0
X11 X21 . . . Xn1 . . . . X1,k−1 X2,k−1 . . . Xn,k−1
ε1
ε2
... εn
= 1 n
Pn
l=1εlXl0
Pn l=1εlXl1
... Pn
l=1εlXl,k−1
=
3
=
1 n
Pn l=1εlXl0
1 n
Pn l=1εlXl1
...
1 n
Pn
l=1εlXl,k−1
−−−−→P 1 z tw. 1
Eε1X10 Eε1X11
... Eε1X1,k−1
=
Eε1· EX10 Eε1· EX11
... Eε1· EX1,k−1
=
0 · EX10 0 · EX11
... 0 · EX1,k−1
= 0
Skoro n1X0nXn−−−−→P 1
n→∞ EX1X10 i EX1X10 jest macierzą nieosobliwą, to dla dostatecznie dużego n ma- cierz 1nX0nXn jest również nieosobliwa z prawdopodobieństwem 1. Macierz nieosobliwa jest punktem cią- głości operacji odwracania macierzy, a zatem z twierdzenia 3 wynika, że (n1X0nXn)−1−−−−→P 1
n→∞ (EX1X10)−1. Wobec tego na mocy twierdzenia 2 mamy:
βˆn= β + 1 nX0nXn
−1
· 1 nX0nn
−−−−→P 1
n→∞ β + (EX1X10) · 0 = β.
Ponieważ Eε1X1= Eε1· EX1= 0 · EX1= 0, więc
√1
nX0nn= 1
√n
X10 X20 . . . Xn0
X11 X21 . . . Xn1
. . . . X1,k−1 X2,k−1 . . . Xn,k−1
ε1
ε2
... εn
= 1
√n
Pn
l=1εlXl0
Pn l=1εlXl1
... Pn
l=1εlXl,k−1
=
= 1
√n
n
X
l=1
εlXl= 1
√n
n
X
l=1
εlXl− nEε1X1
!
−−−−→D
z tw. 6 N (0, Σ), gdzie
Σ = Cov(ε1X1) = E(ε1X1)(ε1X1)0− E(ε1X1)E(ε1X1)0 = E(ε1X1)(ε1X1)0=
= E(ε21X1X10) = E(ε21) · EX1X10 = (Eε21− (Eε1)2) · EX1X10 = σ2EX1X10. W takim razie
√n( ˆβn− β) = 1 nX0nXn
−1
· 1
√nX0nn
−−−−−−→D
z tw. 4 i 7 (EX1X10)−1· N (0, σ2EX1X10) =
= N ((EX1X10)−1· 0, (EX1X10)−1· σ2EX1X10 · ((EX1X10)−1)0) =
= N (0, σ2(EX1X10)−1· EX1X10 · (EX1X10)−1) = N (0, σ2(EX1X10)−1).
4
