• Nie Znaleziono Wyników

estymatorów metody najmniejszych kwadratów

N/A
N/A
Protected

Academic year: 2021

Share "estymatorów metody najmniejszych kwadratów"

Copied!
4
0
0

Pełen tekst

(1)

Asymptotyczne własności

estymatorów metody najmniejszych kwadratów

Definicja 1. Ciąg zmiennych losowych {Zn} określonych na tej samej przestrzeni probabilistycznej jest zbieżny z prawdopodobieństwem 1 (inaczej: zbieżny prawie na pewno) do zmiennej losowej Z, gdy P (limn→∞Zn= Z) = P ({ω ∈ Ω : limn→∞Zn(ω) = Z(ω)}) = 1, co oznaczamy: Zn

−−−−→P 1 n→∞ Z.

Definicja 2. Ciąg macierzy losowych {Zn}, gdzie Zn = Zni,j, 1 ≤ i ≤ k, 1 ≤ j ≤ m określonych na tej samej przestrzeni probabilistycznej jest zbieżny z prawdopodobieństwem 1 (inaczej: zbieżny prawie na pewno) do macierzy losowej Z, gdzie Z = Zi,j, 1 ≤ i ≤ k, 1 ≤ j ≤ m, gdy

∀ i ∈ {1, 2, . . . , k} ∀ j ∈ {1, 2, . . . , m} Zni,j−−−−→P 1

n→∞ Zi,j, co oznaczamy: Zn

−−−−→P 1 n→∞ Z.

Zbieżny ciąg deterministyczny jest zbieżny z prawdopodobieństwem 1 do swojej granicy. Należy też zwrócić uwagę, że granicą ciągu zbieżnego z prawdopodobieństwem 1 może być wielkość deterministyczna (liczba, wektor deterministyczny, macierz deterministyczna).

Twierdzenie 1. (Mocne prawo wielkich liczb Kołmogorowa) Niech {Zn} będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie takim że E|Z1| < ∞. Wówczas

1 n

n

X

i=1

Zi−−−−→P 1

n→∞ EZ1. Lemat 1. Jeśli P (A) = P (B) = 1, to P (A ∩ B) = 1.

Dowód. P (A ∩ B) = P (A) + P (B) − P (A ∪ B) = 1 + 1 − P (A ∪ B) ≥ 1 + 1 − 1 = 1

Twierdzenie 2. Niech {Zn} będzie ciągiem wektorów losowych o wartościach w Rk takim że Zn −−−−→P 1

n→∞ Z.

Niech {An} będzie ciągiem macierzy losowych rozmiaru m × k takim że An −−−−→P 1

n→∞ A. Niech {bn} będzie ciągiem wektorów losowych o wartościach w Rk takim że bn −−−−→P 1

n→∞ b Zakładamy również, że ciągi {Zn}, {An} i {bn} są określone na tej samej przestrzeni probabilistycznej. Wówczas AnZn+ bn−−−−→P 1

n→∞ AZ + b.

Dowód. Niech ΩA = {ω ∈ Ω : limn→∞An(ω) = A(ω)}, ΩZ = {ω ∈ Ω : limn→∞Zn(ω) = Z(ω)} i Ωb= {ω ∈ Ω : limn→∞bn(ω) = b(ω)}. Z lematu 1 wynika, ze P (ΩA∩ ΩZ∩ Ωb) = 1. Niech ω ∈ ΩA∩ ΩZ∩ Ωb. Wówczas limn→∞(An(ω)Zn(ω) + bn(ω)) = limn→∞An(ω) · limn→∞Zn(ω) + limn→∞bn(ω)) = A(ω)Z(ω) + b(ω). W takim razie AnZn+ bn

−−−−→P 1

n→∞ AZ + b.

Twierdzenie 3. Niech {Zn} będzie ciągiem wektorów losowych o wartościach w Rk. Niech dana będzie funkcja g : D → Rl, gdzie D ⊆ Rk i P (Zn ∈ D) = 1, n ∈ N. Jeśli Zn

−−−−→P 1

n→∞ z, gdzie z ∈ D (ustalona liczba) jest punktem ciągłości funkcji g, to g(Zn)−−−−→D

n→∞ g(z).

Dowód. Ze względu na ciągłość funkcji g w punkcie z mamy

∀ ω ∈ Ω lim

n→∞Zn(ω) = z ⇒ lim

n→∞g(Zn(ω)) = g(z).

Oznacza to, że {ω ∈ Ω : limn→∞Zn(ω) = z} ⊆ {ω ∈ Ω : limn→∞g(Zn(ω)) = g(z)}. W takim razie 1 = P ({ω ∈ Ω : limn→∞Zn(ω) = z}) ≤ P ({ω ∈ Ω : limn→∞g(Zn(ω)) = g(z)}) a zatem g(Zn) −−−−→D

n→∞

g(z).

Definicja 3. Ciąg zmiennych losowych {Zn} o dystrybuantach odpowiednio F1, F2, . . . jest zbieżny według rozkładu do zmiennej losowej Z o dystrybuancie F wtedy, gdy limn→∞Fn(t) = F (t) dla każdego t ∈ R, które jest punktem ciągłość funkcji F , co oznaczamy: Zn

−−−−→D

n→∞ Z

1

(2)

Definicja 4. Ciąg wektorów losowych {Zn} o wartościach w Rk jest zbieżny według rozkładu do wektora losowego Z o wartościach w Rk, gdy dla każdego a ∈ Rk zachodzi zbieżność: a0Zn

−−−−→D n→∞ a0Z.

Twierdzenie 4. Niech {Zn} będzie ciągiem wektorów losowych o wartościach w Rk. Jeśli Zn

−−−−→P 1 n→∞ Z, to Zn

−−−−→D n→∞ Z.

Należy zwrócić uwagę, że granicą ciągu zbieżnego według rozkładu może być deterministyczna (liczba, wektor deterministyczny, macierz deterministyczna).

Twierdzenie 5. (Centralne twierdzenie graniczne dla ciągów niezależnych zmiennych losowych o jedna- kowym rozkładzie) Niech dany będzie ciąg niezależnych zmiennych losowych {Zn} o tym samym rozkła- dzie, przy czym EZ12< ∞. Niech EZ1= µ i V ar(Z1) = σ2> 0. Wówczas

√1 n

n

X

i=1

Zn− nµ

!

−−−−→D

n→∞ N (0, σ2).

Twierdzenie 6. (Centralne twierdzenie graniczne dla ciągów niezależnych wektorów losowych o jedna- kowym rozkładzie) Niech dany będzie ciąg {Zn} niezależnych wektorów losowych o tym samym rozkładzie o wartościach w Rk, przy czym Zn = (Zn1, Zn2, . . . , Znk)0 i E|Z1iZ1j| < ∞, 1 ≤ i, j ≤ k. Niech EZ1= µ i Cov(Z1) = Σ, przy czym zakładamy, że macierz Σ jest ściśle dodatnio określona. Wówczas

√1 n

n

X

i=1

Zn− nµ

!

−−−−→D

n→∞ N (0, Σ).

Twierdzenie 7. (Słuckiego) Niech {Zn} będzie ciągiem wektorów losowych o wartościach w Rk takim że Zn−−−−→D

n→∞ Z. Niech {An} będzie ciągiem macierzy losowych rozmiaru m × k takim że An

−−−−→D

n→∞ A, przy czym A jest macierzą deterministyczną. Niech {bn} będzie ciągiem wektorów losowych o wartościach w Rk takim że bn −−−−→D

n→∞ b, przy czym b jest wektorem deterministycznym. Wówczas AnZn+bn−−−−→D

n→∞ AZ+b.

Definicja 5. Niech {Zn}, gdzie Zn∈ Rl, będzie ciągiem obserwacji. Estymator ˆθn= ˆθn(Z1, Z2, . . . , Zn) ∈ Rk parametru θ ∈ Rk nazywamy mocno zgodnym, gdy ˆθn

−−−−→P 1 n→∞ θ.

Niech dany będzie ciąg modeli liniowych postaci:

Yn= Xnβ + n, gdzie

Yn =

 Y1

Y2

... Yn

, Xn =

X10 X11 . . . X1,k−1

X20 X21 . . . X2,k−1

. . . . Xn0 Xn1 . . . Xn,k−1

 , β =

 β0

β1

... βk−1

, n=

 ε1

ε2

... εn

 .

Niech ˆβn oznacza estymator metody najmniejszych kwadratów parametru β wyznaczony w modelu Yn = Xnβ + n, przy czym zakładamy, że estymator ten jest wyznaczony jednoznacznie, a zatem βˆn= (X0nXn)−1X0nYn.

Ponadto niech Xi=

 Xi0 Xi1

... Xi,k−1

 .

2

(3)

Twierdzenie 8. Jeśli

(i) {Xi} jest ciągiem niezależnych wektorów losowych o jednakowym rozkładzie, (ii) E|X1iX1j| < ∞ dla 0 ≤ i, j ≤ k − 1,

(iii) EX1X10 jest macierzą nieosobliwą,

(iv) {εi} jest niezależnym od {Xi} ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, (v) Eε1= 0 i Eε21= σ2, 0 < σ2< ∞,

to ˆβn jest mocno zgodnym estymatorem parametru β i

n( ˆβn− β)−−−−→D

n→∞ N (0, σ2(EX1X10)−1).

Dowód. Mamy

βˆn = (X0nXn)−1X0nYn= (X0nXn)−1X0n(Xnβ + n) =

= (X0nXn)−1X0nXnβ + (X0nXn)−1X0nn= β + (X0nXn)−1X0nn =

= β + 1 nX0nXn

−1

· 1 nX0nn.

1

nX0nXn= 1 n

X10 X20 . . . Xn0 X11 X21 . . . Xn1

. . . . X1,k−1 X2,k−1 . . . Xn,k−1

X10 X11 . . . X1,k−1 X20 X21 . . . X2,k−1

. . . . Xn0 Xn1 . . . Xn,k−1

=

= 1 n

 Pn

l=1Xl0Xl0 Pn

l=1Xl0Xl1 . . . Pn

l=1Xl0Xl,k−1 Pn

l=1Xl1Xl0 Pn

l=1Xl1Xl1 . . . Pn

l=1Xl1Xl,k−1

. . . .

Pn

l=1Xl,k−1Xl0 Pn

l=1Xl,k−1Xl1 . . . Pn

l=1Xl,k−1Xl,k−1

=

=

1 n

Pn

l=1Xl0Xl0 n1Pn

l=1Xl0Xl1 . . . n1Pn

l=1Xl0Xl,k−1

1 n

Pn

l=1Xl1Xl0 n1Pn

l=1Xl1Xl1 . . . n1Pn

l=1Xl1Xl,k−1

. . . .

1 n

Pn

l=1Xl,k−1Xl0 1 n

Pn

l=1Xl,k−1Xl1 . . . n1Pn

l=1Xl,k−1Xl,k−1

−−−−→P 1 z tw. 1

−−−−→P 1 n→∞

EX10X10 EX10X11 . . . EX10X1,k−1 EX11X10 EX11X11 . . . EX11X1,k−1

. . . . EX1,k−1X10 EX1,k−1X11 . . . EX1,k−1X1,k−1

=

= E

X10X10 X10X11 . . . X10X1,k−1 X11X10 X11X11 . . . X11X1,k−1

. . . . X1,k−1X10 X1,k−1X11 . . . X1,k−1X1,k−1

= E

 X10 X11 ... X1,k−1



X10X11 . . . X1,k−1



= EX1X10

1

nX0nn= 1 n

X10 X20 . . . Xn0

X11 X21 . . . Xn1 . . . . X1,k−1 X2,k−1 . . . Xn,k−1

 ε1

ε2

... εn

= 1 n

 Pn

l=1εlXl0

Pn l=1εlXl1

... Pn

l=1εlXl,k−1

=

3

(4)

=

1 n

Pn l=1εlXl0

1 n

Pn l=1εlXl1

...

1 n

Pn

l=1εlXl,k−1

−−−−→P 1 z tw. 1

1X101X11

... Eε1X1,k−1

=

1· EX101· EX11

... Eε1· EX1,k−1

=

0 · EX10 0 · EX11

... 0 · EX1,k−1

= 0

Skoro n1X0nXn−−−−→P 1

n→∞ EX1X10 i EX1X10 jest macierzą nieosobliwą, to dla dostatecznie dużego n ma- cierz 1nX0nXn jest również nieosobliwa z prawdopodobieństwem 1. Macierz nieosobliwa jest punktem cią- głości operacji odwracania macierzy, a zatem z twierdzenia 3 wynika, że (n1X0nXn)−1−−−−→P 1

n→∞ (EX1X10)−1. Wobec tego na mocy twierdzenia 2 mamy:

βˆn= β + 1 nX0nXn

−1

· 1 nX0nn

−−−−→P 1

n→∞ β + (EX1X10) · 0 = β.

Ponieważ Eε1X1= Eε1· EX1= 0 · EX1= 0, więc

√1

nX0nn= 1

√n

X10 X20 . . . Xn0

X11 X21 . . . Xn1

. . . . X1,k−1 X2,k−1 . . . Xn,k−1

 ε1

ε2

... εn

= 1

√n

 Pn

l=1εlXl0

Pn l=1εlXl1

... Pn

l=1εlXl,k−1

=

= 1

√n

n

X

l=1

εlXl= 1

√n

n

X

l=1

εlXl− nEε1X1

!

−−−−→D

z tw. 6 N (0, Σ), gdzie

Σ = Cov(ε1X1) = E(ε1X1)(ε1X1)0− E(ε1X1)E(ε1X1)0 = E(ε1X1)(ε1X1)0=

= E(ε21X1X10) = E(ε21) · EX1X10 = (Eε21− (Eε1)2) · EX1X10 = σ2EX1X10. W takim razie

√n( ˆβn− β) =  1 nX0nXn

−1

· 1

√nX0nn

−−−−−−→D

z tw. 4 i 7 (EX1X10)−1· N (0, σ2EX1X10) =

= N ((EX1X10)−1· 0, (EX1X10)−1· σ2EX1X10 · ((EX1X10)−1)0) =

= N (0, σ2(EX1X10)−1· EX1X10 · (EX1X10)−1) = N (0, σ2(EX1X10)−1).

4

Cytaty

Powiązane dokumenty

będzie ciągiem nie- zależnych zmiennych losowych o

Rozkłady zmiennych

Znale¹¢ liczb¦ lotów, jak¡ powinien wykona¢ nad punktem obserwacyjnym sputnik, aby z prawdopodobie«stwem 0,9 liczba spostrze»e« wizualnych sputnika byªa nie mniejsza ni»

Rozkłady zmiennych

Funkcje zmiennych

Udowodnić, że z prawdopodobieństwem jeden, po pewnym czasie nie będzie w pojemniku ani jednej

Wiadomo, że codziennie 200 osób będzie chciało zjeść obiad, a wyboru dokonują losowo (rzucając symetryczną monetą.. Jaka jest szansa, że w jednej z restauracji

W polu Różnica między dwoma wskaźnikami struktury wpisać dane, zaznaczyć Dwustronny.. Po naciśnięciu przycisku Oblicz można