będzie ciągiem nie- zależnych zmiennych losowych o jednakowym rozkładzie

Asymptotyczne własności estymatorów

Niech X = (X1, . . . , Xn) będzie próbą losową na przestrzeni próbkowej Xⁿ, zaś {Pθ : θ ∈ Θ} będzie rodziną rozkładów prawdopodobieństwa na Xⁿ.

Twierdzenie (Mocne Prawo Wielkich Liczb). Niech X1, X2, . . . będzie ciągiem nie- zależnych zmiennych losowych o jednakowym rozkładzie. Jeżeli E|X₁| < ∞, to

X₁+ . . . + X_n n

n→∞−→ EX₁, P -prawie wszędzie.

Definicja 1. Estymator ˆg(X) wielkości g(θ) jest mocno zgodny, jeżeli

∀θ∈Θ g(X) −→ˆ ^p.w.g(θ), n → ∞, czyli dla każdego θ ∈ Θ mamy

P_θ

n→∞lim g(X) = g(θ)ˆ 

= 1.

Twierdzenie (Centralne Twierdzenie Graniczne). Niech X1, X₂, . . . będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, wspólnej i skończonej warto- ści oczekiwanej EX₁ oraz wspólnej, skończonej i dodatniej wariancji V arX₁. Wówczas dla n → ∞ zachodzi następująca zbieżność wg rozkładu

X₁+ X₂+ . . . + X_n− n · EX₁

pn · V ar(X1) −→^d Y ∼ N (0, 1)

Definicja 2. Estymator ˆg(X₁, . . . , X_n) wielkości g(θ) jest asymptotycznie normalny, jeżeli

∀_θ∈Θ ∃_σ²_(θ) √

n(ˆg(X₁, . . . , X_n) − g(θ)) −→^dN (0, σ²(θ)), n −→ ∞,

tzn. rozkład statystyki ˆg(X1, . . . , Xn) jest (dla dużych n) zbliżony do rozkładu N (g(θ),^σ2_n^(θ)).

Ozn. ˆg(X) ∼ AN (g(θ),^σ2_n^(θ)). Wielkość ^σ2_n^(θ) nazywamy asymptotyczną wariancją esty- matora ˆg(X₁, . . . , X_n).

Twierdzenie (Metoda delta) Jeżeli dla ciągu zmiennych T_n mamy √

n(T_n− µ) −→^d N (0, σ²) przy n −→ ∞ i h : R −→ R jest funkcją różniczkowalną w punkcie µ, to

√n (h(T_n) − h(µ)) −→^dN (0, σ²· (h⁰(µ)²).

Definicja 3. Jeżeli ˆg jest asymptotycznie normalnym estymatorem g(θ), wówczas asymp- totyczną efektywność estymatora określamy jako

as.ef(ˆg) = (g⁰(θ))²n

σ²(θ)I_n(θ) = (g⁰(θ))² σ²(θ)I₁(θ).

Jest to modyfikacja „zwykłej” efektywności: rolę wariancji estymatora nieobciążonego przejmuje asymptotyczna wariancja estymatora normalnego.

Definicja 4. Estymator ˆg nazywamy asymptotycznie efektywnym, jeżeli

∀_θ∈Θ as.ef(ˆg) = 1.

Definicja 5. Funkcja tworząca momenty zmiennej losowej X dana jest wzorem MX(t) = Ee^tX.

Fakt 1. Jeśli funkcja tworząca momenty zmiennej X jest określona dla t ∈ (−t₀, t₀), t₀ > 0, to

EX^k = M_X^(k)(0), k = 1, 2, . . . .