rozkłady absolutnie ciągłe (µ - miara Lebesgue’a

Informacja Fishera, asymptotyczna normalność estymatorów

Niech X = (X₁, . . . , X_n) będzie próbą losową na przestrzeni X , zaś P = {P_θ, θ ∈ Θ}

rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X .

Definicja 1. Przestrzeń statystyczna (X , A, P) jest dominowana, jeżeli istnieje σ- skończona miara µ na (X , A) taka, że każda P ∈ P jest absolutnie ciągła względem µ (istnieje gęstość: ^dP_dµ).

Przykłady:

- rozkłady absolutnie ciągłe (µ - miara Lebesgue’a),

- rozkłady dyskretne na przeliczalnej (lub skończonej) liczbie punktów (µ(A) = ]{x_i ∈ A}, miara ’licząca’).

Definicja 2. Niech Θ ⊂ R będzie przedziałem otwartym. Model statystyczny (X , A, P) jest regularny w sensie Craméra - Rao, jeżeli:

(1) rodzina miar P = {P_θ, θ ∈ Θ} jest dominowana przez pewną miarę µ (skończoną), a gęstości f_θ mają wspólny nośnik X (niezależny od θ).

(2) istnieje pochodna _∂θ^∂f_θ(x),

(3) można zamienić kolejność różniczkowania względem θ i całkowania względem x.

(4) dla każdego θ ∈ Θ

I(θ) = Eθ

 ∂

∂θ ln f_θ(X)

2

∈ (0, +∞).

Definicja 3. Informacją Fishera zmiennej losowej X nazywamy funkcję z punktu (4) warunków regularności w sensie Craméra - Rao.

Definicja 4. Informacją Fishera próby losowej X₁, . . . , X_n nazywamy funkcję postaci In(θ) = E^θ ∂

∂θln fθ(X1, . . . , Xn)

2

∈ (0, +∞).

Fakt Niech X1, . . . , X_n będzie próbą prostą z modelu regularnego.

(a) Jeżeli istnieje pochodna _∂θ^∂22f_θ(x) i można zamienić kolejności różniczkowania (dru- giego rzędu) względem θ i całkowania względem x, to

I(θ) = −Eθ

∂²

∂θ² ln f_θ(X), (b)

In(θ) = nI(θ).

1

Definicja 5. Estymator ˆg(X₁, . . . , X_n) wielkości g(θ) jest asymptotycznie normalny, jeżeli

∀_θ∈Θ ∃_σ²_(θ) √

n(ˆg(X₁, . . . , X_n) − g(θ)) −→^dN (0, σ²(θ)), n −→ ∞,

tzn. rozkład statystyki ˆg(X₁, . . . , X_n) jest (dla dużych n) zbliżony do rozkładu N (g(θ),^σ2_n^(θ)).

Ozn. ˆg(X) ∼ AN (g(θ),^σ2_n^(θ)). Wielkość ^σ2_n^(θ) nazywamy asymptotyczną wariancją esty- matora ˆg(X₁, . . . , X_n).

Twierdzenie (Metoda delta) Jeżeli dla ciągu zmiennych Tn mamy √

n(Tn− µ) −→^d N (0, σ²) przy n −→ ∞ i h : R −→ R jest funkcją różniczkowalną w punkcie µ, to

√n (h(T_n) − h(µ)) −→^dN (0, σ²· (h⁰(µ)²).

2