(1)Nierówność Craméra - Rao Niech X = (X1

Nierówność Craméra - Rao

Niech X = (X₁, . . . , X_n) będzie próbą losową na przestrzeni X , zaś P = {P_θ, θ ∈ Θ}

rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X . Definicja 1. Estymator T funkcji g(θ) nazywamy nieobciążonym, jeżeli

∀_θ∈Θ EθT (X) = g(θ).

Definicja 2. Nieobciążony estymator T funkcji g(θ) nazywamy estymatorem nieobciążo- nym o minimalnej wariancji (ENMW[g(θ)]), jeżeli dla każdego nieobciążonego estymatora S funkcji g(θ) zachodzi

∀_θ∈Θ V ar_θT (X) ≤ V ar_θS(X).

Definicja 3. Przestrzeń statystyczna (X , A, P) jest dominowana, jeżeli istnieje σ- skończona miara µ na (X , A) taka, że każda P ∈ P jest absolutnie ciągła względem µ (istnieje gęstość: ^dP_dµ).

Przykłady:

- rozkłady absolutnie ciągłe (µ - miara Lebesgue’a),

- rozkłady dyskretne na przeliczalnej (lub skończonej) liczbie punktów (µ(A) = ]{x_i ∈ A}, miara ’licząca’).

Definicja 4. Niech Θ ⊂ R będzie przedziałem otwartym. Model statystyczny (X , A, P) jest regularny w sensie Craméra - Rao, jeżeli:

(1) rodzina miar P = {P_θ, θ ∈ Θ} jest dominowana przez pewną miarę µ (skończoną), a gęstości f_θ mają wspólny nośnik X (niezależny od θ).

(2) istnieje pochodna _∂θ^∂f_θ(x),

(3) można zamienić kolejność różniczkowania względem θ i całkowania względem x.

(4) dla każdego θ ∈ Θ

I(θ) = Eθ

 ∂

∂θ ln f_θ(X)

2

∈ (0, +∞).

Definicja 5. Informacją Fishera zmiennej losowej X nazywamy funkcję z punktu (4) warunków regularności w sensie Craméra - Rao.

Definicja 6. Informacją Fishera próby losowej X₁, . . . , X_n nazywamy funkcję postaci I_n(θ) = Eθ

 ∂

∂θln f_θ(X₁, . . . , X_n)

2

∈ (0, +∞).

1

Fakt Niech X₁, . . . , X_n będzie próbą prostą z modelu regularnego.

(4) Jeżeli istnieje pochodna _∂θ^∂22f_θ(x) i można zamienić kolejności różniczkowania (dru- giego rzędu) względem θ i całkowania względem x, to

I(θ) = −Eθ

∂²

∂θ² ln f_θ(X), (5) Jeżeli próba losowa jest prosta (X₁, . . . , X_n są iid), to

I_n(θ) = nI(θ).

Nierówność Craméra - Rao

Niech X = (X₁, . . . , X_n) bedzie próbą z modelu regularnego w sensie Craméra - Rao.

Jeżeli T (X) jest nieobciążonym estymatorem funkcji g(θ), takim, że g⁰(θ) = _dθ^d R

XT (x)f_θ(x)µ(dx) = R

X d

dθT (x)f_θ(x)µ(dx), to

∀_θ∈Θ V ar_θT (X) ≥ [g⁰(θ)]² I_n(θ) .

Definicja 7. Efektywnością nieobciążonego estymatora T funkcji g(θ) nazywamy funkcję

e(T ) =

[g⁰(θ)]² In(θ)

V ar_θT (X) = [g⁰(θ)]² V ar_θT (X) · I_n(θ).

Definicja 8. Estymator nieobciążony T funkcji g(θ) w modelu regularnym nazywany jest estymatorem efektywnym w sensie Craméra - Rao, jeżeli

∀_θ∈Θ e(T ) = 1.

UWAGI

(1) Jeżeli estymator T jest efektywny, to jest też estymatorem ENMW[g(θ)].

(2) Mogą istnieć ENMW, które nie są efektywne.

(3) Jeżeli model nie jest regularny, to mogą istnieć estymatory nieobciążone nade- fektywne (superefektywne), tzn. takie, których wariancja jest mniejsza niż oszacowanie wynikające z nierówności Craméra - Rao.

2