obciążenie estymatora estymatory nieobciążone

Statystyka Matematyczna

Anna Janicka

wykład V, 21.03.2016

WŁASNOŚCI ESTYMATORÓW, CZ. I

Plan na dzisiaj

1. Podstawowe własności estymatorów:

obciążenie estymatora estymatory nieobciążone

2. Mierniki jakości: porównywanie estymatorów

ryzyko estymatora

nieporównywalne estymatory

estymator nieobciążony o minimalnej wariancji

3. Informacja Fishera

Własności estymatorów

Czy nie robimy za dużych błędów? Czy estymujemy to, co chcemy?

ma przybliżać θ .

Ogólniej: ma przbliżać g( θ ).

Chcemy: mały błąd przybliżenia. Ale

błąd jest zmienną losową (dane są losowe)

→ możemy badać wartość oczekiwaną błędu błąd zależy od nieznanego θ ^.

→ trudno...

θ ^ˆ

)

ˆ X (

g

Obciążenie estymatora

Jeśli statystyka jest estymatorem θ : obciążenie estymatora to

Jeśli statystyka jest estymatorem g( θ ):

obciążenie estymatora to

Estymator / jest nieobciążony, jeśli

inne oznaczenia, np:

) ˆ X (

θ

) ( )

ˆ ( ))

( )

ˆ ( ( )

( θ E

_θ

g X g θ E

_θ

g X g θ

b = − = −

θ θ

θ θ

θ ) =

_θ

( ˆ ( ) − ) =

_θ

ˆ ( ) −

( E X E X

b

) ˆ X ( g

) ˆ X ( ) g

ˆ X ( θ

Θ

∈

∀

= θ

θ ) 0 dla (

b

ˆ) (g B_θ

Przypomnienie z wykładu 3: model normalny

Model normalny: X

₁

, X

₂

, ..., X

_n

są próbką z rozkładu N( µ , σ

²

). µ , σ nieznane.

Tw. W modelu normalnym, statystyki i S

²

są niezależnymi zmiennymi

losowymi, t. że

W szczególności:

X ) ,

(

~ N

² _n

X µ

^σ

) 1 (

~

²

1 2

2

χ −

−

S n

n σ

) 1 2 (

Var oraz

,

_, ^{2 4}

2 2

,

= = −

S n S

E

_{µ σ}

σ

_{µ σ}

σ

X n X

E

_µ,σ

= µ , oraz Var

_µ,σ

= σ

²

Obciążenie estymatora – Przykład 1

W modelu normalnym:

Estymator jest nieobciążonym estymatorem µ :

Podobnie, jest nieobciążonym estymatorem µ :

Estymator jest obciążony:

obciążenie:

= X

µ ˆ

µ µ

µ

_{µ σ µ σ}

σ

µ

X = E X = E ∑

=

X = n =

E

ⁿ _n

i i

n

1 1

1 ,

, ,

ˆ ( )

1

ˆ

1

= X

µ

µ

µ

_{µ σ}

σ

µ_,

ˆ

₁

( X ) = E

_,

X

₁

= E

5 ˆ

₂

=

µ

2 dla

np.

5

5 )

(

ˆ

_{2 ,}

,_σ

µ =

_{µ σ}

= ≠ µ µ =

µ

X E

E

µ µ ) = 5 − (

b

dowolnym, o nieznanym

µ

:

Obciążenie estymatora – Przykład 1 cd.

Estymator jest obciążonym estymatorem σ

²

:

Zaś estymator jest nieobciążonym estymatorem σ

²

:

∑

=

−

=

ⁿ

i i

n

X X

S

1

1 2

2

( )

ˆ

(

^{2 2 2}

)

^{2 2}

1

2 2

, 1

1 1 2

, 2

,

2

2

)

( )

(

) (

) (

) ˆ (

σ σ

µ σ

µ

^{σ σ}

σ µ σ

µ σ

µ

≠

−

= +

− +

=

−

=

−

= ∑

=

∑

n n n

n i n

i i

n

n n

X n X

E X

X E

X S

E

∑

⁼

−

−

=

ⁿ

i i

n

X X

S

1

2 1

2 1

) (

(

^{2 2 2}

)

¹₁

(

²

)

²

1 1

2 2

1 , 1 1

2 1

1 ,

2 ,

) 1 (

) (

) (

) (

) (

) (

2

σ σ

µ σ

µ

^σ

σ µ σ

µ σ

µ

=

−

= +

− +

=

−

=

−

=

−

−

= −

−

∑ ∑

n n

n

X n X

E X

X E

X S

E

n n n

n i n

i i

n

analogicznie: nie tylko dla modelu normalnego

Obciążenie estymatora – Przykład 1 cd (2)

Obciążenie estymatora to

gdy n → ∞, obciążenie dąży do 0, a więc ten estymator też jest OK dla dużych prób

∑

⁼

⁻

=

ⁿ

i i

n

X X

S

1

1 2

2

( )

ˆ

b n

2

)

( σ

σ = −

dla dowolnego rozkładu mającego wariancję

Asymptotyczna nieobciążoność

Estymator parametru g( θ ) jest asymptotycznie noeobciążony, jeśli

0 )

( lim

: =

Θ

∈

∀ θ

→∞

b θ

n

)

ˆ X (

g

Jak porównywać estymatory?

Chcemy minimalizować błąd

estymatora; estymator, który mniej się myli jest lepszy.

Błąd może być na + albo na -, stąd standardowo patrzy się na kwadrat błędu (średni kwadrat odchylenia

estymatora od wartości estymowanej)

Ryzyko estymatora (ryzyko kwadratowe)

Jeśli statystyka jest estymatorem θ : ryzyko estymatora to funkcja

Jeśli statystyka jest estymatorem g( θ ):

ryzyko estymatora to funkcja

My rozważać będziemy tylko ryzyko kwadratowe (błąd średniokwadratowy). Możliwe też inne (np. z modułem)

) ˆ X (

θ

))

2

( )

ˆ ( ( ˆ )

,

( θ g E

_θ

g X g θ

R = −

)

2

) ˆ (

( ˆ )

,

( θ θ = E

_θ

θ X − θ

R

) ˆ X ( g

) ˆ X (

θ

)

ˆ X (

g

Własności ryzyka kwadratowego

Mamy:

A zatem dla estymatorów nieobciążonych ryzyko to wariancja estymatora

ˆ ) ( Var )

( ˆ )

,

( g b

²

g

R θ = θ +

Ryzyko estymatora – Przykład 1

Model: X

₁

, X

₂

, ..., X

_n

są próbką z rozkładu o średniej µ , wariancji σ

²

. µ , σ nieznane.

Ryzyko estymatora (nieobc.):

Ryzyko estymatora (nieobc.):

Ryzyko estymatora (obc.):

= X

µ ˆ

X n Var

X E

X R

2 ,

2

,

( )

) ,

,

( σ

µ σ

µ =

_{µ σ}

− =

_{µ σ}

=

1

ˆ

1

= X

µ

5 ˆ

₂

=

µ

2 1

, 2

1 ,

1

) ( )

, ,

( µ σ X = E

_{µ σ}

X − µ = Var

_{µ σ}

X = σ

R

2 2

,

( 5 ) ( 5 )

) 5 , ,

( µ σ = E

_{µ σ}

− µ = − µ

R

Ryzyko estymatora – Przykład 1 cd.

Ryzyko estymatora

Ryzyko estymatora ^{S ˆ}

²

⁼

ⁿ¹

∑

ⁿⁱ⁼¹

^{( X}

ⁱ

^{− X )}

²

∑

⁼

−

−

=

ⁿ

i i

n

X X

S

1

2 1

2 1

) (

1 ) 2

( )

, , (

4 2

, 2

2 2

, 2

= −

=

−

= E S Var S n

S

R σ

σ σ

µ

_{µ σ µ σ}

4 2

4 2

2 2

4

2 ,

2 2

2 2

, 2

1 2

1 2

) 1 (

) ˆ (

ˆ ) ( ˆ )

, , (

σ σ σ

σ σ

σ

µ

_{µ σ µ σ}

n n n

n n n

S Var

b S

E S

R

= −

− + −

=

+

=

−

=

ˆ ) , , ( )

, ,

( S

²

R S

²

R µ σ > µ σ

w modelu dowolnym:

analogicznie, tylko inne wzory

Ryzyko i obciążenie estymatora – Przykład 2.

Model Poissona: X

₁

, X

₂

, ..., X

_n

są próbką z rozkładu Poissona z nieznanym

parametrem θ .

NW

= ... = X

θ ˆ

0 )

( θ = b

X n X

X

R

ⁿ

i i

n

θ =

_θ

=

_θ

∑

=1

= θ

Var

1

Var )

,

(

Porównywanie estymatorów

Estymator jest lepszy od , jeśli

oraz

a zatem: jeden estymator jest lepszy od drugiego tylko jeśli cały wykres funkcji ryzyka jednego leży pod

wykresem drugiego; jeśli wykresy się krzyżują, to estymatory są nieporównywalne

) ˆ

₁

( X

g g ˆ

₂

( X )

ˆ ) , ( ˆ )

, (

R θ g

₁

R θ g

₂

θ ∈ Θ ≤

∀

ˆ ) , ( ˆ )

, (

R θ g

₁

R θ g

₂

θ ∈ Θ <

∃

Porównywanie estymatorów – cd.

Z uwagi na to, że bardzo wiele

estymatorów jest nieporównywalnych,

porównywanie byle czego nie ma sensu;

trzeba się ograniczyć do pewnej klasy estymatorów.

Jeśli porównujemy dwa estymatory

nieobciążone, to lepszy będzie ten, który

ma mniejszą wariancję.

Porównanie estymatorów – Przykład 1.

W modelu dowolnym:

Spośród estymatorów

lepszy jest (dla n>1) estymator Estymatory są nieporównywalne, tak samo jak estymatory

Spośród estymatorów lepszy jest

1

ˆ

1

oraz

ˆ = X µ = X

µ

µ ˆ 5

ˆ oraz

ˆ = µ

₂

=

µ X

5 ˆ

oraz

ˆ

₁

=

₁

µ

₂

=

µ X

2 2

oraz S ˆ S

ˆ

2

S

Estymator nieobciążony o minimalnej wariancji

Ograniczamy poszukiwania/porównania do estymatorów nieobciążonych. W tej klasie często da się znaleźć estymator najlepszy:

Statystyka g*(X) jest estymatorem

nieobciążonym o minimalnej wariancji dla g( θ ), jeśli

g*(X) jest nieobciążonym estymatorem g( θ ), dla każdego nieobciążonego estymatora

dla θ ∈Θ

) ˆ X ( g

) ˆ (

) (

* X Var g X g

Var

_θ

≤

_θ

Jak stwierdzić, że estymator ma minimalną wariancję?

W ogólności nie da się dowolnie zmniejszać wariancji estymatorów nieobciążonych – dla wielu modeli probabilistycznych istnieje pewna

granica zmniejszania wariancji. Zależy ona od konkretnego rozkładu i od

wielkości próby.

Informacja Fishera

Jeśli model statystyczny z obs. X

₁

, X

₂

, ..., X

_n

i p-stwem f

_θ

spełnia warunki regularności, tzn.:

1. Θ jest przedziałem otwartym 1-wymiarowym.

2. Nośnik rozkładu {x: f

_θ

(x)>0} nie zależy od θ ^.

3. Istnieje pochodna .

to można zdefiniować Informację Fishera zawartą w obserwacjach X

₁

, X

₂

, ..., X

_n

:

nie zakładamy tu niezależności X₁, X₂, ..., X_n θ

θ

d df

( ^{ln (}

₁

^,

₂

^{,..., )} )

²

)

(

_d^d _n

n

E f X X X

I θ =

_{θ θ θ}

Informacja Fishera – co oznacza

Miara tego, jak wiele może powiedzieć próba wielkości n (uśredniona) o

wartości nieznanego parametru θ .

Np. jeśli funkcja gęstości wokół θ jest

płaska, to informacja zawarta w (jednej) obserwacji nie będzie pozwalała

różnicować naszych przewidywań co do

θ . Jeśli jednak funkcja gęstości wokół θ

nie jest płaska, to info o wynikach wnosi

wiele.

Informacja Fishera – cd.

Wzory dla różnych przypadków:

jeśli rozkład ciągły

jeśli rozkład dyskretny

jeśli f

_θ

dwukrotnie różniczkowalna

dx x

x f

I f

^d

x df

n

( )

) ) (

(

) 2 (

θ θ

θθ

θ ∫  





 



= 

X

∑

∈

 





 



= 

X x

d x dP

n

P x

x

I P ( )

) ) (

(

) 2 (

θ θ

θθ

θ

( ^{ln ( , ,..., )} )

)

(

2 _{1 2}

2

d n d

n

E f X X X

I θ = −

_{θ θ θ}

Informacja Fishera – cd. (2)

Jeśli próba składa się z niezależnych zmiennych losowych o identycznych rozkładach, to wówczas z uwagi na

multiplikatywność prawdopodobieństwa oraz własności logarytmu

I₁(

θ

) jest informacją Fishera zawartą w pojedynczej obserwacji

) (

)

( θ nI

₁

θ

I

_n

=

Informacja Fishera – przykład

Rozkład wykładniczy exp(λ)

1 2

... 1 )

( λ = = λ

I