Statystyka Matematyczna

Statystyka Matematyczna

Anna Janicka

wykład VII, 11.04.2016

WŁASNOŚCI ESTYMATORÓW, CZ. III

ESTYMACJA PRZEDZIAŁOWA, CZ. I

Plan na dzisiaj

1. Asymptotyczne własności estymatorów – cd.

zgodność – cd.

asymptotyczna normalność asymptotyczna efektywność

2. Zgodność, asymptotyczna normalność i asymptotyczna efektywność ENW

3. Estymacja przedziałowa – przedziały ufności

wstęp modele

Zgodność – przypomnienie

Niech X₁, X₂, ..., X_n ,... będzie próbą IID, tzn.

niezależnych zmiennych losowych o

identycznych rozkładach. Niech

będzie ciągiem estymatorów wielkości g(θ ).

Estymator jest zgodny, jeśli jest zbieżny do g(θ ) według prawdopodobieństwa i mocno zgodny, jeśli jest zbieżny prawie na pewno.

) ,...,

,

ˆ( X₁ X₂ X_n g

gˆ

Zgodność – przykłady

Dla dowolnej rodziny rozkładów mających wartość oczekiwaną: średnia z próbki jest zgodnym estymatorem wartości

oczekiwanej µ (θ )=E_θ (X₁). Zbieżność wynika z MPWL.

Dla dowolnej rodziny rozkładów mających wariancję: i

są zgodnymi estymatorami wariancji

σ ²(θ )=Var_θ (X₁). Zbieżność wynika z MPWL

Xn

∑ =

− −

= ⁿ

i i

n n X X

S 1

2 1

2 1

)

( = ∑ⁿ= −

i i

n n X X

S 1

1 2

2 ( )

ˆ

Zgodność – przykłady/własności

Estymator może być nieobciążony i nie być zgodny; np. T_n(X₁, X₂, ..., X_n )=X₁

jako estymator µ (θ )=E_θ (X₁).

Estymator może być obciążony i być zgodny; np. obciążony estymator

wariancji j.w., lub np. dowolny zgodny estymator nieobciążony + 1/n.

Asymptotyczna normalność

Estymator wielkości g(θ ) jest asymptotycznie normalny, jeśli dla każdego θ∈Θ istnieje σ ²(θ ) takie, że gdy n→∞

Zbieżność wg. rozkładu, tzn. dla dowolnego a

lub równoważnie, rozkład jest dla dużych n zbliżony do rozkładu

) ,...,

,

ˆ(X₁ X₂ X_n g

(

)

n _n − →^D

( ^{ˆ( , ,..., ) ( )}) ^{( )}

)

lim (n g X₁ X₂ X g a a

P _n

n  = Φ









 − ≤

∞

→ θ

θ

θ σ

) ,...,

,

ˆ( X₁ X₂ X_n g

) ),

(

(g _n² N θ ^σ

Asymptotyczna normalność – co to znaczy

Estymator asymptotycznie normalny jest zgodny (niekoniecznie mocno zgodny).

Zawiera warunek podobny do

nieobciążoności – wartość oczekiwana

rozkładu asymptotycznego jest równa g(θ ) (ale sam estymator nie musi być

nieobciążony).

Podobnie dla tzw. wariancji

asymptotycznej definiowanej jako

lub – jest to wariancja rozkładu asymptotycznego

n )

2(θ σ

)

2(θ σ

Asymptotyczna normalność – czym nie jest

Zazwyczaj dla estymatora asymptotycznie normalnego zachodzi:

ale nie musi tak być, bo zbieżność wg

rozkładu nie pociąga za sobą zbieżności wartości oczekiwanych ani wariancji

) ( )

,..., ,

ˆ( _{1 2} θ

θ g X X X g

E _n  →^n→^∞

) ( )

,..., ,

ˆ(

var ^{g X}₁ ^X₂ ^X_n ^{ →n→∞} σ ² θ

n

Asymptotyczna normalność – przykład

Niech X₁, X₂, ..., X_n ,... będzie próbą IID o średniej µ i wariancji σ ². Wówczas dla

średniej z próby mamy z CTG

Asymptotyczna wariancja, , jest tu tożsama z wariancją estymatora.

) ,

0 ( )

( X µ N σ ²

n − →^D

n σ 2

Asymptotyczna normalność – jak liczyć

W wielu przypadkach przydatny jest lemat:

Metoda Delta. Jeśli dla ciągu zmiennych losowych T_n mamy

gdy n→∞ oraz h:R→R jest funkcją

różniczkowalną w punkcie µ t.że h’(µ)≠0, to

µ, σ² są funkcjami parametru θ

stosujemy zwykle wtedy, kiedy estymatory są funkcjami

statystyk T_n, których zbieżność łatwo wywnioskować z CTG

) ,

0 ( )

(T µ N σ ²

n _n − →^D

(^{h(T ) h(µ)}) ^{N(0,σ 2(h'(µ))2 )}

n _n − →^D

Asymptotyczna normalność – przykłady cd.

W modelu wykładniczym:

Z CTG mamy

więc z Lematu Delta mamy dla h(t)=1/t:

a więc jest asymptotycznie normalnym (co za tym idzie: zgodnym) estymatorem λ.

ENW (λ) = X¹

) ,

0 ( )

( ^{1 1}₂

λ N λ

X

n − →^D

) ) (

, 0 ( )

( ²

) / 1 (

1 1

1

2

2 λ

λ → λ ⋅ −

− N

n _X ^D

X 1

Asymptotyczna efektywność

Dla asymptotycznie normalnego estymatora wielkości g(θ ) możemy

określić asymptotyczną efektywność jako

gdzie σ ²(θ )/n jest wariancją asymptotyczną, tj. mamy gdy n→∞

(

)

n _n − →^D

) ,...,

,

ˆ( X₁ X₂ X_n g

( )

) , ( )

(

) ( ) '

( ˆ

as.ef ₂

2

θ θ

σ

θ

In

n g g

= ⋅

( )

) ( ) (

) ( ) '

( ˆ as.ef

1 2

2

θ θ

σ

θ I g g

= ⋅

modyfikacja „zwykłej” efektywności do przypadku granicznego, z wariancją asymptotyczną zamiast zwykłej

Asymptotyczna efektywność względna

Asymptotyczna efektywność względna dla

asymptotycznie normalnych estymatorów i

ˆ ) ( as.ef

ˆ ) ( as.ef )

( ) ) (

, ˆ ( ˆ

as.ef

2 1 2

1 2 2 2

1 g

g g

g = =

θ σ

θ σ

) ˆ₁(X

g gˆ₂(X )

Uwaga. Estymator mniej (asymptotycznie) efektywny może mieć inne cechy, które sprawiają, że ma przewagę nad estymatorem bardziej (asymptotycznie) efektywnym.

Asymptotyczna efektywność względna – Przykład 1

Estymacja prawdopodobieństwa braku szkód w modelu Poissona: Poiss(θ ) (typowy model aktuarialny dla liczby szkód w poszczególnych latach dla polisy, albo dla grupy polis)

– pr-stwo braku szkód

→

) 0 (

)

( = e⁻ = P X_i = g θ ^θ

∑

= ⁿ

i X

n _i

X

g 1 { 0} 1

1( )

ˆ 1 gˆ₂(X ) = e^−X = ENW (g(θ )) (^gˆ₁ ^{− g(θ)})^{→N(0,e−θ(1− e−θ ))}

n ^D

(^gˆ₂ ^{− g(θ)})^{→N(0,θ ⋅(−e−θ )2)}

n ^D

z CTG dla schematu Bernoulliego

z Lematu Delta

1 1 )

1 ) (

, ˆ ( ˆ

as.ef

2 2

1 <

= −

= ₋ − ₋

−

θ θ

θ

θ θ

θ

e e

e g e

g

as.ef

Asymptotyczna efektywność względna –

Przykłady 2: lepsza średnia czy mediana z próbki?

To zależy od rozkładu!

a) model normalny N(µ, σ ²):

b) model Laplace’a Lapl(µ, λ)

c) niektóre rozkłady nie mają średniej...

Twierdzenie: Dla próbki z rozkładu ciągłego o gęstości f(x), mediana

próbkowa jest estymatorem asymptotycznie normalnym dla mediany m (o ile gęstość jest ciągła i ≠0 w punkcie m):

(^{X µ}) ^{N(0,σ 2)}

n − →^D

(^{meˆd µ}) ^N(0,πσ₂^{2 )}

n − →^D

1 )

, d eˆ m (

as.ef X = _π² <

(^{X µ}) ^N(0, _λ^{22 )}

n − →^D

(^meˆd ) ^(0, 2 ⁾

1

µ N λ

n − →^D as.ef(meˆd, X ) = 2 > 1

(^meˆd ) ^(0, 2 ⁾

)) ( ( 4

1 m f

D N

m

n − →

as.ef

Zgodność ENW

Niech X₁, X₂, ..., X_n,... będą próbą z gęstości f_θ (x), gdzie θ∈Θ _{⊆ R} jest otwarty, oraz:

Wszystkie gęstości f_θ mają ten sam nośnik równanie ma dokładnie jedno

rozwiązanie ,

to jest ENW(θ ) i jest to estymator zgodny

Uwaga. Nawet „porządne” estymatory ENW nie muszą być nieobciążone!

0 ) (

ln θ = θ ^L

d d

θ^ˆ

θ^ˆ

Asymptotyczna normalność ENW

Niech X₁, X₂, ..., X_n,... będą próbą z gęstości f_θ (x), gdzie θ∈Θ _{⊆ R} jest otwarty, a jest zgodnym

estymatorem największej wiarygodności (np.

spełnia założenia poprzedniego twierdzenia), oraz

istnieje

można wyliczyć informację Fishera, 0<I₁(θ )<∞

można zmieniać kolejność całkowania po x i różniczkowania po θ

to jest asymptotycznie normalny oraz

θ^ˆ

) (

2 ln

2

θ ^L θ d

d

θ^ˆ

(

)

n − →

Asymptotyczna normalność ENW

Przy założeniach j.w., jeśli dodatkowo g:R→R jest funkcją różniczkowalną w punkcie θ, t.że g’(θ ) ≠ 0, a jest ENW(g(θ )), to

(

)

1

2

θ

θ ^{D g}_I θ

n g N

X X

X g

n − →

) ,...,

,

ˆ( X₁ X₂ X_n g

Asymptotyczna efektywność ENW

Jeśli spełnione są założenia poprzednich twierdzeń, to estymator największej

wiarogodności (parametru θ oraz dla g(θ )) jest asymptotycznie efektywny.

Asymptotyczna normalność i efektywność ENW – przykłady

W modelu liczby szkód:

jest asymptotycznie efektywny

W modelu normalnym: średnia jest

asymptotycznie efektywnym estymatorem µ W modelu Laplace’a: mediana jest

asymptotycznie efektywnym estymatorem µ

)) (

( )

ˆ₂(X e ENW g θ

g = ^−X =

Przykład 1

Przykłady 2

Podsumowanie: badanie własności estymatorów

obciążoność wariancja

ryzyko

efektywność

zgodność

asymptotyczna normalność asymptotyczna efektywność

Estymacja przedziałowa – przedziały ufności

Estymujemy parametr z zadaną dokładnością

Zamiast pojedynczego oszacowania podajemy dolną i górną granicę dla

oszacowania (prawdziwy parametr będzie się w nich mieścił z zadanym

prawdopodobieństwem)

Przedział ufności

Niech g(θ ) będzie funkcją nieznanego

parametru θ, zaś oraz będą statystykami

Wówczas to przedział ufności dla g(θ ) na poziomie ufności 1-α, jeśli dla każdego θ

) ,...,

,

( X₁ X₂ X_n g

g =

(

)

θ g(X₁, X₂,..., X_n ) ≤ g( ) ≤ g( X₁, X₂,..., X_n ) ≥ 1− P

) ,...,

,

( X₁ X₂ X_n g

g =

] , [g g

Przedział ufności – użycie i interpretacja

Typowo: α jest małą liczbą, np. 1-α = 0,95 albo 1-α = 0,99

Warunek z definicji oznacza: losowy

przedział zawiera nieznaną liczbę g(θ ) z dużym prawdopodobieństwem (zadanym).

Jeśli obliczymy realizację przedziału ufności (np. ) to już NIE możemy mówić o tym, że nieznany

parametr zawiera się w tym przedziale z prawdopodobieństwem 1-α !

] , [g g

3 ,

1 =

= g g

Przedział ufności – konstrukcja

Z definicji, przedział ufności zależy od rozkładu prawdopodobieństwa, z jakim mamy do czynienia

Najczęściej rozważa się próbki

pochodzące z rozkładów normalnych

(takie rozkłady występują „w przyrodzie”

najczęściej)

Przedział ufności – konstrukcja cd.

wygodna metoda: szukamy zmiennych losowych zależnych od próby i funkcji parametrów, których rozkłady nie zależą od wartości nieznanych

parametrów – tzw. funkcji centralnych

Jeśli U = U(X₁, X₂, ..., X_n, θ ) – funkcja centralna, to szukamy przedziału ufności postaci [a,b] t.że

Najczęściej dodatkowo szukamy przedziałów

„symetrycznych”

( ) ^α

θ a ≤ U ≤ b ≥ 1− P

( ) ( )

2 2 ,

α α

θ

θ U < a ≤ P U > b ≤

P

Najczęściej wykorzystywane modele

Model I (normalny): przedział ufności dla średniej, wariancja znana

Model II (normalny): przedział ufności dla średniej, wariancja nieznana

Model II (normalny): przedział ufności dla wariancji Model III (asymptotyczny): przedział ufności dla średniej

Model IV (asymptotyczny): przedział ufności dla odsetka

Model asymptotyczny: przedział ufności oparty o ENW

Przedział ufności dla średniej – Model I

Model normalny: X₁, X₂, ..., X_n są próbą IID z rozkładu N(µ, σ ²), przy czym σ ² jest znane.

Przedział ufności dla µ, na poziomie 1-α :

gdzie u_{1-α /2} jest kwantylem rzędu 1-α / 2 z rozkładu N(0,1)



 



 − ₋ + ₋

u n n X

u

X σ σ

α

α /2 1 /2

1 ,

Przedział ufności – Model I, uzasadnienie:

Punktowy estymator dla µ^{: ENW(}µ^{) =} Znamy rozkład :

Korzystamy z funkcji centralnej. Chcemy: przedział ufności symetryczny wokół estymatora punktowego (rozkład funkcji centralnej jest symetryczny wokół 0).

Mamy:

skąd u = u_{1-α /2}

X X

) 1 , 0 (

~

), ,

(

~ ² X N

N X

n

n σ

σ µ

µ ⁻

rozkład nie zależy od µ -- funkcja centralna

( )

α σ

µ µ

−

=

− Φ

=

− Φ

− Φ

=

≤

−

1

1 )

( 2 )

( )

( /

)

( X u u u u

n P

Przedział ufności – Model I, własności

Błąd oszacowania:

Długość przedziału ufności: 2d

Liczebność próby wystarczająca do uzyskania zadanej precyzji (błędu) d:

u n

d σ

α /2 1−

=

2 2

2 / 1 2

d n σ u ₋^α

≥

Przedział ufności dla średniej – Model II

Model normalny: X₁, X₂, ..., X_n są próbą IID z rozkładu N(µ, σ ²), przy czym σ ² jest nieznane Przedział ufności dla µ, na poziomie 1-α :

gdzie t_{1-α /2}(n-1) jest kwantylem rzędu 1-α / 2 z rozkładu t-Studenta z n-1 stopniami swobody t(n-1), a dla nieobciążonego

estymatora wariancji S².



 



 − ₋ − + ₋ −

n n S

t n X

n S t

X _{1 α /2}( 1) , _{1 α /2}( 1)

S2

S =

Przedział ufności – Model II, uzasadnienie:

Punktowy estymator dla µ: ENW(µ) = Znamy rozkład :

Korzystamy z funkcji centralnej T. Chcemy:

przedział ufności symetryczny wokół estymatora punktowego (rozkład T jest symetryczny wokół 0). Mamy:

skąd t = t_{1-α /2}(n-1)

X X

) 1 (

~

), 1 , 0 (

~

), ,

(

~ ² − −

− =

n X t

T X N

N X

n S n

n

µ µ µ

σ σ

(

)

σ

µ_, n(X − )/ S ≤ t = 1− P

Przedział ufności – Model II, własności

Błąd oszacowania:

Długość przedziału ufności: 2d

Liczebność próby wystarczająca do uzyskania zadanej precyzji (błędu) d:

do wyznaczenia na podstawie tzw.

dwuetapowej procedury Steina – musimy najpierw wstępnie oszacować wariancję

n n S

t

d = _{1−α /2}( −1)

Duetapowa procedura Steina

1. Pobieramy wstępną próbkę X₁, X₂, ..., X_n0

na jej podstawie obliczamy estymator wariancji

2. Sprawdzamy, czy próbka spełnia żądany warunek: obliczamy

a) jeśli n₀ ≥ k to za przedział ufności przyjmujemy

b) jeśli n₀ < k to wybieramy n ≥ k i dolosowujemy X_n0+1, X_n0+2, ..., X_n, obliczamy średnią z połączonej próbki X₁, X₂, ..., X_n, i za przedział ufności przyjmujemy

∑ =

− −

= ⁰

0 1

2 1 0

2 1

0 ⁿ ( )

i i

n X X

S

2

2 0

2 / 1 2

0[ ( 1)]

d n t

k S −

= ^−α











 − ₋ − + ₋ −

0 0 0

2 / 1 0 0

0 0

2 / 1

0 ( 1) , ( 1)

n n S

t n X

n S t

X _{α α}



 



 − ₋ − + ₋ −

n n S

t n X

n S t

X _{1 α /2}( ₀ 1) ⁰ , _{1 α /2}( ₀ 1) ⁰

Przedział ufności dla wariancji – Model II

Model normalny: X₁, X₂, ..., X_n są próbą IID z rozkładu N(µ, σ ²).

Przedział ufności dla σ ², na poziomie 1-α :

gdzie są kwantylami rzędu α / 2 oraz 1-α / 2,

odpowiednio, z rozkładu chi-kwadrat z n -1 stopniami swobody



 





−

−

−

−

− ( 1)

) 1 , (

) 1 (

) 1 (

2 2 /

2 2

2 / 1

2

n S n

n S n

α

α χ

χ

) 1 (

oraz )

1

( ₁² _/2

2 2

/ n − _−α n −

α χ

χ

Przedział ufności – Model II, uzasadnienie

Punktowy estymator dla σ ²: ENW(σ ²)= S² Znamy rozkład:

Korzystamy z funkcji centralnej U. Rozkład chi-kwadrat nie jest symetryczny. Chcemy

„symetryczny” przedział ufności, tj.

szukamy takiego przedziału [a,b] że

a więc

) 1 (

) ~ 1

( _{2 2}

2 −

= n − S n

U χ

σ

( ) ( )

2

2 , ²

2

α α

σ

σ U < a = P U > b = P

) 1 (

oraz )

1

( ₁² _{/ 2}

2 2

/ − = −

= n b ₋ n

a χ_α χ _α