Zadanie 1 (Klonecki W. str. 161).W tabeli zawarte są średnie miesięczne temperatury w C zanotowane w kolejnych miesiącach od stycznia do grudnia we Wrocławiu w 1971 roku.

Ćwiczenie 5 Metody estymacji -MNK i MNW

Zadanie 1 (Klonecki W. str. 161).W tabeli zawarte są średnie miesięczne temperatury w C zanotowane w kolejnych miesiącach od stycznia do grudnia we Wrocławiu w 1971 roku.

Miesiąc 1 2 3 4 5 6 7 8 9 10 11 12

Temperatura -3,9 -5,9 -6,3 1,3 7,8 7,0 11, 3

12, 3

4,8 3,0 -2,9 -2,0 Przyjmijmy, że średnie temperatury w kolejnych miesiącach są realizacjami zmiennych losowych

n i

i

a b i

Y   cos(

^2

  )   , i=1,…,12, gdzie 

₁

,..., 

₁₂

są niezależnymi zmiennymi losowymi o jednakowym rozkładzie z zerową wartością oczekiwaną i wariancją 

²

, przy czym a,b, 

²

^są nieznanymi parametrami.

Oszacować parametry modelu przyjmując różne funkcje straty postaci (gdzie y= (obs-pred) a) kwadratową 

(y) y²

b) odchylenie przeciętne  (

y

)  |

y

| c) Hubera

 







 

c y c y c

c y y y

|

|

|

|

| ) |

(

₂

21 2 2



1

Rozwiązanie. Wszystkie dane są w poniższym pliku

Zmienna Start zawiera oszacowania początkowe parametrów a zmienne Odch przeciętne i Huber zawierają funkcje strat dla punktów b i c ( dla c=1).

Wyjaśnić kłopoty z estymacją w przypadku b (nieróżniczkowalność funkcji straty w 0). Sposób obejścia tych kłopotów to zastąpienie funkcji straty b przez funkcję Hubera z bardzo małym c.

.

1

Miesiąc 2

Temperatura 3 Start

4

Funkcja 5 Odch

przeciętne 6

Huber Styczeń

Luty Marzec Kwiecień Maj

Czerwiec Lipiec Sierpień Wrzesień Październik Listopad Grudzień

1 -3,9

2 -5,9

3 -6,3

4 1,3

5 7,8

6 7

7 11,3

8 12,3

9 4,8

10 3

11 -2,9

12 -2

Estymacja metodą największej wiarygodności (MNW)

Metodę estymacji parametrów w modelu nieliniowym można wykorzystać do estymacji parametrów rozkładu metodą MNW. Załóżmy, że dysponujemy próbą prostą X  (

X1

,...,

Xn

) z rozkładu o funkcji gęstości

f

( θ

x

, ) , gdzie wektor parametrów θ 

R^k

. Y jest dowolnym wektorem np. jego współrzędne są niezależne z rozkładu jednostajnego na przedziale [0 ; 0,01]. Funkcja straty nie zależy od Y. Estymowaną funkcja jest

y



f

( θ

x

, ) natomiast funkcja straty jest postaci  log

f

(

x

, θ ) . Warto zauważyć że minimalizacja funkcji 





ⁿ

i

x f

1

) , (

log θ jest równoważna maksymalizacji

logarytmu funkcji wiarygodności. W poniższym pliku wygenerowano 50 realizacji zmiennej losowej o

rozkładzie N(0,1) - zmienna X

Estymacja metodą NW parametrów rozkładu normalnego 1

X

2 Y

3 Model

4 Strata

5 X2

6 Wiarygo dność 1

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50

0,143276 0,001043 0,020528 0

0,057471 0,006218 0,003303 0

0,566854 0,00343 0,321323 2,47E-55

-1,53642 0,00698 2,360578 6,71E-44

0,631855 0,008164 0,399241 5,52E-51

0,376092 0,009418 0,141445 1,63E-89

-0,09484 0,007592 0,008995 0

0,778877 0,005684 0,606649 5,55E-46

-1,78648 0,001914 3,191496 3,22E-46

0,981768 0,00361 0,963869 4,34E-44

1,142043 0,00809 1,304263 2,98E-44

-0,36787 0,006915 0,135328 5,24E-81

0,631094 0,000259 0,398279 5,02E-51

-0,86294 0,002159 0,744658 7,19E-40

-0,19667 0,003015 0,03868 1,3E-254

1,454441 0,005508 2,115397 4,79E-46

0,617705 0,005281 0,381559 8,88E-52

-0,94991 0,003227 0,90232 9,77E-40

-1,65319 0,003487 2,733051 5,50E-45

-1,96019 0,005087 3,842341 8,73E-48

1,10041 0,006518 1,210903 3,94E-44

-0,9346 0,008778 0,87347 9,96E-40

1,307988 0,002372 1,710834 4,56E-45

0,629525 0,005662 0,396302 4,13E-51

1,728723 0,003708 2,988483 3,96E-48

0,078942 0,007221 0,006232 0

-0,5343 0,003943 0,285477 1,93E-50

0,097561 0,004896 0,009518 0

-1,62837 0,006696 2,6516 9,36E-45

-0,73808 0,003318 0,544762 3,42E-41

-0,59793 0,006988 0,357516 5,88E-46

-0,88824 0,007694 0,788964 8,80E-40

0,069274 0,001276 0,004799 0

-1,35158 0,002164 1,826757 3,23E-42

-2,17653 0,003459 4,737272 1,18E-49

0,095423 0,001166 0,009105 0

0,213957 0,001244 0,045778 2,5E-235

0,365974 0,002246 0,133937 3,35E-93

-0,36424 0,007035 0,132672 2,83E-82

0,25958 0,005676 0,067382 7,1E-165

-0,93793 0,004829 0,87972 9,94E-40

-1,02105 0,004678 1,042538 6,58E-40

-0,58215 0,006361 0,338898 7,02E-47

0,133943 0,000438 0,017941 0

-0,75772 0,002856 0,574142 7,38E-41

-1,34918 0,000887 1,820275 3,39E-42

1,069493 0,007437 1,143816 4,51E-44

-0,01762 0,004981 0,000311 0

0,579026 0,008981 0,335271 2,28E-54

-1,54634 0,001593 2,391161 5,43E-44

Model: y=Normal(x;m;s)

Zmn. zal.: Y Str.: -Log(Normal(x;m;s))

Całkowita strata: 68,888666686 R= -- Wyjaśni wariancja: -

N=50 m s

Ocena Błąd std t(48) poziom p

-0,1944610,959671 0,2299350,164980 -0,8457215,816873 0,4019050,000000

H i s t o g r a m X

X = 5 0 * i N o r m a l ( x ; - 0 , 1 9 4 5 ; 0 , 9 6 9 4 )

- 3 , 0 - 2 , 5 - 2 , 0 - 1 , 5 - 1 , 0 - 0 , 5 0 , 0 0 , 5 1 , 0 1 , 5 2 , 0 2 , 5 X

0 1 0 2 0 3 0 4 0 5 0 6 0

Liczba obs.

Parametr m uzyskany MNW jest dokładnie taki jak podaje algorytm dopasowujący wykres natomiast parametr s uzyskany MNW jest obciążony. Po korekcie jest dokładnie taki jak podaje algorytm dopasowania rozkładu.

Zadanie. Dla próbki X z powyższego zadania

narysować wykres funkcji wiarygodności w zakresie 2

, 0 5

,

0  

 m ;^0,6 ^1,2

Statystyki opisowe (Arkusz in C:\Documents and Settings\Adam\My Documents\Dydaktyka\Statystyka\Statystyka WMS 2009- 2012\Ćwiczenia\statistica_lab05.doc)

ZmiennaSuma

X X2

-9,72306 47,93914

 



^{2 ( 2  )}

1 2 2

1

2

)

; ,

( m X e

^{Xi m Xi nm}

L 

^

W y k r e s fu n k c j i w i a r y g o d n o ś c i

F u n k c j a = 1 / ( 2 * P i ) ^ 2 5 / y ^ 5 0 * E x p ( - 1 / 2 / y ^ 2 * ( 4 7 , 9 3 9 1 4 - 2 * ( - 9 , 7 2 3 0 6 ) * x + 5 0 * x ^ 2 ) )

> 1 E - 3 0 < 8 , 5 E - 3 1 < 6 , 5 E - 3 1 < 4 , 5 E - 3 1 < 2 , 5 E - 3 1 < 5 E - 3 2 - 0 , 5

- 0 , 4 - 0 , 3 - 0 , 2 - 0 , 1 0 , 0 0 , 1 0 , 2

X

0 , 6 0 , 7 0 , 8 0 , 9 1 , 0 1 , 1 1 , 2

Y

0 E - 0 1

2 E - 3 1

4 E - 3 1

6 E - 3 1

8 E - 3 1

1 E - 3 0

Z

Zadanie . Skonstruować estymator największej wiarygodności parametru  i asymptotyczny przedział ufności na poziomie 1-  =0.95 oparty na n=50 elementowej próbie prostej

) , , (

X ₁ X_n



X z rozkładu normalnego o gęstości p(x,  ) =

^{2 2}

)2 ( 2

1 







 ^x

e

,  > 0.

Rozwiązanie. 





^{  }





n i

i n n

X n

i

i

e

X p

L

¹

2 2 2

1

2

) (

) 2 (

1 1

) , ( )

,

(

^









 X

 













n

i i

n

n X

L l

1

2 2

1

2

ln( 2 ) ln ( )

) , ( ln ) ,

(  X  X  

_2



WK:

_^_

l (  , X )  0  ( ) ( )

²

0

1 1 1

12

 

3

 



  





n i

i n

i

n _

X

i



_

X 



 0

1 1 2 1

2



1

   





n i n i n

i

n

X

i

 X

 Przyjmując oznaczenia: 





ⁿ

i i

n

X

a

1

1

, 





ⁿ

i i

n

X

b

1

1 2

mamy równanie 

²



a

 

b

 0 , z którego

wyznaczmy dodatni pierwiastek  ˆ ( X ) 

^a2₂^4ba

. Analizując monotoniczność funkcji

l

(  , X ) widać, że

2

2 4

)

ˆ ( X 

^{a  ba}

 ^{=ENW[  ].}

Wyznaczymy informację Fishera ( ) [ ln ( , )] [

2

ln ( , )]

2 2





 E

_{ }

p X E

_{ }

p X

i 

_^

 

_^

1 2 1

1

( ) ( )

) , (

ln 

_{ 2}



_3







^

   



p X X X

) (

) ( )

, (

ln

4 3

2

2



_3



2 _4





    



p X X X

Stąd i (  )   E

_

[

_^_²₂

ln p ( X ,  )] 

_³₂

^{, więc} 

_as²

(  ) 

^₃²

której mocno zgodnym estymatorem jest   ˆ

_as^{2 ˆ}₃²

^.

Asymptotyczny przedział ufności ma więc postać P     (ˆ 1 

^z1₃^_n²

)     (ˆ 1 

^z1₃^_n²

)     1   ^.

W poniżej osadzonym pliku wygenerowano n=100 elementową próbkę z rozkładu N(1,1)

1

x 2

x2 3

y 4

Model 5

St rat a 1

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100

0, 1882 0, 0351 0,0006

1, 8918 0, 5810 0,0095

3, 3747 7, 8008 0,0018

1, 1727 2, 3508 0,0095

1, 2694 1, 9521 0,0095

1, 4252 2, 3590 0,0081

2, 8395 0, 9548 0,0011

1, 3115 0, 1739 0,0012

1, 0024 0, 8938 0,0000

1, 6000 0, 0884 0,0003

0, 6014 0, 8307 0,0081

0, 8372 1, 5522 0,0050

1, 1418 0, 0190 0,0003

2, 0677 0, 0399 0,0059

0, 2832 0, 1063 0,0080

0, 9695 1, 2644 0,0045

0, 0272 1, 8845 0,0033

1, 6429 0, 3931 0,0078

0, 7857 0, 0047 0,0033

1, 7255 0, 4696 0,0027

0, 6287 0, 3182 0,0030

1, 5967 2, 3043 0,0041

0, 5356 0, 5824 0,0097

2, 1268 3, 7443 0,0002

-0, 3013 3, 9055 0,0003

1, 8677 1, 8715 0,0057

-0, 6279 5, 1076 0,0007

-0, 0422 0, 5984 0,0052

0, 6213 1, 2509 0,0013

0, 9510 0, 0785 0,0076

1, 4272 3, 3420 0,0068

1, 6865 0, 1341 0,0064

-0, 0063 4, 1632 0,0020

0, 8443 3, 1684 0,0001

1, 3253 6, 5903 0,0018

1, 4541 1, 6789 0,0037

0, 0313 3, 4080 0,0048

1, 0312 0, 0511 0,0007

0, 6404 0, 2116 0,0046

1, 2271 0, 0735 0,0055

0, 8895 9, 8229 0,0061

2, 2998 1, 2763 0,0035

1, 8236 1, 0018 0,0096

1, 1257 0, 2656 0,0076

0, 4294 1, 6479 0,0051

-0, 3143 3, 1218 0,0093

2, 0653 0, 0458 0,0067

1, 8642 9, 9510 0,0052

1, 0539 1, 6472 0,0041

-0, 5166 0, 4619 0,0046

1, 3365 3, 5408 0,0089

2, 4818 0, 1819 0,0068

-0, 8581 0, 8214 0,0004

2, 7591 0, 2661 0,0092

-0, 4276 0, 2938 0,0054

0, 3064 2, 1882 0,0009

1, 4651 1, 2032 0,0067

3, 0389 0, 0417 0,0044

1, 5573 15,1286 0,0077

1, 4276 0, 0686 0,0025

1, 3177 3, 6149 0,0063

0, 1963 0, 9054 0,0019

1, 9249 4, 4295 0,0095

1, 8862 0, 1440 0,0001

-0, 1455 1, 1541 0,0025

0, 7141 0, 2608 0,0012

-0, 7832 5, 4628 0,0073

1, 0082 1, 9573 0,0077

1, 2712 0, 2928 0,0020

1, 1817 4, 5521 0,0028

1, 9731 1, 5347 0,0021

-0, 5766 2, 8486 0,0049

0, 4121 6, 7703 0,0034

1, 2456 0, 3148 0,0099

1, 3755 1, 1444 0,0011

1, 7911 4, 4676 0,0098

1, 0006 0, 0097 0,0002

1, 6900 1, 8706 0,0012

0, 8054 0, 0389 0,0049

0, 0407 0, 5294 0,0042

1, 1088 0, 4392 0,0046

0, 0744 1, 5885 0,0032

1, 0820 2, 4325 0,0071

2, 0648 0, 0807 0,0049

1, 3730 1, 5541 0,0044

1, 7704 2, 2022 0,0047

2, 3307 0, 9610 0,0051

1, 0100 3, 3372 0,0099

1, 7195 4, 2198 0,0076

1, 7248 0, 1933 0,0049

-0, 1150 0, 6854 0,0043

2, 8604 0, 7791 0,0023

1, 8679 6, 0841 0,0049

-0, 2989 6, 3389 0,0064

2, 2925 0, 4484 0,0029

2, 0571 4, 0372 0,0071

1, 7843 7, 6011 0,0038

0, 5845 0, 4897 0,0021

0, 2343 2, 7585 0,0061

2, 2210 0, 9898 0,0007

Wyznaczając z próbki







ⁿ

i i

n

X

a

1

1

, 





ⁿ

i i

n

X

b

1

1 2

otrzymujemy

1 a

2 b

3

 4

z

5 L

6 U

ŚREDNIA przyp. 1-1001,13062,08840,98651,96000,87481,0981

9865 , 0 ) ˆ(X 

 oraz asymptotyczny 95% przedział ufności [L;U]=[0,8748;1,0981].

Korzystając z procedury estymacji nieliniowej z funkcją strat użytkownika rozwiązujemy jeszcze raz ten problem numerycznie

M o d e l: y = N o r m a l( x ; m u ; m u ) y = n o r m a l( x ; ( 0 , 9 8 6 6 3 6 ) ; ( 0 , 9 8 6 6 3 6 ) )

- 1 , 5 - 1 , 0 - 0 , 5 0 , 0 0 , 5 1 , 0 1 , 5 2 , 0 2 , 5 3 , 0 3 , 5 4 , 0

x - 0 , 0 5

0 , 0 0 0 , 0 5 0 , 1 0 0 , 1 5 0 , 2 0 0 , 2 5 0 , 3 0 0 , 3 5 0 , 4 0 0 , 4 5

y

Model: y=Normal(x;mu;mu) (Arkusz1) Zmn. zal.: y Str.: -log(Normal(x;mu;mu))

Całkowita strata: 133,25379268 R= -- Wyjaśn. wariancja: -

N=100 mu

Ocena Błąd std t(99) -95%PU +95%PU p

0,9866 0,0929 10,6162

0,8022 1,1710 0,0000

Dostaliśmy dokładnie ten sam estymator lecz nieco inny (szerszy) przedział ufności. Oba skonstruowane przedziały ufności pokryły prawdziwą wartość parametru

  1

.

Zadanie. Dla próbki X z powyższego zadania

narysować wykres funkcji wiarygodności w zakresie 2

, 1 8

,

0  

W y k r e s f u n k c j i

F u n k c j a = 1 / ( 2 * p i ) ^ 5 0 / x ^ 1 0 0 * E x p ( - ( 2 0 8 , 8 3 6 8 - 2 * 1 1 3 , 0 5 7 8 * x + 1 0 0 * x ^ 2 ) / 2 / x ^ 2 )

0 , 5 0 , 6 0 , 7 0 , 8 0 , 9 1 , 0 1 , 1 1 , 2 1 , 3 1 , 4 1 , 5

X - 2 E - 5 9

0 E - 0 1 2 E - 5 9 4 E - 5 9 6 E - 5 9 8 E - 5 9 1 E - 5 8 1 E - 5 8 1 E - 5 8 2 E - 5 8

Y