Statystyka Matematyczna
Anna Janicka
wykład IV, 14.03.2016
ESTYMACJA PUNKTOWA
Plan na dzisiaj:
1. Zagadnienie estymacji punktowej – cd.
2. Statystyki próbkowe jako estymatory 3. Metody estymacji
metoda momentów metoda kwantyli
metoda największej wiarogodności
Estymacja punktowa
Wybór, na podstawie danych, najlepszego parametru θ spośród parametrów, jakie
mogą opisywać rozkład Pθ
Esytmator parametru θ to dowolna statystyka
o wartościach w zbiorze Θ (interpretujemy ją jako przybliżenie θ ). Zwykle
zapisywany jako
Czasem estymowane nie θ, a g(θ ).
) ,...,
,
( X
1X
2X
nT
T =
θ ˆ
Estymacja – statystyki próbkowe
Charakterystyki próbkowe:
estymatory tworzone w oparciu o rozkład empiryczny (dystrybuantę empiryczną)
Momenty i kwantyle z próby jako estymatory
Momenty i kwantyle empiryczne (z próby) są momentami i kwantylami rozkładu
empirycznego, a co za tym idzie są estymatorami odpowiednich wartości teoretycznych, np.
średnia empiryczna = estymator wartości oczekiwanej
wariancja empiryczna = estymator wariancji mediana empiryczna = estymator mediany kwantyle empiryczne = estymatory kwantyli
Estymacja metodą momentów (EMM)
Porównujemy momenty rozkładu teoretycznego (zależą od
nieznanego(ych) parametru(ów)) do
odpowiednich momentów empirycznych.
Uzasadnienie: twierdzenia graniczne
Dostajemy układ równań, na podstawie którego wyznaczamy parametr(y).
EMM – cd.
Jeśli parametr θ jednowymiarowy, to jedno równanie, zwykle:
Jeśli parametr θ dwuwymiarowy, to dwa równania, zwykle:
Jeśli parametr θ k-wymiarowy, to k równań, zwykle
X X
Eθ =
=
=
ˆ 2
Var
, S X
X X
E
θ θ
−
=
−
−
=
−
=
=
∑ ∑
=
=
n i
k n i
k
n
i i
n
X X
X E X
E
X X
X E X
E
S X
X X
E
1 1
1 1 3
3 2
) (
) (
....
, ) (
) (
ˆ , Var
,
θ θ
θ θ
θ θ
EMM – Przykład 1.
Model wykładniczy: X1, X2, ..., Xn są
próbką z rozkładu wykładniczego Exp(λ).
wiadomo:
równanie:
rozwiązanie:
λ λ
= 1 X E
= X
λ
1
EMM ( ) ˆ
MMX 1
ˆ = λ = λ =
λ
EMM – Przykład 2.
Model gamma: X1, X2, ..., Xn są próbką z rozkładu gamma Gamma(α,λ).
Wiadomo:
Układ równań:
rozwiązanie:
, 2 , , Var
λ α λ
α
λ α λ
α X = X =
E
2
2 ˆ
, S
X =
= λ
α λ
α
2 2 2 , ˆ ˆ ˆ ˆ
S X S
X
MM
MM = α =
λ
Estymacja metodą kwantyli (EMK)
Jeśli momenty są trudne do obliczenia albo równania zawiłe, zamiast momentów
można użyć kwantyli. Wybieramy tyle
różnych poziomów p, ile mamy nieznanych parametrów i układamy równania
lub równoważnie
p
p
q
q ( θ ) = )
p q
F ( )
p) =
θ
EMK – Przykład 1.
Model wykładniczy: X1, X2, ..., Xn są
próbką z rozkładu wykładniczego Exp(λ).
Dystrybuanta: dla λ>0 Jeden parametr → jedno równanie,
zwykle dla mediany rozwiązanie:
) exp(
1 x
Fλ = − −
λ
2 1 2
/ 1 ) exp( ˆ
1− −
λ
q =Med 2 ln ˆ
ˆ ln )
(
2 / 1
2 1 =
−
=
= q
EMK λ λMK
EMK – Przykład 2.
Model Weibulla: X1, X2, ..., Xn są próbką z rozkładu o dystrybuancie
gdzie b, c >0 są nieznanymi parametrami.
dwa parametry → dwa równania; zwykle kwartyle
rozwiązanie:
) exp(
, 1
b c
b cx
F = − −
dla b=1 rozkład
wykładniczy z parametrem c
=
−
−
=
−
−
34 4
/ 3
14 4
/ 1
ˆ ) exp(
1
ˆ ) exp(
1
b b
q c
q c
b MK
MK
q c
c EMK
q q
b b
EMK
ˆ 4 / 3
4 / 1 4
/ ) 3
3 ln 4 4(ln ln
4 ˆ ln )
(
ˆ ), ˆ ln
/(ln )
ˆ ln(
) (
−
−
=
=
−
=
= )
Własności EMM, EMK
Proste koncepcyjnie
Nieskomplikowane obliczeniowo
Niestety: czasem nie są optymalne
(duże błędy, niekoniecznie zachowują się odpowiednio dobrze dla mniejszych prób)
Lepsza (zwykle) metoda: największej wiarogodności
Estymacja metodą największej wiarogodności (ENW)
Wybieramy taki parametr θ, dla którego
otrzymane wyniki doświadczenia są najbardziej prawdopodobne.
Wiarogodność – opisuje prawdopodobieństwo f (gęstość lub funkcję prawdopodobieństwa)
rozważane jako funkcję parametru θ przy ustalonych wartościach obserwacji; L:Θ→R
) ,...,
,
; ( )
( f x
1x
2x
nL θ = θ
Estymator Największej Wiarogodności
jest estymatorem
największej wiarogodności parametru θ, jeśli
dla dowolnych x1, x2, ..., xn. ozn.
estymator ENW(g(θ )) = g(ENW(θ)) )
,..., ,
ˆ(
ˆ θ X1 X2 Xn
θ =
) ,...,
,
; ( sup
) ,...,
, );
,..., ,
ˆ ( (
2 1
2 1
2 1
n n
n
x x
x f
x x
x x
x x
f
θ θ
θ∈Θ
=
=
)
ˆ (θ
θ = ENW
w definicji nie ma wymagania niezależności obserwacji;
jednak wyrażenie na L(θ ) upraszcza się gdy obserwacje są niezależne
ENW – kwestie praktyczne
Zwykle: próbka niezależnych obserwacji.
Wówczas
Jeśli L(θ ) jest różniczkowalne, a θ jest k- wymiarowe, to szukanie maximum
„standardowo”:
bardzo często: z uwagi na
multiplikatywność wiarogodności zamiast max L(θ ) znajdowane max l(θ ) = ln(L(θ ))
) (
)...
( )
( )
( f x
1f x
2f x
nL θ =
θ θ θk L j
j
,..., 2
, 1
, ) 0
( = =
∂
∂
θ θ
ENW – Przykład 1.
Kontrola jakości, cd. Maksymalizujemy równoważnie, można maksymalizować
tzn. rozwiązać równanie rozwiązanie:
x n x
x n x
X P
L − −
=
=
= ( ) (1 )
)
(θ θ θ θ
) 1
ln(
) (
) ln(
ln )
) 1
ln((
) ln(
ln )
(θ θ θ + θ + − −θ
=
− +
+
= − x n x
x n x
n
l x n x
1 0 )
(
' =
−
− −
= θ θ
θ x n x l
n ENW x
NW =
=
θ
θ
) ˆ (ENW – Przykład 2.
Model wykładniczy: X1, X2, ..., Xn są próbką z rozkładu wykładniczego Exp(λ), λ nieznane.
Mamy:
maksymalizujemy rozwiązujemy
dostajemy
xi
n
n
e
x x
x f
L ( λ ) =
λ(
1,
2,..., ) = λ
−λ Σx
in L
l ( λ ) = ln ( λ ) = ln λ − λ Σ 0 )
(
' = n − Σ x
i=
l λ λ
NW X ˆ = 1
λ
ENW – Przykład 3.
Model normalny: X1, X2, ..., Xn są próbką z rozkładu N(µ, σ2). µ, σ nieznane.
rozwiązujemy
wynik:
( ) ( )
( )
(
2 2)
2 1 2
2 2
1 2
1
2 ln
) 2 ln(
) (
exp ln
) , (
2 2
µ µ
σ π
µ σ
µ
σ σ σ
π
n x
x n
x l
i i
n
i n
+ Σ
− Σ
−
−
−
=
−
−
=
∑
=
− Σ
=
= +
Σ
− Σ
+
−
=
∂∂
∂∂
0
0 )
2 (
2 2
3
1
2 1 2
σ µ µ σ
σ σ
σ µ µ
n i
l
i i
l n
x n x
x
1 2
2 ( )
ˆ ,
ˆNW = X
