• Nie Znaleziono Wyników

The choice, on the base of the data, of the best parameter θ , from the set of

N/A
N/A
Protected

Share "The choice, on the base of the data, of the best parameter θ , from the set of "

Copied!
26
0
0

Pełen tekst

(1)

Mathematical StatisticsAnna Janicka

Lecture IV, 11.03.2019

POINT ESTIMATION

(2)

Plan for today

2. Sample characteristics as estimators 3. Estimation techniques

method of moments method of quantiles

maximum likelihood method

(3)

Point Estimation

θ

1

2

n

θ ˆ

(4)

Estimation: an example Empirical frequency

Quality control example:

0 1 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1

650

X n

θ

x n x

x x n

X

P  −

 

= 

= ) (1 )

( θ θ

θ

For a different model (all outcomes) the estimator is an average

(5)

Problems with (frequency) estimators...

1

2

3

2 2 : 2

(1

) : (1

)

− −

n N1

n N3

n

N n

N1 2 2

ˆ = + 1

θ

(6)

Estimation – sample characteristics

(7)

Empirical CDF

1

2

n

F

i

1

2

n

n

t n X

i t i

n n

i

i

=1 (−∞, ]

=

number of observations :X

1

ˆ ( 1

n k

t F t

k F t n

F

P( ˆ( ) kn)  ( )k (1 ( ))n k, = 0,1,...,



=

=

(8)

Empirical CDF: properties

F n

n

n1

) 1 , 0 )) (

( 1

)(

(

) ( )

ˆ (

N t n

F t

F

t F t

F

n

n  →

) )) (

( 1 )(

(

) ( )

ˆ (

z z

t n F t

F

t F t

P Fn Φ

. .

s a t n

R

n → ∞

if sample size increases, we will approximate the

unknown distribution with any given level of precision

(9)

Order statistics

1

2

n

1:n

2:n

n:n

1:n

n:n

i:n

i+1:n

)

(10)

Distribution of order statistics

1

2

n

k:n

k:n

=

n

k i

i n i

n k n

k

:

:

k

n k

n

k

(

1

:

(11)

Sample moments and quantiles as estimators

moments and quantiles of the empirical distribution, so they are estimators of the corresponding theoretical values.

sample mean = estimator of the expected value

sample variance = estimator of variance sample median = estimator of median

sample quantiles = estimators of quantiles

(12)

Method of Moments Estimation (MM)

(13)

EMM – cont.

θ

2

θ θ

=

=

=

=

=

=

n i

k n i

k

n

i i

n

X X

X E X

E

X X

X E X

E

S X

X X

E

1 1

1 1 3

3 2

) (

) (

....

, ) (

) (

ˆ , Var

,

θ θ

θ θ

θ θ

(14)

MME – Example 1.

1

2

n

λ

MM

(15)

MME – Example 2.

1

2

n

, 2 , , Var

λ α λ

α X = X =

E

2

2 ˆ

, S

X =

=

2 2 2

MM

MM

λ

, Γ dla 0

(16)

Method of Quantiles Estimation (MQ)

p

p

p

θ

(17)

MQE – Example 1.

1

2

n

λ

2 1 2

/ 1

Med 2 ln ˆ

ˆ ln )

(

2 / 1

2 1 =

=

= q

MQE

MQ

(18)

MQE – Example 2.

1

2

n

,

b c

b

F = − −

for b=1

exponential distr. with parameter c

34 4

/ 3

14 4

/ 1

b b

qc

b MQ

MQ

q c

c MQE

q q

b b

MQE

ˆ 4 / 3

4 / 1 4

/ ) 3

3 ln 4 4(ln ln

4 ˆ ln )

(

ˆ ), ˆ ln

/(ln )

ˆ ln(

) (

=

=

=

= )

(19)

Properties of MME and MQE estimators

likelihood

(20)

Maximum Likelihood Estimation (MLE)

1

2

n

L θ = θ

(21)

Maximum Likelihood Estimator

1

2

n

1

2

n

2 1

2 1

2 1

n n

n

θΘ

ML

= MLE

independence of observations not required in the definition, but greatly simplifies calculations

(22)

MLE – practical problems

1

2

n

θ θ θ

k L j

j

,..., 2

, 1

, ) 0

( = =

(23)

MLE – Example 1.

i.e. solve solution:

x n x

x x n

X P

L 



=

=

= ( ) (1 )

)

(θ θ θ θ

) 1

ln(

) (

) ln(

ln )

) 1

ln((

) ln(

ln )

(θ θ θ  + θ + θ



=

+

 +



= x n x

x n x

l n x n x

1 0 )

(

' =

− −

= θ θ

θ x n x l

ML

(24)

MLE – Example 2.

1

2

n

xi

n

n

λ

1

2

λ Σ

i

i

ML

(25)

MLE – Example 3.

1

2

n

2

2 2

2 1 2

2 2

1 2

1

2 ln

) 2 ln(

) (

exp ln

) , (

2 2

µ µ

σ π

µ σ

µ

σ σ σ

π

n x

x n

x l

i i

n

i n

+ Σ

− Σ

=

=

2 2

3

1

2 1 2

σ µ µ σ

σ σ

σ

n i

l

i i

l n

1 2

2

ML

ML

n

∑ x

i

µ

(26)

Cytaty

Powiązane dokumenty

The research procedure discussed in section 3 was used in simulation analyses, which allows separating groups of normalization methods for variable values

In the analysis of social structures, bonds, relationships and the functioning of local communities, the historical back- ground should be considered as one of the criteria of

Odnoszą się one również do podstawowej tezy tego tomu, która wyraża się w chęci uchwycenia związku między tym, co stałe, historyczne zdefi niowane, w jakimś

referat tego dnia w Auli Instytutu Fizyki wygłosiła Jolanta Panasiuk z Lu­ blina na temat: Afazja semantyczna - diagnoza, terapia.. Pierwszy referat na temat: Wybrane

Przez to, że ofiary urazu nie są w sta- nie dzielić się z innymi swoimi przeżyciami,. nie opowiadają o nich, pozbawiają się ko- lejnego mechanizmu radzenia sobie ze

14 Pressure gradient in different sections of the core during liquid injection following 60 PV gas injection after 0.6-quality foam (low-quality regime) and 0.95-quality

Jej apogeum następuje po dwóch tygodniach i jeśli nie jest leczona prawidłowo, może zakończyć się śmiercią.. Po takich informacjach można

Punkt ciężkości kłaść na analizie sam ego w ytw oru prasowego, czy koncentrować się na jego funkcji w działalności propagandowej samej partii?. Przedstawić go