TazR

(1)

Symula je, wykªad 4

Tomasz Rolski

(2)

I = IE Y

dla pewnej li zby losowej

Y

^, ^takiej, ^»e

IE Y ² < ∞

^.

Y ₁ , . . . , Y _n

^bd¡ ^niezale»n^ymi replika jami

Estymator

Y ˆ _n

^jest nieobi¡»ony t.j.

IE ˆ Y _n = I

oraz mo no zgodny to zna zy z

prawdopodobie«stwem 1 za hodzi zbie»no±¢

Y ˆ _n → I

o po i¡ga sªab¡ zgodno±¢, to zna zy, »e dla

ka»dego

b > 0

^mamy

Pr(| ˆ Y _n − I| > b) → 0.

(3)

Dla ka»dego

b

ⁱ ^li
zb^y

0 < α < 1

^istnieje

n

^(nas

interesuje najmniejsze naturalne) takie, »e

Pr( ˆ Y _n − b ≤ I ≤ ˆ Y _n + b) ≥ 1 − α.

A wi z prawdopodobie«stwem wikszym ni»

1 − α

^szuk^ana ^wielko±¢

I

^nale»y ^do ^przedziaªu

losowego

[ ˆ Y _n − b, ˆ Y _n + b]

ⁱ ^dlatego

α

^nazywa ^si

poziomem istotno± i lub poziomem ufno± i.

(4)

Centralne twierdzenie grani zne, mówi, »e je±li

tylko

Y ₁ , . . . , Y _n

^s¡ ^niezale»ne ⁱ ^o ^jednakowym

rozkªadzie, to dla

n → ∞ Pr





n

X

j=1

Y _j − IE Y σ _Y √

n ≤ x



 → Φ(x)

⁽¹⁾

gdzie

σ _Y = √

Var Y

^oraz

Φ(x)

^jest ^dystrybuan^t¡

standardowego rozkªadu normalnego.

Nie h

z _1−α/2

^bdzie

α/2

^kwantylem ^rozkªadu

normalnego tj.

z _1−α/2 = Φ ⁻¹ (1 − α 2 ).

Przeksztaª aj¡ otrzymujemy

Pr( ˆ Y n − z ¹⁻ ^α/2 σ Y

√ ≤ I ≤ ˆ Y n + z 1− α/2

S ˆ n

√ ) ≈ 1 − α .

(5)

Fundamentalny zwi¡zek

z 1− α/2 = b √ n σ Y

.

W teorii Monte Carlo przyjªo rozwa»a¢ si

α = 0.05

sk¡d

z 1−0 .025 = 1.96

σ _Y ²

^nie ^jest ^znane; ^wtedy ^zamiast

σ _Y ²

^, ^bierzemy

nieob i¡»ony i mo no zgodny estymator warian ji

S ˆ _n ² = n − 2

n − 1 S ˆ _n−1 ² + 1

n (Y n − ˆ Y n−1 ) ²

(6)

Mo»na udowodni¢ wariant CTG:

Pr





n

X

j=1

(Y _j − IE Y ) S ˆ _n √

n ≤ x



 → Φ(x)

sk¡d

Pr( ˆ Y n − z ¹⁻ ^α/2 S ˆ n

√ n ≤ I ≤ ˆ Y n + z 1− α/2

S ˆ n

√ n ) ≈ 1 − α .

(7)

Rekuren yjna metoda obli zania

Y ˆ _n

^oraz

S ˆ _n ²

Algorytm

Y ˆ n = n − 1

n Y ˆ n−1 + 1 n Y n

i

S ˆ _n ² = n − 2

n − 1 S ˆ _n−1 ² + 1

n (Y n − ˆ Y n−1 ) ²

dla

n = 2, 3, . . .

ⁱ

Y ˆ 1 = Y 1 S ˆ 1 ² = 0 .

(8)

Tabli a 1: Kwantyle standardowego rozkªadu nor-

malnego

Φ(u)

^;

β = 1 − α

^.

β

^0.90 ^0.95 ^0.975 ^0.990 ^0.995

z _β

^1.28 ^1.64 ^1.96 ^2.33 ^2.58

(9)

Metoda CMC

•

^Przypu±¢my^, ^»e

I = IE Y

i

σ _Y ² = Var Y < ∞

^.

•

^Nie
h

Y ₁ , . . . , Y _n

^bd¡ niezale»nymi

zmiennymi losowymi o rozkªadzie jak

Y

(replika je).

•

^Wtedy

Y ˆ ^CMC = ˆ Y _n ^CMC = 1 n

n

X

j=1

Y _j

jest zgrubnym estymatorem Monte Carlo

(CMC).

• ˆ Y ^CMC

^jest estymatorem mo no zgodnym i nieob i¡zonym.

• Var ˆ Y ^CMC = σ _Y ² /n

^.

(10)

•

^Przypu±¢my^, ^»e

I =

Z

B

k(x) dx,

gdzie

|B| < ∞

^.

•

^Wtedy przyjmujemy

Y = k(V )

^, ^gdzie

V ∼

^U(

B

^).

•

^Nie
h

Y ₁ , . . . , Y _n

^bd¡ niezale»nymi zmiennymi losowymi.

•

^Wtedy

Y ˆ ^CMC = ˆ Y _n ^CMC = 1 n

n

X

j=1

Y _j

jest zgrubnym estymatorem Monte Carlo

(CMC).

(11)

Metoda hybiª traª

•

^Estymator ^hybiª-tr^aª ^(Hit ^0r ^Miss) ^(HoM).

Pomysª polega na przedstawieniu

I = IE Y

^,

gdzie

Y =

¹

(k(U ₁ ) > U ₂ ).

Jest bowiem o zywiste, »e

IE Y =

Z 1 0

( Z

k(u ₁ )>u ₂

du ₂ ) du ₁ =

Z 1 0

k(u ₁ ) du ₁ .

•

^Wtedy ^dla

U ₁ , . . . , U _2n

^obli
zamy ^replika
je

Y ₁ , . . . , Y _n

^sk^¡d ^obli
zamy ^estymator

Y ˆ _n ^HoM = 1 n

n

X

j=1

Y _j .

zwanym estymatorem hybiª traª.

(12)

Metoda warstw

•

^Jak ^zwykle ^h
emy ^obli
zy¢

I = IE Y

^.

•

^Przestrze« ^zdarze«

Ω

^rozbijamy ^na

m

^warstw

Ω ₁ , . . . , Ω _m

^.

•

^Nie
h

J(ω) = j

^je±li

ω ∈ Ω ^j

^. ^Nie
h

Y _j = _d (Y |J = j)

^, ^tj.

Pr(Y _j ∈ B) = Pr(Y ∈ B|J = j) = Pr({Y ∈ B} ∩ Ω ^j ) Pr(Ω _j ) .

•

^Ozna
zm^y ^prawdopodobie«stwo wylosowania warstwy

p _j = Pr(Ω _j )

^oraz

y _j = IE Y _j

^. ^Ze

wzoru na prawdopodobie«stwo aªkowite

IE Y = IE Y _J = p ₁ y ₁ + . . . + p _m y _m .

• n

^li
zb¡ replika ji, któr¡ podzielimy na

odpowiednio

n _j

^replik^a
ji

Y _j

^w ^warstwie

j

^. ^T^e

replika je w warstwie

j

^s¡

Y ₁ ^j , . . . , Y _n ^j _j

^.

n = n + . . . + n

(13)

Nie h

Y ˆ ^j = _n ¹

j

P n _j

i=1 Y _i ^j

^bdzie estymatorem

y j

ⁱ ^de-

niujemy estymator warstwowy

Y ˆ ^str = p 1 Y ˆ ¹ + . . . + p m Y ˆ ^m .

•

^Przypu±
my^, ^ze ^wiadomo ^jak ^generowa

posz zególne

Y j

^. ^Nie
h

σ _j ² = Var Y j

^bdzie

warian j¡ warstwy

j

^. ^Zauwa»my^, ^»e ^estymator

warstwowy jest nieob i¡»ony

IE ˆ Y ^str = p 1 IE ˆ Y ¹ + . . . + p m IE ˆ Y ^m

=

m

X

i=1

p i IE Y

¹

Ω _i

p i

= IE Y = I.

(14)

Warian ja estymatora warstwowego

ˆ

σ str ² = nVar ˆ Y ^str = p ² 1

n n 1

σ 1 ² + . . . + p ² _m n n m

σ _m ² .

Nie h dla

n → ∞

^bdzie

n _j /n → q ^j

^. ^Wtedy

FAKT

√ n ˆ

σ _str ² ( ˆ Y ^str − I) → ^d

^N

(0, 1) .

(15)

Przyjmiemy teraz, »e

q j = p j

^(aloka
ja ^pr^opor jonalna).

Wtedy

n→∞ lim σ ˆ str ² =

m

X

j=1

p j σ _j ² .

Z drugiej strony pamitaj¡ , »e

Y = d Y J

Var Y = Var Y J =

m

X

j=1

p j IE (Y j − I) ²

≥

m

X

j=1

p j IE (Y j − y ^j ) ² =

m

X

j=1

p j σ _j ² .

poniewa» funk ja od

x

^równa

IE (Y j − x) ²

^jest

minimalna dla

x = IE Y j

^.

(16)

Okazuje si, »e optymalny dobór li zby replika ji

n _j

^(to ^zna
zy ^na ^warstwa
h ^mozna ^wyli
zy¢ ^w

nastepuj¡ ym twierdzeniu.

TW. Nie h

n

^bdzie ^ustalone ⁱ

n 1 + . . . + n m = n

^. ^W^a-

rian ja

p ² ₁ _n ⁿ

1 σ ₁ ² + . . . + p ² _m _n ⁿ

m σ _m ²

^estymator warstwowego

Y ˆ ^str

^jest ^minimalna ^gdy

n j = p j σ j

P m

j=1 p j σ j

n .

(17)

2n

^zmienny
h ^loso^wy
h

Y ₁ , Y ₂ , . . . , Y _2n−1 , Y _2n

^,

•

^Pary

(Y _i , Y _i+1 ) _i , i = 1, . . . , n

^s¡ ^niezale»ne ^o

jednakowym rozkªadzie,

•

^Zmienne ^losowe

(Y _j ) ²ⁿ _j=1

^ma^j¡ ^ten ^sam

rozkªad jak

Y

^.

•

^Zau^wa»my^, ^»e ^jesli ^bdziem^y rozpatrywa¢

estymator

Y ˆ ^anth =

P 2n j=1 Y _j

2n

to jego warian ja

Var ( ˆ Y anth ) 2n

= Var ( ^Y ¹ ⁺ ₂ ^Y ² ) n

= 1

2n Var (Y )(1 + corr(Y 1 , Y 2 )) .

•

^A ^wi ^je±li

corr(Y 1 , Y 2 ))

^jest ^ujemne ^to

TazR

I = IE Y

Y

IE Y 2 < ∞

Y 1 , . . . , Y n

Y ˆ n

IE ˆ Y n = I

Y ˆ n → I

b > 0

Pr(| ˆ Y n − I| > b) → 0.

b

0 < α < 1

n

Pr( ˆ Y n − b ≤ I ≤ ˆ Y n + b) ≥ 1 − α.

1 − α

I

[ ˆ Y n − b, ˆ Y n + b]

α

Y 1 , . . . , Y n

n → ∞ Pr





n

X

j=1

Y j − IE Y σ Y √

n ≤ x



 → Φ(x)

σ Y = √

Var Y

Φ(x)

z 1−α/2

α/2

z 1−α/2 = Φ −1 (1 − α 2 ).

Pr( ˆ Y n − z 1− α/2 σ Y

√ ≤ I ≤ ˆ Y n + z 1− α/2

S ˆ n

√ ) ≈ 1 − α .

z 1− α/2 = b √ n σ Y

.

α = 0.05

z 1−0 .025 = 1.96

σ Y 2

σ Y 2

S ˆ n 2 = n − 2

n − 1 S ˆ n−1 2 + 1

n (Y n − ˆ Y n−1 ) 2

Pr





n

X

j=1

(Y j − IE Y ) S ˆ n √

n ≤ x



 → Φ(x)

Pr( ˆ Y n − z 1− α/2 S ˆ n

√ n ≤ I ≤ ˆ Y n + z 1− α/2

S ˆ n

√ n ) ≈ 1 − α .

Y ˆ n

S ˆ n 2

Y ˆ n = n − 1

n Y ˆ n−1 + 1 n Y n

S ˆ n 2 = n − 2

n − 1 S ˆ n−1 2 + 1

n (Y n − ˆ Y n−1 ) 2

n = 2, 3, . . .

Y ˆ 1 = Y 1 S ˆ 1 2 = 0 .

Φ(u)

β = 1 − α

β

z β

•

I = IE Y

σ Y 2 = Var Y < ∞

•

Y 1 , . . . , Y n

TazR

IE Y ² < ∞

Y ₁ , . . . , Y _n

Y ˆ _n

IE ˆ Y _n = I

Y ˆ _n → I

Pr(| ˆ Y _n − I| > b) → 0.

Pr( ˆ Y _n − b ≤ I ≤ ˆ Y _n + b) ≥ 1 − α.

[ ˆ Y _n − b, ˆ Y _n + b]

Y ₁ , . . . , Y _n

Y _j − IE Y σ _Y √

σ _Y = √

z _1−α/2

z _1−α/2 = Φ ⁻¹ (1 − α 2 ).

Pr( ˆ Y n − z ¹⁻ ^α/2 σ Y

σ _Y ²

σ _Y ²

S ˆ _n ² = n − 2

n − 1 S ˆ _n−1 ² + 1

n (Y n − ˆ Y n−1 ) ²

(Y _j − IE Y ) S ˆ _n √

Pr( ˆ Y n − z ¹⁻ ^α/2 S ˆ n

Y ˆ _n

S ˆ _n ²

S ˆ _n ² = n − 2

n − 1 S ˆ _n−1 ² + 1

n (Y n − ˆ Y n−1 ) ²

Y ˆ 1 = Y 1 S ˆ 1 ² = 0 .

z _β

σ _Y ² = Var Y < ∞

Y ₁ , . . . , Y _n

Y ˆ ^CMC = ˆ Y _n ^CMC = 1 n

Y _j

• ˆ Y ^CMC

• Var ˆ Y ^CMC = σ _Y ² /n

Y ₁ , . . . , Y _n

Y ˆ ^CMC = ˆ Y _n ^CMC = 1 n

Y _j

(k(U ₁ ) > U ₂ ).

k(u ₁ )>u ₂

du ₂ ) du ₁ =

k(u ₁ ) du ₁ .

U ₁ , . . . , U _2n

Y ₁ , . . . , Y _n

Y ˆ _n ^HoM = 1 n

Y _j .

Ω ₁ , . . . , Ω _m

ω ∈ Ω ^j

Y _j = _d (Y |J = j)

Pr(Y _j ∈ B) = Pr(Y ∈ B|J = j) = Pr({Y ∈ B} ∩ Ω ^j ) Pr(Ω _j ) .

p _j = Pr(Ω _j )

y _j = IE Y _j

IE Y = IE Y _J = p ₁ y ₁ + . . . + p _m y _m .

n _j

Y _j

Y ₁ ^j , . . . , Y _n ^j _j

Y ˆ ^j = _n ¹