W tym wykªadzie poka»emy istnienie rozkªadu stacjonarnego dla dowolnego nierozkªadal- nego i nieokresowego ªa«cucha Markowa oraz jego posta¢. Korzystaj¡c ze zbie»no±ci wyka-

RAP 412 19.11.2008

Wykªad 7: Ci¡g dalszy rozkªadów stacjonarnych

Wykªadowca: Andrzej Ruci«ski Pisarze:Arkadiusz Buchelt, Przemysªaw Sokoªowski

Wst¦p

W tym wykªadzie poka»emy istnienie rozkªadu stacjonarnego dla dowolnego nierozkªadal- nego i nieokresowego ªa«cucha Markowa oraz jego posta¢. Korzystaj¡c ze zbie»no±ci wyka-

»emy jedyno±¢ owego rozkªadu. Przedstawimy równie» metod¦ Coupling-u, która umo»liwi wykazanie zbie»no±ci do rozkªadu stacjonarnego (stabilizowanie si¦ ªa«cucha).

Przypomnijmy, »e przestrze« stanów S jest sko«czona, to znaczy S = {s 1 , s ₂ , . . . , s _k } , oraz T i,j = min {n ≥ 1 : X n = s j ∧ X ₀ = s i } i τ i,j = E (T i,j | X ₀ = s i ).

Lemat 1. Dla dowolnego nieredukowalnego i nieokresowego ªa«cucha Markowa, dla ka»dych stanów s i , s j mamy, »e

P (T _i,j < ∞ | X ₀ = s _i ) = 1 oraz

τ _i,j = E (T _i,j | X ₀ = s _i ) < ∞.

Dowód. Wiemy, »e istnieje M takie, »e macierz przej±¢ P ^M skªada si¦ z dodatnich warto±ci, to znaczy istnieje takie M, »e pocz¡wszy od momentu M z dodatnim prawdopodobie«stwem osi¡gniemy ze stanu s i stan s j . Oznaczmy przez α = min

i,j

n P _i,j ^M o

> 0 , wówczas otrzymujemy,

»e prawdopodobie«stwo nie osi¡gni¦cia stanu s j w mniej ni» M krokach wynosi P (T _i,j > M | X ₀ = s _i ) ≤ P (X _M 6= s _j | X ₀ = s _i ) ≤ 1 − α.

W dalszym ci¡gu pomocnym b¦dzie poni»sze szacowanie prawdopodobie«stwa warunkowego,

»e stan s j nie zostanie osi¡gni¦ty w mniej ni» 2M krokach, gdy w mniej ni» M krokach nie wyst¡piª ten stan

P (T i,j > 2M | T i,j > M, X 0 = s i ) ≤ P (X _2M 6= s _j | T _i,j > M, X 0 = s i ) =

=

k

X

l=1 l6=j

P (X _2M 6= s _j | T _i,j > M, X _M = s _l , X ₀ = s _i ) =

k

X

l=1 l6=j

P (X _2M 6= s _j | T _i,j > M, X _M = s _l ) =

=

k

X

l=1 l6=j

P (X _2M 6= s _j | X _M = s _l ) P (X _M = s _l | T _i,j > M ) ≤ (1 − α)

n

X

l=1 l6=j

P (X _M = s _l | T _i,j > M ) ≤

≤ 1 − α.

Oszacujmy teraz prawdopodobie«stwo, »e stan s j nie zostanie osi¡gni¦ty w mniej ni» 2M krokach

P (T i,j > 2M | X 0 = s i ) = P (T ^? i,j > M | X 0 = s i ) P (T i,j > 2M | T i,j > M, X 0 = s i ) ≤

≤ (1 − α) (1 − α) = (1 − α) ²

? ze wzoru ªa«cuchowego.

Powtarzaj¡c analogiczne rozumowanie dla prawdopodobie«stw P (T i,j > 3M | T i,j > M, X 0 = s i ) , P (T _i,j > 4M | T _i,j > M, X ₀ = s _i ) itd. otrzymujemy, »e dla dowolnego l ∈ N

P (T i,j > lM | X 0 = s j ) ≤ (1 − α) ^l ,

zatem prawdopodbie«stwo, »e stan s j nie zostanie nigdy osi¡gni¦ty wynosi

P (T i,j = ∞ | X 0 = s j ) = P

∞

\

l=1

{T _i,j > lM | X 0 = s j }

!

= lim

l→∞ P (T i,j > lM | X 0 = s j ) ≤

≤ lim

l→∞ (1 − α) ^l = 0.

Na zako«czenie obliczmy oczekiwan¡ ilo±¢ kroków do osi¡gni¦cia stanu s j

τ _i,j ^?? =

∞

X

n=1

P (T _i,j > n) =

∞

X

l=0

(l+1)M −1

X

n=lM

P (T _i,j > n) ≤

∞

X

l=0

(l+1)M −1

X

n=lM

P (T _i,j > lM ) =

= M

∞

X

l=0

P (T _i,j > lM ) ≤ M

∞

X

l=0

(1 − α) ^l = M

α = const.

Równo±¢ ?? wynika z twierdzenia 11. z rozdziaªu Ÿ5.6 z Wst¦p do teorii prawdopodobie«stwa J.Jakubowski, R.Sztencel.

Oznaczmy przez µ j = τ _jj czas oczekiwania na pierwszy powrót do stanu s j gdy zaczy- namy z tego stanu.

Twierdzenie 1. Dla dowolnego nieredukowalnego i nieokresowego ªa«cucha Markowa ist- nieje rozkªad stacjonarny Π Π Π .

Dowód. Dla uproszczenia wprowad¹my nast¦puj¡ce oznaczenia:

i := s i , T _l := T _l,l .

Ustalmy dowolny stan l ∈ [k]. W dalszej cz¦±ci wszystkie zdarzenia s¡ rozpatrywane w przestrzeni warunkowej z warunkiem X 0 = s _l . Dla ka»dego i ∈ [k] b¦d¡cego pewnym stanem deniujemy zmienn¡ losow¡

N i (l) =

∞

X

n=1

I {X

=i}∩{T

≥n} .

Je±li i 6= l to powy»sza zmienna losowa liczymy ile razy odwiedzony zostanie stan i po drodze do l. Oznaczmy przez ρ i (l) = E (N _i (l) | X ₀ = l)

Uwaga oczywi±cie N l (l) = 1 , czyli równie» ρ i (i) = 1 . Zauwa»my, »e:

T l =

k

X

i=1

N i (l) ,

gdy» wszystkie kroki jakie pokonamy id¡c z l do l mo»emy rozbi¢ ze wzgl¦du na liczb¦

odwiedzin w ka»dym ze stanów. Zatem ET _l = µ _l =

k

X

i=1

ρ _i (l) ,

i na mocy lematu 1 µ l < ∞ , czyli dla ka»dego i ∈ [k] mamy ρ i (l) < ∞ . Kandydatem na rozkªad dla ka»dego l jest

Π Π Π (l) = ρ ρ ρ (l) µ _l ,

gdzie ρρρ (l) = (ρ 1 (l) , . . . , ρ k (l)) , czyli Π Π Π (l) = (Π 1 , Π 2 , . . . , Π k ) =

 ρ

(l)

µ

, . . . , ^ρ

_µ ^(l)

l

. Poka-

»emy, »e jest to rozkªad stacjonarny.

Mamy N i (l) ≥ 0 , wi¦c ρ i (l) ≥ 0 , a st¡d Π i (l) ≥ 0 oraz

k

X

i=1

Π _i (l) =

k

X

i=1

ρ _i (l) µ l

= 1 µ l

k

X

i=1

ρ _i (l) = 1 Zatem Π Π Π (l) jest rozkªadem prawdopodobie«stwa. Ponadto ρ _i (l) =

∞

X

n=1

P (X _n = i, T _l ≥ n | X ₀ = l) = p _li + X

n≥2 k

X

j6=1 j=1

P (X _n = i, T _l ≥ n, X _n−1 = j | X ₀ = l) =

= ρ _li + X

n≥2

X

j6=1

P (X _n−1 = j, T _l ≥ n) P (X _n = i | T _l ≥ n, X _n−1 = j) =

= p _li + X

n≥2

X

j6=l

P (X _n−1 = j, T _l ≥ n − 1) P (X _n = i | X _n−1 = j) =

= ρ l (l) p li +

k

X

j6=l j=1

p ji

∞

X

n=2

P (X n−1 = j, T l ≥ n) = ρ _l (l) p li +

k

X

j=1 j6=l

p ji ρ j (l)

=

k

X

j=1

p ji ρ j (l) , st¡d

ρ ρ

ρ (l) = ρ ρ ρ (l) P / · 1 µ l

Π Π Π (l) = Π Π Π (l) P

Co dowodzi, »e Π Π Π (l) jest rozkªadem stacjonarnym.

Posta¢ rozkªadu stacjonarnego

W dalszej cz¦±ci poka»emy, »e zachodzi nast¦puj¡cy ci¡g implikacji: zbie»no±¢ ⇒ jedyno±¢

⇒ ^ρ

_µ ^(l)

l

= ^ρ

_µ ⁽ⁱ⁾

i

= _µ ¹

i

⇒ Π Π Π =

 1 µ

, _µ ¹

2

, . . . , _µ ¹

k

 jest rozkªadem stacjonarnym.

Twierdzenie 2. (Twierdzenie ergodyczne o zbie»no±ci) Je±li Π Π Π jest rozkªadem stacjonarnym, to dla ka»dego µ ⁽⁰⁾ mamy

µ ^{(n) T V} → Π Π Π ⇔ lim

n→∞ d _{T V} 

µ ⁽⁰⁾ , µ ⁽ⁿ⁾ 

= 0 Dowód. Dowód na kolejnym wykªadzie.

Na potrzeby dalszej cz¦±ci tego rozdziaªu zaªó»my prawdziwo±¢ powy»szego twierdzenia i poka»emy jedyno±¢ rozkªadu stacjonarnego. Przypu±¢my zatem, »e istniej¡ dwa rozkªady stacjonarne Π Π Π i Π Π Π ⁰ . Niech µ ⁽⁰⁾ = Π Π Π ^{0 0 0} , wtedy µ ⁽ⁿ⁾ = Π Π Π ⁰ dla ka»dego n ∈ N, poniewa» jest on rozkªadem stacjonarnym. Ze zbie»no±ci (któr¡ jak na razie tylko zakªadamy)

µ ^{(0) T V} → Π Π Π ⇔ lim

n→∞ d T V Π Π Π ⁰ , Π Π Π
= 0,

a zatem d T V (Π Π Π ⁰ , Π Π Π) = 0 ⇒ Π Π Π = Π Π Π ⁰ . W celu udowodnienia zbie»no±ci rozkªadów wpro- wad¹my poj¦cie couplingu.

Coupling

Zaªó»my, »e dane s¡ dwie zmienne losowe X, Y na przestrzeniach probabilistycznych od- powiednio Ω 1 , Ω 2 . Konstruujemy kopie X ⁰ , Y ⁰ zmiennych X i Y na tej samej przestrzeni Ω tak, aby ich rozkªady brzegowe byªy takie same jak rozkªady X i Y oraz powinny one by¢ ze sob¡ powi¡zane, dlatego mi¦dzy innymi przestrzenie produktowe w tym przypadku s¡ praktycznie bezu»yteczne.

Przykªad 1. (Stochastyczna dominacja) X dominuje Y , gdy dla ka»dego x warto±ci dys- trybuant speªniaj¡ nierówno±¢ F X (x) ≤ F _Y (x) , czyli P (X ≤ x) ≤ P (Y ≤ x) co implikuje,

»e X ≥ Y dla dowolnej przestrzeni Ω. W dalszej cz¦±ci b¦dziemy wykorzystywa¢ oznaczenie X ≥ _st Y .

Twierdzenie 3. Je±li X ≥ st Y , to istnieje (Ω, F, P ) i istniej¡ X ⁰ i Y ⁰ na (Ω, F, P ) takie,

»e F X

= F _X , F Y

= F _Y oraz P (X ⁰ ≥ Y ⁰ ) = 1 .

Pi¦kny dowód. Niech Ω = h0, 1i, F = B _R (h0, 1i) oraz P = λ 1 (h0, 1i). Dla dowolnej dystry- buanty F zdeniujemy zmienn¡ losow¡ Z F na Ω w nast¦puj¡cy sposób

Z _F (ω) = inf {z : ω ≤ F (z)} . Zauwa»my, »e ω ≤ F (z) ⇔ Z F (ω) ≤ z st¡d

F _Z

(z) = P (Z _F ≤ z) = P (h0, F (z)i) = λ ₁ (h0, F (z)i) = F (z) .

Niech X ⁰ = Z _F

, Y ⁰ = Z _F

a wtedy X ⁰ ≥ Y ⁰ prawie wsz¦dzie, czyli P (X ⁰ ≥ Y ⁰ ) = 1 , co

ko«czy dowód.

Przykªad 2. (Zbie»no±¢ poissonowska) Wiemy, »e Bin n, ^λ _n
→ P o (λ) , gdy n → ∞ (zbie»- no±¢ szeregów liczbowych dla k ∈ {0, . . . , n}). Jak dobre jest to przybli»enie?

Twierdzenie 4. (Cam, 1960) Je±li X 1 , . . . , X _n s¡ niezale»nymi zmiennymi losowymi Ber- noulliego, gdzie EX i = p i . Oznaczmy

S =

n

X

r=1

X r . Wtedy

d _{T V} (S, Y ) ≤

n

X

r=1

p ² _r , gdzie

Y ∼ P o λ =

n

X

r=1

p _r

!

.

W szczególno±ci je»eli p r = _n ^λ , to d T V (S, Y ) ≤ ^λ _n

.