ϕ ( x )= − e +1 ≤ 0 , 0 − x < 0 , 1 > ϕ ( x )= e − 1+ x − x e ≥ 1 − x. − x x ∈ < 0 , 1 > r r r r P ( X 6 = Y )= p − p e . − p r r r r X Ber ( p ) Y Po ( p ) y ! e x =1 ,y ≥ 1 − p r r P ( X = x,Y = y )=   r r ( X ,Y ) P Po ( λ = p nr P e x =1 ,y

Wykªad 8: Tw. ergodyczne. Ša«cuchy odwracalne.

Wykªadowca: Andrzej Ruci«ski Pisarz:PrzemysªawRogowski, Tomasz Rz¦dowski

1 Wst¦p

W pierwszej cz¦±ci doko«czymy zagadnienia z poprzedniego wykªadu ukazuj¡c zastosowa-

nia couplingu na kilku przykªadach. Nast¦pnie przedstawione b¦dzie twierdzenie ergody-

czne. Wdrugiejcz¦±ciwprowadzimyodwracalneªa«cuchyMarkowaipodamykilkaprostych

przykªadów.

2 (doko«czenie)

Twierdzenie 1. (Cam1960) Niech

X ₁ , X ₂ , ..., X n

^b¦d¡ niezale»nymi zmiennymi losowymi o rozkªadzie 0,1. NiechE

X _r = p _r

^oraz

S = P _n

r=1 X _r

^{. Wówczas}

d _{T V} (S, P ) ≤

n

X

r=1

p ² _r

oraz

P

^marozkªad

P o(λ = P n r=1 p r )

Dowód. Wprowad¹mycoupling parniezale»nych

(X r , Y r )

^takich,»e

P (X _r = x, Y _r = y) =



 

 

1 − p r x = y = 0 e ^{− p r} x = 1, y = 0

p ^y _r

y! e ^{−p r} x = 1, y ≥ 1



 

 

Zauwa»my, »e

X _r

^marozkªad

Ber(p r )

^oraz

Y _r

^{ma rozkªad}

P o(p r )

^{. Postarajmy si¦ ukaza¢}

ide¦wprowadzeniatakiegocouplingutym,którzynies¡wstaniedojrze¢jejju»zapierwszym

razem. Rozpatrzymynast¦puj¡c¡ równo±¢

P (X _r 6= Y _r ) = p _r − p _r e ^{−p r} .

Woszacowaniujej skorzystamyznast¦puj¡cego lematu.

Lemat 1. Dla ka»dego

x ∈< 0, 1 >

^{, zachodzi}

e ^−x ≥ 1 − x.

Dowód. Niech

ϕ(x) = e ^{− x} − 1 + x

^{. Ka»de dziecko widzi, »e jest to funkcja} ró»niczkowalna na przedziale

< 0, 1 >

^. Otrzymujemy

gdy»

∀ x∈<0,1> e ^−x ≥ 1

^{. Jesttozatem funkcjamalej¡canaprzedziale}

< 0, 1 >

^{. Czyli}

ϕ(x)

przyjmuje najmniejsz¡ warto±¢ wdziedzinie wpunkcie

1

^.

∀ x∈<0,1> ϕ(x) ≥ ϕ(1) = e ^{− 1} ≥ 0.

Czyli

e ^−x − 1 + x ≥ 0

W oparciuo lematotrzymujemy

P (X _r 6= Y _r ) =

= p _r − p _r e ^{−p r} =

= p _r (1 − e ^{−p r} ) ≤ p _r p _r =

= p ² _r .

Przypomnijmy, »e

S =

r=1

X

n

X _r , P =

n

X

r=1

Y _r

P

^marozkªad

P o(λ =

n

X

r=1

p r )

d _{T V} (S, P ) = 1 2

X

k

|

^P

(S = k) −

^P

(P = k)|

Zauwa»my, »e

|

^P

(S = k) −

^P

(P = k)| = |

^P

(S = k, P 6= k) −

^P

(S 6= k, P = k)| ≤

≤

^P

(S = k, P 6= k) +

^P

(S 6= k, P = k)

Ostatnia nierówno±¢ wynika z faktu,»e prawdopodobie«stwo jestnieujemne.

Wró¢myna gªównytor.

d T V (S, P ) ≤ 1

2 2

^P

(S 6= P ) =

^P

(S 6= P )

St¡d otrzymujemy,wjak»e oczywistysposób, »e

P

(S 6= P ) ≤

^P

(∃ r , X _r 6= Y r ) ≤

n

X

r=1

P

(X r 6= Y r ) ≤

n

X

r=1

p ² _r

powróci¢do pot¦»nego Twierdzenia Ergodycznego. Przypomnijmy je.

Twierdzenie 2. (Twierdzenie Ergodyczne) Dla ka»dego nieredukowalnego, nieokresowego

ªa«cuchaMarkowa

X

^{orazdlaka»dego rozkªadu}pocz¡tkowego

µ ⁽⁰⁾

^mamy

µ ^{(n) T V} → π

^{, gdzie}

π

jest rozkªadem stacjonarnym.

Dowód. Udowodnili±my ju» jedyno±¢

π

^na wcze±niejszym wykªadzie. Pozostaje wykaza¢

zbie»no±¢

µ ^{(n) T V} → π

^{. Niech}

S = 1, 2, ..., k

^{b¦dziezbiorem stanów. Musimypokaza¢, »e}

k

X

i=1

|µ ⁽ⁿ⁾ _i − π i | → 0

Niech

X = (X n )

^{b¦dzienaszymªa«cuchemMarkowa. Zapu±cimydrugiªa«cuch}

Y = (Y n )

maj¡cytesame stanyale innewarunkipocz¡tkowe:

X

^ma

µ ⁽⁰⁾

^,natomiast

Y

^ma

π

^.

Abyniezagmatwa¢ si¦wlabiryncietrikówprzedstawmygªówn¡ide¦tegodowodu. Jesli

X _m = Y m

^dlapewnego

m

^,to

X _n

ⁱ

Y _n

^{maj¡ten sam rozkªadodtego momentu. Wynika to}

st¡d, »e opisujeje ta sama macierz.

Wprowad¹my zmienn¡losow¡

T = min{m : X m = Y m }.

∀ _i∈S ∀ _n µ ⁽ⁿ⁾ _i =

^P

(X _n = i) =

^P

(X _n = i|T ≤ n) +

^P

(X _n = i|T > n)

Zauwa»my, »e w wyra»eniuP

(X n = i|T ≤ n)

^{mo»emy wymieni¢}

X _n

^na

Y _n

^{, gdy» wtej}

przestrzeniwarunkowej s¡takiesame.

µ ⁽ⁿ⁾ _i =

^P

(Y _n = i|T ≤ n)

^P

(T ≤ n) + +

^P

(X _n = i|T > n)

^P

(T > n) ≤

≤

^P

(Y n = i) +

^P

(T > n)

st¡d

µ ⁽ⁿ⁾ _i ≤ π _i +

^P

(T > n)

co implikuje

|µ ⁽ⁿ⁾ _i − π i | ≤

^P

(T > n)

Pozostaªo jedyniepokaza¢,»e P

(T > n) ^n→∞ −→ 0

^.

Uwaga. Gdy

µ ⁽⁰⁾ = (0, . . . , 0, 1, 0, . . . , 0)

gdzie jednykajest na

i

^{-tym miejscu, wtedy}

µ ⁽⁰⁾ _i → π _i

Wtejcz¦±ciwykªaduwprowadzonezostan¡odwracalneªa«cuchyMarkowa,prostewªasno±ci

iimplikacjeorazprzykªady.

Denicja 1. Rozkªad

π

^nazywamy odwracalnym, gdy

∀ i,j∈S π _i P _ij = π j P _ji

gdzie

π _i

^jest

i

^{-t¡wspóªrz¦dnawektora}prawdopodobie«stwarozkªadu

π

^,a

P _ij

prawdopodobie«st- wemprzej±cia ze stanu

s _i

^{do stanu}

s _j

^.

Denicja 2. Ša«cuch Markowa nazywamy odwracalnym gdyjego rozkªad jest dowracalny.

Lemat 2. Rozkªad odwracalny

π

^{jest rozkªadem} stacjonarnym.

Dowód.

π _j = π _j · 1 = π _j

k

X

i=1

P _ji =

k

X

i=1

π _j P _ji =

k

X

i=1

π _i P _ij .

Lemat 3. Niech

X, Y

^{b¦d¡ zmiennymi losowymi takimi,»e}

∀ n=0,1,...,N Y n = X N −n ,

oraz niech

µ ⁽⁰⁾ = π

^{b¦dzie rozkªadem} odwracalnym. Wtedy

P(Y _n+1 = j|Y _n = i) = π j

π _i P _ji (= P _ij = P (X _n+1 = j|X _n = i))

Dowód. Poka»emy, »e

Y

^{jestªa«cuchemMarkowa.}

P(Y _n+1 = i _n+1 |Y n = i n , . . . , Y ₀ = i ₀ ) =

ze wzoru naprawdopodobie«stwo warunkowe mamy

= P (Y j = i j , 0 ≤ j ≤ n + 1) P (Y _j = i, 0 ≤ j ≤ n) =

podstawiaj¡c

X _{N −n}

^za

Y _n

= P (X _{N −n−1} = i _n−1 , . . . , X N = i ₀ ) P (X _{N −n} = i _n , . . . , X _N = i ₀ ) =

stosuj¡cwzór ªa«cuchowy oraz

P _{i n +1,i n} = P _{i n ,i n +1}

otrzymujemy

π _{i n+1} P _{i n +1,i n} · . . . · P i 1 ,i 0

π _{i n} P _{i n ,i n−1} · . . . · P _{i 1 ,i 0} =

⁽¹⁾

= π i n+1 P i n +1,i n

π i n

=

⁽²⁾

= π i n P i n ,i _n+1

π i n

=

⁽³⁾

= P (N _{N −n−1} = i _n+1 |X _{N −n} = i _n )

⁽⁴⁾

z zaªo»enia

X _{N −n−1} = Y _n+1

^,st¡d

P (Y _n+1 = i _n+1 |Y _n = i _n )

Przykªad 1. Spacer po grae

G

^. Prawdopodobie«stwo przej±cia z wierzchoªka

i

^{do wierz-}

choªka

j

^wynosi

p _ij =

 ₁

d _i

^gdy

ij ∈ E

^{(tj. jest kraw¦dzi¡,}

d _i

^-stopie« wierzchoªka

i

⁾

0

^gdy

ij

^{nie jest kraw¦dzi¡}

Jest toªa«cuch Markowa odwracalny. Rozkªad

π = ( d ₁

2e , . . . , d _n 2e )

jest rozkªadem stacjonarnymi odwracalnym poniewa»

π i P ij = d i

2e 1 d _i = 1

2e

⁽⁵⁾

π _j P _ji = d j

2e 1 d _j = 1

2e

⁽⁶⁾

Przykªad 2. (proces narodzin i ±mierci) Niech

S = [k] = {1, 2, 3, . . . , k}

P ij =  > 0

^gdy

|i − j| = 1

0

^{w przeciwnym przypadku,tj. gdy}

|i − j| ≥ 2

tj. prawdopodobie«stwo przej±cia ze stanu

i

^{do stanu}

j

^{wynosi zero gdy stany te speªniaj¡}

równo±¢

|i − j| ≥ 2

^{, w przeciwnym przypadku} prawdopodobie«stwo to jest dodatnie. Dla

j = i

prawdopodobie«stwo

P _ii

^{jest dowolne.}

Otrzymujemy macierz przej±cia









? > 0

> 0 ? > 0

. . .









Oto konkretny przykªad dla

k = 4

^{. Macierz} prawdopodobie«stwa jest postaci

P =









0 1 0 0

0.1 0 0.9 0 0 0.1 0 0.9

0 0 1 0









co daje graf przej±¢

1

0.1

0.9

0.1

0.9

1

Niech teraz

π ^∗ ₁

^{b¦dzie dowolne, i niech}

π ^∗ _i = P _i−1,i

P _i,i−1 π ^∗ _i−1 .

Rozkªad

π

^danywzorem

π _i = π ^∗ _i P π _i ^∗

jest rozkªademstacjonarnym. Šatwo sprawdzi¢, »e w naszym przykªadzie rozkªad przyjmuje

nast¦puj¡c¡ posta¢ :

π =

 1 182 , 10

182 , 90 182 , 8

182



Przykªad 3. Przykªad ªa«cuchaz rozkªadem stacjonarnymi nieodwracalnym.

Niech danyb¦dzie ªancuch Markowa

1 4

3 4

1

4 3

4 1

4 3 4

1 4 3 4

Rozkªad

( ¹ ₄ , ¹ ₄ , ¹ ₄ , ¹ ₄ )

^jest stacjonarny. Nie jest on odwracalny, poniewa» ma tendencj¦

doprzemieszczania si¦ zgodniez kierunkiemwskazuwek zegara. Brak symetryczno±ci.