1 Ša«cuchy Markowa

1 Ša«cuchy Markowa

Przez ªa«cuch Markowa rozumiemy ci¡g zmiennych (elementów) losowych X0, X1, X2, . . . o warto±ciach w przestrzeni E i zwi¡zany z sob¡. W tym podrozdziale b¦dziemy zakªada¢, »e E jest sko«czona z elementami E = {s¹, s2, . . . , sm}. Dla wygody b¦dziemy dalej przyjmowa¢ E = {1, . . . , m}.

Przez macierz przej±cia P = (pij)i,j∈E rozumiemy macierz, której elementy speªniaj¡:

pij ≥ 0, i, j ∈ E

oraz X

j∈E

pij = 1, i∈ E.

Czasami, w oderwaniu od teorii ªa«cuchów Markowa mówimy te» macierz stochastyczna. Niech µ = (µj)_j∈E b¦dzie rozkªadem (funkcj¡ prawdopdo-bie«stwa) na E.

Mówimy, »e X0, X1, . . . jest ªa«cuchem Markowa z rozkªadem pocz¡tko-wym µ i macierz¡ przej±cia P je±li dla i0, . . . , ik∈ E

IP(X₀ = i₀, X₁ = i₁, . . . , X_k= i_k) = µ_i0p_i0i1· · · pik−1ik.

117.1.2017

187

Wa»nym poj¦ciem jest rozkªad stacjonarny, tj. π = (πj)j∈E (oczywi±cie jest to ci¡g liczb nieujemnych sumuj¡cych si¦ do 1) i speªniaj¡cy

π_j =X

i∈E

π_ip_ij, j ∈ E.

Podamy teraz kilka potrzebnych dalej denicji. Elementy pot¦gi macierzy Pⁿ oznaczamy p⁽ⁿ⁾_ij . Dwa stany i, j ∈ E sa skomunikowane, je±li istniej¡

n0, n1 takie, »e p⁽ⁿ_ij⁰⁾ > 0 oraz p⁽ⁿ_ji¹⁾> 0. Macierz P jest nieredukowalna, je±li wszystkie stany s¡ skomunikowane.

Mówimy, »e macierz P jest regularna (ergodyczna), je±li istnieje n0, takie

»e Pⁿ⁰ ma wszystkie elementy ±ci±le dodatnie (Pⁿ⁰ > 0). Mo»na pokaza¢, »e P jest regularna wtedy i tylko wtedy gdy jest nieredukowalna i nieokresowa (odsyªamy po denicj¦ okresowo±ci do specjalistycznych ksi¡»ek z ªa«cuchów Markowa lub [?]).

Przykªad 1.1 Rozwa»my dwie macierze przej±cia P1 i P2 dla ªa«chucha z stanami {1, 2, 3, 4}.

Macierz P1 jest przykªadem macierzy redukowalnej, natomiast P2 macierzy nieredukowalnej z okresem 2.

Fakt 1.2 Je±li P jest regularna, to istnieje tylko jeden rozkªad stacjonarny π, którego elementy s¡ ±ci±le dodatnie, oraz

Pⁿ→ Π,

1. ŠA‹CUCHY MARKOWA 189 Jak symulowa¢ ªa«cuch Markowa Xn podaje nast¦puj¡cy fakt.

Fakt 1.3 Niech P i µ b¦d¡ dane. Istnieje funkcja ϕ : E × [0, 1] → E taka,

»e je±li Y0 ma rozkªad µ, to Y0, Y1, . . . zdeniowane rekurencyjnie X_n+1 = ϕ(X_n, U_n+1), n = 0, 1, . . .

gdzie U1, . . . jest ci¡giem niezale»nych zmiennych losowych o jednakowym rozkªadzie jednostajnym na [0, 1], jest ªa«cuchem Markowa z rozkªadem po-cz¡tkowym µ i macierz¡ przej±cia P .

Dowód Zdeniujmy Reprezentacja powy»sza nie jest jednoznaczna.

Naszym tradycyjnym celem b¦dzie obliczenie I =X

j∈E

f (j)πj,

gdy do dyspozycji mamy ªa«cuch Markowa (Xj) z rozkªadem stacjonarnym π. Analogicznie do rozwa»a« rozdziaªu IV wprowadzamy estymator

Yˆn = 1 n

Xn−1 j=0

f (Xj). (1.1)

Jak si¦ oka»e poni»ej, ten estymator jest mocno zgodny, ale przewa»nie nie jest nieobci¡»ony.

Fakt 1.4 Je±li macierz prawdopodobie«stwa przej±cia jest nieredukowalna, to

Yˆn → I = Xm

j=1

πjf (j), p.n.p. (1.2)

gdy n → ∞. Ponadto

√n( ˆYn− I) →d N(0, ¯σ²), gdzie

¯

σ² = lim

n→∞nVar ˆYn. (1.3)

Co wi¦cej granice w (1.2) i (1.3) nie zale»¡ od rozkªadu pocz¡tkowego µ.

Uwaga Zamiast formalnego dowodu poka»emy jego pomysª. Niech i ∈ E oraz podstawmy Yj = f (Xj). Poniewa» P jest nieredukowlana, wi¦c ªa«cuch (Xn) niesko«czenie cz¦sto odwiedza stan i. To jest fakt z teorii ªa«cuchów Markowa. Ustalmy wi¦c i takie, »e X0 = i. Niech γj, j = 1, 2, . . . b¦d¡

momentami odwiedzin (Xn) w i. Poniewa» (Xn) jest ªa«cuchem Markowa, wi¦c caªy ci¡g f(Xn) rozpada si¦ na niezale»ne cykle {f(X0), . . . , f (Xγ1−1)}, {f(Xγ1), . . . , f (Xγ2−1)},. . . . Zauwa»my teraz, »e

Wl=

γl+1X−1 j=γl

f (Xj), i = 1, 2,

s¡ niezaleznymi zmiennym losowymi o jednakowym rozkªadzie. Ponadto z teorii ªa«cuchów Markowa wiadomo, »e IE (γl+1− γl) <∞ oraz IE Wl² <∞.

Kluczem do dalszych rozwa»a« jest przedstawienie

Y1+· · · + Yⁿ= W1+· · · + W^ν(n)+ Rn

gdzie ν(n) = max{j : γj ≤ n}, oraz Rn nie zale»y od Wj-ów. Teraz nale»y wykorzysta¢ wariant mocnego prawa wielkich liczb oraz centralnego twier-dzenia granicznego z losowym indeksem.

W rozdziale IV zdeniowali±my poj¦cie stacjonarno±ci procesu stocha-stycznego X(t). Jest to poj¦cie wa»ne gdy parametr procesu jest IR lub IR+

ale te» gdy ZZ lub ZZ+. Przypomnijmy wi¦c to poj¦cie dla ciagu zmiennych losowych Zn, n ∈ ZZ⁺. Mówimy, »e jest on stacjonarny je±li speªnione s¡

nast¦puj¡ce warunki.

(k) Dla ka»dego k = 1, 2, . . . oraz 0 < h1 < . . . < h_k−1, ª¡czne rozkªady (Yj, Yj+h1, . . . , Yj+h_k−1) nie zale»¡ od j.

Konsekwwncj¡ denicji jest

1. ŠA‹CUCHY MARKOWA 191 (1) Wszystkie rozkªady Yj s¡ takie same (j ∈ ZZ+). W konsekwencji

wszyst-kie IE Yj s¡ równe je±li tylko pierwszy moment m = IE Y0 istnieje.

(2) Dla ka»dego h = 1, . . ., ª¡czne rozkªady (Yj, Yj+h) nie zale»¡ od j. W konsekwencji funkcja kowariancji ρh = Cov (Zj, Zj+h)zale»y of h, je±li tylko drugi moment istnieje.

Niech π b¦dzie rozkªadem stacjonarnym i (Xn)n=0,1,... b¦dzie ªa«cuchem Markowa z rozkªadem pocz¡tkowym µ = π i macierz¡ przej±cia P . Wtedy (Yn)n=0,1,..., gdzie Yn= f (Xn)jest ci¡giem stacjonarnym i funkcj¡ kowariancji tego ci¡gu jest

ρk = Cov (Yn, Yn+k).

Je±li przestrze« stanów jest sko«czona i P jest regularna, to mamyP

j|ρj| <

∞. Wymaga to dowodu, na przykªad z u»yciem twierdzenia Perrona-Frobeniusa.

Zauwa»my, »e podobnie jak rozdziale IV staª¡ ¯σ²mo»emy nazywa¢ TAVC.

Poka»emy teraz inny wzór na TAVC.

Lemat 1.5 Je±li P jest regularna to

¯

σ² = ρ0+ 2 X∞ k=1

ρk.

Dowód Poniewa» ¯σ² zdeniowane w (1.3) nie zale»y od warunku pocz¡tko-wego µ wi¦c rozwa»my stacjonarny ci¡g (Zn). Bez straty ogólno±ci mo»emy zaªo»y¢ IE Zj = 0. Wtedy

Jak estymowa¢ ρk i ¯σ²? Mo»emy to zrobi¢ przy u»yciu estymatorów 

Estymator ˆYn jest oczywi±cie zgodny (d¡»y z prawdopodobie«stwem 1 do I = Pm

j=1πjf (j)), ale je±li rozkªad pocz¡tkowy µ zmiennej X0 nie jest rozkªadem stacjonarnym, to nie jest nieobci¡»onym. Jak szybko IE ˆYn zbiega do I mówi nast¦pujacy fakt.

Fakt 1.6 Dla pewnej sko«czonej staªej A IE ˆYn = I + A

n + o(1 n).

Dowód Podstawmy aj = IE Yj−¯y. Poniewa» E jest sko«czona, wi¦cP

j|aj| <

∞ (tego nie b¦dziemy dowodzi¢). Teraz

IE ˆYn = 1 Uwaga Fakt 1.6 jest prawdziwy dla ªancuchów ze sko«czon¡ liczba stanów.

Fakt 1.7 Niech (Yn)b¦dzie ªancuchem Markowa z macierz¡ prawdopodobie«-stwa P . Zaªo»my, »e istniej¡ ±ci±le dodatnie liczby vj, j ∈ E takie, »e

1. ŠA‹CUCHY MARKOWA 193 Dowód Bez straty ogólno±ci mo»emy zaªo»y¢, »e vj w (1.4) sumuj¡ si¦ do jedno±ci. Teraz

Warunek (1.4) b¦dziemy nazywa¢ DBC (od detailed balance condition). Dla stacjonarnych ªancuchów Markowa jest on równowa»ny odwracalno±ci.

Mówimy, »e stacjonarny ªancuch Markowa Y0, Y1, . . .jest odwracalny, jesli dla n = 0, 1, 2, . . .

(Y0, Y1, . . . , Yn) =d (Yn, Yn−1, . . . , , Y0).

Zostawiamy czytelnikowi pokazanie nast¦puj¡cego wniosku.

Wniosek 1.8 Je±li macierz przej±cia P jest symetryczna, tj. pij = pji, to rozkªad stacjonarny jest jednostajny na E czyli π = 1/|E|, j ∈ E.

W dalszej cz¦±ci rozdziaªu b¦dziemy mieli do czynienia z pewn¡ klas¡

ªa«cuchów Markowa z przestrzeni¡ stanów maj¡c¡ struktur¦ grafu. Dlatego te» zrobimy teraz bardzo krótkie wprowadzenie tego poj¦cia.

Podstawowe poj¦cia dotycz¡ce grafów Graf G skªada si¦ z wierzchoª-ków V oraz kraw¦dzi E. Zbiór kraw¦dzi mo»na uto»sami¢ z jakim± podbio-rem zbioru par (nieuporz¡dkowanych) (i, j), i 6= j, i, j ∈ V . Mówimy, »e (i, j) sa s¡siadami, je±li jest kraw¦d¹ ª¡cz¡ca i z j. Liczb¦ s¡siadów wierzchoªka i oznaczamy przez deg(i). Mówimy, »e graf jest spójny, je±li jest mo»li-wo±¢ przej±cia po kraw¦dziach z ka»dego wierzchoªka do wszystkich innych, niekoniecznie w jednym kroku. Innym poj¦ciem jest okresowo±¢ która jest zwi¡zana z poj¦ciem bipartite.² Drog¡ pomi¦dzy dwoma wierzchoªkami grafu nazywamy kraw¦d¹ pomi¦dzy nimi. Natomiast drog¡ jest trasa, polegaj¡ca na podró»owaniu od wierzchoªka do wierzchoªka po ª¡cz¡cych je kraw¦dziach.

Przykªad 1.9 Proste bª¡dzenie przypadkowe na grae G. W pro-stym (symetrycznym) bª¡dzeniu przypadkowym z stanu i przechodzimy do dowolnego s¡siada z tym samym prawdopodobie«stwem. A wi¦c

qij =

( ₁

deg⁽ⁱ⁾, jesli j jest s¡siadem i,

0, w przeciwnym razie. (1.5)

2A graph is bipartite if and only if it does not have cycles with an odd number of edges.

Šatwo sprawdzi¢, »e jesli vi =deg(i) to równo±¢ (1.4) jest speªniona. A wi¦c πi = deg(i)

P

j∈V deg(j) , j ∈ V

jest rozkªadem stacjonarnym. Polecamy si¦ zastanowi¢ kiedy macierz Q jest regularna a kiedy nieredukowalna. Podstaw¡ jest poj¦cie grafu spójnego, Przykªad 1.10 Bª¡dzenie przypadkowe na hiperkostce. Rozwa»my zbiór wierzchoªków {0, 1}^m. Elementami s¡ ci¡gi m-elementowe zer i jedynek.

S¡siaduj¡ce elementy s¡ oddalone o 1 tj. jesli s1 = (e₁₁, . . . , e_1m) oraz s1 = (e21, . . . , e2m), s¡ one s¡siadami je±li Pm

j=1|e^1j − e^2j| = 1. A wi¦c z ka»dego wierzchoªka wychodzi m kraw¦dzi, czyli deg(i) = m. Rozkªad stacjonarny jest wi¦c rozkªadem jednostajnym na V .

Powy»sze przykªady maj¡ jedn¡ cech¦ wspóln¡. W jednym kroku ªa«-cuch si¦ przemieszcza do najbli»szego s¡siada. Zamiast wi¦c peªnej struk-tury grafowej (V, E) wystarczy poda¢ dla ka»dego stanu i ∈ V list¦ jego s¡siadów N (i). Polecamy czytelnikowi zastanowi¢ si¦ nad równowa»no±ci¡

opisów przez zdenowanie wszystkich wierzchoªków a zdeniowanie zbioru s¡siadów dla wszystkich stanów.

Formalnie rodzina {N (i) : i ∈ V } podzbiorów V jest systemem s¡siedz-twa je±li i 6= N (i). Je±li natomiast dla dowolnych i 6= j ∈ V istnieje droga i1, . . . , il, tzn. i1 ∈ N (i), i2 ∈ N (i1). . . . , j ∈ N (il), to mówimy, »e system s¡siedztwa jest skomunikowany.

2 MCMC

Omówimy teraz pewn¡ metod¦ Monte Carlo ªa«cuchów Markowa (ang. Mar-kov chain Monte Carlo; st¡d MCMC). Naszym zadaniem jest generowanie obiektu losowego o warto±ciach w E = {s1, . . . , sm} o rozkªadzie π, tj. o masie πj na elemencie sj (na razie to nie jest rozkªad stacjonarny poniewa»

jeszcze nie mamy macierzy przej±cia). Bardziej dokªadnie, chcemy obliczy¢

P

j∈Ef (j)πj. Do tego celu skonstruujemy ªa«cuch Markowa (Yn)z macierz¡

przej±cia P , dla którego π jest rozkªadem stacjonarnym. Wtedy ˆYn zde-niowany w (1.1) b¦dzie szukanym estymatorem P

j∈Ef (j)π_j. Przy pewnych warunkach (regularno±¢ P ) Yn w prybli»eniu ma rozkªad π. Rozkªad π na-zywa si¦ rozkªad celowy (ang. target distribution).