Wykªad 6: Klasykacja ªa«cuchów Markowa. Rozkªady stacjonarne.

RAP 412 12 listopada 2008

Wykªad 6: Klasykacja ªa«cuchów Markowa. Rozkªady stacjonarne.

Wykªadowca: Andrzej Ruci«ski Pisarze: Katarzyna Mieczkowska, Bartosz Zaleski

Wst¦p

Na ostatnim wykªadzie dowiedzieli±my si¦ czym s¡ ªa«cuchy Markowa oraz poznali±my postawowe zagadnienia z nimi zwi¡zane (jednorodno±¢, macierze przej±¢, Tw. Chapmana- Koªmogorowa). W pierwszej cz¦±ci tego wykªadu omówimy zagadnienie stanu pocz¡tkowego oraz dokonamy fragmentarycznej klasykacji ªa«cuchów Markowa ze wzgl¦du na relacje zachodz¡ce mi¦dzy poszczególnymi stanami. Na ko«cu zajmiemy si¦ badaniem rozkªadu stacjonarnego oraz przytoczymy twierdzenie o zbie»no±ci ªa«cuchów.

1 Rozkªad pocz¡tkowy

W badaniu ªa«cuchów Markowa szczególn¡ rol¦ odgrywa stan pocz¡tkowy - zauwa»my, »e mo»e on wpªyn¡¢ na to, »e do niektórych stanów nie dotrzemy nigdy, a do innych jedynie po pewnym okresie czasu. Formalnie rzecz bior¡c, stan pocz¡tkowy to po prostu zmienna losowa X 0 . Nie nale»y si¦ wi¦c dziwi¢, »e czasem ªa«cuch Markowa nie b¦dzie zaczynaª si¦

z jednego wyznaczonego stanu, ale z pewnego rozkªadu prawdopodobie«stwa na przestrzeni stanów.

Rozkªad pocz¡tkowy b¦dziemy przedstawiali jako wektor µ 0 , okre±lony w nast¦puj¡cy sposób µ ⁽⁰⁾ = (µ ⁽⁰⁾ ₁ , µ ⁽⁰⁾ ₂ , . . . , µ ⁽⁰⁾ _k )

= (P(X ₀ = s ₁ ), P(X ₀ = s ₂ ), . . . , P(X ₀ = s _k )), gdzie {s 1 , . . . , s _k } jest zbiorem stanów ªa«cucha.

Poniewa» µ ⁽⁰⁾ jest rozkªadem prawdopodobie«stwa, wi¦c X k

i=1

µ ⁽⁰⁾ _i = 1

Analogicznie, przez µ ⁽¹⁾ , µ ⁽²⁾ , . . . mo»emy oznaczy¢ rozkªady prawdopodobie«stwa w mo- mentach czasu 1, 2, . . . (czyli rozkªady zmiennych X 1 , X ₂ , . . . ) tak, »e

µ ⁽ⁿ⁾ = (µ ⁽ⁿ⁾ ₁ , µ ⁽ⁿ⁾ ₂ , . . . , µ ⁽ⁿ⁾ _k )

= (P(X _n = s ₁ ), P(X _n = s ₂ ), . . . , P(X _n = s _k ))

Przykªad 1. Na poprzednim wykªadzie zajmowali±my si¦ pewnym losowym spacerze po kwadracie. Zaczynali±my go od wierzchoªka nr. 1. Zatem w tym przypadku rozkªad pocz¡tkowy ma posta¢:

µ ⁽⁰⁾ = (1, 0, 0, 0).

Ponadto, ªatwo mo»na zauwa»y¢, »e np. w drugim kroku rozkªad tego ªacucha ma posta¢:

µ ⁽²⁾ = ( 1 2 , 0, 1

2 , 0).

Okazuje si¦, »e je±li znamy rozkªad pocz¡tkowy µ ⁽⁰⁾ oraz macierz przej±¢ P , to w prosty sposób mo»emy wyznaczy¢ wszystkie rozkªady µ ⁽¹⁾ , µ ⁽²⁾ , . . . . Mówi o tym nast¦puj¡ce twierdzenie:

Twierdzenie 1. Je±li (X 1 , X ₂ . . .) jest jednorodnym ªa«cuchem Markowa o sko«czonym zbiorze stanów {s 1 , . . . , s _k } , rozkªadzie pocz¡tkowym µ ⁽⁰⁾ i macierzy przej±¢ P , to

∀ n µ ⁽ⁿ⁾ = µ ⁽⁰⁾ P ⁿ

Dowód. Rozwa»my przypadek kiedy n = 1. Dla j = 1, . . . , k, otrzymujemy

µ ⁽¹⁾ _j = P(X ₁ = s _j ) = X k

i=1

P(X ₀ = s _i , X ₁ = s _j )

= X k

i=1

P(X ₀ = s _i )P(X ₁ = s _j | X ₀ = s _i )

= X k

i=1

µ ⁽⁰⁾ _i P _i,j = (µ ⁽⁰⁾ P ) _j

gdzie (µ ⁽⁰⁾ P ) _j oznacza j-ty element wektora µ ⁽⁰⁾ P . St¡d µ ⁽¹⁾ = µ ⁽⁰⁾ P .

Przypadek ogólny udowodnimy indukcyjnie. Ustalmy m i zaªó»my, »e teza twierdzenia jest prawdziwa dla n = m. Dla n = m + 1 mamy zatem

µ ^(m+1) _j = P(X _m+1 = s _j ) = X k

i=1

P(X _m = s _i , X _m+1 = s _j )

= X k

i=1

P(X _m = s _i )P(X _m+1 = s _j | X _m = s _i )

= X k

i=1

µ ^(m) _i P _i,j = (µ ^(m) P ) _j ,

a st¡d µ ^(m+1) = µ ^(m) P . Z zaªo»enia indukcyjnego wiemy, ze µ ^(m) = µ ⁽⁰⁾ P ^m , sk¡d ostatecznie otrzymujemy

µ ^(m+1) = µ ^(m) P = µ ⁽⁰⁾ P ^m P = µ ⁽⁰⁾ P ^(m+1)

Powy»sze twierdzenie ªatwo daje si¦ uogólni¢ na przypadek ªa«cucha niejednorodnego,

którego denicj¦ podajemy poni»ej.

Denicja 1 (Niejednorodny ªa«cuch Markowa). Niech P ⁽¹⁾ , P ⁽²⁾ , . . . b¦dzie ci¡giem macierzy o wymiarach (k × k) takich, »e P i,j ≥ 0 dla ka»dego i, j ∈ {1, . . . , k} oraz ∀

i

P

j P _i,j = 1 . Ci¡g zmiennych losowych (X 0 , X ₁ , . . .) o warto±ciach ze sko«czonego zbioru stanów S = {s 1 , . . . , s _k } nazywamy niejednorodnym ªa«cuchem Markowa z macierzami przej±cia P ⁽¹⁾ , P ⁽²⁾ , . . . , je»eli dla ka»dego n, dowolnych i, j ∈ {1, . . . , k} i ka»dego i 0 , . . . , i _n−1 ∈ {1, . . . , k} mamy

P(X _n+1 = s _j |X ₀ = s _i

, X ₁ = s _i

, . . . , X _n−1 = s _i

, X _n = s _i )

= P(X _n+1 = s _j |X _n = s _i )

= P _i,j ⁽ⁿ⁺¹⁾ .

Twierdzenie 2. Niech (X 1 , X ₂ , . . .) b¦dzie niejednorodnym ªa«cuchem Markowa o sko«c- zonym zbiorze stanów, rozkªadzie pocz¡tkowym µ ⁽⁰⁾ i macierzach przej±¢ P ⁽¹⁾ , P ⁽²⁾ , . . . . Wówczas

∀ n µ ⁽ⁿ⁾ = µ ⁽⁰⁾ P ⁽¹⁾ P ⁽²⁾ · · · P ⁽ⁿ⁾ . Dowód. Dowodzimy analogicznie jak Twierdzenie 1.

2 Przykªady

W tej cz¦±ci wykªadu poka»emy kilka przykªadów obrazuj¡cych pewne procesy Markowa przedstawione za pomoc¡ macierzy przej±¢.

Przykªad 2 (Pogoda w Göteborgu). Wyobra¹my sobie, »e jeste±my w szwedzkim mie±cie Göteborgu i chcemy przewidzie¢ jaka b¦dzie jutro pogoda. Niektórzy mówi¡, »e najlepszym na to sposobem jest po prostu przypu±ci¢, »e b¦dzie ona taka sama jak jest dzi±. Gdyby przyj¡¢,

»e stwierdzenie to jest prawdziwe, to naturalne wydaje si¦ by¢ modelowanie pogody za pomoc¡

ªa«cuchów Markowa. Poniewa» ma to by¢ prosty przykªad, to zaªo»ymy, »e s¡ mo»liwe tylko dwa jej rodzaje: sªo«ce lub deszcz. Je±li powy»szy sposób przewidywania pogody sprawdza si¦

w 75% czasu (niezale»nie czy dzi± ±wieci sªo«ce czy pada deszcz), to pogoda tworzy ªa«cuch Markowa ze zbiorem stanów S = {s 1 , s ₂ } , gdzie s 1 = deszcz, s 2 = sªo«ce i macierz¡

przej±¢

P =

" ₃

4 1

4 1 4 3 4

# .

Przykªad 3 (Pogoda w Los Angeles). W poprzednim przykªadzie dla pogody w Göteborgu zachodziªa symetria mi¦dzy deszczem i sªo«cem. Jednak w Los Angeles sªo«ce ±wieci znacznie cz¦±ciej ni» pada deszcz, dlatego bardziej uzasadniony b¦dzie model ªa«cucha Markowa z macierz¡ przej±¢

P =

" ₁

2 1

2 10 1 9 10

#

Przykªad 4 (Internet). Okazuje si¦, »e, przy pewnych dodatkowych zaªo»eniach, równie» na poruszanie si¦ po internecie mo»na patrze¢ jak na proces Markowa. Je±li przez S oznaczymy zbiór wszystkich stron internetowych w danym momencie (jest on oczywi±cie sko«czony), a przez d i ilo±¢ odno±ników do innych witryn umieszczonych na i-tej stronie, to otrzymamy wtedy proces Markowa o macierzy przej±¢ P takiej, »e

P _i,j =

½ ₁

d

gdy na stronie s i istnieje link do strony s j

0 w przeciwnym przypadku

Gdyby±my w poprzednim przykªadzie dopu±cili u»ywanie przycisku powrotu do poprzed- niej strony, to proces staciªby wªasno±¢ Markowa, poniewa» to gdzie znajdziemy si¦ w nast¦pnym kroku zale»aªoby równie» od tego które strony odwiedzili±my wcze±niej. Zatem przyszªo±¢ nie zale»aªaby tylko od tera¹niejszo±ci, lecz tak»e od przeszªo±ci.

Przykªad 5 (Dokªadniejsza pogoda w Göteborgu). W poprzednim przykªadzie dotycz¡cym pogody w Göteborgu rozwa»ali±my maªo rzeczywisty przypadek, poniewa» pogoda byªa nieza- le»na od pory roku. Teraz rozbudujemy troch¦ t¦ sytuacj¦. Do zbioru stanów dodamy stan s 3

oznaczaj¡cy ±nieg oraz wprowadzimy dwie ró»ne macierze - b¦dzie to przykªad niejednorod- nego ªa«cucha Markowa. Zmiany pogody w lecie (np. od maja do wrze±nia) ilustrowa¢ b¦dzie macierz P lato , a w zimie (tj. od pa¹dziernika do kwietnia) - macierz P zima :

P _lato =



 



3 4 1

4 0

1 4 3

4 0

1

2 1

2 0



 

 P ^zima =



 



1 2 3 10 1

5 20 3 7

10 3 20 1

5 3

10 1 2



 



3 Nieredukowalne i nieokresowe ªa«cuchy Markowa

W rozdziale tym omówimy dwie wa»ne wªasno±ci ªa«cuchów Markowa: okresowo±¢ i rozkªadal- no±¢. S¡ one kluczowe dla badania rozkªadu stacjonarnego, któremu po±wi¦cony b¦dzie kole- jny rozdziaª. Poni»sze denicje wprowadzamy dla ªa«cucha Markowa (X 0 , X ₁ , . . .) o warto±- ciach w sko«czonym zbiorze stanów {s 1 , . . . , s _k } i macierzy przej±¢ P .

Denicja 2. Mówimy, »e stan s i komunikuje si¦ ze stanem s j , co zapisujemy s i → s _j , je±li istnieje n takie, »e

P(X _m+n = s _j | X _m = s _i ) > 0.

Dla ªa«cuchów jednorodnych prawdopodobie«stwo to jest niezale»ne od m i równe (P ⁿ ) _i,j .

Denicja 3. Je±li s i → s _j i s j → s _i , to mówimy, »e stany komunikuj¡ si¦ ze sob¡, co za- pisujemy s i ↔ s _j .

Denicja 4. Ša«cuch Markowa nazywamy nieredukowalnym, je±li

s

,s ∀

∈S (s _i ↔ s _j )

Wygodnym sposobem przedstawiania ªa«cuchów Markowa s¡ tzw. grafy przej±¢.

Denicja 5. Grafem przej±¢ ªa«cucha Markowa nazywamy skierowany graf wa»ony G = (V, E), w którym zbiór wierzchoªków tworzy zbiór stanów ªa«cucha, tzn. V = S . Dwa wierzchoªki v i w s¡ poª¡czone kraw¦dzi¡ o wadze p, gdy p = P(X 1 = w | X ₀ = v) > 0 , tzn. gdy wierzchoªek w jest osi¡galny z wierzchoªka v w jednym kroku.

Je±li chcemy w prosty sposób sprawdzi¢ czy ªa«cuch Markowa jest nieredukowalny, wystarczy spojrze¢ na jego graf przej±¢ i sprawdzi¢ czy istnieje ±cie»ka skierowana mi¦dzy dowolnymi dwoma jego wierzchoªkami.

Przykªad 6 (Przykªady grafów przej±¢ ªa«cuchów jednorodnych.). ›eby lepiej zobrazowa¢

poj¦cie grafu przej±¢ poka»emy teraz kilka przykªadów. Pierwszy zwi¡zany jest ze spacerem losowym po kwadracie, który analizowali±my na poprzednim wykªadzie, drugi natomiast doty- czy procesu zmian pogody w Göteborgu.

1 2

4 3

– 1 2

– 1 2

– 1 2

– 1 2 – 1

2 – 1

2 – 1

2 – 1

2

Rysunek 1: Przykªad z poprzedniego wykªadu.

s

s

– 1 4

– 1 4 – 3

4 – 3

4

Rysunek 2: Pogoda w Göteborgu.

Przykªad 7 (Grafy przej±cia dla dokªadniejszej pogody w Göteborgu.). W tym przykªadzie przedstawimy dwa grafy przej±¢. Jeden obrazowa¢ b¦dzie zachowanie ªa«cucha opisuj¡cego precyzyjniej pogod¦ w Göteborgu w okresie letnim, a drugi w okresie zimowym. Brak ªuku oznacza, »e prawdopodobie«stwo przej±cia mi¦dzy dwoma stanami jest zerowe.

s s

s

1 2

3

– 1 4

– 1 4 – 3

4 – 3

4

– 1

2 – 1

2

Rysunek 3: Macierz letnia.

s s

s

1 2

3

– 3 10

– 1 2 – 3 20 – 1

2 – 7

10

– 1

5 – 1

5 – 3

– 20 3 10

Rysunek 4: Macierz zimowa.

Dla ka»dego sko«czonego lub niesko«czonego zbioru {a 1 , a ₂ , . . .} liczb naturalnych przez N W D{a ₁ , a ₂ , . . .} oznaczamy najwi¦kszy wspólny dzielnik liczb a 1 , a ₂ , . . . .

Denicja 6. Okres d(s i ) stanu s i ∈ S deniujemy nast¦puj¡co:

d(s ) = N W D{n ≥ 1 : (P ⁿ ) > 0}.

Je±li d(s i ) = 1 , to mówimy, »e stan s i jest nieokresowy. Ša«cuch Markowa nazywamy nieokresowym, gdy wszystkie jego stany s¡ nieokresowe. Ša«cuch, który nie jest nieokresowy nazywa¢ b¦dziemy okresowym.

Poni»ej przedstawiamy pewien lemat z teorii liczb, który wykorzystamy w dowodzie kolejnego twierdzenia.

Lemat 1. Je±li A = {a 1 , a ₂ , . . .} jest podzbiorem zbioru liczb naturalnych speªniaj¡cym warunki:

• N W D{a ₁ , a ₂ , . . .} = 1

• A jest zamkni¦ty ze wzgl¦du na dodawanie, tzn. je±li a ∈ A i a ⁰ ∈ A , to a + a ⁰ ∈ A , to istnieje N < ∞ takie, »e n ∈ A dla ka»dego n ≥ N.

Dowód. Oznaczmy dla wygody b i = N W D(a ₁ , . . . , a _i ). Oczywistym jest, »e dla ka»dego i ∈ N mamy b i ≥ b _i+1 oraz b i ≥ 1 . Otrzymujemy w ten sposób nierosn¡cy ci¡g liczb natu- ralnych (b i ) i ∈ N , dla którego ∃

k ∀

i≥k b _i = 1 . Istotnie, gdyby ∀

i b _i > 1 , to z zasady minimum otrzymaliby±my, »e ∃

a>1 ∃

I ∀

i>I b _i = a , ale wówczas mieliby±my NW D{a 1 , a ₂ , . . .} = a > 1 , co przeczy zaªo»eniu. Istnieje wi¦c {n 1 , . . . , n _k } ⊂ A taki, »e NW D(n 1 , . . . , n _k ) = 1 . Z podstawowego faktu teorii liczb wiadomo, »e

l

,...,l ∃

∈Z

X k i=1

l _i n _i = 1.

Niech N = n 1

P k i=1

| l _i | n _i . Wtedy n ≥ N ma przedstawienie postaci n = N + ln 1 + m , gdzie l ≥ 0 , m < n 1 . St¡d

n = n ₁ X k

i=1

| l _i | n _i + ln ₁ + m X k

i=1

l _i n _i = ln ₁ + X k

i=1

(n ₁ | l _i | +ml _i )n _i ,

czyli n = c 1 n ₁ + . . . + c _k n _k , gdzie c i ≥ 0. Poniewa» n 1 , . . . , n _k ∈ A , to z addytywno±ci zbioru A mamy, »e ∀

i c _i n _i ∈ A , wi¦c równie» n ∈ A. Udowodnili±my zatem, »e ∃

N ∀

n≥N n ∈ A , co ko«czy dowód lematu.

Twierdzenie 3. Je±li (X 1 , X ₂ , . . .) jest nieokresowym ªa«cuchem Markowa o sko«czonym zbiorze stanów S = {s 1 , . . . , s _k } i macierzy przej±cia P , to istnieje N < ∞ takie, »e dla ka»dego i ∈ {1, . . . , k} i dla ka»dego n ≥ N zachodzi

(P ⁿ ) _i,i > 0.

Dowód. Niech A i = {n ≥ 1 : (P ⁿ ) _ii > 0} dla ka»dego i ∈ {1, . . . , k} (tzn. niech A i b¦dzie zbiorem mo»liwych czasów powrotu do s i , startuj¡c z s i ). Z zaªo»enia, »e ªa«cuch Markowa jest nieokresowy wiemy, »e ka»dy stan s i jest nieokresowy, a st¡d wynika, »e NW D(A i ) = 1 dla ka»dego i ∈ {1, . . . , k}. Co wi¦cej, je±li a, a ⁰ ∈ A _i , to P(X a = s _i | X ₀ = s _i ) > 0 i P(X _a+a

= s _i | X _a = s _i ) > 0 . St¡d

P(X _a+a

= s _i | X ₀ = s _i ) ≥ P(X _a = s _i , X _a+a

= s _i | X ₀ = s _i )

= P(X _a = s _i | X ₀ = s _i )P(X _a+a

= s _i | X _a = s _i )

> 0,

co oznacza, »e a + a ⁰ ∈ A _i , czyli A i jest zamkni¦ty ze wzgl¦du na dodawanie.

A _i speªnia wi¦c zaªo»enia Lematu 1, z którego wynika, »e istnieje N i < ∞ takie, »e (P ⁿ ) _i,i >

0 dla ka»dego n ≥ N i .

Poni»szy wniosek zostanie wykorzystany w nast¦pnym rozdziale w dowodzie twierdzenia o zbie»no±ci ªa«cuchów Markowa.

Wniosek 1. Je±li (X 1 , X ₂ , . . .) jest nieredukowalnym i nieokresowym ªa«cuchem Markowa o sko«czonym zbiorze stanów S = {s 1 , . . . , s _k } i macierzy przej±cia P , to istnieje M < ∞ takie, »e (P ⁿ ) _i,j > 0 dla ka»dego i, j ∈ {1, . . . , k} i ka»dego n ≥ M.

Dowód. Z zaªo»enia, »e ªa«cuch jest nieokresowy i z Twierdzenia 3 istnieje N < ∞ takie,

»e (P ⁿ ) _i,i > 0 , dla ka»dego i ∈ {1, . . . , k} i dla ka»dego n ≥ N. Niech s i , s _j ∈ S b¦d¡

dowolnymi ale ustalonymi stanami. Z zaªo»enia, »e ªa«cuch jest nieredukowalny mo»emy znale¹¢ n i,j takie, »e (P ⁿ

) _i,j > 0 . Niech M i,j = N + n _i,j . Dla ka»dego m ≥ M i,j , mamy

P(X _m = s _j | X ₀ = s _i ) = P(X _m−n

= s _i , X _m = s _j | X ₀ = s _i )

= P(X _m−n

= s _i | X ₀ = s _i )P(X _m = s _j | X _m−n

= s _i )

> 0

(indeks m − n i,j jest dodatni poniewa» m − n i,j ≥ M − n _i,j = N ). Pokazali±my zatem, »e (P ^m ) _i,j > 0 dla ka»dego m ≥ M i,j . Aby sko«czy¢ dowód wystarczy przyj¡¢

M = max{M _1,1 , M _1,2 , . . . , M _1,k , M _2,1 , . . . , M _k,k }.

4 Rozkªad stacjonarny

Denicja 7. Niech (X 1 , X ₂ , . . .) b¦dzie ªa«cuchem Markowa o sko«czonym zbiorze stanów S = {s ₁ , . . . , s _k } i macierzy przej±cia P . Wektor π = (π 1 , . . . , π _k ) nazywamy rozkªadem stacjonarnym ªa«cucha Markowa, je±li speªnia warunki

• π _i ≥ 0 dla i = 1, . . . , k oraz P ^k

i=1

π _i = 1 ,

P

Wªasno±¢ pierwsza mówi nam, »e π musi by¢ rozkªadem prawdopodobie«stwa na {s 1 , . . . , s _k } . Z wªasno±ci drugiej wynika, »e je±li rozkªad pocz¡tkowy µ ⁽⁰⁾ równa si¦ π, to

µ ⁽¹⁾ = µ ⁽¹⁾ P = πP = π, a przez iteracj¦ otrzymujemy µ ⁽ⁿ⁾ = π dla ka»dego n.

W dalszej cz¦±ci tego rozdziaªu rozwa»a¢ b¦dziemy zagadnienia istnienia i unikalno±ci rozkªadu stacjonarnego oraz zbadamy zbie»no±¢ do rozkªadu stacjonarnego przy dowolnym rozkªadzie pocz¡tkowym. Musimy wi¦c okre±li¢ co znaczy, »e ci¡g rozkªadów prawdopodobie«stwa ν ⁽¹⁾ , ν ⁽²⁾ , . . . zbiega do rozkªadu ν. W tym celu wprowadzimy przestrze« metryczn¡ okre±lon¡

na rozkªadach prawdopodobie«stwa, z metryka zwan¡ total variation distance.

Denicja 8. Je±li ν ⁽¹⁾ = (ν ₁ ⁽¹⁾ , . . . , ν _k ⁽¹⁾ ) i ν ⁽²⁾ = (ν ₁ ⁽²⁾ , . . . , ν _k ⁽²⁾ ) s¡ rozkªadami praw- dopodobie«stwa na S = {s 1 , . . . , s _k } , to total variation distance mi¦dzy ν ⁽¹⁾ i ν ⁽²⁾ deniujemy jako

d _{T V} (ν ⁽¹⁾ , ν ⁽²⁾ ) = 1 2

X k i=1

| ν _i ⁽¹⁾ − ν _i ⁽²⁾ | .

Je±li ν ⁽¹⁾ , ν ⁽²⁾ , . . . s¡ rozkªadami prawdopodobie«stwa na S, to mówimy, »e ν ⁽ⁿ⁾ zbiega do ν w sensie caªkowitej wariacji gdy n → ∞, je±li

n→∞ lim d _{T V} (ν ⁽ⁿ⁾ , ν) = 0 Piszemy wtedy ν ^{(n) T V} −→ ν .

Odlegªo±¢ w tej przestrzenie metrycznej posiada naturaln¡ interpretacj¦, któr¡ wyra»a równo±¢

d _{T V} (ν ⁽¹⁾ , ν ⁽²⁾ ) = max

A⊆S | ν ⁽¹⁾ (A) − ν ⁽²⁾ (A) | . Dla dalszych rozwa»a« niezb¦dne jest wprowadzenie nowej denicji:

Denicja 9. Je±li ªa«cuch Markowa (X 0 , X ₁ , . . .) o sko«czonym zbiorze stanów S = {s ₁ , . . . , s _k } i macierzy przej±¢ P zaczyna si¦ w stanie s i (X 0 = s _i ), to czas pierwszych odwiedzin dla stanu s j deniujemy jako

T _i,j = min{n ≥ 1 : X _n = s _j }.

Przyjmujemy przy tym, »e je±li ªa«cuch nigdy nie dochodzi do stanu s j , to T i,j = ∞ . Deniujemy równie» ±redni czas odwiedzin

τ _i,j = E | T _i,j | .

W przypadku, gdy i = j warto±¢ τ i,i nazywamy ±rednim czasem powrotu dla stanu s i .

Mo»emy teraz przedstawi¢ lemat, który wykorzystany b¦dzie w kluczowym twierdzeniu

tego rozdziaªu o zbie»no±ci do rozkªadu stacjonarnego.

Lemat 2. Dla ka»dego nieredukowalnego i nieokresowego ªa«cucha Markowa o sko«czonym zbiorze stanów S = {s 1 , . . . , s _k } i macierzy przej±c¢ P mamy, »e dla ka»dych dwóch stanów s _i , s _j ∈ S , je±li ªa«cuch zaczyna si¦ w s i , to

P(T _i,j < ∞) = 1.

Co wi¦cej, ±redni czas powrotu τ i,j jest sko«czony E | T _i,j |< ∞.

Twierdzenie 4 (Twierdzenie o zbie»no±ci ªa«cuchów Markowa). Niech (X 1 , X ₂ , . . .) b¦dzie nieredukowalnym i nieokresowym ªa«cuchem Markowa o sko«czonym zbiorze stanów {s 1 , . . . , s _k } , macierzy przej±¢ P oraz rozkªadzie pocz¡tkowym µ ⁽⁰⁾ . Istnieje wtedy unikalny rozkªad stacjonarny π , taki, »e niezale»nie od rozkªadu pocz¡tkowego µ ⁽⁰⁾ zachodzi

µ ⁽ⁿ⁾ −→ π, gdy (n → ∞).