Wstęp # i znów ten Bolek i Lolek ;)

(1)

Podstawowe definicje Macierze przejścia Klasyfikacja stanów Okresowość Twierdzenie ergodyczne

Rachunek prawdopodobieństwa Rozdział 8. Łańcuchy Markowa.

8.0. Łańcuchy Markowa – wiadomości podstawowe.

Katarzyna Rybarczyk-Krzywdzińska

(2)

Podstawowe definicje

Wstęp # i znów ten Bolek i Lolek ;)

(3)

Podstawowe definicje Macierze przejścia Klasyfikacja stanów Okresowość Twierdzenie ergodyczne Podstawowe definicje

Wstęp # i znów ten Bolek i Lolek ;)

(4)

Wstęp # i znów ten Bolek i Lolek ;)

(5)

Podstawowe definicje Macierze przejścia Klasyfikacja stanów Okresowość Twierdzenie ergodyczne Podstawowe definicje

Wstęp # i znów ten Bolek i Lolek ;)

(6)

Definicja łańcucha Markowa

Definicja

Ciągzmiennych losowych (Xn)^∞_n=0

o wartościach w przeliczalnym zbiorze S (przestrzeń stanów) nazywamyłańcuchem Markowa

wtedy i tylko wtedy, gdy dla każdego n ∈ N

i dla każdego ciągu s₀, s₁, . . . , s_n∈ S mamy

P (Xn = sn|X_n−1= sn−1,Xn−2= sn−2, . . . , X0= s0) =

= P (Xn= s_n|X_n−1= s_n−1) , jeśli tylko P (Xn−1= s_n−1, X_n−2= s_n−2, . . . , X₀ = s₀) > 0

(7)

UMOWA

Aby uniknąć nadmiaru indeksów zakładamy, że przestrzeń

stanów S jest zbiorem kolejnych liczb całkowitych {1, 2, 3, . . . , k}

lub S = N. Oczywiście można wszystkie definicje i twierdzenia

„przepisać” na przypadek ogólny S = {s₁, s₂, . . .}.

(8)

Rozkład początkowy - wstęp

(9)

Rozkład początkowy

Definicja

Jeśli (X_n)^∞_n=0 jest łańcuchem Markowa,

torozkład zmiennej losowejX0

nazywamy

rozkładem początkowym.

Przykład 1

P (X0= 1) = ¹₆, P (X0= 2) = ¹₃, P (X⁰= 3) = ¹₆, P (X0= 4) = 0, P (X⁰= 5) = 0, P (X⁰= 6) = ¹₆, P (X0= 7) = 0, P (X0= 8) = ¹₆,

(10)

Rozkład początkowy

Definicja

Jeśli (X_n)^∞_n=0 jest łańcuchem Markowa,

torozkład zmiennej losowejX0

nazywamy

rozkładem początkowym.

Przykład 1

P (X0= 1) = ¹₆, P (X0= 2) = ¹₃, P (X⁰= 3) = ¹₆, P (X0= 4) = 0, P (X0= 5) = 0, P (X0= 6) = ¹₆, P (X0= 7) = 0, P (X0= 8) = ¹₆,

(11)

Macierze przejścia

Macierz przejścia - wstęp







0 ¹₂ 0 0 0 ¹₂ 0 0

1

3 0 ¹₃ ¹₃ 0 0 0 0

0 ¹₂ 0 0 0 0 0 ¹₂

0 0 0 1 0 0 0 0

0 0 0 0 0 0 1 0

1

2 0 0 0 0 0 ¹₂ 0

0 0 0 0 ¹₃ ¹₃ 0 ¹₃ 0 0 ¹₂ 0 0 0 ¹₂ 0







(12)

Macierz przejścia - definicja

Definicja Macierz

P = [p_ij]_{i ,j ∈S} nazywamymacierzą przejścia (macierzą stochastyczną) na S , gdy

– ma wszystkie wyrazy nieujemne i

– suma każdego wiersza wynosi 1, tzn.

∀_{i ∈S}^X

j ∈S

pij = 1.







0 ¹₂ 0 0 0 ¹₂ 0 0

1

3 0 ¹₃ ¹₃ 0 0 0 0

0 ¹₂ 0 0 0 0 0 ¹₂

0 0 0 1 0 0 0 0

0 0 0 0 0 0 1 0

1

2 0 0 0 0 0 ¹₂ 0

0 0 0 0 ¹₃ ¹₃ 0 ¹₃ 0 0 ¹₂ 0 0 0 ¹₂ 0







(13)

Jednorodny łańcuch Markowa

Definicja

Łańcuch Markowa nazywamyjednorodnym (albo jednorodnymw czasie), gdyistnieje macierz P= [pij]_{i ,j ∈S} będącadla każdego n

macierzą przejścia w n–tym kroku.

tzn.

∀_{n∈N, i,j∈S}P (Xn= j |Xn−1 = i ) = pij.







0 ¹₂ 0 0 0 ¹₂ 0 0

1

3 0 ¹₃ ¹₃ 0 0 0 0

0 ¹₂ 0 0 0 0 0 ¹₂

0 0 0 1 0 0 0 0

0 0 0 0 0 0 1 0

1

2 0 0 0 0 0 ¹₂ 0

0 0 0 0 ¹₃ ¹₃ 0 ¹₃ 0 0 ¹₂ 0 0 0 ¹₂ 0







(14)

Czy Bolek i Lolek są „ jednorodni” w swoim postępowaniu?

Od tej pory będziemy rozważać tylko jednorodne łańcuchy Markowa.

(15)

Prawdopodobieństwa przejścia w kilku krokach

Przykład 2

Niech (X_n)^∞_n=1 będzie łańcuchem Markowa wędrówki Bolka i Lolka zaczętej zgodnie z rozkładem początkowym z Przykładu 1.

Jaka jest szansa na to, żepo kroku 1 Bolek i Lolek będą w stanie 1, 2, . . . , 8?

h₁

6,1 3,1

6, 0, 0,1 6, 0,1

6

i







0 ¹₂ 0 0 0 ¹₂ 0 0

1

3 0 ¹₃ ¹₃ 0 0 0 0

0 ¹₂ 0 0 0 0 0 ¹₂

0 0 0 1 0 0 0 0

0 0 0 0 0 0 1 0

1

2 0 0 0 0 0 ¹₂ 0

0 0 0 0 ¹₃ ¹₃ 0 ¹₃

0 0 ¹₂ 0 0 0 ¹₂ 0







=

h₇

36,1 6, 7

36,1 9, 0, 1

12,1 6, 1

12

i

gdzie pi ,n= P (Xn= i )

(16)

Prawdopodobieństwa przejścia w kilku krokach

Przykład 2

Niech (Xn)^∞_n=1 będzie łańcuchem Markowa wędrówki Bolka i Lolka zaczętej zgodnie z rozkładem początkowym z Przykładu 1.

h₇

36,1 6, 7

36,1 9, 0, 1

12,1 6, 1

12

i







0 ¹₂ 0 0 0 ¹₂ 0 0

1

3 0 ¹₃ ¹₃ 0 0 0 0

0 ¹₂ 0 0 0 0 0 ¹₂

0 0 0 1 0 0 0 0

0 0 0 0 0 0 1 0

1

2 0 0 0 0 0 ¹₂ 0

0 0 0 0 ¹₃ ¹₃ 0 ¹₃

0 0 ¹₂ 0 0 0 ¹₂ 0







=

h₇

72, 7 36, 7

72,1 6, 1

18,11 72, 1

12,11 72

i

(17)

Prawdopodobieństwa przejścia w kilku krokach

Przykład 2

2

h₁

6,1 3,1

6, 0, 0,1 6, 0,1

6

i







0 ¹₂ 0 0 0 ¹₂ 0 0

1

3 0 ¹₃ ¹₃ 0 0 0 0

0 ¹₂ 0 0 0 0 0 ¹₂

0 0 0 1 0 0 0 0

0 0 0 0 0 0 1 0

1

2 0 0 0 0 0 ¹₂ 0

0 0 0 0 ¹₃ ¹₃ 0 ¹₃

0 0 ¹₂ 0 0 0 ¹₂ 0







=

h₇

72, 7 36, 7

72,1 6, 1

18,11 72, 1

12,11 72

i

(18)

Prawdopodobieństwa przejścia w kilku krokach

Przykład 2

Jaka jest szansa na to, żepo kroku n Bolek i Lolek będą w stanie 1, 2, . . . , 8?

n h₁

6,1 3,1

6, 0, 0,1 6, 0,1

6

i







0 ¹₂ 0 0 0 ¹₂ 0 0

1

3 0 ¹₃ ¹₃ 0 0 0 0

0 ¹₂ 0 0 0 0 0 ¹₂

0 0 0 1 0 0 0 0

0 0 0 0 0 0 1 0

1

2 0 0 0 0 0 ¹₂ 0

0 0 0 0 ¹₃ ¹₃ 0 ¹₃

0 0 ¹₂ 0 0 0 ¹₂ 0







=

p_1,n, p_2,n, p_3,n, p_4,n, p_5,n, p_6,n, p_7,n, p_8,n

gdzie pi ,n= P (Xⁿ= i )

(19)

Prawdopodobieństwo przejścia w n krokach.

Fakt

Niech (X_n)^∞_n=0 będzie łańcuchem Markowa

z przestrzenią stanów S = {1, 2, . . . , k}. Oznaczmy P(n) = Pⁿ= [p_ij(n)]_{i ,j ∈S}. Wtedy

(i) p_{i ,j}(n) jest prawdopodobieństwem przejścia w n krokach ze stanu i do stanu j

P (Xn+m= j |X_m= i ) = p_{i ,j}(n).

(ii) W szczególności, przy rozkł. początkowym ¯p = [p1, . . . , pk],

¯

p · Pⁿ= [P (Xn= 1) , . . . , P (Xn= k)].

(20)

Klasyfikacja stanów

Osiągalność

Definicja

Dla i , j ∈ S będziemy mówili, że j jestosiągalny ze stanu i (ozn. i → j ) jeśli p_ij(n) > 0 dla pewnego n.

Gdy j nie jest osiągalny z i będziemy pisać i 6→ j .

Definicja

Stany i , j ∈ S będziemy nazywali wzajemnie skomunikowanymi gdy i → j oraz j → i (ozn. i ↔ j ).

Wierzchołki parami wzajemnie skomunikowanedzielą zbiór stanów na rozłączne zbiory. Tutaj: {4}, {1, 2, 3, 5, 6, 7, 8}

.

(21)

Osiągalność

Definicja

Wierzchołki parami wzajemnie skomunikowanedzielą zbiór stanów na rozłączne zbiory. Tutaj: {4}, {1, 2, 3, 5, 6, 7, 8}

.

(22)

Osiągalność

Definicja

Wierzchołki parami wzajemnie skomunikowanedzielą zbiór stanów na rozłączne zbiory. Tutaj: {4}, {1, 2, 3, 5, 6, 7, 8}.

(23)

Osiągalność

Definicja

Stan i nazywamynieistotnym, gdy istnieje j taki, że

i → j ; j 6→ i

Definicja

Stan i taki, że p_ii = 1 nazywamy pochłaniającym.

(24)

Osiągalność

Definicja

Stan i nazywamynieistotnym, gdy istnieje j taki, że

i → j ; j 6→ i Definicja

Stan i taki, że p_ii = 1 nazywamy pochłaniającym.

(25)

Osiągalność

Definicja

Łańcuch Markowa będziemy nazywali nieprzywiedlnym, gdy wszystkie stany wzajemnie komunikują się.

(26)

Osiągalność

Definicja

Łańcuch Markowa będziemy nazywali nieprzywiedlnym, gdy wszystkie stany wzajemnie komunikują się.

(27)

Podstawowe definicje Macierze przejścia Klasyfikacja stanów Okresowość Twierdzenie ergodyczne Okresowość

Definicja

Okresem stanu j nazywamy liczbę o(j ) = NWD{n : pjj(n) > 0}, tzn. największy wspólny dzielnik zbioru takich n, że powrót do stanu j może nastąpić po n krokach.

Przykład 3

p1,1(1) = 0, p1,1(2) > 0, p1,1(3) = 0 p1,1(4) > 0 p1,1(5) = 0 p1,1(6) > 0 . . .

Ogólnie:

p1,1(2n + 1) = 0, p1,1(2n) > 0, czyli {n : p1,1> 0} − zb. l. parzystych, stąd o(1) = 2

(28)

Definicja

Przykład 3

p1,1(1) = 0, p1,1(2) > 0, p1,1(3) = 0 p1,1(4) > 0 p1,1(5) = 0 p1,1(6) > 0 . . .

Ogólnie:

(29)

Definicja

Przykład 3

p1,1(1) = 0, p1,1(2) > 0, p1,1(3) = 0 p1,1(4) > 0 p1,1(5) = 0 p1,1(6) > 0 . . . Ogólnie:

(30)

Twierdzenie

W nieprzywiedlnym łańcuchu Markowa wszystkie stany mają ten sam okres.

Definicja

Nieprzywiedlnyłańcuch Markowa nazywamyokresowym, gdy jego stany są okresowe z okresem d > 1. W przeciwnym przypadku łańcuch nazywamynieokresowym.

(31)

Twierdzenie

Definicja

Nieprzywiedlnyłańcuch Markowa nazywamyokresowym, gdy jego stany są okresowe z okresem d > 1.

W przeciwnym przypadku łańcuch nazywamynieokresowym.

(32)

Okresowość

Twierdzenie

Definicja

Nieprzywiedlnyłańcuch Markowa nazywamyokresowym, gdy jego stany są okresowe z okresem d > 1.

W przeciwnym przypadku łańcuch nazywamynieokresowym.

(33)

Twierdzenie ergodyczne

Macierz przejścia - przypomnienie

Niech P będzie macierzą przejścia. Jeżeli

Pⁿ= [pij(n)]i ,j ∈S, to P (Xn= j |X0= i ) = pi ,j(n) jest prawdopodobieństwem przejścia w n krokach do stanu j zaczynając ze stanu i .

Dlatego, dla rozkładu początkowego

¯

p = (p1, p2, . . . , p_k) (pi = P (X0= i )), wektor

¯

p · Pⁿ= (P (Xn= 1) , . . . , P (Xn = k))

jest rozkładem prawdopodobieństwa stanów po n–tym kroku.

(34)

Macierz przejścia - przypomnienie

Niech P będzie macierzą przejścia. Jeżeli

Pⁿ= [pij(n)]i ,j ∈S, to P (Xn= j |X0= i ) = pi ,j(n) jest prawdopodobieństwem przejścia w n krokach do stanu j zaczynając ze stanu i .

Dlatego, dla rozkładu początkowego

¯

p = (p1, p2, . . . , p_k) (pi = P (X0= i )), wektor

¯

p · Pⁿ= (P (Xn = 1) , . . . , P (Xn= k))

jest rozkładem prawdopodobieństwa stanów po n–tym kroku.

(35)

Rozkład stacjonarny

Definicja

Mówimy, że rozkład prawdopodobieństwa π = (π_i)_{i ∈S} jest rozkładem stacjonarnym łańcucha Markowa z przestrzenią stanów S i o macierzy przejścia P, gdy

π = πP.

Tzn.:

π_i  0, ∀_{i ∈S} i^P_{i ∈S}π_i = 1;

π_i =^P_{j ∈S}π_jp_ij, ∀_{i ∈S}.

¯

p · Pⁿ= (P (Xⁿ= 1) , . . . , P (Xⁿ= k))

jest rozkładem prawdopodobieństwa stanów po n-tym kroku. A gdy ¯p = π....?

(36)

Twierdzenie ergodyczne

Dowolnynieprzywiedlny i nieokresowy łańcuch Markowa o skończonej przestrzeni stanów S

majednoznacznie wyznaczony rozkład stacjonarnyπ = (π_j)_{j ∈S} oraz dla dowolnych i , j ∈ S

n→∞lim p_ij(n) = π_j. W dodatku dla dowolnego j ∈ S mamy πj = _µ¹

j, gdzie µj jest średnim czasem powrotu do stanu j .

(37)

Konsekwencje twierdzenia ergodycznego

Dla nieprzywiedlnego i nieokresowego łańcucha Markowa z macierzą przejść P istnieje

dokładnie jeden wektor π = (π1, ..., πk) taki, że πP = π.

Własności wektora π:

Z jakiegokolwiek stanu początkowego i ∈ S startujemy mamy:

∀_{j ∈S} lim

n→∞P (Xn= j |X₀ = i ) = lim

n→∞p_ij(n) = π_j.

Tzn. gdziekolwiek zaczniemy, to pod dużej liczbie kroków jesteśmy w stanie j z prawdopodobieństwem bliskim π_j.

W dodatku, jeśli zaczniemy w i , to średnia liczba kroków, żeby tam powrócić po raz pierwszy jest równa 1/π_i.

(38)

Konsekwencje twierdzenia ergodycznego

∀_{j ∈S} lim

n→∞P (Xn= j |X₀ = i ) = lim

n→∞p_ij(n) = π_j.

(39)

Konsekwencje twierdzenia ergodycznego

∀_{j ∈S} lim

n→∞P (Xn= j |X₀ = i ) = lim

n→∞p_ij(n) = π_j.

(40)

Konsekwencje twierdzenia ergodycznego

Przykład 4

Łańcuch Markowa wędrówki Bolka i Lolka ma rozkład stacjonarny:

π =

2 17, 3

17, 2 17, 2

17, 1 17, 2

17, 3 17, 2

17

Jak długo sobie pospacerują, to prawdopodobieństwo, że w danej chwili są w budynku (stan 4) będzie bliskie 2/17.

Jeśli zaczną w 2, to średnio za π₂⁻¹= 17/3 „przejść” będą z powrotem.

(41)

Zastosowania

losowanie próbki zgodnie z pewnym rozkładem

prawdopodobieństwa „w przybliżeniu” (metoda Monte Carlo, tasowanie kart);

PageRank firmy Google;

programy do rozpoznawania mowy;

modelowanie zachowań na rynku w ekonomii;

algorytmiczne komponowanie muzyki;

i wiele, wiele innych ...

(42)

Zadanie – trening przed kolokwium

Dla łańcuchów Markowa przedstawionych obrazowo na kolejnej stronie

1 podaj:

1 macierz przejścia;

2 stany osiągalne z 1;

3 podział przestrzeni stanów S na zbiory stanów parami wzajemnie skomunikowanych;

4 wszystkie stany nieistotne;

5 wszystkie stany pochłaniające;

2 dla wszystkich łańcuchów nieprzywiedlnych określ czy są okresowe, podaj ich okres;

3 dla łańcuchów spełniających założenia twierdzenia

ergodycznego podaj rozkład stacjonarny i wartość oczekiwaną czasu powrotu do stanu 4.

(43)

Podstawowe definicje Macierze przejścia Klasyfikacja stanów Okresowość Twierdzenie ergodyczne Twierdzenie ergodyczne