Procesy stochastyczne
7. Rozkłady stacjonarne — zadania do samodzielnego rozwiązania
Zad. 7.1 (J. S., Zad. 2 str. 297) Znajdź wszystkie rozkłady stacjonarne dla łańcucha Markowa o macierzy przejścia
1 3
2
3 0 0
1 4
3
4 0 0
0 0 15 45 0 0 45 15
Zad. 7.2 (J. S., Zad. 5 str. 298) Niech S = {1, ..., m}, a P będzie macierzą podwójnie stochastycz- ną, tj. macierzą stochastyczną taką, że Pmi=1pij = 1, j = 1, ..., m. Udowodnić, że rozkład πi ≡ m1, i = 1, ..., m jest rozkładem stacjonarnym dla łańcucha Markowa z tą macierzą przejścia.
Zad. 7.3 (J. S., Zad. 6 str. 298) Niech S = {0, ..., k − 1}, a macierz P jest taka, że jej wiersze są cyklicznymi permutacjami wiersza pierwszego, tj. p1j = pj >0, pij = p(j−i)(modk) (ten łańcuch opisuje błądzenie przypadkowe po okręgu dyskretnym). Znajdź granicę limn→∞P(Xn= i).
Zad. 7.4 (B. M. P.) Rozważmy łańcuch Markowa opisujący poruszanie się po wierzchołkach trój- kąta. W każdym kroku możemy przejść do sąsiedniego wierzchołka, przy czym z prawdopo- dobieństwem p poruszamy się przeciwnie do wskazówek zegara, a z prawdopodobieństwem 1 − p zgodnie ze wskazówkami zegara. Wyznacz macierz przejścia oraz wykaż, że łańcuch jest nieprzemienny i nieokresowy. Wyznacz rozkład stacjonarny tego łańcucha oraz znajdź średnią częstość przebywania łańcucha w każdym z wierzchołków.
Zad. 7.5 (F., Zad. 7 str. 348) Pierwsza kolumna macierzy P ma postać {q0, q1, ...}, natomiast pi,i+1 = 1 − qi dla i = 0, 1, 2, ... Udowodnij, że wszystkie stany są chwilowe wtedy i tylko wtedy, gdy P∞j=0qj <∞. Znajdź rozkład stacjonarny o ile istnieje.
