Procesy stochastyczne
6. Klasyfikacja stanów — zadania do samodzielnego rozwiązania
Zad. 6.1 Niech S = {1, 2, 3, 4}. Przeprowadzić klasyfikację stanów łańcucha Markowa o macierzy przejścia
1 4
1 4
1 4
1 4
0 0 34 14 0 0 0 1 0 0 0 1
Zad. 6.2 Pokazać, że w klasie stanów istotnych relacja ”stany si i sj komunikują się” jest rela- cją równoważności. Wywnioskować stąd, że przestrzeń stanów S łańcucha Markowa można podzielić na rozłączne klasy stanów S0, S1, S2, ... takie, że
1. S0 składa się z wszystkich stanów nieistotnych;
2. Si, i 1 są rozłączne i wewnątrz każdej klasy wszystkie stany komunikują się.
Zad. 6.3 (B. M. P., Ex. 4.24 p. 116) Rozważmy łańcuch Markowa o przestrzeni stanów S = {1, 2, 3, 4, 5} i macierzy przejścia
1
3 0 121 14 13 0 14 0 0 34
1 3
1 12
1
2 0 121 0 13 14 14 16 0 13 0 0 23
Sklasyfikuj stany tego łańcucha.
Zad. 6.4 (K., Ex. 47.5 p. 221) W poniższej macierzy przejścia znakiem x zaznaczono niezerowe współrzędne tej macierzy:
0 0 0 x 0 0 0 0 x 0 x x 0 x 0 0 0 x 0 0 0 0 0 0 0 x 0
x 0 0 0 0 0 0 0 0
0 0 0 0 x 0 0 0 0 0 x 0 0 0 0 0 0 0 0 x 0 0 0 x x 0 0 0 0 x 0 0 0 0 0 0 0 0 0 x 0 0 0 0 x
.
Sklasyfikuj stany łańcucha o takiej macierzy przejścia. Które z tych stanów są okresowe?
Zad. 6.5 (J. S., Zad. 3 str. 286) Czy nieprzywiedlny łańcuch Markowa o wszystkich elementach na przekątnej macierzy przejścia równych 0 musi być okresowy?
