Seria 13. Łańcuchy Markowa.
1. Wykazać, że dla stanu chwilowego i po i zachodzi wzór Fii = Pi
1 + Pi
.
2. Wykazać, że jeśli stan j jest powracający oraz i → j, toP∞
n=1pij(n) = ∞.
3. Wykazać, że jeśli j jest stanem chwilowym, toP
npi,j(n) < ∞ dla dowolnego stanu i. W szcze- gólności limnpij(n) = 0.
4. Udowodnić, że dla skończonego łańcucha Markowa j jest stanem chwilowym wtedy i tylko wtedy, gdy jest stanem nieistotnym.
5. Udowodnić, że zagadnieniu ruiny średni czas oczekiwania wynosi ab.
6. Udowodnić, że jeśli łańcuch Markowa jest powracający, to Fi,j = 1 dla każdych stanów i, j.
7. Niech łańcuch Markowa o przestrzeni stanów S = {0, 1, 2, 3, ...} ma macierz przejścia postaci p01 = p0, p00= 1 − p0, pn,n+1 = pn, pn,0 = 1 − pn. Kiedy ten łańcuch jest powracający, a kiedy chwilowy.
8. Czy łańcuch Markowa o macierzy przejścia
0 0 1 1 0 0 0 1 0
,
0 14 0 34 0 13 23 0
1 0 0 0
0 0 1 0
jest łańcuchem okresowym?
9. Udowodnić, że jeśli dla macierzy przejścia nieprzywiedlnego łańcucha Markowa istnieje j takie, że pjj > 0, to łańcuch nie jest okresowy.
10. W pudełku A jest 6 kul ponumerowanych liczbami od 1 do 6, w pudełku B ani jednej. Wykonano 100000 rzutów kostką i po każdym rzucie przekładano kule z wylosowanym numerem do drugiego pudełka. Jaka jest mniej więcej szansa, że pudełko B jest puste?
11. Znaleźć wszystkie rozkłady stacjonarne dla łańcucha Markowa o macierzy przejścia
P =
1 3
2
3 0 0
1 4
3
4 0 0
0 0 15 45 0 0 45 15
12. Udowodnić, że jeśli π jest rozkładem stacjonarnym oraz j nie jest stanem powracającym dodatnim, to πj= 0.
1
