Projekt pn. "IKS - Inwestycja w Kierunki Strategiczne na Wydziale Matematyki i Informatyki UMK"
realizowany w ramach Poddziaªania 4.1.2 Programu Operacyjnego Kapitaª Ludzki
Kurs wyrównawczy - statystyka i prawdopodobie«stwo do przedmiotu: Metody i modele probabilistyczne I rok II st. informatyka
Prowadz¡cy: dr Agnieszka Goroncy
a«cuchy Markowa
De nicja 1. a«cuchem Markowa nazywamy ci¡g zmiennych losowych (Xn)∞n=0 o war- to±ciach w przeliczalnym zbiorze S (przestrzeni stanów) taki, »e dla ka»dego n ∈ N i ka»dego ci¡gu s0, s1, . . . , sn∈ S speªniona jest tzw. wªasno±¢ Markowa postaci
P (Xn= sn|Xn−1 = sn−1, . . . , X1 = s1, X0 = s0) = P (Xn= sn|Xn−1 = sn−1), o ile P (Xn−1= sn−1, . . . , X1 = s1, X0 = s0) > 0.
De nicja 2. Macierz przej±cia na S jest to macierz P = (pij)i,j∈S o wyrazach nieujem- nych, w której suma elementów ka»dego wiersza równa jest 1:
∀i∈SX
j∈S
pij = 1.
Jest to tzw. macierz stochastyczna.
De nicja 3. Rozkªadem pocz¡tkowym ªa«cucha Markowa (Xn)∞n=0 na przestrzeni stanów S = {s1, . . . , sk} nazywamy rozkªad zmiennej losowej X0 i oznaczamy µX0 = (P (X0 = s1), . . . , P (X0 = sk)).
De nicja 4. Macierz przej±cia ªa«cucha Markowa (Xn)∞n=0 w n-tym kroku, n ≥ 1 jest to macierz przej±cia P (n) = (pij(n))i,j∈S, gdzie
p(n)ij = P (Xn= sj|Xn−1 = si), dla wszystkich i, dla których P (Xn−1 = si) > 0.
De nicja 5. a«cuch Markowa (Xn)∞n=0 nazywamy jednorodnym (w czasie), gdy istnieje macierz P = (pij)i,j∈S, b¦d¡ca dla ka»dego n jego macierz¡ przej±cia w n-tym kroku. In- nymi sªowy, je»eli p(n)ij nie zale»¡ od n, to ªa«cuch nazywamy jednorodnym (jednorodnym w czasie) i stosujemy zapis pij.
Mówimy, »e stan sk jest osi¡galny ze stanu sj, gdy pjk(n) > 0 dla pewnego n (ozn.
sj −→ sk. Stany sk i sj nazywamy wzajemnie komunikuj¡cymi si¦, gdy sj −→ sk i sk−→ sj (ozn. sj ←→ sk).
Stan sk nazywamy nieistotnym, gdy istnieje stan sj osi¡galny ze stanu sk, a stan sk nie jest osi¡galny ze stanu sj.
Projekt wspóª nansowany przez Uni¦ Europejsk¡ w ramach Europejskiego Funduszu Spoªecznego
De nicja 6. a«cuch Markowa (Xn)∞n=0 nazywamy nieprzywiedlnym, gdy wszystkie stany wzajemnie komunikuj¡ si¦.
Zbiór stanów C ⊂ S jest zamkni¦ty, je»eli »aden stan spoza C nie da si¦ osi¡gn¡¢ wycho- dz¡c z dowolnego stanu w C.
Pojedynczy stan sk tworz¡cy zbiór zamkni¦ty (pkk= 1) nazywamy pochªaniaj¡cym.
Niech S = {s1, . . . , sk} b¦dzie przestrzeni¡ stanów. Oznaczmy µXn(i) = P (Xn= si),
µXn = (µXn(1), µXn(2), . . . , µXn(k)) = (P (Xn= s1), . . . , P (Xn= sk)).
Twierdzenie 1. Niech (Xn)∞n=0 b¦dzie ªa«cuchem Markowa, S = {s1, . . . , sk} przestrze- ni¡ jego stanów, µX0 rozkªadem pocz¡tkowym, za± P macierz¡ przej±cia. Wówczas dla ka»dego n rozkªad µXn w chwili n speªnia
µXn = µX0Pn.
De nicja 7. Rozkªad prawdopodobie«stwa (πj)j∈S jest rozkªadem stacjonarnym dla ªa«cucha Markowa o macierzy przej±cia P , gdy
π = πP, czyli gdy P
j∈S
πj = 1 oraz ∀j mamy πj ≥ 0i πj =P
i
πipij.
Projekt wspóª nansowany przez Uni¦ Europejsk¡ w ramach Europejskiego Funduszu Spoªecznego
