Procesy Markowa
Procesy Stochastyczne, wykład 5, T. Byczkowski,
Procesy Stochastyczne, PPT, Matematyka MAP1136
12 marzec, 2012
Procesy Markowa
Podstawowe pojęcia, definicje
(Xt)t∈T, T ⊆ [0, ∞), jest procesem Markowa, gdy dla dow.
s ∈ T przyszła ewolucja (zachowanie w t ≥ s) zależy tylko od Xs
(=”teraźniejszość”) nie zależy od ”przeszłości” (tzn. od Xr; r < s).
Uściślenie
X posiada własność Markowa, gdy dla dow. B ∈ σ{Xt; t ≥ s}, s - dow. ustalone zachodzi
P(B|Xt; t ≤ s) = P(B|Xs), z prawd. 1.
Wnioski
P(B|Xr, Xs) = P(B|Xs), dla dow. r < s, z prawd. 1.
[Nakładamy na poprzednią równość E[·|Xr, Xs] i korzystamy z wł. uśredniania dla w.w.o.]
Nakładając obustronnie E[·|Xr] otrzymujemy P(B|Xr) = E[P(B|Xs)|Xr], z prawd. 1.
Kładąc B = {Xt∈ A}, t > s, A - borelowski, otrzymujemy P(Xt ∈ A|Xr) = E[P(Xt ∈ A|Xs)|Xr], z prawd. 1 .
Podstawowe pojęcia, definicje
P(B|Xs) = E[1B|Xs] = φ(Xs, B) z prawd. 1 oraz φ(x , B) -funkcja borelowska, dla ust. B - mierzalnego (jako w.w.o. wzgl. zmiennej losowej Xs). Dla B = {Xt ∈ A}, φ(x, {Xt ∈ A}) jest ”rozkładem”
Xt wzgl. φ(x , ·).
Prawdopodobieństwo przejścia Ps,t(x , A) z punktu x do zbioru A w czasie od s do t, s < t, definiujemy wzorem:
P(Xt ∈ A|Xs) = Ps,t(Xs, A) z prawd. 1 , przy założeniu, że Ps,t(x , ·) jest miarą probabilistyczną, dla każdego x .
Jeśli istnieje prawd. przejścia (Ps,t)s<t to w.w.o. możemy wyrazić jako całki wzgl. miar Ps,t(x , dy ):
E[ψ(Xt)|Xs = x ] =R ψ(y )Ps,t(x , dy ).
Przepisując ostatnią równość w wnioskach otrzymujemy Pr ,t(x , A) =
Z
P(Xt ∈ A|Xs= y )Pr ,s(x , dy ) = Z
Ps,t(y , A)Pr ,s(x , dy ).
Procesy Markowa
Prawdopodobieństwo przejścia P
s,t(x , dy )
(Ps,t(x , dy ))s≤t - prawdopodobieństwo przejścia na (S , BS) gdy (i). Ps,t(x , ·) jest miarą prob. na przestrzeni mierzalnej (S , BS), dla każdego x ∈ S ,
(ii). Ps,t(·, A) jest funkcją BS-mierzalną na p. metr. S , (iii). Ps,s(x , E ) = 1E(x ) = δx(E ),
(iv). Pr ,t(x , A) =R Ps,t(y , A)Pr ,s(x , dy ) dla r ≤ s ≤ t.
Uwaga. Przestrzeń metryczną (S , BS) z σ-ciałem BS zbiorów borelowskich nazywamy przestrzenią stanów. W naszym przypadku (S , BS) = (Rn, BRn). Własność (iv) nazywamy tożsamością Chapmana-Kołmogorowa.
Dla zadanego prawdopodobieństwa przejścia Ps,t(x , dy ) na (S , BS) istnieje proces Markowa (Xt) o wartościach w S taki, że dla s < t P(Xt∈ A|Xs) = Ps,t(Xs, A), z prawd. 1, dla dowolnego A ∈ BS.
Rozkłady skończenie wymiarowe procesu Markowa
Wzór na prawdopodobieństwo warunkowe:
P(\
i
Ai) = P(An|An−1, . . . , A1)P(An−1|An−2, . . . , A1) . . . P(A1);
Odpowiednik w terminach w.w.o.: dla dow. układu t1, t2, . . . , tk, takiego, że 0 ≤ t1< . . . < tk, zachodzi
E[Y
i
1Ai(Xti)] = E[1A1(Xt1)E[1A2(Xt2)E[1A3(Xt3) . . .]|Xt2, Xt1|Xt1]]
Przechodząc na całkowanie względem prawdopod. przejść oraz rozkładu Xt1 otrzymujemy:
E[Y
i
1Ai(Xti)] = Z
A1
Pt1(d x1) Z
A2
Pt1;t2(x1; d x2) Z
A3
Pt1,t2;t3(x1, x2; d x3) . . .
Z
Ak
Pt1,...,tk−1;tk(x1, x2. . . , xk−1; d xk).
Pt1 oznacza rozkład Xt1 oraz Pt1,...,tk−1;tk(x1, x2. . . , xk−1; ·) = P(Xtk+1 ∈ ·|Xt1 = x1, Xt2 = x2, . . . , Xtk = xk).
Procesy Markowa
Rozkłady skończenie wymiarowe procesu Markowa
(Xt) - proces Markowa, więc Pt1,...,tk−1;tk(x1, x2. . . , xk−1; ·) = Ptk−1;tk(xk−1; ·). Powyższy wzór przyjmuje ostatecznie postać:
E[Y
i
1Ai(Xti)] = Z
A1
Pt1(d x1) Z
A2
Pt1;t2(x1; d x2) Z
A3
Pt2;t3(x2; d x3)
. . . Z
Ak
Ptk−1;tk(xk−1; d xk).
Dla t1 = 0 rozkład procesu wyznaczony jest przez P0 - rozkład początkowy oraz prawd. przejścia Ps,t(x , dy ). Na odwrót: mając zadany rozkład początkowy i prawd. przejścia, prawa strona powyższego wzoru definiuje zgodną rodzinę miar Pt0,t1,...,tk na prostokątach mierzalnych. Gdy nieskończenie wiele ”osi”, to zapis prostokąta niejednoznaczny, zgodność: możliwe rozszerzenie. Np.
gdy Ai = S (cała przestrzeń), to Pt0,t1,...,tk(A1× · · · Ai × · · · × Ak)
= Pt0,t1,...,ti −1,ti +1···tk(A1× · · · Ai −1× Ai +1× · · · × Ak). Zgodność wynika z war. (iv), tj. tożsamości Chapmana-Kołmogorowa.
Zgodna rodzina P
t0,t1,...,tkwyznacza proces
Tw. Kołmogorowa o istnieniu procesu
Niech (S , BS) będzie pewną przestrzenią stanów oraz T ⊆ [0, ∞).
Załóżmy, że S - przestrzeń metryczna, ośrodkowa, zupełna oraz Pt0,t1,...,tk - zgodna rodzina miar probabilistycznych na
(⊗ki =1S , ⊗ki =1BS). Istnieje proces (Xt)t∈T o rozkładach skończenie wymiarowych identycznych z Pt0,t1,...,tk.
Uwaga:. Dowód twierdzenia polega na rozszerzaniu miary z ciała prostokątów mierzalnych w produkcie (⊗t∈TS , ⊗t∈TBS) do miary na σ-ciele generowanym przez takie prostokaty. Przestrzeń
probabilistyczna (Ω, Σ, P) = (⊗t∈TS , ⊗t∈TBS, µ), gdzie µ - rozszerzenie miary - rozkład procesu. Proces definiujemy jako rzutowanie: Xt(ω) = ω(t). W naszym przypadku trzeba sprawdzić, że otrzymaliśmy proces Markowa.
Procesy Markowa
P
s,t(x , dy ) oraz P
0wyznaczają proces Markowa
Sprawdzamy, że dla dowolnego układu 0 ≤ t1 < t2. . . tk < s < t zachodzi:
P(Xt ∈ A|Xt1, Xt2, . . . , Xtk, Xs) = P(Xt ∈ A|Xs), z prawd. 1 . Obydwie strony dowodzonej równości są mierzalne wzgledem σ-ciała σ{Xt1, . . . , Xtk, Xs}; ponadto zachodzi
Z Y
i
1Ai(Xti)1As(Xs)P(Xt∈ A|Xt1, . . . , Xtk, Xs)dP =
Z Y
i
1Ai(Xti)1As(Xs)1A(Xt)dP = Z
A1
Pt1(d x1) Z
A2
Pt1;t2(x1; d x2). . . Z
As
Ptk;s(xk; d xs) Z
A
Ps;t(xs; d xt).
P
s,t(x , dy ) oraz P
0wyznaczają proces Markowa
Korzystając z postaci miary na prostokątach mierzalnych otrzymujemy jednocześnie
Z Y
i
1Ai(Xti)1As(Xs)Ps,t(Xs, A)dP = Z
A1
Pt1(d x1) Z
A2
Pt1;t2(x1; d x2). . . Z
As
Ps;t(xs; A)Ptk;s(xk; d xs) = Z
A1
Pt1(d x1) Z
A2
Pt1;t2(x1; d x2). . . Z
As
Ptk;s(xk; d xs) Z
A
Ps;t(xs; d xt).
Lemat
Niech (Bu)u≥0 - rodzina σ-ciał, u ∈ [0, ∞); BU = σ{Bu; u ∈ U}.
Jeśli U < V < W to równość
P(BW|BU∪V) = P(BW|BV) z prawd. 1
zachodzi wtedy i tylko wtedy, gdy analogiczna równość zachodzi dla wszystkich skończonych U oraz jednopunktowych V i W .
Procesy Markowa
Jednorodne procesy Markowa
Dalej zakładamy, że Ps,t(x , ·) zależy jedynie od (t − s); taki proces nazywamy jednorodnym. Przyjmujemy oznaczenie
Pt−s(x , A) := Ps,t(x , A), 0 ≤ s < t.
(Pt(x , dy ))t≥0 - prawdopodobieństwo przejścia na (S , BS) gdy (i). Pt(x , ·) jest miarą prob. na przestrzeni mierzalnej (S , BS), dla każdego x ∈ S ,
(ii). Pt(·, A) jest funkcją BS-mierzalną na p. metr. S , (iii). P0(x , E ) = 1E(x ) = δx(E ),
(iv). Ps+t(x , A) =R Pt(x , dy )Ps(y , A).
Uwaga. Gdy zbiór T jest dyskretny (np. T = {0, 1, 2, . . . , }) to mówimy o łańcuchu Markowa; rozróżniamy łańcuchy o dyskretnej lub ciagłej przestrzeni stanów S . Gdy S - dyskretne ale T = [0, ∞) to mówimy, że łańcuch ma czas ciągły. Najciekawszy przypadek:
zarówno czas jak i przestrzeń stanów są ciągłe.
Przykłady procesów Markowa
(i). P = (pij) - macierz stochastyczna, tzn. pij ≥ 0,P
jpij = 1.
Definiujemy
P1(A) =X
j ∈A
pij, (pij = P1(i , {j })).
Z równania Chapmana-Kołmogorowa macierz P2(i , {j }) - przejścia w dwóch krokach - powinna spełniać
pij(2)= P2(i , {j }) =X
k
pikpkj.
Stąd, macierz przejścia P(2) w dwóch krokach, będzie iloczynem macierzy P: P(2) = P2 oraz ogólniej: P(s+k)= P(s)P(k) = Ps+k. Bezpośrednio sprawdzamy, że taka definicja prawd. przejścia pociąga za sobą równość Chapmana-Kołmogorowa, więc każda macierz stochastyczna definiuje prawd. przejścia Pt(x , E ), gdzie T = {0, 1, . . . , }, S = {0, 1, . . . , }, BS = 2S.
Procesy Markowa
Przykłady procesów Markowa cd.
(ii). Niech T = [0, ∞), S = {0, 1, . . . , }, BS = 2S. Dla λ > 0 definiujemy
pi ,i +j(t) := Pt(i , {i + j }) = e−λt(λt)j/j !.
Są to prawd. przejścia w procesie Poissona o intensywności λ.
[P(Xt+h = i + j |Xh= i ) = P(Xt = j ) = pi ,i +j(t)].
(iii). Niech T = [0, ∞), S = R, BS = BR. Dla A borelowskiego na S = R kładziemy
Pt(x , A) = 1/√ 2πt
Z
A−x
e−y2/2tdy Są to prawd. przejścia w procesie Wienera
[P(Xt+h ∈ A|Xh= x ) = P((Xt+h− Xh) + Xh∈ A|Xh= x ) = P(Xt∈ A − x)].