• Nie Znaleziono Wyników

Procesy Markowa. Procesy Stochastyczne, wykład 5, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP marzec, 2012.

N/A
N/A
Protected

Academic year: 2022

Share "Procesy Markowa. Procesy Stochastyczne, wykład 5, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP marzec, 2012."

Copied!
12
0
0

Pełen tekst

(1)

Procesy Markowa

Procesy Stochastyczne, wykład 5, T. Byczkowski,

Procesy Stochastyczne, PPT, Matematyka MAP1136

12 marzec, 2012

Procesy Markowa

(2)

Podstawowe pojęcia, definicje

(Xt)t∈T, T ⊆ [0, ∞), jest procesem Markowa, gdy dla dow.

s ∈ T przyszła ewolucja (zachowanie w t ≥ s) zależy tylko od Xs

(=”teraźniejszość”) nie zależy od ”przeszłości” (tzn. od Xr; r < s).

Uściślenie

X posiada własność Markowa, gdy dla dow. B ∈ σ{Xt; t ≥ s}, s - dow. ustalone zachodzi

P(B|Xt; t ≤ s) = P(B|Xs), z prawd. 1.

Wnioski

P(B|Xr, Xs) = P(B|Xs), dla dow. r < s, z prawd. 1.

[Nakładamy na poprzednią równość E[·|Xr, Xs] i korzystamy z wł. uśredniania dla w.w.o.]

Nakładając obustronnie E[·|Xr] otrzymujemy P(B|Xr) = E[P(B|Xs)|Xr], z prawd. 1.

Kładąc B = {Xt∈ A}, t > s, A - borelowski, otrzymujemy P(Xt ∈ A|Xr) = E[P(Xt ∈ A|Xs)|Xr], z prawd. 1 .

(3)

Podstawowe pojęcia, definicje

P(B|Xs) = E[1B|Xs] = φ(Xs, B) z prawd. 1 oraz φ(x , B) -funkcja borelowska, dla ust. B - mierzalnego (jako w.w.o. wzgl. zmiennej losowej Xs). Dla B = {Xt ∈ A}, φ(x, {Xt ∈ A}) jest ”rozkładem”

Xt wzgl. φ(x , ·).

Prawdopodobieństwo przejścia Ps,t(x , A) z punktu x do zbioru A w czasie od s do t, s < t, definiujemy wzorem:

P(Xt ∈ A|Xs) = Ps,t(Xs, A) z prawd. 1 , przy założeniu, że Ps,t(x , ·) jest miarą probabilistyczną, dla każdego x .

Jeśli istnieje prawd. przejścia (Ps,t)s<t to w.w.o. możemy wyrazić jako całki wzgl. miar Ps,t(x , dy ):

E[ψ(Xt)|Xs = x ] =R ψ(y )Ps,t(x , dy ).

Przepisując ostatnią równość w wnioskach otrzymujemy Pr ,t(x , A) =

Z

P(Xt ∈ A|Xs= y )Pr ,s(x , dy ) = Z

Ps,t(y , A)Pr ,s(x , dy ).

Procesy Markowa

(4)

Prawdopodobieństwo przejścia P

s,t

(x , dy )

(Ps,t(x , dy ))s≤t - prawdopodobieństwo przejścia na (S , BS) gdy (i). Ps,t(x , ·) jest miarą prob. na przestrzeni mierzalnej (S , BS), dla każdego x ∈ S ,

(ii). Ps,t(·, A) jest funkcją BS-mierzalną na p. metr. S , (iii). Ps,s(x , E ) = 1E(x ) = δx(E ),

(iv). Pr ,t(x , A) =R Ps,t(y , A)Pr ,s(x , dy ) dla r ≤ s ≤ t.

Uwaga. Przestrzeń metryczną (S , BS) z σ-ciałem BS zbiorów borelowskich nazywamy przestrzenią stanów. W naszym przypadku (S , BS) = (Rn, BRn). Własność (iv) nazywamy tożsamością Chapmana-Kołmogorowa.

Dla zadanego prawdopodobieństwa przejścia Ps,t(x , dy ) na (S , BS) istnieje proces Markowa (Xt) o wartościach w S taki, że dla s < t P(Xt∈ A|Xs) = Ps,t(Xs, A), z prawd. 1, dla dowolnego A ∈ BS.

(5)

Rozkłady skończenie wymiarowe procesu Markowa

Wzór na prawdopodobieństwo warunkowe:

P(\

i

Ai) = P(An|An−1, . . . , A1)P(An−1|An−2, . . . , A1) . . . P(A1);

Odpowiednik w terminach w.w.o.: dla dow. układu t1, t2, . . . , tk, takiego, że 0 ≤ t1< . . . < tk, zachodzi

E[Y

i

1Ai(Xti)] = E[1A1(Xt1)E[1A2(Xt2)E[1A3(Xt3) . . .]|Xt2, Xt1|Xt1]]

Przechodząc na całkowanie względem prawdopod. przejść oraz rozkładu Xt1 otrzymujemy:

E[Y

i

1Ai(Xti)] = Z

A1

Pt1(d x1) Z

A2

Pt1;t2(x1; d x2) Z

A3

Pt1,t2;t3(x1, x2; d x3) . . .

Z

Ak

Pt1,...,tk−1;tk(x1, x2. . . , xk−1; d xk).

Pt1 oznacza rozkład Xt1 oraz Pt1,...,tk−1;tk(x1, x2. . . , xk−1; ·) = P(Xtk+1 ∈ ·|Xt1 = x1, Xt2 = x2, . . . , Xtk = xk).

Procesy Markowa

(6)

Rozkłady skończenie wymiarowe procesu Markowa

(Xt) - proces Markowa, więc Pt1,...,tk−1;tk(x1, x2. . . , xk−1; ·) = Ptk−1;tk(xk−1; ·). Powyższy wzór przyjmuje ostatecznie postać:

E[Y

i

1Ai(Xti)] = Z

A1

Pt1(d x1) Z

A2

Pt1;t2(x1; d x2) Z

A3

Pt2;t3(x2; d x3)

. . . Z

Ak

Ptk−1;tk(xk−1; d xk).

Dla t1 = 0 rozkład procesu wyznaczony jest przez P0 - rozkład początkowy oraz prawd. przejścia Ps,t(x , dy ). Na odwrót: mając zadany rozkład początkowy i prawd. przejścia, prawa strona powyższego wzoru definiuje zgodną rodzinę miar Pt0,t1,...,tk na prostokątach mierzalnych. Gdy nieskończenie wiele ”osi”, to zapis prostokąta niejednoznaczny, zgodność: możliwe rozszerzenie. Np.

gdy Ai = S (cała przestrzeń), to Pt0,t1,...,tk(A1× · · · Ai × · · · × Ak)

= Pt0,t1,...,ti −1,ti +1···tk(A1× · · · Ai −1× Ai +1× · · · × Ak). Zgodność wynika z war. (iv), tj. tożsamości Chapmana-Kołmogorowa.

(7)

Zgodna rodzina P

t0,t1,...,tk

wyznacza proces

Tw. Kołmogorowa o istnieniu procesu

Niech (S , BS) będzie pewną przestrzenią stanów oraz T ⊆ [0, ∞).

Załóżmy, że S - przestrzeń metryczna, ośrodkowa, zupełna oraz Pt0,t1,...,tk - zgodna rodzina miar probabilistycznych na

(⊗ki =1S , ⊗ki =1BS). Istnieje proces (Xt)t∈T o rozkładach skończenie wymiarowych identycznych z Pt0,t1,...,tk.

Uwaga:. Dowód twierdzenia polega na rozszerzaniu miary z ciała prostokątów mierzalnych w produkcie (⊗t∈TS , ⊗t∈TBS) do miary na σ-ciele generowanym przez takie prostokaty. Przestrzeń

probabilistyczna (Ω, Σ, P) = (⊗t∈TS , ⊗t∈TBS, µ), gdzie µ - rozszerzenie miary - rozkład procesu. Proces definiujemy jako rzutowanie: Xt(ω) = ω(t). W naszym przypadku trzeba sprawdzić, że otrzymaliśmy proces Markowa.

Procesy Markowa

(8)

P

s,t

(x , dy ) oraz P

0

wyznaczają proces Markowa

Sprawdzamy, że dla dowolnego układu 0 ≤ t1 < t2. . . tk < s < t zachodzi:

P(Xt ∈ A|Xt1, Xt2, . . . , Xtk, Xs) = P(Xt ∈ A|Xs), z prawd. 1 . Obydwie strony dowodzonej równości są mierzalne wzgledem σ-ciała σ{Xt1, . . . , Xtk, Xs}; ponadto zachodzi

Z Y

i

1Ai(Xti)1As(Xs)P(Xt∈ A|Xt1, . . . , Xtk, Xs)dP =

Z Y

i

1Ai(Xti)1As(Xs)1A(Xt)dP = Z

A1

Pt1(d x1) Z

A2

Pt1;t2(x1; d x2). . . Z

As

Ptk;s(xk; d xs) Z

A

Ps;t(xs; d xt).

(9)

P

s,t

(x , dy ) oraz P

0

wyznaczają proces Markowa

Korzystając z postaci miary na prostokątach mierzalnych otrzymujemy jednocześnie

Z Y

i

1Ai(Xti)1As(Xs)Ps,t(Xs, A)dP = Z

A1

Pt1(d x1) Z

A2

Pt1;t2(x1; d x2). . . Z

As

Ps;t(xs; A)Ptk;s(xk; d xs) = Z

A1

Pt1(d x1) Z

A2

Pt1;t2(x1; d x2). . . Z

As

Ptk;s(xk; d xs) Z

A

Ps;t(xs; d xt).

Lemat

Niech (Bu)u≥0 - rodzina σ-ciał, u ∈ [0, ∞); BU = σ{Bu; u ∈ U}.

Jeśli U < V < W to równość

P(BW|BU∪V) = P(BW|BV) z prawd. 1

zachodzi wtedy i tylko wtedy, gdy analogiczna równość zachodzi dla wszystkich skończonych U oraz jednopunktowych V i W .

Procesy Markowa

(10)

Jednorodne procesy Markowa

Dalej zakładamy, że Ps,t(x , ·) zależy jedynie od (t − s); taki proces nazywamy jednorodnym. Przyjmujemy oznaczenie

Pt−s(x , A) := Ps,t(x , A), 0 ≤ s < t.

(Pt(x , dy ))t≥0 - prawdopodobieństwo przejścia na (S , BS) gdy (i). Pt(x , ·) jest miarą prob. na przestrzeni mierzalnej (S , BS), dla każdego x ∈ S ,

(ii). Pt(·, A) jest funkcją BS-mierzalną na p. metr. S , (iii). P0(x , E ) = 1E(x ) = δx(E ),

(iv). Ps+t(x , A) =R Pt(x , dy )Ps(y , A).

Uwaga. Gdy zbiór T jest dyskretny (np. T = {0, 1, 2, . . . , }) to mówimy o łańcuchu Markowa; rozróżniamy łańcuchy o dyskretnej lub ciagłej przestrzeni stanów S . Gdy S - dyskretne ale T = [0, ∞) to mówimy, że łańcuch ma czas ciągły. Najciekawszy przypadek:

zarówno czas jak i przestrzeń stanów są ciągłe.

(11)

Przykłady procesów Markowa

(i). P = (pij) - macierz stochastyczna, tzn. pij ≥ 0,P

jpij = 1.

Definiujemy

P1(A) =X

j ∈A

pij, (pij = P1(i , {j })).

Z równania Chapmana-Kołmogorowa macierz P2(i , {j }) - przejścia w dwóch krokach - powinna spełniać

pij(2)= P2(i , {j }) =X

k

pikpkj.

Stąd, macierz przejścia P(2) w dwóch krokach, będzie iloczynem macierzy P: P(2) = P2 oraz ogólniej: P(s+k)= P(s)P(k) = Ps+k. Bezpośrednio sprawdzamy, że taka definicja prawd. przejścia pociąga za sobą równość Chapmana-Kołmogorowa, więc każda macierz stochastyczna definiuje prawd. przejścia Pt(x , E ), gdzie T = {0, 1, . . . , }, S = {0, 1, . . . , }, BS = 2S.

Procesy Markowa

(12)

Przykłady procesów Markowa cd.

(ii). Niech T = [0, ∞), S = {0, 1, . . . , }, BS = 2S. Dla λ > 0 definiujemy

pi ,i +j(t) := Pt(i , {i + j }) = e−λt(λt)j/j !.

Są to prawd. przejścia w procesie Poissona o intensywności λ.

[P(Xt+h = i + j |Xh= i ) = P(Xt = j ) = pi ,i +j(t)].

(iii). Niech T = [0, ∞), S = R, BS = BR. Dla A borelowskiego na S = R kładziemy

Pt(x , A) = 1/2πt

Z

A−x

e−y2/2tdy Są to prawd. przejścia w procesie Wienera

[P(Xt+h ∈ A|Xh= x ) = P((Xt+h− Xh) + Xh∈ A|Xh= x ) = P(Xt∈ A − x)].

Cytaty

Powiązane dokumenty

1.9 Na rysunku poniżej przedstawiono przestrzeń Ω, zdarzenia A, B, C oraz odpowia- dające

Wychodząc, wszystkie osoby podchodzą do szatniarza i jednocześnie podają losowo numer wieszaka (od 1 do c 1 , przy czym numery mogą się powtarzać). Osoby, które trafiły w ten

Wychodząc, wszystkie osoby podchodzą do szatniarza i jednocześnie podają losowo numer wieszaka (od 1 do c 1 , przy czym numery mogą się powtarzać). Osoby, które trafiły w ten

Zad. 273) Seminarium probabilistyczne jest organizowane przez matematy- ków z Torunia, Warszawy i Wrocławia. Na zakończenie każdego spotkania losuje się z równy-

Jeśli jest niezadowolony, to pozostaje w tym stanie z prawdopodobieństwem 0,5, natomiast w złość wpada 4 razy częściej niż we wściekłość.. Jeśli jest zły, to może pozostać

Analogicznie zachowuje się prawdopodobieństwo przegranej: jest ono w tych trzech przypadkach odpowiednio równe q −ε, q,

Znajdź wartość oczekiwaną następujących zmiennych losowych:.. Czy proces ten ma

Wykonano 100 000 rzutów kostką i po każdym rzucie przekładano kulę z wylosowanym numerem do drugiego pudełka?. Jaka jest (mniej więcej) szansa, że pudełko B