Procesy stochastyczne w4-2020

1

Procesy stochastyczne

WYKŁAD 4

Dyskretny proces Markowa

Rozpatrujemy proces stochastyczny Xt, w którym

parametr t jest ciągły (zwykle t  0).

Będziemy zakładać, że zbiór stanów jest co najwyżej przeliczalny.

2

Proces Xt, jest procesem Markowa, jeśli dla

dowolnego n, dla dowolnych chwil czasu

t0 < t1 < ...< tn, oraz dowolnych stanów fazowych

x, y, x0, ..., xn spełniona jest zależność:









3

Proces Markowa jest jednorodny w czasie, jeżeli dla dowolnych stanów x, y oraz chwil czasu t1 < t2

mamy







,

,



y

X

x

p

x

y

t

t

X

P









co oznacza, że prawdopodobieństwo przejścia ze stanu x do stanu y w czasie od momentu t₁ do momentu t₂ zależy tylko od różnicy t₂ - t₁, a nie zależy od momentu wyjściowego t₁ (w szczególności może to być zawsze chwila 0). .

4 Przyjmijmy oznaczenie





 

5

Niech P(t) = [pij(t)] stochastyczna macierz

przejścia i, j = 0, 1, ..., N (dla skończonej liczby stanów).              ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 1 0 1 11 10 0 01 00 t p t p t p t p t p t p t p t p t p t P NN N N N N       

6 Zależność  



Wynika z niej, że

)

(

)

(

)

(

)

(

)

(

s

t

P

s

P

t

P

t

P

s

P







7

Uwaga.

Niech p

(t) = P(X

= i) - prawdopodobieństwo,

że w chwili t proces znajdzie się w stanie i.

Takie prawdopodobieństwa nazywamy niekiedy prawdopodobieństwami całkowitymi (p. poniższa własność).

Wtedy





t

p

p

t

p

)

(

)

0

(

)

(

8

Niech

p(t) = (p

(t), p

(t), ... , p

(t))

(rozkład procesu w chwili t)

9

Zakładamy, że funkcje pij(t) są ciągłe w punkcie

t = 0.        dla j i i j dla t p_ij t 0 1 ) ( lim 0

Wtedy są ciągłe w dowolnym innym punkcie. Istnieje też (chociaż może być nieskończona) granica ) 0 ( ) ( 1 lim ' 0       ii ii t _t p t p

oraz skończona granica

) 0 ( ) ( lim ' 0    ij ij t t p t p

10

Dla wygody przyjmiemy oznaczenia

ij ij

p' (0) 



ij



stanu i do stanu j gdy j  i _,

11

Dalej będziemy rozpatrywali jednorodne procesy Markowa, dla których wszystkie intensywności są skończone.

12

Określamy macierz intensywności  o

elementach równym intensywnościom ij (dla

skończonej liczby stanów)

              NN N N N N



















13

Własności macierzy intensywności

a) ii  0, wyrazy na głównej

przekątnej są niedodatnie,

b) _ij  0 _dla i  j _{wyrazy poza przekątną}

są nieujemne. c)  0

j ij

 _{suma wyrazów każdego}

14 dowód c) 1 ) (   j ij t p _{stąd  ( ) ( )10}  t p t p _ii i j ij | : t 0 1 ) ( ) (      t t p t t p _ii i j ij zatem ( ) 1 0 ) ( lim 0          _     t t p t t p _ii i j ij t czyli



15

Macierzą intensywności nazywamy każdą macierz  taką, że:

a) elementy pozadiagonalne są nieujemne, b) elementy diagonalne są niedodatnie,

16 Twierdzenie.

Macierz intensywności  ma zawsze wartość własną równą 0.

17

Przyjmując p(t) = [p0(t), p1(t), ...] (wektor

rozkładu procesu w momencie t) i macierz

 możemy układ równań Kołmogorowa zapisać w postaci wektorowej:

p'(t) = p(t)

czyli

_dt

p

(

t

)



p

(

t

)



18

Rozwiązanie tego równania ma postać t

e

p

t

19 Przykład.

Narysować graf i wyznaczyć równania

prospektywne Kołmogorowa procesu Markowa o macierzy intensywności:                7 4 3 1 2 1 0 2 2

20

 

0

 

1

 

2

21                   ) ( 7 ) ( ) ( ) ( 4 ) ( 2 ) ( 2 ) ( ) ( 3 ) ( ) ( 2 ) ( 2 1 2 2 1 0 1 2 1 0 0 t p t p dt t dp t p t p t p dt t dp t p t p t p dt t dp

22

W prostych przypadkach rozwiązanie układu równań

p'(t) = p(t)

23 Przykład.

System może być sprawny (stan 0) lub uszkodzony (stan 1). System psuje się z intensywnością  i jest naprawiany z intensywnością .

Przyjmijmy, że rozkład początkowy ma postać [1, 0]. Narysujemy graf procesu i jego macierz intensywności. Rozwiązując równanie Kołmogorowa wyznaczymy wektor p(t) i rozkład graniczny.

24

 

0





 

1





 = ?

25              

26

Układ p'(t) = p(t) zapisujemy po współrzędnych w postaci           ) ( ) ( ) ( ) ( ) ( ) ( 1 0 1 1 0 0 t p t p t p t p t p t p    

27 Podstawiając ) ( 1 ) ( ₀ 1 t p t p   i otrzymujemy równanie

28       ( ) ( ) ₀( ) 0 t p t p

29       ( ) ( ) ₀( ) 0 t p t p

Jest to równanie różniczkowe liniowe niejednorodne (RN) równanie jednorodne (RJ) 0 ) ( ) ( ) ( ₀ 0     t p t p  

Ma rozwiązanie ogólne postaci

t

Ce t

p₀( )  () _RORJ

RSRN wyznaczamy metodą przewidywania (stała) Otrzymamy      ) ( 0 t p RSRN zatem         Ce  t t p₀( ) ( ) _RORN

30         Ce  t t p₀( ) ( ) RORN

Uwzględniając warunek początkowy p0(0) =1

31 Otrzymamy C = _{ }   Zatem _{ }     _{ }     e  t t p₀( ) ( ) Oraz _{ }     _{ }      e  t t p₁( ) ( )

32

Prawdopodobieństwa graniczne są równe

 = _             ;

33

W prostych przypadkach rozwiązanie układu równań

p'(t) = p(t)

można wyznaczyć metodą przekształcenia Laplace'a.

34 Przykład.

System składa się z jednego elementu podstawowego i dwóch elementów zapasowych. Element podstawowy jest obciążony i psuje się z intensywnością . Elementy zapasowe są nieobciążone i nie psują się. Gdy popsuje się element podstawowy jego funkcje przejmuje element zapasowy i wtedy psuje się z intensywnością . System przestaje pracować z chwilą popsucia się wszystkich elementów.

Niech X(t) będzie procesem oznaczającym liczbę zepsutych elementów w czasie t.

Przyjmijmy, że rozkład początkowy ma postać

[1, 0 ,0, 0].

Narysujemy graf procesu i jego macierz intensywności. Rozwiązując równanie Kołmogorowa wyznaczymy wektor p(t) i rozkład graniczny.

35

 

0

 

1

 

2

 

3

 

36                  0 0 0 0 0 0 0 0 0 0      

37

Układ p'(t) = p(t) zapisujemy po współrzędnych w postaci                   ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 2 3 2 1 2 1 0 1 0 0 t p t p t p t p t p t p t p t p t p t p      

38

Pochodne transformujemy wg wzoru:

) 0 ( ) ( ˆ _{s f} f s (t) f   

39                ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ 1 ) ( ˆ 2 3 2 1 2 1 0 1 0 0 s p s p s s p s p s p s s p s p s p s s p s p s      

40

Rozwiązując otrzymany układ równań

wyznaczamy oryginały (retransformaty) na podstawie zależności 1 ) ( 1 !   n t n s e n t



41

 

42

Zauważmy, że prawdopodobieństwo, że w chwili t układ pracuje wynosi

1



e

Prawdopodobieństwa graniczne są równe  = [0, 0, 0, 1].

43

Rozkład graniczny (stacjonarny), ergodyczność dla procesów Markowa.

)

(

lim

)

(

p

t

p













,



,

....,









44 Twierdzenie.

Rozkład graniczny nie zależy od rozkładu

początkowego  macierz intensywności  ma jednokrotną wartość własną równą 0.

45 Twierdzenie.

Jeśli X(t) jest procesem Markowa o skończenie wielu stanach oraz istnieje chwila t taka, że wszystkie wyrazy macierzy przejścia są dodatnie, to istnieją granice prawdopodobieństw przejścia

j t ij

t

p





)

(

lim

niezależne od stanu wyjściowego i, są dodatnie i mają sumę równą 1.

Prawdopodobieństwa te nazywamy prawdopodobieństwami ergodycznymi.

Proces Markowa, dla którego istnieją prawdopodobieństwa ergodyczne nazywamy

46 Twierdzenie.

Jeśli skończona macierz intensywności  ma poza przekątną tylko dodatnie elementy to proces ten jest ergodyczny i ma dodatnie prawdopodobieństwa graniczne.

47 Twierdzenie.

Rozkład graniczny  jest niezerowym

rozwiązaniem układu  = 0 spełniającym

warunek unormowania (suma składowych jest równa 1).

48 Twierdzenie.

Rozkład graniczny  można wyznaczyć za

pomocą dopełnień algebraicznych M_kk elementów z przekątnej macierzy -:







M

M

49 Przykład.

Narysować graf i wyznaczyć rozkład graniczny procesu Markowa o macierzy intensywności:

               6 4 2 1 3 2 3 2 5

50

 

0

 

1

 

2

51

odp. [14/49; 24/49; 11/49]