Realizacja procesu stochastycznego
( )
t
(
x
( ) ( ) ( )
t
x
t
x
t
)
x
=
1,
2,
3Konkretny przebieg czasowy – zespół zmiennych przypadkowo zależnych od czasu
Procesy stochastyczne (ogólnie)
z czasem ciągłym
( ) (
)
,
3
,
2
,
1
,
0+
=
=
x
t
n
n
t
x
z czasem dyskretnymRealizacja procesu stochastycznego składa się z konkretnego ciągu wartości, ale rozpatrując zespół realizacji, widzimy, że wartości przyjmowane są z pewnymi prawdopodobieństwami
(
x
1,
t
1;
x
2,
t
2;
x
3,
t
3;
)
,
t
1t
2t
3
p
Np. proces o prawdopodobieństwach niezależnych
(
)
=
(
)
i i it
x
p
t
x
t
x
t
x
p
1,
1;
2,
2;
3,
3;
,
(
)
(
(
)
)
2 1 2 1 2 2 1 1 2 2 1 1 2 2 1 1 2 2 1 1 2 2 1 1;
,
;
,
;
,
;
,
,
;
,
;
,
;
,
;
,
;
,
;
,
=
t
t
y
y
p
y
y
t
x
t
x
p
y
y
t
x
t
x
p
(
) (
)
(
)
(
) (
) (
)
(
)
n n n n n n n n nt
t
t
t
x
p
t
x
t
x
p
t
x
t
x
p
t
x
t
x
p
t
x
t
x
t
x
t
x
p
y
t
x
t
x
p
y
y
t
x
t
x
p
=
=
=
− − 2 1 1 1 3 3 2 2 2 2 1 1 3 3 2 2 1 1 1 1 2 2 1 1 2 2 1 1 2 2 1 1,
,
,
,
,
,
,
,
,
,
;
,
;
,
,
;
,
;
,
;
,
;
,
;
,
;
,
Prawdopodobieństwo warunkowe dane jest ogólnym wzorem
Prawdopodobieństwa zależą wyłącznie od wartości procesu w ostatniej chwili
(
)
(
)
(
)
(
)
(
)
(
)
(
) (
)
3 3 2 2 3 3 2 2 1 1 2 3 3 2 2 1 1 2 3 3 1 1 2 2 2 2 1 1 2 2 2 1 1 2 1 1,
,
,
;
,
,
,
,
;
,
,
,
,
,
,
,
;
,
,
t
x
t
x
p
t
x
t
x
t
x
p
dx
t
x
t
x
t
x
p
dx
t
x
t
x
p
t
x
p
t
x
t
x
p
dx
t
x
t
x
p
dx
t
x
p
=
=
=
=
=
(
x
1,
t
1x
3,
t
3)
dx
2p
(
x
1,
t
1x
2,
t
2) (
p
x
2,
t
2x
3,
t
3)
p
=
Poniższy ciąg tożsamości spełniony jest dla dowolnego procesu
Równanie Chapmana – Kołmogorowa (całkowe)
Ciągłe procesy Markowa
Proces Markowa jest ciągły, jeśli prawdopodobieństwo oddalenia się od punktu początkowego na skończoną odległość nie rośnie zbyt szybko w czasie (czyli w przebiegu czasowym – realizacji procesu – nie obserwuje się dalekozasięgowych przeskoków)
Przykład: ruchy Browna są ciągłym procesem Markowa – rozkład normalny
Przykład: proces Cauchy’ego nie jest
ciągły, zdarzają się b. duże przeskoki t
(
)
(
+
)
−
→ t
p
x
t
t
z
t
x
z
t
z
x
W
t
dla
,
,
1
lim
,
0(
x
z
t
)
W
,
(
x
z
t
)
x
z
W
,
=
0
dla
(
)
(
)
( ) ( )
(
)
(
)
(
,
,
)
( ) ( )
,
,
,
1
,
2
,
3
1
lim
,
,
,
,
1
lim
0 0=
+
+
−
−
+
+
−
− → − → j
i
t
z
B
t
z
t
t
x
p
z
x
z
x
x
d
t
t
z
A
t
z
t
t
x
p
z
x
x
d
t
ij z x j j i i t i z x i i t
(
)
( )
(
)
( )
(
)
(
) (
) (
) (
)
−
+
+
+
−
=
t
y
t
z
p
t
z
x
W
t
y
t
x
p
t
x
z
W
x
d
t
y
t
z
p
t
z
B
z
z
t
y
t
z
p
t
z
A
z
t
y
t
z
p
t
i i i i j i j ij,
,
,
,
,
,
,
,
,
2
1
,
,
,
,
,
, 2
Zdefiniujmy- prawdopodobieństwo przejścia na jednostkę czasu ze stanu z do x => proces Markowa jest ciągły
Zdefiniujmy
Równanie Chapmana – Kołmogorowa (różniczkowe)
Całkowe równanie Chapmana – Kołmogorowa jest równoważne następującemu równaniu różniczkowemu
( )
(
)
( )
(
) (
)
( )
(
) (
)
( )
(
)
( )
( )
(
)
(
)
( )
( )
(
)
(
)
(
) (
)
( )
(
) (
)
(
) (
)
( )
(
) (
)
( )
(
) (
)
+
−
−
+
+
+
+
+
+
−
+
+
+
−
+
−
=
=
→
−
−
+
−
+
−
+
=
=
=
−
+
=
=
−
+
=
− − − − → → → → 2,
,
,
,
,
,
,
,
,
,
,
,
)
(
,
,
,
,
,
,
,
,
,
2
1
1
lim
0
,
,
,
2
1
,
,
,
,
,
,
lim
,
,
,
,
lim
,
,
2 2 2 2 0 2 2 2 2 0 0t
y
t
z
p
t
z
t
t
x
p
z
dxdzf
t
y
t
z
p
t
z
t
t
x
p
z
dxdzf
t
y
t
z
p
t
z
t
t
x
p
x
dxdzf
t
y
t
z
p
t
z
t
t
x
p
z
x
R
z
x
dxdz
t
y
t
z
p
t
z
t
t
x
p
z
x
z
f
z
x
z
f
dxdz
t
z
x
R
z
x
dla
z
x
R
z
x
z
x
z
f
z
x
z
f
z
f
x
f
t
t
y
t
z
p
z
f
dz
t
y
t
z
p
t
z
t
t
x
p
x
f
dz
dx
t
t
y
t
x
p
t
y
t
t
x
p
x
dxf
t
y
t
x
p
x
dxf
t
z x z x z x z x t z x t t
Rozpatrujemy ewolucję czasową wartości oczekiwanej dowolnej funkcji f(x)
( )
(
)
( )
( )
(
)
( )
( ) (
) ( ) (
)
( )
( )
(
)
( )
(
)
( ) (
) ( ) (
)
W
z
x
t
p
x
t
y
t
W
x
z
t
p
z
t
y
t
dx
t
y
t
z
p
t
z
B
z
t
y
t
z
p
t
z
A
z
z
dzf
t
y
t
z
p
t
z
x
W
t
y
t
x
p
t
x
z
W
dx
z
dzf
t
y
t
z
p
z
f
t
z
B
z
f
t
z
A
dz
t
y
t
x
p
x
dxf
t
−
+
+
+
−
=
=
−
+
+
+
=
,
,
,
,
,
,
,
,
,
2
1
,
,
,
,
,
,
,
,
,
,
,
,
2
1
,
,
,
2 2 2 2(*)
(
)
( )
(
)
( )
(
)
( ) (
) ( ) (
)
W
z
x
t
p
x
t
y
t
W
x
z
t
p
z
t
y
t
dx
t
y
t
z
p
t
z
B
z
t
y
t
z
p
t
z
A
z
t
y
t
z
p
t
−
+
+
+
−
=
,
,
,
,
,
,
,
,
,
2
1
,
,
,
,
,
2 2( )
( )
(
)
=
(
) (
) (
−
) (
)
=
=
t
y
t
z
p
t
z
x
W
t
y
t
x
p
t
x
z
W
x
d
t
y
t
z
p
t
t
z
B
t
z
A
i ij,
,
,
,
,
,
,
,
0
,
,
0
,
(
)
=
(
) (
) (
−
) (
)
mt
n
t
n
p
t
n
m
W
t
n
t
m
p
t
m
n
W
t
n
t
n
p
t
,
,
,
,
,
,
,
,
Rozmaite warianty różniczkowego równania Chapmana - Kołmogorowa
Równanie Master (równanie M, równanie Pauliego)
Równanie to opisuje procesy typu przeskoków (trajektoria zwykle nieciągła)
(
) (
)
( )
( )
(
)
( )
(
)
B
( )
z
t
p
(
z
t
y
t
)
z
z
t
y
t
z
p
t
z
A
z
t
y
t
z
p
t
t
z
B
t
z
A
t
z
x
W
t
x
z
W
ij j i i j i i i ij i
+
−
=
=
=
,
,
,
2
1
,
,
,
,
,
0
,
,
0
,
,
0
,
,
, 2
(
) (
)
( )
( )
(
)
A
( )
z
t
p
(
z
t
y
t
)
z
t
y
t
z
p
t
t
z
B
t
z
A
t
z
x
W
t
x
z
W
i i i ij j i i
−
=
=
=
=
,
,
,
,
,
0
,
,
0
,
,
0
,
,
,
Równanie Fokkera - Plancka
Równanie to opisuje procesy z ciągłymi (ale nigdzie nie różniczkowalnymi) trajektoriami (np. procesy dyfuzji)
(
)
( )
(
)
( )
(
)
(
) (
) (
)
−
+
+
−
−
=
t
z
t
x
p
t
y
t
x
p
t
y
z
W
z
d
t
y
t
x
p
y
y
t
y
B
t
y
t
x
p
y
t
y
A
t
y
t
x
p
t
i i i i j ij i j,
,
,
,
,
,
,
,
2
1
,
,
,
,
,
, 2
(
x
t
y
t
)
(
x
y
)
p
,
,
=
−
Wsteczne równanie Chapmana - Kołmogorowa
Z równania Chapmana – Kołmogorowa („forward”) możemy uzyskać rozkład prawdopodobieństwa przy zadanym warunku początkowym
Analogicznie można wyprowadzić wsteczne („backward”) równanie Chapmana –
Kołmogorowa, które pozwala uzyskać rozkład prawdopodobieństwa w przeszłości, tzn. przy zadanym warunku końcowym
