Dyskretne procesy Markowa.
Rozpatrujemy proces stochastyczny Xt, w którym parametr t jest ciągły (zwykle t ≥ 0).
Będziemy zakładać, że zbiór stanów jest co najwyżej przeliczalny.
Proces Xt, jest procesem Markowa, jeśli dla dowolnego n, dla dowolnych chwil czasu
t0 < t1 < ...< tn, oraz dowolnych stanów x, y, x0, ..., xn spełniona jest zależność:
{
X
y
X
x
X
x
X
x
} {
P
X
y
X
x
}
P
n n n n n t t n t t t t=
−1=
,
−2=
−2,...,
0=
0=
=
−1=
Proces Markowa jest jednorodny w czasie, jeżeli dla dowolnych stanów x, y oraz chwil czasu t1 < t2 mamy
{
X
2y
X
1x
}
p
(
x
,
y
,
t
2t
1)
P
t=
t=
=
−
co oznacza, że prawdopodobieństwo przejścia ze stanu x do stanu y w czasie od momentu t1
do momentu t2 zależy tylko od różnicy t2 - t1, a nie zależy od momentu wyjściowego t1 (w
szczególności może to być zawsze chwila 0).
Przyjmijmy oznaczenie
P
{
X
tj
X
ti
}
p
ij( )
t
n
=
0=
=
, gdzie t = tn - t0, tn > t0.Niech P(t) = [pij(t)] macierz prawdopodobieństw przejścia
i, j = 0, 1, ..., N (dla skończonej liczby stanów).
= ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 1 0 1 11 10 0 01 00 t p t p t p t p t p t p t p t p t p t P NN N N N N L L L L L L L
Jest to macierz stochastyczna. Zależność
∑
=
+
k kj ik ijs
t
p
t
p
s
p
(
)
(
)
(
)
nazywamy równaniem Chapmana - Kołmogorowa. Wynika z niej, że
)
(
)
(
)
(
)
(
)
(
s
t
P
s
P
t
P
t
P
s
P
+
=
=
Uwaga.Niech pi(t) = P(Xt = i) - prawdopodobieństwo, że w chwili t proces znajdzie się w stanie i.
Takie prawdopodobieństwa nazywamy niekiedy prawdopodobieństwami całkowitymi (p. poniższa własność). Wtedy
∑
==
N j ji j it
p
p
t
p
0)
(
)
0
(
)
(
Niech
p(t) = (p
0(t), p
1(t), ... , p
N(t))
(rozkład procesu w chwili t)Zakładamy, że funkcje pij(t) są ciągłe w punkcie t = 0, oraz ≠ = = → dla j i i j dla t pij t 0 1 ) ( lim 0
Wtedy są ciągłe w dowolnym innym punkcie.
Istnieje też wtedy (chociaż może być nieskończona) granica prawostronna ) 0 ( ) ( 1 lim ' 0 ii ii t t p t p − = − →
oraz skończona granica prawostronna lim ( ) '(0)
0 ij ij t t p t p = →
Dla wygody przyjmiemy oznaczenia
≠ = − = i j dla i j dla p ij ii ij
λ
λ
) 0 ( 'Wielkości te nazywamy intensywnościami przejścia ze stanu i do stanu j gdy j≠i, oraz
intensywnościami wyjścia ze stanu i (do pozostałych stanów) gdy i = j.
Ponieważ ij ij ij t t p t p
λ
= = → (0) ) ( lim '0 , to λij dla j≠i są gęstościami prawdopodobieństwa przejścia ze stanu i do stanu j, oraz dla małych t mamy pij(t)≈λij⋅t, co oznacza, że dla małych t prawdopodobieństwo przejścia ze stanu i do stanu j jest proporcjonalne do t, współczynnikiem proporcjonalności jest intensywność λij (gdy intensywność przejścia jest zerowa to takie prawdopodobieństwo jest zerowe.
Podobnie dla małych t mamy 1−pii(t)≈−λii⋅t.
Określamy macierz intensywności Λ o elementach równym intensywnościom λij (dla skończonej liczby stanów)
= Λ NN N N N N
λ
λ
λ
λ
λ
λ
λ
λ
λ
L L L L L L L 1 0 1 11 10 0 01 00Własności macierzy intensywności
a) λii ≤0, wyrazy na głównej przekątnej są niedodatnie, b)
λ
ij ≥0 dla i≠ j wyrazy poza przekątną są nieujemne. c)∑
=0j ij
λ
suma wyrazów każdego wiersza jest równa 0 dowód c) 1 ) ( =∑
j ij t p stąd∑
( )+ ( )−1=0 ≠ t p t p ii i j ij | : t 0 1 ) ( ) ( = − +∑
≠ t t p t t p ii i j ij zatem lim ( ) ( ) 1 0 0 = − +∑
≠ → t t p t t p ii i j ij tczyli
∑
+ =0≠i ii j
ij
λ
λ
Macierzą intensywności nazywamy każdą macierz Λ taką, że:
a) elementy pozadiagonalne są nieujemne, b) elementy diagonalne są niedodatnie,
c) suma elementów w każdym wierszu wynosi 0.
Uwaga.
Jeśli Λ jest macierzą intensywności to macierz
I m P= 1 Λ+
(gdzie -m < 0 jest najmniejszym elementem macierzy Λ (leży na głównej przekątnej Λ)) jest macierzą stochastyczną.
Wartości własne macierzy intensywności mają zawsze moduł nie większy niż 2m, ich część rzeczywista mieści się w przedziale [-2m, 0].
Dalej będziemy rozpatrywali jednorodne procesy Markowa, dla których wszystkie intensywności są skończone.
Taki proces spełnia równania Kołmogorowa:
(*)
∑
≠+
−
=
j k kj k i j i jj ijt
p
t
p
dt
t
dp
λ
λ
(
)
(
)
)
(
, , dla ustalonego i(równanie prospektywne - odnosi się do przyszłości)
(**)
∑
≠+
−
=
i k j k ik j i ii ijs
p
s
p
dt
s
dp
)
(
)
(
)
(
, ,λ
λ
dla ustalonego j(równanie retrospektywne - odnosi się do przeszłości)
przy warunkach początkowych
p
i,i(0) = 1, p
i,j(0) = 0 dla i
≠
j.
Możemy powyższe układy równań zapisać w postaci macierzowej:
(*)
P'(t) = P(t)
⋅Λ
czyli
P
(
t
)
=
P
(
t
)
Λ
dt
d
oraz (**)P'(t) =
Λ⋅
P(t)
czyli
P
(
t
)
P
(
t
)
dt
d
=
Λ
W zastosowaniach częściej stosuje się równanie prospektywne.
dowód
Dla równania prospektywnego.
W równaniu + =
∑
k
kj ik
ij s t p t p s
p ( ) ( ) ( ) (Chapmana - Kołmogorowa) podstawiamy s = ∆t
∑
∆ = + ∆ k kj ik ij t t p t p t p ( ) ( ) ( )następnie od obu stron odejmujemy pij(t) i dzielimy obie strony otrzymanej równości przez ∆t
[
]
t t p t p t p t p t t p t t p k j ij jj kj ik ij ij ∆ ∆ − − ∆ = ∆ − + ∆ ) ( )∑
≠ ( ) ( ) ( )1 ( ) (Zakładając, że rozpatrywane intensywności istnieją, gdy przejdziemy do granicy ∆t → 0 wtedy po uwzględnieniu ii ii ii t t p t p λ = − = − → (0) ) ( 1 lim ' 0 ij ij ij t t p t p
λ
= = → (0) ) ( lim ' 0 otrzymamy prospektywne równanie Kołmogorowa.Ponieważ układ równań Kołmogorowa (*) można zapisać też w postaci macierzowej:
Λ
=
(
)
)
(
t
P
t
P
dt
d
z warunkiem początkowym P(0) = I, to rozwiązanie można zapisać w postaci wykładniczej
t
e
t
P
(
)
=
Λ gdzie....
!
3
!
2
3 3 2 2+
Λ
+
Λ
+
Λ
+
=
ΛI
t
t
t
e
t Oznaczając pi(t) = P(Xt = i) mamy =∑
i ik i k t p p t p ( ) (0) ( ) i po zróżniczkowaniu względem czasu otrzymamy inny zapis równania prospektywnego(***)
∑
≠+
−
=
j k k kj j jj jt
p
t
p
dt
t
dp
)
(
)
(
)
(
λ
λ
j = 0, 1, ...Przyjmując p(t) = [p0(t), p1(t), ...] (wektor rozkładu procesu w momencie t) i macierz Λ możemy powyższy układ równań zapisać w postaci wektorowej:
p'(t) = p(t)
⋅Λ
czyli
p
(
t
)
=
p
(
t
)
Λ
dt
d
Rozwiązanie tego równania ma postać
p
(
t
)
=
p
(
0
)
e
ΛtPrzykład.
Narysować graf i wyznaczyć równania prospektywne Kołmogorowa procesu Markowa o macierzy intensywności: − − − = Λ 7 4 3 1 2 1 0 2 2
[ ] [ ] [ ]
0
1
12
4 2 1→
←
→
←
−
=
+
−
=
+
+
−
=
)
(
7
)
(
)
(
)
(
4
)
(
2
)
(
2
)
(
)
(
3
)
(
)
(
2
)
(
2 1 2 2 1 0 1 2 1 0 0t
p
t
p
dt
t
dp
t
p
t
p
t
p
dt
t
dp
t
p
t
p
t
p
dt
t
dp
Praktyczny sposób tworzenia takich równań na podstawie grafu jest następujący: - Liczba równań jest równa liczbie stanów,
- Lewa strona każdego równania to pochodna prawdopodobieństwa danego stanu, - Prawa strona ma tyle składników ile krawędzi grafu związanych jest z danym
wierzchołkiem,
- Strzałkom wchodzącym odpowiada składnik równy intensywności przy tej strzałce pomnożonej przez prawdopodobieństwo stanu z którego ona wychodzi,
- Strzałkom wychodzącym odpowiada składnik równy intensywności przy tej strzałce pomnożonej przez prawdopodobieństwo stanu z którego ona wychodzi poprzedzony
znakiem minus (ponieważ strzałki wychodzą z jednego stanu, to intensywności można
zsumować).
W prostych przypadkach rozwiązanie układu równań
p'(t) = p(t)
⋅Λ
można wyznaczyć metodą przekształcenia Laplace'a.Przykład.
System składa się z jednego elementu podstawowego i dwóch elementów zapasowych. Element podstawowy jest obciążony i psuje się z intensywnością λ. Elementy zapasowe są nieobciążone i nie psują się. Gdy popsuje się element podstawowy jego funkcje przejmuje element zapasowy i wtedy psuje się z intensywnością λ. System przestaje pracować z chwilą popsucia się wszystkich elementów. Niech X(t) będzie procesem oznaczającym liczbę zepsutych elementów w czasie t. Przyjmijmy, że rozkład początkowy ma postać [1, 0 ,0, 0]. Narysujemy graf procesu i jego macierz intensywności. Rozwiązując równanie Kołmogorowa wyznaczymy wektor p(t) i rozkład graniczny.
[ ] [ ] [ ]
0
→
λ1
→
λ2
→
λ[ ]
3
− − − = Λ 0 0 0 0 0 0 0 0 0 0 λ λ λ λ λ λUkład p'(t) = p(t)⋅Λ zapisujemy po współrzędnych w postaci
= ′ − = ′ − = ′ − = ′ ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 2 3 2 1 2 1 0 1 0 0 t p t p t p t p t p t p t p t p t p t p
λ
λ
λ
λ
λ
λ
Pochodne transformujemy wg wzoru: f′(t) →sfˆ(s)− f(0) i otrzymujemy układ równań
= − = − = − = − ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ ) ( ˆ 1 ) ( ˆ 2 3 2 1 2 1 0 1 0 0 s p s p s s p s p s p s s p s p s p s s p s p s
λ
λ
λ
λ
λ
λ
Rozwiązując otrzymany układ równań wyznaczamy oryginały (retransformaty) na podstawie
zależności 1 ) ( 1 ! ↔ − n+ t n s e n t
α
α (w szczególności α α + ↔ − s e t 1 )( )
;
(
)
1
(
)
(
)
(
)
2
)
(
;
)
(
;
)
(
3 0 1 2 2 2 1 0e
p
t
p
t
p
t
p
t
t
t
p
te
t
p
e
t
p
=
−λt=
λ
−λt=
λ
−λt=
−
−
−
Zauważmy, że prawdopodobieństwo, że w chwili t układ pracuje wynosi 1−e−λt. Prawdopodobieństwa graniczne są równe Π = [0, 0, 0, 1].
Rozkład graniczny, ergodyczność dla procesów Markowa.
)
(
lim
)
(
p
t
p
t→∞=
∞
=
Π
,Π
=
(
π
0,
π
1,
....,
π
n)
Twierdzenie.Macierz intensywności Λ ma zawsze wartość własną równą 0.
Twierdzenie.
Rozkład graniczny nie zależy od rozkładu początkowego ⇔ macierz intensywności Λ ma jednokrotną wartość własną równą 0.
Twierdzenie.
Jeśli X(t) jest procesem Markowa o skończenie wielu stanach oraz istnieje chwila t taka, że wszystkie wyrazy macierzy przejścia są dodatnie, to istnieją granice prawdopodobieństw przejścia j t ij
t
p
=
π
→∞)
(
lim
niezależne od stanu wyjściowego i, są dodatnie i mają sumę równą 1. Prawdopodobieństwa te nazywamy prawdopodobieństwami ergodycznymi.
Proces Markowa, dla którego istnieją prawdopodobieństwa ergodyczne nazywamy procesem
ergodycznym.
Twierdzenie.
Jeśli skończona macierz intensywności Λ ma poza przekątną tylko dodatnie elementy to proces ten jest ergodyczny i ma dodatnie prawdopodobieństwa graniczne.
Dwa sposoby wyznaczania rozkładu granicznego określają następujące twierdzenia:
Twierdzenie.
Rozkład graniczny Π jest niezerowym rozwiązaniem układu ΠΠΛΠΠΛΛΛ = 0 spełniającym warunek
unormowania (suma składowych zero).
Równanie ΠΠΠΠΛΛΛΛ = 0 wynika z równania różniczkowego
p
(
t
)
=
p
(
t
)
Λ
dt
d
, bowiem jeśli istnieje rozkład graniczny to nie zależy on od t zatem jego pochodna po t jest równa zero.
Twierdzenie.
Rozkład graniczny Π można wyznaczyć za pomocą dopełnień algebraicznych Mkk elementów
z przekątnej macierzy -Λ:
∑
=
Π
k kk jj jM
M
Przykład.Narysować graf i wyznaczyć rozkład graniczny procesu Markowa o macierzy intensywności:
− − − = Λ 6 4 2 1 3 2 3 2 5
[ ] [ ] [ ]
0
1
12
4 2 2→
←
→
←
odp. [14/49; 24/49; 11/49]Proces Poissona.
Proces {N(t), t ≥ 0} nazywamy procesem zliczającym jeśli N(t) oznacza całkowitą liczbę badanych zdarzeń zaobserwowanych do chwili t.
Proces zliczający musi spełniać warunki: 1) N(t) ≥ 0,
2) N(t) przyjmuje tylko całkowite własności, 3) Jeśli s < t to N(s) ≤ N(t),
4) Dla s < t N(t) - N(s) jest równe liczbie zdarzeń zaobserwowanych w przedziale (s, t], Proces zliczający jest procesem o przyrostach niezależnych jeśli rozkłady liczby zdarzeń obserwowanych w rozłącznych przedziałach czasu są niezależne, np. N(t) nie zależy od N(t + s) - N(t).
Uwaga.
Każdy proces o przyrostach niezależnych jest procesem Markowa.
Proces zliczający jest procesem jednorodnym (w czasie) gdy rozkład liczby zaobserwowanych zdarzeń w przedziale czasu zależy tylko od długości tego przedziału, np. N(t2 + s) - N(t1 + s) ma taki sam rozkład jak N(t2) - N(t1).
Proces Poissona jest jednorodnym procesem Markowa o przyrostach niezależnych
o rozkładzie.
1
)
0
(
X
0=
=
P
( )
t k t t ke
k
t
k
X
X
P
k
X
P
t
p
=
=
=
τ+−
τ=
=
λ
−λ!
)
(
)
(
)
(
k = 0, 1, ... λ - intensywność procesu, λ > 0parametry procesu Poissona:
t t m( ) =λ t ≥ 0, ) ( ) ( t1, t2 λmin t1, t2 K = , ≤ < = 1 2 1 2 2 1 2 1 2 1 t t t t t t t t , t t dla dla ) (
ρ
Uzasadnienie. 3 2Ponieważ
( )
t k te
k
t
k
X
P
=
=
λ
−λ!
)
(
to( )
∑
∑
( )
∑
∞( )
= − − ∞ = − ∞ ==
−
=
=
=
=
=
1 1 0 0!
(
1
)!
)
(
)
(
k k t k t k k t tt
k
t
te
e
k
t
k
k
X
kP
X
E
t
m
λ
λλ
λλ
λ
( )
( )
( )
( )
( )
( )
( )
( )
( )
( )
t
t
k
t
te
k
t
e
t
k
t
te
k
t
k
te
k
t
k
te
k
t
k
te
e
k
t
k
k
X
P
k
X
E
k k t k k t k k t k k t k k t k k t k t k k t tλ
λ
λ
λ
λ
λ
λ
λ
λ
λ
λ
λ
λ
λ
λ
λ λ λ λ λ λ λ+
=
−
+
−
=
=
−
+
−
−
=
−
+
−
=
=
−
=
=
=
=
∑
∑
∑
∑
∑
∑
∑
∑
∞ = − − ∞ = − − ∞ = − − ∞ = − − ∞ = − − ∞ = − − ∞ = − ∞ = 2 1 1 2 2 2 1 1 1 1 1 1 1 1 0 2 0 2 2)!
1
(
)!
2
(
)!
1
(
)!
1
(
)
1
(
)!
1
(
)
1
1
(
)!
1
(
!
)
(
Zatem( )
X
(
E
( )
X
) ( )
t
t
( )
t
t
E
t
D
2(
)
=
t2−
t 2=
λ
2+
λ
−
λ
2=
λ
Z jednorodności procesu dla
t
1<
t
2 mamyX
t2−
X
t1=
X
t2−t1−
X
0=
X
t2−t1, zatem stąd i z niezależności otrzymamy(
)
[
(
)
]
( )
(
)
( )
1( ) ( )
1 2 1 1 2 1 1 1 2 1 1 2 1 2 2 2 1,
)
(
t t t t t t t t t t t t t tX
E
X
E
X
E
X
X
E
X
E
X
X
X
E
X
X
E
t
t
R
− − −⋅
+
=
=
⋅
+
=
+
=
⋅
=
( )
(
)
1 2 2 1 1 2 1 1 2 1 2 1,
)
(
t
t
t
t
t
t
t
t
t
t
R
=
λ
+
λ
+
λ
⋅
λ
−
=
λ
+
λ
ogólnie
≤
+
<
+
=
1 2 2 1 2 2 2 1 2 1 2 1 2 1,
)
(
t
t
t
t
t
t
t
t
t
t
t
t
R
dla
dla
λ
λ
λ
λ
Stąd)
(
dla
dla
dla
dla
)
(
2 1 1 2 2 2 1 1 1 2 2 1 2 1 2 2 2 1 2 1 2 1 2 1 2 1 2 1 2 1min
)
(
)
(
)
,
(
, t
t
λ
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
t
m
t
m
t
t
R
, t
t
K
=
≤
<
=
=
≤
−
+
<
−
+
=
−
=
λ
λ
λ
λ
λ
λ
λ
λ
λ
λ
oraz ≤ < = ≤ < = = 1 2 1 2 2 1 2 1 1 2 2 1 2 2 1 2 1 1 2 1 2 1 2 1 ) ( ) ( t t t t t t t t t t t t t t t t t t t D t D , t t K , t t dla dla dla dla ) ( ) (λ
λ
λ
λ
λ
λ
ρ
Zauważmy, że 1 2,
t tX
X
są zawsze dodatnio skorelowane i siła zależności między nimi znacznie spada gdy jedna z chwil jest wielokrotnie większa od drugiej.Przykłady zjawisk modelowanych procesem Poissona.
- liczba wyemitowanych cząstek przez ciało promieniotwórcze w pewnym przedziale czasu,
- liczba awarii systemu komunikacyjnego promieniotwórcze w pewnym przedziale czasu, - liczba zgłoszeń do portalu internetowego w pewnym przedziale czasu,
Graf procesu Poissona jest następujący
[ ] [ ] [ ]
→
→
→
[ ] [ ] [ ]
→
→
→
L
λ λ λ λ λ λ5
4
3
2
1
0
Macierz intensywności procesu Poissona ma postać
−
−
−
=
Λ
L
L
L
L
L
L
L
L
λ
λ
λ
λ
λ
λ
0
0
0
0
0
0
Przyjmując p(t) = (p0(t), p1(t), ...) (wektor rozkładu procesu w momencie t), to równanie
Kołmogorowa p'(t) = p(t)⋅Λ zapisujemy po współrzędnych w postaci
+
−
=
′
+
−
=
′
+
−
=
′
+
−
=
′
−
=
′
−...
...
...
...
)
(
)
(
)
(
...
...
...
...
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
1 2 3 3 1 2 2 0 1 1 0 0t
p
t
p
t
p
t
p
t
p
t
p
t
p
t
p
t
p
t
p
t
p
t
p
t
p
t
p
k k kλ
λ
λ
λ
λ
λ
λ
λ
λ
Przyjmujemy rozkład początkowy p(0) = (1, 0, 0, ...). Rozwiązaniem tego układu jest
( )
t k ke
k
t
t
p
=
λ
−λ!
)
(
czyli( )
( )
=
− − − −,
....
!
....,
,
!
2
,
!
1
,
)
(
2 t k t t te
k
t
e
t
e
t
e
t
p
λλ
λλ
λλ
λ(zauważmy, że suma elementów tego wektora wynosi jeden).
Zatem jednowymiarowy rozkład tego procesu (tzn. rozkład w dowolnej ustalonej chwili t) jest wyznaczony przez rozkład Poissona.
Uzasadnienie. Sposób I.
Pochodne i funkcje transformujemy wg wzoru: f′(t) →sfˆ(s)− f(0), f(t) → fˆ s( ) i otrzymujemy układ równań
−
=
−
=
−
=
−
=
−
=
−
−...
)
(
ˆ
)
(
ˆ
)
(
ˆ
...
)
(
ˆ
)
(
ˆ
)
(
ˆ
)
(
ˆ
)
(
ˆ
)
(
ˆ
)
(
ˆ
)
(
ˆ
)
(
ˆ
)
(
ˆ
1
)
(
ˆ
1 3 2 3 2 1 2 1 0 1 0 0s
p
s
p
s
p
s
s
p
s
p
s
p
s
s
p
s
p
s
p
s
s
p
s
p
s
p
s
s
p
s
p
s
k k kλ
λ
λ
λ
λ
λ
λ
λ
λ
Rozwiązujemy otrzymany układ równań. Z pierwszego równania wyznaczamy
λ + = s s pˆ0( ) 1 i przez podstawianie wyznaczamy kolejno
(
)
2 1( ) ˆ λ λ + = s s p ,(
)
3 2 2( ) ˆλ
λ
+ = s s p , ...,(
)
1 ) ( ˆ + + = k k k s s pλ
λ
, ....Następnie wyznaczamy oryginały (retransformaty) na podstawie zależności
1
)
(
1
!
↔
−
n+ t ns
e
n
t
α
α( )
( )
....
;
!
)
(
....;
;
!
2
)
(
;
)
(
;
)
(
2 2 1 0 t k k t t te
k
t
t
p
e
t
t
p
te
t
p
e
t
p
=
−λ=
λ
−λ=
λ
−λ=
λ
−λ Sposób II.Rozpatrujemy funkcję tworzącą wektora rozkładu p(t) = (p0(t), p1(t), ...)
∑
∞ = = Ψ 0 ) ( ) , ( k k k t s p t sJeśli pomnożymy poszczególne równania różniczkowe rozpatrywanego układu odpowiednio przez 1, s, s2, ..., sk, .... i dodamy stronami to otrzymamy zależność
) , ( ) 1 ( ) ( ) 1 ( ) ( ) ( ) ( 0 0 1 0 0 t s s s t p s s t p s t p s t p k k k k k k k k k k k k =− + = − = − Ψ ′
∑
∑
∑
∑
∞ = ∞ = + ∞ = ∞ =λ
λ
λ
λ
Ponieważ∑
∞ = ′ = ∂ Ψ ∂ 0 ) ( ) , ( k k k t s p t t sto porównując powyższe równości otrzymamy równanie różniczkowe ) , ( ) 1 ( ) , ( t s s t t s = − Ψ ∂ Ψ ∂ λ z warunkiem początkowym 1 ) 0 ( ) 0 , ( 0 = = Ψ
∑
∞ = k k k s p sRozwiązaniem tego równania jest funkcja
st t t st t s e e e e t s = λ − = λ −λ = −λ λ Ψ ( 1) ) , (
Rozwijając drugi czynnik w szereg potęgowy otrzymamy
( )
∑
( )
∑
∞ = − ∞ = − = = Ψ 0 0 ! ! ) , ( k k k t k k t s k t e k ts e t s λλ
λλ
Lecz∑
∞ = = Ψ 0 ) ( ) , ( k k k t s p ts , więc porównując współczynniki przy poszczególnych potęgach zmiennej s, otrzymamy jak poprzednio
( )
( )
;
....
!
)
(
....;
;
!
2
)
(
;
)
(
;
)
(
2 2 1 0 t k k t t te
k
t
t
p
e
t
t
p
te
t
p
e
t
p
=
−λ=
λ
−λ=
λ
−λ=
λ
−λ Problem.T1 - czas pierwszego zgłoszenia,
Tn - czas między n - 1 a n-tym zgłoszeniem,
Wyznaczyć rozkład tych zmiennych losowych. Rozwiązanie.
{T1 > t} oznacza zdarzenie, że nie było zgłoszenia w [0, t], t t e X P t T P( 1> )= ( =0)= −λ zatem P(T1 t) 1 e F(t) t = − = < −λ
(dystrybuanta rozkładu wykładniczego). Następnie zauważmy, że z niezależności wynika
{
}
{
}
t e t s s w oszeń zg brak P s T t s s w oszeń zg brak P s T t T P( 2 > 1 = )= ł ( , + ] 1 = = ł ( , + ] = −λ Zatem T2 też ma rozkład wykładniczy i jest niezależny od T1.Itd.
Wniosek.
Odstępy czasu między kolejnymi zmianami stanów w jednorodnym procesie Poissona są niezależnymi zmiennymi losowymi o tym samym rozkładzie wykładniczym:
>
−
≤
=
<
−0
1
0
0
)
(
t
dla
e
t
dla
t
T
P
t λParametry tego rozkładu to
λ
1 ET = , 2 12λ
T D = . Twierdzenie.Suma skończonej liczby niezależnych procesów Poissona jest procesem Poissona, którego parametr jest sumą parametrów poszczególnych procesów.
Przykładowa realizacja procesu Poissona dla λ = 4. czas stan
λ
t−λ
tλ
t+λ
t 0,00 0 0,00 0,00 0,08 1 -0,24 0,91 0,33 2 0,18 2,48 0,41 3 0,36 2,93 0,76 4 1,29 4,77 1,13 5 2,38 6,63 1,29 6 2,90 7,46 1,45 7 3,39 8,20 1,61 8 3,90 8,97 1,64 9 4,01 9,13 1,77 10 4,43 9,76 2,47 11 6,74 13,03 2,85 12 8,03 14,79 3,02 13 8,59 15,54 3,07 14 8,78 15,79 3,61 15 10,63 18,22 3,81 16 11,32 19,12 3,88 17 11,59 19,47 4,00 18 11,99 19,99 4,07 19 12,26 20,33 5,16 20 16,11 25,20 5,88 21 18,67 28,37 5,96 22 18,96 28,73 6,02 23 19,16 28,97 6,39 24 20,50 30,61 6,94 25 22,50 33,03 7,28 26 23,71 34,50 7,41 27 24,18 35,07 7,45 28 24,35 35,27 7,59 29 24,85 35,87 8,11 30 26,74 38,13 R e a liz a c ja p ro c e s u P o is s o n a λ = 4λ = 4λ = 4λ = 4 0 5 1 0 1 5 2 0 2 5 3 0 3 5 4 0 4 5 0,00 0,50 1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00 5,50 6,00 6,50 7,00 7,50 8,00 8,50 9,00 s ta n yUwaga.
( )
t i j i j t t t ij e i j t t p i j X P i j X X P i X j X P t p λ τ τ τ τλ
− − − + + − = = − = = = − = − = = = = )! ( ) ( ) ( ) ( ) ( ) ( dla j ≥ i,0
)
(
t
=
p
ij dla j < i, tzn.[ ]
( )
= = − − − − − − L L L L L L L t t t t t t ij e te e e t te e t p t P λ λ λ λ λ λλ
λ
λ
0 0 0 ! 2 ) ( ) ( 2 Przykład.Sprawdzić, że dla procesu Poissona zachodzi:
) ( ) 0 ( ) (t p P t p = Przykład.
Sprawdzić, że dla procesu Poissona równania Kołmogorowa mają postać:
(*)
(
)
(
)
)
(
, 1 ,t
p
t
p
dt
t
dp
j i j i ij ++
−
=
λ
λ
dla ustalonego i (równanie prospektywne ) (**)(
)
(
)
)
(
1 , ,t
p
t
p
dt
t
dp
j i j i ij −−
=
λ
λ
dla ustalonego j (równanie retrospektywne )a ich rozwiązaniem jest
( )
t i j ije
i
j
t
t
p
λ
−λ −−
=
)!
(
)
(
Przykład.Strumień zgłoszeń do systemu telekomunikacyjnego jest procesem Poissona. Wiadomo, że intensywność tego procesu wynosi λ = 3 zgł/min.
a) obliczyć prawdopodobieństwo wystąpienia co najwyżej jednego zgłoszenia w ciągu 30 sekund,
b) obliczyć prawdopodobieństwo wystąpienia trzech zgłoszeń w ciągu 30 sekund,
c) obliczyć prawdopodobieństwo, że czas między kolejnymi zgłoszeniami będzie większy niż 12 sekund.
Rozwiązanie.
Ad. a) 30 sekund to 0,5 minuty, zatem odczytując z tablicy rozkłdu Poissona dla λt = 1,5 mamy. ) ( 0) ( ) (X05 ≤1 =P X05 = +P X05 =1 =0,223+0,335=0,558 P , , , Ad. b) analogicznie ) (X05 =3 =0,126 P ,
Ad. c) T – czas między zgłoszeniami. Jest to zmienna losowa o rozkładzie wykładniczym. Ponieważ 12 sekund to 0,2 minuty dla λt = 0,6 mamy.
e )
(T -0,6
Proces urodzeń i śmierci.
iλ
- intensywności urodzeń, i = 0, 1, ... j µ - intensywności śmierci, j = 1, 2, ...[ ]
0
01[ ]
1
12[ ]
2
→
23....
←
→
←
→
←
λ µ λ µ λ µpij(t) - prawdopodobieństwo przejścia ze stanu i do stanu j po czasie t,
pij(t) mają własności:
p
i,i-1(t) =
µ
it + o(t),
p
i,i+1(t) =
λ
it + o(t),
p
i,i(t) = 1 - (
λ
i+
µ
i)t + o(t),
p
i,i(t) = o(t), dla |i - j| > 1
i spełniają układ równań Kołmogorowa:
(*)
(
)
(
)
(
)
(
)
)
(
1 , 1 , 1 , 1p
t
p
t
p
t
dt
t
dp
j i j j i j j j i j ij + + − −−
+
+
=
λ
λ
µ
µ
i warunki początkowe
p
i,i(0) = 1, p
i,j(0) = 0 dla i
≠
j.
Dalej rozpatrujemy proces urodzeń i śmierci ze skończoną liczbą stanów 0, 1, ..., N.
[ ]
[ ]
[ ]
→
NN
[ ]
N
←
→
←
→
←
→
←
−1 2 3 1 2 0 11
2
....
0
λµ λ µ λ µ λ µNiech P(t) = [pij(t)] stochastyczna macierz przejścia i, j = 0, 1, ..., N.
Proces urodzeń i śmierci jest jednorodnym procesem Markowa. Dla procesu urodzeń i śmierci macierz intensywności ma postać:
[ ]
− + − + − + − − = = Λ − − − − N N N N N N ij µ µ λ µ λ µ λ µ λ µ λ µ λ µ λ λ λ 0 0 0 0 0 ) ( 0 0 0 0 0 0 0 ) ( 0 0 0 0 0 ) ( 0 0 0 0 0 1 1 1 1 2 2 2 2 1 1 1 1 0 0 L L L L L L L L L L L L Lukład równań Kołmogorowa można zapisać w postaci macierzowej: Λ = () ) (t P t P dt d
Rozwiązanie tego równania ma postać
P
(
t
)
=
P
(
0
)
e
ΛtGdzie
....
!
3
!
2
3 3 2 2+
Λ
+
Λ
+
Λ
+
=
ΛI
t
t
t
e
tPrzyjmując p(t) = (p0(t), p1(t), ..., pN(t)) (wektor rozkładu procesu w momencie t), to równanie
(
)
− = ′ + + − = ′ + + − = ′ + − = ′ − − ( ) ( ) ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 1 1 3 3 2 2 2 1 1 2 2 2 1 1 1 0 0 1 1 1 0 0 0 t p t p t p t p t p t p t p t p t p t p t p t p t p t p N N N N Nλ
µ
µ
µ
λ
λ
µ
µ
λ
λ
µ
λ
LPrzyjmujemy rozkład początkowy p(0) = (1, 0, 0, ...). Układ równań Kołmogorowa:
Λ = ( ) ) (t p t p dt d ma rozwiązanie postaci
p
(
t
)
=
p
(
0
)
e
Λt gdzie....
!
3
!
2
3 3 2 2+
Λ
+
Λ
+
Λ
+
=
Λt
t
t
I
e
t Uwaga.Proces urodzeń i śmierci ma dla intensywności dodatnich rozkład graniczny postaci:
0 2 1 1 1 0
...
...
Π
=
Π
− i i iµ
µ
µ
λ
λ
λ
`
i = 1, 2, ..., N
gdzie∑
= −+
=
Π
N i i i 1 1 2 1 1 0 0...
...
1
1
µ
µ
µ
λ
λ
λ
Dowód.Zastosujemy sposób pierwszy. Rozpatrzmy równanie ΠΛ=0
[
]
= − + − + − + − − Π Π Π − − − − 0 0 0 0 0 0 0 0 0 0 ) ( 0 0 0 0 0 0 0 ) ( 0 0 0 0 0 ) ( 0 0 0 0 0 1 1 1 1 2 2 2 2 1 1 1 1 0 0 1 0 L L L L L L L L L L L L L L L N N N N N N N µ µ λ µ λ µ λ µ λ µ λ µ λ µ λ λczyli układ równań
(
)
= Π − Π = Π + Π + − Π = Π + Π + − Π = Π + Π − − − 0 0 ) ( 0 0 1 1 3 3 2 2 2 1 1 2 2 1 1 1 0 0 1 1 0 0 N N N Nµ
λ
µ
µ
λ
λ
µ
µ
λ
λ
µ
λ
L = = − = − = 0 0 0 0 2 3 1 2 1 N z z z z z z L
stąd zi = 0 i przyjmując Π0 jako parametr mamy z warunków unormowania poszukiwane
wzory.
Uwaga.
Jeśli proces urodzeń i śmierci ma przeliczalną liczbę stanów, to rozkład graniczny jest postaci
0 2 1 1 1 0
...
...
Π
=
Π
− i i iµ
µ
µ
λ
λ
λ
`
i = 1, 2, ....
gdzie∑
∞ = −+
=
Π
1 1 2 1 1 0 0...
...
1
1
i i iµ
µ
µ
λ
λ
λ
(zakładamy, że szereg
∑
∞ = − 1 1 2 1 1 0
...
...
i i iµ
µ
µ
λ
λ
λ
jest zbieżny).
Przykład.Niech
λ
i =λ
,µ
i =iλ
, i = 0, 1, ... , gdzie λ>0, dana stała.Zbadaj istnienie w tym przypadku prawdopodobieństw granicznych.
Przykład (proces Yule’a).
Jest to proces urodzeń dla którego intensywności urodzeń są równe
λ
i =iλ
, i = 0, 1, ... .Przyjmujemy, że p(t) = (p0(t), p1(t), ...) (wektor rozkładu procesu w momencie t), oraz
początkowy p(0) = (0, 1, 0, 0, ...).
Sprawdź, że równanie Kołmogorowa p'(t) = p(t)⋅Λ ma dla tego procesu postać
−
=
′
−
=
′
=
′
L
)
(
2
)
(
)
(
)
(
)
(
0
)
(
2 1 2 1 1 0t
p
t
p
t
p
t
p
t
p
t
p
λ
λ
λ
a prawdopodobieństwa(
)
=
>
−
=
− − −0
0
0
1
)
(
1k
k
e
e
t
p
k t t kdla
dla
λ λ spełniają to równanie.Przykład.
W zakładzie pracują maszyny, z których każda psuje się niezależnie od pozostałych z
intensywnością λ = 3 maszyny/godz. Maszyny te są naprawiane przez robotników. Niech X(t) oznacza liczbę zepsutych maszyn w chwili t. Rozpatrzmy następujące przypadki:
1) są 3 maszyny i 1 robotnik pracujący z intensywnością 1maszyna/godz. 2) są 3 maszyny i 2 robotników pracujących bez współpracy z intensywnością
1maszyna/godz. każdy.
3) są 4 maszyny i 2 robotników pracujących bez współpracy z intensywnością 1maszyna/godz. każdy.
4) są 3 maszyny i 3 robotników pracujących z pełną współpracą z intensywnością 1maszyna/godz. każdy.
5) są 3 maszyny i 2 robotników pracujących z pełną współpracą z intensywnością 1maszyna/godz. każdy.
6) są 3 maszyny i 2 robotników pracujących z ograniczoną współpracą (z intensywnością 1maszyna/godz. każdy gdy pracują osobno i z intensywnością 1,5maszyny/godz. gdy pracują razem).
W każdym przypadku: a) narysować graf,
b) wyznaczyć prawdopodobieństwa graniczne,
c) obliczyć prawdopodobieństwo graniczne, że żaden robotnik nie pracuje,
d) obliczyć prawdopodobieństwo graniczne, że przynajmniej jedna maszyna jest sprawna, e) obliczyć prawdopodobieństwo graniczne, że przynajmniej jedna maszyna czeka na
naprawę,
f) obliczyć średnia liczbę zepsutych maszyn, g) obliczyć średnia liczbę zajętych robotników.
ZADANIA Zadanie 1.
Narysować graf i wyznaczyć rozkład graniczny procesu Markowa o macierzy intensywności:
− − − = Λ 7 4 3 1 2 1 4 2 6
Obliczyć graniczną wartość oczekiwaną i graniczną wariancję.
Zadanie 2.
Proces Markowa jest określony grafem
[ ] [ ] [ ]
0
1
22
4→
←
Wyznaczyć jego macierz intensywności i równania Kołmogorowa. Wyznaczyć wektor p(t) dla rozkładu początkowego (0, 1, 0). Wyznaczyć rozkład graniczny.
Po jakim czasie p0(t) osiągnie wartość 0,25?
Zadanie 3.
Przyjmując, że proces ma stany 0, 1, 2, 3; narysować graf i wyznaczyć rozkład graniczny procesu Markowa o macierzy intensywności:
− − − − = Λ 3 1 1 1 3 6 1 2 1 3 5 1 4 2 2 8
Wypisać równania Kołmogorowa tego procesu. Obliczyć graniczną wartość oczekiwaną i graniczną wariancję.
Zadanie 4.
Proces Markowa jest określony grafem
[ ] [ ] [ ] [ ]
0
1
2
13
3 1 4 2 2→
←
→
←
→
←
Wyznaczyć jego macierz intensywności i równania Kołmogorowa.
Wyznaczyć rozkład graniczny tego procesu. Obliczyć graniczną wartość oczekiwaną i graniczną wariancję.
Zadanie 5.
Sprawdź, że jeśli proces Markowa ma macierz intensywności:
−
−
=
Λ
b
b
a
a
gdzie a, b, a + b > 0to jego macierz prawdopodobieństw przejść jest równa
(
)
(
)
(
)
(
)
+
−
−
+
+
=
−−aa−−bbtt −−aa−−bb ttbe
a
be
b
ae
a
ae
b
b
a
t
P
(
)
1
Wyznaczyć wektor p(t) dla rozkładu początkowego (1, 0). Wyznaczyć rozkład graniczny.
Zadanie 6.
Strumień awarii pewnego systemu jest modelowany procesem Poissona. Wiadomo, że przeciętnie jedna awaria zdarza się raz na 20 godzin.
a) obliczyć prawdopodobieństwo wystąpienia dokładnie jednej awarii w ciągu 10 godzin, b) obliczyć prawdopodobieństwo wystąpienia najwyżej dwóch awarii w ciągu 10 godzin, c) obliczyć prawdopodobieństwo bezawaryjnej pracy w ciągu 10 godzin,
d) obliczyć prawdopodobieństwo, że czas między kolejnymi awariami będzie większy niż 20 godzin,
e) obliczyć prawdopodobieństwo, że czas między kolejnymi awariami będzie większy niż 10 godzin i mniejszy od 20 godzin,
f) obliczyć wartość oczekiwaną bezawaryjnego czasu pracy tego systemu.
Zadanie 7.
Strumień zgłoszeń do systemu telekomunikacyjnego jest procesem Poissona. Wiadomo, że intensywność tego procesu wynosi λ = 3 zgł/min.
a) obliczyć prawdopodobieństwo wystąpienia co najwyżej jednego zgłoszenia w ciągu 30 sekund,
b) obliczyć prawdopodobieństwo wystąpienia trzech zgłoszeń w ciągu 30 sekund,
c) obliczyć prawdopodobieństwo, że czas między kolejnymi zgłoszeniami będzie większy niż 12 sekund,
d) ile sekund wynosi średni czas oczekiwania na pierwsze zgłoszenie?
Zadanie 8.
Wyznaczyć parametry i narysować przykładowa realizacje procesu
t t X t
Z( )= ( )−λ
gdzie X(t) jest jednorodnym procesem Poissona o intensywności λ.
Zadanie 9.
Sprawdź, że macierz prawdopodobieństw przejścia procesu przełączania między stanami {-1, 1} generowanego procesem Poissona, tzn. procesu
) ( ) 1 )( 0 ( ) ( X t Z t Z = − , t≥0
gdzie X(t) jest jednorodnym procesem Poissona o intensywności λ ma postać
(
) (
)
(
) (
)
+ − − + = − − − − t t t t e e e e t P λ λ λ λ 2 2 2 2 1 2 1 1 2 1 1 2 1 1 2 1 ) ( Zadanie 10.W zakładzie pracują maszyny, z których każda psuje się niezależnie od pozostałych z
intensywnością λ = 3 maszyny/godz. Maszyny te są naprawiane przez robotników. Niech X(t) oznacza liczbę zepsutych maszyn w chwili t. Rozpatrzmy następujące przypadki:
1) są 3 maszyny i 1 robotnik pracujący z intensywnością 1maszyna/godz. 2) są 3 maszyny i 2 robotników pracujących bez współpracy z intensywnością
1maszyna/godz. każdy.
3) są 4 maszyny i 2 robotników pracujących bez współpracy z intensywnością 1maszyna/godz. każdy.
4) są 3 maszyny i 3 robotników pracujących z pełną współpracą z intensywnością 1maszyna/godz. każdy.
5) są 3 maszyny i 2 robotników pracujących z pełną współpracą z intensywnością 1maszyna/godz. każdy.
6) są 3 maszyny i 2 robotników pracujących z ograniczoną współpracą (z intensywnością 1maszyna/godz. każdy gdy pracują osobno i z intensywnością 1,5maszyny/godz. gdy pracują razem).
W każdym przypadku: a) narysować graf,
b) wyznaczyć prawdopodobieństwa graniczne,
c) obliczyć prawdopodobieństwo graniczne, że żaden robotnik nie pracuje,
d) obliczyć prawdopodobieństwo graniczne, że przynajmniej jedna maszyna jest sprawna, e) obliczyć prawdopodobieństwo graniczne, że przynajmniej jedna maszyna czeka na
naprawę,
f) obliczyć średnia liczbę zepsutych maszyn, g) obliczyć średnia liczbę zajętych robotników.
