1
Elementy modelowania matematycznego
Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/
Łańcuchy Markowa.
ŁAŃCUCH MARKOWA
Przykład:
Rozważmy problem częstości występowania w języku
poszczególnych liter. Załóżmy, że interesuje nas nie tyle częstość (prawdopodobieństwo) bezwzględne, co częstość uzależniona od poprzedniej litery. Np. po literze ‘c’ częściej występuje ‘h’ niż ‘k’, chociaż litera ‘k’ jest w języku polskim powszechniejsza.
Definicja:
Łańcuchem Markowa nazywamy ciąg zmiennych losowych Xn o wartościach w pewnym zbiorze S taki, że dla każdego n:
czyli wartość zmiennej n zależy tylko od wartości dla n-1.
) (
) ,
,
(Xn =sn X1=s1 Xn−1=sn−1 =P Xn=sn Xn−1=sn−1
P …
2
MACIERZ PRZEJŚCIA
Z definicji łańcucha Markowa wynika, że prawdopodobieństwo przejścia ze stanu i do j jest zawsze jednakowe. Oznaczmy je pij. Reprezentacja macierzowa przykładowego łańcucha Markowa:
Reprezentacja graficzna powyższego przykładu:
1
=
=
5 . 0 2 . 0 0 3 . 0
7 . 0 0 0 3 . 0
0 5 . 0 0 5 . 0
0 0 1 0
44 43 42 41
34 33 32 31
24 23 22 21
14 13 12 11
p p p p
p p p p
p p p p
p p p p P
4 3
2 1
0.5 0.5
0.5 0.3
0.3 0.7
0.2
MACIERZ PRZEJŚCIA
Macierz przejścia może być użyta do policzenia, z jakimi
prawdopodobieństwami znajdziemy się w poszczególnych stanach w kolejnym kroku. Np. jeśli w poprzednim przykładzie startujemy z pozycji 1 lub 3 z jednakowym prawdopodobieństwem, to rozkład prawdopodobieństwa w kolejnym kroku uzyskamy mnożąc wektor prawdopodobieństw wyjściowych przez macierz przejścia:
Ogólnie, wektor (rozkład) prawdopodobieństw po k krokach uzyskamy wymnażając wyjściowy rozkład przez Pk.
( ) (
0.15,0.5,0,0.35)
5 . 0 2 . 0 0 3 . 0
7 . 0 0 0 3 . 0
0 5 . 0 0 5 . 0
0 0 1 0 0 , 5 . 0 , 0 , 5 .
0 0
1 =
=
= p P p
3
SYMULACJA ZJAWISK
Prawdopodobieństwa przejścia łańcucha Markowa można znaleźć doświadczalnie, zliczając przypadki przejść między stanami.
Znaleziony łańcuch może być użyty do symulacji badanego zjawiska.
Przykład: Mamy zbiór N liter polskiego alfabetu. Przez pijoznaczmy prawdopodobieństwo, że po literze i następuje litera j. Możemy znaleźć macierz P=(pij) analizując dostatecznie duży zbiór tekstów.
Macierz P będzie miała różne wartości, w zależności od analizowanego języka.
Symulacja powstawania słów: startujemy od losowej litery i, następnie losujemy kolejną zgodnie z rozkładem (pi1, ... piN).
Oznaczmy wylosowaną literę przez j. Potem losujemy kolejną z rozkładem (pj1, ... pjN) itd. Utworzone w ten sposób słowo zwykle nic nie znaczy, ale brzmi prawdopodobnie.
ROZKŁAD STACJONARNY
Rozkład prawdopodobieństwa π na zbiorze stanów łańcucha Markowa, który nie zmienia się po wykonaniu jednego kroku, nazywamy rozkładem stacjonarnym:
π P π =
To, czy taki rozkład istnieje i jest jednoznacznie wyznaczony, zależy m.in. od rodzaju stanów występujących w danym łańcuchu.
4
KLASYFIKACJA STANÓW
Stan i jest osiągalny z j, jeśli istnieje niezerowa ścieżka z j do i.
Zbiór stanów C jest zamknięty, jeśli żaden stan spoza C nie jest
osiągalny ze stanu należącego do C.
Jednoelementowy zbiór zamknięty nazywamy stanem pochłaniającym.
1 3
2
1
Przykład – zagadnienie ruiny gracza. Gracz ma kapitał początkowy N.
Z prawdopodobieństwem p wygrywa 1, z prawdop. 1-p przegrywa 1.
Jakie jest prawdopodobieństwo, że zbankrutuje (dojdzie do 0)?
