Procesy stochastyczne w0-2011

Pełen tekst

(1)

1

Procesy stochastyczne

WYKŁAD 0

Literatura

• A. Plucińska, E. Pluciński, Probabilistyka (WNT),

2000

• D. Bobrowski, Probabilistyka w zastosowaniach

technicznych (WNT)

 A. Wentzell, Wykłady z teorii procesów

stochastycznych, 1980

 M. Chudy, Procesy stochastyczne: zbiór zadań,

skrypt WAT, 1971

 O. Tikhonenko, Metody probabilistyczne analizy

systemów informacyjnych, 2006

(2)

2

ZMIENNA LOSOWA I JEJ PARAMETRY -powtórzenie

(Ω, ,S P) – przestrzeń probabilistyczna

(matematyczny model zjawiska losowego),

Ω – zbiór wszystkich zdarzeń elementarnych,

S – zbiór zdarzeń, (podzbiory zbioru Ω,

(dokładnie σ – ciało podzbiorów)),

P – prawdopodobieństwo (funkcja

przyporządkowująca zdarzeniom szansę ich zajścia).

R

S

(3)

3

Zmienną losową X nazywamy funkcję (borelowską czyli praktycznie każdą) przyporządkowującą zdarzeniom elementarnym liczby rzeczywiste.

R X : Ω →

(4)

4

Dystrybuantą zmiennej losowej X nazywamy

funkcję F R:  → R określoną wzorem:

(5)

5

Własności dystrybuanty:

a) F jest funkcją niemalejącą,

b) F jest funkcją lewostronnie ciągłą,

c) F(−∞ =) 0; F( )∞ = 1,

d) dystrybuanta zmiennej losowej wyznacza

jednoznacznie jej rozkład,

e) P a( ≤ X < b) = F b( ) − F a( ); a < b

f) P X( = a) = F a( +) − F a( ); gdzie F a( +) oznacza

granicę prawostronną, (jeśli a jest punktem ciągłości dystrybuanty to P(X = a ) = 0).

(6)

6

Zmienna losowa jest skokowa (dyskretna) jeśli zbiór wszystkich jej wartości jest skończony lub przeliczalny.

Rozkład zmiennej losowej skokowej często określamy za pomocą funkcji

prawdopodobieństwa:

P X

(

=

x

k

)

=

p

k (własność:

=1; k > 0 k k p p )

Liczby pk nazywamy skokami, a wartości xk

(7)

7

Zmienna losowa X o dystrybuancie F jest

ciągła jeśli jej dystrybuanta da się

przedstawić w postaci

F x f t dt x R

x

( ) = ( ) ∈

−∞

gdzie f jest funkcją spełniającą warunki: f x( ) ≥ ; xR; f t dt( ) = −∞ ∞

0 1 i nazywamy ją gęstością

(8)

8

Własności zmiennej losowej ciągłej: a) P X a f x dx F a a ( < ) = ( ) = ( ) −∞

, b) ) ( ) ( ) ( ) ( ( ) ( ) ( a F b F dx x f b X a P X a P b X a P b X a P b a − = = < < = < ≤ = ≤ < = ≤ ≤

c) P X( = a) = 0, dla dowolnego aR ;

(brak punktów skokowych),

d) F jest funkcją ciągłą i prawie wszędzie

różniczkowalną F x′( ) = f x( ) (równość zachodzi dla punktów ciągłości gęstości). Wyznaczając gęstość przez różniczkowanie dystrybuanty, w punktach w których F nie jest różniczkowalna można przyjąć, że gęstość jest równa zero.

(9)

9

Własności rozkładu zmiennej losowej często charakteryzujemy jej parametrami.

(10)

10

Jednym z podstawowych parametrów jest wartość oczekiwana.

Wartość oczekiwana. Oznaczenie EX lub m.

Dla zmiennej losowej skokowej

= i i i p x EX

(jeśli ewentualny szereg jest zbieżny

bezwzględnie, takie szeregi są "odporne" np. na zmianę kolejności wyrazów).

Dla zmiennej losowej ciągłej EX = xf x dx

−∞ ∞

( )

(jeśli ewentualna całka niewłaściwa jest zbieżna bezwzględnie).

(11)

11

Przykład

Dla zmiennej losowej o funkcji prawdopodobieństwa xk -1 2 3 pk 0,2 0,6 0,2 6 , 1 2 , 0 3 6 , 0 2 2 , 0 1⋅ + ⋅ + ⋅ = − = EX .

(12)

12

Przykład

Dla zmiennej losowej o gęstości

f x x x x ( ) , , = ∈< > ∉< >    2 01 0 01 EX =

x⋅2xdx =2

x dx =2 x = 3 1 0 2 3 0 1 2 0 1 3

(13)

13

Własności wartości oczekiwanej a) Ec = c; c – stała, b) E(aX) = aE(X), c) E(X + Y) = EX + EY, d) Jeśli aXb, to aEXb, jeśli XY , to EXEY , e) EXE X , EXE X

(14)

14

Miarą rozrzutu wartości zmiennej losowej jest wariancja.

Wariancja. Oznaczenie D2X lub

σ

2 .

D2X = E(X – EX)2 Dla zmiennej losowej skokowej

D X2 =

(xiEX)2 pi

Dla zmiennej losowej ciągłej D X2 = xEX 2 f x dx

−∞ ∞

(15)

15 Własności wariancji a) D2c = 0; c – stała, b) D2(aX) = a2 D2(X), c) D2(X + b) = D2X , b – stała, d) X, Y – niezależne, to D2(X ± Y) = D2X + D2Y e) D2X = E(X2) – (EX)2.

(16)

16

Uzasadnienie e)

D2X = E(X – EX)2 = E(X2 – 2XEX + (EX)2) = EX2 – 2EXEX + (EX)2 =

(17)

17

Jeśli rozrzut wartości zmiennej losowej

chcemy (np. z powodu interpretacji

w zastosowaniach) mierzyć w tych samych jednostkach co X to stosujemy odchylenie standardowe.

(18)

18

Odchylenie standardowe.

Oznaczenie DX lub

σ

.

(19)

19

Podstawowe rozkłady.

Rozkład dwupunktowy (zerojedynkowy)

Niech 0 < p < 1 będzie ustaloną liczbą. Określamy:

P(X = 0) = q, P(X = 1) = p ; gdzie q = 1 – p.

Rozkład ten jest wykorzystywany w

statystycznej kontroli jakości. Można np. przyjąć, że X = 0 gdy wyrób dobry, X = 1 gdy wyrób jest wadliwy, wtedy p = P(X = 1) traktujemy jako wadliwość wyrobu.

Rozkład dwumianowy

Dla danych 0 < p < 1 , nN określamy

funkcję prawdopodobieństwa k n k q p k n k X P  −      = = ) ( gdzie q = 1 – p k = 0, 1, 2, ... , n. Zauważmy, że gdy n = 1 to rozkład dwumianowy jest rozkładem

(20)

20

Jeśli przyjmiemy, że n oznacza liczbę niezależnych doświadczeń z których każde kończy się jednym z dwóch wyników:

„sukcesem" (z prawdopodobieństwem

p w każdym doświadczeniu) lub „porażką”

i zmienna losowa X oznacza liczbę

„sukcesów” to powyższy wzór wyznacza

prawdopodobieństwo uzyskania dokładnie

(21)

21

Rozkład Poissona

Dla

λ

> 0 określamy funkcję prawdopodobieństwa λ λ − = = e k k X P k ! ) ( k = 0, 1, 2, ...

(wartości tych prawdopodobieństw zawiera tablica rozkładu Poissona)

(22)

22

Rozkład Poissona (możliwość odczytu w tablicy) może dla dużych n (praktycznie n 30) i małych p (praktycznie p ≤ 0,2) przybliżać rozkład dwumianowy (przybliżenie Poissona)

p n e k q p k n k k n k ≈ = ⋅       λ λ λ gdzie !

(23)

23

Rozkłady ciągłe

Rozkład jednostajny

Rozkład którego gęstość jest stała w pewnym przedziale nazywamy jednostajnym.

Gęstość rozkładu jednostajnego w (a, b) f x b a x a b x a b ( ) ( ; ) ( ; ) = ∈ ∉     1 0

(24)

24

Ponieważ gęstość ta ma oś symetrii w punkcie x = (a + b)/2 to

EX = (a+b)/2 D2X = (b – a)2/12

(25)

25

Rozkład wykładniczy

Rozkład ten występuje często w zagadnieniach

rozkładu czasu między zgłoszeniami

(awariami) lub czasu oczekiwania na obsługę w systemach kolejkowych.

Gęstość rozkładu wykładniczego o parametrze a > 0 ma postać    ≤ > = − 0 0 0 ) ( x x ae x f ax

dystrybuantą tego rozkładu jest funkcja

   ≤ > − = − 0 0 0 1 ) ( x x e x F ax (uzasadnienie: F'(x) = f(x)) Własność.

1) Jeśli liczba zgłoszeń w systemie

kolejkowym w przedziale czasu (t, t + T) ma rozkład Poissona o parametrze λT, oraz liczby zgłoszeń przychodzące w rozłącznych przedziałach czasu są niezależne to czas X między kolejnymi zgłoszeniami ma rozkład wykładniczy o parametrze a = 1/λ.

2) Dla dowolnych t, T > 0 mamy

(

X t T X t

) (

P X T

)

(26)

26 pamięci) Uzasadnienie. ( ) ( ( ) ) ( ( ) ) (X T) P e e e t X P T t X P t X P t X T t X P t X T t X P Ta ta a T t ≥ = = = = ≥ + ≥ = ≥ ≥ ∧ + ≥ = ≥ + ≥ − − + −( ) |

Jest to jedyny rozkład ciągły o tej własności.

(27)

27

Dyskretnym odpowiednikiem rozkładu

(28)

28

Rozkład normalny

Dla

m

R

,

σ

( ,

0

+ ∞

)

Określamy gęstość rozkładu

R x m x e x f ∈ − − = 2 2 2 ) ( 2 1 ) ( σ π σ

Wartości dystrybuanty dla argumentów

ujemnych wyznaczamy na podstawie

zależności

(29)

29

Uwaga

Jeśli X ma rozkład N(m,

σ

) to zmienna losowa

Y = (X – m)/

σ

ma rozkład N(0, 1)

(takie przekształcenie nazywamy

(30)

30

ROZKŁAD ZMIENNEJ LOSOWEJ N-WYMIAROWEJ.

CIĄGI LOSOWE

(Ω,S,P)- ustalona przestrzeń probabilistyczna.

X = (X1, X2, ..., Xn) - zmienna losowa n - wymiarowa (wektor losowy, ciąg losowy).

n R X :Ω → (funkcja borelowska)

( )

[0, 1] :Β nX R

(31)

31 Dystrybuanta

(

n n

)

n P X x X x x x F( 1, ..., ) = 1 < 1, ..., <

X nazywamy zmienną losową skokową jeśli jej zbiór wartości jest skończony lub

(32)

32

X nazywamy zmienną losową ciągłą jeśli jej dystrybuanta da się przedstawić w postaci

n x n x n f u u du du x x F n ... ) ..., , ( ) ..., , ( 1 1 1 1

∞ − ∞ − = L

dla pewnej nieujemnej funkcji f zwanej gęstością.

(33)

33

Uwaga.

1.W punktach ciągłości funkcji f zachodzi: ) ..., , ( ... ) ..., , ( 1 1 1 ) ( n n n n x x f x x x x F = ∂ ∂ ∂ 2.Dla A∈Β(Rn) mamy n n A X A f x x dx dx P ( ) =∫ ∫...∫ ( 1, ..., ) 1... .

(34)

34

Funkcja charakterystyczna zmiennej

losowej n - wymiarowej.

( )

(

exp( ( ... ))

)

) ..., , ( ) (tt1 tn = E eitX = E i t1X1 + +tnXn ϕ .

(35)

35

Rozkłady warunkowe.

Jeśli P1,...,k(X1 = x1j, ...,Xk = xkj) > 0 to rozkład

zmiennej losowej skokowej (n - k) wymiarowej określonej wzorem:

) ..., , ( ) ..., , ( ) ..., , | ..., , ( 1 1 ,..., 1 1 1 1 1 , 1 1 kj k j k nj n j kj k j nj n j k k x X x X P x X x X P x X x X x X x X P = = = = = = = = = + +

nazywamy rozkładem warunkowym zmiennej losowej (Xk+1, ...,Xn) pod warunkiem, że

(

X1 = x1j, ...,Xk = xkj

)

.

Jeśli gęstość f1,...,k >0 to rozkład zmiennej

losowej ciągłej (n - k) wymiarowej określonej wzorem: ) ..., , ( ) ..., , ( ) ..., , | ..., , ( 1 1 1 1 k n k n k x x f x x f x x x x f + =

nazywamy rozkładem warunkowym zmiennej losowej (Xk+1, ...,Xn) pod warunkiem, że

(36)

36

Niezależność zmiennych losowych.

Zmienne losowe X1, X2, ..., Xn są niezależne

jeśli ) ( )... ( ) ( ) ..., , (x1 xn F1 x1 F2 x2 Fn xn F = ⋅ ⋅ dla dowolnych x1, x2, ..., xn ∈ Rn.

gdzie Fi - dystrybuanty rozkładów brzegowych jednowymiarowych.

Dla zmiennych losowych skokowych odpowiedni warunek ma postać:

) ( ... ) ( ) ..., , (X1 x1j Xn xnj P1 X1 x1j Pn Xn xnj P = = = = ⋅ ⋅ = dla dowolnych x1j, ...,xnjRn

Dla zmiennych losowych ciągłych odpowiedni warunek ma postać: ) ( )... ( ) ( ) ..., , (x1 xn f1 x1 f2 x2 fn xn f = ⋅ ⋅ dla dowolnych x1, x2, ..., xn ∈ Rn.

(37)

37

Parametry (mogą nie istnieć )

(38)

38 Wariancja X

[

X X Xn

]

2 2 2 1 2 2 D ..., , D , D ) ( D = .

(39)

39

Moment (zwyczajny) rzędu l1 + l2 + ...+ ln

(

n

)

n l n l l l l l E X X X m 1 2 ... 2 1 ... = 1 2 ,

(40)

40

Moment centralny rzędu l1 + l2 + ...+ ln

(

) (

)

(

n

)

n l n n l l l l = E XEX ... XEX 1 2 1 ... 1 1 µ ,

(41)

41

Macierz kowariancji K = [kij], gdzie

(

)

(

)

[

]

(

i j

)

( )

i

( )

j j j i i j i ij X E X E X X E EX X EX X E X X k − = = − − = = cov( , )

Uwaga kii = D2Xi, jest wariancją i - tej

(42)

42

Macierz K jest kwadratowa, symetryczna i

słabo dodatnio określona ( w szczególności ma wyznacznik nieujemny).

(43)

43

Macierz korelacji R = [ρij], gdzie

=

=

j i j i ij

DX

DX

X

X

,

)

cov(

ρ

Uwaga ρii = 1.

(44)

44

Wielowymiarowy rozkład Bernoulliego.

Dla danych k ∈ N, p = [p1, p2, ...,pn]T takiego,

że 0 1 1 < ≤∑ = n i i p oraz i = [i1, i2, ...,in]T gdzie ij ∈ {0, 1, ..., n} i k n j j ≤ ∑ =1 określamy P(X = i) = n i n i i n p p p i i i i k ⋅ ⋅ ⋅ ... ! !... ! ! ! 0 1 1 0 2 1 0 gdzie

= − = n i i p p 1 0 1 ;

= − = n j j i k i 1 0 .

(45)

45

Wielowymiarowy rozkład wielomianowy.

Jeśli w definicji rozkładu Bernoulliego mamy

po = 0 , i k n j j =

=1 to otrzymany rozkład

nazywamy rozkładem wielomianowym.

Wielowymiarowy rozkład Poissona.

Dla danego λ = [λ1, λ2, ..., λn]T oraz i = [i1, i2, ...,in]T gdzie ij ∈ {0, 1, ..., n} określamy P(X = i) = 0 1 ! ... ! 1 1 λ λ λ e i i n i n i n gdzie

= = n i i 1 0 λ λ .

(46)

46

Rozkład normalny n - wymiarowy.

K - macierz kowariancyjna, niech detK ≠ 0. Zmienna losowa n - wymiarowa ma rozkład normalny n - wymiarowy gdy gęstość tej zmiennej losowej wyraża się wzorem:

( ) ( )      − − − = =         − − − = = ∑ = ) ( ) ( 2 1 exp 2 ) )( ( 2 1 exp 2 ) ,..., , ( ) ( 2 / 1 , 2 / 2 1 m x L m x L m x m x l L x x x f x f T n n k j k k j j jk n n π π gdzie ) ( i i E X m = dla i = 1, 2, ..., n L = [ljk] j, k = 1, 2, ..., n jest macierzą odwrotną do K.

Dla n = 2 warunek |K| ≠ 0 jest równoważny warunkowi ρ2 ≠ 1.

(47)

47

Ponieważ macierz K ma wtedy postać

      = 2 2 2 1 2 1 2 1 σ σ ρσ σ ρσ σ K to       − − − = 2 1 2 1 2 1 2 2 2 2 2 2 1 (1 ) 1 σ σ ρσ σ ρσ σ ρ σ σ L

Zatem gęstość rozkładu normalnego 2-wymiarowego N(m1, m2, σ1, σ2, ρ) można zapisać następująco: ( ) ( ) ( )( ) ( )               + − − − − − − − = 2 2 2 2 2 1 2 1 2 1 2 1 2 2 2 1 2 1 2 1 exp 1 2 1 ) , ( σ σ σ ρ σ ρ ρ σ πσ m y m y m x m x y x f

Powyższa funkcja gęstości ma stałą wartość f(x, y) = h na elipsie: ( ) ( )( ) ( ) 2 2 2 2 2 2 1 2 1 2 1 2 1 2 λ σ σ σ ρ σ = = − + − − − − const m y m y m x m x o środku w punkcie (m1, m2). gdzie

(

)

(

1 2 2

)

2 2 1 2 ln 1 2 ρ πσ σ ρ λ = − − h.

(48)

48

(

)

(

1

)

2 2 2 1 2 2 2 2 2 1 2 2 2 1 2 1 2 4 2 m x m y − + − ± − = − σ σ ρ σ σ σ σ σ ρσ

Dla ρ = 0 osie rozpatrywanej elipsy są równoległe do osi układu współrzędnych.

Zauważmy, że gdy ρ2 → 1 to jedna oś się wydłuża, a druga skraca, zależność między zmiennymi staje się ściśle liniowa.

Osie powyższej elipsy tworzą z osią OX kąty α i α + π/2 gdzie 2 2 2 1 2 1 2 2 tg σ σ σ ρσ α − =

(49)

49 Funkcja charakterystyczna:       − = im t t Kt t T T 2 1 exp ) ( ϕ gdy n = 2 to ( )

(

)

      + + − + = 2 2 2 2 2 1 2 1 2 1 2 1 2 2 1 1 2 1 2 2 1 exp ) , (t t i t m t m σ t ρσ σ t t σ t ϕ Twierdzenie.

Dowolny rozkład brzegowy normalnego

rozkładu n-wymiarowego jest rozkładem normalnym.

(50)

50

Twierdzenie.

Jeśli składowe normalnego rozkładu

n-wymiarowego są parami nieskorelowane to są niezależne.

(51)

51

Zbieżność ciągów losowych

Zbieżność ciągu zmiennych losowych z prawdopodobieństwem 1 (prawie napewno)

Ciąg zmiennych losowych (Xn) jest zbieżny do zmiennej losowej X z prawdopodobieństwem 1 jeśli

{

}

(

:lim ( ) = ( )

)

=1 ∞ → ω ω ω X X P n n

Średniokwadratowa zbieżność ciągu

zmiennych losowych

Ciąg zmiennych losowych (Xn) jest

średniokwadratowo zbieżny do zmiennej

losowej X jeśli

(

)

0 lim − 2 = ∞ → E Xn X n

Rozpatrując ten rodzaj zbieżności zakładamy,

że dla występujących tu zmiennych losowych (Xn), X istnieje skończony moment rzędu 2.

Niekiedy stosuje się zapis l.i.m. Xn = X (skrót od „limit in mean”).

(52)

52

Stochastyczna zbieżność ciągu zmiennych losowych

Ciąg zmiennych losowych (Xn) jest

stochastycznie (wg prawdopodobieństwa)

zbieżny do zmiennej losowej X jeśli

(

)

1 lim 0 →∞ − < = >

ε ε n P Xn X lub równoważnie

(

)

0 lim 0 →∞ − ≥ = >

ε ε n P Xn X

(53)

53

Zbieżność ciągu zmiennych losowych wg dystrybuant (wg rozkładu)

Ciąg zmiennych losowych (Xn) jest zbieżny do zmiennej losowej X wg dystrybuant jeśli ciąg

ich dystrybuant Fn jest zbieżny do

dystrybuanty F w każdym punkcie jej ciągłości (F jest dystrybuantą zmiennej losowej X).

Zależności miedzy zbieżnościami.

ZBIEŻNOŚĆ Z PRAWDOPODOBIEŃSTWEM 1 ZBIEŻNOŚĆ ŚREDNIOKWADRATOWA ZBIEŻNOŚĆ STOCHASTYCZNA zbieżność do stałej (tzn. gdy granica ma rozkład

jednopunktowy) ZBIEŻNOŚĆ WG

(54)

54

Przykład.

Rozpatrzmy ciąg zmiennych losowych

skokowych określonych na przedziale [0, 1) w następujący sposób             + − ∈      + ∈ = n k n k n k n k Xkn 1 ; ) 1 , 0 [ gdy 0 1 ; gdy 1 ) ( ω ω ω n X P( kn =1) = 1 ; n X P( kn = 0) =1− 1 Ciąg X01, X02, X12, X03, X13, X23, ... jest zbieżny stochastycznie do zera bo

(

)

lim1 0

lim

1

0

<ε< n→∞ P Xn ≥ε = n→∞ n =

Natomiast ciąg ten nie jest zbieżny w żadnym punkcie przedziale [0, 1) bowiem dla każdego ustalonego punktu otrzymujemy rozbieżny ciąg zer i jedynek (zera i jedynki występują na dowolnie dalekich miejscach).

(55)

55

Przykład.

Ciąg zmiennych losowych Xn ciągłych o

rozkładach jednostajnych na przedziałach

(0, 1/n) jest zbieżny do rozkładu

jednopunktowego X (P(X = 0) =1) wg

(56)

56

Uwaga.

Punktowa granica ciągu dystrybuant nie musi być dystrybuantą.

Jeśli ciąg funkcji charakterystycznych

odpowiadających rozpatrywanemu ciągowi dystrybuant jest punktowo zbieżny do funkcji ciągłej to granica tych dystrybuant jest dystrybuantą.

Obraz

Updating...

Cytaty

Updating...

Powiązane tematy :