Procesy stochastyczne w0-2011

(1)

1

Procesy stochastyczne

WYKŁAD 0

Literatura

• A. Pluci_ńska, E. Pluci_ński, Probabilistyka (WNT),

2000

• D. Bobrowski, Probabilistyka w zastosowaniach

technicznych (WNT)

A. Wentzell, Wykłady z teorii procesów

stochastycznych, 1980

M. Chudy, Procesy stochastyczne: zbiór zada_ń,

skrypt WAT, 1971

O. Tikhonenko, Metody probabilistyczne analizy

systemów informacyjnych, 2006

(2)

2

ZMIENNA LOSOWA I JEJ PARAMETRY -powtórzenie

(Ω, ,S P)_{– przestrzeń probabilistyczna}

(matematyczny model zjawiska losowego),

Ω – zbiór wszystkich zdarzeń elementarnych,

S – zbiór zdarzeń, (podzbiory zbioru Ω,

(dokładnie σ – ciało podzbiorów)),

P – prawdopodobieństwo (funkcja

przyporządkowująca zdarzeniom szansę ich zajścia).

R

S

(3)

3

Zmienną losową X nazywamy funkcję (borelowską czyli praktycznie każdą) przyporządkowującą zdarzeniom elementarnym liczby rzeczywiste.

R X : Ω →

(4)

4

Dystrybuantą zmiennej losowej X nazywamy

funkcję F R:  → R _{określoną wzorem:}

(5)

5

Własności dystrybuanty:

a) F jest funkcją niemalejącą,

b) F jest funkcją lewostronnie ciągłą,

c) F(−∞ =) 0; F( )∞ = 1,

d) dystrybuanta zmiennej losowej wyznacza

jednoznacznie jej rozkład,

e) P a( ≤ X < b) = F b( ) − F a( ); a < b

f) P X( = a) = F a( +) − F a( ); gdzie F a( +) oznacza

granicę prawostronną, (jeśli a jest punktem ciągłości dystrybuanty to P(X = a ) = 0).

(6)

6

Zmienna losowa jest skokowa (dyskretna) jeśli zbiór wszystkich jej wartości jest skończony lub przeliczalny.

Rozkład zmiennej losowej skokowej często określamy za pomocą funkcji

prawdopodobieństwa:

P X

(

=

x

_k

)

=

p

_k (własność:

∑

=1; k > 0 k k p p ₎

Liczby p_k nazywamy skokami, a wartości x_k

(7)

7

Zmienna losowa X o dystrybuancie F jest

ciągła jeśli jej dystrybuanta da się

przedstawić w postaci

F x f t dt x R

x

( ) = ( ) ∈

−∞

∫

gdzie f jest funkcją spełniającą warunki: f x( ) ≥ ; x ∈R; f t dt( ) = −∞ ∞

∫

0 1 i nazywamy ją gęstością

(8)

8

Własności zmiennej losowej ciągłej: a) P X a f x dx F a a ( < ) = ( ) = ( ) −∞

∫

, b) ) ( ) ( ) ( ) ( ( ) ( ) ( a F b F dx x f b X a P X a P b X a P b X a P b a − = = < < = < ≤ = ≤ < = ≤ ≤

∫

c) P X( = a) = 0, dla dowolnego a ∈R ;

(brak punktów skokowych),

d) F jest funkcją ciągłą i prawie wszędzie

różniczkowalną F x′( ) = f x( ) (równość zachodzi dla punktów ciągłości gęstości). Wyznaczając gęstość przez różniczkowanie dystrybuanty, w punktach w których F nie jest różniczkowalna można przyjąć, że gęstość jest równa zero.

(9)

9

Własności rozkładu zmiennej losowej często charakteryzujemy jej parametrami.

(10)

10

Jednym z podstawowych parametrów jest wartość oczekiwana.

Wartość oczekiwana. Oznaczenie EX lub m.

Dla zmiennej losowej skokowej

∑

= i i i p x EX

(jeśli ewentualny szereg jest zbieżny

bezwzględnie, takie szeregi są "odporne" np. na zmianę kolejności wyrazów).

Dla zmiennej losowej ciągłej EX = xf x dx

−∞ ∞

∫

( )

(jeśli ewentualna całka niewłaściwa jest zbieżna bezwzględnie).

(11)

11

Przykład

Dla zmiennej losowej o funkcji prawdopodobieństwa x_k -1 2 3 p_k 0,2 0,6 0,2 6 , 1 2 , 0 3 6 , 0 2 2 , 0 1⋅ + ⋅ + ⋅ = − = EX _.

(12)

12

Przykład

Dla zmiennej losowej o gęstości

f x x x x ( ) , , = ∈< > ∉< >    2 01 0 01 EX =

∫

x⋅2xdx =2

∫

x dx =2 x = 3 1 0 2 3 0 1 2 0 1 3

(13)

13

Własności wartości oczekiwanej a) Ec = c; c – stała, b) E(aX) = aE(X), c) E(X + Y) = EX + EY, d) Jeśli a ≤ X ≤ b, to a ≤ EX ≤ b, jeśli X ≤Y , to EX ≤ EY _, e) EX ≤ E X , EX ≤ E X

(14)

14

Miarą rozrzutu wartości zmiennej losowej jest wariancja.

Wariancja. Oznaczenie D2X lub

σ

2 .

D2X = E(X – EX)2 Dla zmiennej losowej skokowej

D X2 =

∑

(x_i − EX)2 p_i

Dla zmiennej losowej ciągłej D X2 = x − EX 2 f x dx

−∞ ∞

(15)

15 Własności wariancji a) D2c = 0; c – stała, b) D2(aX) = a2 D2(X), c) D2(X + b) = D2X , b – stała, d) X, Y – niezależne, to D2(X ± Y) = D2X + D2Y e) D2X = E(X2) – (EX)2.

(16)

16

Uzasadnienie e)

D2X = E(X – EX)2 = E(X2 – 2XEX + (EX)2) = EX2 – 2EXEX + (EX)2 =

(17)

17

Jeśli rozrzut wartości zmiennej losowej

chcemy (np. z powodu interpretacji

w zastosowaniach) mierzyć w tych samych jednostkach co X to stosujemy odchylenie standardowe.

(18)

18

Odchylenie standardowe.

Oznaczenie DX lub

σ

.

(19)

19

Podstawowe rozkłady.

Rozkład dwupunktowy (zerojedynkowy)

Niech 0 < p < 1 będzie ustaloną liczbą. Określamy:

P(X = 0) = q, P(X = 1) = p ; gdzie q = 1 – p.

Rozkład ten jest wykorzystywany w

statystycznej kontroli jakości. Można np. przyjąć, że X = 0 gdy wyrób dobry, X = 1 gdy wyrób jest wadliwy, wtedy p = P(X = 1) traktujemy jako wadliwość wyrobu.

Rozkład dwumianowy

Dla danych 0 < p < 1 , n∈ N określamy

funkcję prawdopodobieństwa k n k q p k n k X P _ −      = = ) ( _{gdzie q = 1 – p} k = 0, 1, 2, ... , n. Zauważmy, że gdy n = 1 to rozkład dwumianowy jest rozkładem

(20)

20

Jeśli przyjmiemy, że n oznacza liczbę niezależnych doświadczeń z których każde kończy się jednym z dwóch wyników:

„sukcesem" (z prawdopodobieństwem

p w każdym doświadczeniu) lub „porażką”

i zmienna losowa X oznacza liczbę

„sukcesów” to powyższy wzór wyznacza

prawdopodobieństwo uzyskania dokładnie

(21)

21

Rozkład Poissona

Dla

λ

> 0 określamy funkcję prawdopodobieństwa λ λ − = = e k k X P k ! ) ( _{k = 0, 1, 2, ...}

(wartości tych prawdopodobieństw zawiera tablica rozkładu Poissona)

(22)

22

Rozkład Poissona (możliwość odczytu w tablicy) może dla dużych n (praktycznie n ≥ 30) i małych p (praktycznie p ≤ 0,2) przybliżać rozkład dwumianowy (przybliżenie Poissona)

p n e k q p k n k k n k ≈ = ⋅       ₋ ₋ λ λ λ gdzie !

(23)

23

Rozkłady ciągłe

Rozkład jednostajny

Rozkład którego gęstość jest stała w pewnym przedziale nazywamy jednostajnym.

Gęstość rozkładu jednostajnego w (a, b) f x _b _a x a b x a b ( ) ( ; ) ( ; ) = ₋ ∈ ∉     1 0

(24)

24

Ponieważ gęstość ta ma oś symetrii w punkcie x = (a + b)/2 to

EX = (a+b)/2 D2X = (b – a)2/12

(25)

25

Rozkład wykładniczy

Rozkład ten występuje często w zagadnieniach

rozkładu czasu między zgłoszeniami

(awariami) lub czasu oczekiwania na obsługę w systemach kolejkowych.

Gęstość rozkładu wykładniczego o parametrze a > 0 ma postać    ≤ > = − 0 0 0 ) ( x x ae x f ax

dystrybuantą tego rozkładu jest funkcja

   ≤ > − = − 0 0 0 1 ) ( x x e x F ax (uzasadnienie: F'(x) = f(x)) Własność.

1) Jeśli liczba zgłoszeń w systemie

kolejkowym w przedziale czasu (t, t + T) ma rozkład Poissona o parametrze λT, oraz liczby zgłoszeń przychodzące w rozłącznych przedziałach czasu są niezależne to czas X między kolejnymi zgłoszeniami ma rozkład wykładniczy o parametrze a = 1/λ.

2) Dla dowolnych t, T > 0 mamy

(

X t T X t

) (

P X T

)

(26)

26 pamięci) Uzasadnienie. ( ) ( ₍ ₎ ) ( ₍ ₎ ) (X T) P e e e t X P T t X P t X P t X T t X P t X T t X P Ta ta a T t ≥ = = = = ≥ + ≥ = ≥ ≥ ∧ + ≥ = ≥ + ≥ − − + −( ) |

Jest to jedyny rozkład ciągły o tej własności.

(27)

27

Dyskretnym odpowiednikiem rozkładu

(28)

28

Rozkład normalny

Dla

m

∈

R

,

σ

∈

( ,

0 + ∞

)

Określamy gęstość rozkładu

R x m x e x f ∈ − − = 2 2 2 ) ( 2 1 ) ( σ π σ

Wartości dystrybuanty dla argumentów

ujemnych wyznaczamy na podstawie

zależności

(29)

29

Uwaga

Jeśli X ma rozkład N(m,

σ

) to zmienna losowa

Y = (X – m)/

σ

ma rozkład N(0, 1)

(takie przekształcenie nazywamy

(30)

30

ROZKŁAD ZMIENNEJ LOSOWEJ N-WYMIAROWEJ.

CIĄGI LOSOWE

(Ω,S,P)- ustalona przestrzeń probabilistyczna.

X = (X₁, X₂, ..., X_n) - zmienna losowa n - wymiarowa (wektor losowy, ciąg losowy).

n R X :Ω → _{(funkcja borelowska)}

( )

[0, 1] :Β n → X R

(31)

31 Dystrybuanta

(

n n

)

n P X x X x x x F( ₁, ..., ) = ₁ < ₁, ..., <

X nazywamy zmienną losową skokową jeśli jej zbiór wartości jest skończony lub

(32)

32

X nazywamy zmienną losową ciągłą jeśli jej dystrybuanta da się przedstawić w postaci

n x n x n f u u du du x x F n ... ) ..., , ( ) ..., , ( ₁ ₁ ₁ 1

∫

∞ − ∞ − = L

dla pewnej nieujemnej funkcji f zwanej gęstością.

(33)

33

Uwaga.

1.W punktach ciągłości funkcji f zachodzi: ) ..., , ( ... ) ..., , ( 1 1 1 ) ( n n n n x x f x x x x F = ∂ ∂ ∂ 2.Dla A∈Β(Rn) mamy n n A X A f x x dx dx P ( ) =∫ ∫...∫ ( ₁, ..., ) ₁... .

(34)

34

Funkcja charakterystyczna zmiennej

losowej n - wymiarowej.

( )

(

exp( ( ... ))

)

) ..., , ( ) (t =ϕ t₁ t_n = E eitX = E i t₁X₁ + +t_nX_n ϕ _.

(35)

35

Rozkłady warunkowe.

Jeśli P1,...,k(X1 = x1j, ...,Xk = xkj) > 0 to rozkład

zmiennej losowej skokowej (n - k) wymiarowej określonej wzorem:

) ..., , ( ) ..., , ( ) ..., , | ..., , ( 1 1 ,..., 1 1 1 1 1 , 1 1 kj k j k nj n j kj k j nj n j k k x X x X P x X x X P x X x X x X x X P = = = = = = = = = ₊ +

nazywamy rozkładem warunkowym zmiennej losowej (Xk+1, ...,Xn) pod warunkiem, że

(

X1 = x1j, ...,Xk = xkj

)

.

Jeśli gęstość f₁_,...,_k >0 to rozkład zmiennej

losowej ciągłej (n - k) wymiarowej określonej wzorem: ) ..., , ( ) ..., , ( ) ..., , | ..., , ( 1 1 1 1 k n k n k x x f x x f x x x x f ₊ =

nazywamy rozkładem warunkowym zmiennej losowej (Xk+1, ...,Xn) pod warunkiem, że

(36)

36

Niezależność zmiennych losowych.

Zmienne losowe X1, X2, ..., Xn są niezależne

jeśli ) ( )... ( ) ( ) ..., , (x₁ x_n F₁ x₁ F₂ x₂ F_n x_n F = ⋅ ⋅ _{dla dowolnych} x₁, x₂, ..., x_n ∈ Rn.

gdzie F_i - dystrybuanty rozkładów brzegowych jednowymiarowych.

Dla zmiennych losowych skokowych odpowiedni warunek ma postać:

) ( ... ) ( ) ..., , (X₁ x₁_j X_n x_nj P₁ X₁ x₁_j P_n X_n x_nj P = = = = ⋅ ⋅ = dla dowolnych x1j, ...,xnj ∈Rn

Dla zmiennych losowych ciągłych odpowiedni warunek ma postać: ) ( )... ( ) ( ) ..., , (x₁ x_n f₁ x₁ f₂ x₂ f_n x_n f = ⋅ ⋅ dla dowolnych x₁, x₂, ..., x_n ∈ Rn.

(37)

37

Parametry (mogą nie istnieć )

(38)

38 Wariancja X

[

X X Xn

]

2 2 2 1 2 2 D ..., , D , D ) ( D = _.

(39)

39

Moment (zwyczajny) rzędu l₁ + l₂ + ...+ l_n

(

n

)

n l n l l l l l E X X X m 1 2 ... 2 1 ... = 1 2 ,

(40)

40

Moment centralny rzędu l₁ + l₂ + ...+ l_n

(

) (

)

(

n

)

n l n n l l l l = E X − EX ... X − EX 1 2 1 ... 1 1 µ _,

(41)

41

Macierz kowariancji K = [k_ij], gdzie

(

)

(

)

[

]

(

i j

)

( )

i

( )

j j j i i j i ij X E X E X X E EX X EX X E X X k − = = − − = = cov( , )

Uwaga kii = D2Xi, jest wariancją i - tej

(42)

42

Macierz K jest kwadratowa, symetryczna i

słabo dodatnio określona ( w szczególności ma wyznacznik nieujemny).

(43)

43

Macierz korelacji R = [ρ_ij], gdzie

=

⋅

=

j i j i ij

DX

X

,

)

cov(

ρ

Uwaga ρ_ii = 1.

(44)

44

Wielowymiarowy rozkład Bernoulliego.

Dla danych k ∈ N, p = [p₁, p₂, ...,p_n]T takiego,

że 0 1 1 < ≤∑ = n i i p _oraz i = [i₁, i₂, ...,i_n]T gdzie i_j ∈ {0, 1, ..., n} i k n j j ≤ ∑ =1 określamy P(X = i) = n i n i i n p p p i i i i k ⋅ ⋅ ⋅ ... ! !... ! ! ! ₀ ₁ 1 0 2 1 0 gdzie

∑

= − = n i i p p 1 0 1 ;

∑

= − = n j j i k i 1 0 .

(45)

45

Wielowymiarowy rozkład wielomianowy.

Jeśli w definicji rozkładu Bernoulliego mamy

p_o = 0 , i k n j j =

∑

=1 to otrzymany rozkład

nazywamy rozkładem wielomianowym.

Wielowymiarowy rozkład Poissona.

Dla danego λ = [λ₁, λ₂, ..., λ_n]T oraz i = [i₁, i₂, ...,i_n]T gdzie i_j ∈ {0, 1, ..., n} określamy P(X = i) = 0 1 ! ... ! 1 1 λ λ λ _⋅ _⋅ − e i i _n i n i _n gdzie

∑

= = n i i 1 0 λ λ _.

(46)

46

Rozkład normalny n - wymiarowy.

K - macierz kowariancyjna, niech detK ≠ 0. Zmienna losowa n - wymiarowa ma rozkład normalny n - wymiarowy gdy gęstość tej zmiennej losowej wyraża się wzorem:

( ) ( )      − − − = =         − − − = = ∑ = ) ( ) ( 2 1 exp 2 ) )( ( 2 1 exp 2 ) ,..., , ( ) ( 2 / 1 , 2 / 2 1 m x L m x L m x m x l L x x x f x f T n n k j k k j j jk n n π π gdzie ) ( _i i E X m = dla i = 1, 2, ..., n L = [l_jk] j, k = 1, 2, ..., n jest macierzą odwrotną do K.

Dla n = 2 warunek |K| ≠ 0 jest równoważny warunkowi ρ2 ≠ 1.

(47)

47

Ponieważ macierz K ma wtedy postać

      = ₂ 2 2 1 2 1 2 1 σ σ ρσ σ ρσ σ K _to       − − − = ₂ 1 2 1 2 1 2 2 2 2 2 2 1 (1 ) 1 σ σ ρσ σ ρσ σ ρ σ σ L

Zatem gęstość rozkładu normalnego 2-wymiarowego N(m1, m2, σ1, σ2, ρ) można zapisać następująco: ( ) ( ) ( )( ) ( )               ₋ + − − − − − − − = ₂ 2 2 2 2 1 2 1 2 1 2 1 2 2 2 1 2 1 2 1 exp 1 2 1 ) , ( σ σ σ ρ σ ρ ρ σ πσ m y m y m x m x y x f

Powyższa funkcja gęstości ma stałą wartość f(x, y) = h na elipsie: ( ) ( )( ) ( ) 2 2 2 2 2 2 1 2 1 2 1 2 1 2 λ σ σ σ ρ σ = = − + − − − − const m y m y m x m x o środku w punkcie (m₁, m₂). gdzie

(

)

(

1 2 2

)

2 2 1 2 ln 1 2 ρ πσ σ ρ λ = − − h − _.

(48)

48

(

)

(

1

)

2 2 2 1 2 2 2 2 2 1 2 2 2 1 2 1 2 4 2 m x m y − + − ± − = − σ σ ρ σ σ σ σ σ ρσ

Dla ρ = 0 osie rozpatrywanej elipsy są równoległe do osi układu współrzędnych.

Zauważmy, że gdy ρ2 → 1 to jedna oś się wydłuża, a druga skraca, zależność między zmiennymi staje się ściśle liniowa.

Osie powyższej elipsy tworzą z osią OX kąty α i α + π/2 gdzie 2 2 2 1 2 1 2 2 tg σ σ σ ρσ α − =

(49)

49 Funkcja charakterystyczna:       − = im t t Kt t T T 2 1 exp ) ( ϕ gdy n = 2 to ( )

(

)

      + + − + = 2 2 2 2 2 1 2 1 2 1 2 1 2 2 1 1 2 1 2 2 1 exp ) , (t t i t m t m σ t ρσ σ t t σ t ϕ Twierdzenie.

Dowolny rozkład brzegowy normalnego

rozkładu n-wymiarowego jest rozkładem normalnym.

(50)

50

Twierdzenie.

Jeśli składowe normalnego rozkładu

n-wymiarowego są parami nieskorelowane to są niezależne.

(51)

51

Zbieżność ciągów losowych

Zbieżność ciągu zmiennych losowych z prawdopodobieństwem 1 (prawie napewno)

Ciąg zmiennych losowych (X_n) jest zbieżny do zmiennej losowej X z prawdopodobieństwem 1 jeśli

{

}

(

:lim ( ) = ( )

)

=1 ∞ → ω ω ω X X P _n n

Średniokwadratowa zbieżność ciągu

zmiennych losowych

Ciąg zmiennych losowych (X_n) jest

średniokwadratowo zbieżny do zmiennej

losowej X jeśli

(

)

0 lim − 2 = ∞ → E Xn X n

Rozpatrując ten rodzaj zbieżności zakładamy,

że dla występujących tu zmiennych losowych (X_n), X istnieje skończony moment rzędu 2.

Niekiedy stosuje się zapis l.i.m. X_n = X _(skrót od „limit in mean”).

(52)

52

Stochastyczna zbieżność ciągu zmiennych losowych

Ciąg zmiennych losowych (Xn) jest

stochastycznie (wg prawdopodobieństwa)

zbieżny do zmiennej losowej X jeśli

(

)

1 lim 0 →∞ − < = >

∧

ε ε n P Xn X lub równoważnie

(

)

0 lim 0 →∞ − ≥ = >

∧

ε ε n P Xn X

(53)

53

Zbieżność ciągu zmiennych losowych wg dystrybuant (wg rozkładu)

Ciąg zmiennych losowych (X_n) jest zbieżny do zmiennej losowej X wg dystrybuant jeśli ciąg

ich dystrybuant F_n jest zbieżny do

dystrybuanty F w każdym punkcie jej ciągłości (F jest dystrybuantą zmiennej losowej X).

Zależności miedzy zbieżnościami.

ZBIEŻNOŚĆ Z PRAWDOPODOBIEŃSTWEM 1 ZBIEŻNOŚĆ ŚREDNIOKWADRATOWA ZBIEŻNOŚĆ STOCHASTYCZNA zbieżność do stałej (tzn. gdy granica ma rozkład

jednopunktowy) ZBIEŻNOŚĆ WG

(54)

54

Przykład.

Rozpatrzmy ciąg zmiennych losowych

skokowych określonych na przedziale [0, 1) w następujący sposób             + − ∈      + ∈ = n k n k n k n k X_kn 1 ; ) 1 , 0 [ gdy 0 1 ; gdy 1 ) ( ω ω ω n X P( _kn =1) = 1 _; n X P( _kn = 0) =1− 1 Ciąg X₀₁, X₀₂, X₁₂, X₀₃, X₁₃, X₂₃, ... jest zbieżny stochastycznie do zera bo

(

)

lim1 0

lim

1

0

∧

<ε< n→∞ P Xn ≥ε = n→∞ n =

Natomiast ciąg ten nie jest zbieżny w żadnym punkcie przedziale [0, 1) bowiem dla każdego ustalonego punktu otrzymujemy rozbieżny ciąg zer i jedynek (zera i jedynki występują na dowolnie dalekich miejscach).

(55)

55

Przykład.

Ciąg zmiennych losowych Xn ciągłych o

rozkładach jednostajnych na przedziałach

(0, 1/n) jest zbieżny do rozkładu

jednopunktowego X (P(X = 0) =1) wg

(56)

56

Uwaga.

Punktowa granica ciągu dystrybuant nie musi być dystrybuantą.

Jeśli ciąg funkcji charakterystycznych

odpowiadających rozpatrywanemu ciągowi dystrybuant jest punktowo zbieżny do funkcji ciągłej to granica tych dystrybuant jest dystrybuantą.