6.2.Prawawielkichliczb RachunekprawdopodobieństwaRozdział6:Twierdzeniagraniczne.

(1)

Słabe prawa wielkich liczb MPWL

Rachunek prawdopodobieństwa Rozdział 6: Twierdzenia graniczne.

6.2. Prawa wielkich liczb

Katarzyna Rybarczyk-Krzywdzińska

(2)

Motywacja - definicja częstościowa

p(ω) = lim

n→∞

#(wystąpień ω w n kolejnych powtórzeniach eksp.)

n .

X_i =

(1 gdy w i-tym eksperymencie zaszło ω 0 gdy w i-tym eksperymencie NIE zaszło ω

Sn:= X1+ X2+ . . . + Xn

= #(wystąpień ω w n kolejnych powtórzeniach eksp.) PYTANIE CZY

S_n n

−→ p(ω),P S_n n

−−→ p(ω)p.n. ?

(3)

Motywacja - definicja częstościowa

p(ω) = lim

n→∞

n .

Powtarzamy eksperyment w nieskończoność.

X_i =

Sn:= X1+ X2+ . . . + Xn

= #(wystąpień ω w n kolejnych powtórzeniach eksp.)

PYTANIE CZY S_n

n

−→ p(ω),P S_n n

−−→ p(ω)p.n. ?

(4)

Motywacja - definicja częstościowa

p(ω) = lim

n→∞

n .

Powtarzamy eksperyment w nieskończoność.

X_i =

Sn:= X1+ X2+ . . . + Xn

= #(wystąpień ω w n kolejnych powtórzeniach eksp.) PYTANIE CZY

S_n n

−→ p(ω),P S_n n

−−→ p(ω)p.n. ?

(5)

Motywacja - bardziej ogólnie

S_n:= X₁+ X₂+ . . . + X_n

X₁, X₂, . . . – ciąg zmiennych losowych o tym samym rozkładzie KIEDY

Sn

n

−→ EXP 1, Sn

n

−−→ EXp.n. 1 ?

X1, X2, . . . – ciąg zmiennych losowych KIEDY

Sn− ESn

n

−→ 0,P Sn− ESn

n

−−→ 0p.n. ? TZN. KIEDY

∀ε>0 lim

n→∞P

Sn− ESⁿ n

> ε

!

= 0; P

ω : lim

n→∞

Sn(ω) − ESⁿ

n = 0

= 1

(6)

Motywacja - bardziej ogólnie

S_n:= X₁+ X₂+ . . . + X_n

X₁, X₂, . . . – ciąg zmiennych losowych o tym samym rozkładzie KIEDY

Sn

n

−→ EXP 1, Sn

n

−−→ EXp.n. 1 ? X1, X2, . . . – ciąg zmiennych losowych

KIEDY

Sn− ESn

n

−→ 0,P Sn− ESn

n

−−→ 0p.n. ? TZN. KIEDY

∀ε>0 lim

n→∞P

Sn− ESⁿ n

> ε

!

= 0; P

ω : lim

n→∞

Sn(ω) − ESⁿ

n = 0

= 1

(7)

Przykład . Ilustracja prawa wielkich liczb Bernoulliego Rzucamy

1 5 razy;

2 100 razy;

3 1000 razy;

uczciwą monetą. W którym z przypadków jest największa szansa, że uzyskamy orły w około 1/2 rzutów (±5%) tzn.:

1 2 lub 3 Orły?

2 między 45 a 55 Orłów?

3 między 450 a 550 Orłów?

Interesuje nas, z jakim prawdopodobieństwem, dla dużej liczby rzutów (dużej liczny n, gdy S_n= # Orłów)

# Orłów

# rzutów −1 2

< 0, 05. S_n n −1

2

< 0, 05; S_n− ESn

n

< 0, 05;

(8)

Przykład . Ilustracja prawa wielkich liczb Bernoulliego Rzucamy

1 5 razy;

2 100 razy;

3 1000 razy;

uczciwą monetą. W którym z przypadków jest największa szansa, że uzyskamy orły w około 1/2 rzutów (±5%) tzn.:

1 2 lub 3 Orły?odp. 0,625

2 między 45 a 55 Orłów? odp. ≈ 0, 7287

3 między 450 a 550 Orłów? odp. ≈ 0, 9986

Interesuje nas, z jakim prawdopodobieństwem, dla dużej liczby rzutów (dużej liczny n, gdy S_n= # Orłów)

# Orłów

# rzutów −1 2

< 0, 05. S_n n −1

2

< 0, 05; S_n− ESn

n

< 0, 05;

(9)

1 2 3 4 5

0.05 0.1 0.15 0.2 0.25 0.3

rozkład dwumianowy z parametrami n = 5 oraz p = ¹₂

ostrzeżenie: dziś histogramy rysujemy tak, aby pole prostokąta było równe prawdopodobieństwu

(10)

0.2 0.4 0.6 0.8 1 0.2

0.4 0.6 0.8 1 1.2 1.4

rozkład S_n/n, gdzie S_n ma rozkład dwumianowy z parametrami n = 5 oraz p = ¹₂

(11)

0.2 0.4 0.6 0.8 1

1 2 3 4 5 6 7 8

rozkład Sn/n, gdzie Sn ma rozkład dwumianowy z parametrami n = 100 oraz p = ¹₂

(12)

0.2 0.4 0.6 0.8 1 5

10 15 20 25

rozkład Sn/n, gdzie Sn ma rozkład dwumianowy z parametrami n = 1000 oraz p = ¹₂

(13)

Słabe Prawo Wielkich Liczb Bernoulliego Jeśli S_n jest liczbą sukcesów

w schemacie Bernoulliego n prób

z prawdopodobieństwem sukcesu p w pojedynczej próbie, to dla każdego ε > 0 zachodzi

n→∞lim P

S_n n − p

> ε

= 0,

czyli

S_n n

−→ p.P

Dowód

(14)

Słabe prawo wielkich liczb

Niech X1, X2, X3, . . . będzie ciągiem zmiennych losowych takich, że

1 lim_n→∞^VarS_n2ⁿ = 0 (warunek Markowa), lub

2 X_n są parami nieskorelowane i mają wspólnie ograniczone wariancje.

Niech S_n= X₁+ · · · + X_n.

Wówczas(Xn)^∞_n=1 spełnia słabe prawo wielkich liczb, czyli dla każdego ε > 0 zachodzi

n→∞lim P

S_n− ESn

n

> ε

= 0 czyli

Sn− ESn

n

−→ 0P

„średnia wartość z n eksperymentów koncentruje się wokół wartości oczekiwanej”

(15)

Dowód SPWL

Słabe prawo wielkich liczb - przypomnienie limn→∞VarSn

n² = 0 (warunek Markowa), lub

Xn są parami nieskorelowane i mają wspólnie ograniczone wariancje.

Niech S_n= X₁+ · · · + X_n. Wtedy dla każdego ε > 0

n→∞lim P

Sn− ESn

n > ε

= 0

Nierówność Czebyszewa-Bienaym´e - przypomnienie Dowolnego t > 0, jeśli EX istnieje

P (|X − EX | t) ¬ VarX

t²

(16)

Mocne prawa wielkich liczb - wprowadzenie

SPWL (między innymi) mówi, że dla niezależnych X₁, X₂, . . . o tym samym rozkładzie ze skończoną wariancją i wartością oczekiwaną m, dla Sn= X1+ . . . + Xn

S_n n

−→ m.P

tzn. Sn/n dąży według prawdopodobieństwa do m.

(17)

Słabe prawa wielkich liczb MPWL Mocne prawa wielkich liczb

Przypomnienie

Mówimy, że Yn dąży do zmiennej losowej Y

z prawdopodobieństwem jeden/prawie na pewno, ozn. Y_n−−→ Y ,^p.n.

gdy

P

{ω : lim

n→∞Yn(ω) = Y (ω)}= 1 Przypomnienie

Y_n−−→ Y ⇒ Y^p.n. _n−→ Y^P

(18)

MPWL Bernoulliego

Rozważamy schemat Bernoulliego z nieskończoną liczbą doświadczeń

i z prawdopodobieństwem sukcesu w pojedynczej próbie równym p.

Niech S_n oznacza liczbę sukcesów w pierwszych n doświadczeniach.

Wtedy prawie na pewno ciąg ^S_nⁿ zbiega do p czyli

P

ω : lim

n→∞

S_n(ω) n = p

= 1

tzn. Sn

n

−−→ pp.n.

(19)

MPWL Bernoulliego

Rozważamy schemat Bernoulliego z nieskończoną liczbą doświadczeń

i z prawdopodobieństwem sukcesu w pojedynczej próbie równym p.

Niech S_n oznacza liczbę sukcesów w pierwszych n doświadczeniach.

Wtedy prawie na pewno ciąg ^S_nⁿ zbiega do p czyli

P

ω : lim

n→∞

S_n(ω) n = p

= 1

tzn. Sn

n

−−→ pp.n.

Dowód: przypomnienie P^S_nⁿ − p

 ε¬ 2e⁻²ⁿ².

(20)

P

ω : lim

n→∞

S_n(ω) n = p

= 1.

Wniosek

Definicja częstościowa prawdopodobieństwa jest uzasadniona i przypisuje zdarzeniom takie same prawdopodobieństwa, jak definicja Kołmogorowa.

Zgodnie z definicją częstościową prawdopodobieństwa,

prawdopodobieństwa zdarzenia ω można wyznaczyć z poniższego wzoru:

p(ω) = lim

n→∞

n .

(21)

Mocne prawa wielkich liczb

S

_n

jako funkcja n

10 20 30 40 50

5 10 15 20 25 30

(22)

S

_n

jako funkcja n

50 100 150 200 250

20 40 60 80 100 120

(23)

Sn

n

jako funkcja n

0 10 20 30 40 50

0 0.2 0.4 0.6 0.8 1

(24)

Sn

n

jako funkcja n

50 100 150 200 250

0.2 0.4 0.6 0.8 1

(25)

Sn

n

jako funkcja n

10⁰ 10¹ 10² 10³ 10⁴ 10⁵

0 0.2 0.4 0.6 0.8 1

(26)

I Mocne Prawo Wielkich Liczb Kołmogorowa Jeśli Xn to ciąg niezależnych zmiennych losowych takimi, że VarX_i < ∞ i^P^∞_n=1^VarX_n2 ⁿ < ∞,

to ciąg (Xn) spełniamocne prawo wielkich liczb, czyli S_n− ESn

n

−−→ 0.p.n

II Mocne Prawo Wielkich Liczb Kołmogorowa Jeśli Xn to ciąg niezależnych zmiennych losowych o jednakowym rozkładzie, takim że E|Xi| < ∞, to ciąg (X_n) spełniamocne prawo wielkich liczb, czyli

S_n n

−−→ EXp.n 1.

(27)

Dowód MPWL

My udowodnimy MPWL przy bardziej restrykcyjnych założeniach:

Jeśli X_n to ciągniezależnych zmiennych losowych

ojednakowym rozkładzie, takim żeEX_i⁴ < ∞ i EXi = 0, to Sn

n

−−→ 0.p.n

Lemat Borela–Cantellego – przypomnienie Niech A₁, A₂, . . . będzie ciągiem zdarzeń losowych

(i) Jeśli ^P^∞_n=1P(An) < ∞, to P (^T^∞N=1

S∞

n=NA_n) = 0.

Nierówność Markowa – przypomnienie

∀_ε>0∀_p>0P(|X | ε) ¬ E|X |^p ε^p ,