RACHUNEK PRAWDOPODOBIEŃSTWA A.
Semestr letni 2015. Środy 9:15 -12:00, sala EM.
Wykładowca: Ryszard Szekli, pok. 514, konsultacje: poniedziałki 12-13, środy 12-13
terminy egzaminów: I termin 17.06.2014, (ŚRODA) 13-16, sala HS+WS, II termin do ustalenia (wrzesień).
Warunki ukończenia kursu:
zaliczenie ćwiczeń: Na kolejnych spotkaniach studenci deklarują zadania, które potrafią rozwiązać.
Osoba prowadząca ćwiczenia robi zadania, które nie zostały zdeklarowane przez studentów, następnie wybiera studentów (spośród tych którzy zdeklarowali) , którzy prezentują rozwiązania kolejnych zadań przy tablicy. Wadliwe rozwiązanie nie daje punktów. Student deklarujący zadanie, który nie potrafi podać rozwiązania przy tablicy otrzymuje punkty ujemne. Zadania będą miały określoną liczbę punktów na listach. Zaliczenie ćwiczeń następuje po uzyskaniu przynajmniej 50% punktów z wszystkich list.
zdanie egzaminu pisemnego:
egzamin testowy max 60 pkt.; 10 zadań testowych: możliwe odpowiedzi a,b,c,d każda prawdziwa lub nie;
z ćwiczeń i wykładu.
ocena 3.0 od 50% pkt.
PLAN WYKŁADU:
1. WPROWADZENIE 1.1 Uwagi historyczne
1.2 Powtórka podstaw rachunku prawdopodobieństwa
2. NIEZALEŻNOŚĆ I CIAGI ZMIENNYCH LOSOWYCH, 2.1 Schemat Bernoulliego
2.2 Ciagi nieskończone zmiennych niezależnych, 2.3 Błądzenia losowe, prawo arcusa sinusa 2.4 Rekurencje, łańcuchy Markowa
3. ROZKŁADY
3.1 Zmienne losowe, wektory losowe 3.2 Przybliżenia rozkładów
3.3 G¸estości i dystrybuanty
3.4 Funkcje od zmiennych losowych 3.5 Rozkłady ł¸aczne i brzegowe
3.6 Sumy niezależnych zmiennych losowych
4. WARTOŚĆ OCZEKIWANA, MOMENTY 4.1 Momenty i funkcje tworz¸ace
4.2 Wariancja i kowariancja
5. TWIERDZENIA GRANICZNE 5.1 Prawa wielkich liczb
5.2 Centralne twierdzenie graniczne
Literatura:
P. Billingsley, Prawdopodobieństwo i miara, PWN, 1987
W. Feller, Wstep do rachunku prawdopodobieństwa, tom I, PWN, 1977,
J. Jakubowski, R. Sztencel, Wstep do teorii prawdopodobieństwa, SCRIPT, 2000.,
M. Majsnerowska: Elementarny wykład z rachunku prawdopodobieństwa z zadaniami, strona www IM D. Stirzaker, Elementary Probability, Second. ed. Cambridge 2007.
R. Durrett, Elementary Probability for Applications, Cambridge 2009.
0.1 Wprowadzenie
0.1.1 Zdarzenia i eksperymenty
Przestrzeń zdarzeń elementarnych Ω jest zbiorem możliwych wyników pewnego eksperymentu. Jeśli Ω jest zbiorem przeliczalnym, to zdarzeniem jest każdy podzbiór Ω. Zbiór zdarzeń oznaczamy F. Ogólnie, zakładamy, że F jest zamkniety na przeliczalne sumy, przekroje i dopełnienia oraz zawiera Ω.,
0.1.2 Prawdopodobieństwo
Prawdopodobieństwo P jest funkcj¸a przyporz¸adkowuj¸ac¸a zdarzeniom liczby takie, że
(i) Dla A⊂ Ω, 0 ¬ P (A) ¬ 1.
(ii) P (Ω) = 1.
Dla każdego ci¸agu {Ai} (skończonego lub nieskończonego) zdarzeń rozł¸acznych P (∪
i
Ai) =∑
i
P (Ai).
Uwaga 0.1.1 Nie dla wszystkich zbiorów Ω można znaleźć nietrywialn¸a funkcj¸e P o powyższych wła- snościach, określon¸a na wszystkich podzbiorach Ω na przykład Ω := [0, 1] oraz P ((a, b]) = b−a, 0¬ a ¬ b ¬ 1 jest naturaln¸a funkcj¸a prawdopodobieństwa na tym zbiorze, jednakże nie można t¸a funkcj¸a zmierzyć wszystkich podzbiorów Ω (istniej¸a zbiory niemierzalne ). Rozważania ogranicza si¸e wtedy do podklasy mierzalnych zbiorów (zdarzeń), które tworz¸a σ−ciało zdarzeń. W przypadku, gdy Ω jest zbiorem przeliczalnym takie trudności nie wyst¸epuj¸a i wtedy wszystkie podzbiory Ω s¸a mierzalne.
Własności wynikaj¸ace z określenia prawdopodobieństwa:
1. P (Ac) = 1− P (A) 2. P (∅) = 0
3. Jeśli A⊂ B, to P (A) ¬ P (B)
4. P (A∪ B) = P (A) + P (B) − P (A ∩ B) 5. P (∪iAi)¬∑iP (Ai)
6. Jeśli A1 ⊂ A2 ⊂ · · · i A =∪iAi, to P (Ai)→i→∞ P (A).
7. Jeśli A1 ⊃ A2 ⊃ · · · i A =∩iAi, to P (Ai)→i→∞ P (A).
0.1.3 Prawdopodobieństwo sumy
Zachodzi wzór P (
∪n i=1
Ai) =
∑n i=1
P (Ai)−∑
i<j
P (Ai∩ Aj) + ∑
i<j<k
P (Ai∩ Aj∩ Ak) +· · · + (−1)n+1P (A1∩ · · · ∩ An)
Nierówności Bonferroniego.
P (
∪n i=1
Ai)¬
∑n i=1
P (Ai)
P (
∪n i=1
Ai)
∑n i=1
P (Ai)−∑
i<j
P (Ai∩ Aj)
P (
∪n i=1
Ai)¬
∑n i=1
P (Ai)−∑
i<j
P (Ai∩ Aj) + ∑
i<j<k
P (Ai∩ Aj∩ Ak)
Wybieranie z urny kolorowych kul jest matematyczn¸a idealizacj¸a wielu eksperymentów, w których losowo wybiera si¸e skończon¸a ilość obiektów różnych typów.
Model urnowy . W urnie znajduje si¸e M kul czerwonych i N kul czarnych. Wyci¸agamy z urny n kul bez zwracania ich. Wtedy prawdopodobieństwo, że wyci¸agniemy r kul czerwonych wynosi
(M
r
)( N
n−r
) (M +N
n
)
gdzie dla j < 0 lub j > m przyjmujemy(mj)= 0.
Przykład 0.1.1 (Lotto). Wybieramy 6 liczb ze zbioru{1, ..., 54}. 1 nagroda to 6 trafionych, 2 nagroda to 5 trafionych, 3 nagroda 4 trafione. Jakie s¸a prawdopodobieństwa zdobycia tych nagród?
Przykład 0.1.2 (Kontrola jakości). Wyprodukowano M żarówek, w tym N wadliwych. Testujemy n żarówek. Jakie jest prawdopodobieństwo, że wszystkie testowane żarówki s¸a dobre?
Przykład 0.1.3 (Wnioskowanie o wielkości populacji). Student biologii złowił w stawie 60 wodnych chrz¸aszczy, oznaczył farb¸a i wypuścił. Po pewnym czasie wrócił i złowił 50 chrz¸aszczy, w tym znajduj¸ac 12 oznaczonych farb¸a. Jak można oszacować wielkość populacji chrz¸aszczy w tym stawie?
0.1.4 Powtarzanie eksperymentów
Z urny zawieraj¸acej K kul ponumerowanych od 1 do K wyci¸agamy kolejno kule, notuj¸ac ich numery i zwracaj¸ac je do urny.
Wyciagaj¸ac k kul, prawdopodobieństwo, że wszystkie kule maj¸a różne numery wynosi PK,k
Kk = K− k + 1 K
K− k + 2 K · · ·K
K
Rzuty symetryczn¸a monet¸a. Przyjmujemy, że K = 2 (np. K = 1 oznacza orła, K = 2, oznacza reszk¸e). Prawdopodobieństwo uzyskania dokładnie j orłów w k rzutach wynosi
(k j
)1 2k.
0.2 Prawdopodobieństwo warunkowe
Istniej¸a dwa sposoby rozumienia zdarzeń niezależnych: potoczne i statystyczne (matematyczne). Mate- matyczne poj¸ecie niezależności jest prost¸a reguł¸a mnożenia.
Definicja 0.2.1 Zdarzenia A i B s¸a niezależne gdy P (A∩ B) = P (A)P (B).
Wniosek 0.2.1 1. Zdarzenia A i B o dodatnich prawdopodobieństwach, rozł¸aczne nie s¸a niezależne. 2.
Ω jest zdarzeniem niezależnym od każdego innego zdarzenia. 3. Zdarzenie ∅ jest niezależne od każdego innego zdarzenia.
Ci¸ag zdarzeń A1, . . . , An jest niezależny parami, jeśli P (Ai∩ Aj) = P (Ai)P (Aj)
dla wszystkich i̸= j.
Ci¸ag zdarzeń A1, . . . , An jest niezależny, jeśli P (Ai1∩ · · · ∩ Aik) = P (Ai1)· · · P (Aik), dla wszystkich i1< i2 <· · · < ik.
Przykład 0.2.1 (Rozkład wielomianowy). Przypuśćmy, że kostka do gry ma 1 na trzech ścianach, 2 na dwóch ścianach i 3 na jednej ścianie. Rzucamy tak¸a kostk¸a 10 razy. Wyliczamy prawdopodobieństwo uzyskania 5 razy 1, 3 razy 2 i 2 razy 3:
10!
5!3!2!(1/2)5(1/3)3(1/6)2
Ogólnie, wykonuj¸ac n niezależnych prób o możliwych k wynikach, przy czym prawdopodobieństwo wyniku typu i (i = 1, ..., k) wynosi odpowiednio pi, prawdopodobieństwo uzyskania n1 wyników typu 1, n2
wyników typu 2,..., nk wyników typu k (n1+· · · + nk= n) dane jest wzorem n!
n1!...nk!pn11...pnkk
0.2.1 Wzór na prawdopodobieństwo warunkowe
Definicja 0.2.2 Dla dowolnego zdarzenia A ⊆ Ω , takiego, że P (A) > 0 prawdopodobieństwem wa- runkowym przy warunku A nazywamy funkcj¸e prawdopodobieństwa P (·|A) określon¸a na Ω nastepuj¸acym wzorem
P (B|A) = P (A∩ B) P (A) dla zdarzeń B⊆ Ω.
Łatwo sprwadzić, że P (·|A) ma wymagane własności funkcji prawdopodobieństwa:
• 0 ¬ P (B|A) ¬ 1, dla każdego zdarzenia B ⊆ Ω,
• P (B1∪ B2|A) = P (B1|A) + P (B2|A), dla dowolnych rozł¸acznych zdarzeń B1, B2.
• P (Ω|A) = 1
Zauważmy, że wtedy również P (A|A) = 1, to znaczy masa prawdopodobieństwa warunkowego skupiona jest na zdarzeniu wzgl¸edem którego warunkujemy.
Przykład 0.2.2 Wartość P (·|A) dla każdego B niezależnego od A pokrywa si¸e z wartościa wyjściowego prawdopodobieństwa P tzn. P (B|A) = P (B).
Rozwiazanie w powyższym przykładzie można uogólnić. Jeśli B1, ..., Bk stanowi¸a rozbicie rozł¸aczne Ω, tzn. Ω = B1∪ ... ∪ Bk oraz B1∩ ... ∩ Bk=∅, to zachodzi wzór na prawdopodobieństwo całkowite
P (A) =
∑k i=1
P (A|Bi)P (Bi) dla każdego zdarzenia A⊆ Ω.
0.2.2 Reguła Bayesa
Rozwi¸azanie w powyższym przykładzie sugeruje ogólny wzór:
Wzór Bayesa
Jeśli B1, ..., Bkstanowi¸a rozbicie rozł¸aczne Ω, tzn. Ω = B1∪...∪Bkoraz B1∩...∩Bk =∅ , oraz P (A) > 0, P (Bi) > 0 to
P (Bi|A) = P (Bi)P (A|Bi)
∑k
j=1P (A|Bj)P (Bj) dla dowolnego i = 1, ..., k.
0.3 NIEZALEŻNOŚĆ: Ci agi
,0.3.1 Schemat Bernoulliego
Przykład 0.3.1 (Rozkład dwumianowy). Powtarzamy pewien eksperyment o możliwych wynikach: suk- ces (S) lub porażka (P), n razy. Jak zdefiniować prawdopodobieństwo P na Ω ={ω = (W1, ..., Wn) : Wi ∈ {S, P }, i = 1, ..., n} gdzie Wi oznacza wynik i-tej próby, tak aby zdarzenia : w i -tej próbie sukces, oraz : w i + j- tej próbie porażka (dla wszystkich 1 ¬ i < i + j ¬ n) były niezależne? Prawdopodobieństwo uzyskania k sukcesów w n próbach równa si¸e wtedy
(n k )
pk(1− p)n−k
gdzie p∈ (0, 1) jest prawdopodobieństwem sukcesu w jednej próbie.
Przykład 0.3.2 (Rozkład geometryczny). Rzucamy kostk¸a do chwili uzyskania 6. Niech N oznacza ilość potrzebnych rzutów. Wtedy P (N = k) = (5/6)k(1/6). (k = 1, 2, ...). Ogólnie liczba prób N potrzebna do uzyskania pierwszego sukcesu jest wielkości¸a losow¸a, dla której P (N = k) = (1− p)k−1p , gdzie p∈ (0, 1) jest prawdopodobieństwem sukcesu w jednej próbie oraz k = 1, 2, ....
Przykład 0.3.3 (Ujemny rozkład dwumianowy). Powtarzamy próby o możliwych wynikach sukces (S), porażka (P), do czasu uzyskania dokładnie k sukcesów. Wtedy dla Tk, liczby potrzebnych prob zachodzi
P (Tk= m + k) =
(m + k− 1 m
)
(1− p)mpk dla dowolnego k = 1, 2, ... oraz m = 0, 1, 2, ...
0.3.2 Istnienie nieskończonego ci¸agu zmiennych losowych niezależnych
Niech Ω = [0, 1], P =|·| (miara Lebesgue’a, miara długości). Zdarzeniami b¸ed¸a wszystkie zbiory borelow- skie w [0, 1]. Dla dowolnego ω ∈ [0, 1] niech ω = Z21 +Z222 +Z233 + ... bedzie rozwini¸eciem dwójkowym (dla jednoznaczności przyjmujemy rozwiniecia o skończonej ilości jedynek, jeśli takie s¸a dopuszczalne). Wtedy ci¸ag (Z1, Z2, ...) jest ci¸agiem niezależnych zmiennych losowych o wartościach 0 i 1. Uzasadnienie:
Wystarczy pokazać, że
P (Z1 = d1, ..., Zn= dn) = P (Z1 = d1)...P (Zn= dn)
dla dowolnego układu zer i jedynek d = (d1, ..., dn), (di ∈ {0, 1}).
Niech
Ad ={Z1 = d1, ..., Zn= dn}
wtedy Ω = ∪dAd jest rozł¸aczn¸a sum¸a 2nzbiorów, gdzie sumowanie jest po wszystkich układach zer i jedynek na n miejscach. Rozpatrzmy dwa dowolne takie układy d, d′. Niech
Td,d′(ω) = ω +
∑n i=1
d′i− di
2i
dla ω∈ [0, 1]. Wtedy oczywiście Td,d′(Ad) = Ad′ , a ponieważ Td,d′ jest przesuni¸eciem i w zwi¸azku z tym nie zmienia miary P zbioru Ad , tzn. P (Ad) = P (Td,d′(Ad)) = P (Ad′), wynika st¸ad, że wszystkie zbiory Ad maj¸a to samo prawdopodobieństwo niezależnie od indeksu d. Ponieważ jest ich 2n i w sumie daj¸a one Ω, wnioskujemy, że P (Ad) = 21n dla każdego d. Mamy wi¸ec P (Z1 = d1, ..., Zn= dn) = P (Ad) = 21n. Zauważmy teraz, że P (Z1 = d1) = 1/2, bo wystarczy podstawić n = 1 w poprzedniej równości. Ponadto P (Z2= d2) = P (Z1= 0, Z2 = 2)+P (Z1= 1, Z2 = d2) = 1/4+1/4 = 1/2, wykorzystuj¸ac t¸e sam¸a równość dla n = 2 . Rozumujac przy pomocy indukcji matematycznej otrzymujemy ogólnie P (Zn= dn) = 1/2, a st¸ad warunek niezależności bezpośrednio wynika.
Aby skonstruować ci¸ag niezależnych zmiennych losowych o rozkładach dowolnych przy użyciu ci¸agu (Z1, Z2, ...) ustawiamy go w tablic¸e (Zik)i=1,2,...k=1,2,.... Niech teraz
Ui =
∑∞ k=1
Zik/2k
Wtedy (U1, U2, ....) tworz¸a ci¸ag niezależnych zmiennych losowych o rozkładach jednostajnych na [0, 1].
Rzeczywiście dla x∈ [0, 1]
P (Ui ¬ x) = lim
N→∞P (UiN ¬ x) = lim
N→∞
[ x2N
] 2N = x gdzie
UiN =
∑N k=1
Zik/2k
Bior¸ac teraz Xi = F−1(Ui), dla dowolnej ci¸agłej dystrybuanty F otrzymujemy ciag (X1, X2, ...) niezależ- nych zmiennych losowych o jednakowym rozkładzie o dystrybuancie F .
0.3.3 Łańcuchy Markowa, rekurencje
Przykład 0.3.4 (Łańcuch Markowa o 2 stanach). Załóżmy, że na rynku s¸a dwa typy pasty do z¸ebów:
a, b. Klienci kupuj¸a przy każdym nast¸epnym zakupie pasty ten sam typ z prawdopodobieństwem 3/4 oraz inny typ z prawdopodobieństwem 1/4. Załóżmy, że fk procent klientów przy k-tym zakupie kupuje typ pasty a. Wyliczamy kolejne wartości fk dla k > 1, zakładaj¸ac, że f1 = 1/3. Zachodzi
fk= (3/4)fk−1+ (1/4)(1− fk−1) oraz fk → 1/2, gdy k → ∞.
0.3.4 Rekurencje
Przykład 0.3.5 (Ruina gracza). Rozważmy gr¸e, w której wygrywamy 1 z prawdopodobieństwem p ∈ (0, 1), przegrywamy 1 z prawdopodobieństwem q = 1−p. Zaczynamy maj¸ac 50 i kończymy maj¸ac 100 lub gdy stracimy wszystko. Wyliczamy prawdopodobieństwo zakończenia gry maj¸ac 100. Zachodzi rekurencja
ai = pai+1+ qai−1
dla ai prawdopodobieństwa, że kończymy maj¸ac 100, przy kapitale pocz¸atkowym 1¬ i ¬ 99, przy czym a0= 0, a100= 1. Otrzymujemy
ai = 1
(qp)100− 1((q p)i− 1)
Wprzypadku ruletki p = 18/38 = 0.4736, wtedy a50= 0.005127(ok. 5 razy na tysi¸ac gier wygramy).
Przykład 0.3.6 Grześ i Andrzej kolejno rzucaj¸a monet¸a. Jeśli wypada orzeł wygrywa Andrzej i dostaje od Grzesia 1, jesli wypada reszka wygrywa Grześ i dostaje od Andrzeja 1. Poczatkowo Grześ ma 50, Andrzej 25. Jakie jest prawdopodobieństwo, że Andrzej straci wszystko? Niech ai oznacza prawdopodo- bieństwo, że Andrzej straci wszystko, w sytuacji gdy Grześ ma i , a Andrzej 75− i, dla 1 ¬ i ¬ 74.
Przyjmujemy a0 = 0, a75= 1. Zachodzi rekurencja ai = (1/2)ai+1+ (1/2)ai−1
Znajdujemy ai = i/75. St¸ad Andrzej przegra z prawdopodobieństwem 50/75=2/3.
0.4 Rozkłady
0.4.1 Zmienne losowe
Definicja 0.4.1 Niech Ω b¸edzie zbiorem przeliczalnym. Funkcj¸e X : Ω → R nazywamy rzeczywist¸a zmienn¸a losow¸a.
Definicja 0.4.2 Dla zmiennej losowej X przyjmujacej wartości całkowite, ciag pX(i) = P (X = i) nazy- wamy funkcj¸a prawdopodobieństwa zmiennej losowej X (i∈ Z).
Każdy ci¸ag liczbowy {p(i)}i∈Z o własnościach 1. 0¬ p(i) ¬ 1, i ∈ Z
2. ∑i∈Zp(i) = 1
jest funkcj¸a prawdopodobieństwa pewnej zmiennej losowej.
Uwaga 0.4.1 Ci¸ag {pX(i)} wyznacza funkcj¸e prawdopodobieństwa PX na Z poprzez równość:
PX(A) =∑
i∈A
pX(i)
określon¸a dla każdego A ⊆ Z. Par¸e (Z, PX) nazywamy kanoniczn¸a przestrzeni¸a probabilistyczn¸a zmiennej X.
Przykład 0.4.1 (Rozkład hipergeometryczny). W urnie jest M czerwonych i N czarnych kul. Wyci¸agamy n kul. Niech R oznacza ilość czerwonych kul spośród n wyci¸agnietych kul. Wtedy
pR(r) = P (R = r) = (M
r
)( N
n−r
) (M +N
n
)
dla r = 0, ..., n . Pozostałe wartości pR(r) przyjmujemy, że s¸a równe 0.
0.4.2 Przybliżenie rozkładu dwumianowego
Przykład 0.4.2 (Rozkład Poissona). Niech dla λ > 0 pλ(i) = e−λλi
i!
dla i = 0, 1, ..., poza tym 0. Ci¸ag ten ma własności funkcji prawdopodobieństwa. Nazywamy go rozkładem Poissona z parametrem λ.
Rozkład Poissona odgrywa ważn¸a rol¸e jako przybliżenie innych rozkładów.
Przykład 0.4.3 Niech Sn oznacza liczb¸e sukcesów w n próbach Bernoulliego, przy czym załóżmy, że prawdopodobieństwo sukcesu w n próbach równa si¸e pn (może zmieniać si¸e wraz z ilości¸a prób). Wtedy wiadomo, że P (Sn= k) =(nk)pkn(1− pn)n−k. Jeśli npn→ ˙λ > 0, to P (Sn= k)→ pλ(k) przy n→ ∞, dla każdego k∈ N.
Rozkład Poissona stanowi dobre przybliżenie rozkładu dwumianowego, o małym prawdopodobieństwie sukcesu, ale o dużej ilości prób, przy czym pn = λ.
0.4.3 G¸estości i dystrybuanty
Definicja 0.4.3 Zmienna losowa X ma rozkład (absolutnie) ci¸agły o g¸estości fX : R→ R gdy P (a¬ X ¬ b) =
∫ b
a
fX(y)dy dla każdego a¬ b ∈ R.
Oczywiście∫−∞∞ fX(x)dx = 1, zawsze pole pod wykresem g¸estości równa si¸e 1.
Uwaga 0.4.2 Dla każdej funkcji f nieujemnej, rzeczywistej, takiej, że ∫−∞∞ f (x)dx = 1,istnieje zmienna losowa taka, że f jest jej g¸estości¸a prawdopodobieństwa.
Przykład 0.4.4 (G¸estość Pareto) f (x) =
{ (α− 1)x−α gdy x 1
0 poza tym
gdzie α > 1 jest parametrem rozkładu.
Przykład 0.4.5 (Rozkład wykładniczy).
f (x) = {
λe−λx dla x 0
0 poza tym
gdzie λ > 0 jest parametrem rozkładu.
Przykład 0.4.6 (Rozkład standardowy normalny) f (x) = (1/√2
2π)e−x2/2
gdzie x∈ R. (Dowód, że jest to g¸estość na wykładzie)
Bardziej uniwersalnym niż g¸estość probabilistycznym opisem zmiennych losowych jest dystrybuanta.
Definicja 0.4.4 Dystrybuant¸a zmiennej losowej X , nazywamy funkcj¸e FX(x) = P (X ¬ x)
dla x∈ R.
Dystrybuanta ma nast¸epuj¸ace własności:
1. FX jest niemalej¸aca 2. FX(x)→ 1, gdy x → ∞ 3. FX(x)→ 0, gdy x → −∞
4. FX jest prawostronnie ci¸agła
Uwaga 0.4.3 Gdy zmienna losowa X ma g¸estość fX,to FX(x) =∫−∞x fX(y)dy.
Przykład 0.4.7 (Dystrybuanta Pareto). G¸estość Pareto f (x) = (α− 1)x−αI[1,∞)(x). Wyliczamy : F (x) = (1− x−(α−1))I[1,∞)(x)
Uwaga 0.4.4 Szansa, że wartości zmiennej losowej X zawarte b¸ed¸a w przedziale [a, b] , gdzie a ¬ b, można wyrazić przy pomocy dystrybuanty nast¸epuj¸aco
P (a¬ X ¬ b) = F (b) − F (a)
Przykład 0.4.8 (Dystrybuanta wykładnicza). Ponieważ g¸estość f (x) = λe−λxI[0,∞)(x), otrzymujemy F (x) = (1− e−λx)I[0,∞)(x).
Uwaga 0.4.5 Funkcj¸e F (x) = 1− F (x), x ∈ R, nazywamy ogonem dystrybuanty F. W teorii nieza- wodności F nazywana jest funkcj¸a niezawodności, gdyż F (x) = P (X > x), można interpretować jako prawdopodobieństwo bezawaryjnej pracy maszyny, gdzie X oznacza wtedy losowy czas pracy maszyny.
Przykład 0.4.9 (Własność braku pami¸eci rozkładu wykładniczego). Jeśli X ma rozkład wykładniczy, to
P (X > t + s|X > t) = P (X > s)
dla dowolnych t, s 0. Interpretacja: szansa, że dalszy czas pracy maszyny przekroczy s , jeśli maszyna jest sprawna do czasu t, jest taka sama jak szansa, że nowa maszyna przepracuje conajmniej s. Wzór ten można równoważnie zapisać jako
F (t + s) = F (t)F (s).
Przykład 0.4.10 (Dystrybuanta dyskretna). Niech X b¸edzie zmienn¸a losow¸a przyjmuj¸ac¸a wartości 0, 1, 2, 3, z prawdopodobieństwami odpowiednio 1/8, 3/8, 3/8, 1/8. Odpowiedni¸a funkcj¸e prawdopodobień- stwa można opisać tabelk¸a (poza tym zero)
i 0 1 2 3
p(i) 1/8 3/8 3/8 1/8
Dystrybuanta odpowiadaj¸aca tej funkcji prawdopodobieństwa może być zapisana na wiele sposobów:
F (x) =∑
i¬x
p(i) lub
F (x) = ∑
i∈(−∞,x]
p(i)
lub
F (x) = 1
8I[0,1)(x) + 4
8I[1,2)(x) +7
8I[2,3)(x) + I[3,∞)(x) lub
F (x) = 1
8I[0,∞)(x) + 3
8I[1,∞)(x) + 3
8I[2,∞)(x) + 1
8I[3,∞)(x)
0.4.4 Funkcje od zmiennych losowych
Niech Y = ψ(X), dla pewnej zmiennej losowej X, o g¸estości f i funkcji (mierzalnej) ψ : R → R. . Obliczymy g¸estość zmiennej Y.
Przykład 0.4.11 Niech X b¸edzie zmienn¸a o rozkładzie wykładniczym oraz ψ(x) = x2. Wtedy FY(y) = (1− e−λ√2y)I[0,∞)(y) oraz
fY(y) = (λ/2√2
y)e−λ√2yI(0,∞)(y)
Ogolnie, jeśli ψ jest róózniczkowalna i ściśle rosn¸aca na zbiorze wartości zmiennej X, to Y = ψ(X) ma g¸estość
fY(y) = fX(ψ−1(y))(ψ−1)′(y)
Przykład 0.4.12 (Niestandardowy rozklad normalny). Niech X ma rozkład standardowy normalny oraz ψ(x) = σx + µ,dla σ > 0, µ∈ R. Wtedy Y = σX + µ ma rozkład o g¸estości
fY(y) = (1/√2
2πσ2)e−(x−µ)2/2σ2
Rozkład ten (lub zmienne o tym rozkładzie) oznaczamy N (µ, σ).
Wniosek 0.4.1 Jeśli Y ma rozkład normalny N (µ, σ), to X = (Y − µ)/σ ma rozkład N(0, 1).
Przykład 0.4.13 (Rozkład jednostajny). Niech X ma rozkład standardowy wykładniczy oraz ψ(x) = (1− e−x)I[0,∞)(x). Wtedy Y = ψ(X) ma rozkład jednostajny na [0, 1], tzn. fY(y) = I[0,1)(y).
Ogólnie, jeśli X ma dystrybuant¸e F o g¸estości f , to Y = F (X) ma rozkład jednostajny na [0, 1]. Ci¸agł¸a funkcj¸e F można zawsze odwrócić w nast¸epuj¸acy sposób:
F−1(y) = min{x : F (x) y}
Wtedy analogicznie otrzymujemy
Wniosek 0.4.2 Jeśli Y ma rozkład jednostajny na [0, 1], to X = F−1(Y ) ma rozkład o dystrybuancie F , przy założeniu, że F jest ci¸agła.
0.4.5 Rozkłady ł¸aczne i brzegowe
Rozkłady ł¸aczne służ¸a do opisu wektora zmiennych losowych (X1, ..., Xn). Rozważamy najpierw przypa- dek n = 2 i zamiast (X1, X2) piszemy (X, Y ).
Gdy X, Y przyjmuj¸a wartości całkowite, określamy (ł¸aczn¸a) funkcj¸e prawdopodobieństwa.
Definicja 0.4.5 Niech X, Y ∈ Z, wtedy (ł¸aczn¸a) funkcj¸a prawdopodobieństwa nazywamy p(X,Y )(i, j) = P (X = i, Y = j)
określon¸a dla i, j∈ Z.
Przykład 0.4.14 W pewnej populacji m¸eżczyzn sklasyfikowano ich wzrost i ci¸eżar. Dane uj¸eto w kate- goriach, dla wzrostu:
kategoria 1 2 3
wzrost 170± 5 180± 190 ± 5 dla ci¸eżaru ciała
kategoria 0 1 2 3
ci¸eżar 60± 5 70 ± 5 80 ± 5 90 ± 5
Procentowo uj¸ete wyniki ł¸aczne przedstawiono w tabeli:
wzrost\ ci¸eżar 0 1 2 3
1 8% 8% 6% 0
2 8% 16% 16% 8%
3 0 8% 10% 12%
Wybieraj¸ac losowo osobnika z tej populacji, oznaczmy przez X jego wzrost, przez Y jego ci¸eżar. Wtedy ł¸aczna funkcja prawdopodobieństwa p(X,Y )(i, j), dla i = 1, 2, 3 oraz j = 0, 1, 2, 3 (poza tym zero) zawarta jest w tabelce
p(X,Y )(i, j) 0 1 2 3
1 0.08 0.08 0.06 0 2 0.08 0.16 0.16 0.08
3 0 0.08 0.1 0.12
Oczywiście∑i,jp(X,Y )(i, j) = 1.
W przypadku zmiennych losowych typu ci¸agłego definiujemy (ł¸aczn¸a) g¸estość:
Definicja 0.4.6 Para (wektor) zmiennych losowych (X, Y ) ma g¸estość f (x, y) jeśli P ((X, Y )∈ A) =∫ ∫
A
f (x, y)dxdy
dla f : R2 → R2, takiej, że f 0 oraz∫ ∫R2f (x, y)dxdy = 1, gdzie A jest obszarem regularnym.
W szczególności, gdy A = [x, x +△x] × [y + △y], dla małych dodatnich wartości △x, △y,wtedy P (x¬ X ¬ x + △x, y ¬ Y ¬ y + △y) =∫ x+△x
x
∫ y+△y
y
f (u, v)dudv≈ f(x, y)△x△y
Przykład 0.4.15 Niech f (x, y) = e−yI{(x,y):0<x<y}(x, y). Wtedy∫ ∫ f (x, y)dxdy = 1.
Przykład 0.4.16 (Rozkład jednostajny na kole). Wybieramy losowo punkt na kole jednostkowym K = {(x, y) : x2+ y2 ¬ 1}. Niech (X, Y ) oznacza wektor jego współrz¸ednych. Wtedy g¸estość tego wektora
f (x, y) = (1/π)IK(x, y) dla wszystkich x, y ∈ R.
Dystrybuanta dwuwymiarowa
Definicja 0.4.7 Niech (X, Y ) b¸edzie wektorem zmiennych losowych. Dystrybuant¸a (X, Y ) nazywamy funkcj¸e F : R2→ [0, 1], określon¸a wzorem
F (x, y) = P (X ¬ x, Y ¬ y)
Uwaga 0.4.6 Jeśli (X, Y ) ma g¸estość f (x, y), to F (x, y) =
∫ x
−∞
∫ y
−∞f (u, v)dydx
Dla dowolnych a1< b1 oraz a2 < b2, zwi¸azek
P(X,Y )((a1, b1]× (a2, b2]) = P (a1 < X¬ b1, a2< Y ¬ b2)
określa prawdopodobieństwo P(X,Y ) na płaszczyźnie R2(i σ−ciele zbiorów borelowskich). Przestrzeń pro- babilistyczn¸a Ω(X,Y ) = (R2, P(X,Y )) nazywamy kanoniczn¸a przestrzeni¸a probabilistyczn¸a wektora (X, Y ).
Szans¸e uzyskania wartości w prostok¸acie można wyrazić przy pomocy dystrybuanty:
P (a1 < X¬ b1, a2< Y ¬ b2) = F (b1, b2) + F (a1, a2)− F (a1, b2)− F (b1, a2)
Rozkłady brzegowe
Niech (X, Y ) b¸edzie wektorem losowym takim, że X, Y ∈ Z. Z ł¸acznej funkcji prawdopodobieństwa p(X,Y )
można wyliczyć funkcje prawdopodobieństwa zmiennych X oraz Y jako zmiennych jednowymiarowych (tzw. rozkłady brzegowe).
pX(i) =∑
j
P (X = i, Y = j) =∑
j
p(X,Y )(i, j)
pY(j) =∑
i
P (X = i, Y = j) =∑
i
p(X,Y )(i, j)
Przykład 0.4.17 Niech (X, Y ) ma funkcj¸e prawdopodobieństwa zadan¸a tabel¸a:
p(X,Y )(i, j) 0 1 2 3
1 0.08 0.08 0.06 0 2 0.08 0.16 0.16 0.08
3 0 0.08 0.1 0.12
Wtedy pX(1) = 0.22, pX(2) = 0.48, pX(3) = 0.30 oraz pY(0) = 0.16, pY(1) = 0.32, pY(2) = 0.32, pY(3) = 0.20.
W przypadku zmiennych typu ci¸agłego, jeśłi (X, Y ) ma g¸estość f (x, y), to g¸estości brzegowe zadane s¸a przez:
fX(x) =
∫
R
f (x, y)dy
fY(y) =
∫
R
f (x, y)dx
Niezależnośc zmiennych losowych
Definicja 0.4.8 Niech X, Y ∈ Z. Zmienne X, Y s¸a niezależne jeśli p(X,Y )(i, j) = pX(i)pY(j)
dla wszystkich i, j ∈ Z.
Definicja 0.4.9 Niech X, Y b¸ed¸a typu ci¸agłego o g¸estości f(X,Y ). Zmienne X, Y s¸a niezależne jeśli f(X,Y )(x, y) = fX(x)fY(y)
dla wszystkich x, y ∈ R.
W powyższych przypadkach niezależność zmiennych jest równoważna niezależności zdarzeń A = {ω : X(ω)∈ I1} i B = {ω : Y (ω) ∈ I2}, dla dowolnych przedziałów I1, I2, tzn. warunkowi
P (X∈ I1, Y ∈ I2) = P (X ∈ I1)P (Y ∈ I2)
Przykład 0.4.18 Niech (X, Y ) maj¸a funkcj¸e prawdopodobieństwa p(i, j) 1 2 pX
1 0.3 0 0.3
2 0.4 0.3 0.7 pY 0.7 0.3
Zmienne nie sa niezależne, bo 0 = p(1, 2)̸= pX(1)pY(2) = 0.3· 0.3 Przykład 0.4.19 Niexh (X, Y ) maj¸a funkcj¸e prawdopodobieństwa
p(i, j) 1 2 pX 1 0.28 0.12 0.4 2 0.42 0.18 0.6 pY 0.7 0.3 Zmienne X, Y s¸a niezależne.
Przykład 0.4.20 Niech (X, Y ) maj¸a g¸estość f (x, y) = ((x + y + 1)/2)I(0,1)×(0,1)(x, y). Wtedy X, Y nie s¸a niezależne.
Dla wektora n∈ N zmiennych losowych (X1, ..., Xn) niezależność definiujemy analogicznie do przypadku n = 2.
Definicja 0.4.10 Jeśli (X1, ..., Xn) ma rozkład typu ci¸agłego o g¸estości f (x1, ..., xn) wtedy X1, ..., Xns¸a niezależne gdy
f (x1, ..., xn) = fX1(x1)...fXn(xn) dla wszystkich x1, ..., xn∈ R.
Definicja 0.4.11 Jeśli (X1, ..., Xn) ma rozkład typu dystkretnego o funkcji prawdopodobieństwa p(i1, ..., in) wtedy X1, ..., Xn s¸a niezależne, gdy
p(i1, ...., in) = pX1(i1)...pXn(in) dla wszystkich i1, ..., in∈ Z.
Niezależność (X1, ..., Xn) w obu przypadkach jest równoważna warunkowi P (X1∈ A1, ..., Xn∈ An) = P (X1 ∈ A1)...P (Xn∈ An)
dla dowolnych zbiorów A1, ..., An.
0.4.6 Sumy niezależnych zmiennych losowych
Dla dyskretnych zmiennych losowych P (X + Y = k) =∑iP (X = i, Y = k− i). Przy założeniu niezależ- ności X, Y otrzymujemy
P (X + Y = k) =∑
i
P (X = i)P (Y = k− i)
Przykład 0.4.21 Niech X b¸edzie liczb¸a sukcesów w n1 próbach Bernoulliego o prawdopodobieństwie sukcesu p∈ (0, 1). Niech Y b¸edzie niezależn¸a od X zmienn¸a losow¸a b¸ed¸ac¸a liczb¸a sukcesów w n2 próbach Bernoulliego o tym samym prawdopodobieństwie sukcesu . Wtedy X + Y ma rozkład dwumianowy b(k, n1+ n2, p).
Przykład 0.4.22 Jeśli X, Y s¸a niezależne i X ∼ P oisson(λ) oraz Y ∼ P oisson(µ), to X + Y ∼ P oisson(λ + µ).
Dla zmiennych losowych typu ci¸agłego X∼ fX oraz Y ∼ fY, jeśli X, Y s¸a niezależne to X + Y ma g¸estość fX+Y(z) =
∫ ∞
−∞fX(x)fY(z− x)dx =∫ ∞
−∞fY(x)fX(z− x)dx
Przykład 0.4.23 Niech X ∼ U[0, 1] oraz Y ∼ U[0, 1] maj¸a ten sam rozkład jednostajny na [0, 1]. Jeśli X i Y s¸a niezależne, to
fX+Y(z) =
z gdy 0¬ z ¬ 1 2− z gdy 1 ¬ z ¬ 2
0 poza tym
Wykres tej g¸estości:
Przykład 0.4.24 (Rozkład Erlanga rz¸edu n). Jeśli X1, ..., Xn s¸a niezależne o rozkładzie wykładniczym z parametrem λ > 0, to
fX1+...+Xn(z) = ((n− 1)!/λn−1)−1zn−1λe−λzI(0,∞)(z)
Przykład 0.4.25 (Proces Poissona) Niech (X1, X2, ...) b¸edzie nieskończonym ci¸agiem niezależnych zmien- nych losowych o rozkładach wykładniczych z parametrem λ > 0. Wtedy N (t) = max{n : X1+ ... + Xn¬ t}, dla dowolnego t 0 liczy ile punktów umieszczonych w odst¸epach kolejno Xi, i = 1, 2, ... od pocz¸atku układu współrz¸ednych zmieści si¸e przed t. Zbiór zmiennych losowych (N (t), t 0) nazywamy procesem Poissona. Wtedy
P (N (t) = i) = (λt)i i! e−λt
dla i = 0, 1, 2, ..., tzn. zmienne N (t) maj¸a rozkłady Poissona, których parametr zmienia si¸e wraz z t i równa si¸e λt.
0.5 WARTOŚĆ OCZEKIWANA
Jeśli (X1, X2, ....) jest ci¸agiem niezależnych zmiennych losowych o jednakowych rozkładach, przyjmuj¸acych wartości ograniczone, to intuicyjnie ich średnia arytmetyczna X1+...+Xn n dla dostatecznie dużych wartości n powinna być zbieżna do pewnej wartości stałej (pomyśl o rzutach monet¸a lub kostk¸a). Uściślenie tej intuicji wymagać b¸edzie określenia co to znaczy tutaj zbieżna (poj¸ecie dla zmiennych losowych a nie liczb) oraz motywuje wprowadzenie wartości oczekiwanej, ktora okaże si¸e być t¸a graniczn¸a wartości¸a stał¸a zależn¸a jedynie od rozkładu, który jest tutaj wspólny dla wszystkich sumowanych zmiennych losowych.
Precyzyjne wysłowienie tego faktu b¸edzie treści¸a twierdzenia zwanego Prawem Wielkich Liczb.
Definicja 0.5.1 Jeśli X jestzmienn¸a losow¸a przyjmuj¸ac¸a wartości całkowite, o funkcji prawdopodo- bieństwa (p(i), i ∈ Z), to wartości¸a oczekiwan¸a zmiennej X (lub wartości¸a oczekiwan¸a rozkładu p(i)) nazywamy liczb¸e oznaczan¸a EX, zadan¸a wzorem
EX =∑
i∈Z
ip(i)
o ile ta wartość istnieje.
Istnienie wartości oczekiwanej skomentujemy później.
Przykład 0.5.1 Rzut monet¸a. Niech X = 1, gdy wypadnie orzeł, 0, gdy wypadnie reszka. EX =
1
20 +121 = 12. Zauważmy, że wartość 1/2 nie jest przyjmowana przez X.
Przykład 0.5.2 Rzut kostk¸a. EX = 3.5.
Przykład 0.5.3 Rozkład Poissona z parametrem λ. EX = λ.
Definicja 0.5.2 Jeśli zmienna X ma g¸estość f , wtedy EX =
∫ ∞
−∞xf (x)dx o ile ta wartość istnieje.
Przykład 0.5.4 Rozkład jednostajny na [0, 1]. EX = 1/2.
Przykład 0.5.5 G¸estość Erlanga rz¸edu n. EX = n/λ.
Przykład 0.5.6 Rozkład Cauchyego.
f (x) = 1 π(1 + x2)
x∈ R. Wartość oczekiwana nie istnieje. (Zmienna losowa o g¸estości symetrycznej nie musi mieć wartości oczekiwanej 0)
Przypomnijmy, że |x| = [x]+ + [x]− , gdzie [x]+ = max(o, x) oraz [x]− = − min(0, x). Dla dowolnej funkcji g,∫Rg(x)dx istnieje i jest skończona wtedy i tylko wtedy, gdy∫R[g(x)]+dx <∞ (jest skończona) i
∫
R[g(x)]−dx <∞. Całka∫Rg(x)dx istnieje i jest nieskończona, gdy ∫R[g(x)]+dx =∞ i∫R[g(x)]−dx <∞ (wtedy ∫g(x)dx = ∞) lub gdy ∫R[g(x)]+dx < ∞ i ∫R[g(x)]−dx = ∞ (wtedy ∫g(x)dx = −∞). W przypadku gdy ∫R[g(x)]+dx =∞ i ∫R[g(x)]−dx =∞ całka∫Rg(x)dx nie istnieje.
Przykład 0.5.7 (Czas do równowagi) Nieskończona wartość oczekiwana pojawia si¸e w sposób bardzo naturalny: rzucamy monet¸a, niech Hn oznacza ilość orłów w n rzutach, Tn = n− Hn, oznacza ilość reszek w n rzutach. Czas zrównania si¸e ilości orłów i reszek po raz pierwszy możemy zdefiniować jako N = min{n : Hn= Tn}. EN = +∞.
Do liczenia wartości oczekiwanej nieujemnych zmiennych losowych X o wartościach całkowitych uzyteczny jest wzór:
EX =
∑∞ n=1
P (X n)
Przykład 0.5.8 Rozkład geometryczny na{1, 2, ...}. p(i) = (1 − p)i−1p, dla p∈ (0, 1). EX = 1/p. . 0.5.1 Momenty, funkcje tworz¸ace
Niech Y = ψ(X), dla pewnej funkcji ψ : R → R. Wtedy EY = ∑i∈Zψ(i)P (X = i), dla X typu dyskretnego o wartościach całkowitych. Gdy X v f ma g¸estość, to EY =∫−∞∞ ψ(x)f (x)dx.
Jeśli Y przyjmuje (niekoniecznie całkowite) wartości y1, y2, ... z prawdopodobieństwami p(1), p(2), ... od- powiednio, to EY =∑∞i=1yip(i).\
Przykład 0.5.9 Rzut kostk¸a. X liczba oczek, Y = √2 X.
Przykład 0.5.10 Momenty rozkładu jednostajnego. X ∼ U[0, 1], Y = Xk dla k ∈ N. (ψ(x) = xk) . EY = k+11 .
Definicja 0.5.3 Dla zmiennej losowej X, wartość EXk < ∞, k ∈ N( o ile istnieje i jest skończona) nazywamy k−tym momentem X. (Wartość oczekiwana jest pierwszym momentem).
Przykład 0.5.11 Funkcja tworz¸aca momenty rozkładu wykładniczego. Niech X ∼Wykładniczy (λ).
Wtedy dla Y = etX, t < λ, EY = λλ−t.
Przykład 0.5.12 Funkcja tworz¸aca momenty rozkładu gamma. Niexh X ∼ gamma(n, λ). Wtedy dlaY = etX, t < λ, EY = (λλ−t)n.
Definicja 0.5.4 Dla zmiennej losowej X funkcj¸e φX(t) = EetX
określon¸a dla t ∈ R (być może o wartościach nieskończonych) nazywamy funkcj¸a tworz¸ac¸a momenty zmiennej X.
Zw¸azek tej funkcji z momentami zmiennej X jest nast¸epuj¸acy EXk= φ(k)X (0)
dla k∈ N.
Przykład 0.5.13 Momenty rozkładu wykładniczego. X ∼Wykładniczy (λ), wtedy EXk = λk!k.
Definicja 0.5.5 Dla zmiennej X o wartościach {0, 1, 2, ...} funkcj¸e γX(z) = E(zX) =
∑∞ i=0
zip(i)
dla z∈ [0, 1] nazywamy funkcj¸a tworz¸ac¸a.
Zwi¸azek tej funkcji z momentami jest nast¸epuj¸acy γ(k)X (z) = E(X(X− 1)...(X − k + 1))
dla k∈ N.
Przykład 0.5.14 Mediana rozkładu. Właściciel bufetu sprzedaje kaw¸e. Dzienny popyt na kaw¸e określony jest przez zmienn¸a X o g¸estości f . Właściciel płaci c zł za litr kawy, otrzymuje b zł (b > c) i jeśli zabraknie mu kawy traci a zł na każdym brakuj¸acym litrze. Ile kawy powinien on kupić, aby zmaksymalizować (w sensie wartości średniej) swój zysk. Odp.: należy kupić v litrów kawy, gdzie v jest takie, że P (X > v) =
c
a+b. Gdy a = b = c = 1 wartość t¸a nazywamy median¸a rozkładu zmiennej X.
Definicja 0.5.6 Niech X b¸edzie taka, ze E|X| < ∞. Median¸a rozkładu zmiennej X jest liczba v, taka, ,że
E|X − c| E|X − v|
dla wszystkich c∈ R.
Własności wartości oczekiwanej
1. E(aX + b) = aEX + b, dla a, b∈ R 2. E(X + Y ) = EX + EY
3. X Y ⇒ EX EY
4. Jeśłi X1, ..., Xn s¸a niezależne, to E(X1...Xn) = EX1...EXn
5. Jeśłi X1, ..., Xn s¸a niezależne, to E(g1(X1)...gn(Xn)) = Eg(X1)...Egn(Xn), dla dowolnych funkcji g1, ..., gn.
6. Jeśłi X1, ..., Xn s¸a niezależne, to φX1+...Xn(t) = φX1(t)...φXn(t), dla funkcji tworz¸acych momenty Przykład 0.5.15 Warunek E(XY ) = EXEY nie implikuje niezależności X i Y.
X\Y −1 0 1 pX
1 0 1 /4 0 1/4
0 1 /4 1 /4 1 /4 3/4 pY 1/4 1/2 1/4
wtedy EXY = 0 oraz EXY = EXEY , ale X, Y nie s¸a niezależne.
Funkcje tworz¸ace wyznaczaj¸a jednoznacznie rozkłady zmiennych losowych:
Jeśli φX(t) = φY(t), t∈ R, to FX = FY.
Jeśli γX(z) = γY(z), z∈ (0, 1), to pX(i) = pY(i), i∈ Z+.
0.5.2 Wariancja i kowariancja
Miar¸a rozrzutu masy prawdopodobieństwa jest na przykład wariancja.
Definicja 0.5.7 Jeśli EX2 <∞, to wariancj¸a zmiennej losowej X nazywamy wartość V arX = E(X− EX)2= EX2− (EX)2
(Gdy EX2 =∞, wariancja jest nieskończona). Wartość σX =√2
V arX
nazywamy odchyleniem standardowym zmiennej X.
Przykład 0.5.16 Rozkład jednostajny, X ∼ U[0, 1], V arX = 1/12. Dla X ∼ U[a, b], V arX = (b − a)2/12.
Własności wariancji:
1. V ar(aX) = a2V arX, a∈ R
2. Jeśli X, Y s¸a niezależne to V ar(X + Y ) = V arX + V arY
3. Jeśli V arX = 0, to P (X = EX) = 1, piszemy X = EX pw (prawie wsz¸edzie)
4. V ar(X +Y ) = V arX +V arY +2Cov(X, Y ), gdzie Cov(X, Y ) = E(XY )−EXEY (tzw. kowariancja zmiennych X, Y ).
Jeśli Cov(X, Y ) = 0, to zmienne s¸a nieskorelowane (z przykładu wyżej wynika, że niekoniecznie nieza- leżne).
Przykład 0.5.17 Rzut kostk¸a. EX = 21/6, EX2 = 91/6, V arX = 105/36≈ 2.9166, σX ≈ 1.7078. Przy tym odchylenie mierzone wartości¸a bezwzgl¸edn¸a E|X − EX| = 1.5 jest różne od odchylenia standardo- wego.
0.6 TWIERDZENIA GRANICZNE
0.6.1 Prawa wielkich liczb
Lemat 0.6.1 Niech ϕ : [0,∞) → R+, b¸edzie niemalej¸aca oraz X 0. Wtedy Eϕ(X) ϕ(y)P (X y)
dla każdego y > 0.
Lemat 0.6.2 (Nierówność Czebyszewa). Niech Y b¸edzie zmienn¸a losow¸a o skończonej wariancji. Wtedy V arY y2P (|Y − EY | y)
Przy powtarzaniu eksperymentów najcześciej badan¸a wielkości¸a jest średnia próbkowa: dla zmiennych losowych X1, ..., Xn(n∈ N) średni¸a próbkow¸a jest zmienna losowa
Xn= X1+ ... + Xn
n
Jeśli Xi maj¸a jednakowy rozkład o skończonej wartości oczekiwanej, to dla µ = EXi
EXn= µ
jeśłi ponadto zmienne Xi s¸a niezależne o skończonej wariancji σ2= V arXi,, to V arXn= σ2
n oraz
σX
n = σ
√2
n
Widać st¸ad, że jeśli n jest ”duże”, to wariancja średniej próbkowej jest bliska zeru, a st¸ad średnia próbkowa jest wtedy bliska wartości stałej µ. Dokładniej mowi¸ac, zachodzi:
Twierdzenie 0.6.3 (Słabe prawo wielkich liczb). Jeśłi X1, X2, ...s¸a niezależne o jednakowym rozkładzie i skończonej wartości oczekiwanej µ, to dla każdego ε > 0
P (|Xn− µ| ε) →n→∞ 0 Piszemy wtedy
Xn→P µ
i określamy t¸a zbieżność jako zbieżność według prawdopodobieństwa.
Przykład 0.6.1 Chcemy wyznaczyć średni wzrost µ m¸eżczyzn w wieku 20 lat w kraju. Wybieramy losowo (niezależnie) n m¸eżczyzn (pobieramy próbk¸e z populacji) i otrzymujemy wartości X1, ...., Xn. Z prawa wielkich liczb otrzymujemy, że dla ”dużych” n średnia próbkowa z dużym prawdopodobieństwem przybliża wartość µ.
Przykład 0.6.2 (Cz¸estość wyst¸epowania zdarzenia, a jego prawdopodobieństwo). Powtarzamy ekspery- ment o wyniku liczbowym W niezależnie n razy. Niech Xi = IA(Wi), tzn. Xi jest zmienn¸a zero-jedynkow¸a przyjmuj¸ac¸a wartość 1, gdy i-ty wynik eksperymentu osi¸aga swoj¸a wartość w ustalonym zbiorze A. Wtedy Xn można zinterpretować jako cz¸estość zdarzenia, że wynik eksperymentu osi¸aga wynik w ustalonym zbiorze A. Z prawa wielkich liczb, dla ”dużych” n cz¸estość ta jest bliska EXi = P (Wi ∈ A). Gdy A = (−∞, x], to Xn≈ P (W ¬ x).
Zbieżność według prawdopodobieństwa w słabym prawie wielkich liczb może być zast¸apiona mocniejsz¸a zbieżności¸a:
Twierdzenie 0.6.4 (Mocne prawo wielkich liczb). Jeśłi X1, X2, ...s¸a niezależne o jednakowym rozkładzie i skończonej wartości oczekiwanej µ, to
P (Xn→n→∞ µ) = 1 Piszemy wtedy
Xn→ µ p.w.
i określamy t¸a zbieżność jako zbieżność prawie wsz¸edzie.
Szans¸e, że przybliżenie wartości oczekiwanej przez średni¸a próbkow¸a jest dobre można oszacować przy użyciu nat¸epnego twierdzenia granicznego.
