Wartość oczekiwana, wariancja, odchylenie standar- dowe, mediana, funkcja kwantylowa
Krótkie praktyczne przypomnienie pojęć z rachunku prawdopodobieństwa
Zastanówmy się, nad tym, ile można średnio wyrzucić oczek na sześciennej kostce do gry, przy czym chwilowo nie będziemy jeszcze precyzować, co znaczy średnio. Jeśli wykonamy n rzutów, to każda możliwa liczba oczek pojawi się średnio w n6 przypadków (oczywiście możliwe są losowe odchylenia). Wobec tego suma oczek wyrzuconych w n rzutach wyniesie około
1 · n
6 + 2 · n
6 + 3 · n
6 + 4 · n
6 + 5 · n
6 + 6 · n
6 = 3, 5n
W takim razie średnia liczba oczek w jednym rzucie powinna być równa n1 powyższej sumy czyli
1 · 1
6+ 2 · 1
6 + 3 · 1
6 + 4 · 1
6+ 5 · 1
6+ 6 · 1
6 = 3, 5.
Zauważmy, że prawdopodobieństwo wylosowania każdej liczby oczek spośród 1, 2, 3, 4, 5 i 6 wynosi 16, a zatem ową średnią otrzymaliśmy, sumując iloczyny liczby oczek i praw- dopodobieństw, że tyle właśnie oczek wyrzucimy. A jak wyglądałaby owa średnia, gdyby prawdopodobieństwa uzyskania poszczególnych możliwych wyników nie były równe?
Na potrzeby dalszych rozważań wśród zmiennych losowych wyszczególnimy zmienne losowe dyskretne i ciągłe.
Definicja 1 Będziemy mówili, że zmienna losowa X jest dyskretna, jeśli istnieje co najwyżej przeliczalny zbiór SX ⊆ R taki że P
x∈SXP (X = x) = 1.
Dystrybuanta dyskretnej zmiennej losowej jest „schodkowa”. Dyskretna zmienna losowa przyjmuje wartości tylko w miejscach wystąpienia skoków swej dystrybuanty.
Rozkład dyskretnej zmiennej losowej można w sposób kompletny opisać przez tzw. funk- cję prawdopodobieństwa: pX(x) : SX → [0, 1], pX(x) = P (X = x).
Fakt 1 (Własności funkcji prawdopodobieństwa)
Px∈SX pX(x) = 1,
∀x ∈ SX pX(x) = FX(x) − limu→x−FX(u).
Bardzo często zbiór SX jest postaci {0, 1, 2, . . . , n} dla pewnego n ∈ N lub też SX = N.
Definicja 2 Będziemy mówili, że zmienna losowa X jest ciągła, jeśli ma gęstość.
Wartość oczekiwaną zmiennej losowej X oznaczamy jako EX lub E(X) lub też E[X], przy czym jeśli nie prowadzi to do niejednoznaczoności, zwykle opuszcza się nawias.
Definicja 3 (Wartość oczekiwana zmiennej losowej) Powiemy, że dyskretna zmienna losowa X ma wartość oczekiwaną, jeśli P
x∈SX|x| · pX(x) = P
x∈SX|x| · P (X = x) < ∞.
Wtedy wartością oczekiwaną zmiennej losowej X nazwiemy liczbę
EX = X
x∈SX
x · pX(x) = X
x∈SX
x · P (X = x).
W przeciwnym razie powiemy, że zmienna losowa X nie ma wartości oczekiwanej.
Powiemy, że ciągła zmienna losowa X ma wartość oczekiwaną, jeśliR
R|x| · fX(x)dx < ∞.
Wtedy wartością oczekiwaną zmiennej losowej X nazwiemy liczbę EX =
Z
R
x · fX(x) dx.
W przeciwnym razie powiemy, że zmienna losowa X nie ma wartości oczekiwanej.
Jeśli dyskretna zmienna losowa X ma wartość oczekiwaną i SX = {0, 1, 2, . . . , n} dla pewnego n ∈ N, to
EX =
n
X
k=0
k · pX(k) =
n
X
k=0
k · P (X = k).
Jeśli dyskretna zmienna losowa X ma wartość oczekiwaną i SX = N, to EX =
∞
X
k=0
k · pX(k) =
∞
X
k=0
k · P (X = k).
Widzimy, że dla rzutu sześcienną kostką do gry wartość oczekiwana liczby wyrzuconych oczek dana jest równaniem, od którego rozpoczęliśmy rozważania.
Chociaż powyższa definicja jest sformułowana osobno dla dyskretnych i ciągłych zmien- nych losowych, to wartość oczekiwana w obu przypadkach (a także w przypadku zmien- nych losowych, które nie są ani ciągłe, ani dyskretne) jest właściwie tym samym (gdyby traktować ją na gruncie teorii miary i całki). Zwróćmy uwagę, że całka (przypadek ciągły) zgodnie z konstrukcją Riemanna granicą ciągu sum całkowych (suma – przypadek dys- kretny). Najlepiej więc nie myśleć o dwóch wzorach, ale traktować je jako przejaw tego samego obiektu matematycznego.
Twierdzenie 1 (Własności wartości oczekiwanej) Załóżmy, że wartości oczekiwane zmiennych losowych X i Y istnieją. Wówczas
wartość oczekiwana zmiennej losowej X + Y istnieje i E(X + Y ) = EX + EY ,
dla dowolnej liczby a ∈ R wartość oczekiwana zmiennej losowej aX istnieje i E(aX) = aEX,
jeśli zmienne losowe X i Y są niezależne, to wartość oczekiwana zmiennej losowej XY istnieje i EXY = EX · EY .
Ponadto dla dowolnej liczby a ∈ R zachodzi Ea = a.
Wartość oczekiwana oddaje naszą intuicję odnośnie „średniej wartości” w eksperymencie losowym. Z tego też powodu jako synonimu terminu wartość oczekiwana niejednokrotnie używa się określenia wartość średnia lub krótko: średnia. Należy jednak zdecydowanie odróżnić użycie słowa średnia w tym znaczeniu od średniej arytmetycznej.
Formalnym ujęciem faktu, że wartość oczekiwana realizuje ideę „wartości średniej” w eksperymencie losowym, jest poniższe twierdzenie.
Twierdzenie 2 (Mocne prawo wielkich liczb Kołomogorowa) Jeśli X1, X2, . . . jest ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, których wartość ocze- kiwana istnieje, to
P lim
n→∞
1 n
n
X
i=1
Xi = EX1
!
= 1.
Innymi słowy, gdybyśmy rzucali niezależnie kostką do gry nieskończenie wiele razy, to ciąg średnich arytmetycznych wyników uzyskanych od początku eksperymentu do da- nego momentu byłby zawsze (to znaczy z prawdopodobieństwem 1) zbieżny do wartości oczekiwanej liczby oczek uzyskanej w pojedynczym rzucie.
Fakt 2 Jeśli X jest dyskretną zmienna losową a ϕ : SX → R, to zmienna losowa ϕ(X) ma wartość oczekiwaną wtedy i tylko wtedy, gdy P
x∈SX|ϕ(x)| · pX(x) < ∞. Wówczas Eϕ(X) = X
x∈SX
ϕ(x) · pX(x) = X
x∈SX
ϕ(x) · P (X = x).
Jeśli X jest ciągłą zmienna losową, ϕ : R → R funkcją borelowską i R
R|ϕ(x)| · fX(x)dx <
∞, to zmienna losowa ϕ(X) ma wartość oczekiwaną. Wówczas Eϕ(X) =
Z
R
ϕ(x) · fX(x) dx.
Definicja 4 Jeśli wartość oczekiwana zmiennej losowej Xk istnieje, to liczbę EXk nazy- wamy momentem (niecentralnym) rzędu k zmiennej losowej X.
Fakt 3 Jeśli moment rzędu k ∈ N zmiennej losowej X istnieje, to dla każdego l ∈ N takiego że l < k moment rzędu l zmiennej losowej X istnieje.
Definicja 5 Jeśli istnieje wartość oczekiwana zmiennej losowej X i wartość oczekiwana zmiennej losowej (X − EX)2, to liczbę V ar(X) = E(X − EX)2 nazywamy wariancją zmiennej losowej X. W przeciwnym wypadku wariancja zmiennej losowej X nie istnieje.
Możemy powiedzieć, że wariancja intuicyjnie mierzy, jak bardzo średnio realizacje zmien- nej losowej X są oddalone (w sensie kwadratu różnicy) od wartości oczekiwanej X. W szczególności można powiedzieć, że wariancja zmiennej losowej X mierzy rozproszenie rozkładu zmiennej losowej X wokół jej wartości oczekiwanej.
Fakt 4 Zachodzi następująca tożsamość:
V ar(X) = EX2− (EX)2.
Uwaga! W pierwszym składniku tradycyjnie opuszczono nawias przy wartości oczeki- wanej. Wyrażenie EX2 należy więc rozumieć jako E(X2) czyli jako wartość oczekiwaną zmiennej losowej X2 (która niekoniecznie jest równa kwadratowi wartości oczekiwanej X czyli (EX)2).
Możemy zatem powiedzieć, że wariancja zmiennej losowej X jest równa różnicy drugiego momentu zmiennej losowej X i kwadratu jej pierwszego momentu.
Wniosek 1 EX2 = V ar(X) + (EX)2
Twierdzenie 3 (Własności wariancji) Jeśli X i Y są zmiennymi losowymi, dla któ- rych istnieją drugie momenty, to istnieją wariancje zmiennych losowych X i Y oraz
V ar(X) ≥ 0,
V ar(X + a) = V ar(X) dla każdego a ∈ R,
V ar(aX) = a2· V ar(X) dla każdego a ∈ R,
jeśli zmienne losowe X i Y są niezależne, to V ar(X + Y ) = V ar(X) + V ar(Y ).
Ponadto dla dowolnej liczby a ∈ R zachodzi V ar(a) = 0. Co więcej, V ar(X) = 0 wtedy i tylko wtedy, gdy istnieje taka liczba a ∈ R, że P (X = a) = 1.
Definicja 6 Odchyleniem standardowym zmiennej losowej X nazywamy pV ar(X) (o ile wariancja zmiennej losowej X istnieje).
Definicja 7 Medianą zmiennej losowej X nazywamy każdą liczbę m o tej własności, że P (X ≤ m) ≥ 12 i P (X ≥ m) ≥ 12. tzn. taką że FX(m) ≥ 21 i limt→m−FX(t) ≤ 12.
Fakt 5
Jeśli istnieje liczba m taka że FX(m) = 12, to m jest medianą zmiennej losowej X, jednak jeśli m jest medianą zmiennej losowej X, to niekoniecznie FX(m) = 12.
Jeśli istnieje dokładnie jedna liczba m taka że FX(m) = 12, to jest ona medianą zmiennej losowej X i mediana ta jest wyznaczona jednoznacznie.
Jeśli zmienna losowa X jest ciągła (tzn. ma gęstość), to jej mediana jest wyznaczona jednoznacznie jako rozwiązanie względem m (niekoniecznie jedyne) dowolnego spo- śród równań:
Z m
−∞
fX(t)dt = Z ∞
m
fX(t)dt,
Z m
−∞
fX(t)dt = 1 2,
Z ∞ m
fX(t)dt = 1 2. Definicja 8 Funkcją kwantylową zmiennej losowej X nazywamy funkcję FX−1: (0, 1) → R daną wzorem: FX−1(t) = inf{u ∈ R : FX(u) ≥ t}.
Liczbę FX−1(t) będziemy nazywali kwantylem rzędu t rozkładu zmiennej losowej X.
Fakt 6 Jeśli funkcja FX jest ciągła a ponadto ściśle rosnąca na zbiorze {t ∈ R : 0 <
FX(t) < 1}, to funkcja FX−1 jest zwykłą funkcją odwrotną do FX w zbiorze {t ∈ R : 0 <
FX(t) < 1}. W szczególności jeśli zmienna losowa X jest ciągła i jej gęstość jest ściśle dodatnia w pewnym przedziale I ⊂ R (być może nieograniczonym, w szczególności może być I = R) i równa 0 w zbiorze R \ I, to funkcja FX−1 jest zwykłą funkcją odwrotną do FX w zbiorze {t ∈ R : 0 < FX(t) < 1}.
Wniosek 2 FX−1 1 2
jest medianą zmiennej losowej X (niekoniecznie jedyną).
Wartość oczekiwaną i medianę zaliczamy do miar położenia rozkładu natomiast wa- riancję i odchylenie standardowe do miar rozrzutu.
Jeśli zmienne losowe X i Y mają taki sam rozkład, to mają te same wartości oczekiwane, wariancje, odchylenia standardowe, te same momenty odpowiednich rzędów (o ile wymie- nione istnieją), równe funkcje kwantylowe i te same liczby są ich medianami.
Jeśli zmienne losowe X i Y mają taki sam rozkład i są dyskretne, to ponadto mają taką samą funkcję prawdopodobieństwa.
