Estymatory średniej i dyspersji.
Zakładamy, że w czasie doświadczenia otrzymaliśmy zestaw
n
wartościzmiennej losowej
X
o pewnym rozkładzie prawdopodobieństwa(gęsto-ści prawdopodobieństwa).
{
x
1,
x
2,
x
3,...
x
n}
Prawdopodobieństwo otrzymania dowolnej z tych wartości wynosi
)
(
x
iP
albodP
(
x
i,
x
i+
dx
)
=
p
(
x
i)
⋅
dx
odpowiednio dla zmiennej dyskretnej albo ciągłej.
Jeżeli możemy założyć, że kolejne wartości są niezależne, to prawdopo-dobieństwo otrzymania całego ich zestawu
{
x
1,
x
2,
x
3,...
x
n}
wynosi)
(
})
({
1 i n i iP
x
x
P
=∏
=
dla zmiennej dyskretnej albo(
p
x
dx
)
x
dP
i n i i=
∏
⋅
=(
)
})
({
1dla zmiennej ciągłej. Prawdopodobieństwo to zależy od samych wartości
{
x
i}
i od postaci rozkładu prawdopodobień-stwa. Na przykład dla rozkładu normalnegoN
(
µ
,
σ
)
dx
x
dx
x
x
dP
i i i
⋅
−
−
=
+
22
1
exp
2
1
)
,
(
σ
µ
π
σ
prawdopodobieństwo będzie zależało od średniej i dyspersji tego rozkła-du.
⋅
−
−
∏
=
=dx
x
x
dP
i n i i 2 12
1
exp
2
1
})
({
σ
µ
π
σ
( )
dx
x
x
dP
n i n i i n i 1 1 22
1
exp
2
1
})
({
= =∏
⋅
−
−
=
∑
σ
µ
π
σ
Funkcja
−
−
=
∑
= n i i n ix
x
p
1 22
1
exp
2
1
)
,
};
({
σ
µ
π
σ
σ
µ
ma sens funkcji rozkładu gęstości prawdopodobieństwa otrzymania ze-stawu wartości
{
x
1,
x
2,
x
3,...
x
n}
.Metoda największej wiarogodności
Wykonując pomiary nie znamy wartości mierzonej, tzn. nie znamy para-metrów
µ
iσ
rozkładup
({
x
i};
µ
,
σ
)
i celem pomiarów jest ich wyzna-czenie. Możemy jednak przypuszczać, że to co się wydarzyło, to znaczy, że otrzymaliśmy zestaw konkretnych wartości{
x
1,
x
2,
x
3,...
x
n}
, byłonaj-bardziej prawdopodobne. Zamiast zatem pytać jakie są faktyczne warto-ści parametrów
µ
iσ
(na to pytanie zwykle nie można odpowiedzieć), możemy zapytać o coś innego.Dla uproszczenia załóżmy jeszcze, że interesuje nas tylko wartość śred-nia, a dyspersję albo znamy skądinąd, albo nie jest nam potrzebna jej wartość.
To inne pytanie brzmi:
Dla jakiej wartości
µ
'
hipotetycznej średniej rozkładu otrzymaniezestawu wartości
{
x
1,
x
2,
x
3,...
x
n}
jest najbardziej prawdopodobne?Czyli dla jakiej wartości
µ
'
funkcja
−
−
=
∑
= n i i nx
p
1 2'
2
1
exp
2
1
)
'
(
σ
µ
π
σ
µ
osiąga maksimum przy ustalonych
{
x
1,
x
2,
x
3,...
x
n}
iσ
.Na takie pytanie można odpowiedzieć, i to stosunkowo łatwo, chodzi bowiem o znalezienie maksimum funkcji jednej zmiennej.
Funkcja
p
(
µ
'
)
osiąga maksimum kiedy wartość sumy2 1
'
∑
=
−
n i ix
σ
µ
jest minimalna. Oznacza to, że pochodna sumy przyjmuje wartość zero
0
'
'
2 1=
−
∂
∂
∑
= n i ix
σ
µ
µ
Pochodna wynosi
∑
∑
∑
= = =
−
−
=
−
−
=
−
∂
∂
n i i n i i n i ix
x
x
1 1 2 1'
2
1
'
2
'
'
σ
µ
σ
σ
σ
µ
σ
µ
µ
i osiąga zero gdy zeruje się suma
0
'
1=
−
∑
= n i ix
σ
µ
σ
σ
µ
=
⋅
−
∑
=0
'
1 n i ix
0
'
1=
−
∑
=µ
n
x
n i iczyli gdy
µ
'
jest równe średniej arytmetycznej wartości{
x
1,
x
2,
x
3,...
x
n}
∑
==
n i ix
n
11
'
µ
Wartość
µ
'
jest estymatorem największej wiarogodności wartościśred-niej rozkładu
N
(
µ
,
σ
)
.Jeżeli
{
x
1,
x
2,
x
3,...
x
n}
są wynikami bezpośrednich pomiarów wielkościfizycznej
X
, to ich średnia arytmetyczna jest najlepszym oszacowaniemwartości
X
. Oprócz szacunku samej wartości musimy podać też nie-pewność oszacowania, czyli pierwiastek wariancjiµ
'
. Oznaczmy jąprzez
V
(
µ
'
)
.
=
∑
x
in
V
V
(
µ
'
)
1
W celu obliczenia wartości prawej strony możemy wykorzystać wprowa-dzone poprzednio prawo przenoszenia niepewności (w istocie było to prawo przenoszenia wariancji, które dla naszych celów przekształciliśmy w prawo przenoszenia niepewności), a właściwie pewne specjalne wzory wyprowadzone z tego prawa.
( )
∑
∑
⋅
=
i iV
x
n
x
n
V
21
1
Jeżeli wartości{
x
1,
x
2,
x
3,...
x
n}
są niezależne, to( )
2)
(
=
⋅
σ
=
∑
∑
x
V
x
n
V
i iOstatecznie
n
n
n
V
2 2 21
)
'
(
µ
⋅
σ
=
σ
=
Czyli wynik serii pomiarów mógłby wyglądać na przykład tak:
∑
==
=
n i ix
n
X
11
µ
,σ
n
X
u
(
)
=
1
. ♦Załóżmy teraz, że znamy wartość średnią rozkładu
µ
, a chcielibyśmy znaleźć estymator dyspersji tego rozkładuσ
'
.Jeżeli
σ
'
ma być estymatorem największej wiarogodności, to tym razemfunkcja
−
−
=
∑
= n i i nx
p
1 2'
2
1
exp
2
'
1
)
'
(
σ
µ
π
σ
σ
ma osiągnąć maksimum ze względu na
σ
'
, czyli0
)
'
(
'
=
∂
∂
σ
σ
p
0
'
2
1
exp
2
'
1
'
1 2=
−
−
∂
∂
∑
= n i i nx
σ
µ
π
σ
σ
0
'
)
(
2
'
1
2
'
1
2
'
1
1 3 2 (...) (...) 2 1=
−
+
−
∑
= − − − n i i n nx
e
e
n
σ
µ
π
σ
π
σ
π
σ
0
'
)
(
2
'
1
2
'
1
'
1 3 2 (...) (...)=
−
+
−
∑
= − − n i i n nx
e
e
n
σ
µ
π
σ
π
σ
σ
Po podzieleniu stronami przez
(...)
2
'
1
−
ne
π
σ
otrzymujemy 2 1 3 2'
0
'
)
(
'
σ
σ
µ
σ
=
⋅
−
+
−
∑
= n i ix
n
(
)
0
'
1 2 2+
−
=
−
∑
= n i ix
n
σ
µ
czyli(
)
∑
=−
=
n i ix
n
1 2 21
'
µ
σ
(
)
∑
=−
=
n i ix
n
1 21
'
µ
σ
Estymatorem największej wiarogodności wariancji rozkładu
N
(
µ
,
σ
)
jest2
'
σ
– średni kwadrat odchylenia wartości{
x
1,
x
2,
x
3,...
x
n}
od wartościśredniej tego rozkładu, a estymatorem dyspersji jest
σ
'
.Najczęściej nie znamy żadnego parametrów rozkładu i musimy je osza-cować tylko na podstawie uzyskanych wartości doświadczalnych
{
x
1,
x
2,
x
3,...
x
n}
.Nie zmienia to sposobu wyznaczenia wartości
µ
'
i w dalszym ciągunaj-lepszym estymatorem (w sensie metody największej wiarogodności) po-zostaje średnia arytmetyczna.
∑
==
n i ix
n
11
'
µ
.Do wyznaczenia estymatora dyspersji (albo wariancji) potrzebna jest znajomość wartości średniej rozkładu. Jeżeli użyjemy w tym celu warto-ści
µ
'
zamiastµ
, to moglibyśmy zapisać(
)
∑
=−
=
n i ix
n
1 2 2'
1
'
µ
σ
.Okazuje się jednak, że taki estymator jest obciążony, to znaczy, że war-tość średnia 2
'
σ
jest różna odσ
2. W statystyce dowodzi się, że 2 2
)
'
(
σ
<
σ
E
.Rzeczywiście
(
)
=
(
−
+
−
)
=
−
=
∑
∑
= = n i i n i ix
n
E
x
n
E
E
1 2 1 2 2)
'
(
)
(
1
'
1
)
'
(
σ
µ
µ
µ
µ
[
]
=
−
−
−
=
∑
= n i ix
n
E
1 2)
'
(
)
(
1
µ
µ
µ
[
]
=
−
−
−
−
+
−
=
∑
= n i i ix
x
n
E
1 2 2)
'
(
)
'
)(
(
2
)
(
1
µ
µ
µ
µ
µ
µ
=
−
−
−
−
+
−
=
∑
∑
= = 2 1 1 2)
'
(
1
)
(
1
)
'
(
2
)
(
1
µ
µ
µ
µ
µ
µ
n
n
x
n
x
n
E
n i i n i i=
−
−
−
+
−
=
∑
= 2 2 1 2)
'
(
)
'
(
2
)
(
1
nµ
µ
µ
µ
µ
i ix
n
E
=
−
−
−
=
∑
= 2 1 2)
'
(
)
(
1
nµ
µ
µ
i ix
n
E
(
−
) (
−
−
)
=
=
∑
= 2 1 2)
'
(
)
(
1
µ
µ
µ
E
x
E
n
n i i(
(
x
µ
)
2) (
E
(
µ
'
µ
)
2)
V
(
x
)
V
(
µ
'
)
E
i−
−
−
=
−
=
Czyli( )
2 21
21
2'
σ
σ
σ
σ
n
n
n
E
=
−
=
−
i(
)
∑
=−
−
=
n i ix
n
s
1 2 2'
1
1
µ
jest już nieobciążonym estymatorem wariancji.Po uwzględnieniu ostatniego wzoru wynik pomiarów można by przed-stawić następująco:
∑
==
=
n i ix
n
x
X
11
,∑
(
)
−−
−
=
n i ix
x
n
n
X
u
1 2)
1
(
1
)
(
.Średnia ważona We wzorze
(
P
x
dx
)
x
dP
i n i i=
∏
⋅
=(
)
})
({
1wcale nie jest konieczne, żeby wszystkie
x
i miały dokładnie takie samerozkłady. Równie dobrze moglibyśmy zapisać
(
)
∏
=⋅
=
n i i i ip
x
dx
x
dP
1)
(
})
({
a funkcja∏
==
n i i i ip
x
x
p
1)
(
})
({
miałaby taką samą interpretację jak poprzednio. Załóżmy, że rozkłady
−
−
=
22
1
exp
2
1
)
,
;
(
i i i i i ix
x
p
σ
µ
π
σ
σ
µ
mają wszystkie tę samą wartość średnią i różne dyspersje.
Wtedy rozkład gęstości prawdopodobieństwa otrzymania ciągu wartości
{
x
1,
x
2,...
x
n}
wyniesie
−
−
⋅
=
=
∏
∏
∑
= = = n i i i n i i n i i i i ix
x
p
x
p
1 2 1 12
1
exp
2
1
)
,
;
(
})
({
σ
µ
π
σ
σ
µ
.Taki przypadek odpowiada sytuacji, kiedy kolejne wartości
{
x
1,
x
2,...
x
n}
wyznaczono niezależnie metodami różniącymi się precyzją scharaktery-zowaną różnymi wartościami
σ
i.Stosując metodę największej wiarogodności do wyznaczenia estymatora wartości średniej
µ
będziemy szukali maksimum funkcji
−
−
⋅
=
∏
∑
= = n i i i n i ix
p
1 2 1'
2
1
exp
2
1
)
'
(
σ
µ
π
σ
µ
.Podobnie jak poprzednio odpowiada to znalezieniu minimum sumy
∑
=
−
n i i ix
1 2'
σ
µ
0
'
2
'
'
1 2 1 2=
−
−
=
−
∂
∂
∑
∑
= = n i i i n i i ix
x
σ
µ
σ
µ
µ
Stąd0
'
1 2 1 2
=
−
∑
∑
= = n i i n i i ix
σ
µ
σ
∑
∑
= =
=
n i i n i i ix
1 2 1 21
'
σ
µ
σ
i ostatecznie(
)
( )
∑
∑
= ==
n i i n i i ix
1 2 1 21
'
σ
σ
µ
W celu ustalenia wariancji tego estymatora obliczamy pochodne cząst-kowe:
(
)
( )
∑
( )
∑
∑
= = ==
∂
∂
=
∂
∂
n i i i n i i n i i i i ix
x
x
1 2 2 1 2 1 21
1
1
'
σ
σ
σ
σ
µ
i zgodnie z prawem przenoszenia wariancja wynosi
( )
∑ ∑
[
( )
]
∑
( )
∑ ∑
=
=
=
= = 1 2 2 2 2 1 2 2 2 21
1
1
1
1
1
)
'
(
i n i i i n i i i iV
σ
σ
σ
σ
σ
σ
µ
Niepewności względne
Może się zdarzyć, że znamy względne wartości
σ
i nie znając przy tym ich wartości bezwzględnych. Wprowadzimy czynniki wagowe (wagi)w
ii i
kw
σ
1
=
gdzie
k
jest pewną stałą. Znajomość względnych niepewności odpowia-da znajomości wartości wagw
i nawet jeżeliσ
i pozostają nieznane.Wtedy
(
)
( )
(
)
( )
(
)
( )
∑
∑
∑
∑
∑
∑
= = = = = ==
=
=
n i i n i i i n i i n i i i n i i n i i iw
x
w
kw
x
kw
x
1 1 1 1 1 2 1 21
'
σ
σ
µ
W celu ustalenia wariancji tak obliczonej średniej wprowadzimy nową wielkość – średnią ważoną wariancję wyników
σ
21
'
1
)
'
(
2 2 2 2−
−
=
−
−
=
∑
∑
∑
∑
n
n
w
x
w
n
n
w
x
w
i i i i i iµ
µ
σ
Wartość w nawiasie jest różnicą średniego ważonego kwadratu wyników i kwadratu średniej ważonej wyników. Pozostały czynnik uwzględnia fakt, że wartość
µ
'
została obliczona z tych samych wyników, zmniejszającliczbę stopni swobody.
Przez analogię z wcześniej otrzymanymi związkami możemy zapisać, że wariancja
µ
'
wynosi
−
−
=
=
∑
∑
2 2 2'
1
1
)
'
(
µ
σ
µ
i i iw
x
w
n
n
V
Jeżeli chcielibyśmy znaleźć nieznane dotąd wartości
k
iσ
i, to możemyprzyrównać
∑
∑
=
=
i ik
w
n
1
1
1
2 2σ
σ
czyli
−
−
=
=
∑
∑
∑
∑
2 2 2'
1
1
µ
σ
i i i i iw
x
w
w
n
w
n
k
oraz i i i inw
w
kw
∑
=
=
2 21
σ
σ
PrzykładStudentka przeprowadza doświadczenie w celu określenia napięcia ogniwa normalnego. Wykonuje 40 pomiarów przy pomocy pewnego przyrządu i znajduje, że
V
0220
,
1
1=
x
z odchyleniem standardowymV
010
,
0
1=
s
Po przyjrzeniu się wynikom zauważa, że mogłaby ulepszyć układ pomia-rowy i zmniejszyć niepewność o czynnik 2,5
s
2=
0
,
0040
V
. Wykonujekolejnych 10 pomiarów, które dają
V
0180
,
1
2=
x
Średnia wyników wszystkich wykonanych pomiarów wynosi
(
)
( )
(
) (
)
( ) ( )
∑
∑
∑
∑
∑
∑
= = = = = =+
+
=
=
40 1 10 1 2 2 2 1 10 1 2 2 2 40 1 2 1 1 50 1 2 50 1 21
1
1
i i i i i i i i i i is
s
s
x
s
x
x
x
σ
σ
V
25
,
6
00
,
4
018
,
1
25
,
6
022
,
1
00
,
4
V
004
,
0
10
01
,
0
40
004
,
0
018
,
1
10
01
,
0
022
,
1
40
2 2 2 2+
⋅
+
⋅
=
+
⋅
+
⋅
=
=
1
,
019561
V
Niepewność wartości średniej napięcia
V
000987
,
0
004
,
0
10
01
,
0
40
)
(
2 1 2 2
=
+
=
−x
u
Ostateczny wynik należy zapisać w formie
V
01956
,
1
=
x
,u
(
x
)
=
0
,
00099
V
lub alternatywniex
=
1
,
01956
(
99
)
V
Niepewność końcowego wyniku jest mniejsza od niepewności uzyska-nych w każdej z części doświadczenia
V
0016
,
0
V
40
01
,
0
)
(
x
1=
=
u
,V
0
,
0013
V
10
004
,
0
)
(
x
2=
=
u
Co by było gdyby studentka nie znała bezwzględnych wartości niepew-ności swoich pomiarów, a tylko wiedziała (np. od prowadzącego zajęcia), że zostały zmniejszone w drugiej części o czynnik 2,5?
Średnią ważoną może obliczyć w taki sposób
1
1
2 1 1=
=
s
w
, 2 2 2 22
,
5
1
=
=
s
w
(
)
( )
40
1
10
2
,
5
V
1
,
01956
V
018
,
1
5
,
2
10
022
,
1
1
40
2 2 1 1=
⋅
+
⋅
⋅
⋅
+
⋅
⋅
=
=
∑
∑
= = n i i n i i iw
x
w
x
Niepewność średniej ważonej wyniesie wtedy
−
⋅
+
+
=
−
−
=
∑
∑
∑
∑
= = 2 2 10 1 2 2 2 40 1 2 1 2 25
,
2
10
40
5
,
2
39
1
1
1
)
(
x
x
x
x
w
x
w
n
x
u
i i i i i i iPrzykład
Student wykonał 100 niezależnych pomiarów długości drewnianego klocka. Wyniki, po korekcie błędów systematycznych, mieszczą się w przedziale od około 18 do 22 cm i wiele z nich powtarza się. Na wykresie przedstawiono je w postaci histogramu (słupki narysowane cienką ciągłą linią) o szerokości przedziału 0,2 cm. Jeżeli obserwowany rozkład wyni-ka z błędów przypadkowych, to jest bardzo prawdopodobne, że da się opisać przy pomocy rozkładu Gaussa (normalnego). Rozkład narysowa-ny linia ciągłą odpowiada parametrom wyznaczonarysowa-nym z wyników pomia-rów: średnia 19,98 cm i odchylenie standardowe 0,54 cm.
18.00 19.00 20.00 21.00 22.00 długość zmierzona, cm 0 4 8 12 16 lic zb a p omi arów
Histogram z szarych słupków jest wyliczony z tego rozkładu normalnego i przedstawia oczekiwaną (średnią) liczbę pomiarów w każdym przedzia-le. Rozkład narysowany linią przerywaną odpowiada
N
(
20
,
00
;
0
,
50
)
.Usuwanie wyników odstających
Załóżmy, że wśród wyników zanotowanych przez studenta w karcie po-miarowej znalazł się jeden wyraźnie inny od pozostałych – 91,2 cm. Zwykle w takim przypadku nie ma wątpliwości, że nastąpiła pomyłka przy zapisywaniu wyniku i wynik odrzuca się jako tzw. błąd gruby. Sytu-acja wygląda jednak inaczej jeżeli odstający wynik wynosiłby np. 22,2 cm. Jeżeli w zestawie 100 wyników wartość 21,2 zastąpimy przez 22,2, to średnia i odchylenie standardowe zmienią się odpowiednio na 19,99 i 0,54. Odległość wyniku od średniej wynosi prawie 4 odchylenia standar-dowe. Z rozkładu Gaussa
N
(
19
,
99
;
0
,
54
)
można wyliczyć, żeprawdo-podobieństwo przypadkowego pojawienia się rezultatu, który jest nie-mniej oddalony od średniej wynosi około 12⋅10-5, to znaczy że spodzie-wana liczba wyników ≥22,2 cm (lub ≤17,78 cm) wynosi 12⋅10-5 × 100 = 0,012. Czy tak mało prawdopodobny rezultat możemy odrzucić?
Kryterium Chauveneta
Odstający rezultat
x
0 można odrzucić, jeżeli spodziewana liczba takich przypadków, że|
x
−
x
|
≥
|
x
0−
x
|
5
,
0
|)
|
|
(|
−
≥
0−
<
⋅
=
N
P
x
x
x
x
n
Kryterium Chauveneta należy stosować z dużą ostrożnością, mając pewność, że potrafimy poprawnie obliczyć prawdopodobieństwo
