OBCIĄŻONA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH

Dotychczas ograniczałem rozważania do estymatorów nieobciążonych komponentów wariancyjnych. To ograniczenie nie zawsze daje się uzasadnić w sposób zadowalający, zwłaszcza gdy liczba n obserwacji nie jest duża. Prosty przykład podaje, jak w istotny sposób można poprawić średni błąd kwadratowy estymatora wariancji, nie wykra-czając poza klasę estymatorów kwadratowych, rezygnując jedynie z warunku nieobciążoności. Rozważmy model regresji liniowej z jedną

2 2

komponentą wariancyjną Ey ■ Xft , Cov y * c? I, <y > 0 . W punkcie

2

.

3.6

wykazałem, że najlepszym kwadratowym estymatorem nieobciążo-nym dla 6

2

jest tf

2

* (1/tr M)y/My. Łatwo sprawdzić, że Var ^

2

*

A ^ 2

» 2 6 /tr M. Dla c > 0 (cj41) rozważmy estymator obciążony c <s . Średnim błędem kwadratowym dla c a jest R * E(c <? - s ) »

* Var c d

2

+ tf

4

(c-1

)2

= ( (5 4/ tr M) [(2+tr M)c

2

- 2ctr M + tr Mj.

Błąd R osiąga minimum w punkcie cQ « tr M/(2+tr M), które wynosi Rq » 2

6

V (tr M+2). Ponieważ dla każdego a

2

? 0 mamy RQ <! Var

8

2, więc najlepszy nieobciążony estymator kwadratowy 6 jest niedo-A ?

puszczalny w klasie estymatorów kwadratowych z kwadratową funkcją straty (y*Ay -

6

" ) . W punkcie 3.2 przedstawimy podstawowe wyniki 2 2 dotyczące dopuszczalnej estymacji obciążonej w ogólnym modelu li-niowym i ich zastosowanie do kwadratowej estymacji komponentów wariancyjnych.

3.1• Bayesowskie i dopuszczalne estymatory obciążone w ogólnym modelu liniowym. Podobnie jak w poprzednich rozdziałach niech

9 * { P0s 0 ć © ] będzie rodziną miar probabilistycznych, okreś-lonych na przestrzeni mierzalnej {U,S] i niech z będzie wektorem losowym o wartościach w skończenie wymiarowej przestrzeni

linio-KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 135

wej X z iloczynem skalarnym [• ,-1. Załóżmy, że dla każdego istnieje Eqz « )xQ oraz Cov^z ■ Z & • Interesuje nas pro-blem estymacji funkcji ^ ■ [ a, }XQ ], a e X , w klasie estymato-rów ^ “ {[kfZJ: be X ] • Jako kryterium estymacji przyjmiemy

/\

2

kwadratową funkc ję straty ( $■ - y ) . Ponieważ dopuszczamy do roz-ważań również estymatory obciążone, ryzyko R wyraża się wzorem R * VarQ £ + (Eq £ - Dla dowolnych wektorów, a,b e X niech a ® b będzie operatorem liniowym przekształcającym X w X , określonym w następujący sposób: (a®b)c * [c,b]a dla każdego c e X • Jeżeli X » Rn i [a,bj * a;b, to aib = ab*. Można wykazać, że ryzyko estymatora [b,z] dla estymacji funkcji [a, jllq ] jest postaci

R * R(b|a, I ,>l) » [ b,(

I Q

+ /iG® p.Q) b] - -

2

[b, ( >Łe)a] + [a,CjJid® )±Q) aj.

Dla dowolnego operatora samosprzężonego § przekształcającego X w X niech R(b|a,X,§)a[bv(X+$)bJ -

2

[b,

4

> a ] + [a, $ aj.

Estymator [b,zj będziemy nazywać (Z ,$)-najlepszym estymatorem dla [a,jLLel w klasie estymatorów, jeżeli b minimalizuje

R(«Ja,X, $). W szczególności estymator (X , j l l ® ^ ) -najlepszy

jest estymatorem lokalnie najlepszym przy

0

■

0

Q, dla którego jj^m

= /U.,X = I . W przypadku ogólnym

(Z

* $ )-najlepszy estymator może być rozumiany jako estymator bayesowski względem rozkładu a priori 0

t- na © , dla którego Et X e * Z , E t /uG® jx0 * • Warunki ko-nieczne i dostateczne na to, aby [b,zj był estymatorem (Z , ^-naj-lepszym dla [ a , ] podaje następujące twierdzenie:

TWIERDZENIE 3.1. Niech a.beX. Wówczas

a) estymator [b,z] jest ( Z » § )-najlepszy dla [a,^]

w klasie ^ wtedy i tylko wtedy, gdy (3.1) ( Z + §)b = $a,

b) ryzyko estymatora (Z , !&)-najlepszego dla [af jn J w punkcie(Z , $ ^wynosi R(b|a, Z, § ) = [a, 5a ] - [b, $aj.

Warunek (3.1) podał Rao [32], [37] • Pewne jego modyfikacje znaleźć można w pracy LaMotte [23]• Dalsze rozwinięcie teorii

(Z

^t

$)

-najlepszych estymatorów wraz z zastosowaniami do estyma-cji komponentów wariancyjnych przedstawione jest w pracach (4],

[24] i [25J• W przypadku szczególnym lokalnie najlepszej estyma-cji, tzn. gdy

3

> = ju, ® jll » przy założeniu, że Z >

0

, z równości ( Z + /i ® = Z "1 - (1/d ) Z ~ V

5

I ~ V # Ci » 1 + r jU , jit j otrzymujemy

/ v —1 — _<i

b = (

2

. + ll ® ;x} (/jl ® ,ui) a * ---

—-3

--- Z “ u. • 1 + C jLL , Z 'jliJ

Wynika stąd następująca postać lokalnie najlepszego estymatora dla [a, yvQ]:

[b,z] = {[a,jLi]/(1 + [p.,I"V])| [z,Z “V l .

Szczegóły dotyczące lokalnie najlepszej estymacji w ogólnym mode-lu liniowym znaleźć można w pracy [

3

].

Problem dopuszczalności estymatorów obciążonych był szczegóło-wo rozważany przez LaMotte’a [24], [25J. Zanim przedstawię

podsta-KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 137

wowy wynik LaMotte*a wprowadzę pewne oznaczenia. Niech S c B będzie podzbiorem iloczynu kartezjańskiego przestrzeni liniowej

X i przestrzeni B operatorów liniowych przekształcających X w X , określonym w następujący sposób: S » {(Zq,/Uq): © <? © } i niech 3* * t/i)eS}, Zauważmy^ że ryzyko R jest funkcją określoną na

V

i może być rozszerzone do funkcji określonej na najmniejszym, wypukłym i domkniętym stożku [S'] za-wierającym T • Następujące twierdzenie LaMotte’a jest rozszerze-niem twierdzeń

2.12

i

2.13

na przypadek estymacji obciążonej.

TWIERDZENIE 3.2. Estymator [b,z] jest dopuszczalny dla [a,ju.e]

w klasie ^ wtedy i tylko wtedy, gdy istnieje niezerowy punkt C Z , £)€ [^] taki, że Tb,z] jest estymatorem (Z , $)- -najlepszym dla [a, _uG] oraz jest estymatorem dopuszczal-nym w klasie estymatorów (X , ^-najlepszych.

Podobnie jak w przypadku estymacji nieobciążonej, zbiór

[S']

może być zastąpiony zwartym i wypukłym zbiorem XT nie zawierają-cym zera oraz takim, że

[S']

= [TJ] i że dla każdego ( Z , 5 )e

[S']

istnieje oc >

0

takie, że (Z , £ )* c<(S

* 1

*S^)t (S

1

tS

2

s KT).

3.2. Bayesowskie i dopuszczalne estymatory kwadratowe komponentów wariancyjnych w modelu regresji liniowej.

W zastosowaniu twierdzeń 3.1 i 3.2 do kwadratowej i niezmienniczej estymacji funkcji ffr w modelu (1.2) niech z = tt', t = By. Wówczas Ez = W(tf), Cov z = W(30 S W (es), gdzie W(d) = BV(rf)B'. Niech r bę-dzie rozkładem a priori na © takim, że Er<a <$' = U = Ponie-waż W(<y) jest operatorem liniowym na RK, mamy EtW(<s-)® W(<S) = WUW*,

gdzie W * jest operatorem sprzężonym do W. Ponadto

E^WCcOiaWO) - I E u

1

JWi B WJf gdzie W± « BVjB7, i j

i - 1,2, ..., K.

Kładąc L » 2 ^ E uijWi ® Vj oraz 3ł * WUW*, z twierdzenia 3*1 wynika, że t'A*t jest ( Z , $)-najlepszym kwadratowym estymatorem dla f;cr wtedy i tylko wtedy, gdy

21 lu, .W.A^W, + WUW*(A*) » WUW*(A0), i j

gdzie trAQW^ ■ Zauważmy, że W*(Aq) * f, W*(A#) * f *

..., fK/ , gdzie f^ * trA Stąd dla a^ * Zu^Cf^ - f^) mamy j

C3.2) 2TaiWi

= 2

^ ^ uijWiA W j*

Ponieważ y/Ay jest (E , 5)-najlepszym niezmienniczym estymatorem kwadratowym dla f( er wtedy i tylko wtedy, gdy A = B^A^JB, więc ko-rzystając z prostych do udowodnienia własności macierzowych, otrzy-mujemy z powyższych rozważań następujące twierdzenie:

l

TWIERDZENIE 3*3. Estymator y*Ay jest (Z , £)-najlepszym (bayesowskim względem t-) estymatorem dla f'(5 w klasie estymatorów kwadratowych i niezmienniczych wtedy i tylko wtedy, gdy

(

3

.

3

) E aiMV±M =

2

I Z u^M^MAMVjM,

i i j

gdzie ai - Z - f^) oraz f^ » tr A ^ - tr AV^.

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 139

Warunek (3*3 ) uzyskał po raz pierwszy Kleffe [171* Dowód tu przedstawiony pochodzi z pracy [4 ^{j .} W przypadku ogólnym z wzoru (3.3) trudno jest znaleźć jawną postać macierzy A. Dla rozważane-go w przykładzie

2

rozdziału

1

modelu z jednokierunkową klasyfika-cją jawną postać bayesowskiego estymatora niezmienniczego dla

za-2 2

danej funkcji f^ <

5

^. + f^

<3

podał w przypadku zrównoważonym Kleffe [9], a w przypadku ogólnym LaMotte [22], Gnot i Kleffe [9]

podali rozwiązanie równania (

3

.

3

) w ogólnym modelu z dwoma kompo-nentami wariancyjnymi. Przystąpię teraz do szczegółowego omówie-nia tego problemu.

3.2.1. Dopuszczalne, niezmiennicze estymatory obciążone w modelu z dwoma komponentami. Model ten był szczegółowo omówiony w punkcie 2.4.2 przy okazji omawiania nieobciążonych estymatorów / dopuszczalnych. W zastosowaniu twierdzenia 3.2 do tego modelu za-miast zbioru £T * {(B IB* ,0): Z e V''\ rozważać będziemy zbiór

^ * {(Ws,0): s

6

Sc] . W ten sposób dopuszczalne estymatory kwa-dratowe oparte na statystyce t = By są w pełni scharakteryzowane poprzez estymatory (W ,0)-najlepsze dla W eU . Dla przypomnienia_{o 3} podaję, że estymator CWs#

0

)-najlepszy jest estymatorem bayesow-skim względem rozkładu ? , dla którego E_W (O )aW (c) « W , W(tf)»s

= BV(o)B/ a (J + O |l. Kładąc w (3.3) u^ * s«j, itj

2

* S

2

oraz Ug

2 88

s^, dla Sj f 0 otrzymujemy

(3.4) s^A^W + s

2

WA^ + A^W + s-jA*. *

gdzie ^ » a<j/

2

,

^2

= a

2/2

oraz

(3.5) * s-|(£| “ trA^W) + s2(f2 "

,

a2 * s2(f-j - trA^W) + s2(f2 “ trA^).

Przyjmując parametryzację (2.17), ze wzoru (3.4) wnioskujemy, po-dobnie jak w przypadku estymacji nieobciążonej, że A * B^A^B jest kombinacją liniową dwóch macierzy

Warunek nieobciąźoności GA » f, nałożony na wektor współczynni-ków A w przypadku estymacji nieobciążonej, zastąpiony jest tutaj

- 1 - r..

2

wynikającym z (3.5) warunkiem A **

2

C (f - f)# gdzie C * u +v u . u

1

f = (trAV# trA)* . Ponieważ

as trAV »s A^m + A2gf f2 as trA ■ A^g + A2r,

zatem f m G A oraz ?i ■ | C(f - GA) • Otrzymujemy stąd następujący warunek na wektor współczynników A :

(21 + CG ) A » Cf

lub co jest równoważne

GA ss (21 + GC)“

1

GCf.

W ten sposób estymator bayesowski dla f^or względem T w klasie estymatorów kwadratowych i niezmienniczych jest estymatorem baye- sowskim dla f V względem ^t w klasie estymatorów kwadratowych

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 141

nieobciążonych i niezmienniczych z f *

(21

+ GC) GCf. Otrzymany powyżej wynik przedstawimy w formie twierdzenia.

TWIERDZENIE 3.4* W modelu (2.14) z dwoma komponentami warian-cyjnymi y'Ay Jest bayesowskim, kwadratowym estymatorem niezmienniczym dla fł(S względem z , dla którego

r u +v u2

L u i wtedy i tylko wtedy, gdy

A - ^ ( M ^ ^ + Y M + ^

2

(MAUfVM)+ ,

gdzie A » ( A<|» A 2) spełnia warunek G\ = (21 + GC)”

1

GCf, G - m «|g ^{r .}

niu 2.14.

z wielkościami m,g i r określonymi w

twierdze-Podobnie Jak w przypadku nieobciążonej estymacji oddzielnie należy rozważyć przypadek t , dla którego s =* (1,0,0)'. W prze-ciwieństwie do estymatorów nieobciążonych, obciążonych estymato-rów bayesowskich względem tego rozkładu Jest nieskończenie wiele, gdy a » 0 (W Jest macierzą osobliwą ) i nie każdy z nich Jest dopuszczalny. Korzystając z twierdzenia 3.2, można udowodnić na-stępujące twierdzenie (Gnot i Kleffe [9J)s

TWIERDZENIE 3.5. Niech t będzie rozkładem a priori takim, że s^ ■

0

. Wówczas w modelu (2.14) z dwoma komponentami wa- riancyjnymi

a ) Jeżeli (X ^ >0, to Jedynym niezmienniczym i kwadrato-wym estymatorem bayesowskim (a zatem dopuszczalnym) dla f's- względem t Jest /C

2

+mQ)] y'(MVM)+y;

b) jeżeli -

0

, to dla każdego xeR estymator

£x - [^/(2+iBq)] y'CMVMfy + xy' [ M-MVM (MVM )+J y

jest bayesowski względem f • Ponadto £ jest estymatorem dopuszczalnym wtedy i tylko wtedy, gdy x * Xq dla »

0

oraz f^x ^ f,jXQ dla *

0

, gdzie

[ (2+mg) fg-g^ J (n-p-mg) xn * --- •

C 2+mQ') (2+n-p-mQ)

Warto zaznaczyć, że klasę estymatorów dopuszczalnych podaną w twierdzeniu 3*5 można uzyskać jako granice estymatorów bayesow- skich względem właściwych rozkładów a priori (s^ ^

0

), gdy v dąży do nieskończoności. Interesujący jest również fakt, że klasy do-puszczalnych nieobciążonych i obciążonych estymatorów niezmienni-czych są rozłączne i to nie tylko dla modelu z dwoma komponentami

(por LaMotte [24], twierdzenie 2.3).

W dokumencie 137 ....... •••••••••••••••••••116 .111 ( ) (Stron 38-46)