137 ....... •••••••••••••••••••116 .111 ( )

ROCZNIKI POLSKIEGO TOWARZYSTWA MATEMATYCZNEGO Seria III: MATEMATYKA STOSOWANA XXVII (1986)

S t a n is ła w G n o t Wrocław

Kwadratowa estymacja komponentów wariancyjnych w modelach liniowych

(

)

0. Wstęp ... 98

1. Model regresji liniowej. Przykłady . . . 99 2. Nieobciążona estymacja komponentów wariancyjnych w modelu

regresji liniowej ... 103 2.1. Formy kwadratowe jako estymatory komponentów warian-

cyjnych. Metody Hendersona estymacji . . . 1 0 3 2.2. Zasada MINQUE ... 105 2.3. Najlepsze estymatory nieobciążone ...108 2.3.1. Ogólny model liniowy • • • • • • • • • • • • • 108 2.3.2. Funkcje estymowalne i ich nieobciążone

estymatory w ogólnym modelu liniowym . . . 109 2.3.3. Funkcje kwadratowo estymowalne w modelu

regresji liniowej... . 1 1 1

2.3.4. Najlepsze estymatory nieobciążone w ogólnym modelu liniowym • • • • • • • • • • • • • • • • 1 1 4 2.3.5. Najlepsze kwadratowe estymatory nieobciążone

komponentów wariancyjnych w modelu regresji liniowej • • • • • • • • • • • • • • • • • • • 1 1 6

2.4. Dopuszczalne estymatory nieobciążone ... . . . 1 2 5 2.4.1. Charakterystyka estymatorów dopuszczalnych

w ogólnym modelu liniowym • • • • • ... .126 2.4.2. Dopuszczalne, kwadratowe estymatory niezmien-

nicze w modelu z dwoma komponentami . . . 1 2 8 3. Obciążona estymacja komponentów wariancyjnych . . . 1 3 4

3.1. Bayesowskie i dopuszczalne estymatory obciążone

w ogólnym modelu liniowym ... • • • 1 3 4 3.2. Bayesowskie i dopuszczalne estymatory kwadratowe

komponentów wariancyjnych w modelu regresji liniowej . 137

3.2.1. Dopuszczalne, niezmiennicze estymatory obcią- żone w modelu z dwoma komponentami . . . 1 3 9 4. Uwagi końcowe • • • • • • • • • . • • • • • • • • • • • • • 1 4 2 5. Prace cytowane • • • • • • • • • • • • • • ... 143

[97]

0. WSTĘP

W niniejszym opracowaniu przedstawiam teorię kwadratowej estymacji komponentów wariancyjnych w modelu regresji liniowej. Problem es- tymacji liniowej wektora wartości oczekiwanej w ogólnym modelu liniowym jest tu przedstawiony fragmentarycznie, w stopniu umo- żliwiającym zastosowanie wyników estymacji liniowej do problemu estymacji kwadratowej. W rozdziale 1 wprowadzam model regresji liniowej i podaję przykłady prowadzące do tego modelu. Rozdział 2 0 nieobciążonej estymacji kwadratowej poświęcony jest w głównej mierze wynikom Seely’ego i Zyskinda oraz ich uogólnieniom. Oma- wiam tam również w wielkim skrócie metody Hendersona estymacji 1 zasadę MINQUE Rao. W rozdziale 3 przedstawiam problem estymacji komponentów wariancyjnych w klasie wszystkich estymatorów kwadra- towych bez ograniczeń do estymatorów nieobciążonych. Jako kryte- rium estymacji przyjmuję kwadratową funkcję straty. Szczególnie wiele miejsca poświęcam estymatorom niezmienniczym względem pew- nej grupy przesunięć. Szeroko omawiam problem bayesowskiej i do- puszczalnej estymacji komponentów wariancyjnych. Szczegółowo roz- ważam model liniowy z dwoma komponentami wariancyjnymi. W modelu tym podaję pełną charakterystykę obciążonych i nieobciążonych estymatorów dopuszczalnych w klasie estymatorów kwadratowych i niezmienniczych.

Literatura na temat estymacji komponentów wariancyjnych jest

bardzo bogata. Szereg interesujących wyników uzyskano zwłaszcza

w ostatnim 15-leciu. Opublikowano również na ten temat kilka prac

przeglądowych (por. dla przykładu Searle [39]# Kłeffe [19] oraz

Rao i Kleffe [38]). Konieczne stało się zatem dokonanie w tyra

opracowaniu pewnego subiektywnego wyboru tematów, z których część

została przedstawiona w wielkim skrócie. Dla czytelników zainte-

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 99

resowanych szczegółami zamieszczam w końcowej części opracowania bogaty spis literatury.

1. MODEL REGRESJI LINIOWEJ. PRZYKŁADY

Przedmiotem moich rozważań jest następujący model liniowy:

(1.1) y = X£> + Z U± £ i# K i *1

gdzie y jest n-wymiarowym wektorem obserwacji, X,U|,U 2 # «••, UK są macierzami znanymi, (?> jest p-wymiarowym wektorem nieznanych parametrów, natomiast <£ ^,§ 2 * nieobserwowanymi wek- torami losowymi, spełniającymi następujące warunki:

E § i = 0,

E § i 5 j = 0 dla i / j,

E ^ f ^ « śfl dla i * 1,2, ..., K.

2 2 2

Nieznane parametry 6 ^, <52, •••, nazywane są komponentami wariancyjnymi modelu (1.1). Z powyższych założeń wynika, że

E y = x p ,

(1.2 K 2 ,

C o v y = Z 6 jvi# Vi = U.u', i = 1,2, ..., K.

Model (1.2), zwany w literaturze modelem regresji liniowej, jest

często stosowany do opisu eksperymentów w różnych dziedzinach nau-

ki, takich jak nauki biologiczne, medyczne czy rolnicze. Oto je-

den z przykładów genetycznych takiego eksperymentu.

PRZYKŁAD 1* Przypuśćmy, że z badanej populacji zwierząt wy- brano losowo s samców, i-temu samcowi przyporządkowano losowo d^

samic, a(i,j)-ta para zwierząt wydała na świat n ^ potomków# Niech y^Ljk będzie wartością zmiennej losowej Y zaobserwowaną na k-tym potomku j-tej samicy i-tego samca# Załóżmy, że na wartość y^jk mają wpływ następujące wielkości:

p- - przeciętna wartość obserwacji, oc^ - efekt reprezentujący i-tego samca,

^ij ~ reprezentujący j-tą samicę i-tego samca, e ^ k - błąd losowy, w skład którego wchodzą błędy pomiaru

i efekty innych niekontrolowanych czynników.

Jeżeli założymy, że poszczególne wielkości oddziaływają na siebie w sposób addytywny, to dla y^jk możemy przyjąć następującą równość:

i = 1*2, ••#, s, yijk * M w i + frij + eijk* J * 1,2f *••• dif

k ~ 1,2, ••#, ^•

0 błędach będziemy zakładać, że są nieskorelowane oraz że wszy-

stkie mają wartość oczekiwaną zero i wspólną wariancję 6 • Powstaje 2

problem, jak traktować efekty oc i ^ , jako wielkości stałe, czy

jako zmienne losowe. Odpowiedź na to pytanie w dużej mierze zale-

ży od tego, czy na podstawie uzyskanych wyników chcemy wnioskować

o potomkach wszystkich osobników w populacji, czy interesuje nas

potomstwo tylko tej szczególnej grupy zwierząt użytej do doświad-

czenia. W pierwszym przypadku przyjmujemy zazwyczaj założenie o

losowości parametrów oc i £ , model ( 1 . 3 ) nazywamy wówczas mode-

lem losowym. W drugim przypadku parametry te traktujemy jako

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 101

stałe, a model (1.3) nazywamy modelem stałym. Model stały jest przykładem modelu (1.2) z jedną komponentą wariancyjną 6 • Model 2 losowy przy założeniu, że varoc^ * nie zależy od i, natomiast var y . . = < 5 ^ nie zależy od i, j jest przykładem modelu ( 1 . 2 ) z

2 2 2

trzema komponentami wariancyjnymi <5^ , 6 6 • Możliwe jest rów- nież rozważanie tzw. modelu mieszanego, w którym tylko jeden z wektorów parametrów oc lub y traktujemy jako losowy. Przedstawimy teraz model (1.3) w postaci macierzowej (1.2). W celu uproszcze- nia zapisu ograniczymy się do tzw. zrównoważonej wersji modelu (1.3), przyjmując, że d^^ ■ d, n ^ » n nie zależą od i,j. Przyj- mijmy następujące oznaczenia:

yi “ Cyi 1 1 _*yi 12 _{» •••• yi} 1 _n,yi 2 1 _*yi 22 _{yidn) •} 1

ei * ^ei 11 *ei 12 # ei 1 n,ei 21 ,ei 22 * •••• eidn^*

, / i /. i i y - (y1:y2 ;••• ;yś) * e » (e^ ; | ; eś ^ * OC = (OC-jfOCg, •••» ) *

F * ^11*^12* ^1d*$21* •••• ^sd^ *

1 - wektor złożony z a jedynek, _a

- macierz jednostkowa o wymiarach bxb, A0B - iloczyn Kroneckera macierzy A i B.

Przy tych oznaczeniach równość (1.3) przyjmuje postać

y m 1 sdn^+ <Is ® 1 dnl°c + U s d ® 1n U + «.

Stąd w przypadku modelu stałego Ey « X(3, Cov y = (5 ls(jn# gdzie 2 (?> ■ (jLL | a'; y'),' X * [ 1sdn; (Is® 1dn) i (I sd0 1n) ]. Dla modelu losowego, przy dodatkowych założeniach Ecx> 0, Ey« o, Eocy** 0, Eocer« 0,

ty y

E y e 1* 0 , Eaa'a oraz E ft ^y-^dn* wektQr wartości ocze-

kiwanej i macierz kowariancji wektora y są postaci Ey * 1g(jn^f Cov y . 0$, + 62(V2 ♦ S2! ^ , gdzie V, = Is® 1d/ dn oraz

V2 " *sd®V'n*

W rozważanym przez nas losowym eksperymencie genetycznym kom- 2 2 2

ponenty wariancyjne 6 6 mają specyficzną interpretację.

2 2

Wielkość <5^ + (5 jest kowariancją pomiędzy potomkami mającymi wspólnych rodziców, natomiast 6^ jest kowariancją pomiędzy po- 2

2 ² 2

tomkami mającymi wspólnego ojca. Suma + 6 ^ + (5 jest całko-

2 2 2 2

witą wariancją potomków, a iloraz h » + ć ^ + o ) nosi w badaniach genetycznych nazwę współczynnika odziedziczalności.

Szczegóły dotyczące modeli genetycznych tego typu można znaleźć np. w pracach: Henderson [12], Hill i Nicholas [14], Thompson

[44], [45], [46], Gnot [2] oraz Gnot i Kleffe [9]*

PRZYKŁAD 2. W przypadku szczególnym przykładu 1, gdy s =* 1 model ( 1 . 3 ) redukuje się do postaci

Yjk * /•'* & j + ejk* ^ •••* d« ^ ®

i nosi w analizie wariancji nazwę modelu z jednokierunkową klasy- fikacją. Model ten można przedstawić w następującej postaci macie- rzowej:

y = 1N M + U 5 ' + e,

gdzie y = (yii*y12* •••* ydn,/ * e * ^e11*e12* •••* edn.)' * a a

£ c (&i* Iz* •••♦ Ja)1* N * ^ ni oraz u * dia6 {1n 1 • St^d Przy

założeniach z przykładu 1 dotyczących i e otrzymujemy

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH .. 103

E y * ^ j j *

Cov y = (52V + 6 2 In# gdzie V » UUf,

2. NIEOBCI^ŻONA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH W MODELU REGRESJI LINIOWEJ

2.1* Formy kwadratowe jako estymatory komponentów wariancyjnych.

Metody Hendersona estymacji

Pierwsze znaczące wyniki dotyczące estymacji komponentów warian-

O O O

cyjnych (5 G ...# (5* w modelu (1.2) uzyskał Henderson [11].

Zaproponowane przez niego trzy metody estymacji oparte są na na- stępującej podstawowej równości dla macierzy losowej z = yyr:

K

Ez » X(3 p'x 4 ⁺ H 6 ?v..

i =*1

W rezultacie wartość oczekiwana dowolnej formy kwadratowej y*Ay jest postaci

(2.1) Ey'Ay = Z K <5 ? + (3'x'AX(ł,

i=1 *

gdzie f^ * tr AV^. Metodyka estymatorów Hendersona jest bardzo prosta i naturalna. Polega ona na wyborze K macierzy A^#A2. ....

Aję spełniających warunki XłA^X = 0 i rozwiązaniu układu równań

Ey*A^y = y A^y* i » 1 » 2 f • ••«

2 2 2

ze względu na komponenty wariancyjne <5^, 6 2, Zauważmy, że Jeżeli X'AX « 0, to Eyy Ay = ż L f. <5? nie zależy od (3 • Trzy

i *1

metody estymacji podane przez Hendersona to w rezultacie trzy sposoby wyboru macierzy A«jfA2, • A^. Szczegółowy opis tych metod wraz z dyskusją można znaleźć w oryginalnej pracy Hender- sona [li] lub w przeglądowej pracy Searle [39]* Tutaj ograniczy- my się do podania estymatorów Hendersona dla modelu z jednokie- runkową klasyfikacją przedstawionego w przykładzie 2 , przyjmując dodatkowo założenie, że model jest zrównoważony, tzn. n. * n nie U zależy od j* Przy tym założeniu Ey = 1dnJi» Cov y = c5 2 Id® 1p1 ^ + + ó 2 Je^eli założymy dodatkowo, że y ma rozkład normalny, to statystykami dostatecznymi wektora 0 » (jj., < 5 ^, <5 j są

y.. - (1/dn) E yik, SSW = E (y-ik~ y 1 ')2.

SSB a n £ (yi - y )2, j

gdzie y.^ = (1/n) 51 y^. Zauważmy, że SSW » y'A^y oraz SSB * Y ^ Y dla A1 ■ Jdn - (1/r)ld® 1 ni; oraz A2-(1/n)Ida 1n1n-(l/dn)ldn1^n.

Ponadto

ESSW * d(n-1)a2, ESSB * (d-1)(ó 2 + n 6 2 ).

Rozwiązując układ równań ESSW * SSW, ESSB * SSB, otrzymujemy

2 2

następujące nieobciążone estymatory dla <5 i 6 ^,

s 2 * L 1/d(n-1)]SSW, a 2 «[ 1/n (d-1) ]SSB - [1/n(n-1)d]SSW,

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 105

Niektóre własności tych estymatorów omówię w punkcie 2.3.6.

W rozważanym powyżej modelu zrównoważonym wybór macierzy A^

2 2

i A 2 do estymacji 6 i 6 ^ jest naturalny i wynika choćby z postaci statystyk dostatecznych przy założeniu normalności roz- kładu wektora y. Dla modeli niezrównoważonych wybór par A^A^,

2 2

na podstawie których chcemy estymować <5 i 6 ^ nie jest jedno- znaczny. Do tego problemu powrócimy przy okazji omawiania estyma- torów dopuszczalnych w modelu regresji liniowej z dwoma komponen- tami wariancyjnymi.

2.2. Zasada MINQUE

Zaproponowana przez C.R. Rao [31]# [33]* [3^]f l35] zasada MINQUE (Minimum Norm Quadratic Unbiased Estimator) uzyskiwania estymatorów

komponentów wariancyjnych w modelu ( 1 . 2 ) oparta jest na czysto algebraicznych przesłankach. Rozważmy funkcję parametryczną

= U Niech W a (W^jw^;... WK;)» gdzie W^ *

i a1 1

WiWi * ^i^i dla Pewnych nieujemnych skalarów oc-j♦ oc2* •••* k k*

Przyjmijmy oznaczenia A - diag n± Óest liczbą kolumn macierzy U^ i » 1,2, ..., K. Formę kwadratową y'Ay nazywamy MINQUE dla f'd , jeżeli A minimizuje normę ||WrAW - A||

w klasie macierzy spełniających warunki

(2.2) AX a 0f

(2.3) tr AVX a f±, i a 1 f2 K.

Uzyskany tą drogą estymator zależy od wektora parametrów oc =

0 ( 2 * •••* °C k)# oraz od wyboru normy || • || . Warunek (2.2) spełniają

macierze, dla których forma kwadratowa yfAy jest niezmiennicza względem przesunięć y 'o wektory z przestrzeni R(X), tzn. y'Ay =

* (y+Xft/ A(y+X(3) dla każdego (3e RP. Większość estymatorów pro- ponowanych w literaturze spełnia ten warunek niezmienniczości

2 2

(por. estymatory Hendersona dla 6 i (5^ z jednokierunkową kla- syfikacją). Wydaje się bowiem naturalne żądanie, aby estymator funkcji komponentów wariancyjnych nie zależał od przesunięcia we- ktora y o wektor leżący w przestrzeni wartości oczekiwanej. Waru- nek ( 2 . 3 ) przy założeniu, że spełniony jest warunek ( 2 . 2 ) gwaran- tuje nieobciążoność estymatora y'Ay dla funkcji f'(5. Warunki ko- nieczne i dostateczne na to, aby y‘Ay był nieobciążonym estymato- rem dla f'c5 są nieco słabsze od (2*2) i (2.3). Wynikają one natych- miast z równości ( 2 . 1 ) i przyjmują postać

[ x ' ax , = 0,

(2.4) [tr AV± » fi§ i * 1,2 K.

Można podać przykłady modeli oraz funkcji, dla których nie istnie- je macierz A spełniająca warunki (2.4). Jeżeli taka macierz istnie- je, to funkcję f'(5 nazywamy kwadratowo estymowalną. Warunki konie- czne i dostateczne na to, aby zadana funkcja f*<5 była kwadratowo estymowalna zostaną podane w punkcie 2.3*3 (twierdzenie 2.4) przy okazji omawiania wyników Seely*ego i Zyskinda.

Rao w następujący sposób uzasadnia swoją metodę estymacji.

Przypuśćmy, że (X 1 ,(X 2 * ...♦CCK są wartościami a priori komponen-

2 2 2 r—

tów wariancyjnych <5^, O 2 » •••t & ^k * Niech Gdyby rj A były znane, naturalnymi estymatorami 0^ dla i * 1,2, ..., K 2

A 2 <

powinny być wielkości o'\ Q i^ni* na'toin^asi estymatorem

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 107 K

f'cY * P°winno być wyrażenie 17 * A 17 , gdzie ą = ('71* > 72 *

• ••» 7 k )/- Proponowanym estymatorem jest y*Ay = r^W^AW^ (AX = 0).

MINQUE minimalizuje odległość pomiędzy macierzami A i W*AW form kwadratowych 17 *A 17 oraz i^W^AWią, przy odpowiednio dobranej normie, w klasie macierzy spełniających warunki ( 2 . 2 ) i ( 2 . 3 ).

Dla normy euklidesowej przy założeniu, że macierz V » Y. jest dodatnio określona, to minimum osiągnięte jest dla

K

A * YL A . A. , i »1 1 i

gdzie Aa * WyV.jWy, natomiast Wy » V “1 - V“ 1 X(X*V~ 1 X)~X*V “1 » (MVM)+, M » I - X(X*X)~X*. Tutaj dla dowolnej macierzy A symbol A* oznacza macierz uogólnioną odwrotną do A^podczas gdy A+ oznacza macierz od- wrotną Moore^a-Penrose'a. Równość V “1 - V“^X(XIV“, 1 X)“X#V "1 * (MVM)+

jest prawdziwa niezależnie od wyboru macierzy uogólnionej odwrotnej (X*V~ X)" i wynika bezpośrednio z definicji (MVM)+ oraz z równości * Wy =* V ^(I-Py), gdzie Py a X(X'V- 1 X)-X'V “1 jest rzutem na R(X) wzdłuż V[R (X*)] . Wektor A “ (A^,^ 2 * •••* ^ jes"^ dobra- ny, aby spełniony był warunek (2.3). Łatwo sprawdzić, że A jest dowolnym rozwiązaniem układu równań G A » f, gdzie G = [tr Aivj]•

Jeżeli f* o' jest funkcją kwadratowo estymowalną, to układ ten po- siada rozwiązanie. Założenie o dodatniej określoności macierzy V nie jest zbyt dużym ograniczeniem rozważań. W wielu przypadkach (por. przykłady 1 1 2 ), jedna z macierzy jest nieosobliwa, a to już wystarcza, aby macierz V była dodatnio określona, gdy

CXj, > 0 . Zauważmy również, że w miejsce V można podstawić

Vq m V + XX*, ponieważ dla macierzy A spełniającej warunek (2.2)

prawdziwa jest następująca równość tr AVAV * tr AV q AV q . Pewne własności MINQUE omówione są w punkcie 2.3*5*

2.3, Najlepsze estymatory nieobciążone

2.3.1. Ogólny model liniowy. Wiemy z poprzednich rozważań jak estymować komponenty wariancyjne, nie wiemy natomiast dlaczego

tak właśnie należy postępować. Jednolitą teorię estymacji kompo- nentów wariancyjnych wraz z badaniem optymalnych własności propo- nowanych estymatorów zapoczątkowali w latach siedemdziesiątych Seely i Zyskind serią prac opublikowanych w Annals of Statistics (Seely [40j, [41], [42], Seely i Zyskind [43]). Punktem wyjścia dla tych oryginalnych rozważań stanowiło spostrzeżenie, że kwadra- towa estymacja komponentów wariancyjnych i liniowa estymacja war- tości oczekiwanej stanowią ten sam teoretyczny problem. Można go sformułować w następujący sposób. Niech [P * |PQ: 0 € ©} będzie rodziną miar probabilistycznych, określonych na przestrzeni pro- babilistycznej {u,s} i niech z będzie wektorem losowym określonym na U, przyjmującym wartości w pewnej skończenie wymiarowej prze- strzeni liniowej X z iloczynem skalarnym [•,•] • Załóżmy, że dla każdego 0 e ® istnieje wektor wartości oczekiwanej Egz * ju.e • Przyjmijmy oznaczenia J ■ {[a»MeJ: a £ ^) • ^ ■ {[b,z]:

be X}. Zauważmy, że J jest zbiorem funkcji g( 6 ), dla których istnieje nieobciążony estymator w ^ . Funkcje z klasy ^ będzie- my nazywać ^ -estymowalnymi. Problem polega na nieobciążonej estymacji funkcji z klasy ^ w klasie ^ estymatorów liniowych.

W zastosowaniu do estymacji kwadratowej funkcji f*6 w modelu

( 1 . 2 ) element losowy z * yyf jest macierzą losową, przyjmującą

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 109

wartości w przestrzeni liniowej X n macierzy symetrycznych o wy- miarach n x n, z iloczynem skalarnym [AfB] » tr AB. Ponieważ dla dowolnego Ae mamy [A,z] » y*Ay, ^ jest dla tego problemu klasą estymatorów kwadratowych, natomiast jest na mocy wzoru ( 2 . 1 ) zbiorem funkcji postaci

[A,Ez] * p'x'AXp + i. (tr AV±) 6 Jt

i»1

Obecnie dokonam krótkiego przeglądu wyników Seely *ego i Zyskin- da oraz ich uogólnień, wyniki przedstawię w terminach umożliwiają- cych ich zastosowanie do kwadratowej estymacji komponentów warian- cyjnych w modelu (1.2). Rozpocznę od charakterystyki funkcji esty- mowalnych i ich nieobciążonych estymatorów.

2.3.2. Funkcje estymowalne i ich nieobciążone estymatory w ogólnym modelu liniowym. Niech hi będzie skończenie wymiarową przestrzenią liniową z iloczynem skalarnym (•, •) i niech H będzie operatorem liniowym przekształcającym hi w X takim, że £ c R(H), gdzie £ ■ sp [jLlg: 0e©}. Oznaczmy przez H* operator sprzężony z H. Dla każdego s t 0 niech ^ e X będzie wektorem takim, że jxg= H . Przy tych oznaczeniach każda funkcja [a,y. ] może być przedstawiona w następującej postaci*

[a.Me j . [a,H|e] - (H'a.^) .

Niech {£o: 0 £ ®} i niech W będzie operatorem liniowym

o wartościach w przestrzeni X takim, że R(W) + £ x = X •

Tutaj £ X jest ortogonalnym uzupełnieniem t do 1 , Następujące twierdzenie (Seely [4ol ) podaje warunki konieczne i wystarczające na to* aby zadana funkcja g(G)=* (f, £,Q) była funkcją ^ -estymowal- ną.

TWIERDZENIE 2.1. Funkcja parametryczna jest ^ -esty- mowalna wtedy i tylko wtedy, gdy feR(H*W) +

Twierdzenie 2.1 jest bezpośrednią konsekwencją następującego twierdzenia;

TWIERDZENIE 2.2. Warunkiem koniecznym i dostatecznym na to*

aby Cj = {[a, /iQ]: a e ^ c l ) jest* aby J\ + £ 1 = X .

Zauważmy, że jeżeli ę jest wektorem takim, że H Wg = f, to zmienna losowa [W q ,z] jest estymatorem nieobciążonyro dla (f,§Q).

Oczywiście* jeżeli (f*£e) jest funkcją ^ -estymowalną, to taki wektor zawsze istnieje. Jeżeli dodatkowo założymy, że

i ^

5? h c R(H W), to na mocy twierdzenia 2.1 istnienie wektora ę takiego, że H*W ę * f jest warunkiem koniecznym i dostatecznym na to, aby funkcja (f, była ^-estymowalna. Ten fakt przed- stawiam w formie wniosku.

WNIOSEK 2.1. Jeżeli $ 3 ^ R(H*W), to

a) funkcja parametryczna (f#£Q) jest ^ -estymowalna wtedy i tylko wtedy* gdy f e R(H*W),

b) jeżeli jest funkcją 5 -estymowalną, to[Wę,z jest estymatorem nieobciążonym (f»£,0) dla każdego 5

takiego, że H*Wę * f.

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH . 111

2.3*3. Funkcje kwadratowo estymowalne w modelu regresji liniowej. Przedstawię teraz zastosowanie wcześniej zaprezentowa- nych twierdzeń do problemu kwadratowej estymacji komponentów wa- riancyjnych w modelu (1.2). Zauważmy na wstępie, że na mocy wzoru (2.1) każdą funkcję kwadratowo estymowalną [A,Ez] można przedsta- wić w następującej postaci:

[A,Ez] - frj(ir Pj ♦ £ f± S \ = (f, |e).

gdzie 0 * ((i, 0 ), frj są współczynnikami formy kwadratowej P'X'AXp, » tr AV±, |rj(S) = (3r (3j, ^(9) - <s\ oraz

* m Al**12* •••* ^pp*^1'^2* '*** ^ = ^11* ^12* •*** ^pp*

§ 2 * •••• Ż ^y )* s3 wektorami z przestrzeni Rq, q = K + p(p+ 1 )/ 2 . Ponadto Ez = » E. E,rJ (,G)Brj + E ^ ( 0 ) Vt, £ . sp [t^Tj, ..

r^j i =1

V. K} + |x A X#: A = 6 dzie Br-j = xrxJ + xjx^ oraz

X|fx2f ..., są kolumnami macierzy X. Rozważmy operator H okreś- lony w następujący sposób: H . Kładąc W = H, łatwo spraw- dzić, że założenia wniosku 2.1 są spełnione i z tego wniosku otrzymujemy następujące twierdzenie (Seely [41]):

TWIERDZENIE 2.3. W modelu (1.2)

a) funkcja parametryczna (f*£G) = H + Z fĄ 6 ?

r*j d i 1 1

jest kwadratowo estymowalna wtedy i tylko wtedy, gdy ffeR(H*H),

b) jeżeli (f, ^ ) jest funkcją kwadratowo estymowalną, to forma kwadratowa y*Ay, z macierzą A postaci A = H ^ =

* Tl + Z ?iv£ jest dla każdego (3 spełniają-

cego warunek H*H<^ * f nieobciążonym estymatorem dla

Postać macierzy H*H uzyskamy łatwo z definicji operatora H•

Zauważmy, że H*A » (trB^A, trB^A, • ••, trBppAf trV^A, ..., trVKA)<. Stąd

H*H

trB11B11 trB11B12 *•* trB11Bpp trBi'jvl • trBg-jB^ trB2 1 B12 ... trB21Bpp trB21V1 *

trB B^ trB,Bio ••• trB B trB V. . pp 11 pp 12 pp pp pp 1

t r V ^ tr V 1 B 12 ... tr V 1 Bpp tr .

tr VKB 11 tr VkB 12 ... tr VKBpp tr VRV 1 .

• trB11VK

• trB21VK

• trBppVK

• tr V1VK

• tr VKVK

Twierdzenie 2.3 podaje warunki konieczne i dostateczne kwa- dratowej estymowalności funkcji postaci H f ^ (3r ^ fi^i oraz sposób otrzymywania kwadratowych estymatorów nieobciążonych dla tych funkcji. Jednoczesna estymacja parametrów (3 i 6 Jest z praktycznego punktu widzenia mniej interesująca od estymacji

r- 2

funkcji postaci 2_ f^ 6 ^ zależnej Jedynie od 5 . Oczywiście wa- runki estymowalności podane w twierdzeniu 2.3 dotyczą również tych szczególnych funkcji, ale w tym przypadku można Je nieco zmodyfikować, o czym informuje następujące twierdzenie:

TWIERDZENIE 2.4. Niech P « X(X#X)~X* będzie rzutem ortogonal-

nym na przestrzeń R(X). Wówczas

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 113

a) estymator y*Ay jest nieobciążony dla funkcji 2_ f.* <5j wtedy i tylko wtedy, gdy X#AX » O oraz tr AV^ = f^, 1 i * 1,2, «««, K,

b) funkcja Z f, c, jest kwadratowo estymowalna wtedy

i 1 1

i tylko wtedy, gdy f » (f^,f2, ..., fK)*€ R(G), gdzie G » {trCV^^ - PViPV^)} ,

c) jeżeli y ma rozkład normalny, to funkc ja Z f * 6 ? i i i jest kwadratowo estymowalna wtedy i tylko wtedy, gdy jest estymowalna w klasie wszystkich estymatorów niekoniecznie kwadratowych•

Warunek a) twierdzenia 2.4 jest przedyskutowanym w punkcie 2.2 warunkiem (2.4). Warunek b) był dyskutowany przez Seely*ego [4l], a także przez Rao [31], [33], [34]. Własność c) udowodnił Pincus

[28] • Warto zaznaczyć, że w warunku b) za macierz G możemy przy- jąć {tr gdzie M * I - P.

Twierdzenie 2.4 dotyczy nieobciążonej estymacji funkcji

Z 2

^ w k3-as;*-e wszystkich form kwadratowych. W punkcie 2.2 wspomniałem, że naturalne wydaje się ograniczyć rozważania do klasy estymatorów kwadratowych, niezmienniczych względem grupy przesunięć y —*■ y + X(3 , tzn. rozważać tylko te formy kwadratowe y*Ay, dla których AX * O. Ponieważ AX * 0 implikuje X*AX * 0, więc niezmienniczo estymowalne są jedynie funkcje postaci Z 6 Warunki konieczne i dostateczne kwadratowej i niezmienniczej esty- i mowalności takiej funkcji podane są w punkcie b) twierdzenia 2 . 5 .

TWIERDZENIE 2.5. W modelu (1.2)

a) y*Ay jest nieobciążonym estymatorem niezmienniczym

f'* cT = Z f 4 6 * wtedy i tylko wtedy, gdy AX » O oraz

i 1 1

tr AV^ ■ f^, i = 1 , 2 , ..., K;

b) funkcja £*6 jest kwadratowo i niezmienniczo estymo- walna wtedy i tylko wtedy, gdy feR(G), gdzie

G » {tr MV±MVj};

c) jeżeli y ma rozkład normalny, to funkcja f*<5 jest kwadratowo i niezmienniczo estymowalna wtedy i tylko wtedy, gdy jest estymowalna w klasie wszystkich estyma- torów niezmienniczych.

Szczegóły dotyczące kwadratowej i niezmienniczej estymowal- ności można znaleźć w przeglądowych pracach Kleffe [19] oraz Rao i Kleffe [38].

2.3.4. Najlepsze estymatory nieobclążone w ogólnym modelu liniowym. W punkcie 2.3.2 omówiłem problem estymowalności funkcji

parametrycznych oraz podałem charakterystykę ich estymatorów nie- obciążonych. Do tych celów wystarczająca była znajomość postaci wektora wartości oczekiwanej Ji-6. W tym rozdziale zbadam optymalne

własności estymatorów nieobciążonych i tu istotną rolę będzie od- grywać struktura operatora kowariancji Cov0z = L Q . Przyjmijmy oznaczenie 2^ = { : 0 e 0 } • Niech H e /V' będzie ustalo- nym operatorem kowariancji ( Y. = Fg, ) dla pewnej wartości a prio- ri 9 = 0q . Estymator [a,z] będziemy nazywać Y -najlepszym nie- o

obciążonym estymatorem swojej wartości oczekiwanej w klasie g , jeżeli [a, Z a ] ^ [ b, Fb] dla każdego b e “X takiego, że [a, Jie]»

■ [bf ] tożsamościowo względem ©e@ • Estymator [a,z] będziemy

nazywać najlepszym nieobciążonym estymatorem swojej wartości ocze-

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH .. 115

kiwanej w klasie Jeżeli Jest on Z!-najlepszym w klasie g dla każdego Z e l¥ • Następujące podstawowe twierdzenie CLehmann i Scheffe [26]) podaje warunki konieczne i dostateczne na to, aby estymator [a,z ] był Z -najlepszy.

TWIERDZENIE 2.6. Estymator. [afz] jest Z -najlepszym estymato- rem nieobciążonym swojej wartości oczekiwanej w klasie £ wtedy i tylko wtedy, gdy [a, Z ^{e |} =0 dla każdego e ^{fe £ ^}

tzn. gdy Z a e £

Dla dowolnego podzbioru cA c X niech Z^Cc^)® {a e X tZafecAj*

Z twierdzenia 2.6 wynika, że zbiór wszystkich estymatorów Z ^-naj-

lepszych jest postaci

(2.5) {[a,z]: ae Z ’1(£)},

Ponieważ Z ^{e 1T} jest operatorem nieujemnie określonym, więc

£ ( £ % £ = [o] lub, co jest równoważne, Z (£) + fc 1 » X • Stąd i z twierdzenia 2.2 wynika następujący wniosek;

WNIOSEK 2.2. Dla każdej funkcji ,-estymowalnej i dla każde- go Z € V' istnieje Z -najlepszy estymator nieobciążony w ^ • Jest on określony jednoznacznie wtedy i tylko wte- dy, gdy jV(Ł) n £ 1 = { 0 } *

Zauważmy, że f[a,z]: a € Z 1 jest zbiorem wszystkich

L I e V

estymatorów najlepszych. Z twierdzenia 2.2 wynika, że dla każdej

funkcji ^ -estymowalnej istnieje najlepszy estymator nieobcią-

— 1

żony w C wtedy i tylko wtedy, gdy Z ~ (£) + £"*■ = 3C.

Ze'if

Warunek ten jest trudny do sprawdzenia w konkretnych przypadkach.

Następujące równoważne warunki podaje Drygas [1]•

TWIERDZENIE 2,7, Następujące warunki są równoważne:

a) dla każdej funkcji ^ -estymowalnej istnieje najlepszy nieobciążony estymator w klasie 5 »

b) sp ( Z (6 L) J I e V) n E * {o)j

c) Z ( £ A ) C H q C e 1 ) dla każdego Z e V' i I Q takiego, że R ( E ) c R ( I 0) dla każdego Z € V >

d) Z ( £ )c Z 0(6 ) dla każdego Zielni Z Q takiego, że R(Z ) c R(Z0) dla każdego Zel?" , .

2,3*5, Najlepsze kwadratowe estymatory nieobciążone komponen- tów wariancyjnych w modelu regresji liniowej. W zastosowaniach powyższych wyników do kwadratowej estymacji komponentów warian- cyjnych w modelu (1,2) podstawową sprawą jest określenie struktu- ry operatora kowariancji Z G macierzy losowej z * yy*• Istnienie i postać operatora Z 0 zależy w tym przypadku od istnienia i po- staci czwartych momentów składowych wektora y. Jeżeli y ma rozkład normalny, to dla dowolnych form kwadratowych y;Qy i y*Ry, gdzie Q i R są macierzami symetrycznymi, zachodzi następująca równość:

Cov(y'Qy,y'Ry) * 2tr QV(c)RV(<?) + k ft'x'QVCS ) RX (5

(por. Searle [39]), Wynika stąd następująca postać operatora

kowariancji dla z * yy':

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 117

( 2 . 6 ) 2 { V ( c ) « V ( e O + X(3p'x'» V C6) + V(6)«X(3 0 ' x ' } «

- 2 \ [ V ( c ) + X p ^ j a t V

(O)

-

Tutaj dla dowolnych macierzy symetrycznych A,B symbol AsB ozna- cza operator liniowy przekształcający zbiór macierzy symetrycz-

to odnotować, że macierz operatora A aB jest iloczynem Kroneckera A®B. Założenie normalności rozkładu wektora y jest warunkiem wy- starczającym na to, aby operator L Q był postaci (2.6). Warunki konieczne i wystarczające przedstawione zostały w pracy [5]. W dalszej części opracowania przyjmę założenie o postaci ( 2 . 6 ) ope- ratora kowariancji . Podam teraz warunki konieczne i dosta- teczne na to, aby

a) dla ustalonego Z > 0 estymator y/Ay był T -najlepszym estymatorem nieobciążonym funkcji f1 ^g » Z f^ ^ w klasie estyma- torów kwadratowych i kwadratowych niezmienniczych,

b) każdą funkcja estymowalna miała najlepszy estymator nie- obciążony w klasie estymatorów kwadratowych oraz kwadratowych i niezmienniczych.

W przypadku b) będziemy zakładać, że jedna z macierzy V^,V2,...

•••» jest macierzą jednostkową. Dla ustalenia uwagi przyjmiemy, że VK = I. Wystarczy w zasadzie założyć, że I e £ *• Rozważmy na początek szczególny przypadek modelu (1.2), w któryta X * 0. Wów- czas Ez = V(G), £ = sp[V 1 #V2, VK} oraz Z 0 * V(s)a V(fi).

Niech dla ustalonego (5 * 6 n, u °o * Z będzie operatorem do-

datnio określonym i niech będzie funkcją kwadratowo estymo-

nych w siebie, określony w następujący sposób (AaB)C » ACB. War-

^ -J

wtedy, gdy A » . z twierdzenia 2.6 otrzymujemy następujący wniosek:

WNIOSEK 2.3. Forma kwadratowa y^Ay jest ź. -najlepszym nie- obciążonym estymatorem kwadratowym dla f 4<5 wtedy i tylko wtedy, gdy A « 21 , gdzie A = ( ^2* * • •

• ••» Ak )^ spełnia warunek nieobciążoności G /\ ■ f, G - {tr V ^ V ^ V j ] .

Załóżmy teraz, że * I. Wówczas I ca I e T i R (X) c R(I® I) dla każdego Z e T . Z warunku c) twierdzenia 2.7 wynika, że dla każdej funkcji kwadratowo estymowalnej istnieje najlepszy estyma- tor kwadratowy wtedy i tylko wtedy, gdy dla każdego A,V e 6 speł- niony jest warunek VAV e£ . W szczególności, kładąc A * I, mamy V 2 e t • Przestrzeń liniową £ spełniającą warunek A e ć ^A 2 ę £ Seely [42] nazwał przestrzenią kwadratową. Wykazał on również, że „kwadratowość" przestrzeni £ jest warunkiem dostatecznym na to, aby istniał najlepszy estymator kwadratowy dla każdej funkcji kwadratowo estymowalnej. Ten wynik przedstawiam w formie twierdzenia.

TWIERDZENIE 2.8. Niech VR » I oraz X * 0. Dla każdej funkcji kwadratowo estymowalnej istnieje najlepszy estymator kwa- dratowy wtedy i tylko wtedy, gdy £ * sp

jest podprzestrzenią kwadratową•

Pojęcie przestrzeni kwadratowej zostało powtórnie zbadane

przez Jensena [15]. Jensen udowodnił, że £ jest przestrzenią

kwadratową wtedy i tylko wtedy, gdy jest przestrzenią Jordana.

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH .. 119

Rozważmy teraz przypadek ogólny, gdy X jest dowolną macierzą.

Jak wynika z poprzednich rozważań dla ustalonego

oraz Z ^a Z ((3q, (Sq') forma kwadratowa y*Ay jest Z -najlepszym nieobciążonym estymatorem kwadratowym f *6 wtedy i tylko wtedy, gdy

(2.7) Z (A) e S t *'aX * O, tr AV± * fi# i = 1,2, ..., K.

LaMotte [21] znalazł jawną postać macierzy A, spełniającej warunki ( 2 . 7 ), wykorzystując następujące macierze:

Wy a V “1 - V~ 1 X(X/V“ 1 X)~X,V ~1 = (MVM)+, Hy » X(X/V* 1 X)“X / + X (3 0 p' 0 X/.

Przypominam, że V a V (G q ) > 0. Niech c a Wówczas

* V” 1 X(X'V“ 1 X)"X/V "1 - [ 1/(1+c)]V~1X (i 0 (3qV “1

jest uogólnioną macierzą odwrotną do Hy. Ponieważ XrAX a o, z de- finicji (2.6) ^operatora Z otrzymujemy

(2.8) Z (A) a 2 (V + X p o £' 0 x')A(V + X^f/^').

Łatwo sprawdzić, że Z (A)H^

0 oraz

(2.9) WyZ(A)Wy + WyZ(A)Fę + Hy Z(A)Wy =

= (Wy + i ę ) Z ( A ) ( W y + H ^ ) .

Biorąc pod uwagę, że Wy + = (V + X (3 q (5 q X /)“^, ze wzorów (2.8) i ( 2 , 9 ) otrzymujemy

(2.10) A = (1/2) [wy Z(A)WV + Wv Z(A)H~ + Z (A)w],

Ponieważ W^X « 0, równość (2.10) jest warunkiem koniecznym i do- statecznym na to, aby XfAX * 0. Z powyższych rozważań oraz z rów- ności £ = sp^Y^Vg* ••*, VK ] + (XaX^: J ^l = J\!! [ i z własności macierzy Wy oraz Hy wynika, że macierz A spełnia (2.7) wtedy i tylko wtedy, gdy

(2.11) A * tr AV± ~ fit i = 1,2, ..., K,

gdzie * wvviwv + wvVi % + ^VViWV* Udowodnione zostało w ten sposób następujące twierdzenie (LaMotte [ 21 _]):

TWIERDZENIE 2.9* Forma kwadratowa y^Ay jest T -najlepszym estymatorem nieobciążonym f*6 wtedy i tylko wtedy, gdy A m T. A g d z i e A spełnia warunek nieobciążoności GA =* f, G = [tr MLjVj]•

Warunki konieczne i dostateczne na to, aby dla każdej funkcji estymowalnej postaci E[A,z ] » ($V ax (S + X (tr AV. )(5? istniał najlepszy nieobciążony estymator kwadratowy^ podał Zmyślony [47J. i Przedstawiamy je w formie twierdzenia przy dodatkowym założeniu, że = I.

TWIERDZENIE 2.10. Jeżeli = I, to dla każdej funkcji kwa-

dratowo estymowalnej E[A,z ] istnieje najlepszy estymator

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 121

kwadratowy i nieobciążony wtedy i tylko wtedy, gdy

£ = sp|v^,V 2 » ..., VK ] + ^XiAJL: „A = jest przestrze- nią kwadratową.

Warunki konieczne i dostateczne na to, aby dla każdej funkcji kwadratowo estymowalnej komponentów wariancyjnych f'cr istniał najlepszy estymator w klasie estymatorów kwadratowych i nieobcią- żonych są słabsze od tych podanych w twierdzeniu 2.10. Są one jed- nak trudne do przedstawienia i sprawdzenia w konkretnych sytua- cjach. Założeniem, które w istotny sposób upraszcza problem nie- obciążonej estymacji kwadratowej i sprowadza go do problemu nie- obciążone j i niezmienniczej estymacji kwadratowej, jest warunek komutowania macierzy P oraz V., i = 1,2, ..., K, tzn. PV. » V.P. 1

1 1

Zauważmy, że warunek komutowania jest równoważny warunkowi nie- zmienniczości V^RCX^c R(X). Ponieważ Wy * V"1(I - Py) , gdzie Py jest rzutem na R(X) wzdłuż V[Rx(X)], więc przy założeniu komu- towania Py » P, Wy * ^v~1M oraz

- pv~1 - [ i / c i + c y y ^ P o P ^ y 1 . . V”1P - [1/C1+c)]V“ 1 X(ł 0 p' 0 x'v1,

Zauważmy, że M^X = 0 dla każdego i. Stąd i z twierdzenia 2.9 o postaci H -najlepszych estymatorów wynika następujący wniosek:

WNIOSEK 2.4. Jeżeli PV^ » V^P dla każdego i, to Z -najlepszy

kwadratowy estymator nieobciążony jest estymatorem nie-

zmienniczym.

Z powyższego wniosku wynika, że Jeżeli P i V± komutują oraz Jeżeli dla zadanej funkcji kwadratowo estymowalnej f*<5 istnieje najlepszy nieobciążony estymator kwadratowy, to Jest to najlepszy estymator niezmienniczy, W przypadku gdy VR * I, estymator ten można otrzymać bezpośrednio z twierdzenia 2,9, przyjmując V = I, Wówczas = MV1M i estymator ten przyjmuje postać y'Ay, gdzie

(2.12) A = I G > * f, G * {tr MV j MV j ].

W przypadku ogólnym (bez założenia komutowania), Jeżeli dla zada- nej funkcji estymowalnej f/(J istnieje najlepszy estymator nie- obciążony, to nie musi on być estymatorem niezmienniczym. Przyj- mując |3 0 = 0 i V = I, otrzymujemy ■ MV^ + MV^P + PV^ i na mocy twierdzenia 2.9 najlepszym estymatorem dla fl6 Jest w tym przypadku y;Ay, gdzie A * Z A^(MV^M + MV^P + PV^M). Stąd AX =

= Z ^ M V . X i może być różne od zera.

i Przy założeniu komutowania P i V| problem najlepszej kwadra- towej estymacji nieobciążonej sprowadza się zatem do problemu najlepszej estymacji niezmienniczej. Przedstawię teraz rozwiąza- nie tego problemu. Niech B będzie macierzą o wymiarach (n-p)xn taką, że BB* = *n-p* i niech ^ Można wykazać, że t Jest maksymalnym niezmiennikiem, tzn. że y'Ay Jest estymatorem niezmienniczym wtedy i tylko wtedy, gdy A » B^A*B dla pewnego A*.

Zauważmy, że

(2.13) Et = 0, Cov t = L 6 f m ±B\

Niech Z = BVB* ® BVB*• Na mocy twierdzenia 2.8 forma kwadratowa

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 123

y^Ay * t;A^t jest Z -najlepszym kwadratowym estymatorem nieobcią- żonym dla f*<5 w modelu ( 2 . 1 3 ) wtedy i tylko wtedy, gdy

A « X A* (BVB'r 1 BV.B'(BVB')“1,

i 1 1

gdzie ^ spełnia warunek nieobciążoności G /\ * f,

G « {trCBVB^^BV.B'CBVBO ^BV.B'] .

Można wykazać, że B^CBVB'j^B = (MVM)+ (por. Rao [36], str. 77).

Stąd i z przeprowadzonych wcześniej rozważań wynika następujące twierdzenie:

TWIERDZENIE 2.11. W modelu (1.2) dla X danego wzorem (2.6) a) forma kwadratowa y'Ay jest Z-najlepszym estymatorem nieobciążonym dla f^j w klasie estymatorów kwadratowych i niezmienniczych wtedy i tylko wtedy, gdy

A » Z (MVM)+V£ (MVM)+, gdzie A spełnia warunek nie- obciążoności G = f, G = {trCMVM^Vj^CMVM^V^.} ;

b) jeżeli VR » I, to dla każdej funkcji kwadratowo i nie- zmienniczo estymowalnej istnieje najlepszy estymator nie- obciążony i niezmienniczy wtedy i tylko wtedy, gdy

£ » sp[MV^M, MV 2 M, ..., MVkm] jest podprzestrzenią kwa- dratową.

Warunek b) twierdzenia 2.11 wynika z twierdzenia 2.8. Szcze-

góły dotyczące tego problemu znaleźć można np. w pracy [ 6 ]. Z wa-

runku a) twierdzenia 2.11 wynika natychmiast, że rozważany w punk-

cie 2.2 MINQUE jest estymatorem E -najlepszym w klasie estymato- rów kwadratowych i niezmienniczych dla Z danego wzorem ( 2 . 6 ) z V = Ej;V^. Przedstawiony w punkcie 2.2 warunek nieobciążoności MINQUE jest równoważny warunkowi przedstawionemu w części a) twierdzenia 2.11. Szczegóły dotyczące MINQUE znaleźć można' np.

w pracy [ 19 ] •

2.3.6. Przykłady. Rozważmy model regresji liniowej

Ey =» X p f Cov y * ^q 2I.

Na mocy twierdzenia 2.10 istnieje dla Q najlepszy nieobciążony 2 estymator kwadratowy. Z wniosku 2.4 wynika, że jest to estymator niezmienniczy. Na mocy twierdzenia 2.11 a) estymator ten jest po- staci 6 2 = (1/trM)y/My * [1/(n-p)j y^My.

W rozdziale 1 rozważany był model z jednokierunkową klasyfi- kacjaw

® ^N * Cov y == <5 yUU^ + (5 1^,

gdzie UU/ = diag{1n 1^ } = . W tym modelu Ez » + +

2 ^ ^

+ <5 £ * sp[1N1Nf V^j«XN} • W przypadku zrównoważonym » nf

VI = Td^ 1 n 1 ri * P * (Vnd)1N1^* Stąd wynika, że PV^ * V^P oraz

że 6 = ^N^N,V1'^n} Jest przestrzenią kwadratową. Na mocy wnios-

ku 2.4 i twierdzenia 2.11 b) dla każdej funkcji kwadratowo esty-

mowalnej istnieje najlepszy estymator nieobciążony i jest to esty-

mator niezmienniczy. Ze wzoru (2.12) wynika, że najlepsze estyma-

tory są kombinacjami liniowymi dwóch form kwadratowych y^MV^My

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 125

oraz y*My, gdzie Jfl^M « MV 1 - Id® 1nl' - ^ / d ) ^ ^ , M = 1 ^ - - C1 /nd') 1 hujI, Zauważmy, że wprowadzone w punkcie 2.1 formy kwadratowe SSW i SSB spełniają następujące warunki: SSW + SSB »

= y^My, nSSB * y'MV^My. Wynika stąd, że przedstawione tam estyma- tory Hendersona komponentów wariancyjnych jako kombinacje liniowe SSW i SSB są najlepszymi estymatorami nieobciążonymi swoich war- tości oczekiwanych w klasie estymatorów kwadratowych.

2.4. Dopuszczalne estymatory nieobciążone

Podane w twierdzeniach 2.10 i 2.11 warunki konieczne i dostatecz- ne na to, aby dla każdej funkcji kwadratowo (niezmienniczo) esty- mowalnej istniał najlepszy kwadratowy (niezmienniczy) estymator nieobciążony spełnione są tylko dla niewielkiej klasy modeli zrów- noważonych. W innych przypadkach problem wyboru estymatora nieob- ciążonego dla zadanej funkcji estymowalnej pozostaje ostatecznie nierozwiązany. Decydując się na wybór jednego z estymatorów nie- obciążonych, chcielibyśmy przynajmniej wiedzieć, czy jest to esty- mator dopuszczalny. Niestety, na podstawie twierdzeń ogólnie do- stępnych , dotyczących dopuszczalności estymatorów w modelach li- niowych, kompletną charakterystykę kwadratowych estymatorów do- puszczalnych podano dotychczas tylko dla pewnych ązczególnych mo- deli z dwoma komponentami wariancyjnymi i to jedynie w klasie esty matorów niezmienniczych. Zaobserwowane w ostatnich latach stosun- kowo duże zainteresowanie badaczy tą tematyką pozwala przypuszczać że wkrótce inne problemy dotyczące dopuszczalnej estymacji kwadra- towej zostaną rozwiązane.

W niniejszym punkcie podam oodstawowe twierdzenia dotyczące

charakterystyki dopuszczalnych estymatorów nieobciążonych w mode-

lach liniowych na gruncie teorii bayesowskiej estymacji. Przedsta- wię również możliwe zastosowania prezentowanych twierdzeń do pro- blemu kwadratowej i niezmienniczej estymacji nieobciążonej kompo- nentów wariancyjnych. Szczegółowo omówię problem dopuszczalnej estymacji kwadratowej w modelu z dwoma komponentami.

2*4.1. Charakterystyka estymatorów dopuszczalnych w ogólnym modelu liniowym. Podobnie jak w punkcie 2.3 niech z będzie wekto- rem losowym przyjmującym wartości w n-wymiarowej przestrzeni li- niowej X z iloczynem skalarnym [• , •]. Niech Ez * ju.Q, £ ■

* sp 6 e ©} , Cov z = I , ly' = { I Q : 0 e . Interesuje nas problem dopuszczalnej estymacji nieobciążonej zadanej funkcji g(0)=[a, w klasie estymatorów ^ ^ [b,z]: b€ X } • Niech

Cja a {[b#z]s be a ♦ będzie podzbiorem ^ estymatorów nie- obciążonych dla [a#/u e] i niech [h,z]e Estymator [b,z] bę- dziemy nazywać

a) nie gorszym od [hfz], jeżeli [ b, T b]-<[h, X h] dla każdego lei y ,

b) lepszym od [h,z] , jeżeli [b,z] jest nie gorszy od [h,zj oraz [bfI b]<[h,Ih] dla co najmniej jednego lei?",

c) dopuszczalnym, jeżeli żaden estymator z nie jest lepszy od [b,z].

Dla ustalonego podzbioru XT operatorów samosprzężonych prze- kształcających X w X niech [W] będzie najmniejszym domknię- tym stożkiem wypukłym zawierającym XT • Olsen, Seely i Birkes [27J zauważyli, że relacje „nie gorszy", „lepszy" i „dopuszczalny" po- zostają niezmiennicze,jeżeli 1T zastąpimy dowolnym XT takim, że

[U]- PKJ\] • Na podstawie tego spostrzeżenia autorzy ci udowodni-

li następujące twierdzenie:

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH .. 127

TWIERDZENIE 2.12. Niech [a, będzie ustaloną funkcją para- metryczną, a e X :

a) jeżeli [b,z] jest estymatorem dopuszczalnym w ^a*

istnieje niezerowy operator Zł a [Vr1 taki, że [b,z] jest estymatorem Z -najlepszym, tzn. Ib e £ ;

b) jeżeli c/f(I)o 6 'L = {O} dla każdego niezerowego Z £ [Ul,to [b,z] jest estymatorem dopuszczalnym w wtedy i tylko wtedy, gdy [b,z] jest Z -najlepszym esty- matorem dla pewnego niezerowego operatora X € [ 7 /]•

Niech W będzie zbiorem zwartym, wypukłym, nie zawierają ym operatora zerowego takim, że [kTl * [1T] i że każdy niezerowy element V e ['U'] jest postaci oc W, gdzie W £ IvT i a >0. Istnie- nie takiego zbioru operatorów udowodnili Olsen i in. [27] (por.

lemat 3*5). W związku z uwagą poprzedzającą twierdzenie 2.12 po- zostaje ono prawdziwe, jeżeli [7^] zastąpić >vT . Założenie J U D o e 1 . {o] w punkcie b) twierdzenia 2.12 gwarantuje jedno- znaczność nieobciążonych estymatorów Z -najlepszych.

Z powyższych rozważań wynika, że problem dopuszczalności esty- matorów nieobciążonych sprowadza się w zasadzie do poszukiwania estymatorów Y -najlepszych dla niezerowych Y £ C ^ H e W • Gdy X e V' * tzn. gdy Z » Z dla pewnego 8 = ©n, Zł -na jlep- szy estymator jest estymatorem lokalnie najlepszym w punkcie

6 » G q, Rozpięcie stożka na zbiorze 7Z może jednakże spowodo-

wać, że dla Y £ [rO']. estymator ZI-najlepszy jest pewnym uśred-

nieniem estymatorów lokalnie najlepszych, W przypadku kwadratowej

estymacji niezmienniczej komponentów wariancyjnych poza modelami

z jedną komponentą, klasa estymatorów Y -najlepszych, gdy Y

przebiega stożek [7?] jest istotnie szersza od klasy estymatorów lokalnie najlepszych i zawiera estymatory bayesowskie względem rozkładów a priori na © • Olsen i in. sugerują, że jeżeli V* nie zawiera zera w swoim domknięciu, to klasa estymatorów Y -najlep- szych, gdy YL przebiega [V'l , pokrywa się z klasą estymatorów bayesowskich w szerszym sensie (por. uwagę 3 . 8 ).

2.4.2. Dopuszczalne, kwadratowe estymatory niezmiennicze w modelu z dwoma komponentami. W tym punkcie szczegółowo omówię

problem dopuszczalności nieobciążonych estymatorów kwadratowych i niezmienniczych komponentów wariancyjnych w modelu regresji li- niowej ( 1 . 2 ) zredukowanym do dwóch komponentów

(2.14) | Ey = X ft ,

[Cov y « V(<5) « C 5 ^V + < ^d \ I,

gdzie 6 » (G^, 6 | )/£ © , © = [<5 : 6^ >0, 6 \ >0 • Szcze- gólnym przypadkiem tego modelu jest podany w rozdziale 1 model z jednokierunkową klasyfikacją. Podobnie jak w punkcie 2.3.5 niech B będzie macierzą o wymiarach (n-p ) x n taką, że B(B = M, BB 1 = *n„p

2

2

i niech t * By. Wówczas Et = 0, Cov t =» <5 -jBVB + < 3 * 2 1 . Ponieważ y'Ay jest estymatorem niezmienniczym wtedy i tylko wtedy, gdy A « B^A*B dla pewnego A*, problem dopuszczalności kwadratowych względem y estymatorów niezmienniczych redukuje się do problemu dopuszczalności estymatorów kwadratowych względem t = By. Na mocy

2 2

twierdzenia 2.5 funkcja f*<5 = f ^ <5 ^ + *2^2 niezmienniczo

estymowalna wtedy i tylko wtedy gdy f eR(G), gdzie

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 129

tr W^ tr W tr W tr L „ n-p

natomiast W * BVB^. Korzystając z własności śladów, macierz G można przedstawić w terminach wyjściowych macierzy M i V w nastę*

pujący sposób:

tr MVMV tr MV tr MV n-p

Niech 0 ^cx 1 < a 2 < ... <<xr *^3 różnymi wartościami własnymi ma- cierzy W o krotnościach 0^, 0^, ..., v)^, natomiast O ^ cx ^ ^ c * ^

^ ... wartościami własnymi W z uwzględnieniem ich krotnoś- ci. Rozważmy macierze n-p

H = «i a 2 ... 0(

» H 1 m "i11 oc • x2

n-p

1 1 _{... 1} 1 1 ... 1

Zauważmy, że H#H » G, R (G) » R(H) = R(H) oraz rząd H *j2* fdy R}2*.

Z powyższych rozważań otrzymujemy następujący wniosek:

WNIOSEK 2.5. W modelu (2.14)

a) wszystkie funkcje postaci f/<y = f^ ćf^ + f 2 są nie- zmienniczo estymowalne wtedy i tylko wtedy, gdy R >/ 2, b) jeżeli R * 1, to niezmienniczo estymowalne są jedynie

2 2

funkcje postaci c(cx^(5^ + <52)•

2 2

W przypadku gdy R * 1, mamy W * Ot^I, Cov t * COC ^ C5"^ + ^ 2 )l.

Jest to więc dla t model o jednej komponencie wariancyjnej. W dal- szej części tego punktu będę zakładał, że R > 2. Na mocy twierdze- nia 2.11 b) dla każdej funkcji f V istnieje najlepszy, nieobciążony i niezmienniczy estymator kwadratowy wtedy i tylko wtedy, gdy

sp{MVM,M] jest podprzes trze nią kwadratową lub, co jest równoważne, gdy £ » sp{W,l} jest podprzestrzenią kwadratową. Niech E 1 *E 2 *•••

..., E^ będą macierzami takimi, że Z * I, T <* 3 ^ = W,

EiEj * ^ij* Możn^ wykazać, że £ * spjE^Eg, •••, Ep] jest naj- mniejszą podprzestrzenią kwadratową, zawierającą £ • Zatem £ » £ wtedy i tylko wtedy, gdy R « 2.

WNIOSEK 2.6. W modelu (2.14) dla każdej funkcji f*6 istnie- je najlepszy nieobciążony estymator kwadratowy i niezmien- niczy wtedy i tylko wtedy, gdy R * 2. Estymator ten jest postaci yfAy, gdzie

(2.15) A » ^MVM + M, G A « f.

Druga część wniosku 2.6 wynika bezpośrednio ze wzoru (2.12).

Zatem jeżeli R a 2, to dla każdej funkcji 1*6 jedynym estymatorem dopuszczalnym w klasie kwadratowych i nieobciążonych estymatorów niezmienniczych jest y#Ay, gdzie A jest postaci (2.15)*

Przedstawię teraz charakterystykę estymatorów dopuszczalnych dla zadanej funkcji fy(J w przypadku ogólnym, bez założenia, że R a 2. Skorzystam przy tym z twierdzenia 2.12, zastępując

pewnym zwartym, wypukłym i nie zawierającym operatora zerowego

zbiorem 'HT takim, że [IT]® C*KTJ • Rozważmy zmienną z « tt*, dla

której Ez e £ * sp{w,l], U * {2 f(5^W«W ♦ 6^ ó|(WaI + I«W) +

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 131

+ 6 2 1 _{® l]» 2 O,} 6 "! y O]. Niech S będzie sympleksem prze- strzeni trójwymiarowej wektorów o składowych nieujemnych, sumują- cych się do jedynki i niech S* =* {s(a): s(a)*[ 1 /( 1 +a)2 ] (a 2 , 2 a, 1 ), a > 0}cS. Oznaczmy przez Sc domknięte uwypuklenie S'(rys.1). Za- uważmy, że Sł » {s £ S: s = cs^# 2 _s 2 tS^)t s^s^ * s2 ] oraz Sc =

* ^s 6 S: s^s^ > s2}. Dla s » (s^f2s

2 ,s^) niech Wg * 2[s^WaW + + s 2 (WhI + I a W) + s^Ial] i niech "KT ■ {Wg; s ć Sc].

Można wykazać (por. Olsen i in. [27]), że "kf jest zbiorem zwartym, wypukłym i nie zawierającym operatora zerowego oraz

[IT ] as OJ] • Ponadto dla każdego s e Sc mamy JTT (Wg) o B.1 * |o].

Na mocy twierdzenia 2.12 b) estymatory dopuszczalne są w pełni scharakteryzowane poprzez estymatory W -najlepsze dla W e ^ , _{S 5} tzn. estymatory t*A^t, dla których We(A*)e £ , lub, co jest równoważne

(2.16) s^WA^W ♦ s 2 (WA^ + A^W) + s^A^ ss A^W + A 2 I.

Zanim podam rozwiązanie równania macierzowego (2.16) zauważmy,

że estymator W -najlepszy jest estymatorem bayesowskim względem s

rozkładu a priori r na © , dla którego

ET <r<r' = s1 s2 s 2

2 2

W szczególności dla s(a) = [1/(1+a) J(a ,2a,1), W

-najlepszy estymator jest estymatorem bayesowskim względem V • dla którego Er <j 1/(1+a)2] ^ [a,1]/ . Zatem punktom krzywej S* odpowia- dają estymatory lokalnie najlepsze przy O ^ * a/( 1 +a)2, (5 *

» 1/(1+a) * Dla f 0 przyjmę następującą parametryzację:

(2.17) « cu 2 +v)/[( 1 +u )2 + v], s 2 = u/[( 1 +u? + v], S 3 - 1 /[( 1 +u )2 + vj, u,v ^ 0 .

Jeżeli u,v przebiega zbiór liczb rzeczywistych nieujemnych, to s przebiega zbiór Sc# Punkt (1,0,0) jest punktem granicznym, gdy v dąży do nieskończoności. Ze wzorów (2.17) otrzymujemy u = s2/s v = (s-jS^ - s 2 2 2 )/s^. Zauważmy, że

(1+u) + ^V

v 0

0 0

Ponieważ estymator bayesowski względem D jest taki sam jak wzglę*

dem t q , dla którego

Er cr <5* m

Lo

1 ' ./ * v 0 ‘ _{u +v u} 2 1 [1 u] ♦

.0 0 . =

u_ u 1

więc z powyższych rozważań wynika następujący wniosek:

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH .. 133

WNIOSEK 2.7. Klasę dopuszczalnych, kwadratowych estymatorów nieobciążonych i niezmienniczych w modelu z dwoma kompo- nentami dla funkcji f t w o r z ą estymatory bayesowskie względem rozkładów a priori, dla których 2 = u,

2 2 2

Er(T2 = Varr a 1 s v* Varr G_2 = °* §dz;5-e u»v przebie- gają zbiór liczb rzeczywistych nieujemnych.

Następujące twierdzenie podaje jawną postać estymatorów bayesowskich, a więc dopuszczalnych dla zadanej funkcji f/G' • Do- wód tego twierdzenia przedstawiony jest w pracy [ 9 ]«

TWIERDZENIE 2.14. Niech t będzie rozkładem a priori na @ takim, że

Et<r cr'- u2+v u u 1

Wówczas

a) estymator y*Ay jest bayesowski dla a w klasie kwa- dratowych nieobciążonych estymatorów niezmienniczych wtedy i tylko wtedy, gdy A « A(u,v) ** A,j(M.Au yM)‘fVM ♦

+ A 2 (MAUfVM)+, gdzie A u v = I + 2uV + (u 2 +v)VMV, GA = f, G = ® g 1 g rl 5], r - tr(M.yM)*# g = tr(MAUfVM)+V oraz m * tr(M_A^ yM)+VMVt

. [ ( f ^ g 0/m0) /(n-p-m0)] [ M-MVM(MVM)+J ■

b) lim A(u,v) = + » oc^ = 0,

V_"°° A10(MVM)+(MVM)+ + A20(MVM) + , CX1 >0,

®r\ gn gdzie Gq A0 * f, A0 = (A-jo* A 20 )* Go

SO r0 r 0 =

tr(MVM)+(MVM)*, gQ * tr(MVM)+, mQ = rank MVM,

3. OBCIĄŻONA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH

Dotychczas ograniczałem rozważania do estymatorów nieobciążonych komponentów wariancyjnych. To ograniczenie nie zawsze daje się uzasadnić w sposób zadowalający, zwłaszcza gdy liczba n obserwacji nie jest duża. Prosty przykład podaje, jak w istotny sposób można poprawić średni błąd kwadratowy estymatora wariancji, nie wykra- czając poza klasę estymatorów kwadratowych, rezygnując jedynie z warunku nieobciążoności. Rozważmy model regresji liniowej z jedną

2 2

komponentą wariancyjną Ey ■ Xft , Cov y * c? I, <y > 0 . W punkcie

2 . 3.6 wykazałem, że najlepszym kwadratowym estymatorem nieobciążo- nym dla 6 2 jest tf 2 * (1/tr M)y/My. Łatwo sprawdzić, że Var ^ 2 *

A ^ 2

» 2 6 /tr M. Dla c > 0 (cj41) rozważmy estymator obciążony c <s . Średnim błędem kwadratowym dla c a jest R * E(c <? - s ) »

* Var c d 2 + tf 4 (c-1 )2 = ( (5 4/ tr M) [(2+tr M)c 2 - 2ctr M + tr Mj.

Błąd R osiąga minimum w punkcie cQ « tr M/(2+tr M), które wynosi Rq » 2 6 V (tr M+2). Ponieważ dla każdego a 2 ? 0 mamy RQ <! Var 8 2, więc najlepszy nieobciążony estymator kwadratowy 6 jest niedo-

puszczalny w klasie estymatorów kwadratowych z kwadratową funkcją straty (y*Ay - 6 " ) . W punkcie 3.2 przedstawimy podstawowe wyniki 2 2 dotyczące dopuszczalnej estymacji obciążonej w ogólnym modelu li- niowym i ich zastosowanie do kwadratowej estymacji komponentów wariancyjnych.

3.1• Bayesowskie i dopuszczalne estymatory obciążone w ogólnym modelu liniowym. Podobnie jak w poprzednich rozdziałach niech

9 * { P0s 0 ć © ] będzie rodziną miar probabilistycznych, okreś-

lonych na przestrzeni mierzalnej {U,S] i niech z będzie wektorem

losowym o wartościach w skończenie wymiarowej przestrzeni linio-

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 135

wej X z iloczynem skalarnym [• ,-1. Załóżmy, że dla każdego istnieje Eqz « )xQ oraz Cov^z ■ Z & • Interesuje nas pro- blem estymacji funkcji ^ ■ [ a, }XQ ], a e X , w klasie estymato- rów ^ “ {[kfZJ: be X ] • Jako kryterium estymacji przyjmiemy

/\ 2

kwadratową funkc ję straty ( $■ - y ) . Ponieważ dopuszczamy do roz- ważań również estymatory obciążone, ryzyko R wyraża się wzorem R * VarQ £ + (Eq £ - Dla dowolnych wektorów, a,b e X niech a ® b będzie operatorem liniowym przekształcającym X w X , określonym w następujący sposób: (a®b)c * [c,b]a dla każdego c e X • Jeżeli X » Rn i [a,bj * a;b, to aib = ab*. Można wykazać, że ryzyko estymatora [b,z] dla estymacji funkcji [a, jll q ] jest postaci

R * R(b|a, I ,>l) » [ b,( I Q + /iG® p.Q) b] - - 2 [b, ( >Łe)a] + [a,CjJid® )±Q) aj.

Dla dowolnego operatora samosprzężonego § przekształcającego X w X niech R(b|a,X,§)a[bv(X+$)bJ - 2 [b, 4 > a ] + [a, $ aj.

Estymator [b,zj będziemy nazywać (Z ,$)-najlepszym estymatorem dla [a,jLLel w klasie estymatorów, jeżeli b minimalizuje

R(«Ja,X, $). W szczególności estymator (X

^ ) -najlepszy

jest estymatorem lokalnie najlepszym przy 0 ■ 0 Q, dla którego jj^m

= /U.,X = I . W przypadku ogólnym (Z * $ )-najlepszy estymator może być rozumiany jako estymator bayesowski względem rozkładu a priori 0

t- na © , dla którego Et X e * Z , E t /uG® jx0 * • Warunki ko-

nieczne i dostateczne na to, aby [b,zj był estymatorem (Z , ^-naj-

lepszym dla [ a , ] podaje następujące twierdzenie:

TWIERDZENIE 3.1. Niech a.beX. Wówczas

a) estymator [b,z] jest ( Z » § )-najlepszy dla [a,^]

w klasie ^ wtedy i tylko wtedy, gdy (3.1) ( Z + §)b = $a,

b) ryzyko estymatora (Z , !&)-najlepszego dla [af jn J w punkcie(Z , $ ^wynosi R(b|a, Z, § ) = [a, 5a ] - [b, $aj.

Warunek (3.1) podał Rao [32], [37] • Pewne jego modyfikacje znaleźć można w pracy LaMotte [23]• Dalsze rozwinięcie teorii

(Z ^t $) -najlepszych estymatorów wraz z zastosowaniami do estyma- cji komponentów wariancyjnych przedstawione jest w pracach (4],

[24] i [25J• W przypadku szczególnym lokalnie najlepszej estyma- cji, tzn. gdy 3 > = ju, ® jll » przy założeniu, że Z > 0 , z równości ( Z + /i ® = Z "1 - (1/d ) Z ~ V 5 I ~ V # Ci » 1 + r jU , jit j otrzymujemy

/ v —1 — _<i

b = ( 2 . + ll ® ;x} (/jl ® ,ui) a * --- —-3 --- Z “ u. • 1 + C jLL , Z 'jliJ

Wynika stąd następująca postać lokalnie najlepszego estymatora dla [a, yvQ]:

[b,z] = {[a,jLi]/(1 + [p.,I"V])| [z,Z “V l .

Szczegóły dotyczące lokalnie najlepszej estymacji w ogólnym mode- lu liniowym znaleźć można w pracy [ 3 ].

Problem dopuszczalności estymatorów obciążonych był szczegóło-

wo rozważany przez LaMotte’a [24], [25J. Zanim przedstawię podsta-

KWADRATOWA ESTYMACJA KOMPONENTÓW WARIANCYJNYCH ... 137

wowy wynik LaMotte*a wprowadzę pewne oznaczenia. Niech S c B będzie podzbiorem iloczynu kartezjańskiego przestrzeni liniowej

X i przestrzeni B operatorów liniowych przekształcających X w X , określonym w następujący sposób: S » {(Zq,/Uq): © <? © } i niech 3* * t/i)eS}, Zauważmy^ że ryzyko R jest funkcją określoną na V i może być rozszerzone do funkcji określonej na najmniejszym, wypukłym i domkniętym stożku [S'] za- wierającym T • Następujące twierdzenie LaMotte’a jest rozszerze- niem twierdzeń 2.12 i 2.13 na przypadek estymacji obciążonej.

TWIERDZENIE 3.2. Estymator [b,z] jest dopuszczalny dla [a,ju.e]

w klasie ^ wtedy i tylko wtedy, gdy istnieje niezerowy punkt C Z , £)€ [^] taki, że Tb,z] jest estymatorem (Z , $)- -najlepszym dla [a, _uG] oraz jest estymatorem dopuszczal- nym w klasie estymatorów (X , ^-najlepszych.

Podobnie jak w przypadku estymacji nieobciążonej, zbiór [S']

może być zastąpiony zwartym i wypukłym zbiorem XT nie zawierają- cym zera oraz takim, że [S'] = [TJ] i że dla każdego ( Z , 5 )e [S']

istnieje oc > 0 takie, że (Z , £ )* c<(S * 1 *S^)t (S 1 tS 2 s KT).

3.2. Bayesowskie i dopuszczalne estymatory kwadratowe komponentów wariancyjnych w modelu regresji liniowej.

W zastosowaniu twierdzeń 3.1 i 3.2 do kwadratowej i niezmienniczej

estymacji funkcji ffr w modelu (1.2) niech z = tt', t = By. Wówczas

Ez = W(tf), Cov z = W(30 S W (es), gdzie W(d) = BV(rf)B'. Niech r bę-

dzie rozkładem a priori na © takim, że Er<a <$' = U = Ponie-

waż W(<y) jest operatorem liniowym na RK, mamy EtW(<s-)® W(<S) = WUW*,

gdzie W * jest operatorem sprzężonym do W. Ponadto

E^WCcOiaWO) - I E u 1 JWi B WJf gdzie W± « BVjB7, i j

i - 1,2, ..., K.

Kładąc L » 2 ^ E uijWi ® Vj oraz 3ł * WUW*, z twierdzenia 3*1 wynika, że t'A*t jest ( Z , $)-najlepszym kwadratowym estymatorem dla f;cr wtedy i tylko wtedy, gdy

21 lu, .W.A^W, + WUW*(A*) » WUW*(A0), i j

gdzie trAQW^ ■ Zauważmy, że W*(A q ) * f, W*(A#) * f *

..., fK/ , gdzie f^ * trA Stąd dla a^ * Zu^Cf^ - f^) mamy j

C3.2) 2TaiWi = 2 ^ ^ uijWiA W j*

Ponieważ y/Ay jest (E , 5)-najlepszym niezmienniczym estymatorem kwadratowym dla f( er wtedy i tylko wtedy, gdy A = B^A^JB, więc ko- rzystając z prostych do udowodnienia własności macierzowych, otrzy- mujemy z powyższych rozważań następujące twierdzenie:

l

TWIERDZENIE 3*3. Estymator y*Ay jest (Z , £)-najlepszym (bayesowskim względem t-) estymatorem dla f'(5 w klasie estymatorów kwadratowych i niezmienniczych wtedy i tylko wtedy, gdy

( 3 . 3 ) E aiMV±M = 2 I Z u^M^MAMVjM,

i i j

gdzie ai - Z - f^) oraz f^ » tr A ^ - tr AV^.