n(x) c n(v),gdzie 7£(.) oznacza przestrzeń wektorową rozpiętą na kolumnach macie-rzy będącej argumentem. Zgodnie z klasyfikacją podaną przez Nordstróma (patrz [21]) model liniowy

K

K

Poznań

O estym acji funkcji param etrycznych w słabo osobliw ym m odelu liniowym z ograniczeniam i liniowymi nierównościowymi

[Praca wpłynęła do Redakcji 1.10.1993)

1. Wprowadzenie. Rozważmy model liniowy (1.1) M , = {y,X/3|A/3 > b,<72V },

w którym y jest n-wymiarowym wektorem obserwowanych zmiennych loso- wych z wartością oczekiwaną E {y) = X(3 oraz macierzą dyspersji D (y) = a2 V . W modelu tym X , A oraz V oznaczają znane macierze o wymiarach odpowiednio n X p, m X p oraz n x n , b jest znanym m- wymiarowym wekto- rem, natomiast (3 i a są odpowiednio p-wymiarowym wektorem nieznanych parametrów oraz nieznanym dodatnim skalarem. Zakładamy, że nieujemnie określona macierz V oraz macierz X , o rzędzie r(X ) < p, spełniają relację

(1.2) n(x) c n(v),

gdzie 7£(.) oznacza przestrzeń wektorową rozpiętą na kolumnach macie- rzy będącej argumentem. Zgodnie z klasyfikacją podaną przez Nordstróma (patrz [21]) model liniowy M = {y,X/3,<r2V } nazywa się słabo osobliwym, jeżeli spełniona jest relacja (1.2). Analogicznie, model liniowy (1.1) z wa- runkiem (1.2) nazywać będziemy modelem słabo osobliwym z restrykcjami liniowymi nierównościowymi. Układ nierówności liniowych

(1.3) A fi > b,

(co oznacza, że wektor A (3 — b ma wszystkie składowe nieujemne) stanowi

niestochastyczną wiedzę o wektorze f3, spotykaną w wielu praktycznych sy-

tuacjach (patrz np. [1]; [7]; [25], str. 359). Zakłada się niesprzeczność układu

(1.3), tzn. niepustość zbioru P = {fi £ R p|A/3 > b }. Można łatwo udowod- nić, że układ nierówności (1.3) jest niesprzeczny wtedy i tylko wtedy, gdy istnieje taki nieujemny wektor u, dla którego niesprzeczny jest układ równań

(1.4) 'A (3 = b + u.

Jak wiadomo warunkiem wystarczającym niesprzeczności układu (1.3) a także (1.4) jest pełny rząd wierszowy macierzy A.

Z uwagi na osobliwość macierzy dyspersji wektora y , koniecznym staje się poczynienie założenia odnośnie niesprzeczności rozważanych modeli. Wobec relacji (1.2) warunek niesprzeczności modelu M , wyrażający się relacją y £ 77.(X|V) (patrz [22], str. 309) sprowadza się do warunku

(1.5) y e 7Z(V).

Aby podać warunek niesprzeczności modelu (1.1) wprowadźmy macierz G taką, że 71(G) = AĆ(V), gdzie A f(V ) oznacza przestrzeń zerową macierzy V , tj. j\ć(V) = {x : V x = 0}. Zastępując w modelu (1.1) układ nierówności (1.3) układem równań A (3 = b -f u, u > 0, można za Baksalarym i Kałą (patrz [2], Twierdzenie 1.1) powiedzieć, że model (1.1) jest niesprzeczny wtedy i tylko wtedy, gdy niesprzeczny jest układ równań

(

1

6

G 'X \ / G 'y

A j P l b + u

przy czym, z uwagi na rozpatrywany tu układ restrykcji nierównościowych (w [2] rozważano restrykcje liniowe równościowe), niesprzeczność układu (1.6) musi zachodzić przy warunku u > 0. Jednakże, wobec (1.2) i (1.5) G 'X = 0 oraz G 'y = 0, skąd układ (1.6) upraszcza się do układu (1.4).

W konsekwencji model Al* określony w (1.1) jest niesprzeczny, jeżeli nie- sprzeczny jest model M oraz niesprzeczny jest układ (1.3). O macierzy A układu (1.3) zakładamy dodatkowo, że w modelu (1.1) spełniona jest relacja

(1.7) n ( A ’) ę 7Z(X').

Zagadnienie estymacji w modelu liniowym z restrykcjami nierównościo-

wymi jest znane w literaturze (patrz np. [4], [8], [12], [15], [16], [17], [18], [26],

[27]). Rozpatrywane są tam jednak sytuacje, w których r(X ) = p, V = I lub

V jest macierzą dodatnio określoną oraz zazwyczaj r(A ) = m. Zauważmy,

że jeśli X jest pełnego rządu kolumnowego możliwe jest wyznaczenie estyma-

tora wektora /3 a wobec nieosobiiwości macierzy V estymator ten uzyskuje

się poprzez minimalizację funkcji fo(f3) = (y - X/3),V ~ 1(y - X/3) na zbio-

rze B. Jest to więc rozwiązywanie zagadnienia programowania kwadratowego

wypukłego {min fo(fl)\A{3 > b } ze ściśle wypukłą funkcją celu. W niniejszej

pracy macierze X i A są dowolnego rzędu a macierz V może być osobliwa,

z tym, że osobliwość nie może naruszyć warunku (1.2).

Zwróćmy uwagę, że w sytuacji w której brak jest dodatkowych restryk- cji narzuconych na wektor (3 rozwiązanie zagadnienie {min f 0((3)\A/3 > b ) sprowadza się do wyznaczenia bezwarunkowego minimum funkcji /o(/3); mi- nimum to dla dowolnej realizacji wektora y jest wyrażone formułą /?0 = C o 1X ,V -1 y, gdzie Co = X 'V -1 X , i stanowi (patrz [15], str. 52; [25], str.

247) najlepszy liniowy nieobciążony estymator (krótko najefektywniejszy) wektora (3 w modelu M . Podobnie, gdy wektor (3 podlega ograniczeniom w postaci układu równań liniowych A (3 = b rozwiązanie optymalne za- gadnienia {min f 0(f3)\Af3 = b } wyrażone jest dla każdej realizacji wektora obserwacji y tą samą formułą postaci (3 + C ^1 A ^ A C

1 A ,) _1(b — A(3

) i również ([15], str. 100) stanowi estymator najefektywniejszy wektora (3 ale w modelu {y,X/3|A/3 = b,<r2V }. Z cytowanej literatury można zauwa- żyć (patrz np. [4]; [5]; [9], str. 117), że estymator najmniejszych kwadratów w modelu z restrykcjami nierównościowymi nie jest nieobciążony, i ponieważ dla różnych realizacji wektora y wyrażony jest różnymi formułami, nie jest liniowy (z wyjątkiem estymatora tożsamościowo równego zero). Jednakże, estymatory w modelu z restrykcjami nierównościowymi przewyższają, przy pewnych założeniach, estymatory ignorujące wiedzę w postaci układu nie- równości. I tak np. (patrz [5]; [9], str. 179-205) estymatory najmniejszych kwadratów w modelu z restrykcjami nierównościowymi, w którym macierze X , A ' są pełnych rzędów kolumnowych, V jest macierzą jednostkową oraz składowe wektora y — X/3 podlegają rozkładowi normalnemu, mają (o ile restrykcje są spełnione) błąd średniokwadratowy mniejszy lub co najwyżej równy błędowi średniokwadratowemu estymatora najmniejszych kwadratów w modelu bez restrykcji. Problem własności estymatorów nie jest jednak przedmiotem niniejszej pracy; przedmiotem jej jest jedynie wyznaczanie es- tymatorów.

Rozważane oraz cytowane w niniejszej pracy estymatory w modelu bez restrykcji, z restrykcjami równościowymi lub z restrykcjami nierównościo- wymi łączy metoda ich wyznaczania — metoda najmniejszych kwadratów.

Z uwagi na różną od macierzy jednostkowej macierz V będzie to uogólniom metoda najmniejszych kwadratów. Stąd estymator w modelu (1.1) nazywa będziemy estymatorem uogólnionej metody najmniejszych kwadratów przy ograniczeniach nierównościowych i za Wernerem ([27]) oznaczać w skrócie ICGLS (Inequality Constrained Generalized Least Squares).

W niniejszej pracy wobec niepełnego rzędu kolumnowego macierzy X wyznaczać będziemy estymator układu funkcji parametrycznych K/3, gdzie K jest l x p wymiarową macierzą znanych współczynników, o której dodat- kowo zakładamy, że spełnia relację

(1.8) U (K ') C ft(X '),

stanowiącą (patrz [2] Twierdzenie 1.3) warunek estymowalności układu fun-

kcji K/3 w modelu M . O ile w modelu bez restrykcji lub z restrykcjami rów- nościowymi (z macierzą, X niepełnego rzędu kolumnowego) warunek (1.8) gwarantuje istnienie najlepszego dniowego nieobciążonego estymatora dla układu funkcji K/3, w przypadku modelu (1.1) (jak się dalej okaże) zapew- nia jedynie istnienie liniowego estymatora na poszczególnych podzbiorach realizacji wektora y, a liniowego i nieobciążonego na jednym z nich.

D

. Statystyka K/3* będzie nazywana estymatorem ICGLS uk- ładu funkcji K/3 w modelu A4*, jeżeli dla ustalonego wektora y wektor /3*

jest rozwiązaniem optymalnym zagadnienia programowania kwadratowego

(1.9) {min/(/3)| A/3 > b }

z funkcją celu

(1.10) m = (y - X /3)'V -(y - X/3).

Zauważmy, że funkcję (1.10) można zapisać równoważnie w postaci m = w - /3)'c(/3 - & + /( ? ) ,

gdzie

(1.11) c = x'v~x,

(1.12) /3 = C ~ X 'V -y

(/3 stanowi tzw. punkt stacjonarny funkcji (1.10)), natomiast /(/3) = (y — X /3)'V ~ (y — X/3). Zwróćmy uwagę, że wobec (1.2), (1.5) i własności (vi) ([22], str. 44) formuły na funkcję, macierz C oraz statystykę (3 są niezmienni- cze ze względu na wybór uogólnionej odwrotności macierzy V . Korzystając z powyższych oznaczeń zaznaczmy, że K/3 jest najefektywniejszym estyma- torem K/3 w modelu M. (patrz [20]).

Problem estymacji w modelu z restrykcjami nierównościowymi opiera się w istotny sposób na estymacji w modelu liniowym z restrykcjami wyrażo- nymi układem równań liniowych. Stąd następny rozdział poświęcony będzie temu zagadnieniu.

2. Estymacja w modelu z ograniczeniami równościowymi. Roz- ważmy model postaci

(2.1) M t = {y,X/3|A(/3 = b t,t?2V }, gdzie

(2.2) A tp = b,

jest układem równań liniowych (restrykcji narzuconych na wektor /3), przy

czym zakładamy, że A f jest mt Xp wymiarową macierzą znanych współczyn-

ników, natomiast ht jest mt-wymiarowym wektorem o znanych składowych.

Zakładamy ponadto, że układ (2.2) jest niesprzeczny, tj. spełnia warunek

(2.3) b* G 7Z{A.t).

Zagadnienie estymacji najefektywniejszej układu funkcji K/3 w modelu (2.1) precyzuje następujące

T

1. Estymatorem najefektywniejszym układu funkcji K (3 w modelu A it jest statystyka K/3*, gdzie

(2.4) Pt = P + C - A '( A tC T A j ) - ( b 4 - A J ) + z jest rozwiązaniem optymalnym zagadnienia

(2.5) {min f(p)\ A pt = b f},

(3 jest określone w (1.12) natomiast z jest dowolnym wektorem z przestrzeni JV(C). Statystyka K.f3t jest niezmiennicza ze względu na wybór wszystkich

występujących w niej uogólnionych macierzy odwrotnych.

D o w ó d . Dla dowodu zauważmy najpierw, że (2.6) U(A't) C 1Z(X') = n ( C).

Zgodnie z Wnioskiem D3 (patrz Dodatek) rozwiązanie optymalne (3t zagad- nienia (2.5) spełnia dwa poniższe warunki

(2.7) A tPt = b t,

(2.8) C 0 , - 0) = A'tu,-

gdzie u jest pewnym mt-wymiarowym wektorem . Traktując Pt~ P jako wek- tor niewiadomych układ (2.8) jest niesprzeczny (A [u G 7Z(C)) stąd (patrz [22], str. 23)

(2.9) Pt — (3 = C~ A^u + z, gdzie z G M (C ).

Z drugiej strony mnożąc lewostronnie (2.8) przez A tC~ oraz wobec (2.6) i (2.7) otrzymujemy niesprzeczny, ze względu na wektor u, układ równań A tC _ A ,fu = (b t — A t fi), skąd

(2.10) u = (A iC ~ A j)" (b i - A tp) + zi, gdzie z x G N (A tC~A't).

Z kolei wstawiając (2.10) do (2.9) oraz wobec A^Zi = 0 otrzymujemy

Pt = P + C~ A't(A tC ~ A't)~ (b t — A tP) + z, skąd wobec (2.6) i z G A/’(C )

otrzymujemy (2.4). Dla skompletowania dowodu wystarczy zauważyć, że na

mocy własności (vi) ([22], str. 44), niezmienniczość formuły K Pt ze względu

na wybór macierzy C - wynika z relacji (1.8) oraz (2.6) natomiast ze względu

na wybór macierzy (A tC~A't)~ wynika z relacji b t G TZ(AtC~A't) oraz

7Z(At) C n (A tC -A 't). •

W sytuacji, gdy macierz X jest pełnego rzędu kolumnowego, istnieje najefektywniejszy estymator wektora (3 w modelu (2.1) i jest on postaci

% = /? + C -1 A 5(A tC ~ 1A ,t) “ (b t - A tiS), gdzie tutaj /? = C -1 X 'V ~ y (patrz [11], Twierdzenie 7). Jeżeli ponadto, oprócz X , również macierz A ' jest pełnego rzędu kolumnowego a V jest macierzą nieosobliwą, to Twierdzenie 1 uogólnia znany rezultat zamieszczony np. w książce Lewisa i Odella ([15], str. 100).

Niech

(2.11) A v (3 = b

będzie innym niesprzecznym układem równań (restrykcji).

L

1. Zbiory rozwiązań układów równań (2.2) i (2.11) są identyczne wtedy i tylko wtedy, gdy

(2.12) H {A V) = 7Z(At)

oraz

(2.13) A fA t- b t/ = b t.

D o w ó d . Wiadomo (patrz [24], str. 58), że warunkiem koniecznym i do- statecznym równości rozmaitości liniowych Z i = A ^ bf T A f(A t) oraz Z

= A~,btl + A f(A t>) jest

(2.14) J\r(At) = A r(A t.)

oraz

(2.15) A^b* - A ;,b t, e JV(At).

Ponieważ inkluzje 7Z(A,t) C 7Z(A[,) oraz AT(At') C A f(A t) są równoważne, stąd (2.14) można zapisać w postaci (2.12). Wobec równości

(2.16) A f{A t) = n ( l ~ A T A t)

(patrz [19]) oraz idempotentności macierzy I — A^ A t warunek (2.15) można zapisać w postaci

(I — A t A *)(A t b t — A f,b*/) = A t b t — A t,b

która to równość, przy warunku (2.3), jest spełniona wtedy i tylko wtedy, gdy spełniona jest relacja (2.13). ■

Z relacji (2.12) istnieje taka macierz L, że

(2.17)

; = A'(,L.

Mnożąc (2.11) lewostronnie przez macierz L' oraz wobec niesprzeczności układu (2.11) otrzymujemy

L 'A t'P = L 'A tlA ;lb tl,

skąd na mocy (2.17) oraz (2.13) otrzymujemy układ (2.3). Zatem prawdziwy jest następujący

L

2. Rozwiązania optymalne zagadnienia (2.5) oraz zagadnienia (2.18) {m in/(/3)|At./3 = bf-},

są identyczne wtedy i tylko wtedy, gdy spełnione są warunki (2.12) i (2.13).

W świetle Twierdzenia 1 i Lematu 2 można sformułować następujący WNIOSEK 1. Niech K j3 będzie układem funkcji estymowalnych w modelu M . W modelach M t = { y,X/3\At/3 = b*,<72V } oraz M p = {y,X/3|Af//3 = b i',<r2V } estymatory najefektywniejsze układu funkcji K/3 są identyczne wtedy i tylko wtedy, gdy spełnione są warunki (2.12) i (2.13). ■

Omówienie estymacji w modelu M t jest w pełni uzasadnione, bowiem w przypadku modelu M * formuła (2.4) będzie miała zastosowanie. W tym celu poczynimy umowę, że współczynniki układu (2.2) są takie same jak współczynniki układu A t/3 > b, stanowiącego pewien podukład ukła- du (1.3).

3. Estymacja w modelu z ograniczeniami nierównościowymi.

Będziemy stosować pojęcia: estymator ICGLS, gdy wektor y jest rozumiany jako zmienna losowa oraz wartość estymatora ICGLS, gdy y jest ustalony.

Wobec definicji estymatora ICGLS układu funkcji K (3 przejdźmy do roz- wiązywania zagadnienia (1.9). W tym celu wprowadźmy wektor

(3.1) /?* = /? + Q cz,

gdzie Q c = I — C _ C, C i (3 są określone odpowiednio w (1.11) i (1.12), natomiast z jest dowolnym p-wymiarowym wektorem. Podstawienie rozwią- zania (3.1) do układu (1.3) daje warunek (układ nierówności ze względu na wektor z) w postaci A Q cz > b — A C ~ X /V _ y, który jednakże wobec założenia (1.7) upraszcza się do postaci

(3.2) A C " X ,V " y > b

i jest niezmienniczy ze względu na wybór uogólnionych odwrotności macie- rzy C oraz V . Podzielmy teraz przestrzeń 7v(V), tj. przestrzeń obserwowanej zmiennej losowej y, na dwie części

f _{Y = {y} e n ( V ) : A C - X ' V - y > b}

I Y = {y G 77(V : A C T X 'V -y £ b } (3.4)

W rozważanym problemie estymacji wektora (3 w modelu M * przydatny

będzie następujący

L

3. Niech wektor y będzie ustalony, niech (3 — C X 'V y oraz niech wektor (3* będzie rozwiązaniem optymalnym zagadnienia (1.9).

(i) Jeżeli dla jakiejkolwiek macierzy C~ zachodzi A (3 > b, to dla każ- dego wektora z G R p (3* = (3 + Q cz oraz /(/?*) = /(/2).

(ii) Jeżeli dla jakiejkolwiek macierzy C _ zachodzi A (3 ^ b, to (3* leży na brzegu zbioru B oraz zachodzi nierówność /(/?*) > f((3).

D o w ó d . Zauważmy najpierw, że wobec (1.7) A (3* = A {(3). Ponieważ część (i) jest oczywista przejdźmy do sytuacji, gdy A(3 b, tj. gdy mi- nimum bezwarunkowe (3 + Q cz nie leży w obszarze B, dla jakiegokolwiek wektora z G R p. Dla dowodu niewprost załóżmy, że (3* (rozwiązanie opty- malne zagadnienia (1.9)) leży wewnątrz obszaru B. Ponieważ (3 £ B oraz (3 * leży wewnątrz obszaru B (skąd (3* ^ (3 oraz /(/?) > /(/?)), więc istnieje taki skalar a G (0,1) oraz taki wektor (3, że (3 = af3 + (1 - a)/3* G B. Wobec relacji

f(P) < m a x {/(^ ),/(^ )},

(patrz [15], str. 113) zachodzi nierówność f((3) < f(f3*), która przeczy za- łożeniu jakoby wektor {3* był rozwiązaniem optymalnym zagadnienia (1.9).

Zwróćmy uwagę, że na podstawie części (ii) Lematu 3 istnieje taki układ

ograniczeń równościowych (2.2), lub inaczej podzbiór hiperpłaszczyzn ogra-

niczających obszar B, że rozwiązanie zagadnienia (2.5), wyrażone wektorem

(3t, jest jednocześnie rozwiązaniem zagadnienia (1.9). Zauważmy, że jeżeli

brzeg obszaru B utworzony byłby przez m hiperpłaszczyzn liniowo niezależ-

nych wówczas 2m — 1 podzbiorów hiperpłaszczyzn (układów równań) opi-

sywałoby brzeg obszaru B. Ponieważ macierz A jest dowolnego rzędu, więc

istnieje co najwyżej 2m — 1 podzborów hiperpłaszczyzn (układów równań)

opisujących brzeg tego obszaru. Pomijane są tu sprzeczne podukłady a spo-

śród układów równoważnych (o których mowa w Lemacie 1) wybrać wystar-

czy jakiegoś reprezentanta. Zatem dla ustalonego wektora obserwacji y pro-

blem estymacji polega na wybraniu takiego układu hiperpłaszczyzn (2.2),

na przecięciu których leży rozwiązanie optymalne zagadnienia (1.9). Nie-

trudno wywnioskować, że przy innej realizacji wektora y niekoniecznie ten

sam podzbiór hiperpłaszczyzn może dać rozwiązanie optymalne zagadnienia

(1.9). Niemniej jednak istnieje taki podzbiór Y* przestrzeni 7£(V), realiza-

cji wektora y, że dla każdego y G Y t ten sam podzbiór hiperpłaszczyzn,

powiedzmy A tf3 = uczestniczy w wyznaczeniu rozwiązania optymalnego

zagadnienia (1.9). Innymi słowy, dla każdego y G Y t formula (2.4) wyznacza

rozwiązanie optymalne zagadnienia (1.9). Oczywiście, z innym podzbiorem

hiperpłaszczyzn stowarzyszony jest na ogół inny podzbiór przestrzeni 1Z{Y).

Chcąc zatem skonstruować estymator dla K/3 w modelu M * dokonajmy dalszego podziału zbioru Y określonego w (3.4). Przedtem jednak utwórzmy zbiór wszystkich kombinacji elementów zbioru {1 ,2 ,3 ,..., m ) i oznaczmy go symbolem T, zaś jego element, tj. pewną wybraną kombinację, symbolem t.

Tak skonstruowany zbiór liczy 2m — 1 elementów. Jeśli zbiór {1 ,2 ,3 ,..., m } zawiera numery równań (hiperpłaszczyzn) z układu A (3 = b, wtedy zbiór T zawiera wszystkie możliwe podzbiory numerów tych hiperpłaszczyzn, o ile A jest macierzą pełnego rzędu wierszowego. Niech T* C T zawiera tylko te kombinacje t G T, które odpowiadają niesprzecznym podukładom układu A (3 = b, przy czym w przypadku podukładów równoważnych sobie (w sensie Lematu 1), wybierany jest jeden reprezentant. Element t zbioru T*, widnie- jący w zapisie układu A*/3 = b t, informuje, że w skład tego układu wchodzą równania o numerach zawartych w kombinacji t.

Reasumując, można powiedzieć, że przestrzeń 7£(V) wartości wektora obserwacji może być podzielona na szereg podzbiorów (Y oraz Y* dla t G T*) oraz, że na każdym z tych podzbiorów estymator ICGLS wyraża się inną formułą.

Formalizacją powyższych rozważań jest następujące

T

2. Niech układ funkcji K (3 będzie estymowalny w modelu {y , X/3, cr2V }. Estymatorem ICGLS układu funkcji K(3 w modelu AJ* jest statystyka

gdzie (5 jest określone w (1.12), natomiast {K /3} oznacza rodzinę formuł określonych w Twierdzeniu 1 i różniących się między sobą kombinacjami użytych równań w układzie A tf3 — b*. ■

D o w ó d . Dla y G Y spełniona jest relacja A/3 > b, zatem zgodnie z częścią (i) Lematu 3 rozwiązaniem zagadnienia (1.9) jest wektor /3* = (I -f Q cz. Stąd, wobec określenia estymatora ICGLS dla K/3 i relacji (1.8) estymator ten przyjmuje postać K/3.

Rozważając zbiór Y zauważmy, że relacja A C ^ X 'V 'y b oznacza w istocie, że przy konkretnym wektorze y co najmniej jedna nierówność nie jest spełniona. Wtedy zgodnie z Lematem 3 rozwiązanie zagadnienia (1.9) leży na brzegu obszaru B, a więc na przecięciu pewnego układu hiperpłasz- czyzn, powiedzmy A tf3 = b*, o numerach stanowiących pewną kombinację t ze zbioru T*. Dla każdej kombinacji / G T* istnieje pewien podzbiór Y ( C Y taki, że na całym podzbiorze Y* rozwiązanie zagadnienia (1.9) uzyskuje się rozwiązując zagadnienie (2.5) (patrz Twierdzenie 1). ■

Zwróćmy uwagę, że dla modelu M oraz M t estymatory wektora K/3 wyrażają się jednakowymi formułami dla każdej realizacji wektora y (są

(3.5) dla y G Y

dla y G Y t oraz t G T*,

liniowe). Z Twierdzenia 2 widać, że estymator ICGLS jest liniowy tylko na poszczególnych zbiorach Y oraz Y* dla t £ T*, a liniowy i nieobciążony jedynie na zbiorze Y. Stąd ogólnie, w przestrzeni 7£(V), nie jest on liniowy i nieobciążony. Zauważmy też, że dla ustalonej realizacji wektora y tylko jedna z możliwych formuł ma zastosowanie.

Specyfikacja podzbiorów Y* dla t £ T* nastręcza niestety trudności, nie tylko przy dużej liczbie restrykcji. Oczywiście trudności tych nie ma, gdy rozważymy model liniowy z tzw. restrykcją jednoczesną postaci

gdzie c oraz b są znanymi skalarami, zaś a jest znanym p-wymiarowym wektorem.

W przypadku takiej restrykcji przestrzeń 7£(V), realizacji wektora y, dzieli się na 3 rozłączne podzbiory postaci

Można zatem sformułować następujący

W

2. W modelu {y,X/?|c < a'(3 < 6, <r2V } estymator ICGLS układu funkcji Kj3 jest postaci

gdzie (3 i C są określone odpowiednio w (1.12) i (1.11), natomiast Y, Y i, Y

zdefiniowano w (3.6).

D o w ó d . Pomijając oczywistość przypadku, gdy y £ Y, rozważmy dwa pozostałe. Zauważmy, że jeżeli y £ Yi, to rozwiązanie zagadnienia (1.9) leży na hiperpłaszczyźnie aj(3 = 6, i jest rozwiązaniem optymalnym zagadnienia {min f(f3)\aj(3 = b}. Wtedy, zgodnie z Twierdzeniem 1 estymator ICGLS dla K (3 przyjmuje postać K/3*, gdzie (3* = /3 + C~a(a/C~a_ (6 —a'/3) + z, dla z £ AĆ(C). Uwzględniając (1.8) otrzymujemy środkową postać w (3.7). Jeżeli y £ Y

to rozwiązanie zagadnienia (1.9) leży na hiperpłaszczyźnie aj(3 = c i czyniąc analogiczne kroki jak w poprzednim przypadku otrzymujemy trzecią postać w formule (3.7). ■

W przypadku, gdy V = I przedstawiony we Wniosku 2 rezultat został podany przez Klemna i Sposito ([12]), przy czym warto podkreślić, że ko- rzystali oni bezpośrednio z twierdzenia Kuhna-Tuckera ([13], patrz także

c < aj(3 < 6,

(3.6)

[10]).

Przechodząc obecnie do rozważań z liczniejszym zbiorem restrykcji nie będziemy specyfikować wszystkich formuł określających estymator ICGLS ani zbiorów Y* dla t £ T*. Uzasadnieniem takiego postępowania jest fakt, że dla konkretnego wektora y tylko jedna z tych formuł ma zastosowanie. Stąd uwaga nasza skoncentrowana będzie na sposobie wyboru układu A tfi = b*, który, przy ustalonym wektorze y, dostarczy rozwiązania optymalnego za- gadnienia (1.9) tj. dostarczy wartości estymatora ICGLS. Niech A tfi > bt stanowi uzupełnienie układu A*/? > b t do układu (1.3) w taki sposób, że (1.3) jest równoważny układowi (D3) (patrz Dodatek). Ażeby sprawdzić, czy wybrany podukład może dostarczyć rozwiązania optymalnego zagadnienia (1.9), należy najpierw wyznaczyć rozwiązanie fit zagadnienia (2.5), a na- stępnie sprawdzić, czy rozwiązanie to (patrz Wniosek D l) spełnia relację

(3.8) A tfit > b,

będącą warunkiem wstępnym na to, aby fi mógł kandydować do miana roz- wiązania optymalnego zagadnienia (1.9) (dla wektorów a i c relacja a > c oznacza, że wektor a — c ma wszystkie składowe dodatnie). Poniższe twier- dzenie podaje warunek konieczny i dostateczny na to, aby układ (2.2) do- starczył rozwiązania optymalnego zagadnienia (1.9).

T

3. Niech Y będzie zbiorem określonym w (3.4) oraz niech y £ Y będzie pewnym zaobserwowanym wektorem. Niech ponadto

tj.

rozwiązanie optymalne zagadnienia {min f(fi)\A fit = b*}, spełnia warunek (3.8) . Przy tych założeniach wektor K fit jest wartością estymatora ICGLS wtedy i tylko wtedy, gdy istnieje rozwiązanie ze względu na wektor w układu (3.9) (I - E ~E )w > (A tCT A't) - ( A tfi - b t),

gdzie E = A *C - A^.

D o w ó d . ( “ =>” ). Załóżmy, K fit jest wartością estymatora ICGLS, tzn.

fit jest rozwiązaniem optymalnym zagadnienia (1.9). Wobec Wniosku D l istnieje taki nieujemny wektor u*, że spełniona jest równość

(3.10) C {fit - f i ) - A'tut = 0.

Mnożąc (3.10) lewostronnie przez A tC ~ oraz uwzględniając równość A tfit = b t otrzymujemy bt — A tfi = A tC~A'tut oraz

(3.11) ut = -(A tCT A ') - ( b t - A tfi) + (I - E "E )w . Stąd, wobec nieujemności wektora ut, wynika relacja (3.9).

Obecnie (” <t=” ) załóżmy, że istnieje taki wektor w rozwiązujący układ

(3.9). Wtedy, przyjmują u* postaci (3.11) oraz korzystając z formuły (2.4)

stwierdzamy spełnienie równości (3.10). W konsekwencji na mocy Wnio-

sku D l wektor (3t jest rozwiązaniem optymalnym zagadnienia (1.9), a zatem K (3 jest wartością estymatora ICGLS. ■

Ustalenie optymalności wektora K(3 można niekiedy uzyskać poprzez warunek dostateczny.

W

3. Niech Y będzie zbiorem określonym w (3.4) oraz niech y G Y będzie pewnym zaobserwowanym wektorem. Niech ponadto wektor (3t będący rozwiązaniem optymalnym zagadnienia {min f((3)\A(3t — bt} spełnia waru- nek (3.8). Warunkiem dostatecznym na to, aby wektor K (3t był wartością estymatora ICGLS jest aby

(3.12) ( A f C - A ') - ^ - A t/3) > 0.

Jeśli dodatkowo założymy, że macierz A t jest pełnego rzędu wierszowego, to warunek (3.12) jest także warunkiem koniecznym.

D o w ó d . Najpierw zauważmy, że warunek (3.12) implikuje rozwiązal- ność układu (3.9). Rozwiązaniem jest wektor w = 0. Stąd wektor (3t jest optymalnym rozwiązaniem zagadnienia (1.9) a K/3* jest wartością estyma- tora ICGLS dla K (3.

Dla dowodu drugiej części zauważmy, że pełny rząd wierszowy macie- rzy A t implikuje nieosobliwość macierzy E i w konsekwencji warunek (3.9) redukuje się do relacji

(3.13) (A

C - A ; ) - 1^ - A,/?) > 0. ■

Przy ustalonym wektorze y wybór formuły estymatora ICGLS dla K (3 można dokonać korzystając z następującej procedury.

P R O C E D U R A 1. Niech (3* oznacza rozwiązanie optymalne zagadnie- nia {min f((3)\ A(3 > b } natomiast K/3* estymator ICGLS dla K f3 w modelu {y,X/3|A/?>b,<T2V }.

KROK 1. Obliczamy (3* = C “ X 'V ~ y , tj. punkt stacjonarny funkcji f{(3).

Jeżeli A(3 > b, to K (3* — K (3. W przeciwnym razie przechodzimy do kroku 2.

KROK 2. Wybieramy t £ T (tj. układ A tj3 = b*) i obliczamy (3t = (3-\- C - A ^ C - A j r O u - A ^ ) .

KROK 3. Jeżeli A tj3t > b^ oraz układ (3.9) ma rozwiązanie ze względu na wektor w , to K/3* = K/3*. W przeciwnym razie przechodzimy do kroku 2. ■

Warto zwrócić uwagę, że w kroku 3 zamiast warunku (3.8) użyto warunku

z nierównością nieostrą. Możliwość ta wynika z faktu, że w procedurze tej

wykorzystuje się wyłącznie warunek dostateczny rozwiązania optymalnego

zagadnienia (1.9) (patrz Wniosek D2). Odnośnie układu (3.9), występują- cego również w kroku 3 powyższej procedury, podkreślmy, że jeżeli zachodzi warunek postaci (A tC ~ A })~ (b t - A t(3) > 0, to badanie rozwiązalności układu (3.9) jest zbędne.

Obecnie przejdźmy do uproszczenia modelu M * zakładając, że macierz dyspersji V jest macierzą nieosobliwą oraz, że X i A ' są macierzami peł- nego rzędu kolumnowego. Przy tych założeniach rozwiązanie /3t zagadnienia {min f((3)\A(3t = b j przyjmuje postać

(3.14) Ao = A) + C o 'A jfA iC o 'A ',) - 1^ , - A ,0 )

gdzie (3

= C

1X /V _1y, C 0 = X 'V -1 X a relacja (3.8) wyraża się nierów- nością,

(3.15) AtPto > b f.

W

4. Niech w modelu nieosobliwym M macierze X oraz A ' będą pełnego rzędu kolumnowego oraz niech wektor y należący do Y spełnia po- nadto relację (3.15). Przy tych założeniach (3to określone w (3.14) jest war- tością estymatora ICGLS wektora (3 wtedy i tylko wtedy, gdy zachodzi nie- równość

(3.16) (A iCQ1A f ) " 1(b( - A ,/?) > 0. ■

Przy powyższych uproszczeniach modelu AJ* Procedura 1 może być sfor- mułowana następująco.

P R O C E D U R A 2. Niech w modelu M * = {y,X /?|A (3 > b,<r2V ), V będzie macierzą nieosobliwą^ natomiast macierze X oraz A ' będą pełnego rzędu kolumnowego. Niech /3* oznacza estymator ICGLS wektora (3 w mo- delu M *.

KROK 1. Obliczamy (3

= C o 1X 'V _1y, tj. najefektywniejszy estymator wektora (3 w modelu bez restrykcji M . Jeśli A(3$ > b, to /?* = (3

. W przeciwnym przypadku przechodzimy do kroku 2.

KROK 2. Wybieramy t € T i wyznaczamy

Ao = A) + C

‘ A ^ A tC ^1 A j)_1(b( - A ,0).

KROK 3. Jeśli A tf3m > b, i ( A tC ó l A ',)-1 (b t - A $ ) > 0, to j), = 0 to.

W przeciwnym przypadku przechodzimy do kroku 2. ■

W świetle Wniosku 4 należy zaznaczyć, że formuła (3.14) pokrywa się z jedną z formuł podanych przez Wernera (1990, Theorem 3.4), natomiast przy dodatkowym uproszczeniu V = I, z formułą uzyskaną przez Escobara i Skarpnessa ([4]). Warto zaznaczyć, że w obu tych pracach stosowane są odmienne podejścia.

Zagadnienie estymacji przy założeniach modelowych sprecyzowanych we

Wniosku 4 było rozważane również przez Liew ([16], [17]). Jego rezultat

stwierdza, że estymatorem ICGLS jest

(3.17) P* = A) + Cg 1 A'A,

gdzie A jest rozwiązaniem tzw. zagadnienia komplementarnego

(3.18) v = A C 0“ 1A'A + b - A / ? 0, v'A = 0, v > 0 i A > 0,

i może być wyznaczone w oparciu o znane algorytmy (patrz np. [3], [14]).

Chcąc określić związek pomiędzy wektorem (3.17) i wektorem danym w (3.14) zauważmy, że w świetle Wniosku 3 wektory

v = ( A j (0° - b t ) oraz A = ( ( A ' C o l A i ) o1(b ‘ - A ‘/3) ) rozwiązują zagadnienia komplementarne (3.18) oraz, że podstawienie tak ustalonego wektora A do formuły (3.17) sprowadza ten estymator do po- staci (3.14).

Proponowana w niniejszej pracy metoda może być z powodzeniem stoso- wana w przypadku, gdy liczba restrykcji jest niewielka. W przypadku, gdy liczba ograniczeń jest dość duża można zastosować którąś z metod progra- mowania kwadratowego (patrz np. [14]; [3]) lub atrakcyjną metodę rzutu gradientu Rosena (patrz [23]; patrz także [6]).

Na zakończenie warto podkreślić, że podanie formuł w postaci explicite ma istotne znaczenie w badaniu własności estymatorów ICGLS.

D O D A T E K

W tej części podane są warunki optymalności Kuhna-Tuckera sformuło- wane dla zagadnienia {min f{(3)\Aft > b }, określonego w (1.9).

L

D ([13]; patrz także [4] oraz [10], str. 59). Wektor (3* jest rozwią- zaniem optymalnym zagadnienia określonego w (1.9), wtedy i tylko wtedy, gdy

(DO) Aft, > b

oraz istnieje taki nieujemny rn-wymiarowy wektor u, dla którego spełnione są równości

(Dl) C(/3* — fi) — A 'u = 0

oraz

(D2) u'(Aft* - b) = 0,

gdzie C oraz (3 są określone odpowiednio w (1.11) i (1.12). ■

Praktyczną konsekwencją powyższego lematu jest następujący W

D l. Niech układ Afi > b będzie zapisany w postaci

gdzie macierze A*, A t oraz wektory b*, b t mają wymiary odpowiednio równe mt x p , (m — mt) x p oraz mt X 1, (m - mt) X 1. Niech ponadto dla wektora fi* zachodzą relacje

(D4) A

= ht oraz A tfi* > b t.

Przy tych założeniach fi* jest rozwiązaniem optymalnym zagadnienia (1.9) wtedy i tylko wtedy, gdy istnieje taki nieujemny mt-wymiarowy wektor u*, że

(D5) C (fi* - f i ) - A'tut = 0.

D o w ó d . ( “=£•” ). Załóżmy, że fi* jest rozwiązaniem optymalnym zagad- nienia (1.9). Wobec Lematu D istnieje nieujemny wektor u spełniający (Dl) i (D2). Przyjmując u = oraz A i b jak w (D3) widać, że warunek (D2) można zapisać w postaci

uj(bt - A t fi*) + uJ(A tfi* ~ b t) = O,

skąd wobec (D4) wynika ut = O oraz uf > 0. Stąd (Dl) redukuje się do postaci (D5).

(” <=” ) Najpierw zauważmy, że wobec (D4) spełniony jest warunek (DO).

Teraz załóżmy istnienie nieujemnego wektora u* takiego, że warunek (D5) zachodzi. Przyjmując u = (u*,ut)' z ut = O widzimy spełnianie warun- ków (Dl) i (D2), co w świetle Lematu D dowodzi, że fi* jest rozwiązaniem optymalnym zagadnienia (1.9). ■

Warto zwrócić uwagę, że w dowodzie dostateczności Wniosku D l drugi warunek w (D4) może być wyrażony w postaci nierówności nieostrej. Można zatem warunek dostateczności rozwiązania zagadnienia (1.9) sformułować następująco

WNIOSEK D2. Niech układ nierówności A fi > b będzie przedstawiony w postaci (D3) oraz niech fi* spełnia relację

A tfi* = b* oraz A tfi* > b t.

Wtedy fi* jest rozwiązaniem optymalnym zagadnienia (1.9), jeżeli istnieje

taki nieujemny mt-wymiarowy wektor u*, że spełniony jest warunek (D5).

W sytuacji, gdy ograniczenia w postaci układu nierówności A (3 > b za- stąpimy ograniczeniami w postaci układu równości A (3 = b, warunki podane w Lemacie D upraszczają się jak poniżej.

W n i o s e k

D3. Wektor (3* jest rozwiązaniem optymalnym zagadnienia

(D6) {min/(/3)|A/3 = b }

wtedy i tylko wtedy, gdy A/3* = b oraz istnieje pewien m-wymiarowy wektor u, dla którego spełniony jest warunek (Dl).

D o w ó d . Przyjmując A = ^ ^Ay oraz ^ = \ ^b J mozna zagadnienie (D6) zapisać równoważnie w postaci

(D7) {min/(/3)|A/3 > b }.

Wtedy, zgodnie z Lematem D, wektor /?* jest rozwiązaniem optymalnym zagadnienia określonego w (D7) wtedy i tylko wtedy, gdy

(D8) A/?* > b

oraz istnieje taki nieujemny 2m-wymiarowy wektor u = ( u i , ^ ) ' , dla któ- rego spełnione są równości

(D9) C {0 , - 0) - A '5 = 0

oraz

(D10) u'(A/3* — b) = 0.

Ponieważ (D8) jest równoważny A (3* = b oraz (D9) i (D10) dają się zapisać w postaci

(Dli) C ( A - ^ ) - A ' ( Ul- u 2) = 0 i

(D12) (ui -

2)'( A ^ - b) = 0,

więc warunek (D12), jako zawsze spełniony, może być pominięty, natomiast za wektor u występujący w treści Wniosku D3 można przyjąć Ui — U

, którego składowe mogą mieć dowolny znak. ■

Literatura cytowana

[1] R. D. A r m s tr o n g , E. L. F r o m e, A branch-and-bound solution of a restricted least squares problem, Technometrics, 18 (1976), 447-450.

[2] J. K. B a k s a la r y , R. K a la , Estymowalność liniowych funkcji parametrycznych w jednowymiarowym modelu liniowym z restrykcjami, Matematyka Stosowana XII (1978), 145-151.

[3] R. W . C o t t le , G. B. D a n tz ig , Complementary pivot of mathematical program- ming, G. B. Dantzig i V. C. Eaves, eds., Studies in Optimization 10 (1974) Wa- shington, Mathematical Association of America.

L. A. E sc o b a r , B. S k a r p n e e s, A closed form solution for the least squares regres- sion problem with linear inequality constraints, Commun. Statist. -Theor. Meth. 13 (1984) , 1127-1134.

— , Mean squares error and efficiency of the least squares estimator over interval constraints, Commun. Statist. -Theor. Meth. 16 (1987), 397-406.

J. G re ń , Metoda rzutu gradientu w programowaniu nieliniowym, Przegląd Staty- styczny 3 (1965), 237-249.

T . Ito , Methods of estimation for multi-market disequilibrium models, Econometrica 48 (1980), 97-125.

G. G. Ju dge, T . T a k a y a m a , Inequality restrictions in regression analisis, JASA 61 (1966), 166-181.

G. G. J udge, T . A . Y a n c e y , Improved Methods of Inference in Econometrics, North-Holland, Amsterdam, 1986.

V. G. K a r m a n o v , Mathematical Programming. Mir Publishers, Moscov, 1989.

R. K a la , K. K ła c z y ń s k i, O estymacji parametrów w jednowymiarowym modelu liniowym z restrykcjami, Matematyka Stosowana X X IV (1985), 5-20.

R. J. K le m n , V . A . S p o s ito , Least squares solutions over interval restrictions, Commun. Statist. -Simula. Computa. B9 (1980), 423-425.

H. W . K u h n , A . W . T u c k e r , Nonlinear Programming, Second Berkeley Sym- posium Proceedings on Mathematical Statistics and Probability (1951), Berkelej, California: University of California Press.

C. E. L em k e, A method of solution for quadratic programs, Management Science 8 (1962), 442-452.

T . O. L ew is, P. L. O d e ll, Estimation in Linear Models, Prentice-Hall, Inc. Engle- wood Cliffs, New Jersey, 1971.

Ch. K. L iew , Inequality constrained least-squares estimation, JASA 71 (1976a), 746-751.

— , A two-stage least-squares estimation with inequality restrictions on parameters, The Review of Economics and Statistics LVIII No. 2 (1976b), '^ 4 -2 3 8 .

M. C. L o w e ll, E. P r e s c o tt , Multiple regression with inequality constraints: Pre- testing bias, hypothesis testing and efficiency, JASA 65 (1970), 913-925.

G. M a r s a g lia , G. P. H. S ty a n , Equalities and inequalities for ranks of matrices, Linear and Multilinear Algebra 2 (1974), 269-292.

K. M. M itr a , C. R. R ao, Some results in estimation and tests of linear hypotheses under the Gauss-Markoff model, Sankhya A 30 (1968), 281-290.

K. N o r d s tr o m , On the decomposition of the singular Gauss-Markov model, Lin- near Statistical Inference, Proceedings of the International Conference held at Po- znan, Poland, 4 -8 June 1984 (T. Caliński and W . Klonecki, eds.), Springer, Berlin (1985) , 231-245.

C. R. R ao, Modele liniowe statystyki matematycznej, P W N , Warszawa, 1982.

J. B. R o se n , The gradient production method for nonlinear programming. Part I.

Linear Constraints, Soc. Indust. Appl. Math. Journal 8 (1960), 181-197.

R. P. S to ll, E .T . W o n g , Linear Algebra, Academic Press, New York, 1968.

H. T h e il, Zasady ekonometrii, P W N , Warszawa, 1979.

M. S. W a te r m a n , A restricted least squares problem, Technometrics 16 (1974), 135-136.

H. J. W e r n e r , On Inequality Constrained Generalized Least Squares Estimation, Linear Algebra Appl. 127 (1990), 379-392.

Summary

On estimation of parameter functions in a weakly singular linear model with linear inequality restrictions

In this paper, the problem of ICGLS (Inequality Constrained Generalized Least Squ- ares) estimation of a given set function K /? in the weakly singular model M * —

{y, X/?| A/?

> b, <

2V}

A.

a given vector

y

y

{y

72.(V)

A/?

b},

(X/V _ X)~X/V~y,

y

{y

ft(V)

A/?

b}

b}.

A

bt,

bt})

optimal solution of the problem {min /( /? ) \Aj3 >

b),

(y — X ^ )^ - (y — X/?).

On the basis of the Kuhn-Tucker optymality conditions the necessary and sufficient conditions for a vector K fit to be the ICGLS estimator of K/? are presented. The estimators are given in explicit forms.

KATEDRA METOD MATEMATYCZNYCH I STATYSTYCZNYCH AKADEMIA ROLNICZA

WOJSKA POLSKIEGO 28 60-637 POZNAŃ