Estymacja ze stałą precyzją parametrów liniowego modelu regresji(Praca wpłynęła do Redakcji 27.09.1982)

ROCZNIKI POLSKIEGO TOW ARZYSTW A M ATEM ATYCZNEGO Seria III: M ATEM ATYKA STOSOWANA XX III (1984)

H e l e n a T r u s z c z y ń s k a

Warszawa

Estymacja ze stałą precyzją parametrów liniowego modelu regresji

(Praca wpłynęła do Redakcji 27.09.1982)

1. SFORMUŁOWANIE PROBLEMU

Rozważmy cięg niezależnych zmiennych losowych y^, y2 , ... takich, że y^ ■ (x*)Tp (i ■ 1» 2, ...), gdzie 0 jest nieznanym p-wymiarowym wektorem, x* - znanym, również p-wymiarowym wekto- rem, a - błędem losowym. Chcemy estymować wektor parametrów 0 ze stałę precyzję, tzn. chcemy znaleźć obszar R w p-wymiarowej przestrzeni euklidesowoj taki, że

(1) p { 0 e R } > oc,

(2) średnica R jest nie większa od 2d, gdzie «. i d sę ustalony- mi liczbami takimi, że 0 < c t < i i d > 0 .

Ponieważ nie istnieje procedura stałopróbkowa spełniajęca na- łożone warunki (dowód tego faktu w przypadku najprostszym, gdy p s i , można znaleźć na przykład w podręczniku Zacksa [6] , str.

539), rozważa się procedury sekwencyjne. Schemat rozumowania jest następujęcyt określa się estymator 0n parametru 0 oraz zależny

od niego obszar Rn i definiuje regułę zatrzymania N takę, że obszar Rj^ spełnia warunki (i) i (2).

Przypadek, gdy p * 1, x* *« 1 (i = 1, 2, .,.) i zmienne e±

(i » 1, 2, •••) sę nieskorelowane był rozważany przez wielu auto- rów (najważniejsze wyniki oraz odnośniki do literatury podane sę

w księżce Zacksa [6]), natomiast przypadkiem, gdy sę skorelo- wane zajmowali się Zieliński [5] i Gołdys [3] ,

[65]

W niniejszej pracy zajmiemy się przypadkiem, gdy (i • 1, 2, ...) sę nieskorelowane, ale p > 1. Będziemy zakładać, że zmień-

2 2

ne maję rozkłady normalne N(0, & ) z nieznanę wariancję 6 . Wektor obserwacji (y1# y2 , ..., yn) oznaczać będziemy przez Y n#

l*1 2 n T

a macierz eksperymentu (x , x , ..., x ) przez Xn (o macierzach Xp będziemy zakładać, że maję rzęd p). Pewne wyniki dla tego pro- blemu (nie zakładajęc normalności rozkładów zmiennych e1# i a 1, 2, ..., a jedynie ich niezależność) uzyskali Gleser [2] i Sriva- stava [4], Jako estymator pn parametru |3 przyjęli oni estyma- tor najmniejszych kwadratów, tzn.

Pn " V * xX - a jako obszar ufności - zbiór

Rn 13 {ź: ^z “ ^ n ^ z " ^n^ ^ rf2} # Regułę zatrzymania N zdefiniowali następujęcoi

N . i n f { n » T ; 11 ^ ~ *n H 2 ^< d2j ,

gdzie T oznacza „liczebność próbki poczętkowejM , T > p, A p jest najmniejszę wartościę własnę macierzy Xn Xn , a cięg janj jest do- T

wolnym cięgiem zbieżnym do stałej a takiej, że p { X p 4 a2} « ot.

Zakładając o macierzach eksperymentu Xn , że

(3) " ⁿ - E '

gdzie £ jest pewnę dodatnio określonę macierzę, udowodnili, że li* p {^P€ ^{r n} } ^ » tzn* że Risi spełnia asymptotycznie (przy

d — ►O) warunek (1).

W prdcy zostanie wykazane, że zastępujęc w regule zatrzymania N cięg zbieżny janj pewnym cięgiem rozbieżnym (tzn. wydłużając re- gułę zatrzymania N) można udowodnić, że obszar ufności R^ spełnia warunek (1) i to przy słabszym niż warunek (3) założeniu.

2. WARUNKI ZAPEWNIAJĄCE ESTYMACJĄ (5 ZE STAŁĄ PRECYZJĄ Określmy regułę zatrzymania następująco:

Six, ~ n II 2

ESTYMACOA ZE STAŁĄ PRECYZ3Ą PARAMETRÓW LINIOWEGO ... 67 gdzie a i T sy ustalonymi liczbami, a A , jak poprzednio,

*r "

najmniejszy wartościy własny macierzy Xn . Wykażemy prawdziwość nastypujycego twierdzenia.

TWIERDZENIE. Oeżeli spełnione sy następujyce warunki:

(i) (ii) (iii)

■q< 6-* < ©o , a > - 1 ,

istniejy stałe S > a i C > 0 takie, że

lim — sr-j" m A — c, to dla każdego d > 0 i dla każ- n->«> n

dego a e(0,l) istnieje stała T(oc) > p+1 taka, że reguła zatrzymania N określona wzorem (4) przy T ■ T(oc) spełnia następu jyce warunki:

(a) (b) (c)

P{n t < oo] ■ 1,

E Nm < oo dla każdego m - 1, 2, ..., p { i p N- u i :l2 <. d2 } > a .

D o w ó d , (a) Aby udowodnić zachodzenie warunku (a), wystar- czy wykazać, że P {N > n} 0. Korzystajyc z nierówności Cze- byszewa, otrzymujemy

P { n > n} < P llY n "

d2X, (n-p)

e*2( n-p)a+1 d2 A.

Styd na mocy (iii) wynika, że lim P {N > n} » 0.

n-*oo r 2 1

(b) Oszacujemy najpierw prawdopodobieństwo p | x n >

gdzie B jest dowolny stały większy od 0:

Korzystajęc z tego oszacowania, otrzymujemy

i2 A

E « ‘ . n™ P{N = n } < Y n" p| X2 , >-4=-— 0=1— -[>«

f e f fcr I n.p.i e2 (n.p.1)af

d2 A 1 -= a TT n , _m (n-p-l) „ 4& (n-p-l) 02

< / , n 2 ® 2 •

n=T

Z założenia (iii) oraz kryterium Cauchy’ego wynika, że szereg ten jest zbieżny dla każdego m,

(c) Zaczniemy od oszacowania prawdopodobieństwa

P(F > (n-P>lła-

|_ P»n-p ^ P Mamy

P<F > (n-p) 1+a p»n-p P

rf) r( ^ ) p 2 J _ p)i+» l » ^ 2 P

Korzystajęc ze wzoru Stirlinga dla funkcji f, otrzymujemy

r(i)(n~p) ^{* , c (n-p)2} n

r(|) r(!)jE)p 2 p p2

Oszacujemy teraz całkę 09

/

x !-■ dx . l+a (x+ ^ ) 2

(n-p; P

Sędziemy ję dalej oznaczać przez I*

ESTYMACOA ZE STAŁĄ PRECYZOĄ PARAMETRÓW LINIOWEGO 69

I et . I ^{+ {} T

o'"!

(z -

( n - p ) l ł a - f ( n - p )

CNJ

I ^{e-i- QZ}

( n - p ) l ł a * ( n - p )

n=E 2

( n - p ^ + t n - p T ^ P

Zauważmy, że:

(a) jeżeli a > 0, to

I < 2p

n - *

(n-p) ^ ( l + a ) + l

(b) jeżeli a * O, to n-H

2P__________

nzP + i *

2 2 ( n - p ) ^

(c) jeżeli a < O, to

2p

(n-p) -a

/(n-p)

(n-p) 1+a

I R (n-p)

n ^ l (nj£) 1+a *

Ostatecznie otrzymujemy

C |CM

4 = n n » > ^ S p,n-p P 1+a

-5"+§(l+a)-l

Cp(n-p) dla a > 0 ,

I -1

C _p (n-P}____ _B-E dla a - 0 ,

(n-p) ^£-1 2 1

1+a dla-l<a<0.

P (n-p) 2 Z otrzymanego oszacowania wynika, że szereg

p/F > (n-P>lłal Z ] P.n-p ^ p I

n-p+1 ^

jest zbieżny dla każdego a > -1. Tak więc dla każdej ustalonej liczby oc e (O, l) istnieje stała T > p+1 taka, że

0 9

E _n-T P 1 Fn n n > ^ ""ir } P#n-p ^ p 1+a

} < 1 - ot.

Niech T(oc) będzie najmniejszą takę liczbę naturalną i niech N będzie regułą zatrzymania zdefiniowaną wzorem (4)* przy T - T(ot), Mamy wówczas

oo , ^

p{(f>N - P >T(P n - |3) > d2j . 7 2 T(P_-P> > d2 A N . n U

n .T(o c)

< E P{'Pn-3)T > V * A n-T(oc)

A <^-p>a iVVnll 2 ,dal <

un

oo

< E _n«T(oc) - ^{| Fp,n- (n-p)1+a} ) < 1 - OL

ESTYMACJA ZE STAŁĄ PRECYZJĄ PARAMETRÓW LINIOWEGO ... 71 3. WARTOŚĆ OCZEKIWANA REGUŁY ZATRZYMANIA N

Łatwo zauważyć, że „długość" reguły zatrzymania N zależy od różnicy'

$ - aj im większa jest ta różnica, tym szybciej będzie następowało zatrzymanie. Udowodnimy następujęcy fakt:

FAKT. Jeżeli spełnione sę założenia twierdzenia, to

EN < ( - ^ 2 + T + i) + 1 dla S e (a , a + i) ,

g 2

EN < --- 5 - + T + 2 dla o > a + 1, Ad 2

gdzie A - inf | •

U w a g a . Wyrażenie po prawej stronie nierówności ma sens, gdyż A > O, co wynika z faktu, że C > 0 oraz rzęd macierzy eks- perymentu jest równy p.

D o w ó d . Zapiszmy wzór (4) definiujęcy regułę zatrzymania N w postaci

< - " > • ly; - x" ł " L

Z powyższej definicji widać, że spełniona jest następujęca nie- równość:

^ ; _• 1 (N-I-p ) 8 ||V-1 n ^ N - 1 < max<(T, 1 + --- 5 ---( ^

j2 a N-1 d “ JPi

< T + 1 + --- 3 ---<

.2 N-l d - n = t

T + 1 d A N A ' N * 1 * P) l ł 8 ' S

A 2 l|YN-l “ XN-1 ^ N-l|| o1„ £ ^ „ gdzie <?N_1 - N . p ~Z i---11— • Dla ó > 1 + a »

1 &

(N - 1 - p) +a~ < 1. Wobec tego otrzymujemy N - 1 < 1 + T + - •

d A N-1

Mnożęc obie strony powyższej nierówności przez N - p - 1, bioręc wartości oczekiwane obu stron i korzystajęc z twierdzenia Walda w następujęcej postaci:

E {^N-l (N - p - 1)} - 62 E(N - p - 1), otrzymujemy

& 2

E(N-l)(N-p-l) < (l+T)E(N-p-l) + — «E(N-p-l).

Ad Ponieważ

E(N-l)(N-p-l) = E N 2 - EN(p+2) + p + 1 >

EN } 2 - ( p+2) EN + p + 1, więc ostatecznie mamy

2 2

{EN}2 - EN(p+2+l+T+ - ~ ) + (p+l)(2+T+ < O.

Ad Ad

e>2

Pierwiastkami tego trójmianu sę (p+1) i (2 + T + -- «) , a więc

EN < 2 + T + — 2 ' Ad2

9 *

Ad

Rozpatrzmy teraz przypadek, gdy $ e (a, a + i). Ponieważ

N - 1 < T + 1 + - | - & 2 ± (N - 1 - p)1+a~^, d A N“1

więc mnożęc obie strony powyższej nierówności przez (N - p - l) ” ( S-a bioręc wartości oczekiwane obu stron, korzystajęc z twierdzenia Walda w postaci podanej wyżej i stosujęc nierówność Oensena dla

funkcji ( ⁿ - l)(N - p - (funkcja ta jest wypukła dla

N > p ) , otrzymujemy

ESTYMACJA ZE STAŁĄ PRECYZJĄ PARAMETRÓW LINIOWEGO ... 73

E(N - 1){ e (N - 1 - p)}^~3 < (T + 1)E(N - 1 - p)^~a +

6 -r

d2A E(N - 1 - p).

Ponieważ S e ( a, a + l) , więc mamy

&-a e2

E(N - 1)|E(N - 1 - p)} < (T + 1 + — p— ) E(N - 1 - p).

d A Wobec tego

e ( n - i ) < ( t + i +-^p— ) e ( n - 1 - p)1+a“^

N d A J

< (T + 1 + - % — ) E(N - # d A

Tak więc

1

/ 2 \^**^

EN < MT + 1 + -jg— ) + 1 •

4. PRZYKŁAD MACIERZY EKSPERYMENTU

Niech będzie dowolnym cięgiem macierzy ortonormalnych o wymiarach p x p. Macierz eksperymentu Xp konstruujemy następujęco:

X n * ( A 1 ' A 2 A ^ ' b T ) '

gdzie B jest macierzę q x p , 0 < q < p, składajęcę się z pier- wszych q wierszy macierzy A r+i» * r ■ jj^J (n ■ pr + q). Nie-

trudno zauważyć, że cięg macierzy {X3°° spełnia warunek (iii) twierdzenia. Mamy bowiem n»l

xlx„ » _{n n} ^rl + ^{BT B,}

gdzie I jest macierzę jednostkowę p * p. Zatem

!lxn xn - rl| - ||BT B|| « p2 .

Stęd, na mocy nierówności Weyla (por. [i]), mamy

r - p2 < An < r + p2 , czyli lim ~ ~ - . n ->co ^

A więc {Xj spełnia warunek (iii) twierdzenia (C * l/p» & ** o ) . 5. UOGÓLNIENIE

Na koniec rozpatrzmy nieco ogólniejszy przypadek. Niech jak po- przednio « X J + e_ i niech f Z n - [s, A \ bę-

n n •"

" ...

dzie cięgiem dodatnio określonych macierzy. 0 wektorze ęn =

* (£i» £o# •••# e i zakładamy, że ma rozkład normalny ze średnię 0 i macierzę kowariancji S ^"n* 6 Jest wielkością nieznanę, skończoną.

Estymator parametru [3 i regułę zatrzymania N określimy na- stępu jęco:

3n “ <X^ xnr l ^ E ń1 Yn-

r , N = inf | n > T > p + 1 . r ( ^{T 1} 1 ---— — ^ (n-p)8(V V n )T E ń 1 < ^ ^. d j J

T "“i \ 1

Korzystając z faktu, że A min (xn X n Xn) > ^ An 1 zakładając np., że ciąg norm spektralnych ciągu macierzy |^nj jest ograniczony, łatwo widać, że twierdzenie udowodnione dla po- przedniego przypadku pozostaje prawdziwe, jeżeli za przyjmuje- my 3n , a za N przyjmujemy N.

CJeżeli osłabimy założenie o ciągu macierzy { s n} » zakładając jedynie, że ciąg ich elementów maksymalnych jest ograniczony, to z dowodu twierdzenia wynika, że pozostaje ono prawdziwe dla a > O.

Kończąc, pragnę podziękować Panu docentowi Ryszardowi Zieliń- skiemu za poświęcony czas i pomoc udzieloną mi w trakcie pisania niniejszej pracy.

PRACE CYTOWANE

[1] O. N. Franklin, Matrix Theory, Prentice-Hall, Englewood Cliff®

1968.

[2] L. O. Gleser, On the asymptotic theory of fixed size sequential confidence bounds for linear regression parameters, Ann. Stat.

36 (1965), str. 463-467.

[3] B. Gołdys, Stałoprecyzyjna estymacja średniej gaussowskich zmiennych losowych, Praca doktorska, Wydz. Fiz. Techn. i Mat.

Stos. Politechniki Warszawskiej, Warszawa 1981 (Maszynopis).

[4] M. S. Srivastava, On fixed width confidence bounds for re- gression parameters and mean vector, 0. Roy. Stat. Soc. B. 28 (1967), str. 132-140.

[5] R. Zieliński, Fixed precision estimate of mean of a Gaussian sequence with unknown covariance structure. Math. Stat, and Prob. Theory, Proc. Sixth International Conference, Wisła, 1978.

[6] S. Zacks, The Theory of Statistical Inference, Wiley, New York 1971.

ESTYMACOA ZE STAŁĄ PRECYZOĄ PARAMETRÓW LINIOWEGO ..._____________ 75