• Nie Znaleziono Wyników

Estimation in Simple Linear Regression Model with Autoregressive Moving Averages (ARMA) Error

N/A
N/A
Protected

Academic year: 2021

Share "Estimation in Simple Linear Regression Model with Autoregressive Moving Averages (ARMA) Error"

Copied!
10
0
0

Pełen tekst

(1)

A C T A . U N I V E R S I T A T I S L O D Z I E N S I S POLIA OECONOMICA 5 4 И 9 8 6 __________________

A n d rz e j T om aszew icz*, Abdul M a jid Hamza A l- N a a lr

ON THE ESTIMATION IN SIMPLE LINEAR REGRESSION MODEL WITH AUTOREGRESSIVE MOVING AVERAGES (ЛЕМА) ERROR

1 . I n t r o d u o t l o n

Suppose t h a t a r e s p o n s e y^ f o llo w s t h e m odoil

y t - B0 + + e t , t ■ 1 , 2 , . . . ( D The s im p le l i n e a r e q u a ti o n (1 ) s t a t e s t h a t I n p e r i o d t , t h e ▼alue o f y , t h e r e s p o n s e , i s d e te rm in e d by f o u r f a o t o r s t t h e po-p u l a t i o n o o n s ta n t B0 , t h e po-p o po-p u l a t io n r e g r e s s i o n o o e f f i o i e n t B , , t h e l e v e l o f z , and t h e l e v e l o f • , t h e d i s t u r b a n c e t e r r a . The d i s t u r b a n c e te rm i s assum ed t o h av e c e r t a i n p r o p e r t i e s i n o r d e r t o c a r r y o u t s t a t i s t i c a l e s t i m a t i o n and t e a t s o f s i g n i f i c a n c e , D e p a r tu r e s from t h e s e a s s u m p tio n s b r i n g some o f t h e c h a r a c t e -r i s t i c p -r o b le m s . P o -r i n s t a n c e , u s u a l l y , one assu m es t h a t a l l p a i -r s o f v a lu e s o f e ^ , w h e th e r a d ja c e n t i n tim e o r n o t , a r e n o t c o r -r e l a t e d . A d e p a -r t u -r e f-rom t h i s a s s u m p tio n g i v e s r i s e t o t h e Problem o f a u t o c o r r e l a t i o n . T h is p ro b le m h a s b e e n s t u d i e d b y a num ber o f s t a t i s t i c i a n s , * o r i n s t a n c e , A n d e r s o n ( 1 9 4 2 ), C o c h r a n (1 9 4 9 \ Q u e - a o u i 1 1 e ( 1 9 4 9 ) , D u r b i n ( 1 9 5 0 ), H a n n a n (1957X T h.** 1 1 and N a g a r ( 1 9 6 1 ) , and i n r e c e n t y e a rs , B o z and P i e r -0 • (1 9 7 -0 ) e t u d i e d t h e d i s t r i b u t i o n o f r e s i d u a l s w hich f o llo w a rnized ARMA m o d el, P i e r c e (1971) d e v e lo p e d a m ethod f o r e s t i -m a tin g t h e p a r a -m e te r s by u s in g t h e f i r s t o r d e r te r -m s i n T a y l o r 's

« p a n s i o n and a p p l i e d i t t o a n ARMA o f t h e f i r s t o r d e r and N u

-* L e c t u r e r , I n s t i t u t e o f E c o n o m e tric s and S t a t i s t i c s , U n iv e r-s i t y o f Ł ódź.

(2)

r 1 ( 19 7 9 ) proposed, a m ethod f o r f i n d i n g a p p ro x im a te e s tim a te * f o r t h e p a r a m e te r s w hioh la b a s i c a l l y r e l a t e d t o t h e l e a s t s q u a r e s m ethod w ith some m o d i f i c a t i o n s .

The p u rp o s e o f t h i s p a p e r I s t o i n v e s t i g a t e t h e p r o p e r t i e s o f t h e m odel ( 1 ) , e s p e c i a l l y when t h e e r r o r s e t f o llo w a low o r d e r ARMA. T h a t i s b e c a u s e , I n p r a o t i o e , i t I s f r e q u e n t l y t r u e t h a t an a d e q u a te r e p r e s e n t a t i o n o f a o t u a l l y o c c u r r i n g s t a t i o n a r y tim e s e r i e s c a n be o b ta in e d i n m ixed m o d e ls , i n w hioh t h e o r d e r o f a u t o r e g r e s s i v e p r o o e s s p and t h e o r d e r o f m oving a v e ra g e *q a r e n o t g r e a t e r th a n 2 and o f t e n l e s s t h a n 2 (B o x and J e n к i n s

1 9 7 0 ). So ARMA ( 3 ) i s s t u d i e d i n some d e t a i l , a n d some new r e s u l t s a r e o b t a i n e d . A tte m p ts a r e made t o o o n s tr u o t s u i t a b l e ex a m p les! a r t i f i c i a l exam p les and econom ic d a t a e x a m p le s.

2 . The P r o p e r t i e s

I n t h e m odel ( 1 ) su p p o s e t h a t

et - <T1( B ) e ( B ) a t , (2 )

w here a ^ ’ s a r e i n d e p e n d e n tly and n o r m a lly d i s t r i b u t e d random v a r i -a b l e s w ith z e r o me-ans -and v -a r l -a n o e tí 2 , Ф -and в a r e p o ly n o m ia ls s u c h t h a t i Ф (В ) - 1 - ^ B - ig B 2 , 0(B) • 1 - 0,B - O ^ 2 and В i s t h e b a c k s h i f t o p e r a t o r ( l a g o p e r a t o r ) d e f i n e d by B ^ ft -■ f t ^ f o r аду f u n c t i o n f ^ and f o r 3 * 1 , 2 . The f o ll o w i n g a r e eome o f t h e c h a r a c t e r i z a t i o n s f o r t h e p ro p o s e d m odel f o r e ^ . 1 . U sin g e q u a ti o n (2 ) t h e s e c o n d o r d e r a u t o r e g r e s e l v e , t h e se c o n d o r d e r m oving a v e ra g e p r o o e s s ARMA ( 3 ) oan b e w r i t t e n a s t

(1 - Ф,В - Ф ^ 2 ^ - (1 - 0,B - OgB2 ) « ^ , o r

et - V t - 1 + V t - 2 + at - V t - 1 - 62 S - 2 ‘

(3)

2 . M u lt i p ly i n g e q u a ti o n ( 3 ) by е ^ - к and t a k i n g e x p e o t a t l o n s , i t c o u ld b e o b t a i n e d t h a t

(3)

тк - V k - 1 + М к - 2 + f a e ( k ) - е 1 * 1) * V a e < k - 2 >»

(4)

"here f k - cov(et , et _k ) eind f ae(k) i s the cross covariance

be-tween a and e at la g d ifferen ce k, defined by E( at et-k^* ^ nce

et-k deP*nds only on shocks which have occurred up to time t - k ,

we obtain

r o 2f 1 ( Ф ,, e p k < 0

fae(k ) . j 0 2

k . 0

(5)

О к > 0

3. I t fo llo w s that

fo * *1

U

+ М г + Ö2 - V a e C“1) " 02*ае(“2 ) '

(6)

Í1 * *1 to + V i - е 1 ° 2 ” V a e ( - 1 ) ’ (7)

t2

M o - e2°2*

'

(8)

And f o r к > 2 , i k - Ф1Г|С_ 1 + $ 2i k - 2 ' " h i c h doee n o t ln v o lv e th e m oving a v e ra g e p a ra m e te rs » T h e r e f o r e , a f t e r l a g 2 , t h e a u to -c o v a r ia n -c e s and c o n s e q u e n tly t h e a u t o c o i T e la t io n c o e f f i c i e n t s behave a s th o s e f o r t h e AR p r o c e s s . And so we r e a c h t h e same c o n -c l u s i o n a s A n d e r s o n (1976)»

4* M ultiplying equation (3) f i r s t by a^_^

and

secondly by

at»2

taking expectations we find

ía e ( - 1) - (^1 - Ô,) O2

(9 )

fcnd

гГае(“2) * f * i * $161 + $2 ~ e2 ) o 2 ‘

(10)

S u b stitu tin g th ese in equations (6) and (7 ) lead s to

Q - Ф 2 ) [1 e f e 22 - 262Ф2 ] - + e ^ j 2

(4)

Ф« 0 . + 0 2 Ф« “ Op0-i o

*i ■ - r ^ V t0 -

---

---

-

łg г 1 ° 2

t i »

and фр + ф ? - ф? > т - * ~ * 2 в2 * в 1$1 “ е 2ф2 * Ф1е 2 ~ ^ I e i e 2 2 ®2 " 1 - Ф2 ^ О - (1 - ф2 ) ° * (1 3 ) 3» L e a s t S q u a r e s E s t im a t o r s То o b t a i n t h e l e a s t s q u a r e s e s t l m a t o r a o f t h e o o e f f l o l e n t s , we f i r s t r e w r i t e e q u a ti o n (1 ) a s fo llo w * 9 (B ) yt ■ S ł i ( B0 + B1 * t ) + * t* (1 4 ) Then t h e p ro b lem I s o a r r l e d o u t by m in im is in g t - ( » « - » o - v t ) ] 2 - ч » We f i n d t h a t ЪБ~ " ” 2 ^ { й й } ( yt ~ B0 " B1 * t ) ' ] * “ 2 Z L { e f B ) } ( yt “ Bo “ Bi * t ) * t < ÖV ÔB and H ; ■ 2 I L ( yt “ B0 " B1 * t ) 2 » e - 1 , 2. (1 6 ) F o llo w in g t h e a p p r o z l o a t l o n e p ro p o s e d by H u r l (1 9 7 9 ) we o b t a i n s

(5)

- в г - ф .в 141 - Ф-в1* 2 + г е . в 14-1 + г е - в 1* 2 , r - 1, 2 ( e ( B ) ] z 1 ^ and Ш И р В ^ Be _ 2 ф Be+1 _ 2 ф_Вв+2 + Зв.В 8* 1 + ЗврВ8*2 . (1 7 ) { e (B )} 3 1 r 1 . An I n i t i a l e s t i m a t o r f o r ? ■(_ 8*0»** o b ta in e d ЬУ *he l * a e t s q u a re s m ethod f o r t h e m odel y^ • Bq +• B^x^ + e ^ . 2 . D e f in in g Bt - ( y t - b Q - b 1xt ) 2 , t h e norm al e q u a t i o n s ( 1 6 ), ta k e t h e form nbQA(B) ♦ b 1 J ^ A Í B ) ^ - ^ A ( B ) y t , (1 8 ) b 0 ^ A ( B ) » t + b 1 2 ^ / A(® )x t " *1 ľ ‘ t - r - 1 + Ф2 ^ ^ - г - 2 ~ 2Ô1 F ’ t - r - 1 “ 202 ^ Zt - r - 2 " ■ V 1 z t ( 2®) ę x- r ' 2® 1 ^ * t - . . 1 ♦ *>2 £ Zt - s - 2 “ » 1 1 “ 3e2 ^ at a 2 -e e - 1 . 2 . ^21) 3 . S o lv in g e q u a tio n s (2 0 ) and (2 1 ) s n i n i t i a l e s t i m a t o r o f St* C^1$2®1®2)^ 1,8 o b t a i n e d * nam ely Д О ) ОС ( i / 0 ) i 2 í 0 ) é ( 0 ) 9 ( 0 ) ) T . 4 . A f t e r o b t a i n in g t h e i n i t i a l e s ti m a t e o f л , t h e s e t s o f e q u a tio n s i n (1 8 ) and ( 1 9 ) a r e em ployed t o o b t a i n a f i r s t a p p ro x i-mate e s t i m a t o r b ^ ^ and s o t h e f i r s t a p p ro x im a te e s t i m a t o r of cC *e th e n o b t a i n e d . And so on i t e r a t i v e l y t h e s e s t e p s a r e r e p e a te d u a t ü we h av e | ь ( ш) - b ( m- 1) | < 5 , and |«<n ) - сс(ш- 1 ) 1 < 52 « o r

(6)

A n d rtej Tomaszawlcz, Abdul Majid Hamza A l-H a s lr

4 . The D i s t r i b u t i o n o f t h e E s tim a to r s

D e fin e a random v a r i a b l e ut euch t h a t ф(.В)и^ - a t , where 0 (B ) . 1 - ф,В - íg B 2 and a t i e H ID (0, o ) 2 .

1 . F o llo w in g W o l d and M a n n (1943 ).Сф 1 <$2 ) T I s asymp-t o asymp-t i c a l l y norm al w iasymp-th теапСФ^ $ 2 ^ u d v a r i a n c e - c o v a r i a n c e m a asymp-tr ix

2 f “ 1 . Where Г ° and Гг - covC x^, u ^ ) - Б r

-» 0 , 1 *

2. Г

oan b e o b ta in e d a l t e r n a t i v e l y ae f o lio w e

Ut "

1

- Ф,в - Ф^2 14 ' (1 - V i l i - TgB) V

w here T1 + T2 » ф., and T.jT2 ■ - Ф2 , o r ___ l _ I T2 h \ “ t ■ T2 - T1 у - T ^ " 1 - ŤýB J * f ъ - i r h : L ( Tľ ' - * ľ % - y 1 г г > З -о T h e r e f o r e Г г - Е ч ^ ^ + г “ * ■ (тг Л , ) 8 Ł ( т ^ ’ • ■ r w - n * в * » - л » г - г

*• ■ 5 - V

j i ^ ( * Г 1 - * łł , ) ( * l w ’ - *?t r ł1 )

<«>

2 “ ГГ j - 0 s u b s t i t u t i n g r - 0 , 1 , and a f t e r few e te p e we o b t a i n

i

o r o r _____________ г ' о * * 2 ) [ ( i - Фг >2 . * * ]

(1 - Ф,

)

cr‘

r„ - 7---- . \ r , . 8 . ' ż -!>, (24) and

(7)

1 ' (1 ♦ Ф2 ) [ 0 - Ф2f - Ф ? ] ‘

3 . S i m i l a r l y d e f i n e t h e random v a r i a b l e a u ch t h a t (1 в ^ В -- в ^ 2 ) ^ -- a t , w here é -- (Ô , ©2 )T i s a l s o a s y m p to tic n o rm al

1 2 *1

w ith mean 0 and T a r la n o e - o o v a r ia n c e m a t r ix 2 O Q , w here Q ■ * ( f i ? Qq ) eu ch t h a t Qe " Evt vt+ s* a “ 0 ,1 * U 8ine t h ® 8ame Way a s f o r Г , we o b t a l n t Tt • * г Ь т £ ( * * * ’ - » ł * ' ) * . - ! . (26) • h e r e ♦ Я2 ■ 0^ and A ^ Д2 ■ - 0 2 and а . - , . " г ? £ ( * * * ’ - » D M * * 1 - • f ’ *1) . с г 7 ) С 2 “ Л1 ) > 0 s u b s t i t u t i n g в ■ 0 , 1 w* o b t a i n - - ( г е ) and e 1 q2____________ (2 9 ) I;> - % )< ? ( 1 * вг) I[ 0 - 9г ) 2 - e ?J 4 1 " (1 ♦ * 2 ) [ 0 - ° 2) 2 - • ? ] ' 4 . D e f in e a m a t r i x w j s u c h t h a t wk - с о у (и * . v t + k ) - В u t v t+ k How, f o r к - 0

(8)

And a f t e r few s t e p s we o b t a i n .2 ______________..., ( 1 * * г вг ) - (®1 + * 1®гХ* 1 * ® i* a ) w here к - 1, W1 e B * t Tt+ 1 " (T 2 - f y) ( * 2 " Xl ) j ^ ^ +1 " T^+1) ( X^ 2 “

- x j + 2 ) ,

(31)

o r

__________(

6

, * * & ) ? ________

<32)

1 " 0 - М г ) * - («1 * * 1 « г Х * 1 ł ® 1*г) ' B u t, w here к • - 1 , we h av e *_1 - Eut v t - 1 * (T 2 - 1 \ \ x 2 - x1 ) £ ( Tl +1 ” * ! * % í - x 0 * J e Q o r

(Ф. + е.Ф -) e 2

w m---—J---1 -Z.l--- (3 3 ) " 1 0 - ф 20г ) 2 - C9 1 + 5 10г ) ( ф 1 + в 1фг ) * c o m p a rin g (32) w ith (33) I t a p p e a r s t h a t w1 í w ^ ^ 5 . We o b t a i n t h a t i - Ъ - ( b o b , ) *

l a n o r m a lly d i s t r i b u t e d ( b i v a r l a t e ) w ith mean Б and v a r i a n o e -c o v a r l a n -c e m a t r ix ( 6 2/ n ) B“ 1 , w here

(9)

1 >

к -< *2 >

\ V - 0 1 - 02 У «

* . ( } § ) * I s a s y m p to tic norm al ( 4 - d im e n s io n a l) w ith mean oj, and . v a r i a n c e - c о v a r i a n c e m a t r ix ~ ( ^ | and c o n s e q u e n t ly ( t« 6 2) T

\ w T Q /

i s a s y m p to tio n o rm al ( 7 -d im e n .) w ith mean (]J л 62) T and v a r i a n o e - - o o v a r ia n c e m a t r ix : (3 4 ) R e f e re n c e s A n d e r s o n R . L . , 1942, D i s t r i b u t i o n o f t h e S e r i a l C o r-r e l a t i o n C o e f f i c i e n t s , Ann. U a th . S t a t i s t . , v o l . 1 3 , p . 1-13« A n d e r s o n R . L . , 1954, The P ro b lem o f A u t o c o r r e l a t i o n R e g r e s s io n A n a l y s i s , JASA, v o l . 4 9 , p . 1 1 3 -1 2 9 . B o x 0 . E . P . and J e n k i n s G. M ., 1970, T im e - S e rie s A n a ly s is P o r e c a s t i n g and C o n t r o l , Holden-£>ay, London.

B o x G. E . P . and P i e r c e D. A ., 1970, D i s t r i b u t i o n ° f R e s i d u a l s A u t o c o r r e l a t i o n i n ARMA Time S e r i e s M odel, JASA, * ° 1 . 6 5 , p , 1 5 0 9 -1 5 2 6 . B u t t e r I . P . , K a v • s h R. A. a nd P l a t t R. B ., ^974, M ethods and T e c h n iq u e s o f B u s in e s s P o r e c a s t i n g , P r e n t l c e - " H a ii, I n c . , Hew J e r s e y . C o o h r a n D. a nd O r c u t t G. H ., 1949, A p p l i c a t io n ° f L e a s t S q u a r e s R e g r e s s io n to R e l a t i o n s h i p s C o u n tin g A u t o c o r r e la -t i o n E r r o r T e rm s, JASA, v o l . 4 4 , p . 3 2 -6 1 . B u r b i n J . and W a t s o n G. S . , 1950, 1951, T e s t i n g f ° r S e r i a l C o r r e l a t i o n I n L e a s t S q u a re s R e g r e s s i o n , P t s I and I I , Bi o m e t r i c a , p . 4 0 9 -4 2 8 and 1 5 9 -1 7 7 .

(10)

D u r b i n J . , 1 9 6 0 ,E s tim a tio n of P a ra m e te rs i n Time S e r i e s R e g r e s s io n M o d els, JE SS, v o l . 2 2 , p . 139-153*

D u r b i n J . , 1 9 7 0 ,T e s ti n g f o r S e r i a l C o r r e l a t i o n I n L e a s t S q u a re s R e g r e s s io n when Some o f t h e R e g r e s s o r s i r e L agged Depend» e n t V a r i a b l e s , " E o o n o m e trio a " , v o l . 3 8 , p . 4 1 0 -4 2 1 . O r e n a n d e r U ., 1954, On t h e E s t im a t i o n o f R e g r e s s io n C o e f f i c i e n t s i n t h e C ase o f A u t o o o r r e l a t e d D i s tu r b a n c e , A nn. Math. S t a t i s t . , v o l . 2 5 , p . 2 5 2 -2 7 2 . G u r l a n d J . , 1954, An Exam ple o f A u to C o r r e la te d D is -tu r b a n c e s i n L i n e a r R e g r e s s i o n , " E o o n o m e trio a '', v o l . 2 2 , p . 2 1 8 - - 2 2 7 . H a n n a n E . J . , 1 9 57, T e s t i n g f o r S e r i a l C o r r e l a t i o n i n L e a s t S q u a re s R e g r e s s io n , " B lo m e tr lc a " , v o l . 4 4 , Р» 5 7 -6 6 . N u r i W. A ., 1979, E s t im a t i o n I n R e g r e s s io n M odels w ith E r r o r s F o llo w in g an ARMA S c h e m e ,I n te r n a t i o n a l Time S e r i e s M e etin g a t N o ttin g h a m U n i v e r s i t y .

P i e r o e D. A ., 1971, D i s t r i b u t i o n o f R e s id u a ls A u to c o r-r e l a t i o n I n t h e R e g r-r e s s io n Model w ith ARMA E r r o r , JRSS, B . 33, p p . 140- 146. Q u e n o u i l l e M. H ., 1949, A p p ro x im ate T e s t s o f C or-r e l a t i o n i n Time S e or-r i e s , JRSS, B . 1 1 , p . 6 8 . T h e i l H. and H a g a r A. L . ,1 9 6 1 .T e s t i n g In d e p e n d e n c e o f R e g r e s s io n D i s t u r b a n c e s , JASA, p . 7 9 3 -8 0 6 . W a t s o n G. S. a nd H a n n a n B. J . , 1955, S e r i a l C o r-r e l a t i o n i n R e g r-r e s s io n A n a l y s i s , " B io m e tr-r io a " , v o l . 4 3 , p . 436 -4 4 8 . W i s e J . , 1 9 5 6 , R e g r e s s io n A n a ly s is o f R e l a t i o n s h i p s B etw een A u t o o o r r e l a t e d Time S e r i e s , JRSS, B . 1 8 , p . 2 4 0 -2 5 6 . W o l d H. a nd M a n n H. B . , 1943, On t h e S t a t i s t i c a l T re a tm e n t o f L i n e a r S t o c h a s t i o D i f f e r e n c e E q u a t io n s , " E c o n o m e tri- c a " , v o l . 1 1 , p . 1 7 3 -2 2 0 .

A ndrzej T om aszew icz, Abdul M ajid Hamza A l- N a s lr 0 ESTYMACJI PARAMETRÓW LINIOWYCH MODELI . ZE SKŁADNIKAMI LOSOWYMI TYPU ARMA NISKICH RZgDOW

W b a d a n ia c h e m p iry cz n y c h l e t n i e j ą zw ykle p o d staw y do z a ło ż e -n i a , że bad an y s z e r e g czasow y generow any j e s t p r z e z "m ie sz a n y " p r o c e s s to c h a s ty c z n y b ę d ą c y sumą p r o o e s u a u t o r e g r e s y jn e g o i p r o -c e s u á r e d n io h ru-chom y-ch ARMA ( B o x , J e n k i n s 1970)} w n i -n i e j s z e j p r a c y z a n a liz o w a n o n i e k t ó r e w ła s n o ś c i m o d e li t y p u ARMA n i s k i c h rzęd ó w , s z c z e g ó ln i e p r o c e s u ARMA ( 2 , 2 ) .

Cytaty

Powiązane dokumenty

Pam iętnik literacki

The prestige economy model offers a possible answer to the question of why throughout the Bronze Age metal found no application in the produc- tion of artefacts connected

W roku 1999 na bazie Centrum Ewaluacji Szkolnictwa Wyższego do życia powołany został Duński Instytut Ewaluacji (Danmarks Evalueringsinstitut - EVA), która to instytucja znacznie

Ponieważ Paryż nie jest dla nich wyłącznie stoli- cą światowej przestrzeni literackiej, jaką historycznie rzecz biorąc, był dla wszystkich innych pisarzy, lecz pełni

The thesis here is that the political decision to opening a labor market in- creases the cross-border mobility of manpower influenced by pull and push factors much more

Niemniej Światowy Instytut na Rzecz Obalenia Wojen jest z całą pewnością przykładem sztuki politycznej, zabierającej głos w publicznej debacie i przekraczającej różne

Stosowanie tak długiego słowa do zapisu wartości próbek dźwiękowych pozwala na wykonywanie wszelkich obliczeń (przetwarzania) ze znaczną precyzją, co ma duży wpływ na jakość

Celem pracy jest przedstawienie możliwości terapeu- tycznych światła spolaryzowanego w leczeniu bli- znowca u 63-letniego pacjenta po zabiegu operacyj- nym