ZESZYTY NAUKOWE POLITECHNIKI ŚLĄSKIEJ Seria: A U TO M A TY K A z. 120
1996 N r kol. 1340
M arian BŁA CH U TA
E S T Y M A C J A C I Ą G Ł Y C H S T O C H A S T Y C Z N Y C H S Y S T E M Ó W D Y N A M I C Z N Y C H N A P O D S T A W I E P O M I A R Ó W P R Ó B K O W A N Y C H *
S tr e s z c z e n ie . A rty k u ł dotyczy estym acji param etrów stacjo n arn y ch proce
sów gaussowskich o wymiernej gęstości spektralnej na podstaw ie dyskretnych w czasie próbek z błędem pom iarow ym za pom ocą dokładnej m e to d y najw iększej w iarygodności. D la rozpatryw anej klasy procesów sform ułow ano stochastyczne rów nania sta n u , zdefiniowano ich rozwiązanie i wyznaczono m odel d la czasu dys
k retnego. Identyfikację m odelu ciągłego i w ariancji zakłócenia n a pod staw ie tego m odelu nazw ano sform ułowaniem naturalnym . N astępnie przedstaw iono kowa- riancyjnie rów now ażną realizację m odelu dyskretnego, prow adzącą do m odelu A RM A . W skazano n a problem y, jakie m ogą w ystąpić przy w yznaczaniu p a ra m etrów m odelu ciągłego n a podstaw ie m odelu dyskretnego. P okazano również, w jak i sposób m odel ARM A m ożna wykorzystać do konstrukcji efektyw nego n u m erycznie algorytm u estym acji param etrów m odelu ciągłego. W końcu p rze d sta
wiono problem y estym acji param etrów ciągłych modeli wektorow ych oraz podano m eto d y ich rozw iązania.
E STIM A TIO N O F S T O C H A S TIC C O N TIN U O U S-TIM E D YNAM ICAL SYSTEM S BASED ON S A M PLED DATA
S u m m a r y . In th e paper, th e M axim um Likelihood p a ra m e te r e stim a ta tio n algorithm s of continuoustim e stochastic processes based on d iscrete-tim e sam ples are addressed. An algorithm for calculation of th e likelihood function which uses a d iscrete-tim e m odel is presented. A covariance equivalent rea liza tio n which leads to th e A RM A m odel is th e n introduced and is em ployed w ithin an com pu
ta tio n a lly efficient m ethod for th e estim ation of th e continuous-tim e p ara m ete rs.
Finally, estim a tio n problem s of m ultivariate continuous-tim e m odels are sta te d and solved.
'N in ie js z a praca zo sia la w ykonana w ram ach P rojektu Badawczego K B N n r 3 0683 91 01 w czasie pobytu autora w T he U n iversity o f B irm in g h a m .
1. W s t ę p
W iększość procesów spotykanych w realnym świecie m a ch a rak te r ciągły w czasie.
P rocesy z czasem ciągłym p o ja w iają się np.przy opisie ruchu sam olotu w w arunkach prze
pływ u tu rb u le n tn eg o (M aine, Iliff 1981), ruchu anteny radarowej spowodowanej w iram i p o w ietrza (U nbehauen, Rao 1987), przechodzeniu św iatła przez ośrodek z losowo zm ienia
ją c y m się w spółczynnikiem załam an ia (K ushner 1971) itp . M odele ciągłe m a ją również szerokie zastosow anie w ekonom etrii (B ergstrom 1976, Sargan 1974, W ym er 1972).
J e d n ą z podstaw ow ych klas ciągłych procesów stochastycznych je st klasa procesów gaussow skich, stacjonarnych z w ym ierną gęstością spektralną, podstaw ow a d la klasycznej liniowej teorii sterow ania i filtracji.
Rozwój teorii sterow ania autom atycznego zawdzięcza wiele koncepcjom pow stały m n a g runcie m odeli tych procesów. Jed n ak wraz z rozwojem techniki cyfrowej i jej zastosow a
niem w au to m aty ce , d la kom patybilności z obliczeniam i cyfrowymi, problem y sterow ania zaczęto dyskretyzow ać. O ryginalny, ciągły w czasie opis procesów sterow ania zaczęto zastępow ać opisem dyskretnym , ważnym tylko d la dyskretnych chwil czasu. Również roz
wój algorytm ów sterow ania związanych z m odelam i dyskretnym i zaczął dom inow ać nad rozw ojem algorytm ów sterow ania d la czasu ciągłego. W sytuacji, gdy istnieje olbrzym ia lite ra tu ra d o ty cząca identyfikacji modeli dyskretnych, lite ra tu ra dotycząca identyfikacji m odeli ciągłych je st znacznie skromniejsza.
Je d n y m z niebagatelnych powodów mniejszej popularności modeli ciągłych, zw łaszcza w środow iskach inżynierskich, m oże być większa złożoność m a tem aty c zn a teorii stocha
stycznych rów nań różniczkowych i całkowych w porów naniu z teorią stochastycznych rów nań różnicow ych.
M ożna z a te m spytać: po co trudzić się z teorią ciągłych procesów dynam icznych w sy tu a cji, gdy im plem entacje algorytm ów sterow ania są dyskretne?
Powodów takich je s t wiele. A lgorytm y dyskretne d a ją wyniki jedynie d la dyskretnych chwil czasu ignorując zjawiska zachodzące pom iędzy nim i. K ażda m e to d a projektow ania d la czasu ciągłego, naw et w oparciu o próbkowane pom iary, w ym aga m odelu ciągłego. Z analogiczną sy tu a c ją m am y do czynienia stosując m etody czasu dyskretnego, pozostaw ia
ją c je d n a k okres próbkow ania jako je d n ą ze zm iennych podlegających doborowi. Z kolei p rzy wysokich częstotliw ościach próbkow ania zarówno m odele d yskretne, ja k i algorytm y d y sk retn e za cz y n ają tracić sens choćby ze względu n a problem y num eryczne. D latego teo
ria ciągłych układów stochastycznych m a zasadnicze znaczenie dla dyskretno-czasow ych algorytm ów obliczeniowych pracujących przy wysokich częstotliwościach próbkowania.
B ardzo w ażne je s t tu stw ierdzenie, że w przypadku w zrostu częstotliwości próbkow ania
E stym acja ciągłych stochastycznych system ów dynamicznych na podstawie... 63
nie p o w sta ją problem y niemożliwe do pokonania.
D yskretyzacja danego m odelu ciągłego je st jednoznaczna. Jed n ak że w przy p ad k u iden
tyfikacji m odelu dyskretnego dobór częstotliwości próbkowania nie je s t spraw ą b łah ą. W p rzypadku b rak u wiedzy a ’priori o zakresie stałych czasowych, wyniki identyfikacji m ogą być isto tn ie zależne od doboru czasu próbkowania. P o nadto odtw orzenie m odelu ciągłego na podstaw ie zidentyfikowanego m odelu dyskretnego może okazać się niemożliwe.
Należy podkreślić, iż - z p u n k tu w idzenia autom atyki - problem y przedstaw ione w tym opracow aniu dotyczą m odeli zakłóceń i op ierają się jedynie n a obserw acji jednego sygnału. Innym problem em je st w yznaczanie m odelu obiektu o p a rte n a obserw acji dwu sygnałów: wejściowego i wyjściowego, przy czym wyjście m oże być zakłócane. P roblem ten je s t szeroko omówiony w pracy Nahorskiego (1991).
E sty m a c ja p ara m etró w obiektu łącznie z p ara m etra m i zakłócenia z a pom ocą m eto d y największej wiarygodności je st w pełni możliwa. B ardzo ważnym elem entem tej m etody są wówczas w stępne oceny param etrów , które mogą być znalezione oddzielnie d la m odelu obiektu i zakłócenia.
2 . M o d e le c i ą g ły c h p r o c e s ó w s to c h a s ty c z n y c h
2 .1 . R ó w n a n i a p r o c e s ó w
Stosunkow o szeroką klasę procesów stochastycznych m ożna przedstaw ić za pom ocą układu równań:
d x t = A x tdt + gd£u (2.1)
z, = d ' x t, (2 .2 )
gdzie z t je s t procesem skalarnym , x t je st n-wym iarow ym w ektorem s ta n u , A je s t m acierzą o stałych w spółczynnikach, g oraz d są stałym i w ektoram i, zaś £< je s t stan d ard o w y m pro
cesem W ien era (G ikhm an, Skorokhod 1969,1972). Symbol d oznacza różniczkę. W arunek początkow y Xo je s t w ektorem losowym o rozkładzie norm alnym i o w artości oczekiwanej m 0 = E ( x o) oraz kow ariancji Q 0 = E[(xo — m o ) ( x 0 — m 0)'j.
W dalszym ciągu będziem y zakładali, że m acierz A oraz w ektory g i d są ta k ie , iż są spełnione zależności:
rank [5 , A g , . . . A n~1g] = n, (2.3) rank [d, A ' d , . . . A ' n~ 1d\ = n. (2.4) W arunki (2.3)-(2.4) są kolejno w arunkiem sterow alności i obserwowalności. R ep rezen tacja (2 .1)-(2.2) m a kluczow e znaczenie w zagadnieniach prognozow ania i estym acji.
Szczególne znaczenie, zw łaszcza w zagadnieniach estym acji, mają, postacie kanoniczne konstruow ane z a pom ocą m inim alnej liczby param etrów . P rzykładem m oże być tzw. po
s ta ć kanoniczna obserw atorow a (Sóderstróm , 1991), d la której:
(2.5)
R ów nanie (2.1), będące stochastycznym równaniem różniczkowym, należy rozum ieć jako sym boliczny zapis stochastycznego rów nania całkowego:
- a i 1 . . . o- V T
—a2 0 1 . . 0 C2 0
A =
“ ^n— 1 0 . . . 1
, g = , d =
.
~an 0
. . .0.
.^"n .0.
*« = *o + f A x , d s + f g d i , ,
Jo Jo (2.6)
przy czym d ru g a z całek w ystępująca we wzorze (2.6) je s t całką sto ch asty czn ą w sensie Ito (G ikhm an, Skorokhod 1969, 1972). Rozwiązanie rów nania (2.6) m a postać:
ct = eAtx 0 + f t A^ g d ( { s ) .
Jo (2.7)
2 .2 . C h a r a k t e r y s t y k i p r o c e s ó w s to c h a s ty c z n y c h
W artość oczekiw ana m ( oraz autokow ariancja Q , ( r ) w y rażają się wzoram i:
m t = E (x ,) = e ^ m o ,
Q t = E f o - m , ) ( x t - m t)' = eA,Q 0eA'‘ + / ‘ eA^ g g ' e A' ^ d S, Jo
Q t ( r ) = E { x t - m , ) ( i l+T - m , +r)' = Q teA'T.
M acierz kow ariancji Q t sp ełn ia równanie różniczkowe Lapunowa:
Qt = A Q t -f Q tA ' -f g g '
(2.8)
(2.9)
(2.10)
(2.11)
z w arunkiem początkow ym Q 0.
O becnie skorzystam y z powyższych zależności w celu przedstaw ienia ch arak te ry sty k procesu z t określonego rów naniam i (2.1)-(2.2). W artość oczekiw ana p t oraz funkcja a u tokorelacji pt ( r ) procesu z t, zgodnie z (2.8)-(2.10) będ ą określone zależnościam i:
d
l m t = a e ttiq, jr/ Atpt {r) = d ' Q t{T) d = d ' Q teA‘Td.
(2 .12) (2.13)
Estym acja ciągłych stochastycznych systemów dynamicznych na podstaw ie.. 65
2 .3. P r o c e s y s t a c j o n a r n e
Poniew aż proces z t opisany rów naniam i (2.1)-(2.2) je st w peini scharakteryzow any przez dw a pierw sze m om enty, w arunkiem koniecznym i w ystarczającym stacjonarności jest, aby w artość oczekiw ana p t i funkcja korelacji pt(r) były niezależne od chwili bieżącej t.
M ożna pokazać, że proces z t określony równaniam i (2.1)-(2.2), z w arunkam i (2.3)-(2.4) jest sta cjo n arn y w tedy i tylko w tedy gdy:
- m acierz A je s t stab iln a, to znaczy, gdy dla t = 1 , 2 . . . n zachodzi Re A,( A ) < 0, - w artość oczekiw ana w arunku początkowego m Q = 0,
- kow ariancja Q 0 je st rozw iązaniem algebraicznego rów nania Lapunowa:
A Q + QA! = - g g ' . (2.14)
P rzy spełnieniu powyższych warunków w artość oczekiwana procesu będzie zerowa, zaś funkcja korelacji w yrazi się zależnością:
p(r) = d'Q 0cA'rd. (2.15)
Funkcję korelacji p ( r) m ożna zatem wyrazić w postaci:
N
p{t) = Z ) a ,p ,( r )e “ AiT, (2.16)
{=1
gdzie p ,( r ) są w ielom ianam i skończonego stopnia, a części rzeczyw iste liczb A,- są ściśle dodatnie.
Poniew aż gęstość w idm ow a m ocy E(w) oraz funkcja korelacji własnej p ( r ) są zw iązane zależnością (K u sh n er, 1971):
E ( w ) = r P{ t ) ^ d t , (2.17)
J —oo więc n a pod staw ie (2.14), (2.15) i (2.17)
S(w) = d ' ( s l - A ) - ' g g ' { - s I - A ')_1ci|ł=yu. (2.18)
£(w ) je s t za te m rzeczyw istą funkcją w ym ierną (G ikhm an, Skorokhod, 1969) i m oże być przedstaw iona w postaci:
E(w) = A ( s M ( = 7 ) U i “ ’ (2 ’19)
gdzie:
/l( s ) = d e t ( s / — A ), (2.20)
C (s) = d'[ adj (s l - A ) \ g (2.21) oraz
A (s) = s n + a js " 1 + . . . 4- a n, (2 .22)
C ( s ) = ci sn- 1 + . . . + cn. (2.23)
Jeśli w ielom ian C ( s ) je st sto p n ia m < n — 1, wówczas część współczynników Ci, c-i. . . c„_m_ i w ielom ianu (7(s) je st równa zeru. W obec spełnienia warunków (2.3)-(2.4) w ielom iany /4(s) i C (s ) są względnie pierwsze.
Z rów nania (2.19) w idać, że przy zadanej funkcji gęstości widmowej £ (w ) procesu z t oraz p rzy u stalonym wielom ianie A (s) istnieje wiele wielomianów (7(3), a za te m wiele w ektorów g , dla których układ (2.1)-(2.2) jest m odelem procesu z t . P ośród nich zawsze m ożna znaleźć ta k i w ektor g , aby w szystkie pierw iastki wielomianu C ( s ) leżały w lewej pólpłaszczyźnie. R ealizację tak ą nazyw a się realizacją odwracalną. Z rów nań (2.1)-(2.2), (2.5) i (2.19) w ynika m etodyka tw orzenia realizacji stacjonarnego procesu stochastycz
nego o zadanej funkcji gęstości widmowej m ocy £(u>). P roblem w yznaczania stabilnego wielom ianu (7(s) n a podstaw ie funkcji wymiernej £(u>), będący kluczow ym elem entem tej m eto d y k i, nosi nazwę fakłoryzacji spektralnej (A strom , 1970).
3. M o d e l e o b s e r w a c ji p r o c e s ó w s to c h a s ty c z n y c h
P roces z t je s t n a ogół obserwowany nie bezpośrednio, lecz za pom ocą urządzeń po
m iarow ych w prow adzających własne błędy. Pom iary m ogą mieć c h a rak te r ciągły w czasie lub d y sk retn y w czasie.
3 .1 . M o d e l o b s e r w a c ji c ią g łe j
W lite ra tu rz e , np. K ushner (1971), jako równanie pom iaru przyjm uje się często:
dy, = z tdt + d ( t = d ' x tdt + d ( t (3.1)
lub w w ersji rów nania całkowego:
Vt = V° + L d 'X lds + J0 d^ ' gdzie (t je s t procesem W ienera.
Zapis (3.2) im plikuje dokonywanie operacji całkowania pewnej wielkości d 'x t będącej liniową funkcją sta n u z dodanym zakłóceniem . W rozw iązaniach technicznych p om iar całki sygnału wyjściowego n a ogół nie je st stosowany.
Estym acja ciągłych stochastycznych system ów dynamicznych na podstawie. 67
W lite ra tu rz e (K w akernaak, Sivan, 1972) spotykany je st również opis w yjścia zawie
rający ciągły b ia ły szum:
y( = d ' x t + v,. (3.3)
M odel (3.3) pozw ala n a sform ułowanie równań ciągłego filtru K alm ana, jed n ak że je st on krytykow any (K ushner 1971), gdyż nie je st jasne, ja k pow inien w yglądać jego o d p o wiednik d y skretny w czasie.
Z obserw acjam i ciągłym i związanych je st kilka m eto d estym acji tra n sm ita n c ji ciągłych układów dynam icznych (Saha, Rao 1983; Sinha, Rao 1991; U nbehauen, R ao 1987). In te
resujące nas procesy stochastyczne są ta m traktow ane jako zakłócenia, zaś ich p ara m etry nie są w yznaczane.
Z kolei Van S chuppen (1983), Moore (1988), Chen i Guo (1991) b a d a ją algorytm y rekurencyjne rozszerzonej m etody najm niejszych kw adratów , pozw alające n a estym ację procesów stochastycznych. Okazuje się jednak, iż dla zbieżności konieczne są stosunkowo silne założenia odnośnie do charakterystyk procesów.
3 .2 . M o d e l o b s e r w a c ji d y s k r e tn e j
Sygnał ciągły, będący realizacją procesu ciągłego, je st we w spółczesnych rozw iązaniach technicznych n a ogół próbkowany, to znaczy je st on m ierzony w dyskretnych, równo odległych chwilach czasu i,- = A i, gdzie A je st okresem próbkowania, zaś i je st liczbą całkow itą. C zęstotliw ość próbkow ania może być stosunkowo wysoka.
O znaczm y y,- = y(ti) oraz *,• = *(<,•). Równanie pom iaru próbkowanego przyjm ie postać:
y; = d 'x i + r ;, (3.4)
gdzie r; je s t d yskretnym b iałym szum em gaussowskim, tz n . j£[r;r)] = p6{j, E[r{] = 0.
Proces rji je s t procesem dyskretnym w czasie i może zostać opisany za pom ocą układu dyskretnych rów nań stochastycznych (K ushner, 1971):
* 1+1 = F x { -f Wi, (3.5)
y; = d 'x i + r,-, (3.6)
gdzie
F = e A A , (3.7)
zaś w t je s t w ektorow ym b iałym szum em gaussowskim o m acierzy kow ariancji W :
W = [ A eA‘g g ' e Aa'ds. (3.8)
Jo
Procesy w ; oraz r; są niezależne.
Niech Q oznacza m acierz kowariancji stacjonarnego procesu dyskretnego a:,-, spełnia
ją c ą d y sk retn e rów nanie Lapunowa:
Q = F Q F ' + W . (3.9)
Poniew aż w ektory x t oraz X; są tym i sam ym i w ektoram i, więc ich m acierze kow ariancji są również równe. Z tej własności wynika sposób obliczenia całki (3.7). W ty m celu należy rozw iązać rów nanie Lapunow a (2.14) względem Q , a następnie skorzystać z (3.9) otrzym ując:
W - Q - F Q F ' . (3.10)
4. E s t y m a c j a p a r a m e t r ó w - s f o rm u ło w a n ie n a t u r a l n e
P u n k te m wyjścia do estym acji za pom ocą m etody największej w iarygodności je s tje d - nokrokowa kalm anow ska predykcja optym alna, której błąd, zwany procesem innowacji, je s t b iały m szum em gausowskim.
4 .1 . P r o c e s in n o w a c ji
W p rzy p a d k u m odelu (3.5)-(3.8) rów nania procesu innowacji et w ynikają z filtru Kal- m ana. Załóżm y, że p > 0 oraz przyjm ijm y, że m acierz kowariancji W = c o v ( w , ) je st prop o rcjo n aln a do p, czyli
W = W ° p . (4.1)
W ówczas m acierz kow ariancji stan u początkowego Q 0 = Q będzie również pro p o rcjo n aln a do p:
Q = Q°p, (4.2)
gdzie Q ° je s t rozw iązaniem dyskretnego algebraicznego rów nania Lapunow a:
Q° = F Q ° F ' + W ° (4.3)
lub rów nania (2.14) dla czasu ciągłego.
O znaczm y przez i liniową ocenę sta n u zapew niającą m inim um b łę d u średniokwa- dratow ego sta n u z , przy danych pom iarach do chwili i — 1, zaś kow ariancję b łę d u oceny sta n u i ; = x,- — x ,|,_ i przez:
c o v (x .) = (4.4)
Estym acja ciągłych stochastycznych system ów dynamicznych na podstaw ie.. 69
Wówczas jednokrokow y p red y k to r stanu je st określony poprzez rep rezen tację innow a
cyjną. D la i = 1 , 2 . . . N błędy predykcji jednokrokowej e,- oraz ich w ariancja var (e,) = er,- są określone zależnościam i:
«i = V: ~ (4.5)
*i+ i|i = F * i|i-i + h i d , * o |-i = 0, (4.6)
Ł F S ^ d
hi = i T T c 1 + a o ,|,_ja1 '
S ;+1|; = r + F ( S ^ - ^ g f c l ) F ' , S c ,-, = Q °, (4.8)
f i = 1 + Ć S ^ d , (4.9)
= pfi. (4.10)
Przy i —> oo zachodzi S ;|i_ , -* S , gdzie S je st dod atn io określonym , sym etrycznym rozw iązaniem algebraicznego rów nania Riccatiego:
s = w + F ^ - ^ h ^ - <4 J 1 >
O kreślając w ektor h i skalar er wzorami:
(4-12)
<7 = p{l + d ' S d ) , (4.13)
otrzym am y postać asy m p to ty czn ą równań predyktora:
*i+i|i = -P1®»!»—i 4* he,*, (4.14)
yi = ¿ '¿ ¡ li.! + C,. (4-15)
Rów nanie (4.14) m ożna także zapisać w postaci odw rotnej:
®i+i|< = F ’x ą i - \ + h y i, (4.16)
£.■ = yi - (4-17)
przy czym
F m = F - h d ' . (4.18)
P red y k to r te n je s t pred y k to rem asym ptotycznie optym alnym .
4 .2 . E s t y m a t o r M L
Poniew aż esty m a to r największej wiarygodności je st estym atorem najefektyw niejszym i p o sia d ający m cały szereg zalet, w niniejszym rozdziale w yprow adzim y rów nania esty
m a to ra ML.
Z ak ład ając , że w ielom ian 07(3) je st stopnia m < n — 1, w ektor 6 estym ow anych p ara
m etrów zaw iera n + m + 1 wielkości, n a które sk ła d ają się w spółczynniki wielomianów A (s), C(a) oraz w ariancja szum u pomiarowego p:
9 [ui, ^2 • • • ®n, C n _ m , . . . C n , p] . (4.19) O znaczm y przez y = {y,-, i = 1 . . . ¿V} zaobserwowaną realizację szeregu czasowego.
Poniew aż {e,-, i = 1 , 2 , . . . N } je st ciągiem niezależnych liczb losowych o rozkładzie n o rm aln y m i w ariancji <r,- (Anderson, Moore, 1979), więc funkcja w iarygodności w yrazi się:
L { y , 0 ) = (2jr)-JV/J • {cria 2 ...c rN )-'l/1 • exp j —^ j . (4.20) W praktycznych obliczeniach zam iast m aksym alizacji funkcji w iarygodności (4.20) przeprow adza się m inim alizację funkcji l ( y , 0 ) = —I n L ( y , 9 ) . Z dokładnością do stałej w y raża się o n a zależnością:
K y ,0 ) = 1/2 £ l n er, + 1/2 ef/cr., (4.21)
1=1 1=1
co po uw zględnieniu (4.10) daje:
/(w, 0) = N / 2 In p + 1/2 £ ln / , + l / ( 2p) £ e ? //,. (4.22)
1=1 ¿=1
O bliczając { d / d p ) l ( y , $) i przyrów nując wynik do zera otrzym uje się:
P = N - ' T L A l f i - (4-23)
=i
M inim alizacja funkcji (4.22) względem pozostałych zm iennych je st rów now ażna m ini
m alizacji funkcji:
L ' ( y , 0) = N ~ \ f , / 3 . . . . f N) 1,N £ A ¡ f u (4.24)
¿=i gdzie f i są określone wzorem (4.9).
M inim alizacji funkcji L ' ( y , 9 ) m ożna dokonać za pom ocą m eto d new tonow skich ko
rz y sta ją c z g rad ien tu i hesjanu wyznaczonych analitycznie lub num erycznie. N ależy p o d kreślić, że je s t to problem obliczeniowo złożony oraz, że nie są znane analityczne form uły d la g ra d ie n tu i hesjanu.
Estym acja ciągłych stochastycznych system ów dynamicznych na podstaw ie.. 71
5. E s t y m a c j a m o d e lu c ią g łe g o n a p o d s ta w ie m o d e lu A R M A
W niniejszym punkcie przedstaw im y w zajem ne związki zachodzące pom iędzy m odelem ARMA a m odelem próbkowanego ciągłego procesu stochastycznego oraz wskażemy n a możliwość w ykorzystania istniejących algorytm ów obliczania funkcji w iarygodności i jej gradientu do konstrukcji efektywnych num erycznie algorytm ów estym acji param etrów m odelu ciągłego.
5 .1 . M o d e l A R M A ja k o m o d e l p ró b k o w a n e g o p r o c e s u c ią g łe g o
B łac h u ta i Polański (1987, 1990) pokazali, że m odelem kow ariancyjnie równoważnym modelowi (3.5)-(3.6) jest:
Model (5.1)-(5.2) byw a w literatu rze błędnie nazywany m odelem innow acyjnym . W ynika
ustalonym filtrem K alm ana (4.16), w którym w arunek początkowy je st w ektorem zdeter
minowanym . Jed n ak że ustalony filtr K alm ana jest jedynie asym ptotycznie optym alny, zaś
<+1 = F x i + h v » y, = d 'x ] + t
(5.1) (5.2) gdzie:
cov(a:*) = Q'cr, E(v;Vj) = o6{J, E (u ,) = 0,
Q' = Q ° - P , F P d k 1 + d ’P d ' a = p (l + d ' P d ) ,
(5.5) (5.3) (5.4)
(5.6) zaś P je st dowolnym sym etrycznym rozwiązaniem algebraicznego rów nania Riccatiego:
(5.7)
to z fak tu , iż w p rzypadku w ybrania dodatnio określonego rozw iązania rów nania (5.7) reprezentacja (5.1)-(5.2) z p aram etram i określonymi poprzez (5.5)-(5.6) je st identyczna z
skonstruowany na jego podstaw ie proces je st także jedynie asym ptotycznie równoważny I
procesowi (3.5)-(3.6).
M odel zredukow any (5.1)-(5.2) m ożna również zapisać w postaci odw rotnej:
*'+ 1 = F ' x ’i + / w . (5.8)
Vj = d ' x ‘ - y , , (5.9)
gdzie:
F* = F — h d '. (5.10)
W ażną cechą m odelu zredukowanego je st to, iż im plikuje on, ja k o m odel obserwacji dy sk retn y ch , m odel ARM A:
A z ~1)y< = (5.11)
przy czym
<?(z_1) = 1 - <Piz~' - . . . - <p„z~n = d e t(7 - F z - 1 ), (5.12) t ^ z ' 1) = 1 - d i z -1 - . . . - d „2- n = d e t(7 - F ' z ~ l ). (5.13) P o stać kanoniczną obserw atorow ą układu (5.1)-(5.2) m o żn a w yrazić poprzez w spół
czynniki wielom ianów (5.12)-(5.13) (np. Shea, 1989):
(5.14) ' V>i 1 0 . . . 0 ' ’ <PI - *11 ' 1 '
0 1 . . . 0 — t?2 0
F =
V n -\ 1
, h =
: , d =
■ 'fin 0 . . 0 . ,V>n - 0 ». . 0 .
M odel zredukow any (5.1)-(5.2) związany z dodatnio określonym rozw iązaniem rów na
n ia R iccatiego (5.7), dla którego wszystkie pierw iastki w ielom ianu z nd ( z _1) leżą w ew nątrz okręgu jednostkow ego n a płaszczyźnie z, je st tzw. m odelem odw racalnym cechującym się ty m , że rów nanie (5.8) lub odpow iadające mu
t?(z- 1)t>; = Si, (z_ 1)y1- (5.15) są rów naniam i stabilnym i.
5 .2 . E s t y m a c j a m o d e l u A R M A
D la m odelu zredukowanego (5.1 )-(5.2) rów nania opisujące p red y k to r jednokrokow y u p rasz cz ają się (G ard n er, Harvey, Phillips, 1980). Oznaczmy
cov ( x ‘ ) = Q ’ <j,
przy czym Q* je st rozw iązaniem algebraicznego rów nania Lapunowa Q ' = F Q ' F + h h ’.
(5.16)
(5.17) O znaczm y przez liniową ocenę stanu zapew niającą m inim um błęd u średniokw adra- tow ego stan u x ' p rzy danych pom iarach do chwili i — 1, zaś kow ariancję błęd u oceny sta n u x " — x ' — przez
cov (¿* ) = (5.18)
Estym acja ciągłych stochastycznych system ów dynamicznych na podstaw ie.. 73
Wówczas jednokrokow y p red y k to r stanu je st określony poprzez reprezentację innow a
cyjną:
*i+ i|i = + (A + ki)ei, * o |-i = 0) (5.19)
fc. = ^ (5 20)
‘ 1 + d ' S Ai. l d ' t5' }
S w v = F * ( r ,- M 270|-iQ * . (5-21)
Dla i = 1 , 2 . . . n , błędy predykcji jednokrokowej e; oraz ich w ariancja var (e,) = sig m a f i są określone zależnościam i:
e,- = z,- - d'x 'ii_v (5.22)
f i = l + rf27{|,-,iŁ (5.23)
W p rzy p a d k u m odelu odw racalnego przy t —> oo zachodzi —♦ 0, fc; —+ 0 i rów nania p re d y k to ra p rzy jm ą postać asym ptotyczną ta k ą sam ą ja k w (4.16).
* ‘+i|; = + % ;• (5-24)
M etody identyfikacji i estym acji param etrów m odelu ARM A są znakom icie rozw inięte (np. H an n an , 1988; H annan, Kavalieris, 1983; H annan, Rissanen, 1982). O bszerny prze
gląd m e to d identyfikacji rzędu m odelu ARM A znajduje się w pracy B lach u ty (1994).
Dlatego też nasuw a się n astęp u jąca koncepcja estym acji m odelu ciągłego (S oderstróm 1984, 1991):
- esty m a cja w ektora param etrów 6’ m odelu ARM A, - odtw orzenie w ektora param etrów 6 m odelu ciągłego.
Biorąc p o d uwagę fak t, że m odel ARM A pow stał z dyskretnych obserw acji system u ciągłego m usim y, zgodnie z (5.11)-(5.12), przyjąć równe stopnie wielomianów MA i AR.
Je st zatem :
0* = [<fiu <p3 ...<pn, i?!,iJ2 . . . i ? n,ff]. (5.25) Podobnie ja k uprzednio oceny największej wiarygodności w ektora p ara m etró w 6 ' d o sta
niemy m inim alizując funkcję:
<r) = N ~ \ h h • • • (5.26)
t ' = l
przy czym o ceną a jest:
* = (5.27)
= 1
Zależność (5.26) je st ogólną postacią funkcji wiarygodności dla m odelu ARM A , niezależną od m eto d y jej obliczenia. P raktyczne algorytm y korzystają na ogól z innych równań, któ
rych elem enty są m niej pracochłonne od rekurencji równania (5.21), np. M elard (1984).
Isto tn y m problem em je st m etodyka m inim alizacji (5.26) i składające się n a n ią elem enty:
w yznaczanie w stępnych ocen param etrów oraz obliczanie gradientu i hesjanu funkcji wia
rygodności względem estymowanych param etrów . Zagadnienia te, dobrze obecnie o pra
cowane (np. K ohn, Ansley, 1982; B urshtein, 1993), w ykraczają poza zakres niniejszego opracow ania.
O sobnym problem em je st zastosowanie wysokiej częstotliwości próbkow ania. Model A R M A w wersji (5.11)-(5.14) sta je się wówczas praktycznie nieprzydatny. M eto d a wy
m aga przeform ulow ania w kategoriach operato ra 6. Zagadnienie to również w ykracza poza zakres tego opracowania.
5 .3 . W y k o r z y s t a n i e m o d e lu A R M A d o e s ty m a c ji m o d e lu c ią g łe g o
Jeśli przez 0* = T { 9 ) oznaczyć operację przekształcania p aram etrów opisu ciągłego n a p a ra m e try opisu dyskretnego, to przez odtworzenie w ektora p aram etrów 0 m odelu ciągłego należy rozum ieć procedurę odw rotną: 9 — T ~ 1{9') lub jej aproksym ację, gdy d la danego w ektora 9* procedury 9 = F ~ 1(9") przeprowadzić się nie da. N a operację F { 9 ) sk ła d a się:
- utw orzenie postaci kanonicznej (2.5) układu ciągłego (2.1)-(2.2), - obliczenie m acierzy F na podstaw ie (3.7),
- obliczenie m acierzy W zgodnie z (3.8),
- w yznaczenie postaci zredukowanej (5.1) n a podstaw ie (5.4)-(5.7), - sprow adzenie (5.1) do postaci kanonicznej (5.14).
Część operacji odw rotnej polegająca symbolicznie na obliczeniu
A — A -1 ln F (5.28)
je st p ro sta i polega w istocie na relacji między zeram i a,- wielomianu /l( s ) oraz zeram i a ’ w ielom ianu z n<p(z-1 ):
a , = A - 1 ln a * , (: = l , 2 . . . n ) . (5.29) Jeśli a ' je st rzeczywiste i dodatnie, nie pojawia się żaden problem. Jeśli je st ono rze
czyw iste i ujem ne, problem nie m a rozwiązania. Jeśli a* je st zespolone, problem je st niejednoznaczny. M ożna wówczas przyjąć np. rozwiązanie o najm niejszej części rzeczy
w istej. P rzeg ląd algorytm ów num erycznych do obliczenia (5.28) m ożna znaleźć w pracy (Sinha, R ao 1991).
Estym acja ciągłych stochastycznych systemów dynamicznych na podstawie. 75
Poważniejsze problem y nastręcza obliczenie elementów wielomianu C ( s ) oraz w ariancji zakłócenia pom iarów p, Przegląd algorytmów num erycznych do w yznaczania operacji odw rotnej 9 = J r - 1(0*), dla przypadku p = 0, zn a jd u ją się w pracach S ód erstró m a (1984,
1991).
K oncepcyjnie najprostszy z nich, ważny również dla p > 0, polega n a num erycznym odw róceniu operacji T . W artość 9 znajduje się wówczas w wyniku m inim alizacji:
9 = arg min ||(?‘ — JF(0)||2. (5.30)
W p rzypadku, gdy m in||0* — ^"(0)11 = 0, m ożna powiedzieć, że d la danego w ektora 9* istnieje system ciągły, którego wersja d yskretna odpow iada dokładnie zidentyfikow a
nem u system ow i dyskretnem u. Ponieważ operacja !F{9) nakłada n a w ektor 9* pewne więzy, k tóre nie są brane pod uwagę przy estym acji 9', praw dopodobieństw o istnienia takiego system u ciągłego je st znikome. Uwaga ta dotyczy przydatności w szystkich algo
rytm ów obliczania 9 = J-~X(Q') do celów identyfikacji 9\ przy tym poza algorytm em (5.30) należy liczyć się z rozw iązaniam i bardzo dalekim i od popraw nych lub wręcz z brakiem rozw iązania.
Jed n ak że wyjątkowo dobrze opracowane i niezwykle efektywne num erycznie m etody w yznaczania funkcji wiarygodności m odelu ARMA sk ła n ia ją do w ykorzystania ich do estym acji p aram etrów m odelu ciągłego, nie korzystając z (5.30). M ożna to zrobić zauw a
żając, że:
9 = a r g m in L ’ [j/,/(0 )]. (5.31)
G radient funkcji L ' [ y , f ( 9 ) \
V flr [ y ,/( < ? ) ] = ^ V i . L * [ y ,r ] (5.32) m ożna w yznaczyć zn ając wrażliwość d f ( 9 ) / d 9 oraz gradient w przestrzeni p aram etrów m odelu A RM A . Pierwszy czynnik w zależności (5.32) może być obliczony num erycz
nie, zaś drugi, łącznie z (5.31) za pomocą algorytm ów podanych np. w pracach (K ohn, Ansley, 1982), (B urshtein, 1993). W przypadku dużego wym iaru y , co w procesie ciągłym jest oczywiste, stanowi to efektywną • .obliczeniowo alternatywę w stosunku do num erycznego w yznaczania gradientu VoL*[j/, 0], gdzie L '[y ,9 ] je st określone przez (4.24).
6 . M o d e le w e k to r o w e
N atu ra ln y m uogólnieniem procesów skalarnych są procesy wektorowe, k tó re d la z t zaw ierającego m zm iennych m ożna opisać układem równań:
d x t = A x t d ł + G d ( t , (6.1)
z , = D ' x t. (6.2) M acierze G i D są obecnie n x m wymiarowe, zaś je st w ektorem m -w ym iarow ym , którego elem enty są niezależnym i procesam i W ienera.
P odobnie ja k d la procesu skalarnego równanie pom iaru próbkowanego p rzy jm ie postać:
Vi = D ' x i + r,-, (6.3)
gdzie r ; je st dysk retn y m b iałym szum em gaussowskim, tzn. £ [ r,-r '] = 7 pr zy czym IZ je s t m acierzą m X m wymiarową.
P roces y , je s t opisany za pom ocą układu dyskretnych rów nań stochastycznych:
* i+i = F x i + Wi, (6.4)
Vi = D ' x { + n , (6.5)
gdzie
F = e AA, (6 .6 )
zaś w,- je s t w ektorow ym białym szum em gaussowskim o m acierzy kow ariancji W :
W = i * eAiG G ' e A'’ds. (6.7)
Jo P roces innow acji je s t opisany równaniam i:
e, = y; - D ' x i \ i - U (6.8)
*;+i|; = + K {ei, * 0|_, = 0, (6.9)
H ; = F S i\ i. 1D S T \ (6. 10)
S ,+ .|i = W + F ( S i \ i - S ili_ l D S T 1D ,S n i - 1) F ' , S ohI = Q , (6.11)
S i = U + D ' S t ^ D . (6. 12)
F unkcja w iarygodności będzie m ia ła postać:
L ( y , 6 ) = ( 2 » ) - " “ '* • [det(S 1S ł . . . S w) ] - ,/a - e x p | — . (6.13)
P oniew aż obecnie błędy pom iarowe tw orzą w ektor o m acierzy w ariancji IZ, p ro ste ob
liczenie jej oceny, ta k ja k we wzorze (5.5), nie je st możliwe i m usi być o n a tra k to w a n a tak sam o ja k in n e p ara m etry , będąc jednym z argum entów procedury m inim alizacji funkcji
Estym acja ciągłych stochastycznych system ów dynamicznych na podstaw ie.. 77
l ( y , d ) = —ln L ( y , 0 ) . Ja k się okazuje, problem y ze zbieżnością tych algorytm ów wzglę
dem m acierzy TZ są poważne. Dla zilustrow ania problem u M aine i Iliff (1981) p o d a ją prosty przykład układu skalarnego:
xi+1 = Xi, x 0 - 0, (6.14)
y,- = X{ + r,-, (6.15)
E r f = p = A2. (6.16)
M inim alizow ana funkcja /(A ) = l( y , A) m a postać:
/(A ) = l/27V lnA 2 + ^ £ y ? . (6.17)
O znaczając
(6.18)
= 1 mamy:
V a/(A ) = —N r \ ~ 3 + N \ ~ \ (6.19)
A) = 3JVrA“ 1 - (6 .20)
Z rów nania (6 .8) je s t oczywiste, że p — A2 = r. Jednakże stosując do p rzy k ła d u iteracje N ew tona-R aphsona
= ek -
[vi/(0)]-l[v„/(0)], (6.2i)
dostaje się:
• (6-22)
Zbieżność do A2 = r , będącego pu n k tem równowagi rów nania (6.22), m a m iejsce d la 0 < Al < 2r , przy czym d la m ałych wartości A* je st ona bardzo wolna.
R easum ując, sform ułow anie n atu ra ln e może być stosowane w trzech sytuacjach:
- gdy p om iary są dokładne,
- gdy w artość wariancji 1Z szum u pomiarowego je st znana, - gdy dysponujem y dobrym i wstępnym i ocenam i TZ .
W sytuacji, gdy powyższe w arunki nie są spełnione, M aine i Iliff (1981) p ro p o n u ją n astępujące rozw iązanie. Zauważmy, że przy i —t oo zachodzi —> S , gdzie S je st dodatnio określonym , sym etrycznym rozw iązaniem algebraicznego rów nania Riccatiego:
S = W + F ( S - S D S ~ l D ' S ) F \ (6.23)
a także Si —► S , gdzie
S = TZ + D ' S D ( 6 .2 4 )
oraz H i —> H , gdzie
H = F S D S ~ \ (6.25)
R ów nania p red y k to ra p rzyjm ą postać asym ptotyczną:
*;+ i|; = + H e i , (6.26)
t/i = + e,. (6.27)
M aine i IlifF nazy w ają (6.26)-(6.27) reprezentacją innow acyjną i przy jm u ją * o |-i = 0.
T ra k tu ją c e,- jako innow acje o niezmiennej w czasie m acierzy kowariancji S - co je st asy m p to ty czn ie popraw ne - funkcję wiarygodności otrzym ujem y w postaci:
L ( y , 6) = [(2tr)m • d e t ^ ] " ^ 2 ■ exp | - i ¿ e ^ e , j , (6.28)
zaś u jem ny logarytm n atu ra ln y z dokładnością do stałej:
1 N
l(Vi °) ~ Q e ' ć ’ e.’ + Ar/2 1 n ( d e t5 ) . (6.29) 2 ;=i
N iew ątpliw ą z a le tą tego sform ułow ania je st p ro sto ta estym acji w ariancji S N
Ś = N ~ l ' £ ^ i - (6.30)
=i
G łów ną z a le tą sform ułow ania pierwotnego je st bezpośrednia estym acja param etrów u k ła d u ciągłego, w adą są problem y ze zbieżnością względem wariancji IZ. Is to tą sfor
m ułow ania m ieszanego je s t dążenie do zachow ania zalet dw u poprzednich sform ułow ań i elim inacja ich wad. W sform ułow aniu m ieszanym uwzględnimy za te m p a ra m e try m acie
rzy A , G oraz w ariancję S.
N ależy podkreślić, że ponieważ obecnie - zgodnie z (6.25) - H je st funkcją 5 , a co za ty m idzie e,- = e,-(<S), więc (6.30) nie je s t precyzyjną oceną najw iększej w iarygodności w ariancji S . Isto tn ie , różniczkując !(y, 0 ') względem S otrzym ujem y:
N 2 N - ' S V s l { y , 0 ) S = S - i V " 1
¿—i
4- 2A T ^ { | > ; . S f 1(V.s$i) } s , (6.31)
przy czym y,- = .D 'x ,|,_ ,.
W yrażenie w drugim wierszu je s t zm ienną losową o zerowej wartości oczekiwanej i wa
riancji zm ierzającej do zera przy N zm ierzającym do nieskończoności. P rz y dostatecznie
Estym acja ciągłych stochastycznych system ów dynamicznych na podstawie... 79
dużych w artościach N s ta je się ono pom ijalnie m ałe. D latego też esty m a to r (6.30) je st tylko asy m ptotycznie estym atorem ML.
Szybka zbieżność tej m etody jest okupiona dalszym i przybliżeniam i, ty m je d n a k lep
szymi, im k rótszy je s t okres próbkowania. Przepiszm y równanie (6.23) w nieco zm ienionej formie:
F ~ 1S jP ' " 1 = F ^ W F 1' 1 + S - S D S ~ l D ' S . (6.32) P rzyjm ijm y przybliżenia
F ~ l = J — A A , (6.33)
W « A g g '. (6.34)
Wówczas, p o m ijają c człony rzędu A 2, równanie (6.23) przekształci się do:
A S + S A - S D S ^ & S + g g ’ = 0. (6.35)
R ównanie (6.35) m a p ostać rów nania Riccatiego d la czasu ciągłego i m oże być rozw iązane za pom ocą standardow ych m etod. M acierz H , przy A —t 0, wyrazi się p ro sty m w zorem
H = S D S ~ \ (6.36)
W dalszym ciągu zakładam y, że jako S przyjm ujem y d o d atn io określone rozw iązanie (6.26), ta k że m odel d y skretny je s t odwracalny. Odw racalność je st konieczna dla sta b il
ności rów nań odw rotnych:
®i+1K = ( F - H D ' ) ^ + H Vi, (6.37)
e; = - D ' x { |i_i + y „ (6.38)
służących do w yznaczania e;.
M aine i Iliff (1981) p rez en tu ją skuteczne algorytm y m inim alizacji (6.29) n a podstaw ie m etod new tonow skich z analitycznie obliczonym gradientem i hesjanem . M eto d a zo stała zaim plem entow ana w program ie o nazwie M MLE3, używ anym przez NASA do badań ruchu obiektów la tając y ch w w arunkach turbulencji. W yniki tego algorytm u m ogą zostać potraktow ane ja k o dobre oceny w stępne d la dokładnego e sty m a to ra najw iększej wia
rygodności, otrzym yw anego poprzez m aksym alizację (6.13). T eoretycznie je s t możliwe uspraw nienie w yznaczania esty m a to ra dokładnego poprzez w prow adzenie w ektorowego modelu VARM A, zgodnie z m etodologią przedstaw ioną w p.4. E fektyw ny num erycznie algorytm obliczania funkcji w iarygodności dla m odelu VARMA istnieje (Shea, 1989).
Brak je d n a k dotychczas algorytm u w yznaczania gradientu.
7. P o d s u m o w a n ie
W arty k u le przedstaw iono m etody estym acji param etrów m odelu ciągłego procesu stochastycznego n a podstaw ie pom iarów dyskretnych w czasie. Przedstaw iono algorytm o bliczania funkcji wiarygodności w oparciu o bazowy m odel dyskretny. N astępnie przed
staw iono kow ariancyjnie równow ażną realizację m odelu dyskretnego, prow adzącą do mo
delu A R M A . Pokazano, w jaki sposób m odel ARMA m ożna w ykorzystać do konstrukcji efektyw nego num erycznie algorytm u estym acji param etrów m odelu ciągłego. W końcu przedstaw iono problem y estym acji param etrów ciągłych modeli w ektorow ych oraz po
dano m e to d y ich rozw iązania.
8 . P o d z ię k o w a n ie
A u to r w yraża wdzięczność p. Profesorowi Mieczysławowi Brdysiowi z T h e U niversity of B irm ingham za stw orzenie znakom itych warunków do pracy w School of E lectronic &
E lectrical Engineering.
L IT E R A T U R A
1. A nderson B. D. O, and J.B Moore (1979), O ptim al Filtering, Prentice-H all
2. A strom K. J. (1970), Introduction to S tochastic Control Theory, A cadem ic
3. B ergstrom A. R. ed. (1976), S tatistical Inference in C ontinuous T im e Econom ic M odels, N orth-H olland
4. B ła c h u ta M. (1994), M etody identyfikacji stacjonarnych i niestacjonarnych modeli A R M A , Zeszyty Naukowe Politechniki Śląskiej, s. A utom atyka, p rzy ję te do druku
5. B ła c h u ta M. and A. Polański (1987), On tim e invariant represen tatio n s of discrete ra n d o m processes, IE E E Trans, on Auto. Control, vol. AC-32, pp. 1125-1127
6. B ła c h u ta M ., Polański A. (1990), R eprezentacje dyskretnych procesów G aussa- M ar
kowa a sym etryczne rozw iązania rów nania Riccatiego, A rchiw um A utom atyki i Te
lem echaniki, vol. 35, pp. 177-189
7. B u rsh tein D. (1993), An efficient algorithm for calculating th e likelihood an d like
lihood g rad ien t of ARM A models, IE E E Trans, on A uto. C ontrol, vol. AC-38, pp.
336-340
Estym acja ciągłych stochastycznych system ów dynamicznych na podstaw ie. 81
8. C hen H . F. and L. Guo (1991), Identification and S tochastic A d ap tiv e C ontrol, B irkhauser
9. G ard n er G ., A. C. H arvey and G. D. A. Phillips (1980), A lgorithm AS 154. An alg o rith m for exact m axim um likelihood estim ation of autoregressive-m oving average m odels by m eans of K alm an filtering, Appl. S tatist., vol. 29, pp. 311-322
10. G ikhm an I. I. and A. V. Skorokhod (1969), In troduction to th e th eo ry of random processes, S aunders
11. G ikhm an I.I and A. V. Skorokhod (1972), S tochastic differential equations, S pringer 12. H an n an E. J. (1988), T h e estim ation of th e order of an ARM A process, A nn. S ta tist,
vol. 8, pp. 1071-1081
13. H annan E. J. and L. Kavalieris (1983), Linear estim ation of A R M A processes, Au- to m a tic a , vol. 19, pp. 447-448
14. H an n an E. J . and J. R issanen (1982), Recursive estim atio n of m ixed autoregressive- m oving average order, Biom etrika, vol. 69, pp. 81-94
15. K ohn R . an d C. F . Ansley (1982), C om puting th e likelihood an d th e ir derivatives for a G aussian ARM A m odel, J . S tatist. C om putn Simuln, vol. 15, pp. 229-263 16. K u sh n er H. (1971), In troduction to Stochastic C ontrol, H olt, R in eh a rt an d W inston 17. K w akernaak H. and R. Sivan (1972), Linear O ptim al C ontrol S ystem s, W iley 18. M aine R. E. and K. Iliff (1981), F orm ulation and im plem entation of a practical
algorithm for p a ra m e te r estim ation w ith process and m easurem ent noise, SIAM J.
Appl. M a th ., vol. 41, pp. 558-579
19. M elard G. (1984), A fast algorithm for th e exact likelihood of autoregresive-m oving average m odels, A lgorithm AS 197, Applied S tatistics, vol. 33, pp. 104-113
20. M iddleton R. H. and G. C. Goodwin (1990), D igital C ontrol and E stim atio n - A Unified A pproach, P rentice Hall
21. M oore J . B. (1988), Convergence of continuous tim e sto ch astic ELS p a ra m e te r esti
m atio n , S tochastic processes and their applications, vol. 27, pp. 195-215
22. Van S chuppen J. H. (1983), Convergence results for continuous tim e ad a p tiv e sto chastic filtering algorithm s, J. of M ath. Analysis and A pplic., vol. 96, pp. 209-225 23. S ah a D . C an d G. P. Rao (1983), Identification of C ontinuous D ynam ical S ystem s -
th e P oisson M om ent F unctional A pproach, Springer
24. S argan J . D. (1974), Some discrete approxim ations to continuous tim e stochastic m odels, J. Roy. S ta tist. Soc., ser. B, vol. 36, pp. 74-90
25. S hea B . L. (1989), A lgorithm AS 242, T he exact likelihood of a vector autoregresive m oving average m odel, Appl. S ta tist., vol. 38, pp. 161-204
26. S in h a N. K. an d G. P. Rao, ed. (1991), Identification of C ontinuous-T im e System s, M ethodology an d C om puter Im plem entation, Kluwer
27. S óderstróm T ., (1984): O n com puting continuous tim e co u n terp arts to A RM A m o
dels, R a p o rt U P T E C 84 100 R, U ppsala University
28. S öderström T ., (1991): On com puting stochastic continuous-tim e m odels from ARM A m odels, Int. J. Control, vol. 53, pp. 1311-1326
29. U nbehauen H. and G. P. Rao (1987), Identification of C ontinuous System s, N orth-H olland
30. W ym er C. R. (1972), E conom etric estim ation of stochastic differential eq u atio n sys
tem s, E conom etrica, vol. 40, pp. 565-577
Recenzent: Doc. dr hab. inż. Z b ig n ie w N a h o r s k i IBS PAN W arszawa
W płynęło do R edakcji dn ia 15.05.1994
A b s t r a c t
In th e p a p e r M axim um Likelihood param eter estim ation algorithm s based on discrete-tim e sam ples of continuous-tim e stochastic processes w ith a ratio n al spectral d en sity are addressed. For th e considered class of processes stochastic sta te -sp a ce equ
atio n s are form ulated, th e ir solutions are defined and discrete-tim e m odels are evalu
ated . F orm ulation of a continuous-tim e param eter estim ation problem based on these d iscrete-tim e m odels is referred to as a n atu ra l form ulation. An alg o rith m for calculation of th e likelihood function which bases on th e basic discrete-tim e m odel and K alm an fil
te rin g is presen ted . T h e n a covariance equivalent realization which leads to th e ARM A m odel is in tro d u c ed . Difficulties connected w ith using an e stim a ted A R M A m odel for d e term in a tio n of continuous-tim e param eters are highlighted. T h e ARM A m odel is then in d irectly used in a com putationally efficient m ethod of continuous-tim e p a ra m e te rs es
tim atio n . Finally, estim a tio n problem s in m u ltivariate continuous-tim e m odels are sta te d an d solved.
