Index of /rozprawy2/10615

Pełen tekst

(1)Akademia Górniczo-Hutnicza im. Stanisªawa Staszica Wydziaª Matematyki Stosowanej Katedra Analizy Matematycznej, Matematyki Obliczeniowej i Metod Probabilistycznych. Rozprawa doktorska. Metody wykrywania punktu zmiany przy ograniczeniach na ksztaªt alternatyw Konrad Nosek. Promotor: dr hab. Zbigniew Szkutnik Kraków 2012.

(2) Podzi¦kowania. Skªadam serdeczne podzi¦kowania mojemu Promotorowi Prof. Zbigniewowi Szkutnikowi za wieloletni¡ opiek¦ nad moim rozwojem naukowym. W szczególno±ci dzi¦kuj¦ za wskazanie kierunków bada«, owocne dyskusje i wspóªprac¦ naukow¡, która, mi¦dzy innymi, zaowocowaªa niniejsz¡ rozpraw¡ i cytowanymi w niej publikacjami. Dzi¦kuj¦ te» za cierpliwo±¢ i wyrozumiaªo±¢ wzgl¦dem mojej osoby.. Wyrazy wdzi¦czno±ci kieruj¦ te» do moich bliskich. Dzi¦kuj¦ mojej onie, Rodzicom, a tak»e Bratu za wszelkie wsparcie, bez którego nie byªoby mo»liwe uko«czenie niniejszej rozprawy.. Ponadto chciaªbym podzi¦kowa¢ moim Kole»ankom i Kolegom z pracy za wszelk¡ okazan¡ »yczliwo±¢ i pomoc.. Niniejsz¡ rozpraw¦ dedykuj¦ moim dziewczynom: Madzi, Oli i Elizie.. 1.

(3) Spis tre±ci Podzi¦kowania . . . . . . . . . . . . . . . . . . . . . . . . . . . . Streszczenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Wst¦p . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Rozdziaª 1. Postawienie problemu i sumy skumulowane 1.1. 1.2. 1.3. 1.4.. Badany model . . . . . . . . Przykªady . . . . . . . . . . . Wsteczna procedura CUSUM Zwykªe procedury CUSUM .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . . . . . . . .. 1. . . . . . . . . . .. 4. . . . . . . . . . .. 5. . . . . . . . . . .. 6. . . . . . . . . . .. 9. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. 9 10 11 13. Rozdziaª 2. Wykrywanie punktu zmiany przy pomocy unormowanych reszt z dªu»szym horyzontem prognozy . . . . . . . . . . . . . . . . . . .. 14. 2.1. Reszty dla prognoz liczonych kilka kroków w przód . . . . . . . . . . . . . . . . 2.2. Procedura testowa oparta na resztach . . . . . . . . . . . . . . . . . . . . . . . 2.3. Dowody twierdze« i lematów z rozdziaªu 2 . . . . . . . . . . . . . . . . . . . . .. 15 17 20. Rozdziaª 3. Metoda oparta na ilorazie wiarygodno±ci dla modeli liniowych z ograniczeniami w postaci nierówno±ci . . . . . . . . . 3.1. 3.2. 3.3. 3.4. 3.5. 3.6. 3.7. 3.8. 3.9.. . . . .. . . . .. . . .. Metody wyznaczania ENW z ograniczeniami w postaci nierówno±ci liniowych Baza pierwotna oraz baza dualna w ogólnym modelu liniowym . . . . . . . . Konstrukcja odpowiedniej bazy mieszanej i wyznaczenie ENW . . . . . . . . Model z mo»liwym punktem zmiany jako model liniowy z ograniczeniami . . Szczególna posta¢ macierzy restrykcji . . . . . . . . . . . . . . . . . . . . . . ENW parametrów dla modelu z odchyleniem od prostej pocz¡tkowej . . . . . Test ilorazu wiarygodno±ci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Test ilorazu wiarygodno±ci dla modeli z mo»liwym punktem zmiany . . . . . Dowody twierdze« i lematów z rozdziaªu 3 . . . . . . . . . . . . . . . . . . . .. Rozdziaª 4. Model dwufazowej regresji liniowej .. 25. . . . . . . . . .. 25 27 27 29 31 32 34 36 40. . . . . . . . . . . . . . . .. 48. 4.1. Modele z odchyleniem wzdªu» innej prostej . . . . . . . . . . . . . . . . . 4.2. ENW parametru dla modeli z odchyleniem wzdªu» innej prostej . . . . . . 4.3. Iloraz wiarygodno±ci dla regresji dwufazowej liniowej ze zmian¡ obydwu parametrów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4. Iloraz wiarygodno±ci dla dwufazowej regresji liniowej ze skokiem . . . . .. . . . . . .. 48 51. . . . . . .. 53 58. . . . . . . . . . . . . . . . . . . . . . .. 61. 5.1. Wykorzystane w symulacjach ksztaªty alternatyw . . . . . . . . . . . . . . . . . 5.2. Wybór horyzontu prognozy w testach opartych na resztach . . . . . . . . . . .. 61 63. Rozdziaª 5. Porównanie mocy testów .. 2.

(4) Spis tre±ci 5.3. Porównanie mocy testów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Rozdziaª 6. Podsumowanie .. 65. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 81. 6.1. Podsumowanie nowych rezultatów . . . . . . . . . . . . . . . . . . . . . . . . . 6.2. Kierunki dalszych bada« . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 81 83. Dodatek A. Opis symulacji . Dodatek B. Oznaczenia . . . Bibliograa . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 84. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 86. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 88.

(5) Streszczenie. Motywacj¡ podj¦cia w rozprawie doktorskiej problemu wykrywania punktu zmiany dla modelu regresji liniowej w przypadku maªej liczby obserwacji oraz przy ograniczeniach na ksztaªty alternatyw s¡ zastosowania pojawiaj¡ce si¦ w ró»nych dziedzinach (np. zjologia, medycyna). Mimo, i» problemy dotycz¡ce punktu zmiany pojawiaj¡ si¦ w literaturze od ponad póª wieku, to metody dotycz¡ce bardzo maªych próbek lub modeli z ograniczeniami na ksztaªt odchyle« od pocz¡tkowej prostej nie byªy do tej pory wystarczaj¡co zbadane. W rozprawie przedstawione s¡ testy oparte na resztach dla prognoz liczonych kilka kroków w przód, które zaproponowano w pracy z dziedziny zjologii. Pokazane jest, i» unormowane reszty s¡ niezmiennicze ze wzgl¦du na zmian¦ skali i trendu oraz »e maj¡ tak zwany podwójnie niecentralny rozkªad jest zwykªym rozkªadem. t-Studenta.. t-Studenta,. który przy hipotezie zerowej. Ponadto dowiedziona jest zgodno±¢ testu, gdy. stosunek sygnaªu do szumu d¡»y do niesko«czono±ci. W pracy zaproponowane s¡ te» nowe procedury testowe oparte o iloraz wiarygodno±ci przy ograniczeniach na ksztaªt alternatyw. W szczególno±ci rozwa»ane s¡ monotoniczne odchylenie od prostej oraz odchylenie wypukªe. W tym celu po raz pierwszy, wedªug dost¦pnej autorowi wiedzy, w kontek±cie punktów zmiany wykorzystano teori¦ modeli liniowych z ograniczeniami w postaci nierówno±ci na wspóªczynniki regresji. W szczególno±ci omówiony jest algorytm baz mieszanych wykorzystywany do estymacji parametrów regresji przy wspomnianych ograniczeniach. Ponadto omówiona i uzupeªniona jest teoria dotycz¡ca statystyki opartej o iloraz wiarygodno±ci oraz testu z ni¡ zwi¡zanego. Jeden z rozdziaªów po±wi¦cony jest tak zwanym dwufazowym modelom regresji liniowej. Równie» w tym przypadku do konstrukcji testu ilorazu wiarygodno±ci wykorzystane s¡ modele liniowe z ograniczeniami. Powy»sze rozwa»ania uzupeªnione s¡ o symulacje komputerowe. W pierwszej kolejno±ci badana jest odporno±¢ zaproponowanych procedur na zªamanie zaªo»enia normalno±ci bª¦dów w modelu. W drugiej kolejno±ci porównane s¡ symulowane moce rozwa»anych testów oraz testów opartych o skumulowane sumy (CUSUM).. Sªowa kluczowe punkt zmiany, alternatywy ograniczone, reszty, modele liniowe, porównanie mocy, maªy rozmiar próby, test ilorazu wiarygodno±ci. 4.

(6) Abstract. The change-point problem for the linear regression models with a small number of measurements and with shape restricted alternatives is considered. The motivation to take this problem in the thesis are applications appearing in various elds (e.g. physiology, medicine). Although issues concerning the change-point problems have been appearing in the literature for more than half a century, the methods for very small samples or models with restrictions on the shape of the departure from the initial linear line were not suciently examined so far. Firstly,. k -linear-r-ahead. recursive residuals based tests, which were proposed in. an article in the eld of physiology, are presented. The proof that the vector of. k -linear-r-ahead. recursive residuals is invariant with respect to de-trending and re-. k -linear-r-ahead recursive residuals t-distributions. In addition, the consistency of. scaling is given. Moreover, it is shown that the have the so-called doubly non-central. the test is proved, when the signal-to-noise ratio tends to innity. Secondly, the discussed change-point models with restrictions on the shape of the departure are formulated as linear regression models with inequality constraints and a likelihood ratio test for the presence of a change-point is constructed. In particular, the monotonic shape of regression function and the convex one are considered. Moreover, the mixed primal-dual bases algorithm, which is used for estimation of regression parameters with the mentioned above restrictions, is discussed. Furthermore, some theoretical properties of the likelihood ratio statistic and the test based on it are proved. To the best of the author's knowledge, these methods have not been considered so far in the context of the change-point detection. Finally, two-phase linear regression models with inequality constraints on the regression parameters are discussed. Also in this case, linear models with inequality constraints are used to evolve a likelihood ratio test. The above considerations are supplemented by a Monte Carlo study. First of all, the robustness of the proposed tests to violations of the assumption of normal errors is studied. Moreover, numerical approximations to the powers against various alternatives are given and compared with the powers of the CUSUM tests.. Key words change-point, linear regression model with inequality constraints, likelihood ratio test, recursive residuals. 5.

(7) Wst¦p. Wykrywanie istnienia punktu (punktów) zmiany jest od dawna wa»nym zagadnieniem pojawiaj¡cym si¦ w ró»nych kontekstach w ±wiatowej literaturze statystycznej. Przez punkt zmiany (ang. change-point) rozumie si¦ moment, w którym nast¦puje zmiana struktury obserwowanego ci¡gu zmiennych losowych. Testuj¡c istnienie punktu zmiany sprawdza si¦ zatem jednorodno±¢ obserwacji. W monograach dotycz¡cych punktów zmiany podkre±la si¦, »e popularno±¢ tego typu problemów bierze si¦ z faktu ich wyst¦powania w najró»niejszych dziedzinach. Wspomnijmy tu za Brodskym i Darkhovskym (1993), »e problemy dotycz¡ce punktów zmiany wyst¦puj¡ w medycynie, biologii, zyce, technice a nawet historii. Chen i Gupta (2000) wspominaj¡ ponadto o zastosowaniach w ekonomii, nansach, psychologii, geologii i literaturze. Problemy dotycz¡ce punktów zmiany dzieli si¦ na dwie grupy. Jedna z nich dotyczy obserwacji uzyskiwanych na bie»¡co jedna po drugiej. W tym przypadku po ka»dej obserwacji nale»y stwierdzi¢, czy jest ona z zaªo»onego modelu (ang. on-line change-point problems). Decyzja jest podejmowana w czasie rzeczywistym. Drug¡ grup¦ problemów stanowi¡ tak zwane retrospektywne problemy z mo»liwym punktem zmiany (ang. o-line change-point problems). W tym przypadku decyzj¦ czy wszystkie obserwacje s¡ jednorodne, czy mo»e trzeba je podzieli¢ na jednorodne podgrupy podejmuje si¦ na podstawie zebranych wcze±niej danych. W niniejszej rozprawie b¦dziemy si¦ koncentrowa¢ na retrospektywnych problemach z mo»liwym punktem zmiany w modelu regresji linowej. Problem testowania czy wszystkie obserwacje s¡ zgodne z regresj¡ liniow¡ dyskutowany byª m.in. w pracy Browna i innych (1975), gdzie posta¢ alternatywy nie byªa dokªadnie sprecyzowana. Brown i inni wyprowadzaj¡ mi¦dzy innymi testy oparte na skumulowanych sumach reszt (tzw. CUSUM) oraz wspominaj¡ o te±cie opartym na ilorazie wiarygodno±ci. Metoda oparta o iloraz wiarygodno±ci rozwijana byªa w pracach Kim i Siegmunda (1989), Kim i Cai (1993), Kim (1994) oraz Diniz i Brochi (2005). Równie» procedury oparte na CUSUM byªy szeroko dyskutowane w literaturze (np. Schweder, 1976; Ploberger i Krämer, 1992; Kianifard i Swallow, 1996; Wu, 2005; Horváth i inni, 2008). Ponadto, w problemach z mo»liwym punktem zmiany podejmowane s¡ próby wykorzystania kryteriów informacyjnych (np. Ninomiya, 2005; Nosek, 2010; Shen i Ghosh, 2011). Przegl¡d nieparametrycznych metod stosowanych w problemach punktu zmiany mo»na znale¹¢ w monograi Brodsky'ego i Darkhovsky'ego (1993). Tak»e popularne w. 6.

(8) Wst¦p ostatnich latach metody bootstrap znalazªy swoje zastosowanie do modeli z punktem zmiany (np. Julious, 2001; Hu²ková i Kirch, 2010; Jouini, 2010). Wi¦kszo±¢ prac z zakresu tej problematyki dotyczy zagadnie« dªugich ci¡gów zmiennych losowych. W tym przypadku mo»na wykorzystywa¢ asymptotyczne wªasno±ci wspomnianych wcze±niej metod. Jednak»e w zagadnieniach praktycznych pojawiaj¡ si¦ problemy, w których rozmiar próby jest bardzo maªy, np. w zagadnieniach zjologicznych opisanych w pracy oª¡dzia i innych (1998), czy te» w problemach transplantacji przedstawionych przez Smitha i Cooka (1980). Ponadto w problemie opisanym przez oª¡dzia i innych (1998) dost¦pna jest wiedza o mo»liwym ksztaªcie alternatyw, wynikaj¡ca z natury modelowanego zjawiska, która powinna by¢ wykorzystana w procesie wnioskowania. Rozwa»ane w tej rozprawie ograniczenia na ksztaªt krzywych po zmianie nie byªy do tej pory brane pod uwag¦ w regresji liniowej z potencjaln¡ zmian¡ struktury, chocia» wiedza a priori o badanym zjawisku, dla którego konstruowany jest model, cz¦sto wskazuje na celowo±¢ tego typu zaªo»e«. Celem niniejszej rozprawy jest dyskusja problemu wykrywania punktu zmiany w modelach regresji liniowej z ograniczeniami na ksztaªt odchyle« od prostej pocz¡tkowej przy maªej liczbie obserwacji. W zwi¡zku z tym zaproponowana zostanie metoda oparta na ilorazie wiarygodno±ci dla modeli liniowych z ograniczeniami w postaci nierówno±ci (por. Gourieroux, 1982; Robertson i inni, 1988; Mukerjee, 1995; Meyer, 2003; Silvapulle i Sen, 2005). Metoda ta, wedªug dost¦pnej autorowi wiedzy, nie byªa do tej pory rozwa»ana w kontek±cie wykrywania punktu zmiany. Procedury testowe zostan¡ wyprowadzone dla ró»nych ksztaªtów alternatyw. Jednym z ogranicze« rozpatrywanych w niniejszej rozprawie b¦dzie zaªo»enie, i» warto±ci odchyle« s¡ monotoniczne, a zatem obserwacje w drugiej fazie (tj. po zmianie) nie zbli»aj¡ si¦ do prostej pocz¡tkowej. Innym rozpatrywanym zaªo»eniem jest wypukªo±¢, tzn. zakªadamy regresj¦ wypukª¡ w caªym modelu i liniowo±¢ w pierwszej fazie (tj. przed zmian¡). Do tej pory jedynym ograniczeniem dotycz¡cym ksztaªtu po zmianie rozpatrywanym w znanej autorowi literaturze dotycz¡cej punktów zmiany w problemach regresji, byªo zaªo»enie w pracy Schwedera (1976), »e warto±ci odchyle« od prostej pocz¡tkowej maj¡ ten sam znak. Model z takim ograniczeniem zaproponowano te» w pracy oª¡dzia i innych (1998) do rozwa»anego tam zagadnienia zjologicznego. W pracy tej zaproponowano procedur¦ opart¡ na resztach dla prognoz liczonych kilka kroków w przód. Wªasno±ci reszt i testów na nich opartych dyskutowane byªy w pracy Noska i Szkutnika (2008). W niniejszej rozprawie metoda ta b¦dzie dokªadnie omówiona. Przedstawione zostan¡ wªasno±ci opisane w pracy Noska i Szkutnika oraz ich uogólnienia. W problemie testowania dotycz¡cego zmiany warto±ci oczekiwanej pojawiaªy si¦ w literaturze ograniczenia na kierunek lub ksztaªt odchyle«. W pierwszej kolejno±ci nale»y wspomnie¢ artykuª Chernoa i Zacksa (1964), w którym rozwa»a si¦ ci¡g niezale»nych zmiennych losowych o rozkªadzie normalnym i wspólnej warto±ci oczekiwanej, która mo»e si¦ zmieni¢ w nieznanym momencie o nieznan¡ dodatni¡ warto±¢, tj. skok w kierunku dodatnim. W 2001 roku Wu i inni rozwa»ali problem testowania staªo±ci ±redniej w kontek±cie regresji izotonicznej, tzn. zakªadaj¡c »e przy alternatywie ci¡g warto±ci oczekiwanych jest niemalej¡cy. Równie» przy tym zaªo»eniu, problem zmiany warto±ci oczekiwanej rozwa»ali Frisén i inni (2010). W obydwu artykuªach autorzy nie zakªadaj¡ normalno±ci obserwacji. W tym miejscu warto podkre±li¢, »e regresja izotoniczna nale»y do klasy problemów z ograniczeniami takimi jak ograniczenia w. 7.

(9) Wst¦p postaci nierówno±ci, ograniczenia na ksztaªt itp. Zauwa»my te», »e zaªo»enie o monotoniczno±ci warto±ci ±redniej jest analogiczne do zaªo»enia o monotoniczno±ci warto±ci odchyle« od prostej pocz¡tkowej w modelu regresji. Szczególnym przypadkiem problemów zwi¡zanych z punktem zmiany s¡ tak zwane dwufazowe modele regresji liniowej (por. Kim i Siegmund, 1989; Kim, 1994; Horváth, 1995; Chen i Gupta, 2000, rozdz. 4; Jouini, 2010). Do wykrywania punktu zmiany w tego typu modelach cz¦sto wykorzystuje si¦ iloraz wiarygodno±ci. W literaturze dyskutowane s¡ modele dwufazowe z ograniczeniami typu ci¡gªo±¢ (por. Hinkley, 1971; Siegmund i Zhang, 1994; Julious, 2001) albo równolegªo±¢ (por. Kim i Siegmund, 1989). Do tej pory nie byªy rozwa»ane ograniczenia dotycz¡ce kierunku zmiany. Wydaje si¦, »e szczególnie w problemach regresji dwufazowej zaªo»enia tego typu s¡ cz¦sto ªatwe do uzasadnienia. Przykªadowo w problemie transplantacji nerek opisanym przez Smitha i Cooka (1980) wiadomo, i» rozpatrywana zale»no±¢ (tj. odwrotno±¢ st¦»enia kreatyniny w surowicy krwi wzgl¦dem liczby dni po przeszczepie) ro±nie liniowo a» do momentu, kiedy przeszczep zostaje odrzucony. Wówczas rozpatrywana zale»no±¢ maleje. W skªad niniejszej rozprawy wchodzi sze±¢ rozdziaªów. W pierwszym z nich sformuªowany jest rozwa»any problem oraz omówione s¡ podstawowe metody stosowane w tego typu zagadnieniach. Ponadto podane s¡ przykªady b¦d¡ce motywacj¡ do rozwa»a« podj¦tych w tej rozprawie. Rozdziaª drugi po±wi¦cony jest unormowanym resztom dla prognoz liczonych kilka kroków w przód i testom na nich opartych. W rozdziale trzecim zaprezentowane zostaªy modele liniowe z ograniczeniami w postaci nierówno±ci. W szczególno±ci opisany zostaª algorytm estymacji parametrów oparty na poj¦ciu baz mieszanych. Ponadto omówione zostaªy testy oparte na ilorazie wiarygodno±ci. Kluczowym wynikiem jest kompletny dowód twierdzenia o rozkªadzie statystyki testowej przy zaªo»eniu hipotezy zerowej w przypadku nieznanej wariancji bª¦du. Ponadto model regresji liniowej z punktem zmiany, dla którego zostaªy sformuªowane dodatkowe ograniczenia na warto±ci odchyle« od prostej pocz¡tkowej, przedstawiono jako model liniowy z ograniczeniami w postaci nierówno±ci, co pozwoliªo wykorzysta¢ wspomnian¡ teori¦ testu ilorazu wiarygodno±ci dla przypadku z ograniczeniami. Rozdziaª czwarty po±wi¦cony jest dwufazowym modelom regresji liniowej, w których sformuªowano dodatkowe ograniczenia na zale»no±¢ mi¦dzy odpowiednimi wspóªczynnikami w pierwszej i drugiej fazie regresji. W rozdziale tym przedstawiono test ilorazu wiarygodno±ci z wykorzystaniem teorii modeli liniowych opisanych w poprzednim rozdziale. W rozdziale pi¡tym przedstawiono i przedyskutowano symulacje mocy testów przy zaªo»eniu ró»nych ksztaªtów alternatyw. Ostatni rozdziaª zawiera podsumowanie nowych wyników oraz propozycj¦ problemów do dalszych bada«. Ponadto w dodatku A opisano symulacje komputerowe, a w dodatku B zebrano u»ywane oznaczenia. Na koniec odnotujmy, »e przytoczone dowody twierdze« i lematów s¡ autorskie i znajduj¡ si¦ zawsze na ko«cu danego rozdziaªu..

(10) Rozdziaª 1. Postawienie problemu i sumy skumulowane. Problem testowania czy wszystkie obserwacje s¡ zgodne z regresj¡ liniow¡ dyskutowany byª mi¦dzy innymi w pracy Browna i innych (1975), gdzie posta¢ alternatywy nie byªa dokªadnie sprecyzowana. Schweder (1976) rozwa»aª model z pocz¡tkow¡ faz¡ liniow¡ i zaproponowaª bardzo ogóln¡ posta¢ drugiej fazy modelu regresji z mo»liwym odchyleniem od pocz¡tkowego modelu liniowego:. Yi = x0i b + εi , gdzie. xi. i ∈ {1, . . . , s} ,. s¡ ustalonymi. q -wymiarowymi. Yi = x0i b + ci + εi ,. i ∈ {s + 1, . . . , n} ,. wektorami zmiennych obja±niaj¡cych,. b. ozna-. q -wymiarowy wektor wspóªczynników regresji, a ci reprezentuj¡ nieznane s pierwszych obserwacjach »e s¡ zgodne z modelem liniowym. Ponadto, niezale»ne zmienne losowe εi. cza nieznany. warto±ci odchyle« od pocz¡tkowej pªaszczyzny regresjii. O zakªadamy,. oznaczaj¡ bª¡d losowy i maj¡ rozkªad normalny o zerowej warto±ci oczekiwanej oraz nieznanej wariancji. Jako szczególny przypadek Schweder rozwa»aª problem alternatyw jednostronnych (ang. constant sign problem), tj. przypadek, gdy wszystkie. ci. ró»ne od. zera maj¡ ten sam znak. W niniejszym rozdziale przedstawiony zostanie model regresji liniowej z pojedyncz¡ zmienn¡ obja±niaj¡c¡, z mo»liwym jednostronnym odchyleniem od prostej pocz¡tkowej i dla przypadku maªej liczby pomiarów oraz omówione zostan¡ krótko opisane w literaturze testy oparte na tzw. sumach skumulowanych. Wprowadzony model z ró»nymi dodatkowymi ograniczeniami b¦dzie rozwa»any w dalszych rozdziaªach.. 1.1. Badany model Dane s¡ zmienne losowe obserwacje. Y1 , . . . , Y n. mierzone w ustalonych punktach. xi . Niech x1 < x2 < . . . < xn . O s pierwszych obserwacjach zakªadamy, i» s¡ one zgodne s jest znana, tj.. z modelem regresji liniowej. W tym miejscu nale»y podkre±li¢, »e liczba. ustalona na podstawie natury badanego zjawiska. Cz¦sto w zastosowaniach przyjmuje. 9.

(11) 1.2. Przykªady si¦. s = 3 (np. oª¡d¹ i inni, 1998). W przypadku regresji liniowej z pojedyncz¡ zmienn¡. obja±niaj¡c¡ taka warto±¢ jest minimaln¡ liczb¡ obserwacji pocz¡tkowych, o których musimy zaªo»y¢ zgodno±¢ z regresj¡ liniow¡, aby skonstruowa¢ niezdegenerowany estymator wariancji. Rozwa»any model z mo»liwym odchyleniem od prostej regresji w nieznanym punkcie zmiany. Yi = axi +b+εi , gdzie. εi ∼ N (0, σ 2 ). T s. jest postaci:. i ∈ {1, . . . , s} ,. i ∈ {s+1, . . . , n} ,. Yi = axi +b+ci +εi ,. s¡ niezale»ne. Ponadto parametry. warto±ciach odchylenia reprezentowanych przez. ci. a, b , c i. oraz. σ2. s¡ nieznane. O. zakªadamy, i» s¡ nieujemne:. ci 0.. (1.2). Powy»szy model mo»na te» zapisa¢ w postaci wektorowej. Niech Y b = (a, b)0 , xi = (xi , 1)0 , Xn = (x1 . . . xn )0 , ε = (ε1 , . . . , εn )0 oraz c gdzie. ci = 0. dla. i ¬ s.. (1.1). = (Y1 , . . . Yn )0 , = (c1 , . . . , cn )0 ,. Wtedy. Y = Xn b + c + ε .. (1.3). Kwesti¡, któr¡ nale»y rozstrzygn¡¢ jest czy istnieje punkt zmiany. T , czy raczej wszyst-. kie obserwacje s¡ zgodne z modelem regresji liniowej. Dlatego testowane s¡ hipotezy:. H0 : cj = 0. dla ka»dego. j. vs. H1 : cj 0. (1.4) dla ka»dego. j>s. i. cj > 0. dla pewnego. j > s.. W dalszej cz¦±ci b¦dziemy te» rozwa»a¢ modele z dodatkowymi ograniczeniami, które nie byªy dot¡d rozwa»ane w literaturze. W rozdziale 3 rozwa»ane s¡ dwa ograniczenia. Jednym z zaªo»e« jest monotoniczno±¢ odchyle«. Oznacza to, »e obserwacje po zmianie nie zbli»aj¡ si¦ do prostej pocz¡tkowej, czyli warto±ci. cj. tworz¡ ci¡g nie-. malej¡cy. Innym dodatkowym zaªo»eniem mo»e by¢ wypukªo±¢ funkcji regresji. W rozdziale 4 rozwa»ane b¦d¡ ró»ne modele regresji dwufazowej z dodatkowymi jednostronnymi ograniczeniami.. 1.2. Przykªady Poni»ej przedstawione s¡ przykªady, w których mog¡ mie¢ zastosowanie modele, rozwa»ane w tej pracy.. Przykªad 1.1.. W pracy oª¡dzia i innych (1998) rozwa»any jest problem zale»no±ci zu»ycia tlenu (Y ) od nat¦»enia wysiªku zycznego (x). Dla maªych warto±ci nat¦»enia wysiªku zycznego zale»no±¢ jest liniowa. Natomiast dla du»ych x warto±¢ Y le»y najcz¦±ciej powy»ej prostej pocz¡tkowej. Do opisu badanego w tym artykule zjawiska zaproponowano model. Yi = axi + b + εi ,. i ∈ {1, . . . , T } ,. EYi > axi + b ,. i ∈ {T + 1, . . . , n} ,. (1.5). gdzie Y1 , . . . Yn s¡ niezale»ne, εi ∼ N (0, σ 2 ), a, b oraz σ s¡ nieznanymi parametrami. W pierwszej kolejno±ci sprawdzano istnienie punktu zmiany T , a nast¦pnie estymowano 10.

(12) 1.3. Wsteczna procedura CUSUM. jego poªo»enie. Warto zauwa»y¢, »e powy»szy model jest ogólniejszy ni» zdeniowany w tym rozdziale model (1.1), gdy» nie zakªada si¦ w nim normalno±ci zmiennych losowych Yi dla i > T . Co wi¦cej, model (1.5) dopuszcza równoczesn¡ zmian¦ wariancji. W pracy oª¡dzia i innych (1998) podkre±la si¦, »e standardowe procedury wykrywania istnienia punktu zmiany s¡ niewystarczaj¡ce dla rozwa»anego problemu. Jako dwie gªówne przyczyny autorzy podaj¡ maª¡ liczb¦ pomiarów zu»ycia tlenu (811) oraz obserwacj¦, i» punkt zmiany najcz¦±ciej pojawiaª si¦ stosunkowo wcze±nie. Ponadto zaobserwowano, i» w drugiej fazie punkty ukªadaªy si¦ najcz¦±ciej wzdªu» krzywej wykªadniczej. Dlatego te» w pracy tej zaproponowano nowe, specjalne procedury oparte na pewnych unormowanych resztach. Opis tych metod przy dodatkowych zaªo»eniach modelu (1.1) mo»na znale¹¢ w rozdziale 2 oraz w pracy Noska i Szkutnika (2008), gdzie dopuszcza si¦ równie» jednoczesn¡ zmian¦ wariancji.. Przykªad 1.2. Smith i Cook (1980) rozwa»aj¡ w swojej pracy problem odrzucenia przeszczepu nerek. Jednym ze wska¹ników opisuj¡cych funkcjonowanie nerek jest st¦»enie kreatyniny w surowicy krwi. W pierwszych dniach po przeszczepie poziom mierzonego wska¹nika (odwrotno±¢ st¦»enia kreatyniny w surowicy z uwzgl¦dnieniem wagi pacjenta) ro±nie liniowo. Nast¦pnie wska¹nik zaczyna male¢, gdy nast¦puje odrzucenie przeszczepu. Mimo, i» zmiana ta nie ma gwaªtownego charakteru, to dwufazowy model regresji z zachowan¡ ci¡gªo±ci¡ w punkcie zmiany (por. 4.1) jest dobrym przybli»eniem (por. Smith i Cook, 1980). Równie» w tym przypadku liczba obserwacji jest maªa (810). Ponadto znany jest kierunek odchylenia od prostej pocz¡tkowej. W tym przypadku prosta w drugiej fazie ma wspóªczynnik mniejszy ni» w pierwszej fazie. Przykªad ten jest motywacj¡ do rozwa»ania modeli dwufazowej regresji liniowej w rozdziale 2. 1.3. Wsteczna procedura CUSUM Jak wcze±niej wspomniano, jednostronnym problemem testowania postaci (1.4) zajj mowaª si¦ Schweder (1976), który rozwa»aª ci¡g alternatyw H1 : c1 = · · · = cj−1 = 0,. cj > 0, cj+1 0, . . . , cn 0 (j ∈ {s+1, . . . , n}). W swojej pracy Schweder wykorzystaª ide¦ Pfanzagla (1959), który zaproponowaª, aby konstrukcj¦ procedury testowej w tzw. problemie testowania jednoczesnego oprze¢ na maksymalizowaniu ±redniej mocy testu. Takie podej±cie jest odpowiednikiem lematu Neymana-Pearsona dla przypadku poje2 dynczych alternatyw. Przy zaªo»eniu znanej wariancji σ , wykorzystuj¡c dostateczno±¢ i niezmienniczo±¢ Schweder proponuje oprze¢ wnioskowanie na resztach rekurencyjnych ˆ i , gdzie b ˆ i jest estymatorem wspóªczynników prostej regresji opartym na i Yi+1 − x0i+1 b pierwszych obserwacjach. Wsteczna procedura CUSUM (ang. backward CUSUM method) jest rekomendowana przez niego jako lokalnie optymalna w±ród testów opartych na resztach rekurencyjnych. W procedurze tej nale»y przyj¡¢. . H0 ,. gdy. . n î Yi+1 − x0i+1 b 1X  < c, q max  k=s+1,...,n σ 1 + x0i+1 (X0i Xi )−1 xi+1 i=k gdzie. c. jest punktem krytycznym testu na poziomie istotno±ci. (1.6). α, Xi = (x1 . . . xi )0 .. W przypadku procedur opartych na CUSUM do wyznaczenia punktu krytycznego wykorzystuje si¦ przybli»enie sum cz¦±ciowych ruchem Browna. Równie» Schweder. 11.

(13) 1.3. Wsteczna procedura CUSUM wykorzystuj¡c t¡ zale»no±¢ uzyskuje nast¦puj¡ce przybli»enie punktu krytycznego te√ n − s Φ−1 (1 − α/2), gdzie Φ−1 (1 − α/2) oznacza stu na poziomie istotno±ci α: c = kwantyl rz¦du. 1 − α/2. standardowego rozkªadu normalnego.. W celu zastosowania tej procedury w przypadku nieznanej wariancji. σ2. nale»y j¡. estymowa¢. Schweder proponuje wykorzysta¢ estymator oparty na prostej dopasowanej do pierwszych. s. obserwacji, tj. tych, o których wiemy, »e s¡ zgodne z modelem. liniowym. Jednak»e podkre±la on, »e estymator ten jest zadowalaj¡cy tylko dla du»ej liczby. s.. Warunek ten jest trudny do speªnienia w przypadku rozwa»anej przez. nas maªej liczby wszystkich obserwacji. Przy maªej liczbie obserwacji, o których zakªadamy, »e s¡ zgodne z regresj¡ liniow¡, Schweder sugeruje zastosowanie procedury dwustopniowej. W pierwszej kolejno±ci wyznaczany jest estymator punktu zmiany z wykorzystaniem wstecznych sum skumulowanych, który jest równy argumentowi. Tˆ k,. dla którego osi¡gane jest maksimum we wzorze (1.6). Warto podkre±li¢, »e do wyznaczenia. Tˆ. nie jest konieczna znajomo±¢ wariancji wyst¦puj¡cej w tym wzorze, gdy» nie. Tˆ. Nast¦pnie procedura testowa jest stosowana z estymaˆ pierwszych obserwacjach. Innym sposobem wspomniana T. ma ona wpªywu na warto±¢ torem wariancji opartym. nym przez Schwedera jest estymacja wariancji na podstawie wszystkich obserwacji. Jednak»e w przypadku, gdy nie wszystkie obserwacje s¡ zgodne z regresj¡ liniow¡, estymator wariancji ma zawy»on¡ warto±¢, co utrudnia wykrycie punktu zmiany. We wstecznej procedurze CUSUM mo»na by sumowa¢ odpowiednio przeskalowane reszty (por. Kianifard i Swallow 1996), co odpowiada wykorzystaniu do estymacji wariancji tych samych obserwacji, co do estymacji wspóªczynników regresji w danej reszcie. Wówczas ka»da z reszt dzielona jest przez inny estymator odchylenia standardowego. W rozdziale 5 wsteczna procedura CUSUM wykorzystana zostanie do porównania mocy testów. Dlatego te» przeprowadzony zostaª szereg symulacji maj¡cych na celu wybór sposobu estymacji wariancji w tej procedurze. Tak jak w innych symulacjach przyj¦to. s = 3.. W pierwszej kolejno±ci nale»y podkre±li¢, »e w rozpatrywanych. przypadkach z maª¡ liczb¡ obserwacji symulowane rozmiary testów z wykorzystaniem punktu krytycznego wyliczonego ze wzoru zaproponowanego przez Schwedera ró»ni¡ si¦ istotnie od zaªo»onego poziomu istotno±ci. Dlatego w dalszych symulacjach wykorzystano symulowane punkty krytyczne. adna metoda wyznaczania estymatora wariancji nie daje procedury z najwi¦kszymi mocami dla wszystkich rozwa»anych w symulacjach ksztaªtów alternatyw (patrz podrozdz. 5.1). Dla odchyle« nieci¡gªych w punkcie zmiany (por. wzory (5.1), (5.3)) najwi¦ksze moce uzyskiwane s¡ w przypadku sumowania przeskalowanych reszt oraz w przypadku procedury dwustopniowej. Natomiast w przypadku ci¡gªych odchyle« (por. wzory (5.2), (5.4)) najwi¦ksze moce uzyskiwane s¡, gdy wariancja estymowana jest na podstawie wszystkich obserwacji. Najbardziej stabiln¡ moc na tle innych mo»liwo±ci estymacji wariancji uzyskuje si¦ stosuj¡c procedur¦ dwustopniow¡. Dlatego ten sposób zostaª wybrany do porównania mocy testów w rozdziale 5.. 12.

(14) 1.4. Zwykªe procedury CUSUM 1.4. Zwykªe procedury CUSUM Brown i inni (1975) zaproponowali dwie procedury testowe oparte o unormowane reszty. Pierwsza z nich oparta jest o sumy. k î Yi+1 − x0i+1 b 1X q , σ ˆ i=3 1 + x0 (X0 Xi )−1 xi+1 i+1 i. k = 3, . . . , n, a σ ˆ 2 jest standardowym estymatorem wariancji opartym na wszystkich obserwacjach. Powy»sze sumy maj¡ przy H0 asymptotyczny rozkªad normalny o wariancji równej k − 2 i zerowej warto±ci oczekiwanej. W przypadku du»ej liczby gdzie. pomiarów ci¡g powy»szych sum mo»na przybli»y¢ ruchem Browna. Zaproponowane w pracy Browna i innych (1975) przybli»enia obszaru krytycznego wykorzystuj¡ce wªasno±ci procesu Wienera prowadz¡ do zbyt maªych rozmiarów testu w rozwa»anym w niniejszej rozprawie problemie. Dlatego te» w dalszych eksperymentach numerycznych wykorzystano symulowane punkty krytyczne. . 1 max  √ k − 2ˆ σ. k=3,...,n. k X. q i=s. 1. cα. dla statystyki. î Yi+1 − x0i+1 b + x0i+1 (X0i Xi )−1.  . .. xi+1. Dla tak zdeniowanej procedury testowej symulowane moce s¡ bardzo maªe dla rozwa»anych w rozdziale 5 ksztaªtów odchyle« od prostej pocz¡tkowej. Dlatego te» nie uwzgl¦dniono tej procedury w porównaniach mocy zaprezentowanych w tym rozdziale. Drugi z testów zaproponowanych w pracy Browna i innych (1975) oparty jest na skumulowanej sumie kwadratów (ang. CUSUM of squares), tzn. obserwowany jest proPk ˆk xi − ˆbk )2 , a ˆk , ˆbk oznaczaj¡ estymatory wspóªczynnices Sk /Sn , gdzie Sk = i=1 (Yi − a ków prostej dopasowanej do pierwszych. k. obserwacji metod¡ najmniejszych kwadra-. tów. Test odrzuca hipotez¦ zerow¡, gdy trajektoria procesu przyjmuje warto±ci poni»ej. (k − 2)/(n − 2) + cα , gdzie cα jest wybrane tak, aby uzyska¢ test na poziomie istotno±ci α, k = 3, . . . , n − 1. Innymi sªowy, test odrzuca H0 dla maªych warto±ci statystyki mink=3,...,n−1 (Sk /Sn − (k − 2)/(n − 2)). W rozdziale pi¡tym test ten b¦dzie prostej. wykorzystany do porównania mocy. Z powodu maªej liczby obserwacji wykorzystane zostan¡ symulowane punkty krytyczne. Na koniec odnotujmy, »e ta procedura jest dwustronna, tzn. jednakowo traktuje odchylenia powy»ej, jak i poni»ej prostej pocz¡tkowej. Mo»e te» by¢ wykorzystana w problemach, w których zmiana struktury polega na odej±ciu od zale»no±ci liniowej bez ustalonego kierunku, oraz w przypadku zmiany wariancji modelu..

(15) Rozdziaª 2. Wykrywanie punktu zmiany przy pomocy unormowanych reszt z dªu»szym horyzontem prognozy. Metody oparte na resztach dla prognoz liczonych jeden krok w przód (ang. recursive residuals) s¡ bardzo u»ytecznym narz¦dziem w wykrywaniu rozmaitych odchyle« od struktury modelu (por. Kianifard i Swallow, 1996). Jednak»e, w problemie z mo»liwym odchyleniem od prostej blisko pocz¡tku ci¡gu danych, oraz dla maªej liczby pomiarów metody te okazuj¡ si¦ zbyt maªo czuªe. Dlatego te» w pracy oª¡dzia i innych (1998) zaproponowano wykorzystanie unormowanych reszt dla prognoz liczonych kilka kroków w przód. Ponadto zaproponowana procedura testowa heurystycznie wykorzystuje wiedz¦ dotycz¡c¡ badanego zjawiska o tym, i» w drugiej fazie punkty le»¡ powy»ej prostej pocz¡tkowej, oraz »e obserwacje po zmianie nie wracaj¡ do prostej pocz¡tkowej i cz¦sto ukªadaj¡ si¦ wzdªu» krzywych wypukªych. W pracy oª¡dzia i innych (1998) podano brzegowe rozkªady reszt przy zaªo»eniu hipotezy zerowej wskazuj¡c tak»e na ich stochastyczn¡ zale»no±¢. W pracy Noska i Szkutnika (2008) uogólniono ten rezultat przedstawiaj¡c rozkªady brzegowe pocz¡tkowych reszt przy alternatywach. Przez reszty pocz¡tkowe rozumie si¦ tu reszty dla prognoz wyznaczonych na podstawie danych sprzed zmiany. Ponadto Nosek i Szkutnik (2008) wykazali zgodno±¢ testu zaproponowanego przez oª¡dzia i innych (1998) przy odchyleniu standardowym bª¦du d¡»¡cym do zera, a tak»e pokazali, i» wektor unormowanych reszt jest niezmienniczy wzgl¦dem zmiany trendu liniowego oraz skali. W bie»¡cym rozdziale przedstawiony jest opis testów opartych na unormowanych resztach dla prognoz liczonych kilka kroków w przód. Zaprezentowane s¡ wspomniane wcze±niej wªasno±ci oraz ich dalsze uogólnienia.. 14.

(16) 2.1. Reszty dla prognoz liczonych kilka kroków w przód 2.1. Reszty dla prognoz liczonych kilka kroków w przód Unormowane. k -liniowe. reszty dla prognoz liczonych. k -linear-r-ahead. recursive. residuals). zostaªy. r. zdeniowane. kroków w przód (ang. przez. oª¡dzia. i. in-. nych (1998) nast¦puj¡co:. Vkr gdzie. Ukr kS(x1 , . . . xk ) · = , (k + 1)S(x1 , . . . xk , xk+r ) Sˆk. r = 1, 2, . . . n − s, k = s, s + 1, . . . , n − r. (2.1). oraz. Ukr = Yk+r − a ˆk xk+r − ˆbk , ". Sˆk = (k − 2)−1. #1/2. k X. (Yi − a ˆk xi − ˆbk )2. ,. i=1. . S(u1 , . . . , um ) = m−1. m X i=1. a. a ˆk , ˆbk. u2i − m−1. m X. !2 1/2. ui. . ,. i=1. Sˆk2. oznaczaj¡ odpowiednio estymatory najmniejszych kwadratów para2 oraz σ wyliczone na podstawie k pierwszych obserwacji. W szczególno±ci. oraz. metrów a, b Sˆk · Vk1 s¡ równe resztom zdeniowanym przez Browna i innych (1975), które byªy te» wykorzystane przez Schwedera (1976) do konstrukcji testu wspomnianego w rozdziale 1 ∗ pierwszym. Ponadto Vk s¡ równe tak zwanym przeskalowanym resztom tk+1 z prac Hawkinsa (1991) oraz Kianifarda i Swallowa (1996). Zatem, przy zaªo»eniu hipotezy 1 1 zerowej, statystyki Vs , . . . , Vn−r s¡ niezale»ne i ka»da z nich ma rozkªad t-Studenta o. k−2 stopniach swobody. Dla r > 1 niezale»no±¢ nie jest zachowana. We wspomnianych 2 powy»ej pracach nieznana wariancja σ jest estymowana na ró»ne sposoby. Schweder (1976) w przypadku nieznanej wariancji proponowaª jej estymacj¦ na podstawie s pierwszych obserwacji, tj. na podstawie obserwacji, o których zakªadamy, i» s¡ zgodne z modelem liniowym. Zauwa»my, »e gdy. s. jest maªe, to estymator oparty na. s. pierw-. szych obserwacjach charakteryzuje si¦ maª¡ dokªadno±ci¡. Jak ju» byªo wspomniane w rozdziale 1, w przypadku maªej liczby czy¢ estymator. Tˆ. punktu zmiany. T. s Schweder (1976) proponowaª najpierw wyzna-. a nast¦pnie estymator wariancji wyliczy¢ na pod-. stawie obserwacji Y1 , . . . , YTˆ . Natomiast w pracy Browna i innych (1975) do estymacji 2 wariancji σ wykorzystuje si¦ wszystkie obserwacje. Wówczas estymator wariancji ma zawy»on¡ warto±¢ w przypadku, gdy nie wszystkie obserwacje s¡ zgodne z regresj¡ liniow¡. W denicji przeskalowanych reszt (por. Hawkins, 1991; Kianifard i Swallow, 1996) oraz w denicji unormowanych reszt (2.1), do estymacji wariancji wykorzystuje si¦ te same obserwacje, co do estymacji wspóªczynników regresji. Zauwa»my, »e je»eli ˆk2 nie jest zawy»ony punktem zmiany jest T k (por. (1.1)), to estymator wariancji S przez warto±ci odchyle« od prostej pocz¡tkowej (por. Kianifard i Swallow, 1996). oª¡d¹ i inni (1998) podkre±laj¡, »e taki wybór estymatora wariancji w denicji statystyki Vkr ma istotny wpªyw na moc testu w badanym przez nich modelu (1.5). Poni»ej podana jest denicja zmiennej losowej o podwójnie niecentralnym rozkªadzie t-Studenta (ang. doubly non-central t-distribution), któr¡ mo»na znale¹¢ przykªadowo w pracy Krishnana (1967), a tak»e w pracy Krishnana (1968). Nast¦pnie twierr dzenie 2.1 orzeka, i» statystyki Vk maj¡ podwójnie niecentralne rozkªady t-Studenta.. 15.

(17) 2.1. Reszty dla prognoz liczonych kilka kroków w przód B¦dzie ono wykorzystane do wykazania zgodno±ci procedury testowej opisanej w nast¦pnym paragrae.. Denicja 2.1.. Niech X i Y b¦d¡ niezale»nymi zmiennymi losowymi. Niech X ma rozkªad normalny z warto±ci¡ oczekiwan¡ δ i jednostkow¡ wariancj¡ oraz Y ma niecentralny rozkªad chi-kwadrat o m stopniach swobody z parametrem niecentralno±ci λ. Wtedy zmienna losowa X Z=q Y /m. ma podwójnie niecentralny rozkªad t-Studenta o m stopniach swobody z parametrami niecentralno±ci δ oraz λ, co zapisujemy Z ∼ tm (δ, λ).. Twierdzenie 2.1.. Przy zaªo»eniu modelu (1.1), dla ustalonych r = 1, . . . , n − s i k = s, . . . , n − r statystyka Vkr ma podwójnie niecentralny rozkªad t-Studenta o k − 2 stopniach swobody, tzn. Vkr ∼ tk−2 (δ, λ) , gdzie parametry niecentralno±ci δ i λ s¡ równe kS(x1 , . . . , xk ) −1 · ck+r − x0k+r (X0k Xk ) X0k ck , (k + 1)S(x1 , . . . , xk , xk+r )σ 1 −1 λ = 2 c0k Ik − Xk (X0k Xk ) X0k ck , σ. δ=. oraz ck = (c1 , . . . , ck )0 , xj = (xj , 1)0 i Xk = (x1 , . . . , xk )0 .. k ¬ T , drugi parametr niecentralno±ci λ jest równy r zero, gdy» ci = 0 dla i ¬ k . Oznacza to, i» Vk maj¡ wtedy zwykªe niecentralne rozkªady t-Studenta (por. Nosek i Szkutnik 2008). Natomiast przy zaªo»eniu hipotezy zerowej warto±ci odchyle« ci wynosz¡ zero. Wtedy oba parametry niecentralno±ci s¡ równe zeru, co oznacza, »e rozwa»ane przez nas unormowane k -liniowe reszty dla prognoz liczonych r kroków w przód maj¡ rozkªady t-Studenta. Zatem mo»na sformuªowa¢ W szczególnym przypadku, gdy. nast¦puj¡cy wniosek.. Wniosek 2.1.. Przy zaªo»eniu hipotezy zerowej, dla ustalonych r = 1, . . . , n − s i k = s, . . . , n − r statystyka Vkr ma rozkªad t-Studenta o k − 2 stopniach swobody. Ponadto, jak pokazuje poni»szy lemat, wektor reszt dla prognoz liczonych. r kroków. w przód jest niezmienniczy wzgl¦dem zmiany trendu liniowego oraz skali.. Lemat 2.1.. (Nosek, Szkutnik 2008) Przy zaªo»eniu modelu (1.1) wektor reszt jest niezmienniczy wzgl¦dem grupy przeksztaªce« G = {g(a,ζ) y = (y − Xn a)/ζ : a ∈ R2 , ζ > 0}, gdzie Xn jest macierz¡ zmiennych obja±niaj¡cych rozwa»anego modelu zapisanego w postaci wektorowej (1.3).. r (Vsr , . . . , Vn−r )0. c(s) /σ jest niezmienniczy wzgl¦dem indukowanej grupy ¯ = {¯ G g(a,ζ) (b, c(s) , σ) = (b − a, c(s) , σ)/ζ : c˜(s) /˜ σ dla wektorów parametrów (b, c(s) , σ) i ˜ ˜ ˜ . St¡d (b, c˜(s) , σ ˜ ), to b = (b−a)/ζ , c˜(s) = c(s) /ζ oraz σ = σ ˜ /ζ dla ζ = σ/˜ σ i a = b−ζ b ¯. wynika, »e c(s) /σ jest maksymalnym niezmiennikiem wzgl¦dem indukowanej grupy G Stosunek sygnaªu do szumu. przeksztaªce« w przestrzeni parametrów a ∈ R2 , ζ > 0}. Co wi¦cej, je»eli c(s) /σ =. 16.

(18) 2.2. Procedura testowa oparta na resztach Zatem rozkªad wektora. r (Vsr , . . . , Vn−r )0. zale»y tylko od stosunku sygnaªu do szumu. (por. Lehmann, 1968, str. 279, twierdzenie 3). Dlatego te» moc procedury testowej, która jest przedstawiona w nast¦pnym paragrae, równie» zale»y tylko od tego ilorazu. Fakt ten b¦dzie wykorzystany do badania mocy testu przy pomocy symulacji komputerowych w rozdziale 5.. 2.2. Procedura testowa oparta na resztach Do wykrywania istnienia punktu zmiany, w pracy oª¡dzia i innych (1998) zaproponowano procedur¦, która stwierdza istnienie punktu zmiany, gdy cho¢ jedna reszta r r 0 jest zbyt du»a. Zatem jako podstaw¦ wnioskowania przyj¦to wektor (Vs , . . . , Vn−r ) , którego ª¡czny rozkªad jest nieznany z powodu zale»no±ci skªadowych. Dla ustalonego. r. oraz dla zadanego poziomu istotno±ci. α. obszar krytyczny zdeniowano nast¦puj¡co:. R = {(vs , . . . , vn−r )0 : vk > wα(k) ,. dla pewnego. k} ,. (2.2). wα(k) jest kwantylem rz¦du 1−α/(n−r −s+1) z rozkªadu t-Studenta o k −2 stopniach swobody i pokazano, »e rozmiar takiego testu nie przekracza α. Poniewa» praw-. gdzie. dopodobie«stwo bª¦du pierwszego rodzaju mo»e by¢ mniejsze ni» poziom istotno±ci, to procedura ta jest testem konserwatywnym. W celu numerycznego oszacowania rozmiaru testu przeprowadzone zostaªy symulacje dla. s = 3.. Ta warto±¢. s. jest naturalna. w zastosowaniach opisanych przez oª¡dzia i innych (1998). Dokªadny opis symulacji znajduje si¦ w dodatku A. W tabeli 2.1 zostaªy zaprezentowane uzyskane rezultaty. Jak mo»na zauwa»y¢ faktyczne rozmiary s¡ bliskie zaªo»onemu poziomowi istotno±ci. Jednak»e inne rozwa»ane w niniejszej rozprawie testy s¡ albo testami dokªadnymi, albo w symulacjach mocy wykorzystano symulowane punkty krytyczne tych testów. Dlatego te» w niniejszym opracowaniu przedstawione zostan¡ wyniki symulacji z wy(k) 0 korzystaniem warto±ci krytycznych wα0 , gdzie α α wyznaczono numerycznie tak, aby rozmiar testu byª równy zaªo»onemu poziomowi istotno±ci α. W tabeli 2.2 przedstawiono uzyskane w ten sposób warto±ci krytyczne dla poziomu istotno±ci. α = 0.05.. Jak wykazaªy przeprowadzone symulacje, moc testu na ogóª niewiele si¦ zwi¦ksza, gdy (k) zamiast teoretycznych warto±ci krytycznych w0.05 wykorzysta si¦ warto±ci krytyczne z tabeli 2.2, tj. wyznaczone numerycznie. Uzyskany w ten sposób przyrost mocy zale»y od rozwa»anej alternatywy. W przypadku alternatyw rozwa»anych w rozdziale 5 przyrost mocy nie przekracza. 0.06. (co stanowi okoªo. 10%).. Ponadto, w celu zbadania odporno±ci procedury testowej na niespeªnienie zaªo»enia normalno±ci bª¦du, zostaªy oszacowane rozmiary testu przy zaªo»eniu bª¦du o rozkªadzie. t-Studenta. o ró»nych stopniach swobody, oraz o scentrowanym rozkªadzie. logarytmiczno-normalnym. Wyniki symulacji zostaªy przedstawione odpowiednio w tabeli 2.3 oraz w tabeli 2.4. Warto podkre±li¢, »e w symulacjach wykorzystano oczywi±cie obszar krytyczny (2.2) wraz z punktami krytycznymi z tabeli 2.2. W przypadku bª¦dów z rozkªadu. t-Studenta,. który charakteryzuje si¦ ci¦»kimi ogonami, symulacyjnie. oszacowane rozmiary s¡ niewiele wi¦ksze ni» zaªo»ony poziom istotno±ci. Znacz¡ce przekroczenia poziomu istotno±ci widoczne s¡ tylko dla wektora statystyk z. r = 1. przy maªej liczbie stopni swobody. Takie rezultaty mog¡ sugerowa¢, »e proponowana procedura dziaªa poprawnie równie» w przypadkach, w których bª¡d ma rozkªad symetryczny o umiarkowanie ci¦»kich ogonach. Rozkªad logarytmiczno-normalny zostaª. 17.

(19) 2.2. Procedura testowa oparta na resztach. Symulacyjne oszacowanie rozmiaru testu o obszarze krytycznym (2.2) dla poziomu istotno±ci α = 0.05, s = 3 i równoodlegªych punktów xi. Tablica 2.1.. r. n=8. n=9. n=10. n=11. n=15. n=20. n=30. n=50. 1. 0.049. 0.049. 0.049. 0.049. 0.050. 0.050. 0.050. 0.050. 2. 0.044. 0.044. 0.044. 0.044. 0.046. 0.047. 0.048. 0.049. 3. 0.044. 0.043. 0.043. 0.042. 0.044. 0.045. 0.046. 0.048. 4. 0.046. 0.044. 0.043. 0.042. 0.042. 0.043. 0.045. 0.047. 5. 0.050. 0.046. 0.044. 0.042. 0.041. 0.042. 0.044. 0.047. (k). Warto±ci krytyczne wα0 dla testów o obszarze krytycznym (2.2) wyznaczone numerycznie tak, aby rozmiar testu byª równy α = 0.05, dla s = 3 i równoodlegªych punktów xi. Tablica 2.2.. r. k=3. k=4. k=5. k=6. k=7. 1. 31.196170 22.440879 16.821998 11.609733 6.313754. 6.893820 5.812104 4.996464 4.098243. 4.507408 3.981509 3.560749. 3.724183 3.358282. k=8. k=9. k=10. n=8 2 3 4 5. 3.346805. n=9 1 2 3 4 5. 37.439321 27.909980 21.749461 16.587396 11.609733. 7.571513 6.508872 5.717993 4.959509 4.098243. 4.821499 4.323980 3.934124 3.541108. 3.937182 3.597936 3.324696. 3.515530 3.245876. 3.271608. n=10 1 2 3 4 5. 43.257673 33.496367 26.963006 21.564921 16.164670. 8.152595 7.150972 6.393652 5.692613 4.892218. 5.082749 4.627860 4.268312 3.921296 3.505207. 4.111485 3.806328 3.559338 3.315586. 49.439382 39.082148 32.360292 26.513267 21.204925. 8.727716 7.740000 7.025139 6.338198 5.642775. 5.334756 4.897976 4.569120 4.241388 3.896044. 4.277320 3.988467 3.766342 3.540622 3.297629. 3.652205 3.412103 3.214876. 3.387866 3.183153. 3.217009. 3.496885 3.305997 3.155915. 3.313752 3.144097. n=11 1 2 3 4 5. 3.781125 3.555871 3.380354 3.199820. 3.186291. 18.

(20) 2.2. Procedura testowa oparta na resztach. Symulacyjne oszacowanie rozmiaru testu o obszarze krytycznym (2.2) z punktami krytycznymi z tabeli 2.2, dla s = 3 i równoodlegªych punktów xi , gdy rzeczywisty bª¡d ma rozkªad t-Studenta. Tablica 2.3.. r. Stopnie swobody 5. 7. 10. 15. 20. 5. 7. 10. 15. 20. 1. 0.057. 0.054. 0.053. 0.052. 0.051. 0.060. 0.056. 0.055. 0.053. 0.052. 2. 0.055. 0.054. 0.052. 0.051. 0.050. 0.057. 0.054. 0.052. 0.052. 0.052. 3 4. 0.052. 0.051. 0.050. 0.050. 0.050. 0.050. 0.050. 0.050. 0.050. 0.050. 0.052. 0.052. 0.051. 0.050. 0.050. 0.051. 0.051. 0.051. 0.050. 0.050. 5. 0.050. 0.050. 0.050. 0.050. 0.050. 0.050. 0.050. 0.050. 0.050. 0.050. 1. 0.064. 0.059. 0.056. 0.054. 0.053. 0.067. 0.061. 0.056. 0.055. 0.052. 2. 0.058. 0.055. 3. 0.054. 0.052. 0.053. 0.052. 0.051. 0.062. 0.057. 0.053. 0.053. 0.051. 0.052. 0.051. 0.050. 0.056. 0.052. 0.052. 0.051. 0.050. 4. 0.051. 0.051. 0.051. 0.050. 0.050. 0.053. 0.051. 0.051. 0.050. 0.050. 5. 0.051. 0.051. 0.051. 0.051. 0.051. 0.052. 0.051. 0.051. 0.051. 0.050. n=8. n=9. n=10. n=11. wybrany do symulacji, gdy» oprócz ci¦»kich ogonów jest on niesymetryczny. Odnotujmy tu, »e ujemne wspóªczynniki asymetrii zostaªy uzyskane poprzez zmian¦ znaku zmiennej losowej wygenerowanej z rozkªadu log-normalnego. Dla rozkªadów bª¦du o lewostronnej asymetrii, warto±ci oszacowanych rozmiarów s¡ mniejsze ni» przy zaªo»eniu bª¦du gaussowskiego. Natomiast dla rozkªadów bª¦du o asymetrii prawej warto±ci oszacowanych rozmiarów s¡ wi¦ksze. Ponadto warto podkre±li¢, »e rozmiary bli»sze zaªo»onej warto±ci. 0.05. s¡ uzyskane dla wi¦kszych. obserwujemy cz¦±ciej dla. r = 1.. r.. Ponownie znacz¡ce odchylenia. Uzyskane rezultaty wskazuj¡, »e procedura ta jest. εi . Aby wyznaczy¢ p-warto±¢ nale»y pomno»y¢ minimum z p-warto±ci policzonych dla r statystyk Vk przez ich liczb¦. Je±li Fm oznacza dystrybuant¦ rozkªadu t-Studenta o m r stopniach swobody, to p-warto±¢ jest równa (n − r − s + 1) mins¬k¬n−r (1 − Fk−2 (Vk )). r Test oparty na resztach Vk ma w typowych sytuacjach wªasno±¢ zgodno±ci przy do±¢ odporna na niespeªnienie zaªo»enia o symetrii rozkªadu. stosunku sygnaªu do szumu d¡»¡cym do niesko«czono±ci. Zanim sformuªowane zostanie odpowiednie twierdzenie, sformuªujemy nast¦puj¡cy warunek:. cj → ∞ dla pewnego j ∈ {s + 1, . . . , s + r − 1}, σ cp istnieje p ∈ {s + r, . . . , j + r − 1} takie, »e → ∞. σ. Je»eli to. (2.3). Powy»szy warunek (2.3) wymaga pewnego komentarza. Jak byªo wspomniane na pocz¡tku tego rozdziaªu, w typowych zastosowaniach obserwacje nie wracaj¡ do pocz¡tkowej prostej (por. oª¡d¹ i inni 1998), co oznacza, »e odchylenia. ci. tworz¡ ci¡g nie-. malej¡cy. Wówczas warunek (2.3) jest speªniony. Z drugiej strony, warunek (2.3) nie jest speªniony w modelu, który zawiera tylko pojedyncze obserwacje odstaj¡ce wyst¦puj¡ce dla obserwacji od testowa z. r 6= 1. s+1. do. s + r − 1.. Wtedy omawiana przez nas procedura. mo»e nie wykry¢ obserwacji odstaj¡cej. Je»eli. cj > 0. dla pewnego. 19.

(21) 2.3. Dowody twierdze« i lematów z rozdziaªu 2. Symulacyjne oszacowanie rozmiaru testu o obszarze krytycznym (2.2) z punktami krytycznymi z tabeli 2.2, dla s = 3 i równoodlegªych punktów xi , gdy rzeczywisty bª¡d ma scentrowany rozkªad log-normalny lub odwrócony log-normalny Tablica 2.4.. r. Wspóªczynnik asymetrii -1.007. -0.302. 1. 0.037. 0.045. 2. 0.042. 3 4. 0.302. 1.007. 2.939. -1.007. -0.302. 1.007. 2.939. 0.056. 0.077. 0.133. 0.034. 0.043. 0.059. 0.083. 0.153. 0.046. 0.052. 0.066. 0.099. 0.039. 0.047. 0.054. 0.071. 0.115. 0.043. 0.048. 0.052. 0.058. 0.074. 0.045. 0.049. 0.050. 0.053. 0.059. 0.043. 0.047. 0.052. 0.061. 0.087. 0.045. 0.048. 0.051. 0.055. 0.068. 5. 0.046. 0.049. 0.050. 0.051. 0.050. 0.046. 0.049. 0.050. 0.052. 0.056. 1. 0.034. 0.043. 0.060. 0.091. 0.173. 0.031. 0.042. 0.061. 0.098. 0.192. 2. 0.037. 0.045. 3. 0.041. 0.046. 0.056. 0.078. 0.133. 0.035. 0.043. 0.057. 0.082. 0.150. 0.053. 0.065. 0.103. 0.039. 0.045. 0.055. 0.071. 0.114. 4. 0.044. 0.048. 0.050. 0.058. 0.079. 0.043. 0.046. 0.053. 0.061. 0.092. 5. 0.047. 0.050. 0.053. 0.055. 0.064. 0.045. 0.049. 0.053. 0.056. 0.072. n=8. 0.302 n=9. n=10. n=11. j = s + 1, . . . , s + r − 1, a pozostaªe ci = 0, to statystyki Vkr dla k ¬ j ignoruj¡ r obserwacj¦ odstaj¡c¡ Yj , natomiast dla k > j warto±ci statystyk Vk s¡ zani»ane przez zawy»on¡ prognoz¦ obserwacji Yk+r opartej na k pierwszych obserwacjach.. Twierdzenie 2.2.. Rozpatrzmy rodzin¦ modeli (1.1) z ograniczeniem (1.2), w których s i n s¡ ustalone, a pozostaªe parametry mog¡ si¦ zmienia¢. Wówczas je»eli speªniony jest warunek (2.3), to dla ustalonego r = 1, . . . , n − s, test o obszarze odrzuce« R danym wzorem (2.2) jest zgodny, tzn.. lim. kck/σ→∞. P. n−r [. !. {Vkr > wα(k) } = 1 ,. k=s. dla dowolnego poziomu istotno±ci α. 2.3. Dowody twierdze« i lematów z rozdziaªu 2 W celu udowodnienia twierdzenia 2.1 o rozkªadzie statystyk. Vkr. w pierwszej kolej-. no±ci wykazane zostan¡ trzy lematy.. Lemat 2.2. reszt. Przy zaªo»eniach modelu (1.1), dla ustalonego r = 1, . . . n − s, wektor ma rozkªad normalny. r )0 (Usr , . . . Un−r. r )0 ∼ Nn−r−s+1 (mr , Σ r ) , (Usr , . . . Un−r. gdzie mr = (ms,r , . . . mn−r,r )0 , Σ r = (Σrkl ), −1 0 0 (i) mk,r = ck+r − xk+r (Xk Xk ) X0k ck , 2 2 r 2 (k + 1) S (x1 , . . . xk , xk+r ) , (ii) Σkk = σ · k 2 S 2 (x1 , . . . xk ) r (iii) Σkl = 0, gdy |k − l| r , 20.

(22) 2.3. Dowody twierdze« i lematów z rozdziaªu 2. Σrkl = σ 2 · x0k+r (X0k Xk )−1 xl+r , gdy 0 < k − l < r.. (iv). Dowód: Niech. ε k = (ε1 , . . . , εk )0 . Ukr. Wtedy. −1 = Yk+r − a ˆk xk+rˆbk = Yk+r − x0k+r (X0k Xk ) X0k Yk −1. = x0k+r b + ck+r + εk+r − x0k+r (X0k Xk ) −1. X0k (Xk b + ck + ε k ) −1. = ck+r − x0k+r (X0k Xk ). X0k ck + εk+r − x0k+r (X0k Xk ). Poniewa» bª¦dy s¡ niezale»ne o rozkªadzie normalnym, to reszty. Ukr. X0kε k .. (2.4). maj¡ ª¡czny roz-. kªad normalny. Ponadto zmienne losowe εi maj¡ zerowe warto±ci oczekiwane, zatem r warto±¢ oczekiwana Uk dana jest przez wzór (i). Ponadto. . Σrkl = E. εk+r − x0k+r (X0k Xk )−1 X0kε k. = E (εk+r εl+r ) −. l X. −1. x0l+r (X0l Xl ). . εl+r − x0l+r (X0l Xl )−1 X0lε l. . xj E(εk+r εj ). j=1 k X. − +. −1. x0k+r (X0k Xk ). j=1 l k X X. xj E(εl+r εj ). x0k+r (X0k Xk ). −1. xj x0i (X0l Xl ). −1. xl+r E(εj εi ) .. j=1 i=1 W szczególno±ci dla. k=l. otrzymuje si¦. Σrkk = E (εk+r )2 + = σ. 2. . 1+. k X. x0k+r (X0k Xk ). j=1 0 xk+r (X0k Xk )−1. −1. xj. 2. Eε2j. . xk+r .. Ponadto zauwa»my, »e. . x0k+r. (X0k Xk )−1. 1. xk+r = k. k X. x2i −. i=1. k X. !2. xi. . −. k X. k X. x2i − 2xk+r. i=1 2 2. xi. i=1. i=1. kx2k+r + =. ·. −. k.  . x0k+r    k X. k X. i=1 k X. . xi  . x2i.   xk+r  . i=1. xi. i=1. k S (x1 , . . . , xk ). .. St¡d. (k + 1) Σrkk = σ 2 ·. k X. !. . x2i + x2k+r − x2k+r + 2xk+r. k X i=1. i=1 2. xi +. k X. !2 . xi. . i=1. 2. k S (x1 , . . . , xk ) 2 2 (k + 1) S (x , . . . x , x 1 k k+r ) = σ2 · . 2 2 k S (x1 , . . . xk ) 21.

(23) 2.3. Dowody twierdze« i lematów z rozdziaªu 2 Podobnie dla. k l+r Σrkl = 0 − 0 − x0k+r (X0k Xk )−1 xl+r Eε2l+r +. l X. −1. x0k+r (X0k Xk ). i=1. −1. = −σ 2 x0k+r (X0k Xk ). −1. xi x0i (X0l Xl ). xl+r Eε2i. xl+r. l −1 X. +σ 2 x0k+r (X0k Xk ). −1. (xi x0i ) (X0l Xl ). xl+r = 0. i=1 oraz dla. 0<k−l <r Σrkl = 0 − 0 − 0 + σ 2 · x0k+r (X0k Xk )−1 xl+r . 2. Odnotujmy, »e przy zaªo»eniu hipotezy. H0. i dla. r = 1. lemat 2.2 redukuje si¦ do. lematu 1 w pracy Browna i innych (1975).. Lemat 2.3.. Przy zaªo»eniach modelu (1.1), dla ustalonego k statystyka (k − 2)Sˆk2 /σ 2 ma niecentralny rozkªad chi-kwadrat o k − 2 stopniach swobody z parametrem niecentralno±ci 1 −1 λ = 2 · c0k Ik − Xk (X0k Xk ) X0k ck . σ. Dowód: Znajdziemy macierz. D,. (k − 2)Sˆk2 = (εε + c)0 D(εε + c). i ¬ k otrzymuje si¦. tak¡ »e. cenia (2.4), dla dowolnego. Powtarzaj¡c przeksztaª-. −1 Yi − a ˆk xi − ˆbk = εi + ci − x0i (X0k Xk ) X0k (εεk + ck ) . St¡d. k X. Yi − a ˆk xi − ˆbk. 2. =. i=1. k X. k X. i=1. i=1. (εi + ci )2 − 2. +. k X. −1. (εi + ci )x0i (X0k Xk ). X0k (εεk + ck ). −1 −1 (εεk + ck )0 Xk (X0k Xk ) xi x0i (X0k Xk ) X0k (εεk + ck ). i=1. = (εεk + ck )0 (εεk + ck ) − (εεk + ck )0 Xk (X0k Xk )−1 X0k (εεk + ck ) . Zatem macierz. D. jest postaci. D= Zauwa»my, »e macierz. Ik − Xk (X0k Xk )−1 X0k 0k×n−k 0n−k×k 0n−k×n−k. !. .. D. jest symetryczna, indepotentna oraz rz¡d tej macierzy ˆk2 /σ 2 ma niecentralny rozkªad chi-kwadrat wynosi k − 2. Zatem statystyka (k − 2)S 0 2 o k − 2 stopniach swobody z parametrem niecentralno±ci λ = c Dc/σ (por. Rao i Toutenburg 1995 twierdzenie A.87), co ko«czy dowód.. 2. 22.

(24) 2.3. Dowody twierdze« i lematów z rozdziaªu 2. Lemat 2.4.. Przy zaªo»eniu modelu (1.1), statystyki Ukr i Sˆk2 s¡ niezale»ne dla ka»dego r = 1, 2, . . . n − s i k = s, s + 1, . . . , n − r.. Dowód: D b¦dzie macierz¡ zdeniowan¡ w dowodzie lematu 2.3. Znajdziemy macierz V, tak¡ »e Ukr = V0 (εε + c). Poniewa» ε ma rozkªad normalny z macierz¡ kowariancji σ 2 In , to równo±¢ DV = 0n×1 jest warunkiem koniecznym i wystarczaj¡cym na to, r ˆk2 byªy niezale»ne (por. Rao i Toutenburg 1995 twierdzenie A.88). aby statystyki Uk i S Niech. Z równo±ci (2.4) wynika, i». . V = −x0k+r (X0k Xk ). −1. X0k , 01×r−1 , 1 , 01×n−(k+r). 0. .. Wówczas. . DV =. . Ik − Xk (X0k Xk )−1 X0k · −Xk (X0k Xk )−1 xk+r 0n−k×1. !. = 0n×1 . 2. Dowód twierdzenia 2.1: Teza twierdzenia wynika z lematów 2.2, 2.3 oraz 2.4.. 2. Dowód lematu 2.1: Poniewa». ˆ (a,ζ) y) = (b(y) ˆ b(g − a)/ζ ,. Ukr (g(a,ζ) y) = Ukr (y)/ζ i Sˆk (g(a,ζ) y) = Sˆk (y)/ζ . r r reszt (Vs , . . . , Vn−r ).. to. St¡d wynika niezmienniczo±¢ wektora. 2 W dowodzie twierdzenia 2.2 wykorzystanie zostanie poni»szy lemat, którego elementarny dowód przytaczamy dla kompletno±ci rozwa»a«.. Lemat 2.5. δ → ∞.. P. P. → ∞, gdy → ∞ i Vδ = OP (1), gdy δ → ∞, to iloraz Uδ /Vδ − Je»eli Uδ −. Dowód: istnieje δ taka, »e dla ka»dego δ > δ zachodzi P (|Uδ /Vδ | ¬ c) ¬ . Ustalmy > 0. Stochastyczna ograniczono±¢ Vδ ¯ takie, »e dla ka»dego δ > δ¯ mamy P (|Vδ | > M ) ¬ /2. oznacza, i» istniej¡ M i δ Poniewa» Uδ d¡»y do niesko«czono±ci wedªug prawdopodobie«stwa, to dla oraz M istnieje δ taka, »e dla ka»dego δ > δ zachodzi P (|Uδ | ¬ cM ) ¬ /2. Wówczas dla δ > max(δ , δ¯ ) mamy Ustalmy. c > 0.. Mamy pokaza¢, »e dla dowolnego. P (|Uδ /Vδ | ¬ c) ¬ P (|Uδ | ¬ c|Vδ | ∧ |Vδ | ¬ M ) + P (|Vδ | > M ) ¬ P (|Uδ | ¬ cM ) + ¬ . 2 2. 23.

(25) 2.3. Dowody twierdze« i lematów z rozdziaªu 2. Dowód twierdzenia 2.2: Dla dowolnego. l ∈ {s, . . . , n − r} Vlr =. Ulr /σ lS(x1 , . . . , xl ) ∼ tl−2 (δ, λ) , · Sˆl /σ (l + 1)S(x1 , . . . , xl , xl+r ). lS(x1 , . . . , xl ) 1 −1 · cl+r − x0l+r (X0l Xl ) X0l cl oraz λ = 2 · (l + 1)S(x1 , . . . , xl , xl+r )σ σ −1 0 0 0 cl Il − Xl (Xl Xl ) Xl cl (por. twierdzenie 2.1). Zatem istniej¡ niezale»ne zmienne r 2 losowe X , Z1 , . . . , Zl−2 o standardowym rozkªadzie normalnym, takie »e (Vl ) oraz (l − 2)(X + δ)2 √ maj¡ ten sam rozkªad. Ponadto kck/σ d¡»y do niesko«czonoPl−2 2 λ)2 i=2 Zi + (Z1 + ±ci, zatem istnieje j takie, »e |cj |/σ d¡»y do niesko«czono±ci oraz |ci |/σ jest ograniczone dla i < j . Je»eli j < s + r , to istnieje p ∈ {s + r, . . . j + r − 1} takie, »e cp /σ d¡»y do niesko«czono±ci na mocy zaªo»enia (2.3). Niech l = j − r , gdy j s + r albo l = p − r , gdy j < s + r . Wówczas λ jest ograniczone, natomiast δ d¡»y do niesko«czono±ci, gdy |cj |/σ d¡»y do niesko«czono±ci. Niech w = wα(l) . Wówczas. δ =. gdzie. . P. n−r [. !. {Vkr. >. wα(k) }. r. P (Vl > w) = P. k=s.  √  l − 2X   l−2  X . √.  2.  l − 2δ  > w2  .  √  2 2 Zi + (Z1 + λ). +. . i=2 Zatem. l−2 X. teza. wynika. z. lematu. √ Zi2 + (Z1 + λ)2 = OP (1),. gdy. 2.5,. gdy». kck/σ. √. l − 2X +. 2 √ l − 2δ. P. − →. ∞. oraz. d¡»y do niesko«czono±ci.. i=2. 2.

(26) Rozdziaª 3. Metoda oparta na ilorazie wiarygodno±ci dla modeli liniowych z ograniczeniami w postaci nierówno±ci. W niniejszym rozdziale rozwa»one zostan¡ pewne szczególne przypadki ogranicze« parametrów. ci w modelu (1.1). Ka»dy z tych przypadków da si¦ przedstawi¢ jako model. liniowy z ograniczeniami na parametry w postaci nierówno±ci:. β +ε, Y = Xβ. β 0, Aβ. β jest wektorem nieznanych parametrów, A jest ustalon¡ macierz¡ restrykcji, ε ∼ Nn (0, σ 2 In ). Problem testowania, czy wszystkie obserwacje s¡ zgodne z regresj¡ gdzie. liniow¡ mo»na zapisa¢ dla tych modeli w postaci:. H0 :. β=0 Aβ. vs. H1 :. β 0, Aβ. β 6= 0 . Aβ. Problem ten opisywali Gourieroux i inni (1982), Hillier (1986), Robertson i inni (1988), Mukerjee (1995), Silvapulle i Sen (2005). Model liniowy z ograniczeniami na parametry w postaci nierówno±ci w kontek±cie regresji wypukªej rozwa»aªa Meyer (2003). W wy»ej wspomnianych pracach zostaª przedstawiony test oparty na ilorazie wiarygodno±ci. Wi¦kszo±¢ wyników z tego rozdziaªu zostaªa przedstawiona w pracy Noska i Szkutnika (2013). Zanim zostanie omówiony test ilorazu wiarygodno±ci, zostanie przedstawiony problem wyznaczenia estymatora najwi¦kszej wiarygodno±ci ∗ β 0. (ENW) β speªniaj¡cego ograniczenie Aβ. 3.1. Metody wyznaczania ENW z ograniczeniami w postaci nierówno±ci liniowych Niech dany b¦dzie model liniowy z ograniczeniami:. β +ε, Y = Xβ. β 0. Aβ. (3.1). 25.

(27) 3.1. Metody wyznaczania ENW z ograniczeniami w postaci nierówno±ci liniowych. X jest wymiaru n × k, n > k , natomiast macierz ogranicze« A ma wym × k , m ¬ k . Zakªadamy, »e X, A s¡ macierzami peªnego rz¦du, oraz »e ε ∼ Nn (0, σ 2 In ). Niech βˆ oznacza ENW dla β ∈ Rk , czyli βˆ = (X0 X)−1 X0 Y. Przez β = 0. Przez β ∗ oznaβ˜ oznaczamy ograniczony ENW dla β , speªniaj¡cy warunek Aβ β 0. Poniewa» Y ma czamy ograniczony ENW dla β speªniaj¡cego warunek Aβ Macierz. miar. rozkªad normalny, to ENW speªniaj¡ odpowiednio warunki:. βk , kY − Xβˆ k ¬ kY − Xβ βk , kY − Xβ˜ k ¬ kY − Xβ ∗ β k ¬ kY − Xβ βk , kY − Xβ. β ∈ Rk , β = 0, Aβ β 0. Aβ. dla ka»dego dla dla. β 1 , β 2 iC = β 01 Cβ β 2 oznacza iloczyn skalarny w Rk zdeniowany przez dodatnio hβ okre±lon¡ macierz C. Norm¦ zwi¡zan¡ z tym iloczynem skalarnym oznaczamy przez β kC = hβ β , β i1/2 β k2 = kY − Xβˆ k2 + kβˆ − β k2X0 X , to β˜ jest rzutem kβ C . Poniewa» kY − Xβ ˆ na podprzestrze« {β β : Aβ β = 0} w przestrzeni Rk z iloczynem prostopadªym wektora β β 1 , β 2 iX0 X , tj. zwi¡zanym z macierz¡ kowariancji βˆ . Ponadto estymator β ∗ skalarnym hβ ˆ na sto»ek K = {β β : Aβ β 0}, tj. speªnia równo±¢: jest rzutem prostopadªym wektora β Niech. kβˆ − β ∗ kX0 X = min kβˆ − β kX0 X . β ∈K. Poniewa» sto»ek na. K jest wypukªy i domkni¦ty, to dla ka»dego βˆ istnieje rzut prostopadªy. K. i jest wyznaczony jednoznacznie (por. Perlman, 1969). ∗ ˆ na sto»ek K, mo»na wykorzysta¢ meDo wyznaczenia β , rzutu prostopadªego β. tody programowania kwadratowego. Przegl¡d tych metod mo»na znale¹¢ u Gilla i innych (1981). W literaturze mo»na te» znale¹¢ inne algorytmy. Przykªadowo Dykstra (1983) zaproponowaª algorytm zbie»ny (cho¢ nie w sko«czonej liczbie kroków), wykorzystuj¡c przedstawienie sto»ka jako cz¦±¢ wspóln¡ sto»ków i ªatwiejsze rzutowanie na. K jest cz¦±ci¡ wspóln¡ sto»ków Aj oznacza j -ty wiersz macierzy A. W kolejnych krosto»ek Kj jest albo on sam, albo jego rzut na podprzestrze«. poszczególne z nich. W omawianym problemie sto»ek. β : Aj β 0}, Kj = {β. gdzie. kach rzutem wektora na. β : Aj β = 0}. {β Innym. u»ytecznym. algorytmem. jest. algorytm. baz. mieszanych. (ang.. mixed. primal-dual bases algorithm, patrz Fraser i Massam, 1989). Metoda ta jest zbie»na po sko«czonej liczbie kroków. Istotnym elementem algorytmu jest wyznaczenie baz zwi¡zanych z kraw¦dziami sto»ka oraz kraw¦dziami sto»ka do niego dualnego i przedstawienie obserwacji we wspóªrz¦dnych wzgl¦dem tych baz. T¦ ide¦ wykorzystuje równie» Meyer (2003). W niniejszej pracy do znalezienia. β∗. zostanie wykorzystany algorytm baz mie-. szanych. W kolejnych podrozdziaªach przedstawiony zostanie sposób post¦powania w przypadku ogólnego modelu liniowego, a nast¦pnie algorytm b¦dzie zastosowany do omawianych modeli z punktem zmiany.. 26.