Testowanie jednoczesne przy weryfikacji ocen parametrów strukturalnych liniowego modelu ekonometrycznego

Pełen tekst

(1)Zeszyty Uniwersytet Ekonomiczny w Krakowie Naukowe Metody analizy danych. 873 Kraków 2011. Sabina Denkowska Katedra Statystyki. Testowanie jednoczesne przy weryfikacji ocen parametrów strukturalnych liniowego modelu ekonometrycznego 1. Wprowadzenie Weryfikacja liniowego modelu ekonometrycznego zdaniem Z. Pawłowskiego: „polega na analizie, czy otrzymane wartości ocen parametrów strukturalnych są rozsądne i czy model z dostateczną dokładnością opisuje wahania zmiennej endogenicznej” [Pawłowski 1969, s. 50]. W procesie weryfikacji modelu należy zatem wyróżnić dwa etapy. Pierwszy polega na „zdroworozsądkowej” analizie, czy wyniki są zgodne z teorią ekonomii, czy też z długo obserwowanymi wynikami doświadczeń. Kolejny etap to analiza statystyczna, w ramach której wyróżniamy: ––sprawdzenie, na ile regresja jest „dobra”, za pomocą miar dobroci dopasowania danych empirycznych do danych teoretycznych otrzymanych z równania regresji: współczynnika determinacji (R2), skorygowanego współczynnika determinacji (R2), współczynnika zbieżności (j2), standardowego błędu szacunku (sε), współczynnika zmienności losowej (Vsε ), średniego absolutnego błędu procentowego (MAPE) i in., ––testowanie istotności statystycznej parametrów modelu regresji, ––analizę wybranych własności rozkładu reszt, gdyż reszty dobrego modelu powinny charakteryzować się losowością i symetrią. Ostatecznie za dobry model uznajemy taki, w którym parametry strukturalne są statystycznie istotne, wybrane miary dopasowania modelu przyjmują.

(2) 54. Sabina Denkowska. wartości arbitralnie przyjęte za dopuszczalne, a reszty modelu charakteryzują się pożądanymi własnościami. Testowanie istotności statystycznej parametrów modelu regresji zazwyczaj przeprowadza się zarówno za pomocą testu globalnego, w którym hipoteza zerowa głosi, że żadna ze zmiennych objaśniających nie wywiera wpływu na zmienną objaśnianą, jak i wnioskuje się o każdym współczynniku regresji cząstkowej oddzielnie. Rozważmy następujący przykład. Wyobraźmy sobie, że mamy pewną zmienną objaśnianą Y i sto zmiennych objaśniających: X1, …, X100. Załóżmy, że zmienne Y, X1, …, X100 są niezależne i mają jednakowy rozkład. Zmienne objaśniające są zatem nieskorelowane ze zmienną objaśnianą. Załóżmy, że dla każdej ze zmiennych mamy wektor jej realizacji oraz że metodą najmniejszych kwadratów szacujemy regresję Y od X1, …, X100. Prawdopodobieństwo błędnego stwierdzenia istotnego wpływu co najmniej jednej zmiennej objaśniającej na zmienną objaśnianą za pomocą testu analizy wariancji wynosi α. Natomiast testując istotność współczynników regresji cząstkowej, tradycyjnie każdy na poziomie α, możemy oczekiwać około 100α-istotnych współczynników regresji w modelu, w którym zmienne objaśniające są nieskorelowane ze zmienną objaśnianą (np. dla α = 0,05 możemy się spodziewać wykrycia ok. 5 zmiennych objaśniających „istotnie” wpływających na nieskorelowaną z nimi zmienną objaśnianą). Rezultat ten jest wynikiem testowania wielokrotnego. W praktyce ekonomicznej rzadko mamy do czynienia z ortogonalnymi zmiennymi objaśniającymi, a co istotniejsze – bardzo ważne w modelu regresji jest skorelowanie zmiennych objaśniających ze zmienną objaśnianą. Zaprezentowany przykład sygnalizuje jednak wyraźną potrzebę kontroli efektu testowania wielokrotnego. Należy starać się wyeliminować z modelu zmienne uznane za istotne jedynie z powodu testowania wielokrotnego, o ile analiza merytoryczna zagadnienia nie sugeruje inaczej.. 2. Miary błędu I rodzaju dla rodziny wnioskowań Właściwa kontrola efektu wielokrotności testowania jest zagadnieniem trudnym i kontrowersyjnym. Zdaniem Y. Hochberga i A.C. Tamhane’a [1987] pierwszą, a zarazem kluczową decyzją jest wybór zbioru wnioskowań, który będzie tworzyć rodzinę wnioskowań. Zalecają oni, żeby w przypadku gdy testowane hipotezy nie są ze sobą powiązane ani zawartością, ani późniejszym wykorzystaniem, traktować je oddzielnie, a nie łącznie. W przeciwnym razie istotne jest branie pod uwagę łącznego pomiaru błędów. Gdy wniosek końcowy wysnuwany jest na podstawie przeprowadzonych testów analizowanych łącznie i jego trafność.

(3) Testowanie jednoczesne…. 55. zależy od łącznego pomiaru błędów dla danego zbioru wnioskowań, wtedy taki zbiór wnioskowań powinien być rozpatrywany łącznie jako rodzina. W przypadku weryfikacji modelu regresji rodzina wnioskowań składa się z wnioskowań na temat istotności statystycznej parametrów modelu regresji. Wniosek końcowy dotyczący istotności współczynników regresji powinien zatem uwzględniać łączny pomiar błędów I rodzaju. W celu wprowadzenia miar błędu I rodzaju dla rodziny wnioskowań rozważmy problem jednoczesnego testowania k hipotez, wśród których k0 hipotez jest prawdziwych. Zmienne losowe ułatwiające zdefiniowanie miar błędu I rodzaju dla rodziny wnioskowań wprowadza tabela 1. Tabela 1. Liczba błędów w czasie testowania k hipotez zerowych Wyszczególnienie H 0 jest prawdziwa H 0 jest fałszywa Suma. Decyzje. Nie ma podstaw do odrzucenia H 0. Odrzucić H 0. U. V. k–R. R. T. S. Suma k0. k – k0 k. Źródło: [Benjamini i Hochberg 1995].. W ostatnich latach w literaturze na temat testowań wielokrotnych najczęściej wyróżniane są dwie miary błędu I rodzaju dla rodziny wnioskowań: ––FWE (Familywise Error Rate): FWE = P(V ≥ 1), E V gdy R > 0 . ––FDR (False Discovery Rate): FDR = * a R k 0 gdy R = 0 Kontrola FWE dla rodziny wnioskowań oznacza, że prawdopodobieństwo odrzucenia przynajmniej jednej prawdziwej hipotezy zerowej jest nie większe od ustalonego z góry α. Jednak nie we wszystkich badaniach stosowanie procedur kontrolujących FWE daje dobre rezultaty. W przypadku licznych rodzin wnioskowań procedury FWE osłabiają moc indywidualnych wnioskowań, w wyniku czego otrzymujemy zbyt mało odrzuceń hipotez zerowych. W 1995 r. Benjamini i Hochberg zaproponowali nową miarę błędu I rodzaju FDR (False Discovery Rate), której kontrola oznacza, że wartość oczekiwana frakcji błędnych odrzuceń wśród wszystkich odrzuceń hipotez zerowych jest kontrolowana na ustalonym z góry poziomie (zob. [Benjamini i Hochberg 1995]). Dla unaocznienia różnicy pomiędzy FWE i FDR rozpatrzmy sytuację, gdy rodzina wnioskowań obejmuje 1000 hipotez zerowych i odpowiadających im hipotez alternatywnych. Porównajmy sytuacje odrzucenia 100 hipotez zerowych, z czego jedna jest prawdziwa, z sytuacją odrzucenia w tym zbiorze dwóch hipotez,.

(4) 56. Sabina Denkowska. z czego jedna jest prawdziwa. Z punktu widzenia FWE obie te sytuacje są tak samo niekorzystne, bo odrzucona została jedna prawdziwa hipoteza zerowa. Można jednak spojrzeć na ten wynik w ten sposób, że tylko 1% odrzuceń było błędnych w pierwszej sytuacji, a aż 50% – w drugiej.. 3. Procedury testowań wielokrotnych oparte na prawdopodobieństwach testowych 3.1. Wprowadzenie w teorię procedur testowań wielokrotnych opartych na prawdopodobieństwach testowych Kontrolę wspomnianych miar błędu I rodzaju dla rodziny wnioskowań złożonej z wnioskowań o istotności współczynników regresji w modelu regresji zapewnić mogą odpowiednie procedury testowań wielokrotnych oparte na prawdopodobieństwach testowych. Procedury te mogą być stosowane w przypadku skończonych rodzin hipotez składających się z hipotez minimalnych. Proces testowania z ich wykorzystaniem opiera się przede wszystkim na analizie indywidualnych prawdopodobieństw testowych, tak więc zakres zastosowań tych procedur jest bardzo szeroki. Zaletą tych procedur są również nieduże wymagania co do założeń modelu statystycznego. Istotną kwestią jest jedynie typ zależności pomiędzy statystykami testowymi, w przypadku bowiem niezależnych statystyk testowych lub pewnych typów zależności można zastosować procedury o większej mocy. Załóżmy, że rozpatrujemy rodzinę k minimalnych hipotez zerowych H0, 1, H0, 2, …, H 0, k z odpowiadającymi im prawdopodobieństwami testowymi p1, p2, …, pk. Uporządkujmy prawdopodobieństwa testowe p(1) ≤ p(2) ≤ … ≤ p(k) i niech H(0, 1), H(0, 2), …, H(0, k) oznaczają odpowiadające im hipotezy zerowe. Skorygowane prawdopodobieństwo upi dla hipotezy H 0, i vs. HA, i, analogicznie do definicji zwykłych (nieskorygowanych) prawdopodobieństw testowych p, jest równe najmniejszej wartości FWE, dla której H0, i może zostać odrzucona, gdy rozpatrywana jest cała rodzina hipotez (por. [Wright 1992]). Gdy zostały już wyznaczone skorygowane prawdopodobieństwa testowe1 upi (i = 1, …, k) dla każdego testu H0, i vs. HA, i, decyzja o odrzuceniu hipotezy H0, i na poziomie FWE równym α podejmowana jest, gdy upi ≤ α. Sposoby wyznaczania skorygowanych prawdopodobieństw testowych dla poszczególnych procedur testowań wielokrotnych zostaną omówione w dalszej części artykułu. Analogicznie definiowane są skorygowane prawdopodobieństwa testowe dla FDR. Sposoby wyznaczania skorygowanych prawdopodobieństw testowych dla poszczególnych procedur testowań wielokrotnych zostaną omówione w dalszej części pracy. 1.

(5) Testowanie jednoczesne…. 57. 3.2. Procedury testowań wielokrotnych kontrolujące FWE W przypadku testowania istotności współczynników regresji w modelu regresji kontrolę FWE zapewniają uniwersalne procedury testowań wielokrotnych, do których zaliczamy procedurę Bonferroniego oraz procedurę Holma. 1. Procedura Bonferroniego Najprostszą procedurą testowań wielokrotnych jest procedura Bonferroniego oparta na nierówności Bonferroniego:. k. k. i =1. i =1. P e ' Ai o ≤ / P _ Aii .. (1). Algorytm procedury Bonferroniego można przedstawić następująco: k. Odrzucamy H 0, i wtedy, gdy pi ≤ αi, gdzie / αi = α. Zazwyczaj przyjmujemy: i =1 αi = α k. Metoda Bonferroniego jest bardzo konserwatywna, czyli jest metodą o małej mocy, co oznacza, że nie odrzuca hipotez zerowych tak często, jak powinna. Konserwatyzm ten jest tym poważniejszy, im silniejsze są zależności pomiędzy statystykami testowymi lub im liczniejsza jest rodzina wnioskowań. Skorygowane prawdopodobieństwa testowe dla metody Bonferroniego wyznaczane są ze wzoru:. up j = min _ kp j; 1i dla j = 1, …, k.. (2). 2. Procedura „sekwencyjnego odrzucania” Holma Procedura Holma [1979] jest zstępującą modyfikacją procedury Bonferroniego. Algorytm testowania jest następujący: Niech i* oznacza najmniejszą liczbę α , wówczas procedura Holma odrzuca całkowitą od 1 do k taką, że p_i*i > k – i* + 1 hipotezy H(0, 1), …, H(0, i* – 1), a dla pozostałych hipotez H(0, i*), …, H(0, k) stwierdza brak podstaw do odrzucenia. Skorygowane prawdopodobieństwa testowe dla metody Holma wyznaczane są ze wzorów [Westfall i in. 1999, s. 30]:. up_ 1i = min _1; kp_ 1ii; up_ j i = min a1; max ` up_ j – 1i , _ k – j + 1i p_ j ijk dla j = 2, …, k. (3). 3.3. Procedury testowań wielokrotnych kontrolujące FDR 1. Procedura Hochberga-Benjaminiego LSU (Linear Step-Up). Y. Hochberg i Y. Benjamini [1995] wykazali, że kiedy statystyki testowe są k niezależne, następująca procedura kontroluje FDR na poziomie q k0 ≤ q, gdzie k0 jest nieznaną liczbą prawdziwych hipotez zerowych. Przyjmujemy q = α..

(6) Sabina Denkowska. 58. Algorytm metody LSU jest następujący: Niech i* będzie największym i, dla którego i* = max 'i : p_ i i ≤ ki q1, wówczas odrzucamy wszystkie H(0, 1), …, H(0, i*). Jeżeli takie i nie istnieje, to nie odrzucamy żadnej hipotezy zerowej. Skorygowane prawdopodobieństwa testowe dla metody LSU wyznaczane są ze wzorów [Westfall i in. 1999, s. 30]:. up_ k i = p_ k i; up_k – ji = min b up_k – j + 1i ,. k p dla j = 1, …, k – 1. k – j _ k – j il. (4). Niezależne statystyki testowe rzadko występują w badaniach praktycznych. Y. Benjamini i D. Yekutieli [2001] wykazali, że procedura Hochberga-Benjaminiego zapewnia kontrolę FDR również w przypadku statystyk testowych o zależności dodatnio regresyjnej [Lehmann 1966, Benjamini i Yekutieli 2001]. 2. Procedura Yekutielego-Benjaminiego Y. Benjamini i D. Yekutieli [2001] zaproponowali modyfikację procedury LSU zapewniającą kontrolę FDR dla dowolnych statystyk testowych, bez względu na typ zależności pomiędzy nimi. Niestety, procedura ta jest procedurą konserwatywną w porównaniu z procedurą LSU. Proces testowania przebiega następująco. Niech iq , i* będzie największą liczbą całkowitą i, dla której i* = max *i: p_ i i ≤ k/ ik= 1 1i 4 wówczas odrzucamy H(0, 1), …, H(0, i*). Jeśli takie i nie istnieje, to nie odrzucamy żadnej hipotezy zerowej. Skorygowane prawdopodobieństwa testowe dla tej metody wyznaczamy ze wzorów: k. up_ k i = min e1; p_ k i / 1 o ; i. up_k – ji = min e up_k – j + 1i , p_k – ji. i=1 k. k / 1 o dla j = 1, f, k – 1. k – j i =1 i. (5). 4. Wnioskowanie o istotności parametrów regresji w liniowym modelu regresji W klasycznym modelu normalnej regresji liniowej y = Xβ + ε: y – jest wektorem (n × 1) obserwacji zmiennej objaśnianej; X – macierzą (n × (k + 1)) zawierającą wartości zmiennych objaśniających, przy czym pierwsza kolumna składa się z samych jedynek; β – jest wektorem ((k + 1) × 1) parametrów strukturalnych modelu, zaś ε – wektorem (n × 1) nieobserwowalnych składników losowych. Układ równań stanowiący podstawę wyznaczenia wektora estymatorów można zapisać w ujęciu macierzowym:.

(7) Testowanie jednoczesne…. 59 _ XlXi βt = Xly.. (6). Estymatorem wektora β minimalizującym sumę kwadratów reszt jest βt = _ XlXi–1 Xly. Estymator βt jest liniowy, nieobciążony oraz jest najefektywniejszy w klasie estymatorów nieobciążonych. Wnioskowanie w ramach modelu liniowej regresji umożliwia założenie dotyczące normalności n-wymiarowego składnika losowego. Wnioskowanie o poszczególnych parametrach strukturalnych modelu βi (i = 0, …, k) przeprowadzamy, rozstrzygając między hipotezami: H0 : βi = βi0 vs. HA : βi ≠ βi0 . Jeżeli hipoteza zerowa jest prawdziwa, to statystyka:. t=. βt i – βi0 Sβt i . (7). ma rozkład t-Studenta z (n – k – 1) stopniami swobody, gdzie Sβt i jest standardowym błędem szacunku parametru βi (i = 0, …, k). W celu uzyskania odpowiedzi na pytanie, czy zmienna objaśniająca Xi wywiera istotny wpływ na zmienną objaśnianą Y, rozpatrujemy hipotezy: H0 : βi = 0 vs. HA : βi ≠ 0 (i = 1, …, k). Wnioskować o istotności parametru regresji βi można również na podstawie przedziału ufności dla tego parametru. Przy ustalonym współczynniku ufności (1 – α) przedział ufności dla parametru βi wyznacza wzór:. α α aβt i – t n 2– k – 1 Sβt i; βt i + t n 2– k – 1 Sβt ik , . (8). α gdzie t n 2– k – 1 odczytujemy z tablic t-Studenta dla a1 – α 2 k i (n – k – 1) stopni swobody. Jeżeli (1 – α)100% przedział ufności dla parametru βi nie pokrywa zera, wtedy test hipotezy H0 : βi vs. HA : βi ≠ 0 na poziomie istotności α spowoduje odrzucenie hipotezy zerowej na korzyść alternatywnej, czyli stwierdzimy na poziomie istotności α, że zmienna Xi ma istotny wpływ na zmienną objaśnianą Y. Łączny przedział ufności dla wszystkich βi (i = 1, …, k) dany jest wzorem [Aczel 2005, s. 618]:. `β – βt jl_ XlXi –1 `β – βt j ≤ Fαk; n – k , kMSE. (9). gdzie MSE jest wariancją reszt, a Fαk, n – k jest kwantylem rzędu (1 – α) rozkładu F o liczbie stopni swobody k i n – k. Obszar ten jest trudny zarówno w zastosowaniu, jak i interpretacji (zob. [Neter, Wasserman i Kutner 1985]). W przypadku dwóch parametrów regresji łączny obszar ufności dla pary (β1, β2) jest ograniczony elipsą (rys. 1). Rozpatrując estymatory β1 i β2 odrębnie, łączny przedział ufności byłby prostokątem. Punkt A na rys. 1 nie jest reprezentantem pary (β1, β2), mimo iż należy do obu przedziałów ufności reprezentujących β1 i β2..

(8) Sabina Denkowska. 60. 95-procentowy przedział ufności dla β2. β2. 0. .A. Prawdziwy łączny przedział ufności dla pary (β1, β2). 95-procentowy przedział ufności dla β1. β1. Rys. 1. Łączny obszar ufności dla pary (β1, β2) i pojedyncze przedziały ufności dla parametrów β1, β2 w równaniu regresji Źródło: [Aczel 2005, s. 534, rys. 11.10; Neter, Wasserman i Kutner 1985, s. 153, rys. 5.2].. W przypadku globalnego testu istotności odrzucenie hipotezy zerowej mówiącej o braku wpływu zmiennych X1, X2, …, Xk na zmienną Y powoduje, że nie wiemy, które z rozpatrywanych zmiennych mają istotny wpływ na zmienną objaśnianą. Podobny problem jest z wnioskowaniem na podstawie łącznego obszaru ufności danego wzorem (9). Wówczas zazwyczaj przeprowadzane są testy istotności dla poszczególnych parametrów βi, każdy na poziomie istotności α. Niestety, w wypadku takiego postępowania nie jest znany łączny poziom istotności dla całej rodziny k wnioskowań.. 5. Wnioskowanie o istotności parametrów regresji z wykorzystaniem procedur testowań wielokrotnych opartych na prawdopodobieństwach testowych Rozwiązania klasyczne, takie jak przedziały ufności Scheffégo czy przedziały ufności Bonferroniego, można znaleźć np. u C. Domańskiego i K. Pruskiej [2000, s. 200–201]. Wielokrotne przedziały ufności pozwalają wnioskować o liniowych współczynnikach regresji i ich liniowych zależnościach na łącznym, przyjętym z góry poziomie ufności dla całej rodziny wnioskowań 1 – α. J. Neter, W. Wasserman i M. Kutner [1985, s. 243] zalecają w praktyce stosowanie przedziałów ufności Bonferroniego. Niech łącznie estymowanych będzie g parametrów, gdzie g ≤ k. Wówczas przedziały (1 – α)100% ufności Bonferroniego dane są wzorem:.

(9) Testowanie jednoczesne…. 61 α α aβt i – t`n –2gkj – 1 Sβt i; βt i + t`n –2gkj – 1 Sβt ik , . (10). gdzie t`n –2gkj– 1 odczytujemy z tablic t-Studenta dla kwantyla b1 – 2αg l i (n – k – 1) stopni swobody. Na podstawie (1 – α)100% przedziałów ufności Bonferroniego możemy wnioskować łącznie o istotności g parametrów regresji na łącznym poziomie istotności α. Formalnie dla każdego parametru βi testowanie: H0 : βi = 0 vs. H A : βi ≠ 0 polega na porównaniu wartości empirycznej statystyki temp (obliα czonej ze wzoru (7)) z wartością krytyczną t`n –2gkj– 1, którą odczytujemy z tablic t-Studenta dla kwantyla b1 – 2αg l i (n – k – 1) stopni swobody. Mimo że dla każdego z rozpatrywanych parametrów wnioskujemy na poziomie istotności α g, to wnioski końcowe podsumowujemy na poziomie istotności α dla całej rodziny wnioskowań. Prawdopodobieństwo błędnego odrzucenia jednej lub więcej prawdziwych hipotez zerowych na podstawie nierówności Bonferroniego jest w tym przypadku kontrolowane na poziomie α. Stosując statystyczne pakiety komputerowe, wygodnie jest wykorzystywać do testowania uzyskane w tych programach prawdopodobieństwa testowe. Wnioskowanie o istotności g współczynników regresji można przeprowadzić w oparciu o indywidualne prawdopodobieństwa testowe uzyskane dla każdego z g wnioskowań, zgodnie z procedurą Bonferroniego. Niestety, procedura Bonferroniego jest metodą konserwatywną. W metodzie tej indywidualne poziomy istotności są tak małe (wynoszą α g ), że zbyt rzadko dochodzi do odrzuceń hipotez zerowych α. i stwierdzenia istotnego wpływu zmiennych objaśniających na zmienną zależną. Stwierdzamy wówczas ostrożnie, że nie mamy podstaw, na poziomie istotności α, do odrzucenia hipotezy zerowej na korzyść hipotezy głoszącej o istotnym wpływie zmiennej niezależnej na zmienną objaśnianą. Tak naprawdę decyzję podejmowaliśmy jednak na znacznie mniejszym poziomie istotności, wynoszącym α g.. Lepszym, gdyż mniej konserwatywnym rozwiązaniem może być zastosowanie metody Holma do wnioskowania o istotności parametrów regresji [Domański i Pruska 2000]. Każda hipoteza odrzucona przez metodę Bonferroniego jest odrzucona również przez metodę Holma. Podobnie jak metoda Bonferroniego, zapewnia ona kontrolę FWE w przypadku dowolnych zależności między statystykami testowymi, a olbrzymią jej zaletą w stosunku do metod klasycznych jest jej prostota. Nieskomplikowany algorytm opiera się na prostych, szybkich obliczeniach. Minusem tej metody jest – podobnie jak w przypadku innych procedur sekwencyjnych – niemożność budowy jednoczesnych przedziałów ufności. Rozważając efektywność metody Holma, warto wspomnieć, że metoda ta wypadła bardzo dobrze, w porównaniu z innymi metodami wnioskowań wielokrotnych, w badaniach Monte Carlo opisanych u S. Denkowskiej [2007a]. Jednakże badania.

(10) 62. Sabina Denkowska. te dotyczyły porównań parami wartości przeciętnych w modelu jednoczynnikowej analizy wariancji i obejmowały, oprócz procedury Holma i Bonferroniego, również inne procedury oparte na prawdopodobieństwach testowych, które można było zastosować w sytuacji porównywania wielokrotnego wartości przeciętnych w rozważanym modelu statystycznym. Wspomniane badania potwierdziły znaczny konserwatyzm metody Bonferroniego. Pozostałe zastosowane procedury testowań wielokrotnych, oparte na prawdopodobieństwach testowych, nieznacznie „poprawiały” moc procedury Holma, ale ich zastosowanie wymaga spełnienia skomplikowanych założeń dotyczących m.in. statystyk testowych czy też logicznych powiązań między hipotezami. Metoda Holma wypadła również bardzo dobrze w porównaniu z klasycznymi procedurami, takimi jak np. metoda Scheffégo. Badania te nie stanowią dowodu, że podobnie będzie w przypadku wnioskowania o istotności współczynników liniowej regresji. Procedura Holma jest jednak prostym sposobem kontroli prawdopodobieństwa błędnego stwierdzenia istotności co najmniej jednego współczynnika regresji na z góry zadanym poziomie istotności dla całej rodziny wnioskowań α, na pewno efektywniejszym od zalecanej w literaturze metody Bonferroniego (zob. [Neter, Wasserman i Kutner 1985]). Kontrolę efektu testowania wielokrotnego za pomocą metody Holma rozpoczynamy od wyznaczenia w pakiecie statystycznym zbioru prawdopodobieństw testowych odpowiadających przeprowadzonym testom istotności k współczynników regresji. W metodzie Holma uporządkowane niemalejąco prawdopodobieńα α stwa testowe porównujemy kolejno z wartościami α k , k – 1 , f, 1 . Wygodnym rozwiązaniem jest wyznaczenie skorygowanych prawdopodobieństw testowych (3) dla metody Holma. Wnioskowanie polega wówczas na porównaniu prawdopodobieństw skorygowanych z przyjętym poziomem istotności i stwierdzeniu statystycznej istotności tych współczynników regresji, dla których: up_ i i < α (i = 1, …, k). W sytuacji gdy rozpatrywany zbiór współczynników regresji jest bardzo liczny, warto rozważyć, czy nie wystarczyłaby kontrola frakcji współczynników regresji błędnie uznanych za istotne wśród wszystkich uznanych za istotne. W tym przypadku spośród procedur kontrolujących FDR zalecić można stosowanie metody Yekutielego-Benjaminiego. Metodę tę, podobnie jak metodę Holma, można stosować bez względu na zależności pomiędzy statystykami testowymi. Należy jednak pamiętać, że w przypadku ortogonalnego modelu liniowego lub gdy statystyki testowe są dodatnio regresyjnie zależne, ewentualnie gdy rozpatrywane są hipotezy postaci H 0, i : βi = 0 vs. HA, i : βi > 0, a statystyki testowe mają zależność dodatnio regresyjną (PRDS), wówczas należy stosować procedurę o większej mocy LSU Hochberga-Benjaminiego (zob. [Benjamini i Yekutieli 2001]). Testowanie w przypadku procedur Hochberga-Benjaminiego lub Yekutielego-Benjaminiego sprowadza się do wyznaczenia prawdopodobieństw skorygowanych.

(11) Testowanie jednoczesne…. 63. dla odpowiedniej metody, a następnie do porównania z α. W tym przypadku α oznacza akceptowany odsetek błędnych odrzuceń hipotez zerowych wśród wszystkich odrzuceń.. 6. Model regresyjny opisujący kształtowanie się płacy przeciętnej w Polsce w okresie transformacji systemowej – przykład empiryczny Okres transformacji systemowej był szczególnym czasem dla gospodarki Polski. Obrady „okrągłego stołu” w 1989 r. rozpoczęły wielkie przemiany zarówno w sferze polityki, jak i gospodarki Polski. Transformacji politycznej, polegającej na przechodzeniu od komunistycznego systemu monopartyjnego do pluralizmu politycznego, towarzyszyła transformacja gospodarcza polegająca na przechodzeniu od gospodarki socjalistycznej do gospodarki rynkowej. W 1999 r. ukazało się na rynku wydawniczym opracowanie pod red. S.M. Kota [Analiza ekonometryczna… 1999], które podsumowywało 7 lat przemian systemowych pod kątem formowania się płac w tym wyjątkowym dla Polski okresie. Autorzy badali metodami ekonometrycznymi mechanizmy kształtujące rozkłady płac w czasie przechodzenia od odgórnie sterowanej gospodarki do normalnie funkcjonującego rynku pracy. Wszechstronne badania obejmowały m.in. estymację parametrów regresyjnych modeli płac. Badania oparto na przeprowadzonych na szeroką skalę badaniach ankietowych. Wyniki ankiety pozwoliły na wyróżnienie hipotetycznego zbioru zmiennych objaśniających [Analiza ekonometryczna… 1999]. Następnie wyłaniano zmienne do regresyjnego modelu płac. Autorzy rozpatrywali różne zestawy zmiennych, a tym samym różne modele płac. Ostatecznie zostały wybrane te zestawy zmiennych, dla których zbudowane modele regresji spełniały wymogi stawiane modelom ekonometrycznym, jak również w najwyższym stopniu objaśniały zmienność płac. Do opisu wpływu wybranych czynników na poziom płac stosowano klasyczny model liniowy:. ln Y = Xβ + ε,. (11). gdzie: Y – wektor płac (n × 1), X – macierz stałych (n × p), β – wektor parametrów (p × 1), ε – wektor (n × 1) niezależnych zmiennych o rozkładzie normalnym z wartością oczekiwaną: E(ε) = 0 oraz macierzą wariancji-kowariancji σ2(ε) = σ2I. Przy założeniu takiego rozkładu składnika losowego płace w modelu mają rozkład logarytmiczno-normalny [Analiza ekonometryczna… 1999, s. 147]..

(12) Sabina Denkowska. 64. Do wyboru zmiennych objaśniających autorzy wspomnianej pracy stosowali metodę regresji krokowej eliminacji zmiennych wstecz. Dla różnych zbiorów zmiennych otrzymano zatem kilka wersji regresyjnego modelu płac. Parametry tych modeli szacowano metodą najmniejszych kwadratów (MNK), pomimo że metoda ta nie jest zalecana w przypadku, gdy rozpatrywane są zmienne dyskretne (np. zero-jedynkowe) [Analiza ekonometryczna… 1999, s. 153]. Tym niemniej proponowane w literaturze znacznie bardziej skomplikowane metody szacowania prowadzą do „praktycznie identycznych wyników” [Analiza ekonometryczna… 1999, s. 153]. Tabela 2. Zmienne objaśniające, oceny parametrów wraz z odpowiadającymi im prawdopodobieństwami testowymi Płeć. Zmienne objaśniające. Stan (2,3) Stan (4,5) Stan 6. Stan 7. Grupa II. Grupa III. Grupa IV. Eduk (3;4). (Eduk (3;4))(Grupa II). (Eduk (3;4))(f_zagr) (Eduk 5)(f_zagr). (Eduk 5)(Grupa II). (Eduk 5)(Grupa III). (Eduk 5)(Grupa IV). (Eduk 5) wiek. Oceny parametrów. Prawdopodobieństwa testowe. 0,211777. 0,0000. 0,157016. 0,298876 0,478377. 0,648835. 0,0000. 0,0000. 0,105261. 0,0313. 0,254340 0,252192. 0,0000 0,0000. –0,223337. 0,0000. 0,389680. 0,0002. 0,236970. 0,0390. –0,399326. 0,0000. 0,162816. 0,0002. –0,284470 0,011325. –0,005951. Wiek. –0,000463. Wyraz wolny. 0,0000. 0,0000. 0,299583. (Stan 6) staż Wiek. 0,0000. 0,044621. 4,880706. 0,0001. 0,0000 0,0332. 0,0000. 0,0000. 0,0000. Źródło: [Analiza ekonometryczna… 1999, tablica 6.19].. We wspomnianym opracowaniu przedstawiono różnorodne modele ekonometryczne objaśniające kształtowanie się wynagrodzeń w okresie transformacji. Procesowi budowy modeli nieustannie towarzyszyło „niekontrolowane” testo-.

(13) Testowanie jednoczesne…. 65. wanie wielokrotne. Ostatecznie w większości przypadków uzyskano na tyle istotne oceny parametrów (bardzo małe prawdopodobieństwa testowe), że wprowadzenie kontroli efektu testowania wielokrotnego zapewne w wielu przypadkach nie zmieniłoby istotnie ostatecznych wniosków. Niemniej analiza modelu [Analiza ekonometryczna… 1999, s. 159, tab. 6.19 (model 6.8)] uznanego we wspomnianym opracowaniu jako model „najlepiej opisujący kształtowanie płac pracowników” w świetle przyjętego kryterium (wyjaśnia 47,94% ogólnej zmienności płac) [Analiza ekonometryczna… 1999, s. 158–159] wykazała, że nie powinien on zawierać aż 19 zmiennych objaśniających. Do tego modelu autorzy wprowadzili interakcje między różnymi zmiennymi. Zmienne objaśniające, oceny parametrów oraz odpowiadające im prawdopodobieństwa testowe podano w tabeli 2. Tabela 3. Uporządkowane prawdopodobieństwa testowe dla 20 testów istotności oraz przeliczone skorygowane prawdopodobieństwa dla metody Bonferroniego, Holma oraz metody Benjaminiego-Yekutielego Lp.. Uporządkowane prawdopodobieństwa testowe. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20. 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0001 0,0002 0,0002 0,0313 0,0332 0,0390. Metoda Bonferroniego – prawdopodobieństwa skorygowane 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,002000 0,004000 0,004000 0,626000 0,664000 0,780000. Metoda Holma – prawdopodobieństwa skorygowane 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000600 0,001000 0,001000 0,093900 0,093900 0,093900. Objaśnienia: prawdopodobieństwa testowe mniejsze od 0,05 pogrubiono. Źródło: obliczenia własne.. Metoda Benjaminiego-Yekutielego – prawdopodobieństwa skorygowane 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000000 0,000476 0,000841 0,000841 0,124259 0,124865 0,139344.

(14) 66. Sabina Denkowska. Analiza skorygowanych prawdopodobieństw testowych wyznaczonych w tabeli 3 pokazuje, że bez względu na to, czy zdecydujemy się na kontrolę FWE, czy na bardziej liberalne podejście polegające na kontroli FDR, trzy zmienne nie powinny znaleźć się w wersji ostatecznej modelu (tabeli 2) na poziomie 0,05 dla rodziny wnioskowań. Biorąc zatem pod uwagę efekt testowania wielokrotnego, nie mamy podstaw uznać zmiennej grupa_IV oraz interakcji (Eduk (3;4))(f_zagr) oraz (Stan 6) staż za istotne statystycznie na łącznym poziomie istotności 0,05 dla rodziny wnioskowań. W takiej sytuacji zalecane jest kontynuowanie procesu budowy modelu regresji.. 7. Podsumowanie W zaprezentowanym przykładzie metody testowań wielokrotnych zastosowane do modelu regresji uznanego za ostateczny pozwoliły stwierdzić, że aż trzy zmienne niesłusznie zostały uznane za istotne statystycznie, a tym samym budowa modelu regresji powinna być kontynuowana. Rezultat ten otrzymano na podstawie analizy ostatecznego modelu regresji, bez ingerowania w proces budowy modelu. Fakt ten potwierdza konieczność kontroli efektu testowania wielokrotnego istotności współczynników regresji cząstkowej, przynajmniej na końcowym etapie budowy modelu regresji. Zastosowanie procedur testowań wielokrotnych na końcowym etapie budowy modelu ekonometrycznego do weryfikacji ocen parametrów strukturalnych liniowego modelu ekonometrycznego pozwala skontrolować, czy pozostawione parametry strukturalne nie zostały uznane za istotne tylko z powodu testowania wielokrotnego podczas weryfikacji ich istotności statystycznej. Ignorowanie faktu testowania wielokrotnego ma poważne konsekwencje – prowadzi do podejmowania błędnych decyzji o istotności w rzeczywistości nieistotnych współczynników regresji. Do kontroli efektu testowania wielokrotnego można wykorzystywać zarówno procedury klasyczne oparte na wielokrotnych przedziałach ufności (np. przedziały Scheffégo, przedziały Bonferroniego), jak i metody nieklasyczne, a w szczególności procedury testowań wielokrotnych oparte na uporządkowanych prawdopodobieństwach testowych. Badania symulacyjne efektywności procedur klasycznych oraz procedur testowań wielokrotnych opartych na uporządkowanych prawdopodobieństwach testowych opisane u S. Denkowskiej [2007a, 2007b] pokazały, że procedury testowań wielokrotnych oparte na uporządkowanych prawdopodobieństwach testowych stanowią poważną alternatywę dla metod klasycznych. Procedury kontrolujące FWE nawiązują do tradycyjnego rozumienia weryfikacji hipotez i w przypadku kontroli tej miary błędu I rodzaju dla rodziny wnioskowań warto polecić uniwersalną procedurę Holma. Natomiast gdy rozważane.

(15) Testowanie jednoczesne…. 67. są bardzo bogate zbiory, kilkudziesięciu lub kilkuset zmiennych, warto spojrzeć na testowanie mniej tradycyjnie i dopuścić pewien niewielki odsetek błędnych odrzuceń w zbiorze wszystkich odrzuceń. Zastosowanie procedur kontrolujących FWE w przypadku tak bogatych zbiorów powoduje, że indywidualne decyzje są podejmowane przy tak małych indywidualnych poziomach istotności, iż bardzo rzadko dochodzić będzie do stwierdzenia istotności parametru regresji, a wniosek końcowy podsumowany będzie na poziomie istotności α dla całej rodziny wniosków. W przypadku kontroli FDR metoda Benjaminiego-Yekutielego jest metodą uniwersalną, którą zastosować można zawsze bez względu na zależności między statystykami testowymi. W sytuacji gdy badania dotyczą istotności parametrów strukturalnych ortogonalnego modelu liniowego lub gdy statystyki testowe są dodatnio regresyjnie zależne, należy stosować procedurę LSU Hochberga-Benjaminiego [Benjamini i Yekutieli 2001]. Interpretując wyniki, pamiętać jednak należy, że w tym przypadku α oznacza akceptowany odsetek błędnie uznanych za istotne współczynników regresji wśród wszystkich uznanych za istotne parametrów strukturalnych regresji wielorakiej. Literatura Aczel A.D. [2005], Statystyka w zarządzaniu, PWN, Warszawa. Analiza ekonometryczna kształtowania się płac w Polsce w okresie transformacji [1999], red. S.M. Kot, PWN, Warszawa–Kraków. Benjamini Y., Hochberg Y. [1995], Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing, „Journal of the Royal Statistical Society”, Ser. B, vol. 57, nr 1. Benjamini Y., Yekutieli D. [2001], The Control of the False Discovery Rate in Multiple Testing under Dependency, „Annals of Statistics”, vol. 29. Denkowska S. [2007a], Monte Carlo Analysis of the Effectiveness of Multiple Comparison Procedures, „Education of Quantitative Mathematical-Statistical Methods at the Universities of Economics Referring to Future Needs”, Department of Statistics, Faculty of Economic Informatics, University of Economics in Bratislava, Slovakia. Denkowska S. [2007b], Testowanie wielokrotne w badaniach ekonomicznych, „Folia Oeconomica Cracoviensia”, vol. XLV, Kraków. Domański C., Pruska K. [2000], Nieklasyczne metody statystyczne, PWE, Warszawa. Hochberg Y., Tamhane A.C. [1987], Multiple Comparison Procedures, John Wiley & Sons, New York. Holm S. [1979], A Simple Sequentially Rejective Test Procedure, „Scandinavian Journal of Statistics”, nr 6. Lehmann E. [1966], Some Concepts of Dependence, „Annals of Mathematical Statistics”, vol. 37. Neter J., Wasserman W., Kutner M.H. [1985], Applied Linear Statistical, 2nd ed., Irwin, Homewood, Ill..

(16) 68. Sabina Denkowska. Pawłowski Z. [1969], Ekonometria, PWN, Warszawa. Westfall P.H., Tobias R.D., Rom D., Wolfinger R.D., Hochberg Y. [1999] Multiple Comparisons and Multiple Tests. Using the SAS System, SAS Institute Inc. Wright S.P. [1992], Adjusted P-values for Simultaneous Inference, „Biometrics”, nr 48.. Simultanous Hypothesis Testing of Structural Parameter Significance in the Process of Verifying a Linear Econometric Model In the process of verifying an econometric model, two stages can be identified. The first embraces “commonsensical” analysis of the results: whether they are in accordance with the theory of economy or observable results of experiments. The second consists of statistical analysis in which we test the statistical significance of this model both by using the global test and by testing each partial regression coefficient separately. Each of these analyses is usually conducted at the α level and the fact of multiple testing is disregarded. Disregarding multiple testing may result in bad decisions being made regarding the statistical significance of regression coefficients, which are in fact insignificant. Applying the procedures of multiple testing during the final stage of developing the econometric model used to test the significance of structural parameters of the linear econometric model allows us to determine whether the remaining structural parameters have been regarded as significant only because of multiple testing during the verification of their statistical significance..

(17)