Testowanie wielokrotne w badaniach ekonomicznych

Vol. XLVIII (2007) PL ISSN 0071-674X

TESTOWANIE WIELOKROTNE

W BADANIACH EKONOMICZNYCH

SABINA DENKOWSKA K atedra Statystyki

U n iw ersy tet E k o n o m ic z n y w Krakowie PL 31-150 Kraków, ul. Rakowicka 27 e-mail: sabina.denkowska@ ae.krakow.pl

Praca p rzed staw io n a n a p o sied zen iu Komisji N auk E k o n o m ic z n y c h i Komisji S tatystyczno-D e- m ograficznej O d działu PAN w K rakowie 22 m a ja 20 0 7 ro k u przez au torkę.

ABSTRACT

Sabina D enkow ska. M ultiple testing in the Economic Research. Folia O e c o n o m ic a C raco v ien sia 2007, 48, 119 -1 3 5 .

In th e p ap er m u ltip le te stin g procedures based o n ordered p-values are applied to co n tro l type I errors rates for fam ily o f inferences in different statistical problem s. M ultiple te stin g procedures based o n ordered p-values m a y be fo u n d a n in terestin g tool for sim u ltan eo u s te stin g of m o re th a n o n e hypothesis at a tim e. Discussed m e th o d s are applicable to a bro ad sp ectru m of statistical problem s since th e ir req u irem en ts for statistical a ssu m p tio n are considerably less restricted th a n in case of classical procedures (only d e p e n d e n c y a m o n g te st statistics sh o u ld be controlled). T he analysis is p u t d o w n to a collection of p-values or adjusted p-values. D e p e n d in g o n ap p ro a c h to th e control o f Type I error for th e fam ily of inferences th e se m e th o d s m a y be categorized in to tw o m ajor groups: FWE (Family-Wise Error Rate) a n d FDR (False Discovery Rate) procedures.

T he procedures of m ultiple testing are applied to typical situations in econom ics research: to separate h o m o genous groups of means, to test th e significance of correlation coefficients in th e correlation m atrix a n d to infer ab o u t significance of regression param eters in linear regression m o d e l.

KEY WORDS — SŁOWA KLUCZOWE

m ultiple testing, m ultiple co m parison procedures MCP, sim u ltan eo u s testing, m u ltip le testing pro ced u res b ased o n o rd ered p-values, a d ju ste d p-values, FWE (Fam ily-W ise Error Rate),

FDR (False D iscovery Rate)

te sto w a n ie w ielo k ro tn e, p ro c e d u ry p o r ó w n a ń w ie lo k ro tn y c h , te s to w a n ie je d n o c z e sn e (równolegle), p rocedury te sto w ań w ielokrotnych oparte n a p raw d o p o d o b ie ń stw a c h testow ych,

WSTĘP

Kontrolą efektu równoczesnego testow ania wielu hipotez zajm uje się teoria w n i o s k o w a ń w i e l o k r o t n y c h . Dynam iczny rozwój tej dziedziny wiedzy wynika z intensyw nego stosowania m etod statystycznych w różnorodnych dziedzinach nauki: m edycynie, farmacji, genetyce, fizyce, astronom ii itp. Rów­ nież w badaniach ekonom icznych testowanie wielokrotne dotyczy bardzo wielu sytuacji badawczych. W przeciwieństwie do wnioskowania sekwencyjnego, któ­ re zazwyczaj występuje explicite, równolegle testow anie w ielokrotne jest często niedostrzegane, a czasem po prostu świadomie lekceważone.

Zazwyczaj wnioski z badań empirycznych w ysnuw ane są po zweryfikowaniu wielu hipotez statystycznych, każdej na poziom ie istotności a. Tym samym ignorow any jest fakt, że im większa liczba rozpatryw anych hipotez, tym jest większe praw dopodobieństw o wykrycia pozornie istotnych statystycznie związ­ ków, które w rzeczywistości nie istnieją. Dla zilustrowania problem u rozważmy

k niezależnych testów istotności, których hipotezy zerowe są prawdziwe. Testo­

w ania przeprow adzam y na poziom ie istotności a. Praw dopodobieństw o tego, że nie odrzucim y żadnej hipotezy zerowej wynosi (1 - a f . Jeżeli przykładowo, testujem y k = 20 niezależnych, prawdziwych hipotez zerowych, każdą na pozio­ m ie istotności 0,05 to praw dopodobieństw o odrzucenia przynajmniej jednej z n ich wynosi 1 - 0,952<) = 0,64, czyli okazuje się, że bardziej praw dopodobne jest uzyskanie przynajm niej jednego istotnego statystycznie wyniku, niż nie odrzucenie żadnej z hipotez zerowych. Ponieważ w badaniach praktycznych rzadko m am y do czynienia z niezależnymi testami, więc powyższe obliczenia należy traktować jako ostrzeżenie mówiące o tym, że im więcej testowań przeprowadzamy, tym więcej występuje błędnych odrzuceń hipotez zerowych. Należy zatem starać się ograniczać w badaniach liczbę przeprowadzanych testo­ w ań oraz stosować właściwą m etodologię, umożliwiającą kontrolow anie opisa­ nego powyżej efektu wnioskowania wielokrotnego.

Klasyczne procedury wnioskowań wielokrotnych MCP (ang. Multiple Compa­

rison Procedure), od lat obecne w literaturze naukowej, mają liczne grono zarówno

zwolenników, jak i przeciwników. Już w najbardziej typowej sytuacji w n i o s k o ­ w a n i a w i e l o k r o t n e g o przy wydzielaniu jednorodnych podgrup wartości przeciętnych, gdy ANOVA spowoduje odrzucenie hipotezy zerowej, badacz napo­ tyka problem wyboru najwłaściwszej procedury z bogatego zbioru procedur post-

hoc, zwłaszcza że różne procedury dają różne podziały zbioru wartości przeciętnych

(Denkowska 1999). Kolejną wadą procedur post-hoc są otrzymywane wyniki, częstokroć trudne do zinterpretowania na gruncie praktyki (np. nierozłączne jednorodne podzbiory wartości przeciętnych). Rozwiązania klasyczne zalecane w literaturze przedm iotu mają ponadto rygorystyczne wymagania modelowe.

W ybór procedury MCP zależy m .in. od zbioru elem entów , które zamierzamy testować. Do typow ych sytuacji badawczych należą: porów nyw anie parami

wartości przeciętnych, porównywanie param i wartości przeciętnych z wartością kontrolną lub „najlepszą" oraz testowanie istotności kontrastów , czyli kom bi­ nacji liniowych wartości przeciętnych, dla których sum a współczynników wy­ nosi zero. Innym bardzo istotnym czynnikiem decydującym o wyborze proce­ dury są założenia m odelu statystycznego. W ybór właściwej procedury nie jest zadaniem prostym . Wielość zaaw ansow anych i złożonych procedur, różn o ro d ­ ność uzyskiwanych wyników w zależności od wybranej procedury oraz tru d n o ­ ści interpretacyjne mogą zniechęcać praktyków do stosow ania procedur w n io ­ skowań wielokrotnych. A przecież testowanie wielokrotne to nie tylko porów ­ nywanie wartości przeciętnych w ym ienione wcześniej, czy testow anie istotności kontrastów. Z testowaniem wielu hipotez m am y do czynienia np. przy doborze zm iennych objaśniających do m odelu regresji podczas testow ania istotności współczynników korelacji w macierzy korelacji lub przy testow aniu istotności ocen param etrów strukturalnych w m odelu regresji wielorakiej.

Alternatywę dla procedur klasycznych stanow ią procedury testo w ań wielo­ krotnych, oparte n a praw dopodobieństw ach testow ych, w których proces testow ania opiera się przede wszystkim na analizie in d y w idualn ych praw do­ podobieństw testowych. Procedury testow ań w ielokrotnych oparte n a u p o ­ rządkow anych praw dopodobieństw ach testow ych rekom en do w ane są w licz­ nych artykułach naukow ych, zarów no z genetyki, psychologii, jak i farmacji, czy m eteorologii. Zaletą tych procedur jest fakt, iż zakres ich zastosow ań m oże być bardzo szeroki, a ich wym agania co do założeń m odelu statystycznego są nieduże. Istotną kwestią jest jedynie typ zależności pom iędzy statystykam i testowym i, gdyż w przypadku niezależnych statystyk testow ych lub pew nych typów zależności należy stosować procedury o większej mocy.

Testowanie wielokrotne w badaniach ekonom icznych jest faktem. W dobie wielkiej popularności m etody data mining, kontrola efektu testow ania wielokro­ tnego wydaje się po prostu niezbędna. Nasuwa się zatem pytanie: czy kontrolę efektu wnioskowania wielokrotnego w badaniach ekonom icznych m ożna po­ wierzyć procedurom testow ań wielokrotnych opartym na praw do pod o bień ­ stwach testowych.

W artykule rozważane jest stosowanie procedur testow ań w ielokrotnych opartych n a uporządkow anych praw dopodobieństw ach testow ych w typow ych sytuacjach badawczych występujących w ekonomii:

— do porównywania param i wartości przeciętnych w celu wydzielania jedno­ rodnych podgrup wartości przeciętnych w m odelu jednoczynnikow ej an a­ lizy wariancji;

— do testowania istotności współczynników korelacji w m acierzy korelacji; — do testow ania istotności param etrów strukturalnych w m o delu regresji

2. WPROWADZENIE DO TEORII TESTOWAŃ WIELOKROTNYCH Właściwa kontrola efektu wielokrotności testow ania jest zagadnieniem trudnym i kontrow ersyjnym . Pierwszą, a zarazem kluczową decyzją jest wybór zbioru wnioskowań, który będzie tworzyć rodzinę wnioskowań. Hochberg i Tamhane (1987) zalecają, żeby w przypadku, gdy testowane hipotezy nie są ze sobą pow iązane ani zawartością, ani późniejszym wykorzystaniem, traktować je oddzielnie, a nie łącznie. W przeciwnym wypadku, istotnym jest branie pod uwagę łącznego pom iaru błędów. Gdy wniosek końcowy wysnuw any jest na podstawie przeprowadzonych testów analizowanych łącznie i jego trafność zależy od łącznego pom iaru błędów dla danego zbioru wnioskowań, wtedy taki zbiór w nioskow ań pow inien być rozpatryw any łącznie jako r o d z i n a .

W celu zaprezentow ania najw ażniejszych m iar błędu I rodzaju dla ro­ d ziny w nioskow ań rozw ażm y problem jednoczesnego testow ania k hipotez, wśród których ko hipotez jest prawdziwych. N iech R oznacza liczbę hipotez zerow ych odrzuconych n a korzyść od pow iednich hip otez alternatyw nych, zaś V — liczbę praw dziw ych hipotez zerowych, które odrzucam y. R, V są to z m ie n n e losowe. Po przeprow adzeniu testow ania znan a jest tylko liczba h ipotez, które odrzucam y — R, a tym sam ym liczba hip otez zerowych, dla k tó rych nie m am y podstaw do odrzucenia: k - R. W artość zm iennej losowej

V nie jest obserwowana.

W literaturze tem atu najczęściej wyróżniane są dwie miary błędu I rodzaju dla rodziny wnioskowań FWE (ang. Family-Wise Error Rate) (Hochberg i Tamhane, 1987; Miller, 1981):

FWE = P ( ^ > 1), FDR (ang. False Discovery Rate):

FDR = E_\ R_J gdy R > 0 0 gdy R = 0.

Kontrola FWE dla rodziny wnioskowań oznacza, iż praw dopodobieństw o odrzucenia przynajm niej jednej prawdziwej hipotezy zerowej jest nie większe od ustalonego z góry a. Nie we wszystkich badaniach stosowanie procedur kontrolujących FWE daje dobre rezultaty. W przypadku licznych rodzin wnio­ skowań, procedury FWE osłabiają m oc indyw idualnych wnioskowań, w wyniku czego otrzym ujem y zbyt m ało odrzuceń hipotez zerowych. W 1995 roku Ben- jam ini i Hochberg zaproponow ali now ą miarę błędu I rodzaju dla rodziny w nioskow ań FDR (ang. False Discovery Rate), której kontrola oznacza, iż wartość oczekiwana frakcji błędnych odrzuceń wśród wszystkich odrzuceń hipotez zerowych jest kontrolow ana na ustalonym z góry poziomie.

Dla zilustrowania różnicy pom iędzy FWE i FDR rozpatrzm y sytuację, gdy rodzina wnioskowań obejm uje 1000 hipotez zerowych i odpow iadających im hipotez alternatywnych. Porównajm y sytuację odrzucenia 100 hipotez zero­ wych, z czego jedna jest prawdziwa, z sytuacją odrzucenia w tym zbiorze dw óch hipotez, z czego jedna jest prawdziwa. Z pu n k tu widzenia FWE obie te sytuacje są tak samo niekorzystne, bo odrzucona została jedna prawdziwa hipoteza zerowa. Można jednak spojrzeć na te n wynik w ten sposób, iż tylko 1% odrzuceń było błędnych w pierwszej sytuacji, a aż 50% w drugiej.

3. PROCEDURY TESTOWAŃ WIELOKROTNYCH

OPARTE NA PRAWDOPODOBIEŃSTWACH TESTOWYCH

Procedury testow ań wielokrotnych oparte na praw dopodobieństw ach testow ych wydają się być interesującą alternatywą dla klasycznych procedur MCP. Zakres zastosowań tych procedur jest bardzo szeroki. Procedury te m ogą być stosow ane w przypadku skończonych rodzin hipotez m inim alnych, a proces testow ania przy ich wykorzystaniu opiera się przede wszystkim n a analizie indyw idualnych praw dopodobieństw testowych. Istotną zaletą tych procedur są nieduże w ym a­ gania co do założeń m odelu statystycznego.

Z proceduram i testow ań wielokrotnych s'ciśle związane jest pojęcie s k o r y ­ g o w a n y c h p r a w d o p o d o b i e ń s t w t e s t o w y c h (ang. adjusted p-valueś). Analogicznie do definicji zwykłych (nieskorygowanych) praw dopodobieństw testowych p, s k o r y g o w a n e p r a w d o p o d o b i e ń s t w o p, dla hipotezy H{)i vs. HAi, rów ne jest najmniejszej wartości FWE, dla której Hoi m oże zostać odrzucona, gdy cała rodzina hipotez jest rozpatrywana. Przy czym zakładamy, że rozpatrujem y rodzinę 'k' m inim alnych hipotez zerowych H{)V H()2, ..., Hi)k z odpowiadającymi im praw dopodobieństw am i testowym i p v p 2, ..., p k. Mając wyznaczone1 skorygowane praw dopodobieństw a testowe p, (i = 1, ..., k) dla każdego testu H() j vs. HA i, decyzja o odrzuceniu hipotezy H() i n a poziom ie FWE rów nym a podejm ow ana jest, gdy p, < a . Skorygowane praw dopodobieństw a testowe są definiowane analogicznie dla FDR.

Ze względu na kontrolę błędu I rodzaju dla rodziny wnioskowań, procedury testow ań wielokrotnych m ożna podzielić na:

— procedury kontrolujące FWE; — procedury kontrolujące FDR.

Do uniw ersalnych procedur testow ań w ielokrotnych k o n trolujący ch FWE zaliczamy jednoetapow ą procedurę Bonferroniego oraz jej w ieloetapow ą m o ­

1 Sposoby wyznaczania skorygowanych praw dopodobieństw testow ych dla poszczególnych procedur testowań w ielokrotnych przedstawione zostaną w dalszej części artykułu.

dyfikację — procedurę Holm a. P r o c e d u r a B o n f e r r o n i e g o jest najpro­ stszą procedurą testow ań w ielokrotnych, a jej algorytm m ożna przedstawić następująco:

cc

odrzucam y H„, wtedy gdy p i < —.

M etoda Bonferroniego jest bardzo konserwatywna, czyli jest m etodą o malej mocy. Skorygowane praw dopodobieństw a testowe dla m etody Bonferroniego w yznaczane są ze wzoru:

p; = min(fcpy; 1) dla = 1, ..., k. (1) P r o c e d u r a H o l m a jest m niej konserw atywna niż m etoda Bonferronie­ go, bowiem każda hipoteza odrzucona przez m etodę Bonferroniego jest odrzu­ cona rów nież przez m etodę Holma, natom iast hipotezy odrzucone przez m etodę Holm a m ogą nie zostać odrzucone przez m etodę Bonferroniego. Dla uporząd­ kow anych praw dopodobieństw testowych p0) < p (2) < ... < pm skorygowane praw dopodobieństw a testowe dla m etody Holm a wyznaczane są ze wzorów:

p(1) = m in (l; kp(l)) oraz

)

dla j = 2, ..., k.

Procedurę Bonferroniego m ożna zmodyfikować korzystając z nierówności Śidaka w przypadku, gdy rozpatrywane statystyki testowe tworzą wielowymia­ rowy rozkład n o rm a ln y lub rozkład t-Studenta o niezależnych składowych (Hochberg i Tam hane, 1987; Shaffer, 1995), a rozważane hipotezy alternatywne m ają dw u stronne zbiory krytyczne. Modyfikacja m etody Bonferroniego polega n a zastąpieniu j przez 1 - (1 - a)*. Prawdopodobieństwa skorygowane dla p r o ­ c e d u r y B o n f e r r o n i e g o - Ś i d ś k a liczone są ze wzoru:

Pi = m in ( i - (1 - p;.)*; 1^ dla j = 1, ..., k. (3) Jak wykazali Holland i Copenhaver (1987) procedura Bonferroniego-Śidaka kontroluje FWE również w przypadku, gdy statystyki testowe mają dodatnią zależność o rth an to w ą (Denuit i Scaillet, 2004).

P r o c e d u r a H o l m a - Ś i d a k a jest modyfikacją m etody Holma opartą na nierów ności Śidaka. Skorygowane praw dopodobieństw a testowe dla tej m etody w yznaczane są ze wzorów:

p(1) = m i n ( l ; 1 - ( 1 -/><„)*) oraz

Pu, = m in ( l; m ax (p(H), 1 - (1 - p (, / - '+1)}

dla j - 2, k.

(4)

P r o c e d u r a S h a f f e r to modyfikacja procedury Holm a dla hipotez logicz­ nie powiązanych. Z hipotezam i logicznie powiązanym i m am y do czynienia np. w przypadku porów nyw ania param i wartości przeciętnych. Praw dopodobień­ stwa skorygowane dla tej m etody wyznaczam y ze wzorów:

gdzie tj — jest to maksymalna liczba hipotez zerowych, dla których m ożem y stwierdzić brak podstaw do odrzucenia, gdy ( / — 1) — hipotez jest już odrzuconych.

Kontrolę FDR dla niezależnych statystyk testow ych zapew nia p r o c e d u r a LSU (Linear Step-Up), zaproponow ana przez Hochberga i Benjaminiego (1995). Skorygowane praw dopodobieństw a testowe dla procedury Hochberga-Benjami- niego otrzym ujem y ze wzorów:

Benjamini i Yekutieli (2001) wykazali, że procedura LSU zapewnia kontrolę FDR również w przypadku statystyk testowych o zależności dodatnio regresyjnej.

Uniwersalną procedurą kontrolującą FDR jest p r o c e d u r a Y e k u t e l i e g o - B e n j a m i n i e g o 2. Jest ona modyfikacją procedury LSU (Linear Step-Up) Hochber- ga-Benjaminiego zapewniającą kontrolę FDR bez względu n a typ zależności pomiędzy statystykami testowymi. Niestety procedura ta jest procedurą konserwa­ tywną w porównaniu z procedurą LSU. Skorygowane praw dopodobieństwa testo­ we dla m etody Yekuteliego-Benjaminiego wyznaczamy ze wzorów:

p (1) = m in (l; kp(V)) oraz p(j) = m in (l; max(p,H), f,/;(yi) j dla j = 2, ..., k, (5)

\ dla j = 1, ..., k - 1. (6) \ /

(

k

1

4. WYDZIELANIE JEDNORODNYCH PODGRUP WARTOŚCI PRZECIĘTNYCH Przydatność procedur testow ań wielokrotnych opartych na praw dopodobień­ stwach testow ych do wydzielania jednorodnych podgrup wartości przeciętnych b ad an o poprzez konfrontację tych procedur z proceduram i klasycznymi w m o­ delu jednoczynnikowej zrównoważonej analizy wariancji.

Klasyczne procedury post-hoc, procedury oparte na analizie skupień oraz wybrane, n a podstawie teoretycznych rozważań, procedury testowań wielokrot­ nych oparte na prawdopodobieństwach testowych, zastosowano w przykładach empirycznych dotyczących wyodrębniana grup gospodarstw domowych o jedno­ rodnym poziomie przeciętnych wydatków na osobę na wybrane artykuły. Badania empiryczne zaprezentowane przez autorkę (Denkowska, 2005) pokazały typowe problem y napotykane przy stosowaniu klasycznych procedur post-hoc. Procedury porów nań wielokrotnych od lat dostępne w pakietach statystycznych nadal budzą sporo kontrowersji. Różnorodność otrzymywanych wyników, nierozłączność jed­ norod ny ch podzbiorów wartości oczekiwanych, to tylko niektóre z czynników zniechęcających badaczy do sięgania po te procedury. Procedury oparte na uporządkowanych prawdopodobieństwach testowych wypadały w badaniach po­ równywalnie, a czasami nawet lepiej niż rozwiązania klasyczne (Denkowska, 2005). Na szczególne wyróżnienie zasługiwała procedura Holma, która niejedno­ krotnie dawała więcej odrzuceń hipotez zerowych, niż zalecana w literaturze do tego typu badań procedura Tukeya. Biorąc pod uwagę rezultaty badań empirycz­ nych oraz zalety procedur testowań wielokrotnych opartych na prawdopodobień­ stwach testowych, takie jak szeroki zakres ich zastosowań oraz prostotę ich stosowania, kontynuow ano badania nad efektywnością i wykorzystaniem tych procedur do bardziej zaawansowanych problemów testowań wielokrotnych.

W celu porów nania efektywności klasycznych procedur post-hoc z proce­ duram i testow ań wielokrotnych opartym i na praw dopodobieństw ach testowych w m odelu statystycznym jednoczynnikowej zrównoważonej analizy wariancji, autorka artykułu (Denkowska, 2006b) przeprowadziła rozbudow ane badania M onte Carlo. Badania te polegały na generow aniu prób z rozkładów norm alnych o zn an ych param etrach, a następnie badaniu, czy decyzja podjęta n a podstawie tych prób jest popraw na, czy nie. Próby takie były generow ane wielokrotnie, a praw dopodobieństw o poprawnej decyzji było szacowane jako częstość wystę­ pow ania dobrych decyzji.

Procedury poddane badaniom sym ulacyjnym m ożna podzielić na trzy grupy. Jedną grupę procedur stanowiły najpopularniejsze procedury klasyczne dostępne w pakiecie STATISTICA: procedura NIR, procedura Tukeya, procedura Scheffego, procedura D uncana oraz procedura Newmana-Keulsa. Pozostałe pro­ cedury to w ybrane procedury testow ań wielokrotnych oparte na uporządkow a­ n y ch praw dopodobieństw ach testowych, które m ożna zastosować w przypadku m odelu jednoczynnikowej zrównoważonej analizy wariancji do wydzielania

jednorodnych podgrup. Grupę drugą — grupę procedur kontrolujących pra­ w dopodobieństw o popełnienia przynajmniej jednego błędu I rodzaju na pozio­ m ie a (FWE), tworzyły: procedura Bonferroniego, procedura Bonferroniego-Śi- daka, procedura Holma, procedura Holma-Śidaka oraz procedura Shaffer dla hipotez logicznie powiązanych. W skład grupy trzeciej wchodziły procedury kontrolujące FDR, czyli wartość oczekiwaną frakcji błędnych odrzuceń wśród wszystkich odrzuceń. Badaniom poddano: procedurę LSU Hochberga-Benjami- niego:i oraz procedurę Yekutieliego-Benjaminiego. Tak więc badaniam i M onte Carlo objęto 12 procedur porów nań wielokrotnych. Program symulacyjny porównujący 12 procedur MCP napisano w języku STATISTICA Visual Basic (SVB). W programie wykorzystano gotowe, oprogram ow ane w STATISTICE, po­ pularne procedury klasyczne z pierwszej grupy procedur. Procedury z dw óch pozostałych grup zostały oprogramowane w oparciu o wyznaczane w STATISTICE praw dopodobieństw a testowe dla par wartości przeciętnych.

Zarówno przeprowadzone badania symulacyjne, jak i badania empiryczne pokazały, że procedury testowań wielokrotnych oparte na prawdopodobieństwach testowych mogą stanowić poważną konkurencję dla procedur klasycznych. W przypadku procedur kontrolujących FWE w rozważanym w pracy modelu statystycznym zrównoważonej analizy wariancji, efektywność procedur opartych na prawdopodobieństwach testowych była porównywalna z efektywnością proce­ dur klasycznych. Spośród procedur klasycznych wysoką efektywnością charaktery­ zowały się procedury Newmana-Keulsa i Duncana, jednak stosowanie tych proce­ dur nie jest zalecane w praktyce badawczej, gdyż nie kontrolują one FWE na zadanym poziomie. Szczególnie zalecana w literaturze przedmiotu do porów nań parami w rozważanym modelu statystycznym jest procedura Tukeya. W prowa­ dzonych badaniach symulacyjnych dobrze wypadły wieloetapowe procedury testowań wielokrotnych, osiągając niejednokrotnie efektywność wyższą od efe­ ktywności klasycznej procedury Tukeya. Badania M onte Carlo nie stanowią formalnego dowodu, jednak biorąc dodatkowo pod uwagę fakt, iż procedury takie jak np. procedura Holma, czy jej modyfikacja zaproponow ana przez Shaffer mogą być stosowane do porównywania parami wartości przeciętnych również w sytu­ acjach, gdy założenia modelowe analizy wariancji nie są spełnione, z pewnością warto promować tę grupę m etod porów nań wielokrotnych.

Podsumowując wyniki empiryczne i symulacyjne dotyczące procedur testo­ w ań w ielokrotnych opartych n a praw dopodobieństw ach testowych, m ożna stwierdzić, że spośród m etod kontrolujących FWE n a szczególne w yróżnienie zasługuje wieloetapowa m etoda Holma. Zarówno modyfikacja zaproponow ana przez Shaffer, polegająca na uwzględnieniu logicznych pow iązań pom iędzy

■ł Procedura Hochberga-Benjaminiego, na podstawie badań symulacyjnych przeprowadzonych przez Y. Benjaminiego, Y. Hochberga oraz Y. Klinga, zapewnia kontrolę FDR w przypadku rozpatrywa­ nych w eksperymencie porównań parami. Więcej na ten tem at u Benjaminiego i Yekutieliego, 2001.

hipotezam i, jak również modyfikacja wykorzystującą nierówność Sidaka, nie w plynęiy znacząco na poprawę efektywności procedury Holma. Teoretyczna analiza praw dopodobieństw skorygowanych w przypadku procedury Holma- -Śidaka nie zapowiadała rewolucyjnych zm ian i fakt ten potwierdziły badania symulacyjne. Zastosowanie nierówności Śidaka skomplikowało natom iast pro­ stotę obliczeniową m etody Holma, a uzyskana tą drogą korekta wartości skory­ gow anych okazała się nieznaczna, przy czym modyfikacja ta zapew nia kontrolę FWE tylko w przypadku niezależnych lub charakteryzujących się dodatnią zależnością o rth an to w ą statystyk testowych. Właściwie niezauważalna jest po­ prawa efektywności m etody Holma w wyniku zastosowania modyfikacji Shaffer. W ydaje się jednak, że korzyść z zastosowania tej poprawki dla hipotez logicznie pow iązanych będzie widoczniejsza przy rozpatryw aniu większej liczby param e­ trów. W przypadku rozpatrywania znacznej liczby wartości przeciętnych, gdy w rozpatryw anych badaniach wystarczy kontrola wartości oczekiwanej frakcji błędnych odrzuceń wśród wszystkich odrzuceń na z góry zadanym poziomie, w arto polecić procedurę LSU Hochberga-Benjaminiego. Natom iast uniwersalna procedura Yekutieliego-Benjaminiego okazała się procedurą bardzo konserwa­ tyw ną i to nie tylko w stosunku do procedury LSU.

5. TESTOWANIE WIELOKROTNE W MACIERZY KORELACJI

W wielu praktycznych zastosowaniach statystyki i ekonom etrii zachodzi ko­ nieczność wnioskowania o istotności współczynników korelacji liniowej w m a­ cierzy korelacji. Podzbiorów wzajemnie skorelowanych zm iennych poszukuje­ m y testując wielokrotnie w macierzy korelacji, m .in. przy wyborze zm iennych objaśniających do m odelu ekonom etrycznego, zm iennych definiujących prze­ strzeń klasyfikacji w analizie skupień, zm iennych tworzących wskaźniki agrega­ towe, zm iennych diagnostycznych w analizie dyskryminacyjnej. We wszystkich w ym ienionych przypadkach zazwyczaj ignorow any jest fakt testowania wielo­ krotnego. Dostępne w literaturze klasyczne testy globalne dotyczące współczyn­ ników korelacji liniowej (Domański, 1990) pozostawiają badacza w kłopotliwej sytuacji, gdy zostanie odrzucona hipoteza zerowa. Wówczas, aby wysnuć bar­ dziej szczegółowe wnioski i wskazać istotne statystycznie współczynniki korela­ cji, najczęściej stosow anym rozwiązaniem jest testowanie istotności współczyn­ ników korelacji, każdego na poziom ie istotności a. Brak klasycznych rozwiązań kontrolujących efekt testow ania wielokrotnego w przypadku badania istotności współczynników korelacji w macierzy korelacji powoduje, że przydatność pro­ cedur testow ań w ielokrotnych opartych na praw dopodobieństw ach testowych jest bezsprzeczna.

Testowanie z wykorzystaniem procedur opartych na prawdopodobieństwach testowych należy rozpocząć od określenia rodziny wnioskowań. Bardzo ważne jest,

by na wstępie badań starać się poprzez analizę merytoryczną oraz analizę formal- no-statystyczną maksymalnie zredukować liczbę wnioskowań, czyli w przypadku testowania wielokrotnego w macierzy korelacji — zredukować liczbę zm iennych. Po przeprowadzeniu analizy merytorycznej i formalno-statystycznej zostaje usta­ lona liczba rozważanych zmiennych, a tym samym znana jest rodzina wniosko­ wań. Kolejny etap polega na wyznaczeniu prawdopodobieństw testowych dla całej rozważanej rodziny wnioskowań, a następnie na zastosowaniu „najlepszej" z pro­ cedur testowań wielokrotnych opartych na uporządkowanych praw dopodobień­ stwach testowych. Wybór „najlepszej" procedury rozum iany jest jako wskazanie procedury o największej mocy, w zależności od wyboru miary kontroli błędu I rodzaju dla całej rodziny wnioskowań. W przypadku kontroli FWE w macierzy korelacji, wybór zawęża się do dwóch metod: Bonferroniego oraz m etody „sekwen­ cyjnego odrzucania" Holma, które m ożna polecić bez względu n a typ zależności pomiędzy statystykami testowymi. Metodą większej m ocy spośród rozważanych, jest m etoda Holma, bowiem w wyniku jej zastosowania liczba wykrytych isto­ tnych współczynników korelacji będzie nie mniejsza od liczby wykrytych isto­ tnych współczynników korelacji przez m etodę Bonferroniego, przy zapewnieniu kontroli prawdopodobieństwa błędnego stwierdzenia jednej lub więcej istotnych współzależności pomiędzy zm iennym i n a założonym poziomie a dla całej rodziny wnioskowań. W przypadku, gdy zalecana redukcja zm iennych nie spowoduje znacznego zmniejszenia liczby cech i rodzina wnioskowań jest bardzo liczna, warto rozważyć kontrolę FDR przy pom ocy m etody Yekutieliego-Benjaminiego. Dla dużych macierzy korelacji kontrola FWE nie jest rozwiązaniem satysfakcjo­ nującym badaczy. Przy licznej rodzinie wnioskowań indywidualne poziom y istotności, w przypadku procedur FWE, są tak małe, iż zbyt rzadko dochodzi do odrzuceń hipotez zerowych i stwierdzania istotnych współzależności pom iędzy zmiennymi. Tak więc w sytuacji dużych macierzy korelacji, jeśli dopuszczamy alOO% — błędnych odrzuceń wśród wszystkich odrzuceń hipotez zerowych, warto wykorzystać procedurę Yekutieliego-Benjaminiego, kontrolującą FDR na poziomie a. W praktyce oznacza to, że akceptujemy niewielki procent współczynników błędnie uznanych za istotne, wśród wszystkich uznanych za istotne współczyn­ ników korelacji.

W przykładzie empirycznym, zaprezentow anym u autorki (Denkowska, 2006a), wyznaczano cechy diagnostyczne do oceny przestrzennego zróżnicowa­ nia sytuacji mieszkaniowej w Polsce w 2002 roku. Przedstawiono w n im dwa podejścia: jedno polegające na tradycyjnym wnioskowaniu w macierzy korelacji, w którym ignorow any jest efekt wielokrotności testowania oraz drugie podejście, w którym efekt ten kontrolow ano za pom ocą w ybranych m eto d testow ań wielokrotnych opartych na praw dopodobieństw ach testowych. Do kontroli efektu wielokrotności testowania zastosowano wybrane uniw ersalne procedury kontrolujące FWE i FDR. Przykład em piryczny pokazał, że lekceważenie efektu testowania wielokrotnego pow oduje wykrywanie zbyt wielu istotn ych w spół­

czynników korelacji, co w rezultacie skutkuje zbytnią redukcją zm iennych diagnostycznych. Tym samym, w finalnym zbiorze zm iennych może zabraknąć w ażnych zm iennych diagnostycznych.

Dobór zm iennych objaśniających do m odeli ekonom etrycznych jest jed­ nym z najistotniejszych zagadnień współczesnej ekonometrii. Od lat bardzo popularną m etodą doboru zm iennych objaśniających do liniowego modelu regresji jest m etoda oparta na badaniu istotności współczynników korelacji w macierzy korelacji (Bartosiewicz, 1980; Grabiński i wsp., 1982). M etoda ta jest spotykana w literaturze pod nazwą m etody analizy grafów (Goryl i wsp., 2003) i znajduje zastosowanie przede wszystkim w przypadku, gdy rozpatrywana jest niezbyt liczna rodzina potencjalnych zm iennych objaśniających. W metodzie tej ignorow any jest fakt testowania wielokrotnego w macierzy korelacji i wnioski w ysnuw ane są po zweryfikowaniu wielu hipotez statystycznych, każdej na poziom ie istotności a. Lekceważenie efektu testowania wielokrotnego powoduje zbytnią redukcję zm iennych objaśniających.

Autorka (Denkowska, 2007a) zaproponow ała modyfikacje m etod y analizy grafów uw zględniające efekt w ielokrotności testow ania w m acierzy korelacji. M odyfikacje te polegają na wykorzystaniu o dp ow iednich procedur testow ań w ielokrotnych kontrolujących FWE lub FDR do kontroli efektu testow ania w ielokrotnego istotności w spółczynników korelacji liniowej w macierzy kore­ lacji. W przypadku, gdy istotne jest, by praw dopodobieństw o błędnego stwier­ d zenia jednej lub więcej istotnych statystycznie zależności było kontrolow ane n a poziom ie a, najlepszym rozw iązaniem jest zastosowanie modyfikacji opar­ tej n a m etodzie Holma. Kontrola FWE n a poziom ie a oznacza, że uzyskane istotne w yniki m ożem y z dużym zaufaniem przyjąć, gdyż praw d op od ob ień ­ stwo błędnego alarm u jest niewiększe od a. N atom iast w sytuacji licznej rodziny w nioskow ań w arto rozważyć, czy nie wystarczy kontrola (FDR) war­ tości oczekiwanej frakcji błędnych odrzuceń wśród wszystkich odrzuceń na z góry u stalo nym poziom ie. W przypadku bow iem „dużych" m acierzy korela­ cji, a tym sam ym licznej rodziny wnioskow ań, gw ałtow nie m aleje m oc in dy w id u aln y ch testów w przypadku zastosowania procedur kontrolujących FWE, a tym sam ym w w yniku zastosowania tych procedur otrzym ujem y zbyt m ało isto tn y ch wyników. Modyfikacja m etod y analizy grafów, oparta na uniw ersalnej procedurze Yekutieliego-Benjaminiego pozwala u n iknąć zacho­ wawczej postaw y procedur k ontrolujących FWE. W ybór przez badacza tej m iary błędu I rodzaju dla rodziny w nioskow ań oznacza, że dopuszcza on i akceptuje pew ien niewielki p ro cent «100% — błędnych odrzuceń wśród wszystkich odrzuceń, a w zam ian za to oczekuje m niej ostrożnej postawy niż w przypadku kontroli FWE i w efekcie większej liczby w ykrytych istotnych statystycznie zależności. Z pew nością jest to lepsze rozwiązanie niż ignorown- nie faktu testow ania w ielokrotnego.

6. TESTOWANIE WIELOKROTNE PRZY WERYFIKACJI OCEN PARAMETRÓW STRUKTURALNYCH LINIOWEGO MODELU EKONOMETRYCZNEGO Procedury testow ań w ielokrotnych oparte n a praw dopodobieństw ach testo­ w ych m ożna polecić również do kontroli efektu testow ania jednoczesnego przy weryfikacji ocen param etrów strukturalnych liniowego m o d elu ekono- m etrycznego.

Badania em piryczne prowadzone przez autorkę (Denkowska, 2007b), d o ty ­ czące plac w okresie transformacji systemowej w Polsce, nawiązywały do badań prowadzonych przez zespół kierowany przez S. M. Kota4 (1999). Pokazują one w jaki sposób należy przeprowadzać kontrolę testowania wielokrotnego isto tn o ­ ści param etrów strukturalnych w m odelach regresji wielorakiej oraz jakie są skutki braku takiej kontroli.

Należy zatem mieć świadomość, że niekontrolow ane testow anie równolegle wielu hipotez prowadzić m oże do „bardzo kiepskich m odeli". Tam, gdzie to możliwe, konieczne jest ograniczanie liczby testowań. Zaleca się rów nież stoso­ wanie m etod wyboru zm iennych objaśniających, które nie opierają się na w nioskowaniu wielokrotnym (np. m etoda Z. Hellwiga) lub kontrolują ten efekt (zmodyfikowana m etoda analizy grafów, Denkowska 2007a). W przypadku bardzo bogatych zbiorów zm iennych kuszące jest wykorzystanie np. sekwencyj­ n ych m etod doboru zm iennych. Jednak n a końcow ym etapie budow y m odelu regresji konieczne jest skorygowanie wyników poprzez kontrolę efektu testow a­ nia wielokrotnego współczynników regresji cząstkowej. W przykładzie zaprezen­ tow anym przez autorkę (Denkowska, 2007b), m etody testow ań w ielokrotnych zastosowane do m odelu regresji, uznanego za ostateczny przez autorów Analizy

ekonometrycznej kształtowania się płac w Polsce w okresie transformacji, pozwoliły

stwierdzić, że aż trzy zm ienne niesłusznie zostały uzn ane za istotne statystycznie. Tym sam ym budow a m odelu regresji pow inna być ko ntynuow ana. Rezultat ten otrzym ano na podstawie analizy ostatecznego m odelu regresji, bez ingerow ania w proces budow y m odelu. Przykład ten wskazuje na konieczność kontroli efektu testowania wielokrotnego istotności współczynników regresji cząstkowej, przy­ najm niej na końcowym etapie budow y m odelu regresji. Kontrola ta pozwoli sprawdzić, czy pozostawione param etry strukturalne nie zostały u z n a n e za istotne wyłącznie z powodu testowania wielokrotnego podczas weryfikacji ich istotności statystycznej.

Wszędzie tam , gdzie równolegle testujem y hipotezy dotyczące param e­ trów regresji należy zatem stosować m etody testow ań w ielokrotnych. Wybie-4 Autorzy Analizy ekonometrycznej kształtowania się piać w Polsce w okresie transformacji badali m etodam i ekonom etrycznym i m echanizm y kształtujące rozkłady płac w okresie przechodzenia od odgórnie sterowanej gospodarki do norm alnie funkcjonującego rynku pracy. W szechstronne bada­ nia obejmowały między innym i estymację param etrów regresyjnych modeli płac.

rac m ożn a zarów no spośród klasycznych m eto d opartych na w ielokrotnych przedziałach ufności (np. przedziały Scheffego, przedziały Bonferroniego), jak rów nież spośród rozw iązań nieklasycznych, a w szczególności z m eto d testo­ w ań w ielokrotnych opartych na uporządkow anych praw dopodobieństw ach testow ych. Spośród m eto d testow ań w ielokrotnych o partych na praw dopodo­ bieństw ach testow ych autorka (Denkowska, 2007b) zaleca stosow anie m etod uniw ersalnych: Holm a i Yekutieliego-Benjaminiego. W przypadku kontroli FWE autorka poleca procedurę Holma, n ato m iast gdy rozw ażane są bardzo bogate zbiory, kilkudziesięciu lub kilkuset zm iennych, w arto spojrzeć na testow anie m niej tradycyjnie i dopuścić pew ien niewielki odsetek błędnych odrzuceń w zbiorze wszystkich odrzuceń. Zastosowanie procedur kontro lują­ cych FWE w przypadku tak bogatych zbiorów pow oduje, iż indyw idualne decyzje są po dejm ow an e przy tak m ałych indyw idualnych p oziom ach isto tn o ­ ści, że bardzo rzadko dochodzi do stwierdzenia istotności param etru regresji, a w niosek końcow y w ysnuty będzie n a poziom ie istotności a dla całej rodziny w nioskow ań. W przypadku kontroli FDR, m etoda Benjaminiego-Yekutieliego jest m eto d ą uniw ersalną, którą zastosować m ożna zawsze bez względu na zależności m iędzy statystykam i testow ym i. W sytuacji, gdy badania dotyczą istotności param etrów strukturalnych o rtogonalnego m odelu liniowego lub gdy statystyki testowe są do d atn io regresyjnie zależne (Lehm ann, 1966), należy zastosować5 procedurę o większej m ocy — procedurę Hochberga-Ben- jam iniego. Przy interpretacji w yników pam iętać jednak należy, że w tym p rzypadku a oznacza akceptow any odsetek błędnie u zn a n y ch za istotne w spółczynników regresji wśród wszystkich u znany ch za istotne param etrów stru k turalny ch regresji wielorakiej.

7. PODSUMOWANIE

Na zakończenie w arto w spom nieć o kierunkach badawczych zm ierzających do popraw y m ocy zn an y ch procedur w nioskow ań w ielokrotnych, jak i w ynale­ zienia now ych, lepszych rozwiązań. Istotną popraw ę m ocy procedur testow ań w ielo kro tn ych opartych na praw dopodobieństw ach testow ych m ożna zyskać poprzez zastosow anie repróbkow ania (ang. resampling) do oszacowania pra­ w d o p o d o b ień stw testow ych. Term in repróbkow anie oznacza, że zaobserwowa­ ne d an e są w ielokrotnie wykorzystywane w analizie symulacyjnej w celu podjęcia w niosku. Praw dopodobieństw a uzyskane za po m ocą tech n ik reprób­ kow ania są zazwyczaj m niejsze od praw dopodobieństw testow ych otrzym a­ n y c h w w yniku zastosowania tradycyjnego testu f-Studenta. Testow anie wie­ lo k ro tn e oparte na repróbkow aniu (np. W estfall i Young, 1993) wykorzystuje

em piryczną strukturę danych, a korzyść ze stosow ania tej techniki jest szcze­ gólnie widoczna w przypadku silnych w ew nętrznych korelacji w zbiorze da­ nych. W ykorzystanie repróbkow ania w testow aniu w ielokrotnym propagują na przykład Westfall i Young (1993) oraz Bejamini i wsp. (2005). M etody te nie są jednak pow szechnie dostępne w pakietach statystycznych, co u tru d n ia ich praktyczne wykorzystanie.

Kontrola FDR stwarza możliwość kontroli efektu testowań wielokrotnych w tych dziedzinach, w których typowe badania empiryczne polegają na rozpatry­ waniu bardzo licznych rodzin wnioskowań. Znaczny konserwatyzm uniwersalnej procedury Yekutieliego-Benjaminiego mobilizuje do bardziej wnikliwych badań nad procedurą LSU. Rozważane są różne modyfikacje poprawiające m oc tej metody. Prowadzone są badania symulacyjne nad wymaganiami modelowymi procedury LSU, określającymi w jakich sytuacjach badawczych zapewni ona kontrolę FDR. W ostatnim czasie jedną z często rozważanych m etod poprawy mocy procedury LSU jest m etoda polegająca na wprowadzeniu dodatkowego etapu, którego zadaniem jest oszacowanie nieznanej liczby prawdziwych hipotez zerowych. W tym celu proponow ane jest wykorzystanie m etod graficznych, takich jak nieformalna metoda zaproponow ana przez T. Schwedera i E. Spj0tvolla (1982), czy też nawiązująca do niej procedura Y. Hochberga, Y. Benjaminiego (zob. np. Westfall i wsp., 1999).

Podsumowując, należy stwierdzić, że w badaniach ekonom icznych przyda­ tne mogą być zarówno procedury kontrolujące FWE, jak i FDR. Decyzja o dnoś­ nie tego, która z tych miar pow inna być kontrolow ana, należy do prowadzącego badania i jest zależna od wielu czynników. Przede wszystkim należy określić, czy w badaniach dopuszczany jest pewien niewielki procent błędnych odrzuceń. Jeśli tak, to w zamian zyskujemy zazwyczaj więcej istotnych statystycznie wyników. Przy interpretacji uzyskanych tą m etodą rezultatów należy jednak pamiętać o odsetku wyników błędnie uznanych za istotne. Z kolei kontrola FWE powoduje, że wykrywana jest często zbyt m ała część istotnych statystycznie zależności. A poniew aż dalszym badaniom zazwyczaj poddaw ane są jedynie istotne wyniki, przy jednoczesnym zignorow aniu rezultatów, przy których stwierdzono brak podstaw do odrzucenia, to w efekcie przy zastosowaniu procedur FWE utracić m ożem y ważne relacje. Zastosowanie procedur ko n tro lu ­ jących FDR pozwala uniknąć zachowawczej postaw y FWE przy zapew nieniu kontroli frakcji błędnych odrzuceń wśród wszystkich odrzuceń hipo tez zero­ wych na zadanym poziomie. I z pewnością jest to lepszym rozwiązaniem niż ignorowanie efektu wielokrotności testowania.

W arto na koniec podkreślić, że ignorow anie efektu wielokrotności prowadzi do wykrywania wielu zupełnie przypadkow ych zależności. Zależności takie są później często eksponowane w naukow ych, jak również popularnonauk o w y ch publikacjach jako ciekawe czy wręcz zdumiewające wyniki badań. To z kolei budzi sceptycyzm wobec m etod statystycznych, podczas gdy źródłem n iep o ro ­

zum ienia są niewłaściwie przeprowadzone badania, nieuwzględniające efektu testow ania wielokrotnego.

/ believe it [FDR] is one o f the cornerstones in the bridge that „multiple comparisons" can offer between traditional statistical thinking and modem problems in Data Mining and Bioinformatics. It is crucial for us to strengthen this bridge and widen it.

We should look for more such bridges, i f we w ant Statistics remain a vital and important player in the arena o f information sciences.6

BIBLIOGRAFIA

Bartosiewicz S. (red.) 1980. Metody ekonometryczne. Przykłady i zadania, PWE, Warszawa, 1980. Benjam ini Y., Hochberg Y. 1995. Controlling the False Discovery Rate: a Practical and Powerful

Approach to Multiple Testing, Journal of th e Royal Statistical Society, Ser. B 57, 1.

Benjam ini Y. 2001. False Discovery Rate in Large Multiplicity ProMmK;w w w .m ath.tau.ac.il/-yben- ja/Tem ple.ppt

Benjam ini Y., Yekuteli D. 2001. The Control o f the False Discovery Rate in Multiple Testing Under Dependency, Annals of Statistics 29.

Benjam ini Y., Kenigsberg E., Reiner A., Yekutieli D. 2005. FDR Adjustments o f Microarray Experi­ ments, w w w .m ath.tau.ac.il/-ybenja/Softw are/fdram e.pdf.

Denkowska S. 1999. Multiple Comparisons in Socio-Economic Research, Kiev National University of Economics, Economic an d Social Statistics in Transition, Proceedings of th e Ukrainian, Polish a n d Slovak Scientific Seminar (Kiev, 20-22 October, 1998), Kiev.

Denkowska S. 2005. Zastosowanie procedur testowań wielokrotnych opartych na uporządkowanych prawdopodobieństwach testowych do wydzielania jednorodnych podgrup wartości przeciętnych, Przegląd Statystyczny 52, 1.

Denkowska S. 2006a. M ultiple Testing in a Correlation Matrix, [w:] A Comparative Analysis o f the Socio-Economic Conseqences o f Transition Process in Central and Eastern European Countries, J. Pociecha (red.), Cracow University of Economics.

Denkowska S. 2006b, Monte Carlo analysis o f the effectiveness o f Multiple Comparison Procedures, 13th Slovak-Polish-Ukrainian Scientific Seminar in SvatE Jur , 7-10, N ovem ber 2006.

Denkowska S. 2007a. Modyfikacja metody analizy grafów, [w:] Klasyfikacja i analiza danych — teoria i zastosowania, Prace Naukowe AE 1169, Taksonomia 14, K. Jajuga, M. Walesiak (red.), Wy­ daw nictw o AE, Wrocław.

Denkowska S. 2007b. Testowanie wielokrotne przy weryfikacji ocen parametrów strukturalnych liniowego modelu ekonometrycznego, złożony do druku.

D enuit M., Scaillet O. 2004. Nonparametric tests for positive quadrant dependence, Journal of Financial Econometrics, 2004, 2, 422-450.

D om ański Cz. 1990. Testy statystyczne, PWN, Warszawa.

Domański Cz., Pruska K. 2000. Nieklasyczne metody statystyczne, PWE, Warszawa.

Grabiński T., W ydym us S., Zeliaś A. 1982. Metody doboru zmiennych w modelach ekonometrycznych, PWN, Warszawa.

Goryl A., Jędrzejczak Z., Kukuła K., Osiewalski J., Walkosz A. 2003. Wprowadzenie do ekonometrii w przykładach i zadaniach, PWN, Warszawa.

H ochberg Y., T am h an e A.C. 1987. Multiple Comparison Procedures, J o h n Wiley & Sons, NY, 1987. 6 Patrz: Y. Benjamini (2001).

Holland B., C openhaver M.D. 1987. An Improved Sequentially Rejective Bonferrotii Test Procedure, Biometrics 43, 417-423.

Holm S. 1979. A Simple Sequentially Rejective Test Procedure, Scandinavian Journal of Statistics, 6. Kot S.M. (red.) 1999. Analiza ekonometryczna kształtowania się płac w okresie transformacji, PWN,

Warszawa-Kraków.

Lehm ann E. 1966. Some Concepts o f Dependence, Annals of M athem atical Statistics, 37, 1137-1153. Miller R.G. 1981. Simultaneous Statistical Inference, Springer-Verlag, New York.

Schweder T., Spjotvoll E. 1982. Plots o f p-VaIues to Evaluate M any Tests Simultaneously, Biometrika 69, 3, 493-502.

Shaffer J.P. 1995. Multiple Hypothesis Testing, Annual Review of Psychology 46, 561-584.

Sokołowski A., Denkowska S. 2000. Testowanie wielokrotne w macierzy korelacji — eksjxryment symula­ cyjny, [w:] Materiały z X X X V Konferencji Statystyków, Ekonometryków i Matematyków Akademii Ekonomicznych Polski Południowej (Osieczany, 23-25 III 1999 r.), A. Zeliaś (red.), Kraków. Westfall P.H., Young S.S. 1993. Resampling Based Multiple Testing, Wiley, New York.

Westfall P.H., Tobias R.D., Rom D., W olfmger R.D., H ochberg Y. 1999. Multiple Comparisons and Multiple Tests, Using the SAS System, SAS Institute Inc.