O efektywności Bahadura pewnych testów niezależności*(Praca wpłynęła do Redakcji 8.03.1983)

ROCZNIKI POLSKIEGO TOWARZYSTWA MATEMATYCZNEGO Seria III: MATEMATYKA STOSOWANA XXV (1984)

T e r e s a L e d w in a Wrocław

O efektywności Bahadura pewnych testów niezależności*

(Praca wpłynęła do R edakcji 8.03.1983)

i. wsTęp

Wiadomo, że w* wielu problemach testowania hipotez porównywa-nie mocy testów przy ustalonej wielkości próby jest bardzo trudne, a często wręcz praktycznie niewykonalne. W tego typu zagadnieniach podejście asymptotyczne, przy wielkości próby zmierzającej do nieskończoności, bywa często użyteczne.

W tej pracy omawiamy pojęcie asymptotycznej relatywnej efektywności w sensie Bahadura, która służy do porównywania funkcji mocy dwóch testów przy ustalonej alternatywie i licz-bie prób zmierzającej do nieskończoności. Pojęcie to, będące formalizacją pewnych pomysłów Cochrana [ 9 ]» zdefiniował Baha- dur [ 2 ] w 1960 roku. Literatura dotycząca efektywności Baha-dura jest bardzo obszerna. W tej pracy przedstawimy niewielką * Rozszerzona wersja referatu wygłoszonego na IX Konferencji ze Statystyki, Błażejewko, grudzień 1982.

6 T.LEDWINA część problemów związanych z tym pojęciem i jego zastosowa-niami .

Plan pracy jest następująoy. V rozdziale pierwszym omawia-my głównie definicję i pewne sposoby wyznaozania efektywności Bahadura. Podajemy również definicję asymptotycznej relatyw-nej efektywnośoi w sensie Pitmana i Hodgesa-Lehmanna, V roz-dziale drugim przedstawiamy krótko dwa podejścia do wyznacza-nia prawdopodobieństw wielkich odchyleń, które pełnią kluczo-wą rolę przy wyznaczaniu efektywności Bahadura, V rozdziale trzecim, na przykładzie trzech testów niezależności, omawiamy pokrótce zastosowanie wyników przedstawionych w dwóch pierw-szych rozdziałach do praktycznego wyznaczania asymptotycznej relatywnej efektywności w sensie Bahadura,

Pierwsze dwa rozdziały tej pracy oparte są częściowo na przeglądowej pracy Groenebooma i Oosterhoffa [11],

2. MIARY EFEKTYWNOŚCI

Niech X=(Xj,X^,•,•) będzie ciągiem niezależnych zmiennych lo-sowych, z których każda ma rozkład P , Q> e © , gdzie Q) jest_'O dowolnym zbiorem parametrów. Niech P^ oznacza rozkład X. Rozważmy problem testowania

H;

®0

przeciwko

O EFEKTYWNOŚCI BAHADURA PEWNYCH TESTÓW NIEZALEŻNOŚCI 7 Niech t będzie statystyką testową dla testowania H przeciwko alternatywie K y będącą funkcją n pierwszych składowych X* Przypuśćmy dla ustalenia uwagi, te hipoteza H jest odrzucana, gdy tQ przyjmuje zbyt dute wartości. Wówczas funkcja mocy te-go testu ma postać

a rozmiar jest zdefiniowany jako sup P©, ° ) •

Dla

0

1

Oznaczmy

< V jb . 9 0 = V cn >•

Wówczas cXn ( ę, t & ) Jest najmniejszym rozmiarem jednostron-nego testu, dla którego moc przy alternatywie ©* wynosi co najmniej .

8 T.LEDWIN A Nt(a, (bt

©0

4

Zgodnie z tą definicją, Nt (a,j

3

0

Przypuśćmy teraz, że dla testowania H przeciwko K mamy dwa ciągi statystyk {tQ } i {tn }. Wówczas relatywna efektywność {*n ) względem {tn ^ jest zdefiniowana jako

°t,t (-CXt » ^ =Nt ( [> Nt (a»

P

1

6

Powyższa miara efektywności ma dwie zasadnicze wady* Po pierwsze, jej wyznaczenie jest na ogól bardzo trudne. Po dru-gie , jej zależność od trzech argumentów czyni porównywanie testów dość skomplikowanym. W związku z tym rozważano rozma-ite modyfikacje tej definicji. Przytoczymy tu trzy, których cechą wspólną jest to, że rozmiary prób N^.

( ( * ,£ ,© 0

Nt P »e')* występujące w definioji ei,t ,©), zmierzają do nieskończoności. W poniższy oh definicjach zakładamy, że wszystkie występujące w nich granice istnieją.

(1) Niech € <

8

topo-logii na ® ). Wówczas ^

lim er . (oc» (b »©')» 0 + (X c £ 4. 1, U

O EFEKTYWNOŚCI BAHADURA PEWNYCH TESTÓW NIEZALEŻNYCH 9 nazywamy efektywnością Pitmana ciąga {tn} względem

(2) Efektywnością Hodgesa-Lehmanna ciągu {tn} względem {tn} nazywamy

lim e r . ( ot # ft t ^ » 0 4 DC < 1, e-e®.,

(bt1 J 1

(3) Efektywnośoią Bahadura ciągu {t^j względem {tQ] nazywamy

j-lim e; * (a» foi®1) »

0

1

oao *

1

Tak zdefiniowane efektywności są łatwiejsze do wyznacze-nia niż e£ ^ (OL, jb f00. Ponadto, ponieważ efektywność Pitmana w wielu przypadkach nie zależy od CC lub /b , a efektywność Bahadura na ogół nie zależy od (b (por* twierdzenie 2*2), ich interpretacja jest prostsza niż interpretacja eę ^ ( CL, (

3

6

Zanim przejdziemy do omówienia metod wyznaczania efek-tywności Bahadura, zanotujmy, że efektywność Pitmana została wprowadzona w roku 19^9 w pracy [25], a efektywność Hodgesa- -Lehmanna w roku 1956 w pracy [15 J• Szczegóły dotyczące wyz-naczania tyoh efektywności można znaleźć między innymi w książce Serflinga [29 ]. Ponieważ,efektywność Hodgesa-Lehmanna

jest ściśle związana z efektywnością Chernoffa, poleoamy rów-nież uwadze Czytelnika pracę Kallenberga [201.

10 T .LEDVINA TWIERDZENIE 2.1. Jeżeli olą; statystyk testówyoh {tQ]

spełnia

lim (-l/n; log a n ( (i,O') = ©t ( >

0

n->oo

dla pewnej funkcji o^ ( fbf&) i

0

1

Nt (a * A /{-(l°SCO/©t ( fit*)] --> 1 przy cti o.

Oznaozmy efektywność Bahadura ciągu {tn } względem {t B

przez eę ^ Na mocy twierdzenia

2 .1

WNIOSEK 2.1. Dla {tn } i {*n } spełniających założenia twierdzenia

2 .1

e f t = ct ^

P

P

0

1

Dla t R zdefiniujmy

O EFEKTYWNOŚCI BAHADURA PEWNYCH TESTÓW NIEZALEŻNOŚCI 11 gdżie tn (X) osmoza "zaobserwowaną" wartość statystyki tn# Zmienna losowa Lq nosi nazwę poziomu osiąganego przez statys-tykę testową*

TWIERDZENIE 2*2* Jeteli dla

6

dla pewnej funkcji c(

0')>0

lim (-l/n;iog OC (p,©*) = c (fr) dla wszystkich n -» eo

O * f> <

1

twierdzenia

2.2

(60

ef ^ ( p ,O') = c (&)/c(S>) dla wszystkich O < p <

1

[2

Efektywne kryterium wyznaczania nachylenia w sensie Baha-dura podaje ponitsze twierdzenie.

12 T. LED WINA (b) (-1/n) log (1-Gn ( tat))— » f Ct ) dla każdego t e R,

gdzie b jest dowolną funkoją o wartościach rzeczywis-tych, a f jest nieujemną funkcją rzeczywistą, ciągłą w t = b(©'), to

( -i/n)log — ■> fCbCG)) według P^.

Przypomnijmy, te G (t)= 1- sup x _{t) i zauważmy, te}

n G e

w wielu problemach testowania P„(t ^ t) nie zalety od G przy_u G€.@q, V tych przyi>adkach założenie Cb) twierdzenia

2.3

lim ( -l/n )log P^ (tn > t/n ) a f (t ), GQ & ©Q. n -> oo

0

Przypomnijmy również, te przy dużych n zdarzenia typu { Sn ^ a^» gdzie {S ] jest ciągiem zmiennych losowych, a {an j - ciągiem liczbowym, są nazywane wielkimi odchyleniami, jeżeli istnieje granica

lim (l/n)log Pr(Sn ^ an ) n -> oo

i granica ta należy do (- oo f0 ).

Powyższe uwagi wraz z twierdzeniem 2.3 uwypuklają rolę prawdopodobieństw wielkioh odchyleń przy wyznaczaniu efektyw-ności Bahadura. Wyznaczaniu prawdopodobieństw wielkich

O EFEKTYWNOŚCI BAHADURA PEWNYCH TESTÓW NIEZALEŻNOŚCI 13 3. WYZNACZANIE PRAWDOPODOBIEŃSTW WIELKICH ODCHYLEŃ

W rozdziale tym omówimy krótko dwa podejścia do wyznaczania prawdopodobieństw wielkich odchyleń: podejście poprzez funk-cje tworzące oraz przez miary empiryczne.

Odnośnie podejścia poprzez funkcje tworzące zacytujemy tu jedynie bardzo znany wynik Chernoffa [8] z 1952 roku.

TWIERDZENIE 3.1. Niech X^,Xg,... będą niezależnymi zmien-nymi losowymi o wartościach w R, mającymi jednakowe rozkłady. Wówczas dla każdego t e R zachodzi

ji tx

lim d/n)log Pr (Cl/n) ^ t)= inf {log(Ee )-'tt}.

n -*oo i=t Z >■ 0

Twierdzenie to było uogólniane przez wielu autorów na średnie zmiennych losowych o wartościach w rozmaitych prze-strzeniach. Najogólniejszą pracą w tym kierunku jest praca Ba-hadura i Zabella [5]» gdzie Czytelnik znajdzie również rozleg-łą bibliografię dotyczącą tego podejścia.

Innego rodzaju uogólnieniem wyniku Chernoffa są prace Plachky'ego, Steinebacha oraz Sieversa (porównaj [26J, [27 ]# [30]), które wiążą prawdopodobieństwa wielkich odchyleń dla dowolnych statystyk o wartościach rzeczywistych z pewnymi wiel-kościami wyznaczonymi przez funkcję tworzącą.

z pracy Groenebooma, Oosterhoffa i Ruymgaarta [12], które u- ogólnia większość uzyskanych dotychczas rezultatów w tej dzie-dzinie (między innymi prace Borowkowa [

7

Przed podaniem tego twierdzenia wprowadzimy dodatkowe

oznaczenia.

Niech S będzie topologiczną przestrzenią Ifeusdorffa i niech 3 będzie 6 -ciałem zbiorów borelowskich w S. Niech A

oznacza zbiór wszystkich miar probabilistyoznyoh na cH)a V zbio-rze A wprowadzamy topologię Z w ten sposób, aby zbieżność ciągu miar { z A do miary probabilistycznej Qe A była równoważna zbieżności

JfdO -- * JfdQ

s s

dla każdej ograniczonej i ćB-mierzalnej funkcji f : S — » R. Dla miar P , Q e A informacja Kullbaoka-Leiblera K Q,P jest zdefiniowana jako

T, LED WIN A

K(Q,P) = j(dQ/dP)log(dQ/dP), S jeżeli Q*<P,

+

00

K (£2 , P ) = inf K(Q,P). Qef

2

ozna-O EFEKTYWNozna-OŚCI BAHADURA PEWNYCH TESTÓW NIEZALEŻNozna-OŚCI 15

A /v

ozona przez PQ . Przypomnijmy, że dla każdego B e ^ , P n( B ) jest zdefiniowana ja*ko frakcja tych Xj, 1 ^ J ś n, które przyjęły wartość w zbiorze B*

Ponadto, dla odwzorowania T : A ■ ■ ■> R , gdzie R oznacza uzwarconą prostą, zdefiniujmy

i?t = {Q € A : T(Q )>. tj.

TWIERDZENIE 3*2* Niech P e A i niech T : A ■ ■ ■» R będzie funkcją, która jest T-ciągła w każdym punkcie Qe T = s {M e A : K(M,P) +

00

t — K (5?^,P), t e R, jest prawostronnie ciągła w t s r, a {un j jest ciągiem liczb rzeczywistych takich, że lim u s _{— n}

0

n->oo

lim(l/n)logPr(T(Pn ) ^ r+un ) 3 - K ( P r ,P).

n-+oo

Jak wspomnieliśmy wyżej, z twierdzenia 3*2 można wyprowa-dzić większość wcześniejszych rezultatów dotyozącyoh wielkich odohyleń. Wiele przykładów zastosowania twierdzenia

3*2

[18

3

2

Wood-• I

16 T.LEDWINA Drugą ważną klasą statystyk (nie ujętą w przykładach w [

1 2

W rozdziale tym przedstawimy w wielkim skrócie wyznaczanie nachylenia w sensie Bahadura testów niezależności Spearmana, Kendalla oraz testu opartego na statystyce wprowadzonej w pra-cy Kowalczyk i Ledwiny [21]* Wszystkie trzy testy są testami rangowymi i służą do testowania niezależności przeciwko dodat-niej zależności* Pojęcie dodatdodat-niej zależności zmiennych loso-wych X i Y bywa dość szeroko rozumiane* W tej pracy mówiąc o dodatniej zależności będziemy mieć zawsze na myśli dodatnią kwadrantową zależność, która oznacza, że

O EFEKTYWNOŚCI BAHADURA PEWNYCH TESTÓW NIEZALEŻNOŚCI 17 odpowiednio•

Statystyka Spearmana zdefiniowana jest następująoo: t® = (l2/n(n+1) _n

₁₌₁

₁

i przy założeniu niezależności X i Y ma asymptotyczny rozkład N (0,

1

2

3

b(H;S) a 12jjF(x)G(y)dH(x,y) - 3.

Ponadto, z ogólnych twierdzeń, dotyczących efektywnego wyzna-czania prawdopodobieństw wielkich odchyleń dla tzw. liniowych statystyk rangowych, udowodnionych w pracy Woodwortha [32], wynika, że funkcja f(t), występująca w punkcie (b) twierdzenia

2

3

fs (t) a *

5

2

19

Stąd natychmiast otrzymujemy, że nachylenie w sensie Bahadura statystyki Spearmana, przy alternatywnym rozkładzie H, ma po-stać

2c(H;S) a 2fg(b(HjS); .

18 T.LEDWINA Statystyka Kendalla była roznatana we wcześniejszej pracy Wood- wortha [

25

*n “

(

3/l/2n(n-1) (

n+

)) L H

s g n ^ -S ^ )

1 przy niezależności X i T jej rozkład zbiega do rozkładu 1f(0f

1

b(H;K) = 4j|HCx,y)dH(xfy;-1, a funkcja f wyraża się wzorem

fK (t) = (

1

2

1

2 )1

Ł- 1

1

Tablice funkcji można znaleźć w pracach Voodwortha [31]» [32].

Rozważmy teraz statystykę

t* = sup (

1

*4

<1

1=1

1

1

O EFEKTYWNOŚCI BAHADURA PEWNYCH TESTÓW NIEZALEŻNOŚCI 19 przez Kowalczyk 1 Pieszezyńską [22 J• Z pracy Bednarskiego i Ledwiny

[6

2

lim Pr ( V?2t+ < x ) = 1 - e ” X , _n x>0. n -» oo

W pracy Ledwiny [23] wykazano, że przy alternatywnym rozkła-dzie H, funkcja b przyjmuje postać

b(H,T+) a sup jJ’F(x)(p-l('G(y)^ p)) dH(x,y).

0

<1

W tej samej pracy wyprowadzono prawdopodobieństwa wielkich od-chyleń dla t* w analogiczny sposób jak w [4] i C13J• Tutaj po-dajemy tylko najważniejsze kroki tego rozumowania* Ustalmy najpierw pc (

0

1

t^P ) = (1/n3/2) £ R.(p-I(S ś [np])). i

=1

Wyznaczymy dla tej statystyki granicę prawdopodobieństw wiel-kich odchyleń, tzn*

—lim(1/n)logP^ (tn (p)^ tVn ),

n

00

0

20 T.LEDWINA Co więcej, okazuje się, że powyższa statystyka spełnia założę nia pracy Woodwortha [32] (por, również Hwang [

18

-lim (l/nJlogP^ Ctn (p;!i t Vn ) = f(t;p ) ,

n->oo O

Korzystając z wyników Woodwortha [ 32], po elementarnych obli-czeniach otrzymujemy jawną postać funkcji f(t;p):

f(t;p) =

= 6t2( { p ( i - p ) } " 1+ i . 2 t 2( { p ( i - p ) } ’ 1- i ; / f p ( i - p ) } 2+ . . . ) . Stosując teraz analogiczne rozumowanie jak przy wyprowa-dzaniu prawdopodobieństw wielkich odchyleń dla statystyki Kołmogorowa-Smirnowa (por, [4] lub [13])# uzyskujemy

-lim (l/n)logPft< ( sup t (p)^t/n) = inf f(t;p) , n —>co O

0

<1

0

<1

gdzie oczywiście sup t (p) = t*. Ponieważ inf f(t;p)~

0

<1

~ f(t;l/2), gdy tłO, przeto funkcja f występująca w punkcie (b) twierdzenia

2,3

f (t)~24t2 +

345

6

statys-O EFEKTYWNstatys-OŚCI BAHADURA PEWNYCH TESTÓW NIEZALEŻNstatys-OŚCI 21 tyk SpBarmana i Kendalla przy różnych alternatywach znajdują się w pracy Ledwiny [

23

Na zakończenie przytoczymy dwa przykłady ze wspomnianej pracy dotyczące efektywności Bahadura tych testów przy nastę-pujących rozkładach alternatywnych.

Rozkład Woodwortha o dystrybuancie

Hm,z(X »y) = F <x)G(y> {l+z(Fm(x)-l)(Gm(y)-1)} ,

2

—

1

4

1

który zdefiniowano w pracy [311* Zauważmy, że dla każdego m i

0

1

[24].

Rozkład Farliego [10], zdefiniowany poprzez gęstość

%

hz(x,y) = f(x)g(y) { 1+zsgn(F(x;-l/2)(G(y)-1/2 ) } , I ® I ś

1

Korzystając ze wzorów przytoczonych wyżej, po elementar-nych rachunkach otrzymujemy

22 T.LEDVINA b ^Hm,z»S) =

3

2

))2

b(Hm ^z,T+ ) = m

2

2

2

1

Korzystając z odpowiednich tablic oraz postaci fgCt) i f (t), otrzymujemy dane zebrane w tabeli 1*. Dla skrócenia za-

T

pisów c(Hm z»*) oznaczono przez c(m,z, • )• Tabela 1 m z c(m,z,K} c( m,z,S) c(ra.z.K) c(m,z,T+; c(m.z.S; c(m,z,T"ł)

6

0250

0500

1.2 10

1000

1 .2 1 1

2

.0500

.921

1.166

.2500

1.2 72

1

0500

1

,000

Dla rozkładu Farliego mamy

b(Hz,K) = z/2f b(Hz,S) = 3z/4, b(Hz,T+ ) = z/

8

O EFEKTYWNOŚCI BAHADURA PEWNYCH TESTÓW NIEZALEŻNOŚCI 23 Tabela 2 z c(z,K) c(z,K) c(z,S) e _c(z,S)

₀

.994

[1 ] I.G.A b r a h a m s o n , The exact Bahadur efficiencies for the Kolmogorov-Smirnov and Kuiper one- and two-sample .ątatistica. Ann.Math.Statist. 38 (1967), l475-1**90.

[Z ] R.R.B a h a d u r, Stochastic comparison of testa, ibidem 31 (1960), 276-295.

[3 ] 1 ■ 1 , Ratea of convergenoe of estimates and test atatiatica, ibidem

38

[

4

[5] R.R.B a h a d u r, S.L.Z a b e 1 1, Large deviations of the aample mean in generał yector apacea. Ann.Frobability 7 (1979), 587-621.

I.6] T.B e d n a r s k i , T.L e d w i n a, Weak eonvergenoe of an empirical monotonie dependence ftinction under dependence. Probability and Mathematical Statiatica ( w druku).

T.LBDWINA

walks and large deviations in function spaces, Theor. Probability Appl. 12 (1967), 635-654 (w j.rosyjskim). T

8

for tests of a hypothesis baaed on the sum of obseryą- tions, Ann.Math.Statist. 23 (1952), 491-507.

[9J W.G.C o c h r a n , The goodness of fit test, ibidem 23 (1952), 315-345.

[

10

Eli] P.G r o e n e b o o m , J.O o s t e r h o f f , Bahadur efficiency and probabilities of large deviations. Statistica Neerlandica 31 (1977)» 1~24.

[12] P.G r o e n e b o o m , J.O o s t e r h o f f, F.H.

R u y m g a a r t , Large deviation theorems for empirical probability measures. Ann.Probability 7 (1979), 553-566. [13] P.G r o e n e b o o m , G.R.S h o r a c k, Large

deyiations of goodness of fit statistics and linear oombinations of order statistics, Ann.Probability 9 (

19 8 1

[14] A.B.H o a d 1 e y, On the probability of large deyiations of funotions of several empirical cdf*st Ann.Math.Statist. 38 (1967), 360-381.

[15J J.L.H o d g e s, Jr., B.L.L e h m a n n, The efficiency of somę non-parametric competitors of the t-test, Ann. Matn.Statist. 27 (1956), 324-335.

O EFEKTYWNOŚCI BAHADURA PEWNYCH TESTÓW NIEZALEŻNOŚCI 25 nrultinominal distributions, Ann.Math.Statist•

36

[17] — "•■■■ On probabilities of large deviations, Proc.Fifth Berkeley Symp.Math.Stat.Prob. 1 (1967), 203-219*

[

18

Chlnese Journal of Mathematics 5 (1977), 27-42. [19] T.Y.H w a n g, J.H.K 1 o t z, Bahadur efficlency of

linear rank statistics for scalę alternativea. Ann. Statist. 3 (1975), 947-954.

[20] W.K a l l e n b e r g , Chernoff efficiency and deficiency. Ann.Statist. 10 (1982), 583-594.

[21] T.K o w a l c z y k , T.L e d w i n a, Some properties of chosen grade parameters and their rank counterparts. Math.Operationsforsch.Statist.Ser.Statistics 13 (1982),

547

553

[22] T.K o w a l c z y k , E.P l e s z c z y ń s k a ,

Monotonie dependence functlons of bivariate distributions. Ann.Statist. 5 (1977), 1221-1227.

[23] T.L e d w i n a, Large deviations and Bahadur slopes of some rank tests of independence. Technical Report No.192 (1983), Department of Statistics, Stanford University.

[24] D.M o r g e n s t e r n , Einfache Bieispiel8 zweidimensi Oił- aler Yerteilungen. Mitt•Math.Statist. 8 (1956), 234-235* [25] E.J.G.P i t m a n, Lecture notes on nonparametric

statistical inference, (1949), unpublished.

2 6 T.LEDWINA £27J D.P 1 a o h k y, J.S t e i n e b a c h , A theorem about

probabilitiea of large deyiations with an ąpplication to gueuing theory, Period•Math.Hungar.

6

random yariables, Math.Sb. 42 (1957), 11-44 (w j.rosyj- skim).

[29] R.J.S e r f 1 i n g, Approximątion Theorems of Mathema- tical Statistics. ¥iley, New York 1980.

[30] G.L.S i e v e r s, On the probability of large deyia-tions and exact slopes, Ann.Math.Statist. 40 (1969)*

1908

-

.

[31] G.G.¥ o o d w o r t h. On the asymptotic theory of tests of independence based on bivariate layer ranks, Technical Report No.75 (1966), Department of Statistics, University of Minnesota.