Estymatory kwadratowej funkcji dyskryminacyjnej w przypadku specjalnych struktur macierzy kowariancji

W

P

(Szczecin)

Estymatory kwadratowej funkcji dyskryminacyjnej w przypadku specjalnych struktur macierzy kowariancji

(Praca wpłynęła do Redakcji 1985.03.27)

1. Wstęp. Załóżmy, że w populacji rc,- (i = 1, 2) wektor losowy Zf ma symetryczny rozkład normalny [8], tj. rozkład normalny z zerowym wekto- rem wartości oczekiwanych i macierzą kowariancji postaci

gdzie of jest wspólną wariancją składowych wektora losowego Z,, jest wspólnym współczynnikiem korelacji dla wszystkich par składowych wektora losowego Zh Ipxp jest macierzą jednostkową, a Epxp jest macierzą, której wszystkie elementy są jedynkami. Niech f (z) będzie funkcją gęstości wektora losowego Zf, i = 1, 2. Problem polega na znalezieniu estymatora kwadrato- wej funkcji dyskryminacyjnej postaci

W pracy [7] przedstawiony został estymator bayesowski funkcji f (z) dla i = l,2 . Podstawiając w miejsce nieznanych funkcji (z) i f 2 (z) ich odpo- wiednie estymatory, otrzymamy natychmiast estymator funkcji U (z).

W niniejszej pracy dyskutowany będzie semibayesowski estymator funkcji U (z) oraz estymator klasyczny tej funkcji, w przypadku gdy parametry <x,- i nie są znane.

2. Estymacja semibayesowska kwadratowej funkcji dyskryminacyjnej z symetrycznym rozkładem normalnym. Załóżmy, że Zijk jest k-tą obserwacją,

;-tej cechy z i-tej populacji, gdzie k = 1,..., j = 1,..., p; i = 1, 2. Wpro- wadźmy następujące oznaczenia:

(1)

£« = [(!-& )/ + &£]»

( 2 )

(3) k j

(4) Ar+ ^ = X ( I zl7fc)2 = pNi Sf [1 + (p - 1) r j , a = T zh a + h = ( l zj)2-

j j

( 5 )

Załóżmy dalej ([2], [7]), że łączny rozkład a priori parametrów <rt, pf ma następującą gęstość:

(6) g(ah Qi) oc {<r,(l-p.) [1+ ( p - 1)^,]}"

Niech T(z) będzie semibayesowskim estymatorem kwadratowej funkcji dys- kryminacyjnej U (z). Estymator ten znajdziemy jako wartość oczekiwaną funkcji U (z) [6] posthci

(7) U(z) = -1 , crf I l - p 2 1 1 -b(p— 1) p2 _ p ln—y -f- _ (p 1) ln . -1- _ In -I- 2^ a\ 2'y l - e , 2 l + ( p - l ) e ,

1 1

a — Qi

_<r|(l-p2) (Ti(l-Pi) _(1-P2)[1+(P-1)P2] 0-2 _________Qi_________

( l - P i ) [ l + ( p - l ) P i > i

względem łącznego rozkładu a posteriori parametrów c, i pf [3] dla i = 1, 2 lub (co jest równoważne) jako wartość oczekiwaną funkcji danej wzorem (8) l / W - i t o ? f + i ( p - l ) l n £ + a + b /1

2p \a2

1 \ | ( p - l ) a - b / 1___1 \

ai / 2 ^{p \02} e j

względem łącznego rozkładu a posteriori parametrów a,, 0, (i = 1, 2) określo- nych wzorami [2]

(9) [1 + (p- 1) p j of = a,-, (1 - pi) < t ? = 0,.

Wiadomo [7], że zmienne losowe af, są niezależne, a ich gęstości, tj.

(

10

1 2 Ni

P(«,\A„ Bi) = (2p)-?w‘- ^ tf i| )

i //V

a? * r , „2

exp 1 4 + M 2p af /

( U )

P{di\Ai, Bi) =

Z r ^ L exp 0?lp 1)JV, + 1E [i(p-l)iV i]

1 ( p - l ) Ą . - ą

2p 0t

dla i = l,2 , są gęstościami uogólnionego rozkładu gamma [5] postaci ( 12 ) /(*) = 0

r(pM exp( —Ax“)

dla x ^ 0

dla x > 0, ap > 0, k > 0.

L

1. Jeżeli zmienne losowe a f i O i mają uogólnione rozkłady gamma odpowiednio postaci (10) i (11), to istnieją wartości oczekiwane zmiennych losowych Ina,- i ł n przy czym

(13) E (In a,) = ln A^ Bl - js ( ~ oraz

(14) £(lnfl,) = ln(P~ 1)/4'~ 'g |- l/»

2 P dla i

l,2

r'(x) T~1 ^(x)).

Dowód. Znajdźmy najpierw drugą pochodną funkcji charakterystycznej zmiennej losowej Ina, w punkcie zero. Mamy

(P-I)N,- 2

ę(t) = E(ei,lna\

00

(*

aj-‘ P(ai|/li, BjjdcLi o

Aj + BjY 2P ) Stąd

<P"( 0) = 2^ l n d i ± ? i - A n ^

2 P < oo.

Wiadomo [1], [4], że jeśli funkcja charakterystyczna ę(t) zmiennej losowej X ma skończoną pochodną parzystą <p(2°(0), to istnieją momenty rzędów 1, 2 ,..., 21 zmiennej losowej X.

Z powyższego wynika, że istnieje wartość oczekiwana zmiennej losowej Ina,-. Ażeby uzyskać równość (13), wystarczy teraz zauważyć, że £(lna,-)

= < ^p '(0)/ ^j .

Podobnie można dowieść, że istnieje £(ln0,) i jest równa prawej stronie równości (14).

L

2. Jeżeli zmienna losowa X (12), to

( P

(15) £ (2 T 1) = ^ *

l p - 1 ’

ma uogólniony rozkład gamma postaci

gdy a = - 1 i p < 0, gdy a = 1 i p > 0.

Dowód. Zauważmy, że E(X 1) = £(|X l\). Wystarczy zatem wykazać

równość (15).

W przypadku gdy a = — 1 i p < O, mamy

£ ( * - ' > \ xP~2eA ~ i Podobnie można dowieść drugą część tezy.

Korzystając z lematu 2, otrzymujemy

dx r ( i - p )

xr(-P)

(16) E(ix f1) pNi

Ai + Bi

P A*

oraz

(17) E ie r 1) p(p-l)Ni

{p-\)A i-B i

Z lematu 1 i równości (16) i (17), przy uwzględnieniu związku (4) i związku postaci

(18) { p -\)A i-B i = p{p-\)NiSf{\-ri) wynika bezpośrednio następujące twierdzenie.

T

1. Dla ustalonej obserwacji z, semibayesowski estymator T(z) ma postać

(19) S22[ l+ ( P - l) r 2]

S ? [ l + ( p - l ) r 1] + - ( p - l ) l n S22( l - r 2) S K l - r J + a + b i 1

+ 2P [ S l[ l+ ( p - l) r 2]

1

Sl l l + ( p - l ) r j + ( p - l ) a - b

2 p

1 S l ( l - r 2)

1

5 f ( l - r 1) + 2pln *2 Ni + K,

gdzie Si, r{ (określone wzorami (3) i (4)) są estymatorami parametrów odpowiednio dla i = 1, 2 oraz

(20) 1 p - 1 i , r i i fi 1

] + 2 \* i to l “a 1

1 __ _ -•A 2(P-l)^2 Wyniki w postaci wzoru (19) uzyskali również autorzy pracy [2]. Ponieważ funkcję daną wzorem (7) można zapisać w postaci (8), więc łatwo dostrzec, że p lim T{z) = U(z). Zatem estymator T(z) jest estymatorem zgodnym

N l t N 2 -*00

kwadratowej funkcji dyskryminacyjnej U (z).

Zauważmy, że iloczyn prawych stron równości (10) i (11) jest proporcjo-

nalny do iloczynu gęstości uogólnionych rozkładów gamma zmiennych loso-

wych At + Bi i (p— l)Aj — Bi. Wynika stąd, że zmienne te są niezależne o

( 21 ) P(At + Bt |af) (Ą + Bt)JN‘

T--- exp

(2pa,)2 Ni r(jN i + l) 2pat /

(22) P H p - l) A t- B tm ^ [ ( p - l ) ^ - t f rl)yi (2 p ą )^ -1)iy‘+1r [ i ( p - i ) N (.+ i]

xexp ( p - lJ Ą - Ą 2 p6t dla i = l,2 .

Jeśli zapiszemy funkcję T(z) daną wzorem (19) w postaci (23) 7 » = ^ l n / ^ + -(P -I)ln 7 ---rr~r— + ^a 2+ b 2 1

/Ij+ B , 2U a + b 1

( p - lM ,- B

pN2 pNi

2 P , (P-1)

/12 "ł"

a — b

B2 A x -f- Bx p { p - l) N 2 2p { p - l ) A 2- B 2

+

Pip — 1) N i

B i + K, to wyliczenie wartości oczekiwanej tej funkcji sprowadzi się do wyliczenia wartości oczekiwanych funkcji zmiennych Ą + fl, oraz (p — 1 )^ — Bh tj. do wyliczenia wartości wyrażeń £ [ln (Ą-+ £,)] i E [ln[(p- 1)Ą--£,•]} oraz

£[(Ą + B,)-1] i £ j[(p — i)At — B { ] ~ (o ile istnieją), względem rozkła- dów prawdopodobieństwa zmiennych losowych odpowiednio Ax + Bi oraz (P-1 )Ai- B i.

Można wykazać, że zachodzą następujące związki:

(24) E [ln (Ą + Ą)] = ln (2pa£) + <A (**, + 1), (25) - E {ln [(p — 1) Ą — Bi']} = ln (2p0,) -l- \/ j Q|(p — 1) Nt + 1],

(26) E [(Ą + Bi)~x] = (pNi a,)-1,

(27) E { [ ( p - l ) ^ - Ą ] - 1} = [pfp-DiV.-fl,]-1 (did i = 1, 2) oraz

(28) ^ ( x + 1) = ^ (*) + -• x

Stąd (dla ustalonej obserwacji z) wartość oczekiwana estymatora kwadrato- wej funkcji dyskryminacyjnej T(z) będzie postaci

( 29 ) ElT{z)] = ^hi —+ i( p - l) ln ^ - + 2 a, 2 0X a + b

2p \a2 «i

Z powyższej równości wynika, że estymator T{z) jest estymatorem obciążo- nym kwadratowej funkcji dyskryminacyjnej U (z) postaci (8) lub (7).

3. Estymacja klasyczna kwadratowej funkcji dyskryminacyjnej z symetry- cznym rozkładem normalnym. Stosując podejście klasyczne do estymacji, można postąpić w dwojaki sposób.

Estymować najpierw funkcję gęstości, a następnie znaleźć estymator kwadratowej funkcji dyskryminacyjnej jako iloraz wyestymowanych funkcyj gęstości lub estymować bezpośrednio kwadratową funkcję dyskryminacyjną.

Oczywiście, w przypadku estymacji klasycznej (w przeciwieństwie do estymacji bayesowskiej i semibayesowskiej) estymator funkcji dyskryminacyj- nej nie zmieni się.

Oznaczmy przez V(z) estymator klasyczny kwadratowej funkcji dyskrymi- nacyjnej U (z) postaci (7) lub (8). Jeśli w funkcji (7) nieznane parametry ah (i = 1, 2) zastąpimy ich odpowiednimi estymatorami S, i r, określonymi przez równości (3) i (4), to otrzymamy klasyczny estymator funkcji U (z) postaci

Si 1

(30) V(z) = - p \ n -~2 Si 2 + - { p - 1) ln + 2 1

l - r 2 1ln 1+^ ~ 1^ 2 1 -r , 2 n i+ ( p - l) r ,

1 1

S22( l - r2) S U l-r ,) a —

( l - r 2)[l+ (p —l)r2]Sf (l-r.IC l+ fp -D rJ S ? r i Korzystając z tożsamości postaci

(31) a r( (a + b)

(a + b )l

(p—l)a — b a + b 1 -r, + - l+ ( p - l) r f 1

1 -r, ( l- r ,) [ l + ( p - l) r (] ~ p otrzymujemy estymator

(32) - 1 ln + 4 ( P - 1)

(i = 1, 2),

2 l l + ( p ~ l ) r J S i 2' (1 -r,)S ?

a + b j 1 1

+ ^ ' | [ l + ( p - l ) r 2] S i _ [ l+ ( p - l ) l-1] S f !' + + { p - l ) a - b

2 P

1 1

|_ (l-r2)S22 (1 -rJ S f Zauważmy, że zachodzi związek

(33) T ( z ) - Q p ln ^ + K j= F ( z ) ,

torem semibayesowskim kwadratowej funkcji dyskryminacyjnej U (z). Powyż- szy związek implikuje zgodność i obciążoność estymatora F(z), przy czym (34) £[K(z)] = ]-\n — + U p - \ ) \ n ~ + a^ i - --- |+

2 2 vx 2p \a2 aj

( p - l)a -fr / 1___1_\ 1

2 \e 2 e j 2 ⁺

1 ( p - l ) N 2 1 , N t „ / 1 1

+ 2 P l n N 2 + 2 \ N 2 N ,

gdzie a, i (i = 1,2) określone są przez równości (9).

Uwaga. Można łatwo znaleźć estymator nieobciążony funkcji U (z) po- staci

(35, u . (z) >lnS ^ ^ + l ( p - l , , n § M +

+ -

2 Sf [l+ C p -ljr,] ' 2 a + b i 1

SU 1 - r J

2p (522[ l+ ( p - l) r 2] S j[ l+ ( p - l) r 1]

+ (p — l)a — b 2 p

1 1

S22( l - r 2) S?( 1 -r,)

1

+ 2

I"1 ri

-2{p- 1)N2 1 , N2 „ / 1 1

-f-p ln —- + 21---

2^ \Nj N2

«A

+ +

N i +

Literatura cytowana

[1] H. C ram er (1958), Metody matematyczne w statystyce, PWN, Warszawa.

[2] M. M. Desu, S. G eisser (1973), Methods and applications of equalmean discrimination, In:

Discriminant Analysis and Applications, T. Cacoullos, Academic Press, New York, 139-159.

[3] T. S. F erg u so n (1967), Mathematical Statistics: A Decision Theoretic Approach, Academic Press. New York.

[4] M. F isz (1967), Rachunek prawdopodobieństwa i statystyka matematyczna, PWN, Warszawa.

[5] T. G e rste n k o rn , T. Ś ro d k a (1983), Kombinatoryka i rachunek prawdopodobieństwa, PWN, Warszawa.

[6] W. P asew icz (1978), Klasyfikacja wielowymiarowych obserwacji w przypadku równych wektorów średnich, Ósme Colloquium Metodologiczne z Agro-Biometrii, PAN, 388-395.

[7] W. P asew icz (1985), Bayesowska metoda dyskryminacyjna w przypadku specjalnej struktury macierzy kowariancji, Matematyka Stosowana 26, 119-126.

[8] C. R. Rao (1965), Linear Statistical Inference and Its Applications, New York.