kładu a priori, to znaczy przy rosnącej liczności próby rozkład a poste­

Seria I: PRACE MATEMATYCZNE III (1959)

K. U

(Wrocław)

Twierdzenie graniczne o estymacji bayesowskiej

Przypuśćmy, że rozkład interesującej nas cechy w populacji zależy od parametru, którego wartość nie jest nam znana. Klasyczna (baye- sowska) metoda wyznaczenia rozkładu prawdopodobieństwa parametru (zwanego rozkładem, a posteriori), gdy znane są wartości badanej cechy w próbce wylosowanej z populacji, posługuje się rozkładem a priori tego parametru. Przyjmowanie arbitralne jakiegoś rozkładu za rozkład a priori (na przykład rozkładu jednostajnego — reguła Bayesa) spotyka się z namiętną krytyką wielu uczonych. W niniejszej pracy dowodzimy, że rozkład a posteriori oparty na dużej próbie jest nieczuły na wybór roz­

kładu a priori, to znaczy przy rosnącej liczności próby rozkład a poste­

riori dąży, niezależnie od wyboru rozkładu a priori, do rozkładu skupio­

nego w punkcie a0, gdzie a0 jest wartością parametru charakteryzującego rozkład cechy w populacji, z której pochodzą próby. W przypadku gdy badana cecha ma rozkład normalny a parametr jest wartością oczeki­

waną lub dyspersją, rezultat ten wynika ze znanych twierdzeń dają­

cych asymptotykę rozkładów a posteriori (por. [2], §63). Asympto­

tyczne oszacowanie rozkładów a posteriori za pomocą entropii jest podane w notce [3]. I.

I. №ech f(x, a) ( — o o ^ x 1 < x < x 2 ^ co) będzie gęstością zmien­

nej losowej X(co) zależną od parametru a ( —co < аг < a < « 2 < co).

Przyjmijmy, że zachodzi nierówność

(I) f{x, a) > 0 (xL < x < x2; at < a < a j.

Wówczas dystrybuanta a posteriori parametru a oparta na próbie

<Хг(ш), X 2( oj ), ..., X n(co)} jest określona wzorem

U П

f a)dO(a)

(1) Fn(u, co) = --- ,

/ f ] f(Xk(co),a)dG(a)

aj k—1

19 2 К . U r b a n i k

gdzie G(a) jest dystrybuantą a priori parametru a oraz G(a2 — 0) —

— O^cti + O) = 1 (x). Oczywiście, dystrybuanta a posteriori jest zmienną losową.

Niech a0 będzie prawdziwą wartością parametru zmiennej losowej X(a>). Powstaje pytanie: przy jakich warunkach ciąg dystrybuant a poste­

riori dąży do dystrybuanty stałej a0, to znaczy

0 dla u < a0,

(2) lim Fn(u, co) =

П— >OQ [ 1 dla u > a0.

Następujący przykład pokazuje,, że jeżeli próby ( X x(co), X 2(co), ...

. . . , X n(co)) nie dają żadnej informacji o parametrze a, to relacja (2) nie zachodzi. Istotnie, przyjmijmy f(x, a) — /„(a?). Wówczas

F n(u, co) — G(u) (n = 1 , 2 , . . . ) . Przyjmujemy więc założenie

(II) przy każdym n istnieje nieobciążony, regularny i efektywny esty­

mator «п = Щь[Хх{оо) , X 2(co) , . .., X n(co)) o skończonej dyspersji parametru a oparty na próbie (_X1(ao), X 2(co), ..., X n{co)} (defi­

nicje nieobciążoności, regularności i efektywności estymatora znaj­

dują się na przykład w monografii Cramóra [1], rozdz. 32 )t Łatwo również sprawdzić, że jeżeli dystrybuanta a priori G(a) speł- ,, nia przy pewnym p > 0 równość {r(a0 + p) — G{a,0 — p) = 0, to relacja

(2) nie zachodzi. Przyjmujemy więc założenie (III) dla każdego p > 0 zachodzi nierówność

G(a0+ p ) — G(a0—p) > 0.

Udowodnimy teraz następujące

T

. Przy założeniach (I) i (II) dla każdego rozkładu a priori spełniającego warunek (III) ciąg dystrybuant a posteriori jest stochastycz­

nie zbieżny do dystrybuanty a0.

Ponadto ciąg dystrybuant a posteriori wtedy i tylko wtedy jest przy dowolnym rozkładzie a priori zbieżny prawie wszędzie do dystrybuanty a0, gdy ciąg estymatorów a* jest zbieżny prawie wszędzie do a0.

II. Dowód twierdzenia poprzedzimy dowodem dwóch lematów.

Będziemy używali następujących oznaczeń:

z in inf ctn (?/i, ..., yn)j

•^1 2/1, . • • <C

(3) z2n sup an(yi, ..., yn)‘

_______________ , y n < x 2

(1) Próbą nazywamy tu dowolny układ zmiennych losowych niezależnych,

mających ten sam rozkład co zmienna losowa X (w ).

L

1. Przy założeniach (I) i (II) zachodzą nierówności П ^ ®1 ) ^2П ^2 == 1 > 2 J . . •

D o w ód. Udowodnimy pierwszą nierówność. Dowód drugiej nie­

równości jest analogiczny. Dowodząc niewprost przyjmiemy, że zachodzi nierówność

(4) zln > ox.

Estymator aj jest nieobciążony, to znaczy

(5) E(«*|/?) — (3 dla ax < fi < a2.

(Е(Ф|/?) oznacza wartość oczekiwaną zmiennej losowej Ф, gdy para­

metr a ma wartość /3). M ech liczba (3 spełnia nierówność ax < (3 <

< min(a2, zln). Wówczas zachodzi nierówność E(ciljS) > E («ln|0) = zln > p ,

która jest sprzeczna z równością (5). Lemat jest więc udowodniony.

Mech gn{z, a) oznacza gęstość estymatora a*. Z regularności i efek­

tywności estymatora a* otrzymujemy równość П

(6) | | / (#?& ? a) =

(®1 ? * * • ? u) (*^l ? • * * ) Яя) r

fc= l

gdzie funkcja hn nie zależy od parametru a (por. Cramór [1], § 32.3).

Stąd w oparciu o wzory (I) i (3) otrzymujemy gn(z, a) > 0 dla zln < z < z2n, (7) gn(z, a) = 0 dla г < zln lub z > z 2n.

L

2 . Przy założeniach (I) i (II) zachodzi równość (8) — loggn(z, a) = nTc{a){z-a) d

da

{zx n z <C z2n j a,i <C a <C cc2j n = 1 , 2 , . . . ) , gdzie

(9) &(a) > 0.

D o w ó d . Z efektywności estymatora oj i wzoru (7) wynika istnie­

nie funkcji Tcn(a) spełniającej równość

(10) — loggja*(xx, . . . , x n), a) = Jcn(a)[a*(xx, . . . , x n) — a)

da '

{xx < x x, ..., xn < #2; aj < a < a2)

Roczniki PTM - Prace Matematyczne III i3

194 К . U r b a n i k

(por. Cramór [1], § 32.3). Z równości (6) i (10) otrzymujemy

П d

(11) Д ^n( [®n (*^l ? * • • j $n)

1

(•^1

<C *^2 9 ^ ^ 2 )*

Estymator a* jest nieobciążony. A zatem wzór (11) dla każdego P («1 < P < « 2 ) implikuje równość

П

(12) E ( ^ ~ lo g /(X fc(a>), a)|/?) = Jcn(a)(fi — a).

d ,

Zmienne losowe — l o g /\Xk(co), a są niezależne i mają jednakowy

d a '

rozkład. A zatem wzór (12) implikuje równość

(13) nEt logf ( x 1(co), а)I/30) = Ten{a)(P0—a).

Przyjmijmy

=

Ze wzoru (13) wynika dla

(14)

Wobec dowolności /?0 ostatnia równość zachodzi dla wszystkich

a ( « ! < a

< a2). Wzory (10) i (14) implikują równość (8).

Pokażemy najpierw, że zachodzi nierówność (15)

0 dla ax <

a2.

Dowodząc niewprost przyjmijmy, że dla pewnego

<

< a2) jest spełniona równość

= 0. Na podstawie wzoru (11) (przy

1) otrzymujemy stąd

d

d a

l0g/(®, a)|a=a = 0

A zatem (16)

x2

X1

d \ 2

— log/(a?, a) f{x, a)dx = 0

d a /

dla

Estymator

jest efektywny, a więc jego wariancja jest dana wzorem

*2

(17) E((«J — a)2|a) = - i Г j «)) /(®» °0ЙЖ1

(рог. Cramór [1], § 32.3). Skończoność wariancji, wzór (16) oraz wzór (17) przy a = a prowadzą do sprzeczności. Nierówność (15) jest więc udowodniona.

Udowodnimy teraz, że funkcja Tc (a) nie zmienia znaku w przedziale ax < a < a2. Dowodząc niewprost przyjmijmy, że istnieją dwa punkty a , a" (ax < a , a" < a2) takie, że

(18) k( a) < 0, k(a") > 0.

Z lematu 1 wynika istnienie liczby x 0 (%1 < x 0 < ж2) spełniającej nie­

równości

(19) at(a?0) < «*(жо) < a".

Z równości (11) (przy n — 1) wynika

(20) — log/(a?0, a) = &(а)(а?(ж0) — a). d

A zatem, na podstawie nierówności (18) i (19),

д d

~ - lo g f ( x 0, а)|а=а' > 0, ^-log/(a?0, а)|а=в„ < 0.

да да

Stąd na podstawie własności Darboux pochodnej istnieje punkt a leżący między punktami a , a", dla którego

— logf(x0, a)|e=a = 0. d da

Stąd i ze wzorów (19) i (20) otrzymujemy równość к (a) = 0, która jest sprzeczna ze wzorem (15). Udowodniliśmy więc, że funkcja k(a) nie zmie­

nia znaku w przedziale ах < a < a2.

Przypuśćmy, że zachodzi nierówność

(21) Jc(a) < 0 dla ax < a < a2.

Z równości (8) otrzymujemy

а

(22) gn{z, a) = gn(z, а0)ехр(ю J k{t)(z — t)dtj.

ао •

Niech ах < /?! < а0 < /S2 < а2. Wówczas, wobec (21),

fix fii

J k(t)(z — t)dt > j k(t)(a0 — t)dt = A x > 0 dla z > a0,

«0 “0

fit fit

j k(t)(z—t)dt > J k(t)(a0—t)dt = Л2 > 0

«о ао

dla z < а0.

196 К. Urbanik

A zatem, na podstawie (22),

z2 n z2 n

1 > j 9n(z, Pi)dz > enAl f gn{z, a0)dz,

“0 “0

“0 «0

1 > J

P^dz > enA2 f gn(z, aQ)dz.

z\n zln

Stąd wynika nierówność

z2 n

l = f gn(z, «o )dz <

г1и

Ponieważ przy n- > oo prawa strona tej nierówności dąży do zera, to otrzymana sprzeczność dowodzi, że nierówność (21) nie zachodzi. Zacho­

dzi zatem nierówność (9). Lemat jest więc udowodniony.

III. Podamy teraz

D o w ó d tw ie r d z e n ia . Aby udowodnić pierwszą część twierdzenia, wystarczy pokazać, że dla każdego h > 0 ciąg zmiennych losowych hn(co) = F n(a 0~ • h, 'e o ) + l — F n(q0-\- h, co) dąży do zera według prawdo­

podobieństwa.

Ze wzorów (1), (6) i (22) otrzymujemy równość

U a

f exp [n f k(t)(a* — t)dtjdO(a) (23) F n( u , c o ) = a ^ --- - aoa--- .

j exp \n j 1c(t)(a* — t)dt)dG(a)

<ч ao

Stąd wynika nierówność

f exp (n f 1c(t) (a* — t)dt)dO(a) (24) M « ) < ,a-~ l y h ---

f exp {n f k(t)(a*— t)dt)dO(a)

ai °o

Łatwo sprawdzić w oparciu o wzór (9) następujące nierówności:

тах(ао+Л ,а^)

a / *(*)( <£--t)dt dla а ^ a0-j- h

(25) /& (< )(«£-- t ) d t <

min (“o—

h, an)

“0

f &(*)(<£-- t)dt dla a ^ a0— h.

“0

Będziemy używali następujących oznaczeń

т а х (а 0+Л,а*) m in(ao-A, “ n,)

(26) Bn( ( o ) = m i i i [ j k(t)(t — a£)dtf f k(t)(t—a*)dt ),

«0 “0

ад + Л ад—7г.

(27) В = min| j k(t)(t— a0)dt, J k(t)(t~ aQ)di^.

«0 “0

Ze wzoru (9) wynika nierówność

(28) 2? > 0.

Mech г} będzie taką liczbą dodatnią, że dla jot — a0| < rj zachodzą nie­

równości а а

I j k(t)dt I < 1 , j J k(t)(a0 — t)dt | < \B.

«о “o

Wówczas dla |а —а0| < tj zachodzi także nierówność a

j k(t)(al — t)dt > — |а* — a0|— \B.

ao

Stąd otrzymujemy, że mianownik prawej strony wzoru (24) jest większy lub równy od [(z(a0-f^ )— ćr(a0— ?y)]exp(— n\aZ— a0|— ^B). Ze wzorów (25) i (26) wynika, że licznik prawej strony wzoru (24) jest nie większy od (7(w)exp( — nBn(a>)). A zatem, uwzględniając warunek (III), otrzymujemy nierówność

(29) 0 < hn((o) <*Oexp( — n{Bn(a>)— — \a* — a0|}).

Ze wzoru (17) wynika zbieżność według prawdopodobieństwa ciągu esty­

matorów ctn do liczby a0. A zatem, wobec wzorów (26) i (27), ciąg zmien­

nych losowych Bn(a)) — l-B — |а* — a0| jest zbieżny według prawdopo- dobieństwa do liczby \B. Stąd na podstawie nierówności (28) i (29) ciąg hn(w) dąży do zera według prawdopodobieństwa. Pierwsza część twier­

dzenia jest więc udowodniona.

Jeżeli an~>a0 prawie wszędzie, to Bn(co) — \B — \<ць— а0| %B prawie wszędzie. A zatem na podstawie nierówności (28) i (29) ciąg Ьп{ы) dąży do zera prawie wszędzie.

Przypuśćmy teraz, że relacja (2) zachodzi prawie wszędzie przy wszelkich dystrybuantach a priori spełniających warunek (III). Pokażemy, że ап -> a0 prawie wszędzie.

Mech e będzie dowolną liczbą dodatnią spełniającą nierówność a0+ e <

< a2. Określamy dystrybuantę a priori, spełniającą warunek (III), wzorem 0 dla аг < a < a0,

\ dla а0 ^ a < a0 -f- e » 1 dla а0+ е ^ а < а2.

(30) G («) =

198 К . U r b a n i k

Łatwo sprawdzić, że wówczas ciąg zmiennych losowych

1 — F n (aQ+ % e , co) F n {a0 + l e , co)

«0+®

— exp [n jf Tc(t)(a^— t)d tj

°o

jest prawie wszędzie zbieżny do zera. Stąd wynika, że prawie wszędzie zachodzi nierówność

<*0+ ®

(31) limsnp f Jc(t)(a* — t)dt < 0.

n °o

Z równości

a0+® “0 + ® a0+«

J k(t)(a.n — t)dt = (an—a0) J 1c(t)dt— j k(t)(t—a0)dt

a0 “0 “0

oraz wzorów (9) i (31) wynika, że prawie wszędzie zachodzi nierówność

«0+®

J k ( t ) ( t — a 0)dt

limsnp ( o j — a0) < °° aQ+~--- < e.

f k (t)d t

“0

Wobec dowolności liczby e wynika stąd, że prawie wszędzie zachodzi nierówność

limsup(a*— a0) < 0.

n—>oo

Podobnie dowodzimy, że prawie wszędzie jest spełniona nierówność liminf (a* — a0) > 0.

n— >oo

A zatem ciąg estymatorów dąży do a0 prawie wszędzie. Twierdze­

nie jest więc udowodnione.

Na koniec zauważmy, że twierdzenie jest również prawdziwe dla dyskretnych zmiennych losowych X(co).

Prace cytowane

[1] H. C ra m er, Mathematical methods of statistics, Princeton 1946.

[2] Б. В. Г н е д е н к о , Курс теории вероятностей, Москва 1954.

[3] К . U r b a n ik , A limit theorem for a posteriori distributions, Bull. Ac. Pol.

Sci., Cl. I l l , vol. V , nr 3, (1957), str. 2 37-24 1.

К.

(Вроцлав)

П Р Е Д Е Л Ь Н А Я Т Е О Р Е М А Д Л Я Б А Й Е С О В С К И Х О Ц Е Н О К

РЕЗЮМЕ

Рассмотрим случайную величину АТ (со) с функцией плотности f( x , а) (х1 < х < х 2) зависящей от параметра а (аг < а < а2). Предложим, что (I) f ( x , a ) > 0 для х г < х < х 2 , ах < а < а2.

Тогда апостериорное распределение параметра а порожденное выборкой

<ACj(co), Х 2(ш), . . . , Х п (о))У дано формулой

F n (u, со)

U П

/ П f ( X k(co),a)dG(a)

cq fc = l

/ “2 П f { X k (co),a)dG(a)

aj 1

где G(a) — априорное распределение.

Предположим, что a0 — значение параметра a и

(II) для всякого п существует несмещенная, регулярная и эффективная оценка ап — а ^ (Х 1{со), Х 2(со), , Х п (со)) параметра a порожденная выборкой

< Х 1(а > ),Х 2 (со), . . . , Х п (со)у.

(III) для любого г) > 0,

+

> 0.

Доказана следующая

ТЕ О РЕ М А.

И

условий (I), (II) и (III) следует, сходимость по вероятности

(*) lim F n {u, со)

и—> с»

0 для и < a.

1 для и > a.

Кроме того, сходимость (*) имеет место почти всюду тогда и только тогда, если последовательность оценок ап стремится к ас почти всюду.

К .

(Wrocław)

A L IM IT T H E O R E M FO R A B A Y E S E STIM A TIO N

W e consider a random variable X(co) with density function f(x, а) (хг < x < x 2) depending on a parameter а (ах < а < а2). Suppose

(I) f(x, a) > 0 for x x < x < x 2, ax < a < a2.

Then the a posteriori distribution function of parameter a founded on observations СХДсо), ХД со), . . . , Z n (eo)> is given by formula

и n

f П f(Xjc{co), a)dG(a)

n / \ cq f c = l

F n (u, co) — — ^ - ,

/ П fiXkico), a)dG(a)

aj k = l

200 К. Urbanik

where G(a) is a priori distribution function. Let а0(аг < а0 < а3) be the true value of the parameter a. Suppose

(II) for each n there is an unbiased, regular and efficient estimate = а ^ (Х 1(ш), X 2 (co), . . . , X n (<o)) of the parameter a founded on the observation < X 1(co),

■^2 (^) 9 •••* 9

(III) for each r } > 0, G(a0 + rj)~ G(a0 — y) > 0.

The paper contains the proof of the following theorem.

Th e o r e m.

From the conditions (I), (II) and (III) it follows that the convergence

holds in probability. Moreover, the relation (*) holds with probability 1 if and only if the sequence a% converges to a0 with probability 1.

и < a0,

и > a0,