O stałoprecyzyjnej estymacji minimum funkcji regresji i minimum zmiennej losowej

ROCZNIKI POLSKIEGO TOWARZYSTWA MATEMATYCZNEGO Seria III: MATEMATYKA STOSOWANA XXX (1987)

M^{ar ek} Mę c z a r s k i

Warszawa

O stałoprecyzyjnej estymacji minimum funkcji regresji i minimum zmiennej losowej

(Praca wpłynęła do Redakcji 1986.01.06)

WSTĘP

Pracę niniejszą zapoczątkowała próba odpowiedzi na pytanie o ocenę dokładności estymacji ekstremum funkcji regresji drugiego stopnia, postawione w rozdziale VI książki R Zielińskiego [32]. Problem został ograniczony do przypadku jednowymiarowego: chodzi o zbadanie dokładności estymacji ekstremum, przy odpowiednich kryteriach dokładności, oraz o uzyskanie estymatora przedziałowego o zadanej długości i zadanym poziomie ufności (czyli o zadanej precyzji).

Problem jest ważny dla zastosowań; jego sformułowanie jest proste, ale rozwiązanie — trudne i pewne wyniki asymptotyczne udaje się uzys- kać dopiero za pomocą metod analizy sekwencyjnej, pochodzących od F. Anscombe’a [1] oraz Y. S. Chowa i H. Robbinsa [3]. Rozwiązania przybliżone lub uzyskane przy dodatkowych założeniach znane były wcześniej.

R. C. Elandt-Johnson [5] oraz E. S. Marks i B. V. Dean [20] skonstruowali optymalny plan eksperymentu dla estymacji punktu minimum, gdzie kryterium optymalności stanowił błąd średniokwadratowy estymatora minimalnej war- tości funkcji. W swym rozwiązaniu stosowali przybliżenie rozkładu estymatora punktu minimum rozkładem normalnym i nie formułowali żadnych stwierdzeń nieasymptotycznych ani asymptotycznych o jakości takiego rozwiązania.

N. K. Mandal [19] badał dokładność estymacji punktu maksimum funkcji regresji, korzystając z przybliżenia normalnego dla rozkładu estymatora i z założenia, że punkt maksimum ma rozkład a priori o znanej wartości oczekiwanej i wariancji (szerzej o jego wyniku powiemy w rozdz. I).

J. Hartung [14] w swojej podręcznikowo-encyklopedycznej książce daje praktyczną metodę estymacji przedziałowej punktu ekstremum, bardzo wąt- pliwą teoretycznie (dokładniej skomentowaną w rozdz. I).

Estymacja ekstremum kwadratowej funkcji regresji jest w swojej najbar-

[21]

22 M. Mę czarski

dziej „naturalnej” wersji niemal identyczna z zagadnieniem estymacji ilorazu wartości oczekiwanych dwóch zmiennych losowych. Rozwiązanie w postaci przedziału ufności (choć nie w ścisłym sensie) proponował już R. A. Fisher [9].

Rozważania dotyczące konstrukcji przedziału ufności dla takiego ilorazu prowadził też B. M. Bennett [2], a potem J. Ogawa [24], który także skomentował podejście Fishera. Dokładniej powiemy o tym w rozdziale I.

Pierwszy rozdział pracy będzie dotyczył konstrukcji przedziału ufności dla punktu minimum przy ustalonej liczności próby. Badana będzie dokładność takiej estymacji, tj. długość przedziału ufności, i możliwość jej minimalizacji za pomocą planu doświadczenia.

W następnym rozdziale będziemy omawiać dwie metody konstrukcji sekwencyjnych stałoprecyzyjnych przedziałów ufności dla punktu minimum.

Najpierw skorzystamy z przedziału ufności zbudowanego w rozdziale I. Potem podamy inną metodę, której nieco więcej własności daje się udowodnić.

Skorzystamy przy tym z pewnego pomysłu S. K. Pernga i Y. L. Tonga [25].

Treścią krótkiego trzeciego rozdziału jest wzmianka o możliwości zasto- sowania metod aproksymacji stochastycznej przy ogólniejszych założeniach o funkcji regresji.

W rozdziale czwartym i ostatnim wykorzystamy do stałoprecyzyjnej estymacji wartości minimalnej funkcji regresji (przy ogólniejszych założeniach o postaci funkcji, a szczególnych o postaci błędu) metody estymacji minimum zmiennej losowej (w sensie kresu dolnego nośnika dystrybuanty), której rozkład spełnia pewne warunki. Rozdział ten zawiera pewne rozwinięcie i uogólnienie prac L. de Haana [13] i W. Eschenbacha [6].

I. PRZEDZIAŁ UFNOŚCI DLA PUNKTU MINIMUM KWADRATOWEJ FUNKCJI REGRESJI

NA PODSTAWIE PRÓBY O USTALONEJ LICZNOŚCI

1. Wstęp. Niech (Y(x))xe|, będzie rodziną zmiennych losowych takich, że Y(x) = a + bx + cxI. 2+ e, a, b e R, c > 0, e ma rozkład JV(0, <x2).

Wtedy EY(x) = a + bx + cx2 jest funkcją regresji.

Zakładamy, że wybierając dowolnie punkty x lt ..., x„ (n > 3), możemy obserwować zmienne losowe

(A) Y (xf) = yt = a + bx{ + cxf + e{

w taki sposób, że £f, i = 1, n, są niezależnymi zmiennymi losowymi.

Chodzi o oszacowanie na podstawie ciągu (x,, yf), i = 1, ..., n, takiego punktu x0e R, w którym funkcja EY(x) osiąga minimum, za pomocą prze- działu ufności i o zbadanie dokładności takiego rozwiązania, tzn. podanie długości i poziomu ufności tego przedziału.

O staloprecyzyjnej estymacji minimum funkcji regresji 23 Napiszmy wyniki obserwacji w postaci

Macierz

o , . . . y nY = X nl a b ć ] T.

1 x\

* n = ...

_ 1 Xn X2 _

nazywamy macierzą eksperymentu (macierzą planu lub planem eksperymentu), a macierz

M = - X Tn X n n

1 x^

x ^ x$

x^ n x^ A,n

— df i "

gdzie xkn = - X xi,

macierzą informacyjną eksperymentu. Niech r z X m = 3.

Bez ograniczenia ogólności zakładamy, że xże [ — 1, 1], i = 1, ..., n, co zawsze można otrzymać przez odpowiednią zmianę skali.

Niech an, 6n, cn będą estymatorami uzyskanymi metodą najmniejszych kwadratów (MNK) parametrów a, b, c. Macierz kowariancji tych estyma- torów ma postać

D = Va(n) vab{n) vac{n)~ ff2 vab(n) vb(n) vbc(n) — .

vaM vbc(n

n

Przez s2 oznaczymy standardowy estymator wariancji a2:

s2 = { n - 3) 1 X { y - ^ - S ^ - c ^ } ) 1

i = 1

Punktem minimum funkcji regresji EY(x) jest x0 = — b/(2c). Jego estyma- torem uzyskanym metodą największej wiarygodności i oczywistym intuicyjnie jest x0 — —bn/(2ćn). Zmienna losowa x0 jest ilorazem zmiennych losowych normalnych, jej rozkład (D. V. Hinkley [15]) nie ma wartości oczekiwanej. Co więcej, dla x0 nie istnieje estymator nieobciążony o skończonej wariancji (E. J. Williams [31]). Jako kryterium dokładności przyjmiemy więc długość przedziału ufności dla x0. Oprzemy go na takiej statystyce postaci x0 U + V, że E(x0U + V) = 0 oraz U i K są zmiennymi losowymi o rozkładzie normalnym i obserwowalnych wartościach.

Będzie to też rozwiązanie dla ilorazu wartości oczekiwanych dwóch zmiennych losowych o rozkładzie normalnym.

Statystyka

Z„{xo) = (6„ + 2ć„x0)/( vl(n) + 4x0vbc{n) + 4 x l ( n ) W n

24 M. Męczarski

ma rozkład t Studenta o n — 3 stopniach swobody. Zatem zbiór ufności oparty na tej statystyce ma postać

(1) W = ________(Sn + 2£nx0)2

+ 4x0vbc{n) + 4xl v2C (n))

gdzie ta jest dwustronną wartością krytyczną rozkładu Studenta o n — 3 stopniach swobody na poziomie a. Wtedy P(x0 eW ) = 1—a.

2. Ograniczony przedział ufności dla x0

2.1. Postać ograniczonego przedziału ufności i jego poziom ufności. Interesuje nas wyłącznie przypadek, w którym zbiór ufności W jest przedziałem ogra- niczonym. To, czy W jest przedziałem ograniczonym, jest oczywiście zdarze- niem losowym. Z elementarnej analizy odpowiedniej nierówności kwadratowej wynika, że zdarzenie to zachodzi wtedy i tylko wtedy, gdy spełniony jest warunek

(W l )

Sł Vr (ń) > ti Wtedy przedział W ma postać

(2⁾ W = [> !, W2],

gdzie

Wi,2 = ^ -Ć>nćn + - v bc(n)tź + ^ n L

sit2*2n Ła / 2(VŁ (n) — Vb{n) Vę (n)) +

+ Sl (n) + cl vl (n) - lSn cn vbc (n) ^1/2 2 ć l- - v ? ( n ) t l n

Przez poziom ufności ograniczonego przedziału ufności dla x0 będziemy rozumieli prawdopodobieństwo warunkowe

1 - P = P(x0e W\(W1)),

tzn. prawdopodobieństwo, że x0 należy do zbioru ufności W pod warunkiem, że spełniony jest warunek (Wl), czyli że zbiór W jest przedziałem ograni- czonym.

Taka warunkowa interpretacja przedziałów ufności nasuwa w praktyce pewne kłopoty interpretacyjne. Na przykład J. Hartung [13] weryfikuje hipotezę H: c = 0 przeciw K: c # 0 i odrzuca H na poziomie istotności a, gdy zaobserwuje (Wl). W przypadku odrzucenia hipotezy H otrzymuje ograni- czony przedział ufności W i przypisuje mu poziom ufności 1 — a. Liczba 1 — a nie jest jednak prawdopodobieństwem pokrycia x0 przez ograniczony prze- dział ufności. To prawdopodobieństwo jest warunkowe.

O staloprecyzyjnej estymacji minimum funkcji regresji 25 Podobne zagadnienia rozpatrywał też B. M. Bennett [2]. Szukał on m.in.

przedziału ufności dla ilorazu wartości oczekiwanych w dwuwymiarowym rozkładzie normalnym. Podał tablice dla prawdopodobieństw warunkowych.

Przeanalizujemy dokładniej poziom ufności ograniczonego przedziału ufności.

Tw ie r d z e n ie 1. Dla zdefiniowanego wcześniej warunku (W l) i prawdopodo- bieństwa 1 — /?

(a) 1-

P(W1) < 1 - 0

<

gdzie P(W1) oznacza prawdopodobieństwo, że warunek (Wl) jest spełniony;

(b) inf

c> o P(W1)

=

,

c > 0

1 — OL

p m i

1 — a a

(c) sup P(W1) = 1.

c > 0

D o w ó d , (a) wynika z nierówności

{

-P{A)

P(B) ^ P (A \B P(A) P(B) dla dowolnych zdarzeń A, B, przy czym P(B) # 0.

(b) i (c):

P(W1) = P c —c yjV2C («)+

s y vf(n) > t„ 1 - P Te a o

— — C, ta-\— C

s„ s„

gdzie T jest zmienną losową o rozkładzie Studenta z n — 3 stopniami swobody, -. Z tego wynika równość inf P(W1) = a, przy czym P(W1) = a a

c = - -

c>0 dla c = 0, oraz teza (c). To daje tezę (b). ■

Zauważmy, że P(W1) dąży do 1, gdy C dąży do + oo; wówczas 1 — p dąży do 1 — a i w tym sensie oszacowanie (a) jest dokładne. Wynika stąd, że jeżeli o parametrze c wiadomo z góry jedynie to, że c > 0, to nie można zawczasu oszacować poziomu ufności 1 — fi, a wiadomo tylko, że

0 ^ 1 — ^ mini 1, 1 — a

przy czym 1 —a< 1 dla a > -.

2 Do podobnych rezultatów doszedł (niezależnie) J. Ogawa [24], uznając 1 — a za dobre przybliżenie poziomu ufności 1 — p w przypadku dużych C.

(Rozpatrywał on ograniczony przedział ufności dla ilorazu wartości średnich dwuwymiarowego rozkładu normalnego).

26 M. Męczarski

2.2. Optymalny plan eksperymentu. Zajmiemy się teraz zagadnieniem kon- strukcji planu eksperymentu maksymalizującego poziom ufności 1 —/?.

Z przedstawionego poprzednio komentarza po twierdzeniu 1 wynika, że w tym celu należy maksymalizować wartość C = ~ y jv²^ny Przy danych c (nieznane), a (nieznane) i n minimalizować Vę(n).

Zadanie znalezienia planu eksperymentu minimalizującego i^(n) zostało rozwiązane w pracy autora [22]. Rozwiązanie to podajemy w poniższym twierdzeniu.

Tw i e r d z e n ie 2. Najmniejszą możliwą wartością Vę(ri) jest 4. Plan optymalny polega na wykonaniu 50% wszystkich obserwacji w 0 i po 25% w + 1 i — 1. Jest on wyznaczony jednoznacznie. Jego macierz informacyjna ma postać

" l 0 ł"

0 i 0 , 1 o 1 _ 2 U 2 J a macierz D przy tym planie:

n [ - 2 0 4_

D o w ó d polega na wykazaniu, że plan z tezy twierdzenia jest optymalny w klasie planów symetrycznych względem punktu 0 i że plan optymalny musi być symetryczny względem 0. Dowód ten opiera się na twierdzeniu 2.9.2* z książki W. W. Fiedorowa [8] i podany jest w pracy [22]. ■

Odnotujmy, że dla planu z twierdzenia 2 mamy Vt{n) = 2 przy inf Vb(n) = 1

(x i,...,x „ )e [- 1,1]

(ten kres dolny nie jest osiągalny).

Realizacja planu z twierdzenia 2 nie jest możliwa, gdy n nie jest podzielne przez 4. W pracy [22] uzasadniono, że wtedy można zalecać plany, powstałe przez:

— dodanie jednej obserwacji w 0, gdy n = 4/c+l,

— dodanie po jednej obserwacji w +1 i —1, gdy n = 4k + 2,

— dodanie po jednej obserwacji w 0, —1 i + 1 , gdy n = 4k + 3.

Jeżeli można założyć, że c > oc0, c0 > 0 jest znane, to

P(W1) ^ P _{ln - 3} C0 n Vc(n),

gdzie tk(x) oznacza zmienną losową o niecentralnym rozkładzie Studenta

O stałoprecyzyjnej estymacji minimum funkcji regresji 27 z k stopniami swobody i parametrem niecentralności x (N. L. Johnson i S. Kotz [16], G. J. Resnikoff i G. J. Lieberman [27]).

Przy danych c0, n, ta prawa strona nierówności osiąga maksimum, gdy V*(n) jest najmniejsze. W tej sytuacji w przypadku planu optymalnego mamy następujące górne ograniczenie dla fi:

fi fi (ot) =

Można napisać

/?(«) = ^p

( K - M

gdzie F jest dystrybuantą zmiennej losowej £„_3(0) o centralnym rozkładzie Studenta oraz F1 jest dystrybuantą zmiennej losowej tn_ 3^ -y /n ^ .

Zauważmy, że fi( 1) = 1, fi(ct) maleje wraz z a aż do n + 2j 1

'V o )A ~1

r

>5(0) = enc0/8 X

j= 0

( 2 j)\r

Monotoniczność fi(ot) otrzymujemy po zbadaniu znaku pochodnej fi'(ct), uwzględniając, że F(tJ = 1—a/2. Jeżeli c0 = 0, to fi(ot) = 1 dla wszystkich a, jeżeli c0 = +oo, to fi(a) = a.

2.3. Długość ograniczonego przedziału ufności. Długość ograniczonego przedziału ufności dla x0 wynosi

s = Snt“ 1

nć l- ± v H n ) tin

-tŹ(vl(n)-vUn)v?(n)) +

+ f t ft (n) + ć% vi(n)~ 2 6n ćn vbc (n)

1/2

Zauważmy, że ó jako funkcja 3 zmiennych vb(n), v?(n), vbc(n), zależnych wyłącznie od planu eksperymentu, przy prawdziwości warunku (Wl) nie ma punktów stacjonarnych. Minimum przy ograniczeniu vbc ^ vbvf zależy od losowych obserwacji. Nie istnieje plan minimalizujący ó Jednostajnie po wszystkich możliwych wynikach obserwacji”. Pozostaje jednak otwarty pro- blem wyboru planu eksperymentu minimalizującego pewne charakterystyki liczbowe zmiennej losowej S, np. ES.

28 M. Mę czarski

Zauważmy, że dla planu z twierdzenia 2 mamy

S = ■ + 4 61

r *c n ■4— ^

n 3. Uwagi końcowe.

3.1. Uzyskane w tym rozdziale wyniki są prawie wyłącznie negatywne, tzn.

pokazują, że przy ustalonej z góry wielkości próby nie da się uzyskać założonego poziomu ufności ani założonej długości przedziału ufności.

3.2. Inne podejście do oceny dokładności estymacji punktu x0 zapropo- nował N. K. Mandal [19]. Założył on istnienie rozkładu a priori dla x0 o znanej wartości oczekiwanej i wariancji. Zastosował estymatory uzyskane metodą najmniejszych kwadratów dla parametrów funkcji regresji i przybli- żenie normalne dla rozkładu x0 dla dużych prób. Obliczył wariancję x0, która zależy od x0. Za wskaźnik dokładności uznał wartość, otrzymaną przez uśrednienie tej wariancji względem rozkładu a priori parametru x0. Podał plan eksperymentu minimalizujący ten wskaźnik jakości. Plan minimalizujący u nas Vc(ń), w pracy Mandala odpowiada nieskończonemu wskaźnikowi dokładności.

3.3. W świetle tych uwag w dalszej części pracy zrezygnujemy z metod opartych na ustalonej liczności próby i będziemy stosować metody sekwencyjne.

II. ESTYMACJA SEKWENCYJNA PUNKTU MINIMUM KWADRATOWEJ FUNKCJI REGRESJI

1. Wstęp. W niniejszym rozdziale rezygnujemy z założenia o rozkładzie normalnym zmiennych losowych ef. Podamy dwie metody asymptotycznie stałoprecyzyjnej estymacji punktu minimum x0: przy danym d > 0 i y e (0, 1) skonstruujemy przedział ufności 1(d) dla x0 o długości nie większej od d i taki, że

lim P(x0 El(d)) = y.

d-0

Pierwsza metoda, opisana w pracy [11], wywodzi się bezpośrednio z postaci przedziału ufności podanego w rozdziale I. Nieco inne podejście do konstrukcji drugiej metody pozwoliło wykazać pewne asymptotyczne włas- ności, których nie udało się udowodnić w pierwszym przypadku. Jej opis zawiera praca [22].

W obu metodach dokonuje się pewnej oceny parametru c i, zależnie od jej wyniku, postępuje się tak, jak gdyby c > 0 lub jak gdyby c ^ 0. W pierwszym

O stałoprecyzyjnej estymacji minimum funkcji regresji 29 przypadku konstruuje się przedział ufności dla punktu, w którym funkcja regresji osiąga minimum, w drugim — rezygnuje się z takiej konstrukcji.

2. Sekwencyjne skracanie przedziału ufności. Tak właśnie można nazwać sekwencyjną wersję konstrukcji przedziału ufności z rozdziału I, którego długość dąży do zera przy n-> co ([U])-

Przy założeniu c > 0, przyjętym w rozdziale I we wzorze (A), nie ma potrzeby sprawdzania, czy nie zachodzi nierówność przeciwna. Rozważmy model

(B) yt = a + hx. + cxf + e^ a, b, c e R , i = 1, 2, ...,

który różni się od zdefiniowanego wcześniej modelu (A) jedynie zastąpieniem warunku c > 0 warunkiem c e R . Teraz ocena wspomniana we wstępie do niniejszego rozdziału staje się niezbędna. Rezygnujemy z założenia o normal- ności rozkładów dla ef.

Wprowadzimy proste estymatory rekurencyjne Bk, Ck i Sk parametrów b, c i o2. Ułatwi to zastosowanie teorii Anscombe’a [1] oraz Chowa i Robbinsa [3].

Minimalna liczba punktów konieczna do estymacji wszystkich nieznanych parametrów wynosi 4. Rozpatrzmy ciąg czwórek punktów eksperymentalnych

(*4fc + l> X 4k + 2 ’ X 4k + 3 ’ X 4k + 4 )k = 0 , l , 2 . . .

i odpowiadający mu ciąg czwórek zaobserwowanych wartości funkcji regresji + H y4k + 2’ y4k + 3’ .V4fc + 4-)fc = 0,1,2,... •

Przyjmijmy, dla prostoty obliczeniowej, że

* 4 * + l = 1» X 4k + 2 ~ ~ 1 ’ X 4k + 3 = * 4 ^ + 4 = 0 -

Jest to plan optymalny z rozdziału I (minimalizuje wariancję estymatora MNK parametru c). Niech

D _ y4k+ 1 ~y4k + 2

c t = y 4 k + 1 T y 4 k + 2 J^4fc + 3 ^4/1 + 4

(^4^ + 3 ~ ^fc + 4)2

Wtedy Bk, Ck i Sk są estymatorami parametrów b, c i a2, przy czym dwa pierwsze są estymatorami MNK. Niech

£. = z t Bk, e, = i i c t , n_{k= 1} n h-k= 1 si = - t s ln_{k= 1}

30 M. Mę czarski

Wtedy varS„ = o2/n, varcn = 2<r2/n. Estymatory bn, ćn i s2 są nieobciążone, mocno zgodne i można je obliczać rekurencyjnie. Statystyka

Z„(x o) ^n + 2x0ćn y / j s 2 + 4xls2

ma rozkład asymptotyczny N(0,1) i spełnia znany warunek Anscombe’a ([1], warunek (C2)). Umożliwia to nam konstrukcję asymptotycznego prze- działu ufności

I(n) = {x0: \Zn(x0)\ < %„},

gdzie (l„)neN jest ciągiem liczb dodatnich zbieżnym do t = <P-1 l 1 + v

(<P oznacza dystrybuantę rozkładu N(0, 1)).

Jeżeli ć2 — z2s2/ n > 0 , to I{n) jest przedziałem ograniczonym o długości

S(n)\

sn_ y]S2 + 2 ^ 1 —2 ^ 1 s2/n

^n *2 2 2/

n c„ —t„ s „ / n

Jeżeli ćn ^ i nsn/y/n, to przyjmujemy S(n) = +oo.

W modelu (A) wiadomo, że istnieje minimum funkcji regresji. Zatem przy danym d > 0 zdefiniujemy regułę zatrzymania K:

K = K(d) = inf{n ^ 1: ó(n) < d}.

Tw i e r d z e n ie 3. Przy powyższych oznaczeniach

(i) P(K(d) < oo) = 1 dla wszystkich d > 0 i c > 0;

(ii) lim P(x0 e I(K(d))) = y dla wszystkich c > 0.

d->0

D o w ó d jest typowy dla tego rodzaju twierdzeń. Wykorzystuje lemat 1 z pracy Chowa i Robbinsa [3] oraz twierdzenie 2 Anscombe’a [1], które jest jednym z centralnych twierdzeń granicznych dla ciągów zmiennych losowych o losowych indeksach. Ciąg musi przy tym spełniać warunek jednostajnej ciągłości według prawdopodobieństwa (warunek (C2) Anscombe’a [1]). Dowód ten podany jest w pracy [ 11]. ■

W modelu (B) nie wiadomo zawczasu, czy minimum istnieje. Modyfikujemy więc problem:

nazwiemy poprawną decyzją (CD) decyzję zakończyć obserwacje i budować przedział ufności, jeżeli c > 0, oraz zakończyć obserwacje, nie budować przedziału ufności, jeżeli c ^ 0.

Będziemy teraz brać pod uwagę nie poziom ufności, lecz prawdopodo- bieństwo poprawnej decyzji.

O stałoprecyzyjnej estymacji minimum funkcji regresji 31 W przypadku c ^ O reguła zatrzymania K (d) jest nieskończona z dodatnim prawdopodobieństwem. Zdefiniujemy nową regułę zatrzymania T = T(d) jako następujące obcięcie reguły K(d):

T = T(d) = min{K(d), L{d)}, d > 0, gdzie L: R + ^ N .

Zatrzymujemy obserwacje w chwili T(d) i decyzja ma postać „x0 e I(T{d))”, jeżeli T(d) = K(d) lub „nie ma minimum”, jeżeli T(d) < K(d).

Prawdopodobieństwo poprawnej decyzji jest następujące:

P1CD1 = \ P ^ ^ L (d)> xo G !(K (d))} > jeżeli c > 0,

\p {K (d ) > L(d)}, jeżeli c ^ 0.

Zauważmy, że dla c > 0

P(x0 e I (T ( d » ) > P ( CD).

Tw ie r d z e n ie 4. Niech L będzie taką funkcją R+ —>N, że

(a) lim (d2L(dj) = + oo,

d-> o

(b) lim (d2\og\ogL(d)) = 0.

d-0 Wtedy

lim P(CD) = y dla c > 0, d-*0

lim P(CD) = 1

d~*0 dla c ^ 0.

W dowodzie korzysta się z twierdzenia 3 i z prawa iterowanego logarytmu (zob. [ 11]).

3. Asymptotycznie efektywna procedura sekwencyjna. Będziemy teraz roz- patrywać model (B), z estymacją parametrów metodą najmniejszych kwa- dratów. Będziemy sprawdzać, czy c jest dodatnie i „dostatecznie odsunięte”

od 0. Jeżeli nie, zdecydujemy, że minimum nie istnieje. Jeżeli tak, przejdziemy do drugiego etapu polegającego na konstrukcji przedziału ufności dla x0 o zadanej długości. Podejmiemy też próbę zbadania wpływu planu ekspery- mentu, przy estymacji parametrów metodą najmniejszych kwadratów, na własności asymptotyczne procedury.

Idea przedstawionego dalej dwuetapowego rozwiązania pochodzi od S. K. Pernga i Y. L. Tonga [25], którzy podali procedurę sekwencyjną dla zagadnienia regresji odwrotnej.

Niech y e ( 0, 1) będzie zadanym poziomem ufności i niech a = <P~1(y) oraz

32 M. Męcz arski

fi = <P- t ( l +y . Niech Sn, cn i a„ będą teraz estymatorami MNK parametrów regresji b ,c ,a , opartymi na n pierwszych obserwacjach y1? ..., y„. Niech

n

Sn = ( n - 3)” 1 X ( y i - dn-t>nXi - £nXi)2

i= 1

będzie standardowym estymatorem <r2. Niech yc2(n) = varc„

o2/n ’

van a2/n

(tak samo, jak w rozdziale I). Zauważmy, że v2{ń) i vf(ń) zależą wyłącznie od ciągu (xj)i=1....„, tj. od planu eksperymentu X n. Załóżmy, że

\im - X TnX n

n U,

gdzie U jest dodatnio określoną macierzą o wymiarach 3 x 3. Z tego wynika, że lim v2{n) = v2 > 0, lim v%(n) = v2 > 0,

n~* oo n~* oo

gdzie

vl = v 22, V2 = v33 dla [t>y]u= 1,2,3 =

Metoda składa się z dwóch etapów. W pierwszym sprawdzamy, czy c > 0.

Niech d1 > 0 będzie daną liczbą. Prowadzimy obserwacje do chwili, gdy ich liczba wyniesie

N = inf n ^ 4:

1

v2{n)ct2y

Jeżeli ćN < dlt decydujemy, że c < 0 i nie ma minimum. Jeżeli ćN ^ dŁ, przechodzimy do drugiego etapu, tj. do budowania przedziału ufności.

W drugim etapie prowadzimy obserwacje do chwili, gdy liczba ich osiągnie - f i ^ M S™( 2/ \.L 2/

M = mfjm ^ N: + 1 ^

gdzie ęm = max(dl5 c j- Wtedy przedział

I(M) = [ — fiM/(2ćM) — d2, — Sm/(2cM) + d2~]

przyjmujemy jako przedział ufności dla x0. Poziom ufności jest scharakteryzo- wany przez prawdopodobieństwo poprawnej decyzji

p ( c m = > d i ’ xo E sdy c > o, 1 ; \P(ĆN < dx), gdy c ^ 0.

Oczywiście dla c > 0 P(x0 e I(Mj) ^ P(CD).

O staloprecyzyjnej estymacji minimum funkcji regresji 33 Opisana metoda przy podanych założeniach ma własności, które stanowią treść następującego twierdzenia ([22]).

Tw ie r d z e n ie 5.

(a) (i) (ii) (iii)

(iv)

(b) (i) (ii) (iii)

(iv)

lim N = oo z pr. 1, di-0

(V d1 > 0) EN < oo, P(N < oo) = 1, lim d \N

2 2 2 = 1 Z pr. I,

d i-* 0 V c(T 2 0t2

v dl EN lim -=- . = 1;

di-o (iii) * vc 0-2a2

lim M = oo z pr. 1, d2- 0

(V d2 > 0) EM < oo, P(M < oo) = 1, lim (4 d |M )/^ 2<r2^ + !,|f,2/c4^ = 1 z pr. 1,

lim (44|£M)/^/?2n2^ + Ł'2/)2/c4j j = 1 (asymptotyczna efektywność);

(c)(i) 7'eże/i c < 0, to lim P(CD) = 1;

di->0

(ii) jeżeli c = 0, to lim P(CD) = y, di->0

(iii) jeżeli c > 0, to lim lim P(CD) = y.

di-0 d2-o

W dowodach, szczegółowo przedstawionych w pracy [22], korzysta się z teorii Chowa i Robbinsa [3], z silnej zgodności estymatorów MNK parametrów regresji (H. Drygas [4]) i z asymptotycznej normalności odpo- wiednio standaryzowanych estymatorów MNK parametrów regresji opartych na losowej liczbie obserwacji (M. S. Srivastava [30]).

Jak już wspomniano, wartości vl(ń) i vl(n) zależą wyłącznie od planu eksperymentu, czyli od ciągu (Xj),-*!,..Wybór tego ciągu jest ważny wobec konieczności obliczania estymatorów parametrów regresji dla każdego n. Co więcej, wybierając odpowiedni plan doświadczenia, można zmniejszyć wartość oczekiwaną liczby obserwacji (w sensie twierdzenia 5). Ten ostatni problem prowadzi do poszukiwania planu minimalizującego vl(n) i v%(n) + b2vl (n)/c2.

Wtedy również vl oraz v% + b2vt/c2 są najmniejsze.

Matematyka Stosowana t.30

34 M. Męczarski

Z twierdzeń teorii optymalnego planowania doświadczeń (W. W. Fiedorów [8]) wynika, że nie można minimalizować v2(n) i vl(ń) jednocześnie. Decy- dujemy się minimalizować vj(ń), aby skrócić pierwszy etap oraz zmniejszyć wpływ nieznanego b2/c2 na długość drugiego etapu (w sensie twierdzenia 5).

Rozwiązanie tego problemu podaje twierdzenie 2. W praktyce więc najlepszym postępowaniem jest obliczanie estymatorów po każdych czterech obserwacjach dokonanych według planu optymalnego. Wtedy, dla każdego n podzielnego przez 4, macierz D ma postać

2 0 ^- 2^“

0 2 0 ^.

2 0 4_

Umożliwia to rekurencyjne obliczanie estymatorów parametrów regresji.

Nic również nie stoi na przeszkodzie, aby zastosować szybką metodę estymacji z paragrafu 2. Wariancje estymatorów opartych na 4k obserwacjach są takie same, jak dla optymalnego planu skonstruowanego dla metody najmniejszych kwadratów.

III. O ZASTOSOWANIU APROKSYMACJI STOCHASTYCZNEJ

DO STAŁOPRECYZYJNEJ ESTYMACJI PUNKTU MINIMUM FUNKCJI REGRESJI

Rozdział ten ma charakter wzmianki, ponieważ swoiste zagadnienia statystyczno-probabilistyczne procedur aproksymacji stochastycznej i technika konieczna do dowodzenia ich własności nie są przedmiotem niniejszej pracy.

Będziemy rozpatrywać sytuację ogólniejszą. Funkcja regresji nie musi być teraz funkcją kwadratową, chociaż przedstawiane wyniki będą wymagały, by była do niej w pewnym sensie „podobna”.

Przedstawione wyniki dotyczą zastosowania metody Kiefera-Wolfowitza do estymacji punktu jedynego minimum x0 funkcji regresji / : R-+R. Ciąg kolejnych przybliżeń punktu x0 ma postać

^n+ 1 X n Qn Yn, gdzie Yn jest takim ciągiem zmiennych losowych, że

f ( X n + cn) - f ( X n- c n) E(Yn\ X X n) =

2c„

MneN i (cn)„eN są ciągami liczb dodatnich zbieżnymi do 0 takimi, że

= +oo, £ ( ai/ci)2 < +oo, Y .aici < + 00-

J. Koronacki [17] podał metodę estymacji stałoprecyzyjnej punktu x0, nie korzystając z teorii asymptotycznej, i skonstruował przedział ufności 1(d) o długości nie większej od zadanej liczby d, dla którego

(V d > 0) P(x0 E l(d))^ 1- a , gdzie d jest zadane. Zreferujemy tę konstrukcję.

O stałoprecyzyjnej estymacji minimum funkcji regresji 35 Niech będzie wiadomo, że x o g [015 02], Niech (X^)neN, i = 1, 2, 2k, będzie zestawem 2k ciągów zmiennych losowych otrzymanych wskutek wyko- nania 2k równoczesnych niezależnych procedur Kiefera-Wolfowitza, gdzie X f = Ox dla f = 1... fc, X<p = 02 dla i = k + 1, . . 2fc. Niech X'm =

= min(2T^1), 2 ® , X'„' = max(X(„k + 1), ..., X (n2k)). Dokonuje się odpowied- nich założeń o funkcji / (istnienie, ciągłość i ograniczoność drugiej pochodnej lub odpowiednio zdefiniowana „prawie kwadratowość” w otoczeniu x0) i o błędzie Z„ = Y„ — E(Yn\X 1, ..., X n):

E {Z i\X lt ..., X„) ^ a2/(4c2), g2e (0, +oo).

Przy założeniach

(*) 4o2ó~2 X -

i = 1

Cl;

C; < a ^1 ^ 0 ^ 1 ’ _{i = 1} E

aici -z-

(gdzie K 0 = sup |/"(x)|) można udowodnić, że

xeR

P((VM, R e N ) x0e [ - 25 + X'm, 25 + * £]) ^ 1 - a .

Zatem jeżeli \X'M — X'ź\ ^ e, to długość przedziału ufności d ^ e + 45. Naj- prostsza reguła zatrzymania

* i = R M = inf{n > 1: \X'„-X';\ ^ e}.

Jak zauważa autor, założenia (*) są silne i metoda ma zastosowanie jedynie dla odpowiednio małych a2 lub at.

W pracy [21] podano metodę estymacji stałoprecyzyjnej punktu x0 wykorzystującą teorię asymptotyczną procedury Kiefera-Wolfo witza. Uczy- niono typowe założenia o błędzie i silniejsze niż u Koronackiego założenia o funkcji regresji „prawie kwadratowej” w otoczeniu punktu x0 (postać tych założeń jest dosyć skomplikowana ze względów technicznych). Uniknięto natomiast mocnych warunków (*). Dla procedury Kiefera-Wolfo witza, w której an = 2An~x, cn = Cn~y, A i C są stałymi dodatnimi, ye(0, 1/4), wynik ten ma postać

lim P(\XN(d)3f) +1 — x 0| ^ d) = 1— 2x,

o

gdzie

N(d, x) = inf<n: n1 2y ^ ^{K 2XA 2Ć2} d2{2(d„ + y)—l)

a = 2Af”(x0), K x jest kwantylem rzędu x rozkładu normalnego, ó2 i a„ są mocno zgodnymi estymatorami a i a (f"(x0) nie jest znane). Cytowana praca nie proponuje żadnej konstrukcji tych estymatorów.

Procedura Kiefera-Wolfo witza poszukiwania ekstremum funkcji regresji

36 M. Męczarski

jest adaptacją procedury Robbinsa-Monro estymacji zera funkcji regresji.

Z racji tej analogii konstrukcja odpowiednich przedziałów ufności dla minimum mogłaby w pewnym stopniu naśladować metodę R. L. Sielkena [28]

przynajmniej we wprowadzeniu estymatorów nieznanych parametrów. Wpro- wadzono również taki estymator w adaptacyjnej procedurze poszukiwania zera funkcji regresji, którą podali T. L. Lai i H. Robbins [18] (z bardzo gruntownym studium własności asymptotycznych). Autorowi nie są jednak znane próby analogicznego postępowania dla procedury Kiefera-Wolfowitza.

Jak już wspomniano, nie będą też one przedmiotem niniejszej pracy.

IV. ESTYMACJA SEKWENCYJNA MINIMUM ZMIENNEJ LOSOWEJ I MINIMALIZACJA FUNKCJI REGRESJI

1. Wstęp. W rozdziale tym rozpatrzymy najpierw problem estymacji minimum zmiennej losowej, tzn. kresu dolnego nośnika jej rozkładu przy założeniu, że ów kres jest skończony. Problem ten jest analogiczny do rozwiązywanego przez A. Sierocińskiego [29] zagadnienia sekwencyjnej esty- macji kresu górnego nośnika rozkładu zmiennej losowej. Ograniczymy się do metod asymptotycznie zgodnych. Jak dotąd, jedynie one pozwalają uniknąć zbyt szczegółowych założeń o rozkładzie. Wykorzystamy asymptotyczną teorię ekstremalnych statystyk pozycyjnych (L. de Haan [12], [13], J. Galambos [ 10]).

W odróżnieniu od poprzednich rozdziałów będzie chodziło nie o estymację wartości argumentu funkcji regresji, dla której przyjmowane jest minimum (zwanej punktem minimum), ale o przedział ufności dla minimalnej wartości funkcji regresji. Przedstawimy próbę zastosowania do tego celu wyników otrzymanych dla minimum zmiennej losowej.

2. Teoria de Haana rozkładów asymptotycznych początkowych statystyk pozycyjnych i estymacja minimum zmiennej losowej. W artykule [13] L. de Haan przedstawił metodę konstrukcji przedziału ufności dla minimum funkcji rzeczywistej, szacowanego prostą metodą Monte Carlo (pure random search).

Posługiwał się asymptotyczną teorią statystyk pozycyjnych. Jego wynik jest równocześnie rozwiązaniem dla minimum zmiennej losowej. Można też podać jego wersję sekwencyjną, jednak udało się to zrobić jedynie przy wzmocnio-

nych założeniach o dystrybuancie zmiennej losowej.

2.1. Przedstawienie asymptotyczne dla statystyk pozycyjnych. Niech Y będzie zmienną losową o dystrybuancie F takiej, że

(3) (4)

p = inf{x: F(x) > 0 } > — oo;

lim + = ya dla pewnego a > ^0, wszystkich y > ^0. (-o F(p + t)

Niech Y1:n, ..., Y„.„ będzie ciągiem statystyk pozycyjnych n niezależnych

O stałoprecyzyjnej estymacji minimum funkcji regresji 37 obserwacji zmiennej losowej Y. Wtedy ciąg

« . ’ gdzie a„ = sup-Jy: F(y) sg - n, ma przy n-> oo rozkład graniczny o dystrybuancie

= P,

y

y ^ o ,

zwany w zastosowaniach technicznych rozkładem Weibulla.

Jeżeli i7 jest ściśle monotoniczna na [g, + 00), to an = F~1(\/n) — g. Jeżeli ciąg ^{( a n)} zastąpimy ciągiem (a'„) takim, że lim ( -7 ) = 1, to powyższa zbieżność

n-» ao \ ® n j

też zachodzi.

De f i n i c j a. Funkcję nieujemną F spełniającą warunki (3) i (4) nazywamy

funkcją regularnie zmieniającą się w g , a liczbę a — wskaźnikiem regularnej zmienności funkcji F.

Jest to uogólnienie regularnej zmienności w + 00 (W. Feller [7], L. de Haan [12]), także rozpatrywane przez de Haana w pracy [13].

De Haan [13] podał rozkład graniczny wektora k pierwszych statystyk pozycyjnych z n-elementowej próby przy k ustalonym i n dążącym do + 00.

Mianowicie, wektor

((Yi:n-F)/vn, ...,(Y k:n- g )/v n), gdzie

'n = supjy: — log(l —F(y))

ma przy n-+ 00 rozkład graniczny identyczny z rozkładem wektora (Zi/a, (Zj + Z 2)1/a, ..., (Z, + ... + Z k)V%

gdzie Z l 5. . . , Z fc są niezależnymi zmiennymi losowymi o identycznym roz- kładzie wykładniczym z parametrem 1. Wynika z tego, że statystyka

Wm Yun-V

Y2..n~ Y Ul

ma rozkład graniczny taki, jak

W = Z \/a

(Zi + Z2)1/a- Z ł /a’

czyli ma graniczną dystrybuantę

Ma(x) (x/(l+ x))a, X > 0,

0, x ^ 0.

38 M. Mę czarski

Dla „dużych” n można więc na statystyce Wn oprzeć konstrukcję przedziału ufności dla //.

Niech ky będzie taką liczbą, że Ma(ky) = y. Wtedy ky = (y_1/a —1)_1. Jeżeli I(n) = lY Un- k y(Y2:n- Y l:n), 71:„],

to

lim P(pe I(n)) = y.

n~>oo

Współczynnik a może być znany przy pewnych mocniejszych założeniach o dystrybuancie F (które podamy później). Jeżeli nie można poczynić takich założeń, trzeba skonstruować estymator parametru a. De Haan [13] dowodzi, że statystyka

a„ = (log/(n))/^log^ ):n_ ^ 3:n^, gdzie l(n) jest ciągiem liczb naturalnych takim, że

lim l(ń) = oo, lim (l(n)/n) = O (np. l(ń) = [>/«]),

n~* oo n~> cc

dąży według prawdopodobieństwa do a. Wtedy zamiast ky stosujemy esty- mator powstały przez zamianę a na estymator słabo zgodny a„.

2.2. Sekwencyjny przedział ufności o zadanej długości i zadanym poziomie ufności. Długość przedziału ufności I(n) wynosi ó(n) = (Y2:n — Yl:n)ky. Oczy- wiście, lim <5(n) = O z pr. 1. Ustalmy d > 0. Niech

oo

(5) R = R(d) = inf{n: (Y2:n- Y u„)£„ ^ d}.

Wtedy S(R(d)) ^ d.

Równość graniczną lim P(pG I(R(d))) = y udało się udowodnić jedynie przy zastąpieniu założenia (4) silniejszym warunkiem

(6) F(x + p) = Cx<x + o{xa), przy x->0 dla pewnego C > 0 i pewnego a > 0, oraz F jest ściśle monotoniczna w {p, +oo).

Taka dystrybuanta również zmienia się regularnie w p ze wskaźnikiem a.

Wówczas zbieżność estymatora a„ jest silniejsza, co jest treścią poniższego lematu.

Lem at 1. Jeżeli dystrybuanta F spełnia warunki (3) i (6), to zdefiniowany wcześniej estymator &„ współczynnika a jest mocno zgodny.

Y —Y I

D o w ó d . Wykażemy, że log^ n):n 3:"/logl{n) dąży do a 1 z pr. 1.

*3:n *2:n I

O stałoprecyzyjnej estymacji minimum funkcji regresji 39 Niech

(7) 9

Zatem _{v .} = * ( ! ) - W

yI l(n):n

g(x) = - lo g ( l- F ( x ) ) , h{x) = g Ł(x).

3 :n

Y3..n~ Y 2:n

Yf\n):n V ( j _ Y 3 .n ~ f i Yi(n):n Af

Y3:n- Y 2:n Wtedy

lo g ^ W log5 ”):" **

3:n log/(n) =

log 1-

Yh„):„ — A4

Y 3 : n - Y 2:n I v log/(n) log/(n)

Udowodnimy kolejno, że gdy n -> oo, wtedy:

(a) v„ = 0 («_1/a),

, Y*.n- Y 2.n log——----^

log/(n)

(b) dąży z pr. 1 do pewnej dodatniej zmiennej losowej Ut , (c) (Y3:„-fi)/(Yi(n):n- j i) ^ 0 z pr. 1,

(d) log--(n):n—-/lo g /(n )-> a _1 z pr. 1.

/ Ad (a): Ponieważ lim

df x^u

y = g(x + ^) = 0 (xa), gdy otrzymujemy, iż

-log(l-F(x)) , .

---- --- = 1, więc z założenia (6) wynika, że g(*+A<) =

g(Wy))

c*

{h(y)~nY’

x -»•(). Korzystając z tego, że

(8) h{y)-fi = 0 (y1/a), gdy y-> 0, a stąd v„ = 0 (n“ 1/a).

Ad (b): Z definicji funkcji <7 wynika, że jeżeli Y ma rozkład o dystry- buancie F , to V = g(Y) ma rozkład wykładniczy o średniej 1. Wtedy Km = g(Yk:n) jest Ac-tą statystyką pozycyjną z n-elementowej próby z rozkładu wykładniczego. Wynika z tego, że

( y 3 :n ~ Y2 , n V \ = ( ( ^ ( ^ 3 ;„) ~ g ) ~ ( h ( V 2J ~ /* ))/> „

( V t f - V j i f i / n - 1* (ViSt-VlSt) n1'*

co wobec faktu, że h(V3:n) — fi = 0{V3J*) oraz vn — 0(n~1/a), gdy n->oo, dąży y _ y

do 1 z pr. 1, gdy n-> oo. Z tego wynika, że — ---— ~ n1/a{V3J * - V ^ ) z pr. 1

gdy n —> oo. v,

40 M. Męcz ars ki

Korzystając z reprezentacji zmiennej losowej Vk:n podanej przez A. Renyiego [26], mamy

i/« l/a

» 'H v g -vłZ )

[ z 1+— z 2+— z 3J

- (Z i + Z

2

1

n~* 00

gdzie Z t , Z 2, Z 3 są niezależnymi zmiennymi losowymi o rozkładzie wykładni- czym ze średnią 1 (można je wyznaczyć).

Ad (c): Wykażemy najpierw, że

(9) Ym-.n~V = OWłtf.J, gdy n->oo z pr. 1.

Ponieważ yiM:n = h(Vl(n):n), wystarczy wykazać, że z pr. 1. Korzysta- jąc ponownie z reprezentacji Renyiego, mamy

nK/nl.„ 1 ( n n

l{ń) = /^ V Zl + wr i Z2+ ' * ‘ + n-l{n) + \ Z m Prawa strona powyższej równości spełnia następującą nierówność:

Z < -1- ... -f- Zi,n\ 1 ( n n

J(ń) l Z l + ■" + n - l ( n ) + l Zlin) ' ^

< Z x+ ... + Z (_/(n) n — l(ń) + 1 _l(n)

Ponieważ — —^{2 + - fZ}* — dąży przy n-^oo do EZ1 = 1 z pr. 1 (wynika to z

/(»)

mocnego prawa wielkich liczb i z faktu, że

n-l(n) + 1 „. 1), więc

(10⁾ 1 z pr. 1, gdy n->co,

/(n)

co w o b ec--- >-0 daje Vl(n).n-+0 z pr. 1. Stąd wynika (9)./(n)

n

( U )

Zauważmy, że wobec l(n)-*oo mamy

n _ n

z i + „ _ i Z 2 + ••• + „ - ( ( „ ) + i z «"> oo z pr 1.

Y V \ la

Na mocy (9) otrzymujemy ——---~ - • Korzystając jeszcze raz z repre-

*l(n):n M l(n):n

O stałoprecyzyjnej estymacji minimum funkcji regresji 41 zentacji Renyiego, mamy

K 1/a' 3:n

v l(n):n

^ n ~ n

Z i H---tZ 7 H---—Z- n — 1 n — 2

Z i +n— 12-, + ... +

« — /(«) + 1 ^'l(n):n

co wobec (11) dąży do 0 z pr. 1.

Ad (d): Mamy, jak poprzednio,

(Yi(n)..n-ti)/v n ~ («k)(„):n)1/a, a więc

log - ^ ^ / l o g / ( n ) = i ( l o g ( ^ ^ ) + log/(n))/log/(n), co na mocy (10) dąży do a -1 z pr. 1. ■

U w aga. Przy założeniach lematu 1 estymator £„ kwantyla ky jest mocno zgodny.

Własności reguły zatrzymania R(d) podajemy w następującym twierdzeniu.

Tw ie r d z e n ie 6. Dla zdefiniowanej wzorem (5) reguły zatrzymania R{d), przy założeniach (3) i (6),

(i) (V d > 0) ER{d) < oo, P(R(d) < + oo) = 1,

00 lim e I(R(d))) — y.

d -0

D o w ó d twierdzenia 6 wymaga dwóch następujących lematów.

Le ma t 2 (J. Galambos [10], Lemma 6.2.3). Niech X 1, X 2, . . . będą niezależnymi zmiennymi losowymi, dla których

lim P (X 1:n < an + bnx) = H(x),

n-* oo

H(x) jest dystrybuantą zmiennej losowej niezdegenerowanej. Niech (V n) N(n) będzie zmienną losową o wartościach naturalnych taką, że lim = t według

n~*ao ^

prawdopodobieństwa, gdzie x jest dodatnią zmienną losową. Wtedy dla każdego zdarzenia B

lim P {{X 1:Nin) < aN{n) + bN(n)x} n B) = H(x) P(B).

n-> oo

Lemat 3. Dla reguły R(d) i dla reguły r0(d) zdefiniowanej wzorem (12) r0(d) = inf {«: vnky ^ d},

42 M. Męczarski

przy założeniach (3) i (6) zachodzą równości

(i) lim R(d) = + oo z pr. 1;

(ii)

a -o

lim r0(d) = + oo;

a-o

r R W r* i lim—— = C z pr. 1, a-o i*o(d)

gdzie C = (Zj + Z 2)1/a — Z i/a, i Z2 pewnymi zmiennymi losowymi, nieza- leżnymi, o rozkładzie wykładniczym ze średnią 1.

D o w ó d lematu 3. (i) Oczywiste.

(ii) Niech

Z. = z ; = n ' l ' i V t f - V L t ) ,

z': = n1!H V łS — Vtf~).

Napiszmy

R{d) = inf{«: z„ ^ (d/lcjv"1}.

Podobnie jak w dowodzie lematu 1, łatwo sprawdzimy, że (13) lim z j ź n = 1 z pr. 1.

n ~ * od

Na mocy reprezentacji Renyiego dla statystyk pozycyjnych z rozkładu wykład- niczego o średniej 1

lim z'n = C = (Z1+ Z 2)l/a- Z \ /a df z pr. 1.

n~> oo

Stąd, na mocy lematu 1.

(14)

Na mocy (13) i (14)

lim z" = C z pr. 1.

(15) lim -J = 1 z pr. 1

Ponieważ zR ^ d/&R .

1 z r - i > d/&R - 1

(16) Zp ^

, więc

R — 1

d/&R ^.VR- 1 ^R-l_<

R ^ Rr Zr . 1.

Ponieważ na mocy tezy (i) R{d)-+ oo z pr. 1 przy d ->O, więc z (15) i (14) wynika, że lim zR = lim zR_ x = £ z pr. 1. Skoro v„ = 0(n 1/a), więc ^{' R - l} 1. Na mocy

a-o a-o

O stałoprecyzyjnej estymacji minimum funkcji regresji 43 uwagi po dowodzie lematu 1 otrzymujemy kR- j £ R-+l z pr. 1. Zatem z (16) wynika zbieżność d/k z pr. 1. Z kolei £R->ky z pr. 1 oraz vR = 0 (R ~ 1/Cl);

VR

stąd więc wynika, że ->£* z pr. 1 przy d-»0. Ponieważ ^ ->-1, więc

yk7/a) (ky/df

lim —— = C z pr. 1. ■

d-o^o(^)

D o w ó d twierdzenia 6.

(i) ER(d) = X nP(K = n) = £ P(P ^ n) =

=

-

>d/H2,..., y2:„_, - y1;„_, > i /£._,)<

< y ’ 1 ~ ^l:n- 1 ^ ^/^n- 1

\

Dla dużych n wyrazy tego szeregu są tego rzędu, co P (Zj+Z2)1/a —z j /<x > < M ^1 + ^2 >

= p 0 ( 1 , 2) > d/kyX

(G(l, 2) oznacza zmienną losową o rozkładzie gamma z parametrami 1 i 2).

Z (8) wynika, że zbieżność rozpatrywanego szeregu otrzymamy ze zbież- ności szeregu £ e- "(n+1). A zatem ER(d) < oo, skąd P(R{d) < + 00) = 1.

(ii) Lemat 3 oraz zbieżność P(/re/(n)) do y (ust. 2.1) pociągają za sobą spełnienie założeń lematu 2, z którego bezpośrednio wynika teza (ii) twierdzenia 6. ■

2.3. Sytuacje, w których może być znany wskaźnik regularnej zmienności a.

Z wywodów de Haana [13] wynika, że

(i) jeżeli istnieje pierwsza pochodna prawostronna dystrybuanty F w punkcie g i jest ona dodatnia, to ot = 1;

(ii) jeżeli pierwsza pochodna prawostronna F w fi jest równa 0, a druga pochodna prawostronna jest dodatnia, to a = 2,

a więc można nie korzystać z estymatora dn.

3. Asymptotycznie efektywna procedura estymacji stałoprecyzyjnej minimum zmiennej losowej o dystrybuancie regularnie zmieniającej się. W artykule [6] W.

Eschenbach skonstruował asymptotycznie zgodny sekwencyjny przedział ufności dla minimum zmiennej losowej spełniającej (3) i (6) przy a = 1. Jego dowody poprawił A. Sierociński [29]. Okazuje się, że w przedstawiony przez nich sposób można skonstruować przedział ufności przy założeniach (3) i (4)

44 M. Mę czarski

bez estymacji parametru cc. Opisaną niżej konstrukcję takiej asymptotycznie efektywnej metody sekwencyjnej podaje praca [23].

Można mianowicie udowodnić, że

lim P (X 1:qo(d)- f i < d ) = y,

d - 0

jeżeli

^ • rf ^ log(l-y) |

ą o ( d ) =

Ponieważ pi i F są nieznane, zastępujemy je estymatorami: pi estymatorem X Vn, F dystrybuantą empiryczną Fn opartą na obserwacjach X ±, ..., X n. Otrzymu- jemy regułę zatrzymania

Q(d) = inf<«: n ^ log(l — y) log(l-F„(d + X , J ) Można udowodnić następujące

Tw i e r d z e n ie 7. ([23]). Dla zmiennej losowej X o dystrybuancie F spełnia- jącej (3) i (4) i dla zdefiniowanej wyżej reguły zatrzymania Q(d)

(i)

(ii) (iii) (iv) (v)

lim Q(d) = o o z pr. 1, lim E(Q(d)) = co;

d -0 d-> O

r 1

lim—— = 1 z pr. 1;

d-*o ?o(“)

(V d > 0) EQ(d) < oo i P(Q(d) < oo) = 1;

EQ(d)

lim — — = 1 (asymptotyczna efektywność);

d->o 4oW

(V pteR) limP(neI{Q(d))) = y,

d-»0

gdzie I{n) = [ X l:n — d, X 1:n] (asymptotyczna zgodność). df m

4. Zastosowanie estymacji minimum zmiennej losowej do minimalizacji funkcji regresji. Niech f : A^>R, gdzie A c R jest zbiorem zwartym o mierze Lebesgue’a niezerowej, będzie funkcją ciągłą, niech <p(x) = /(x ) + e, gdzie s jest zmienną losową o średniej O i o rozkładzie skoncentrowanym na przedziale [ —s, s], s > 0, oraz niech / w punkcie x0 e A przybiera swoje globalne minimum f ( x 0) = pi.

Niech X będzie zmienną losową o rozkładzie jednostajnym na A. Będziemy poszukiwać minimum zmiennej losowej Y = ę(X). Dystrybuanta F tej zmien- nej losowej jest zdefiniowana jako F(x) = P[f{X ) + e ^ x), przy czym inf {x: F(x) > 0} = pi — s. W tym przypadku Yj:n dąży z pr. 1 do pi — s przy n -*■ oo. Założymy, że s jest znane.

O stałoprecyzyjnej estymacji minimum funkcji regresji 45 Dystrybuanta F jest splotem dystrybuant H t i H2 zmiennych losowych f(X ) i £. Załóżmy, że dystrybuanta H2 zmienia się regularnie w — s ze współczynnikiem /?.

Niech /i(x) = f(x) —fi. De Haan [13] pokazuje, że z regularnej zmiennościdf funkcji /j w punkcie x0 ze współczynnikiem a ~1 wynika regularna zmienność dystrybuanty H l w n ze wskaźnikiem a. Poza tym, jak poprzednio wspomniano:

1) jeżeli f'(x 0) istnieje i jest dodatnia, to a -1 = 1;

2) jeżeli f'(x 0) = 0, f"(x0) istnieje i jest dodatnia, to a-1 = 2.

Można też wykazać, że zachodzi analogiczna zależność między spełnie- niem warunku (6) dla i jego spełnieniem dla H t .

Trzeba jeszcze zbadać, czy splot F dwóch dystrybuant regularnie zmienia- jących się jest też dystrybuantą regularnie zmieniającą się.

Jeżeli £ ma rozkład jednostajny, to można wykazać przez obliczenie splotu i zastosowanie własności funkcji regularnie zmieniających się, że F zmienia się regularnie w fi — s ze wskaźnikiem a +1 (korzystamy z następującej łatwej adaptacji lematu 1.2.2 de Haana [12]: jeżeli funkcja / zmienia się regularnie

fl + X

w fi ze współczynnikiem q > —1, to f*(x) = J f(t)dt zmienia się regularnie w 0 ze współczynnikiem £ + 1). Analogiczną własność otrzymamy, zastępując u regularną zmienność spełnieniem warunku (6).

Jeżeli natomiast założymy, że:

1) £ ma rozkład symetryczny na [ — s, s], ma gęstość, dystrybuanta spełnia warunek (6) w —s ze współczynnikiem /?,

2) dystrybuanta H 1 spełnia warunek (6) ze współczynnikiem a,

to można wykazać przez bezpośrednie obliczenie i skorzystanie z (6), że dystrybuanta F spełnia warunek (6) w fi — s ze współczynnikiem ot + fi.

Można więc w opisanych przypadkach szacować minimum zmiennej losowej (p(X) przy zastosowaniu podanych w niniejszym rozdziale metod.

Podziękowanie. Autor chciałby wyrazić wdzięczność doc. dr. hab.

Ryszardowi Zielińskiemu, z którego inspiracji i przy którego cennej pomocy niniejsza praca powstawała, a również dr. Jackowi Koronackiemu za wiele bardzo ważnych komentarzy i uwag.

Bibliografia

[1] F. J. Anscombe, Large-sample theory of sequential estimation, Proc. Cambridge Phil. Soc.

48 (1952), 600-607.

[2] B. M. Bennett, On the performance characteristics of certain methods of determining confidence limits, Sankhya 18 (1957), 1 -12.

[3] Y. S. Chow, H. R ob bin s, On the asymptotic theory of fixed-width sequential confidence intervals for the mean, Ann. Math. Statist. 36 (1965), 457-462.