Nr 2 2004
Alessandro ZINI*
STOPPING RULES FOR THE ESTIMATION OF THE PARAMETERS
OF BIVARIATE AND TRIVARIATE BINOMIAL DISTRIBUTIONS
In this work one step look-ahead rules for the estimation of the parameters of the bivariate and trivariate distributions are given. They turn out to be asymptotically optimal and may be use-ful in many statistical contexts, for example, in statistical quality control and customer satisfaction analyses.
Keywords: binominal distribution, estimation, success categorization
1. Introduction
Several categorical data analyses consider dichotomous characters imposing either statistical independence or multinomial dependence, which natural statistical models of dependence ignore.
The binomial bivariate distribution, defined by Zenga [5], is the natural structure of the number of successes of two characters in n independent extractions. Zini [7] generalises it to three characters, which exhibit univariate margins, binomial and bi-variate ones, as binomial bibi-variate. For the general properties of these distributions, see the cited works. In this article, a sequential problem of estimating the parameters of these models in a Bayesian framework is considered. Assuming conjugate prior (Dirichlet) and conjugate loss function (including quadratic loss), a one step
look-ahead stopping rule is deduced for both bivariate and trivariate binomial statistical
models. By the principle of independence between the stopping rule and the estima-tion method (Berger [1]), this rule, which exhibits asymptotical optimality properties,
* Dipartimento di Metodi Quantitativi per le Scienze Economiche ed Aziendali, Università degli Stu-di Stu-di Milano-Bicocca, Piazza dell’Ateneo Nuovo, 1 – 20126 Milano, Włochy, e-mail: alessandro.zini@ unimib.it.
turns out to be appropriate to the problem, allowing one to take into account informa-tion costs, both of inference and sampling.
2. The statistical models
This section presents the bivariate and trivariate binomial distributions. The binomial bivariate model (X,YP11,P10,P01), Zenga [5]:
∑
− + = − − − − + = = = ) , ( min ) , 0 ( max 11 11 11 11 01 10 11 11 !( )!( )!( )! ! ) , , , ( y x n y x n n x n y n n x y n n P P P y Y x X P 11 11 11 11 00 01 10 11n Px n Py n Pn x y n P ⋅ − ⋅ − − − + × . (1)Let P=(P111,P110,...,P001)′. The binomial trivariate model, Zini [7]:
111 11 11 11 111 11 111 11 111 11 11 ! P( , , ) !( )!( )!( )! n n n n n X x Y y Z z P n n n n n n n ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ = = = = × − − −
∑∑∑∑
, )! ( 1 )! ( )! ( 1 )! ( 1 1 1 11 11 111 111 11 1 1 111 11 11 111 1 1 11 111 11 111 1 1 111 11 111 000 001 010 100 011 101 110 111 11 1 1 11 111 111 1 1 11 111 11 11 111 1 1 11 ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ + + + − − − − + − − + − − + − − − − − ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ × × × + + + − − − − × + − − + − − × + − − × n n n n z y x n n n n z n n n y n n n x n n n n n n n P P P P P P P P n n n n z y x n n n n z n n n y n n n x (2) where: ), ; min( ), ; min( ), ; min( ), ; ; ; min( 111 11 111 1 1 11 111 11 111 11 1 1 111 11 111 1 1 11 11 1 1 11 11 1 1 11 111 n n y n n z n n n x n n z n n n y n n x n n n n z y x n n n n n + − + − ≤ + − + − ≤ + − + − ≤ + + + − − − ≤ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ (3)and
(
)
). ; max( ), ; max( ), ; max( ; ; ; 0 max 111 11 1 1 111 11 111 11 11 111 1 1 111 11 1 1 111 11 11 11 1 1 11 11 1 1 111 n n n n z y x n n n n n n z y x n n n n n n z y x n n y n n x n n z n n n + − − − + + ≥ + − − − + + ≥ + − − − + + ≥ − + − + − + ≥ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ (4)3. The one step look-ahead rules and their properties
In this section, one step look-ahead rules for both models are given. De Groot’s [3] notation will be used in the sequel.
Let write model (1) in the following way:
, ) ( )! ( ! ! ) , ( 11 11 11 11 11 4 3 2 1 ) , ( min ) , 0 ( max 11 11 11 n y x n n y n x n y x n y x n P P P P n y n x n n P y Y x X P + − − − − − + = ⋅ ⋅ × − − = = =
∑
, (5) where P=(P1,P2,P3)′, and∑
= − = 3 1 4 1 i i P P .The prior is assumed to be conjugate (Dirichlet):
) ( ) ( ) , , ( 3 4 1 1 4 1 4 1 3 2 1 P P P I P P h S i i i i i i i ⋅ =
∏
∏
∑
= − = = α α Γ α Γ , (6) where ( , , ): 0, 1 . 1 1 < > ≡∑
= k i i i k k P P P PS L In the sequel the covariance matrix will be
called V(α), α ≡(α1,α2,L,αk+1)′. So, the posterior has the form:
∫
∏
∑
∑
∏
+ − − − − = − + − − − − = − ⋅ ⋅ + − − − − ⋅ ⋅ + − − − − = 3 11 11 11 11 11 11 11 11 11 11 4 3 2 1 11 11 11 11 4 1 1 4 3 2 1 11 11 11 11 4 1 1 )! ( )! ( )! ( ! ! )! ( )! ( )! ( ! ! ) , ( S n y x n n y n x n n i i n y x n n y n x n n i i dP P P P P n y x n n y n x n n P P P P P n y x n n y n x n n P y x P h i i α α∫∑
∑
− + − − + − − + − − + − + − + − − + − − + − − + − + ⋅ ⋅ + − − − − ⋅ ⋅ ⋅ + − − − − = 3 11 4 11 3 11 2 11 1 11 11 4 11 3 11 2 11 1 11 1 4 1 3 1 2 1 1 11 11 11 11 1 4 1 3 1 2 1 1 11 11 11 11 )! ( )! ( )! ( ! ! )! ( )! ( )! ( ! ! S n y x n n y n x n n n y x n n y n x n n dP P P P P n y x n n y n x n n P P P P n y x n n y n x n n α α α α α α α α{
}
(
) (
) (
) (
)
∑
∑
∑
+ + − − − − + − − + − + − + + ⋅ ⋅ ⋅ + − − − − = = − + − − + − − + − − + − + 11 11 4 11 3 11 2 11 1 11 . )! ( )! ( )! ( ! )! ( )! ( )! ( ! 1 4 1 11 11 11 11 11 4 11 3 11 2 11 1 1 4 1 3 1 2 1 1 11 11 11 11 n i i n y x n n y n x n n n n y x n n y n x n n y x n n y n x n P P P P n y x n n y n x n α Γ α Γ α Γ α Γ α Γ α α α α (7) The loss function (quadratic, as a particular case) is assumed to be conjugate:∏
= − ′ − = 4 1 ) ( ) ( ) , ( i b ii P d P A d P d P L , (8) with kkA× semidefinite positive (symmetric) matrix.
The decision risk at stage n, imposing δi =αi+bi in order to exist, is as follows:
∫
∈ = 3 3 ) , ( ) , ( inf )] , ( [ 0 S S d L P d h Px y dP y x h ρ∫
∑
∑
∑
+ + − − − − + − − + − + − + + ⋅ ⋅ ⋅ + − − − − − ′ − = = − + − − + − − + − − + − + ∈ 3 11 11 4 11 3 11 2 11 1 11 3 4 1 11 11 11 11 11 4 11 3 11 2 11 1 1 4 1 3 1 2 1 1 11 11 11 11 )! ( )! ( )! ( ! ) ( ) ( ) ( ) ( } { )! ( )! ( )! ( ! ) ( ) ( inf S n i i n y x n n y n x n n S d dP n n y x n n y n x n n y x n n y n x n P P P P n y x n n y n x n d P A d P α Γ α Γ α Γ α Γ α Γ δ δ δ δ , )! ( )! ( )! ( ! ) ( ) ( ) ( ) ( )]} ; , ( [ { )! ( )! ( )! ( ! ) ( ) ( ) ( ) ( 11 11 4 1 11 11 11 11 11 4 11 3 11 2 11 1 11 4 1 11 11 11 11 11 4 11 3 11 2 11 1∑
∑
∑
∑
+ + − − − − + − − + − + − + + ⋅ + + − − − − + − − + − + − + + = = = n i i n n i i n n y x n n y n x n n y x n n y n x n n y x V A Tr n n y x n n y n x n n y x n n y n x n α Γ α Γ α Γ α Γ α Γ δ δ Γ δ Γ δ Γ δ Γ δ Γ (9) where δn(x,y;n11)=[(δ1+n11);(δ2+x−n11);(δ3+y−n11);(δ4+n−x−y+n11)]′, “Tr” is the trace operator. The expected risk with respect to the predictive at stage (n+1) has the following form:)]} ) , ( ) , ( ) , ( ); , (( [ { 0h XY RS XY xy Eρ = ∑∑ ∑ ∑ ∑ ∑ = = = + = + + + − − − − − + − + + − − − − + + − + + − + + + + + ⋅ + + + − − − − + − + − + + − − − − + + − + + − + + + = 1 0 1 0 4 1 11 11 11 11 11 4 11 3 11 2 11 1 11 1 4 1 11 11 11 11 11 4 11 3 11 2 11 1 11 11 1 )! ( )! ( )! ( ! ) 1 ( ) ( ) ( ) ( )]} ; , ( [ { 1 )! 1 ( )! ( )! ( ! ) 1 ( ) ( ) ( ) ( r s n i i n n i i n n s y r x n n s y n r x n n s y r x n n s y n r x n n s y r x V A Tr n n s y r x n n s y n r x n n s y r x n n s y n r x n α Γ α Γ α Γ α Γ α Γ δ δ Γ δ Γ δ Γ δ Γ δ Γ + + − − − − + − − + − + − + + + + + − − − − + − + − + + − − − − + + − + + − + + + ×
∑
∑
∑
∑
= = 11 11 4 1 11 11 11 11 11 4 11 3 11 2 11 1 4 1 11 11 11 11 11 4 11 3 11 2 11 1 )! ( )! ( )! ( ! ) ( ) ( ) ( ) ( 1 )! 1 ( )! ( )! ( ! ) 1 ( ) ( ) ( ) ( n i i n i i n n y x n n y n x n n y x n n y n x n n n s y r x n n s y n r x n n s y r x n n s y n r x n α Γ α Γ α Γ α Γ α Γ α Γ α Γ α Γ α Γ α Γ∑∑
∑
∑
∑
∑
= = = + = + + − − − − + − − + − + − + + + + ⋅ + + + − − − − + − + − + + − − − − + + − + + − + + + = 1 0 1 0 4 1 11 11 11 11 11 4 11 3 11 2 11 1 11 1 4 1 11 11 11 11 11 4 11 3 11 2 11 1 11 11 )! ( )! ( )! ( ! ) ( ) ( ) ( ) ( )]} ; , ( [ { 1 )! 1 ( )! ( )! ( ! ) 1 ( ) ( ) ( ) ( r s n i i n n i i n n y x n n y n x n n y x n n y n x n n s y r x V A Tr n n s y r x n n s y n r x n n s y r x n n s y n r x n α Γ α Γ α Γ α Γ α Γ δ δ Γ δ Γ δ Γ δ Γ δ Γ . )! ( )! ( )! ( ! ) ( ) ( ) ( ) ( )]} ; , ( [ { )! ( )! ( )! ( ! ) ( ) ( ) ( ) ( 1 11 11 4 1 11 11 11 11 11 4 11 3 11 2 11 1 11 4 1 11 11 11 11 11 4 11 3 11 2 11 1 4 1 4 1∑
∑
∑
∑
∑
∑
+ + − − − − + − − + − + − + + ⋅ + + − − − − + − − + − + − + + + + + = = = = = n i i n n i i i i i i n n y x n n y n x n n y x n n y n x n n y x V A Tr n n y x n n y n x n n y x n n y n x n n n α Γ α Γ α Γ α Γ α Γ δ δ Γ δ Γ δ Γ δ Γ δ Γ δ δ (10) So, by (9) and (10), the one step look-ahead rule for the problem (5), (6) and (8) has the form:} )]} ) , ( ) , ( ) , ( ); , (( [ { )] , ( [ : 0 inf{ 0 0 1 n hx y E h X Y RS X Y x y c TL= ≥ ρ − ρ = ≤ . )! ( )! ( )! ( ! ) ( ) ( ) ( ) ( 1 )]} ; , ( [ { )! ( )! ( )! ( ! ) ( ) ( ) ( ) ( : 0 inf 11 11 4 1 11 11 11 11 11 4 11 3 11 2 11 1 4 1 11 4 1 11 11 11 11 11 4 11 3 11 2 11 1 ≤ + + − − − − + − − + − + − + + + + ⋅ + + − − − − + − − + − + − + + ≥ =
∑
∑
∑
∑
∑
= = = c n n y x n n y n x n n y x n n y n x n n n y x V A Tr n n y x n n y n x n n y x n n y n x n n n i i i i n n i i α Γ α Γ α Γ α Γ α Γ δ δ δ Γ δ Γ δ Γ δ Γ δ Γ (11)Let us write the binomial trivariate model (2) (Zini [7]) the following way:
∑∑∑∑
⋅ ⋅ ⋅ ⋅− ⋅ − ⋅ − ⋅ = = = = 111 11 11 11 111!( )!( )!( )! ! ) , , ( 11 11 111 1 1 111 11 n n n n n n n n n n n n P z Z y Y x X P , )! ( 1 )! ( )! ( 1 )! ( 1 1 1 11 11 111 111 11 1 1 111 11 11 111 1 1 11 111 11 111 1 1 111 11 111 8 7 6 5 4 3 2 1 11 1 1 11 111 111 1 1 11 111 11 11 111 1 1 11 ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ + + + − − − − + − − + − − + − − − − − ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ × × × + + + − − − − × + − − + − − × + − − × n n n n z y x n n n n z n n n y n n n x n n n n n n n P P P P P P P P n n n n z y x n n n n z n n n y n n n x (12) where P=(P1,P2,L,P7)′∈S7, = −∑
7 01 8 1 i i PP , and limits given by (3) and (4).
It is possibile to show that, assuming conjugate prior and loss (like in (6) and (8)) for the model (12), the one step look-ahead rule has the following form:
× − − − ⋅ + − + − + − + + ⋅ ⋅ ≥ =
∑∑∑∑
∑
= 111 11. .1.1 .11 !( )!( )!( )! ) ( ) ( ) ( ) ( )]} ; , ( [ { : 0 inf 111 11 . 111 1 . 1 111 . 11 111 8 1 111 11 . 4 111 1 . 1 3 111 . 11 2 111 1 1 n n n n i i n L n n n n n n n n n n n n n n n z y x V A Tr n T δ Γ δ Γ δ Γ δ Γ δ Γ δ + + + − − − − + − − − − + − + + + − − − − + + − − + − − + + − + × )! ( )! ( )! ( )! ( ) ( ) ( ) ( ) ( 11 . 1 . 1 . 11 111 111 11 . 1 . 1 . 11 11 . 111 . 11 11 . 1 . 1 . 11 111 8 111 11 . 1 . 1 7 . 11 11 . 6 111 . 11 5 n n n n z y x n n n n z n n y n n x n n n n z y x n n n n z n n y n n x Γ δ Γ δ Γ δ δ Γ − − − ⋅ + − + − + − + + ⋅ ×∑∑∑∑
∑
= 111 11. .1.1 .11 !( )!( )!( )! ) ( ) ( ) ( ) ( 111 11 . 111 1 . 1 111 . 11 111 8 1 111 11 . 4 111 1 . 1 3 111 . 11 2 111 1 n n n n i i n n n n n n n n n n n n n n n α Γ α Γ α Γ α Γ α Γ 1 11 . 1 . 1 . 11 111 111 11 . 1 . 1 . 11 11 . 111 . 11 11 . 1 . 1 . 11 111 8 111 11 . 1 . 1 7 . 11 11 . 6 111 . 11 5 )! ( )! ( )! ( )! ( ) ( ) ( ) ( ) ( − + + + − − − − + − − − − + − + + + − − − − + + − − + − − + + − + × n n n n z y x n n n n z n n y n n x n n n n z y x n n n n z n n y n n x Γα Γα Γ α α Γ ⋅ + + ≤∑
= c n i i 8 1 1 δ , (13) where); ( ); ( ); ( ); ( ); [( ) ; , (x y z 1 n111 2 n11. n111 3 n1.1 n111 4 n.11 n111 5 x n11. n111 n ′≡ δ + δ + − δ + − δ + − δ + − + δ ] ) ( ); ( ); (δ6+y−n.11−n11. δ7+z−n1.1−n.11+n111 δ8+n−x−y−z−n111+n11.+n1.1+n.11 ′. For Mn ≡(n+
∑
δi)⋅ρ0(h) is a limited martingale, see Zini [6] and Shapiro et al. [4], the stopping rules (11) and (13) are asymptotically optimal in the sense of Bickel et al. [2].4. Conclusions
In this work, a one step look-ahead rule has been deduced for binomial bivariate and trivariate statistical models under very general assumptions. Next step will be the generalisation of that rule when, at any sampling stage, m observations are drawn from a binomial bivariate or trivariate distribution.
Bibliography
[1] BERGER J. O., Statistical decision theory and Bayesian analysis, Springer-Verlag, New York, 1985 [2] BICKEL P. J., YAHAV J. A., Asymptotically optimal Bayes and minimax procedures in sequential
analysis, Annals of Statistics, 2, 1968, 416–456.
[3] DE GROOT M. H., Optimal statistical decisions, Mc Graw-Hill, New York, 1970.
[4] SHAPIRO C., WARDROP R., Bayesian sequential estimation for one-parameter exponential families, J. Amer. Statist. Assoc., 75, 1980, 984–988.
[5] ZENGA M., La distribuzione binomiale bivariata, Statistica, 1968, No. di gennaio-marzo 83–101. [6] ZINI A., La regola d’arresto “miope” nella stima sequenziale bayesiana in presenza di dati
catego-riali, Quaderni di Statistica e Matematica applicata alle Scienze Economico-Sociali, Vol. XIX, No. 1–2 – May 1997, 39–51.
[7] ZINI A., La distribuzione binomiale trivariata, Accepted by and to be published in Statistica & Applicazioni, 2003, No. 1, anno 2004.
Reguła stopu w estymacji parametrów uogólnionych rozkładów dwumianowych
W pracy przedstawiono rozszerzenie technik estymacji parametrów w uogólnionych rozkładach dwumianowych. Rozważane uogólnienia dotyczą kategoryzacji sukcesów. W niektórych przypadkach w analizie danych jakościowych rozważa się dychotomiczny charakter narzucającej się statystycznej zależności lub wielomianowej niezależności, ignorując istnienie naturalnych modeli zależności.
Uogólniony w kontekście dwóch kategorii sukcesów rozkład dwumianowy, wprowadzony przez Zenga (1968), określa naturalną strukturę liczby sukcesów dwóch kategorii w n niezależnych próbach. Zini rozszerzył kategoryzację sukcesów do trzech klas oraz podał właściwości rozszerzonego w ten sposób rozkładu dwumianowego. W artykule zaprezentowano problem sekwencyjnej estymacji parametrów uogólnionego rozkładu dwumianowego z wykorzystaniem podejścia bayesowskiego. Założenia dotyczące rozkładów a priori parametrów w rozkładzie dwumianowym uogólnionym oraz przyjęta a priori funkcja straty stanowiły bazę do konstrukcji reguły stopu dla estymacji sekwencyjnej parametrów uogólnionego do dwóch oraz trzech kategorii sukcesów rozkładu dwumianowego. Mając na uwadze fundamentalną zasadę niezależności między regułą stopu a techniką estymacji (Berger) prezentowana reguła stopu, po-siadająca asymptotycznie optymalne właściwości jest adekwatna do określonego problemu nawet w przypadku uwzględnienia kosztów wnioskownia i próbkowania. Omawiana reguła może być użyteczna w wielu obszarach zastosowań statystyki, np. w kontroli jakości lub analizie satysfakcji konsumentów. Słowa kluczowe: rozkład dwumianowy, estymacja, kategoryzacja sukcesu
