Odporne testowanie równości macierzy kowariancji w kontekście porównywalności międzynarodowych badań ankietowych

Pełen tekst

(1)Zeszyty Uniwersytet Ekonomiczny w Krakowie Naukowe Metody analizy danych. 876 Kraków 2011. Kamil Fijorek. Katedra Statystyki. Odporne testowanie równości macierzy kowariancji w kontekście porównywalności międzynarodowych badań ankietowych 1. Wprowadzenie Niemal w każdym empirycznym badaniu naukowym wnioski są formułowane na podstawie uprzednio zgromadzonych danych. W naukach technicznych czy biologicznych dane najczęściej są wynikiem precyzyjnie zaplanowanych eksperymentów. Nieco innej natury są badania, na przykład na gruncie ekonomii, socjologii, nauk politycznych czy psychologii, w których głównym narzędziem (występującym w wielu wariantach) są metody ankietowe. Niewątpliwie nie jest to jedyne narzędzie badawcze wśród metod stosowanych we wspomnianych wyżej dziedzinach nauki, ale jak pokazują analizy publikowanych prac w tym zakresie, badania ankietowe odgrywają ważną rolę, a ich udział wraz z upływem czasu wzrasta. Ponadto daje się zauważyć coraz większe zainteresowanie badaczy ankietami o zasięgu międzynarodowym [Saris i Gallhofer 2007, s. 1–3; Bethlehem 2009, s. 1]. Jednym z zasadniczych celów międzynarodowych badań ankietowych (oprócz oczywistej możliwości prezentacji sytuacji w każdym z krajów z osobna) jest porównanie uzyskanych wyników pomiędzy badanymi krajami. Kluczowe jest więc pytanie o to, jak określić, czy wyniki uzyskane w różnych krajach są porównywalne..

(2) Kamil Fijorek. 44. 2. Metody badania porównywalności Standardowym postępowaniem jest próba jakościowego określenia porównywalności zgromadzonych danych, oparta na wiedzy merytorycznej osoby przeprowadzającej badanie, rzadko natomiast stosowane są odpowiednie metody statystyczne. Głównej przyczyny tego stanu rzeczy należy upatrywać w specyficznej terminologii tego obszaru nauki oraz braku stosownego oprogramowania, które mogłoby być obsługiwane przez nieprofesjonalistę. Model analizy czynnikowej. Jednym z pionierów badań porównywalności jest K.G. Jöreskog, który w swoim artykule [1971] niezwykle wyczerpująco opisał specjalistyczny aparat badawczy oparty na analizie czynnikowej (factor analysis). Jöreskog sformułował ogólną postać modelu, opisał metody estymacji, testowania hipotez statystycznych oraz opracował odpowiednie oprogramowanie umożliwiające przeprowadzenie całości wnioskowania. Niech analizie będzie poddanych G populacji (g = 1, …, G), np. mogą to być osoby zamieszkujące G krajów lub w ogólności G populacji rozróżnialnych ze względu na pewną wyraźnie zdefiniowaną cechę. Dalej przyjmuje się, że każdy wylosowany z danej populacji respondent udzielił odpowiedzi na p pytań (udzielane odpowiedzi są typu ciągłego lub przynajmniej quasi-ciągłego). Niech xg oznacza wektor odpowiedzi respondenta z g-tej populacji na p pytań, wartość przeciętna wektora odpowiedzi wynosi μ g, a macierz kowariancji to Σg. Wówczas zakładając istnienie modelu czynnikowego, można sformułować następujący model dla udzielonych odpowiedzi:. xg = μ g +Λfg + zg,. gdzie Λ jest macierzą ładunków czynnikowych na k czynnikach wspólnych (identyczną dla G badanych populacji), fg są czynnikami wspólnymi, a zg czynnikami specyficznymi. Dodatkowo zakłada się, że E( fg) = 0 oraz E(zg) = 0. Wówczas macierz kowariancji Σg można poddać następującej dekompozycji:. Σg = ΛΦgΛ + ψg,. gdzie Φg jest macierzą kowariancji fg, a ψg jest diagonalną macierzą kowariancji zg. Szacowanie parametrów modelu odbywa się metodą największej wiarygodności w oparciu o założenie wielowymiarowej normalności mechanizmu generującego obserwacje..

(3) Odporne testowanie równości…. 45. Testowanie hipotezy o równości macierzy kowariancji. Wydaje się, że najważniejszym ze względów praktycznych zaleceniem K.G. Jöreskoga jest to, aby analizę czynnikową rozpocząć od testowania hipotezy głoszącej równość macierzy kowariancji w badanych populacjach:. H 0: Σ1 = … = Σ G.. Hipoteza alternatywna głosi, że istnieje przynajmniej jedna para macierzy kowariancji, dla których ta równość nie zachodzi. W przypadku stwierdzenia braku podstaw do odrzucenia hipotezy zerowej można uznać, że populacje są porównywalne. Jeżeli zostanie ona odrzucona, to należy dokonać testowania hipotez szczegółowych, których zadaniem jest zlokalizowanie przyczyny odrzucenia hipotezy zerowej, a tym samym wskazanie różnic pomiędzy populacjami. Sugerowaną przez Jöreskoga metodą testowania powyższej hipotezy zerowej jest test M [Box 1949], w którym przy założeniu prawdziwości hipotezy zerowej statystyka postaci:. G. M = n log S – / g = 1 ng log S. w przybliżeniu podlega rozkładowi χ2 o 21 _G – 1i_ p + 1i p stopniach swobody; G Sg jest macierzą kowariancji z próby pobranej z g-tej populacji, n = / g = 1 ng oraz G S = n –1 / g = 1 ng Sg . Opisany powyżej mechanizm decyzyjny nie jest jednak polecany przez autorów opracowań późniejszych, którzy wyraźnie krytykują jego stosowanie. Jak przypominają N.S. Raju, L.J. Laffitte i B.M. Byrne [2002, s. 518], możliwe są sytuacje, w których nie odrzucono hipotezy zerowej, a dalsze testy szczegółowe wykazują istotne różnice pomiędzy populacjami, lub odwrotnie – odrzucono hipotezę zerową, a testy szczegółowe nie wykazują istotnych różnic pomiędzy populacjami. Obserwacja ta może prowadzić do podania przez praktyka w wątpliwość całości omawianej metodologii. Wykorzystanie testu M do weryfikacji hipotezy o równości macierzy kowariancji jest szczególnie kontrowersyjne w kontekście badań ankietowych, w których powszechnie stosuje się skale typu Likerta, w przypadku których założenie wielowymiarowej normalności może być nieprawdziwe. Jak pokazują w swych badaniach symulacyjnych m.in. M.W.J. Layard [1974, s. 463] oraz J. Zhang i D.D. Boos [1992, s. 428], test M jest bardzo wrażliwy (zbyt często popełniany jest błąd I rodzaju) na odstępstwa od założenia wielowymiarowej normalności. Co więcej, nazbyt optymistyczne jest założenie, że każdy respondent dostarcza odpowiedzi wysokiej jakości, możliwe jest pojawienie się obserwacji odstających, na które test M nie jest odporny. Opisane powyżej fakty wydają się być źródłem problemu niejednoznacznej interpretacji wyników testu M. W literaturze przedmiotu zaproponowano rozwiązanie problemu wrażliwości testu M na odstępstwa od wielowymiarowej normalności. Na przykład J. Zhang.

(4) 46. Kamil Fijorek. i D.D. Boos [1992, s. 428–429] proponują technikę bootstrap, pokazując, że jej zastosowanie prowadzi do znacznej poprawy kontroli poziomu błędu I rodzaju (m.in. w wielowymiarowym rozkładzie t-Studenta oraz w wielowymiarowej mieszance rozkładu normalnego z rozkładem χ2). Do podobnych wniosków doszli R.B.V. Silva, D.F. Ferreira i D.A. Nogueira [2008, s. 9–11] w przypadku rozkładu jednostajnego oraz rozkładu gamma. Zastosowanie testu bootstrapowego rozwiązuje problem wrażliwości testu M na rozkład generujący obserwacje, lecz nie stanowi rozwiązania problemu obserwacji nietypowych. Jak wynika z przeprowadzonego przez autora przeglądu literatury, tematyka odpornego testowania równości macierzy kowariancji nie spotkała się do tej pory z poważnym opracowaniem przez badaczy. Stwierdzenie to jest wynikiem nieodnalezienia żadnego artykułu wprost traktującego o tej tematyce. Pewnym wyjątkiem jest opracowanie P.C. O’Briena [1992, s. 823–824], który w swoich symulacjach rozważa wpływ pojedynczej obserwacji odstającej na poziom błędu I rodzaju w szczególnym przypadku dwuwymiarowego rozkładu normalnego o diagonalnej macierzy kowariancji.. 3. Odporne testowanie hipotezy o równości macierzy kowariancji W ostatnich latach dał się zauważyć niebywały rozwój odpornych metod statystycznych. Badacze tej dziedziny proponują wiele alternatywnych – w stosunku do metod klasycznych – procedur charakteryzujących się odpornością na obserwacje odstające, umożliwiając (zazwyczaj kosztem utraty efektywności) uzyskanie wiarygodnych wyników różnego rodzaju analiz statystycznych. Nie jest wyjątkiem odporna estymacja macierzy kowariancji. W tym świetle zaproponowane zostanie połączenie teorii statystycznych testów permutacyjnych z odporną metodą szacowania macierzy kowariancji w celu testowania hipotezy głoszącej równość macierzy kowariancji w wielu populacjach. Wykorzystanym odpornym estymatorem macierzy kowariancji jest algorytm MCD [Rousseeuw i van Driessen 1999], omówiony szerzej w dalszej części artykułu. Pierwszym celem pracy jest symulacyjne zbadanie, czy propozycja generuje zadowalające wyniki w przypadku założenia wielowymiarowej normalności (czyli tam, gdzie zastosowanie klasycznej wersji testu M byłoby uzasadnione), w sytuacjach odstępstwa od wielowymiarowej normalności oraz występowania obserwacji odstających. Drugim celem opracowania jest zastosowanie zaproponowanej metody do określenia porównywalności wyników polsko-amerykańskich badań ankietowych..

(5) Odporne testowanie równości…. 47. Algorytm MCD. MCD (Minimum Covariance Determinant) jest jedną z najbardziej popularnych technik odpornej estymacji macierzy kowariancji. Taki status metoda MCD zawdzięcza temu, że charakteryzuje się wysoką efektywnością, odpornością na obserwacje odstające oraz (co jest równie ważne) jej twórcy zaproponowali efektywny algorytm wyznaczania MCD i udostępnili kod programu, ułatwiając tym samym wykorzystanie MCD przez praktyków. W ogólności algorytm MCD znajduje h obserwacji spośród n, których macierz kowariancji charakteryzuje się najmniejszym wyznacznikiem. Wartość parametru h jest dobierana przez użytkownika i wyznacza kompromis pomiędzy efektywnością (większe wartości h) a odpornością (zalecenia twórców MCD wskazują na h = 0,75n). Elipsy kowariancji (97,5%). 6 4 2 0 –2 –4. MCD Klasyczna –15. –10. –5. 0. 5. 10. Rys. 1. Porównanie działania klasycznej metody szacowania macierzy kowariancji z metodą MCD Źródło: opracowanie własne..

(6) Kamil Fijorek. 48. W szczególności niech dany będzie zbiór n p-wymiarowych obserwacji Xn = = {x1, …, xn}, natomiast H1 stanowi h-elementowy podzbiór Xn. Dalej niech T1 oznacza wektor średnich arytmetycznych obserwacji ze zbioru H1, a S1 oznacza ich macierz kowariancji. Następnie d1 _ i i : = _ xi – T1ilS1–1 _ xi – T1i oznacza odległość Mahalanobisa dla i-tej obserwacji ze zbioru Xn. Wówczas można pokazać, że wyznacznik macierzy kowariancji utworzonej z h obserwacji o najmniejszych wartościach odległości Mahalanobisa jest mniejszy lub równy wyznacznikowi macierzy S1, jest to tzw. procedura koncentracji, którą można powtarzać, aż do uzyskania zbieżności. Algorytm MCD polega zatem na losowym wyborze wielu1 h-elementowych podzbiorów zbioru X n i przeprowadzeniu na każdym z nich procedury koncentracji. Spośród wszystkich uzyskanych rozwiązań należy wybrać to o najmniejszej wartości wyznacznika macierzy kowariancji. Na rys. 1 przedstawiono przykład działania klasycznego estymatora macierzy kowariancji oraz estymatora MCD w przypadku dwuwymiarowego zbioru danych. W przeciwieństwie do oszacowania metodą MCD wyniki klasycznej estymacji zostały w wyraźnym stopniu zaburzone obecnością obserwacji nietypowych. Symulacyjne metody testowania hipotezy o równości macierzy kowariancji. Jak już wspomniano, jako rozwiązanie problemu braku odporności testu M na odstępstwa od wielowymiarowej normalności J. Zhang i D.D. Boos [1992] zaproponowali technikę bootstrap. Jego istotą jest wielokrotne losowanie ze zwracaniem nowych próbek z oryginalnego zbioru danych przy założeniu prawdziwości hipotezy zerowej oraz obliczanie wartości statystyki testowej na podstawie tak wygenerowanych danych. W rezultacie uzyskuje się empiryczny rozkład statystyki testowej [Efron i Tibshirani 1994, s. 220–234]. Techniką podobną do bootstrapu jest metoda permutacyjna. Główną różnicą w porównaniu z bootstrapem jest inna natura próbkowania, które polega na wielokrotnym losowaniu bez zwracania nowych próbek z oryginalnego zbioru danych (w zasadzie oznacza to przemieszczanie obserwacji pomiędzy G grupami). Dodatkowego wyjaśnienia wymaga motywacja zastosowania testu permutacyjnego w miejsce testu bootstrapowego. W przypadku testu bootstrapowego pobieranie obserwacji z oryginalnego zbioru danych ze zwracaniem może spowodować (przy założeniu, że zbiór ten zawiera obserwacje odstające) sytuację, w której próba bootstrapowa w g-tej grupie będzie zawierać więcej niż ng _1 – hn i obserwacji odstających, powodując „załamanie” się metody MCD. W przypadku testu permutacyjnego obserwacje są przemieszczane pomiędzy grupami, tym samym nie występuje możliwość wygenerowania zbioru danych z większą liczbą obser-. W opisanych dalej badaniach symulacyjnych wykonywano 500 losowań.. 1.

(7) Odporne testowanie równości…. 49. wacji odstających niż ta zaobserwowana w oryginalnym zbiorze danych. Ryzyko „załamania” się estymatora MCD jest zatem mniejsze. Podsumowując dotychczasowy opis, należy stwierdzić, że proponowane postępowanie w zakresie testowania równości macierzy kowariancji przebiega następująco: 1) za pomocą algorytmu MCD należy oszacować odporną miarę położenia oraz odjąć ją od każdej obserwacji (krok należy przeprowadzić osobno w każdej z badanych grup), 2) należy losowo przemieścić otrzymane w kroku 1 obserwacje pomiędzy grupami, 3) należy obliczyć wartość statystki testowej M dla uzyskanej w kroku 2 próby, 4) kroki 2 i 3 należy powtórzyć przynajmniej 1000 razy, 5) należy obliczyć wartość prawdopodobieństwa testowego jako iloraz liczby wystąpień statystyk testowych, które są większe od zaobserwowanej wartości statystyki testowej (obliczonej na pierwotnym zbiorze danych) oraz liczby prób permutacyjnych.. 4. Wyniki badań symulacyjnych Poziom błędu I rodzaju dla testu M oraz testu odpornego określono w drodze badań symulacyjnych przeprowadzonych w programie statystycznym R za pomocą odpowiednich bibliotek tego środowiska obliczeniowego (www.r-project.org). Zbadanymi rozkładami generującymi obserwacje były: wielowymiarowy rozkład normalny, wielowymiarowy rozkład t-Studenta2, wielowymiarowy skośny rozkład t-Studenta3 [Azzalini i Capitanio 2003] oraz zanieczyszczony wielowymiarowy rozkład normalny (10% obserwacji pochodzących z pierwszej populacji było zastępowanych wartościami powstałymi przez pomnożenie wartości oryginalnych przez 7)4. W wymienionych powyżej rozkładach macierz kowariancji jest postaci: każda wariancja jest równa 2, każda kowariancja 1, w przypadku skośnego rozkładu t-Studenta parametr skośności jest równy 2, a liczba stopni swobody dla obu typów rozkładu t-Studenta wynosi 5. W badaniach symulacyjnych rozważono przypadek testowania równości macierzy kowariancji dwóch populacji badanych ze względu na 2 oraz 5 cech. 2 Próby losowe z wielowymiarowego rozkładu normalnego oraz t-Studenta generowano za pomocą biblioteki „mvtnorm”.. Próby losowe z wielowymiarowego skośnego rozkładu t-Studenta generowano za pomocą biblioteki „sn”. 3. Wartość ta jest w przybliżeniu równa 5 odchyleniom standardowym generowanych liczb losowych. 4.

(8) Kamil Fijorek. 50. Prawdopodobieństwo popełnienia błędu I rodzaju estymowano przez wygenerowanie 1000 prób z zadanych rozkładów, dokonanie testowania hipotezy zerowej opisanymi wcześniej metodami oraz obliczenie odsetka odrzuceń hipotezy zerowej. Jako punkt odniesienia założono poziom istotności równy 0,05, wartości znacznie odbiegające od tego poziomu wskazują na brak kontroli poziomu błędu I rodzaju. Tabela 1. Poziomy błędów I rodzaju* dla różnych scenariuszy symulacji Rozkład. Wielkość próby n1. n2. 50. 50. 100. 100. Wymiar próby. normalny M. MCDa. 5. 0,080. 0,057. 5. 0,070. 2. 2. 0,052. 0,055. 0,045 0,047. 0,048. t-Studenta M. MCD. 0,614. 0,657. 0,305 0,355. skośny t-Studenta M. MCD. 0,060. 0,657. 0,046. 0,726. 0,045. 0,054. 0,361. 0,459. normalny z obserwacjami odstającymi M. MCD. 0,059. 1,000. 0,054. 0,047. 1,000. 0,061 0,051. 1,000 1,000. 0,052. 0,060 0,053. Błąd oszacowania poziomu błędu I rodzaju wynikający z zastosowania technik symulacyjnych wynosi w przybliżeniu 0,0069; a estymację macierzy w MCD przeprowadzono za pomocą biblioteki „MASS”. *. Źródło: opracowanie własne.. Tabela 1 prezentuje wyniki badań symulacyjnych. Potwierdzono obserwację, że test M w przypadku prawdziwości założenia wielowymiarowej normalności w przybliżeniu kontroluje poziom błędu I rodzaju, w innych przypadkach brakuje takiej kontroli. Zaproponowana w artykule metoda w przybliżeniu kontroluje nominalny poziom błędu I rodzaju w przypadku rozkładu normalnego, t-Studenta, skośnego t-Studenta oraz (co jest niezwykle ważne) zbiorów danych z obserwacjami odstającymi, a tym samym powinna być preferowana w stosunku do testu M.. 5. Wyniki badań empirycznych Proponowana w opracowaniu metoda została wykorzystana do określenia porównywalności wyników badań ankietowych przeprowadzonych w USA oraz Polsce przez Uniwersytet Stanowy Grand Valley oraz Uniwersytet Ekonomiczny w Krakowie. Badania dotyczyły jakości usług oferowanych przez restauracje w USA (Grand Rapids) i Polsce (Kraków). Podstawowym celem przedsięwzięcia było zbadanie różnic kulturowych pomiędzy obydwoma krajami oraz sprawdzenie postrzegania restauracji przez ankietowane osoby. Respondenci udzielali.

(9) Odporne testowanie równości…. 51. odpowiedzi na 50 pytań, wyrażając swoją opinię na skali od 1 (całkowicie się nie zgadzam) do 5 (całkowicie się zgadzam). Jako wynik uzyskano 482 ankiety z Polski oraz 313 ankiet z USA. Zbiór danych charakteryzował się bardzo niskim odsetkiem braku danych (ok. 0,5%), co pozwoliło zastosować najprostsze techniki uzupełniania danych (wypełnianie modalną) bez obawy o ich wpływ na końcowe wnioski. W wyniku przeprowadzonego testu hipotezy głoszącej równość macierzy kowariancji w obu populacjach respondentów stwierdzono, że zarówno test M, jak i proponowana metoda jednoznacznie wskazują na odrzucenie hipotezy zerowej na rzecz hipotezy alternatywnej (wartości prawdopodobieństw testowych dla obu testów są mniejsze od 0,0000). Tym samym zgodnie ze wskazówkami Jöreskoga należy uznać, że badane populacje nie są bezpośrednio porównywalne i należy dokonać bardziej szczegółowych testów, których zadaniem jest wskazanie źródła wykrytych różnic.. 6. Podsumowanie W pracy zaproponowano odporny test hipotezy głoszącej równość wielu macierzy kowariancji, jako uzupełnienie koncepcji określania porównywalności badań ankietowych zaprezentowanej w pracy [Jöreskog 1971]. Podano w wątpliwość zdanie Jöreskoga, który sugeruje wykorzystanie testu M do testowania powyższej hipotezy. Przeprowadzone symulacje wskazują na to, że zaproponowana metoda w przybliżeniu kontroluje założony poziom błędu I rodzaju w przypadku odstępstw od wielowymiarowej normalności oraz w przypadku zbiorów danych z obserwacjami odstającymi, podczas gdy test M takiej kontroli nie zapewnia. Tematem dalszych badań mogą być odporne procedury pozwalające na określenie przyczyn odrzucenia hipotezy głoszącej równość macierzy kowariancji w wielu populacjach, np. przez określenie maksymalnie dużego podzbioru oryginalnego zbioru zmiennych, w przypadku którego nie nastąpiłoby odrzucenie hipotezy zerowej. Inny kierunek badań może stanowić określenie zachowania się zaproponowanej metody w przypadku badań ankietowych, w których respondenci udzielają odpowiedzi na słabych skalach pomiarowych. Literatura Azzalini A., Capitanio A. [2003], Distributions Generated by Perturbation of Symmetry with Emphasis on a Multivariate Skew t Distribution, „Journal of the Royal Statistical Society”, nr B65..

(10) 52. Kamil Fijorek. Bethlehem J. [2009], Applied Survey Methods. A Statistical Perspective, John Wiley & Sons. Box G. [1949], A General Distribution Theory for a Class of Likelihood Criteria, „Biometrica”, nr 36. Efron B., Tibshirani R. [1993], An Introduction to the Bootstrap, CRC Press. Jöreskog K.G. [1971], Simultaneous Factor Analysis in Several Populations, „Psychometrica”, nr 36. Layard M.W.J. [1974], A Monte Carlo Comparison of Tests for Equality of Covariance Matrices, „Biometrica”, nr 16. O’Brien P.C. [1992], Robust Procedures for Testing Equality of Covariance Matrices, „Biometrics”, nr 48. Raju N.S., Laffitte L.J., Byrne B.M. [2002], Measurement Equivalence: A Comparison of Methods Based on Confirmatory Factor Analysis and Item Response Theory, „Journal of Applied Psychology”, nr 87. Rousseeuw P.J., van Driessen K. [1999], A Fast Algorithm for the Minimum Covariance Determinant Estimator, „Technometrics”, nr 41. Saris W., Gallhofer I. [2007], Design, Evaluation and Analysis of Questionnaires for Survey Research, John Wiley & Sons. Silva R.B.V., Ferreira D.F., Nogueira D.A. [2008], Robustness of Asymptotic and Bootstrap Tests for Multivariate Homogeneity of Covariance Matrices, Ciencia e Agrotecnologia, nr 32. Zhang J., Boos D.D. [1992], Bootstrap Critical Values for Testing Homogeneity of Covariance Matrices, „Journal of the American Statistical Association”, nr 87.. A Robust Procedure for Testing Equality of Covariance Matrices and the Assessment of Comparability of Cross-national Surveys The article proposes a robust procedure for testing equality of covariance matrices, which may be viewed as a supplement to the survey comparability testing framework introduced by Jöreskog in 1971. The M test, though overly sensitive to departures from multivariate normality and outliers, was used to test his hypothesis. The simulation study showed that the proposed method approximately controls the type I error rate under departures from normality and in the presence of outliers. The proposed method was also used to test the comparability of cross-national Polish-American survey results..

(11)