jako miara liczbowa całkowitego błędu pomiaru
Chociaż istnieje wiele sposobów definiowania miernika całkowitego błę-du pomiaru, to jednak najczęściej wykorzystywaną statystyką jest miara nazy-wana błędem średniokwadratowym (w skrócie MSE). Ponieważ całkowity błąd pomiaru jest pojęciem odnoszącym się do wartości pojedynczych estymato-rów, a nie do wszystkich estymatorów w danym surveyu, czy też nawet jakie-goś określonego typu statystyk wykorzystanych w badaniu (np. średnich lub wskaźników struktury), to MSE jest miernikiem oceny jakości estymacji każde-go parametru z osobna (por. Groves 1989: 8). Ważne jest jednak to, że błąd średniokwadratowy obejmuje wszystkie źródła błędów badań sondażowych, jest więc miarą całkowitego błędu pomiaru. Innymi słowy, niskie wartości MSE oznaczałyby wysoką dokładność pomiaru, z kolei duże wartości MSE wskazy-wałyby na niską dokładność przeprowadzonego badania (por. Biemer i in.
2003: 45).
W terminologii probabilistycznej błąd średniokwadratowy definiowany jest jako wartość oczekiwana z kwadratu różnicy pomiędzy wielkością estymatora θ̂ ustaloną na podstawie badania oraz prawdziwą wartością szacowanego pa-rametru θ̂. Mówiąc nieco inaczej, MSE jest przeciętną wartością kwadratów różnic pomiędzy wszystkimi tymi estymatorami, które potencjalnie można byłoby wyznaczyć ze wszystkich n-elementowych replikacji prób badawczych dobranych z populacji o skończonej liczbie N elementów, a rzeczywistą
warto-ścią parametru w całej populacji. W sensie formalnym MSE można zapisać za pomocą równania:
(I.2.) 𝑀𝑆𝐸(θ̂) ≝ E(θ̂ − θ)2 (por. Biemer i in. 2003: 53).
Wystarczy przywołać wzór I.1. (tzn. definicję miary TSE), by zauważyć, że MSE jest wartością oczekiwaną z kwadratu TSE. Stąd wyrażenie I.2. jest równoważ-ne formule:
(I.2’.) 𝑀𝑆𝐸(θ̂) ≝ E(𝑇𝑆𝐸(θ̂))2.
Podkreślić trzeba jednak, że tak długo, jak prawdziwa wartość parametru pozostaje nieznana, niewiadoma jest też wartość miary MSE. Tę niedogodność niezwykle trafnie wyraził Groves, stwierdzając, że „błąd średniokwadratowy jest rzadko kiedy w pełni mierzalny dla wszystkich statystyk surveyowych”
(Groves 1989: 8). W wielu przypadkach konieczne jest przeprowadzenie do-datkowych studiów umożliwiających oszacowanie (zatem już nie dokładne wyznaczenie) wartości miary MSE.
Należy zwrócić również uwagę na to, iż w literaturze badań surveyowych spotkać można inną formułę wyrażania błędu średniokwadratowego. Uwzględ-nia ona dekompozycję tej miary na czynnik losowy oraz systematyczny. Ujmu-jąc to bardziej precyzyjnie, MSE przedstawia się często jako sumę (1) wariancji oraz (2) kwadratu skumulowanych błędów nielosowych (por. Biemer 2011: 14;
Weisberg 2005: 23; Groves 1989: 8). W sensie formalnym jest to suma:
(1) kwadratu odległości (a) przeciętnej wartości estymatorów, wyznaczonych ze wszystkich replikacji n-elementowych prób badawczych losowanych z popu-lacji o liczebności N jednostek, od (b) prawdziwej wartości parametru, a także (2) przeciętnego kwadratu różnic pomiędzy (a) wartościami poszczególnych estymatorów oraz (b) ich średnią wartością (por. Biemer i in. 2003: 56). Stosu-jąc zapis statystyczny, MSE można przedstawić za pomocą doskonale znanej formuły13:
(I.3.) 𝑀𝑆𝐸(θ̂) ≝ B2(θ̂) + Var(θ̂) (por. Biemer 2010a: 826),
______________
13 Proste przekształcenie wzoru I.2. prowadzi do formuły I.3.: 𝑀𝑆𝐸(θ̂) = E(θ̂ − θ)2= E(θ̂ − E(θ̂) + E(θ̂) − θ)2= E ((θ̂ − E(θ̂)) + (E(θ̂) − θ))2=∗, stosując wzór na wariancję sumy dwóch zmiennych losowych (por. Lissowski i in. 2008: 221) otrzymuje się ∗= E (θ̂ − E(θ̂))2+ E(E(θ̂) − θ)2+ 2Cov ((θ̂ − E(θ̂)) ; (E(θ̂) − θ)) =∗∗ , pierwszy składnik tego wyrażenia jest z definicji – wariancją estymatora, drugi natomiast to kwadrat sumy błędów wypaczenia, wreszcie trzeci to kowariancja obu zmiennych losowych, a ponieważ są one niezależne, to współczynnik kowariancji przyjmuje wartość zero, stąd ∗∗= Var(θ̂) + B2(θ̂). Zatem I.2. jest równoważne I.3.
która sprowadza interpretację wartości błędu średniokwadratowego do kwa-dratu długości przeciwprostokątnej w trójkącie prostokątnym o przyprosto-kątnych równych pierwiastkowi wariancji oraz sumie błędów systematycznych.
Należy podkreślić, że chociaż przedstawione sposoby definiowania MSE, to znaczy I.2., I.2’. oraz I.3., dają te same rezultaty, to jednak badacze preferują formułę I.3. pozwalającą na dekompozycję MSE, tj. oddzielenie komponentu losowego od systematycznego. Co ważne jednak, w praktyce wielkość błędu średniokwadratowego da się wyłącznie przybliżyć przez identyfikację niektó-rych źródeł błędów. Jedną z takich propozycji empirycznego oszacowania MSE odnaleźć można w publikacjach Biemer i in. (2003: 59) oraz Biemer (2011: 14):
(I.4.) 𝑀𝑆𝐸(θ̂) ≅ (∑ B(θ̂))2+ Var𝑆𝐴𝑀𝑃𝐿(θ̂) + Var𝑀𝑆𝑅(θ̂) + Var𝐷𝑃(θ̂), gdzie:
∑B(θ̂) = B𝑁𝐶(θ̂) + B𝑁𝑅(θ̂) + B𝑆𝑃(θ̂) + B𝑀𝑆𝑅(θ̂) + B𝐷𝑃(θ̂),
przy czym: B𝑁𝐶(θ̂) jest przybliżeniem błędu wynikającego z niepełnego pokrycia populacji operatem losowania, B𝑁𝑅(θ̂) jest estymatorem błędu systematyczne-go, będącego efektem niepełnej realizacji próby, B𝑆𝑃(θ̂) jest oszacowaniem błędu systematycznego wynikającego z uchybień w procesie konceptualizacji oraz operacjonalizacji, B𝑀𝑆𝑅(θ̂) jest przybliżeniem błędu systematycznego po-wstałego na skutek procesu zbierania danych, B𝐷𝑃(θ̂) oznacza oszacowanie błędu systematycznego na skutek niewłaściwego postsurveyowego przetwarza-nia baz danych, Var𝑆𝐴𝑀𝑃𝐿(θ̂) jest estymatorem wariancji związanej z określonym schematem próbkowania, Var𝑀𝑆𝑅(θ̂) jest oszacowaniem komponentu wariancji wynikającej z procesu zbierania danych, natomiast Var𝐷𝑃(θ̂) oznacza estyma-tor wariancji na skutek postsurveyowego przetwarzania wyników. Szacowanie miary MSE wiąże się więc z koniecznością estymacji wielkości pięciu klas błę-dów nielosowych oraz trzech komponentów wariancji. Wyrażenie I.4. nie jest już jednak tożsame formule I.3., bowiem MSE w postaci I.3. jest konstruktem teoretycznym obejmującym wszystkie bez wyjątku, tzn. znane oraz nieznane źródła błędów badań sondażowych, a I.4. uwzględnia już tylko niektóre z nich.
Chociaż zaproponowane przez Biemera oraz Lyberga oszacowanie MSE jest niezwykle wartościowe, to należy jednak przeprowadzić jego modyfikację w taki sposób, by odpowiadała ona przyjętej wcześniej typologii błędów. Esty-mator wielkości MSE można bowiem zapisać również jako:
(I.5.) 𝑀𝑆𝐸(θ̂) ≅ (∑ B(θ̂))2+ Var𝑆𝑅𝑆(θ̂) ∙ 𝐷𝐸𝐹𝐹𝑇𝑂𝑇𝐴𝐿∙ 𝑉𝐼𝐹 ∙ 𝐷𝐸𝐹𝐹𝐴𝑁𝐾∙ 𝐷𝐸𝐹𝐹𝐾𝑂𝐷 gdzie:
∑B(θ̂) = B𝑁𝐶(θ̂) + B𝑁𝑅(θ̂) + B𝑀𝑆𝑅(θ̂) + B𝐷𝑃(θ̂).
Symbole B𝑁𝐶(θ̂), B𝑁𝑅(θ̂), B𝑀𝑆𝑅(θ̂) oraz B𝐷𝑃(θ̂) oznaczają jak we wzorze I.4., natomiast Var𝑆𝑅𝑆(θ̂) jest oszacowaniem teoretycznej wariancji estymatorów θ̂
dla prób dobranych zgodnie z zasadą losowania prostego, 𝐷𝐸𝐹𝐹𝑇𝑂𝑇𝐴𝐿 jest miarą całkowitego efektu schematu losowania próby, innego niż losowanie proste, 𝑉𝐼𝐹 jest miernikiem przyrostu wariancji na skutek postsurveyowej adjustacji danych, 𝐷𝐸𝐹𝐹𝐴𝑁𝐾 oznacza miarę przyrostu wariancji wynikającą z efektu ankie-terskiego, a 𝐷𝐸𝐹𝐹𝐾𝑂𝐷 jest oznaczeniem przyrostu wariancji na skutek kodowa-nia wyników badakodowa-nia.
Zasadnicza różnica w definiowaniu MSE za pomocą wzoru I.5. (w porówna-niu z I.4.), polega na sposobie wyrażenia losowego komponentu błędu średnio-kwadratowego. Ujmuje ona wariancję estymatorów relatywnie do teoretycznej wariancji prostej próby losowej, zawiera więc informację o przyroście warian-cji (lub analogicznie o utracie precyzji wnioskowania) na skutek przyjęcia okre-ślonych schematów losowania prób badawczych, a także zastosowania pew-nych procedur uzyskiwania oraz przetwarzania wyników pomiaru. Można również zauważyć, że w I.5. pominięty został – wprowadzony przez Biemera i Lyberga (2003: 38–39) – błąd specyfikacji związany z etapem konceptualizacji oraz operacjonalizacji problematyki badawczej. Przemawia za tym przynaj- mniej kilka argumentów. Po pierwsze, pojęcie błędu specyfikacji „zarezerwowa-ne” jest do określenia faktu niewłaściwego doboru zmiennych w modelach ana-litycznych (por. Weisberg 2005: 175; Olsson i in 2004: 453–500). Po drugie, choć Biemer i Lyberg definiują w sposób opisowy błąd specyfikacji, to jednak nie określają go w sposób formalny. Po trzecie, wydaje się, że w ocenie jakości pro-cesu konceptualizacji i operacjonalizacji problematyki badawczej (zwłaszcza w odniesieniu do koncepcji pomiaru wskaźnikowego) bardziej przydatne wydają się, mimo wszystko, psychometryczne kryteria trafności oraz rzetelności pomia-ru, których co prawda nie da się implementować w sposób bezpośredni do kon-cepcji TSE, lecz które są wykorzystywane przez wielu autorów do weryfikacji poprawności doboru wskaźników. Zagadnienia te podjęte będą w rozdziale II, w ramach analizy błędów związanych z konceptualizacją i operacjonalizacją problematyki badawczej. Co oczywiste, formuła I.5. nie wyczerpuje wszystkich źródeł błędów popełnianych w trakcie realizacji badań sondażowych, pozosta-jąc jedynie oszacowaniem błędu zdefiniowanego wzorami I.2. oraz I.3.