w badaniach sondażowych – przegląd literatury
Zainteresowanie metodologów badań reprezentatywnych tematyką błę-dów sięga początku lat 40. XX wieku. W okresie tym ukazały się pierwsze arty-kuły dedykowane jakości surveyów, w których brano pod uwagę nie tylko teo-rię próbkowania reprezentatywnego, ale także specyfikę badań społecznych.
Omawiając metodologiczne źródła fascynacji paradygmatem całkowitego błędu pomiaru, R. Groves i L. Lyberg (2010: 851–852) ulokowali genezę owej idei w tekście Edwardsa Deminga (1944: 359–369). Autor ten nie używał wpraw-dzie explicite wyrażenia TSE4, wskazywał jednak na pewne czynniki, a dokład-niej błędy, obniżające jakość przeprowadzonego badania. Wśród nich wymie-niał takie komponenty pomiaru jak: próbkowanie, wariancja estymatorów, wpływ ankietera i techniki badawczej na uzyskany wynik pomiaru, braki da-nych, a także na wiele klas błędów pomiarowych oraz błędów opracowywania wyników. E. Deming nie wspominał o problemach wynikających z niepełnego pokrycia populacji operatem losowania i pomijał w swoich rozważaniach ten (tak powszechny w dzisiejszych koncepcjach TSE) typ błędu, zwracał za to uwagę na pewne specyficzne ograniczenia surveyów związane z etycznymi aspektami badań. Chociaż prace E. Deminga miały duży wpływ na badaczy
______________
4 W raporcie z projektu badawczego Errors in Surveys, opublikowanym przez Tore Daleniusa w 1974 roku, pojawia się pojęcie Total Survey Design (por. Groves i in. 2010: 854). Z kolei określe-nie Total Survey Error użyte zostało po raz pierwszy dopiero w 1979 roku. Wykorzystali je R. Andersen, J. Kasper oraz M. Frankel w pracy poświęconej analizie jakości reprezentatywnych badań nad zdrowiem ludności. Autorzy tego opracowania zaproponowali dekompozycję TSE uwzględniającą trzy kryteria. Pierwsze wprowadzało podział na wariancję oraz błędy systema-tyczne, drugie na błędy próbkowania oraz inne błędy niezwiązane z doborem próby, wreszcie trzecie na błędy niezwiązane oraz związane z obserwacją.
amerykańskich, to jednak przez wiele lat studia poświęcone jakości surveyów koncentrowały się raczej na błędach losowych niż na błędach systematycz-nych5. W zasadzie takie podejście do oceny jakości surveyów przełamane zosta-ło dopiero w pracy Leslie Kisha z 1965 roku, w monografii Survey Sampling pojawił się bowiem osobny rozdział dedykowany w całości błędom nieloso-wym wraz z próbą ich klasyfikacji (por. Kish 1965: 509–573).
Ryc. I.1. Klasyfikacja błędów nielosowych zaproponowana przez L. Kisha Źródło: opracowanie własne na podstawie Kish 1965: 519
Przedstawiona przez L. Kisha klasyfikacja błędów nielosowych wydaje się interesująca przynajmniej z kilku powodów. Przede wszystkim, po raz pierwszy wprowadzony został w literaturze podział (obecny później w nieco innej
posta-______________
5 Skupienie uwagi wielu badaczy na błędach losowych H. Weisberg (2005: 13) tłumaczy tym, że ich wielkości daje się w bardzo łatwy sposób wyznaczać za pomocą dobrze znanych formuł matematycznych, podczas gdy wartości błędów nielosowych wydają się najczęściej zbyt trudne do ustalenia. Co więcej, konsekwencje błędów wynikających z próbkowania mogą być redukowane poprzez zwiększanie liczebności próby, nie ma przy tym sprawdzonych reguł ograniczania skut-ków błędów nielosowych.
Błędy systematyczne wynikające z próbkowania
Operat losowania próby, nierówne prawdopodobieństwa
selekcji
Błędy systematyczne zależne od wielkości
prób Błędy systematyczne
niezależne od próby (np. właściwości
estymatorów)
Błędy systematyczne niezwiązane z próbkowaniem
Braki w obserwacji
Pokrycie populacji operatem losowania
Braki danych / niepełna realizacja
próby
Związane z obserwacją
(pomiarem)
Zbieranie danych
Opracowywanie wyników pomiaru
ci u R. Grovesa 1989), na błędy związane z obserwacją (observation error) oraz błędy niezwiązane z obserwacją (nonobservation error). Te pierwsze są domeną pomiaru i wynikają z niedoskonałości procesu zbierania, przetwarzania i opra-cowywania wyników badań. Drugie z kolei pozostają efektem zarówno niepeł-nego pokrycia badanej populacji przez operat wykorzystywany do losowania jednostek, jak też skutkiem niepełnej realizacji próby. Istotne jest w sumie to, że dzięki takiemu „nowemu” sposobowi patrzenia na jakość pomiaru metodo-logowie badań reprezentatywnych wyszli w swoich analizach poza błędy prób-kowania, przypisując coraz większe znaczenie innym źródłom uchybień poja-wiających się na wszystkich etapach procesu badawczego.
Paradygmat całkowitego błędu pomiaru zawdzięcza swoją niezwykłą popu-larność przede wszystkim jednak pracom R. Grovesa, w tym analizom zapre-zentowanym przez tego znanego metodologa pod koniec lat 80. XX wieku w pracy Survey Errors and Survey Costs. Od jej pierwszego wydania w 1989 roku paradygmat TSE stał się dominującą perspektywą wykorzystywaną do opisu jakości surveyów. Nie sposób zatem mówić o całkowitym błędzie pomia-ru, nie odwołując się do ustaleń R. Grovesa (1989). Należy zacząć od tego, że we wprowadzeniu do przywołanej książki autor składa deklarację ukierunkowują-cą analizy na cztery kategorie błędów: (a) pokrycia, (b) braku odpowiedzi, (c) próbkowania (sampling error) oraz (d) zbierania danych:
Zacznę od przyjęcia założenia, że wszystkie próby surveyowe obarczone są różnego rodzaju błędami, takimi jak:
1. Błąd pokrycia, wyrastający z braku szans wylosowania pewnych jedno-stek populacji.
2. Błąd braku odpowiedzi, wynikający z nieustalenia danych dla pewnych osób wylosowanych do próby.
3. Błąd próbkowania, wynikający ze zróżnicowania [jednostek – P.J.] […]
w populacji.
4. Błąd pomiaru, wynikający z niedokładności procedur ustalania wartości zmiennych. Wyrasta on na bazie:
a. efektu oddziaływania ankieterów na odpowiedzi respondentów;
b. błędów powiązanych z respondentami […];
c. błędów […] narzędzi badawczych […];
d. błędów będących efektem wyboru określonej techniki zbierania da-nych […]. (Groves 1989: vi)
W rozdziale pierwszym tej książki przedstawiona została również dekom-pozycja całkowitego błędu pomiaru na komponent losowy oraz systematyczny.
Groves wprowadza też rozróżnienie na błędy związane z obserwacją oraz te, które z obserwacją nie są powiązane. Podział ten obecny był wprawdzie już u Kisha (1965), jednak pojawił się tam w nieco innej postaci. Groves traktuje
Ryc. I.2. Klasyfikacja błędów zaproponowana przez R. Grovesa Źródło: opracowanie własne na podstawie Groves 1989: 8–30
bowiem błędy próbkowania jako jeden z komponentów błędów niezwiązanych z obserwacją, inaczej niż Kish, który uznawał je za odrębną klasę zanieczysz-czeń wyników pomiaru. A zatem dla R. Grovesa błędy niezwiązane z obserwa-cją to takie, które „pojawiają się na skutek przeprowadzenia pomiaru nie całej, a jedynie części populacji” (Groves 1989: 11), z kolei te związane z obserwacją (pomiarem) „odnoszą się do różnic pomiędzy odpowiedziami udzielanymi przez respondentów na zadawane im pytania a prawdziwymi wartościami
TSE
Błędy losowe / przyrost wariancji
Błędy niezwiązane z obserwacją
Błąd pokrycia
Błąd braku odpowiedzi
Błąd próbkowania
Błędy związane
z obserwacją Błąd pomiaru
Ankieterzy
Respondenci
Narzędzia
Techniki
Błędy systematyczne
/ wypaczenie danych
Błędy niezwiązane z obserwacją
Błąd pokrycia
Błąd braku odpowiedzi
Błąd próbkowania
Błędy związane
z obserwacją Błąd pomiaru
Ankieterzy
Respondenci
Narzędzia
Techniki
[tych zmiennych – P.J.]” (Groves 1989: 11). Innymi słowy, błąd pokrycia, błąd próbkowania oraz błąd braku odpowiedzi przyporządkowane są przez tego autora do klasy błędów niezwiązanych z obserwacją, z kolei źródeł błędów związanych z obserwacją należy, jego zdaniem, upatrywać u ankieterów, re-spondentów, w narzędziach badawczych oraz technikach gromadzenia danych.
Zauważyć można, że w przedstawionym przez Grovesa wyliczeniu źródeł błędów chodzi tak naprawdę o wyróżnienie błędów losowych i nielosowych (źródła tych dwóch klas błędów są takie same). Co więcej, w klasyfikacji tej nie pojawiają się błędy opracowywania wyników pomiaru. Pominięcie ich jest jed-nak zabiegiem celowym, gdyż przedmiotem zainteresowania Grovesa pozostaje de facto wyłącznie proces próbkowania oraz zbierania danych, a nie te etapy badania, które nazwane zostały przez Herberta Weisberga postsurveyowymi (por. Weisberg 2005: 19). Doskonałym tego potwierdzeniem jest następujący fragment z pierwszego rozdziału monografii Survey Errors and Survey Costs:
Czytelnik może zauważyć, że rysunek [na którym Groves zaprezentował de-kompozycję błędów – P.J.] nie jest wyczerpującym wyliczeniem wszystkich źródeł błędów badań surveyowych. Do najbardziej znaczących [źródeł błędów – P.J.] pominiętych w tym wyliczeniu należą te, które wyrastają z […] kodowa-nia, edycji, wprowadzania danych i innych operacji na zbiorach wykonywanych po fazie gromadzenia wyników. Te elementy zostały celowo pominięte […] nie dlatego, że są trywialnymi źródłami błędów, ale że nie wiążą się z [fazą doboru respondentów i gromadzenia danych – P.J.]. Wynikają natomiast z działania analityków oraz osób zarządzających bazami danych. (Groves 1989: 12)
Pominięcie błędów procedowania danych jest zresztą wyrazem poglądu Grove-sa, wyłożonym w artykule opublikowanym w 2010 roku wspólnie z L. Lyber-giem, w którym obaj metodolodzy krytykują dążenie wielu badaczy do wylicze-nia wszystkich możliwych źródeł błędów (por. Groves i in. 2010: 854).
Praca Grovesa (1989) jest interesująca również z innych względów. Autor porównał w niej terminologię wykorzystywaną przez przedstawicieli kilku różnych (sub)dyscyplin naukowych do definiowania błędów pojawiających się w badaniach reprezentatywnych. Zestawił przy tym podejście charakterystycz-ne dla badań społecznych z tym, które pojawia się w literaturze statystyczcharakterystycz-nej, psychometrycznej oraz ekonometrycznej. Analizy Grovesa pokazały, że badacze z kręgu psychometrii koncentrują swoją uwagę na trafności i rzetelności pomia-ru, zupełnie inaczej niż ma to miejsce w statystycznym podejściu do błędów, gdzie zainteresowanie skupia się na wariancji estymatorów oraz systematycz-nym wypaczeniu pomiaru. Groves pokazuje, że psychometryczna rzetelność nie jest tym samym, czym statystyczna wariancja, podobnie zresztą jak trafność i wypaczenie, które też nie mogą być traktowane jako pojęcia tożsame (por.
Groves 1989: 18).
Komplikacje te doskonale opisali również współautorzy monografii Survey Methodology, którzy stwierdzają, iż:
trafna miara jakiegoś konstruktu to taka, która jest z nim idealnie skorelowana.
[…] Dwie miary mogą być idealnie skorelowane, ale prowadzić do różnych war-tości. […] To jest podstawowa rozbieżność teorii pomiaru psychometrycznego oraz statystycznej terminologii błędów. (Groves i in. 2004: 51)
W dalszej części publikacji odnaleźć można jeszcze bardziej precyzyjne uszcze-gółowienie tej kwestii:
podstawowym nieporozumieniem terminologicznym w odniesieniu do błędów powiązanych z pytaniem, jest to, w jaki sposób ‘trafność’ łączy się z ‘wypacze-niem’. […] Przeanalizujmy, co stałoby się, gdyby odpowiedzi respondentów różniły się systematycznie od wartości prawdziwej? […] W pewnych warun-kach systematyczne niedoszacowanie [prawdziwych wartości – P.J.] nie obniży-łoby współczynnika korelacji pomiędzy odpowiedzią a tą prawdziwą wartością.
Dla przykładu, gdyby wszyscy respondenci niedoszacowali swojej wagi [o tę samą wielkość – P.J.] to współczynnik korelacji [z wartością prawdziwą – P.J.]
wyniósłby jeden, pomimo tego, że przeciętna wartość w całej próbie byłaby [dokładnie o tę wielkość niedoszacowana – P.J.]. (Groves i in. 2004: 258–259) Powracając do przeprowadzonego przez Grovesa (1989) porównania róż-nych sposobów definiowania błędów pomiarowych, można wskazać, że najbar-dziej zbliżoną terminologię wykorzystywaną do opisu błędów odnaleźć można w literaturze badań surveyowych oraz w statystycznej teorii próbkowania.
W obu przypadkach pojawiają się takie określenia jak: dokładność (accuracy) na oznaczenie błędu całkowitego, precyzja na oznaczenie wariancji estymato-rów, błąd statystyczny na oznaczenie wariancji wynikającej z próbkowania lo-sowego oraz wypaczenie/błąd systematyczny na oznaczenie nielosowych odchy-leń wyników pomiaru od (prawdziwych) wartości parametrów w populacji.
Groves pokazuje jednocześnie, że w statystycznym spojrzeniu na błędy uwaga skupia się bardziej na procesie próbkowania6, natomiast metodologowie badań surveyowych koncentrują się na błędach operatów, błędach niepełnej realizacji próby oraz błędach gromadzenia danych.
______________
6 W perspektywie statystycznej zwraca się uwagę na wielkości prób badawczych, dążąc w ten sposób do ograniczania błędów statystycznych. Chociaż zdaniem Grovesa takie statystyczne spojrzenie na błędy pomiarowe jest niezwykle wartościowe, to jednak pozostaje niekompletne oraz niesatysfakcjonujące, pomija bowiem praktyczne problemy wynikające z organizacji procesu gromadzenia danych, np. wpływ i efekt ankieterski, różnice w stopniu zaangażowania się respon-dentów w udzielanie odpowiedzi i kwestie związane z jakością narzędzi badawczych (por. Groves 1989: 13).
W wydanej w 2004 roku książce Survey Metodology Groves wraz ze współ-autorami zaproponował jeszcze inny sposób klasyfikowania źródeł błędów w ramach paradygmatu całkowitego błędu pomiaru. Odnaleźć można tam przyporządkowanie błędów do kolejnych etapów procesu badawczego. Ukazuje ono niezwykle ciekawą konsekwencję dość oczywistej prawidłowości, a mia-nowicie, że w trakcie badań surveyowych dąży się do jednoczesnego zapewnie-nia wysokiej jakości pomiaru oraz uzyskazapewnie-nia możliwie najlepszego poziomu reprezentatywności próby. W ramach pierwszego przedsięwzięcia chodzi o te wszystkie zadania, które ulokowane są na kontinuum: odpowiedź respondenta – mierzony konstrukt/indicatum. Z kolei w drugim działaniu mieszczą się te
Ryc. I.3. Błędy badań sondażowych a jakość pomiaru oraz reprezentatywność próby Źródło: opracowanie własne na podstawie Groves i in. 2004: 48
Badany konstrukt Badana populacja
Narzędzie pomiarowe
Operat losowania
Odpowiedź respondenta
Zakodowany wynik
Wylosowana próba
Próba zrealizowana
Dopasowanie próby do populacji
Wartość estymatora
Jakość pomiaru Reprezentatywność próby
Trafność
Błąd uzyskiwania danych
Błąd procedowania
Błąd pokrycia
Błąd statystyczny
Błąd braku odpowiedzi
Błąd adjustacji wyników
Całkowity błąd pomiaru
wszystkie zadania, które rozciągają się na linii: osoby udzielające odpowiedzi – badana populacja. Poszczególne źródła błędów przypisane zostały właśnie do tych dwóch zasadniczych faz procesu badawczego. O ile zatem – w opinii Grovesa i in. (2004) – jakość pomiaru obciążona jest przez trafność wskaźni-ków, błędy uzyskiwania danych oraz błędy ich opracowywania, o tyle na repre-zentatywność próby badawczej wpływ ma błąd pokrycia, błąd próbkowania, niedostępność jednostek oraz ważenie danych (por. Groves i in. 2004: 39–48).
Co istotne, w książce Survey Methodology omówiono te same źródła błędów, które charakteryzował wcześniej Groves (1989), może z wyjątkiem błędów opracowywania wyników – celowo wykluczonych z analiz prezentowanych we wcześniejszej chronologicznie publikacji Survey Errors and Survey Costs. Au-torzy opierają się również na przyjętym przez Grovesa (1989) podziale całko-witego błędu pomiaru na komponent błędu losowego/wariancji oraz błędu nielosowego/wypaczenia wyników, a także na błędy związane i niezwiązane z procesem pomiaru (por. Groves i in. 2004: 60–61).
Przypisanie błędów losowych i systematycznych do kolejnych etapów ba-dania sondażowego odnaleźć można również w książce Weisberga (2005). Au-tor ten, podobnie jak Groves i in. (2004), wyraża przekonanie, iż „błąd może wystąpić na każdym etapie realizacji surveyu” (Weisberg 2005: 16). Prezento-wane przez niego ujęcie procesu badawczego jest jednak zasadniczo odmienne od propozycji przedstawionej przez Grovesa i in. (2004). Na proces badawczy H. Weisberg nie patrzy bowiem przez pryzmat działań podejmowanych w celu zapewnienia odpowiedniej jakości pomiaru oraz zadowalającego poziomu re-prezentatywności próby, ale jako na łańcuch kolejnych – następujących po so-bie w sposób chronologiczny – czynności badawczych7. Obejmują one wszyst-kie działania podejmowane w trakcie realizacji sondaży, to znaczy wstępne określenie przedmiotu i celu badania, zdefiniowanie badanej populacji, wybór operatu losowania, określenie zasad doboru próby, wybór techniki badawczej, opracowanie narzędzi badawczych, pilotaż badania, terenową realizację próby, opracowanie i przygotowanie baz danych oraz analizę wyników. Weisberg przypisuje kolejnym, choć – wbrew wcześniejszym deklaracjom – nie
wszyst-______________
7 Zaprezentowany przez Weisberga sposób wyróżniania etapów procesu badawczego jest w zasadzie zbieżny z doskonale znanym w polskiej metodologii ujęciem Grzegorza Babińskiego (1980: 19–34), który w artykule Etapy procesu badawczego zidentyfikował dwanaście „uniwersal-nych” kroków badawczych podejmowanych w trakcie realizacji badań terenowych, w tym:
(1) wstępne sformułowanie problemu badawczego, (2) eksplikację problematyki badawczej, (3) operacjonalizację problematyki badawczej, (4) przygotowanie narzędzi badawczych, (5) pilo-taż badania, (6) dobór próby, (7) realizację badań empirycznych, (8) weryfikację zebranego riału empirycznego, (9) wstępne grupowanie materiału surowego, (10) analizę zebranego mate-riału empirycznego, (11) testowanie hipotez i uogólnianie wniosków, (12) pisanie końcowego raportu z badań.
Ryc. I.4. Błędy pomiarowe a etapy procesu badawczego Źródło: opracowanie własne na podstawie Weisberg 2005: 17–18
kim etapom procesu badawczego, odpowiednie kategorie błędów. Wyróżnia przy tym błędy związane z (1) doborem respondentów, (2) uzyskiwaniem od-powiedzi oraz (3) zarządzaniem badaniami (por. Weisberg 2005: 17–20). Zda-niem tego autora, dobór respondentów obarczony jest głównie: (a) statystycz-nym błędem próbkowania, (b) błędem pokrycia populacji operatem losowania oraz (c) błędem wynikającym z niedostępności pewnych jednostek (unit nonre-sponse). Klasa błędów związanych z dokładnością wyników obejmuje nato-miast: (d) błąd braku odpowiedzi na niektóre pytania (item nonresponse), (e) błąd pomiaru, którego źródłem jest respondent oraz (f) błąd pomiaru, któ-rego źródłem jest ankieter. Z kolei trzy ostatnie źródła błędów: (g) błąd pro-cedowania i analizowania wyników, (h) błąd wynikający z wyboru techniki gromadzenia danych, a także (i) błąd ekwiwalentności przedmiotowej oraz
Wybór przedmiotu badania
Wybór badanej populacji
Wybór techniki badawczej
Wybór operatu losowania
Określenie zasad doboru próby
Opracowanie narzędzi badawczych Cechy technik badawczych
Błąd pokrycia
Błąd statystyczny
Realizacja wywiadów
Testowanie narzędzi badawczych Próba kontaktu z respondentem Opracowanie
danych Analiza wyników
badań
Błędy pomiaru – respondenci Błędy pomiaru – respondenci
Błąd unit nonresponse Błędy pomiaru – ankieterzy Błędy postsurveyowe
Błąd item nonresponse
czasowej przyporządkowane zostały do grupy problemów wynikających z uchybień w administrowaniu i zarządzaniu badaniami8.
W odróżnieniu od Grovesa i in. (2004), H. Weisberg (2005) nie bierze pod uwagę psychometrycznych miar trafności i rzetelności pomiaru, poświęca za to o wiele więcej uwagi procedowaniu wyników. Nie są one wprawdzie związane z procesem zbierania danych, jednak wpływają bezpośrednio na dokładność pomiaru (por. Weisberg 2005: 261). Komplikacje wynikające z uchybień popeł-nianych w trakcie opracowywania wyników badań będą jeszcze przedmiotem rozważań w II rozdziale tej pracy.