Błąd wynikający z niepełnej realizacji próby badawczej (unit & item

Błąd związany z brakiem odpowiedzi (na pojedyncze pytania kwestiona-riuszowe lub wszystkie pytania w wywiadzie) jest wprawdzie tylko jednym z wielu źródeł błędów systematycznych, jednak w przekonaniu wielu metodo-logów pozostaje głównym źródłem całkowitego błędu pomiaru (por. Biemer 2010b: 821–825). Nabiera on szczególnego znaczenia w kontekście malejących, z roku na rok, odsetków realizacji prób badawczych zarówno w Polsce, jak i na świecie (por. Grzeszkiewicz-Radulska 2009: 162, 167) oraz związanego z tym ryzyka zniekształcenia wyników pomiaru. Najlepszym tego potwierdzeniem jest opinia F. Sztabińskiego, który stwierdza, że „błędy niezrealizowania części próby mają najpoważniejsze konsekwencje dla wyników badania” (Sztabiński F.

2011: 51). Przeglądając literaturę badań sondażowych, można zatem zauważyć, że wysiłki badaczy dużo częściej koncentrują się właśnie na ograniczaniu błę-dów braków odpowiedzi, niż na redukcji błębłę-dów pokrycia populacji operatem losowania, czy też błędów wynikających z przyjęcia określonego schematu do-boru próby. Parafrazując wspomniane stwierdzenie F. Sztabińskiego (2011: 50) o nikłym zainteresowaniu badaczy błędami pokrycia, można w odniesieniu do błędów braku odpowiedzi powiedzieć, że są one najczęściej uwzględnianymi rodzajami błędów zawartych w wynikach badania. Wynika to przede wszystkim z doniosłości problematyki jednostek niedostępnych oraz wpływu, jaki niezba-dana część próby może (choć nie musi) wywierać na poziom jej reprezenta-tywności. Co więcej, Ineke Stoop (2005) w drugim rozdziale swojej znanej książki The Hunt for the Last Respondent pokazuje wyraźnie, że wskaźnik po-ziomu realizacji próby badawczej, który zawiera informacje o frakcji przebada-nej oraz nieprzebadaprzebada-nej części jednostek wylosowanych do badania, traktowa-ny jest często jako kryterium ocetraktowa-ny profesjonalizmu oraz jakości pracy zespołu realizującego badania sondażowe. Z kolei F. Sztabiński uznaje wskaźnik reali-zowalności próby za „jedną z najważniejszych miar jakości realizacji badania”

(Sztabiński F. 2011: 51).

Osoby niedostępne nie stanowią – co oczywiste – kategorii homogenicznej.

Przyczyn niezrealizowania wywiadów jest wiele, na niektóre z nich nie ma się wpływu (na przykład na błędne dane adresowe, zmianę miejsca zamieszkania wykluczającą respondenta z badanej populacji²⁸, wyjazd wylosowanych osób

______________

sześć raportów pojawiała się dodatkowa informacja o stopniu pokrycia populacji operatem loso-wania, co w porównaniu z innymi źródłam błędów (zwłaszcza próbkowania oraz braków danych) stanowiło niewielki odsetek wskazań.

28 W zasadzie należałoby uznać, że jednostki niedostępne to tylko i wyłącznie takie elementy próby – należące do populacji – z którymi nie udało się przeprowadzić wywiadu (por. Groves 1989: 137). Innymi słowy, wszystkie jednostki spoza populacji, które zostały do próby wylosowa-ne, a w rzeczywistości nie powinny się w niej znaleźć, powinno klasyfikować się jako odrębną

poza miejsce zamieszkania w terminie przewidzianym na badanie, czy też na zgon lub chorobę respondenta), inne z kolei pozostają pod kontrolą badacza (na przykład odmowy udziału w badaniu, przerwanie wywiadu, brak kontaktu pomimo wielokrotnych prób dotarcia itp.). Co więcej, na wartość błędu braku odpowiedzi wpływają zarówno jednostki niedostępne (unit nonresponse), jak i sytuacje nieudzielenia przez respondenta odpowiedzi na pojedyncze pytania kwestionariuszowe (item nonresponse) (por. Biemer 2010a: 35; Grzeszkiewicz- -Radulska 2009: 22–24; Mason i in. 2002: 150)²⁹. Z pierwszą sytuacją ma się do czynienia wtedy, gdy wywiadu nie udaje się w ogóle przeprowadzić, z drugą natomiast, gdy zostaje on przeprowadzony tylko częściowo

Elementy populacji wylosowane do próby

Próba zrealizowana (respondenci)

pomniejszona o pojedyncze braki odpowiedzi Próba niezrealizowana



Ryc. II.2. Jednostki niedostępne w próbie badawczej oraz pojedyncze braki odpowiedzi – próba wylosowana vs. próba zrealizowana

Źródło: opracowanie własne

W reprezentatywnych badaniach sondażowych jest zatem tak, że po zakoń-czeniu okresu przewidzianego na realizację wywiadów wylosowaną do badania próbę można podzielić na dwie rozłączne kategorie: osób, z którymi udało się przeprowadzić wywiady w całości lub przynajmniej w części (respondenci), oraz osób, z którymi się to z różnych przyczyn nie udało (jednostki niedostęp-ne)³⁰. Ponieważ w tej pierwszej kategorii mieszczą się też braki odpowiedzi na pojedyncze pytania kwestionariuszowe, to wielkość próby zrealizowanej odno-szona powinna być de facto do każdego pytania z osobna. Innymi słowy, w n-elementowej próbie badawczej wylosowanej z populacji będącej

przedmio-______________

kategorię jednostek, nie mającą wpływu na wskaźniki realizacji próby. Zagadnienia te omówione zostaną w ostatnim rozdziale pracy.

29 W niektórych opracowaniach metodologicznych wskazuje się także na trzecią klasę jednostek niedostępnych wynikającą z tzw. częściowej niedostępności (oryg. partial nonresponse) (por. Brick i in. 2009: 163–164). Jest ona związana z niedostępnością jednostki losowanej w schemacie doboru dwustopniowego na przykład z operatu gospodarstw domowych lub niedostępnością pewnych jednostek w kolejnych odsłonach badania panelowego. W sensie substantywnym częściowa niedo-stępność jest jednak tym samym, co niedoniedo-stępność na poziomie jednostki (tzn. unit nonresponse).

30 W tym momencie założone będzie, że wszystkie jednostki niedostępne należą do populacji.

tem badania ma się zawsze nR respondentów oraz nNR jednostek niedostępnych (w tym pojedynczych braków odpowiedzi), przy czym n = nR+nNR31. Błąd braku danych definiuje się przeważnie jako różnicę pomiędzy wartością estymatora w warstwie respondentów oraz nieznaną wartością estymatora, jaką można byłoby wyznaczyć, gdyby badania udało się przeprowadzić ze wszystkimi tymi osobami, które należą do populacji oraz zostały wybrane do próby (por. Billiet i in. 2009: 6). Ponieważ różnica ta określa nielosowe i najczęściej systematycz-ne odstępstwo wyników obserwowanych od wyników rzeczywistych, to pozo-staje źródłem systematycznego komponentu całkowitego błędu pomiaru.

Błąd wynikający z niepełnej realizacji próby można zapisać również nieco inaczej – jako funkcję frakcji wywiadów niezrealizowanych oraz różnicy w war-tościach estymatorów w kategorii jednostek dostępnych i niedostępnych³². Odpowiednio zatem, dla estymatora parametru wskaźnika struktury błąd bra-ku odpowiedzi przyjmuje postać dobrze znanych równoważnych sobie wzo-rów:

(II.14) B_𝑁𝑅≝ 𝑝̂_𝑅− 𝑝̂

(II.14’.) B𝑁𝑅≝ 𝑤𝑁𝑅𝑅(𝑝̂_𝑅− 𝑝̂𝑁𝑅),

gdzie 𝑝̂ jest symbolem oznaczającym nieznaną wartość estymatora dla całej wylosowanej n-elementowej próby zawierającej respondentów oraz jednostki niedostępne, 𝑝̂𝑅 oznacza wartość estymatora wskaźnika struktury w warstwie respondentów, natomiast 𝑝̂𝑁𝑅 oznacza nieznaną wartość estymatora w war-stwie jednostek niedostępnych (por. Jabkowski 2007: 73). Z kolei dla estymato-ra średniej arytmetycznej wielkość błędu można zapisać jako:

(II.15.) B_𝑁𝑅≝ 𝜇̂_𝑅− 𝜇̂

______________

31 Te dwie wielkości pozwalają ustalić wartość wskaźnika realizacji próby badawczej w jego najprostszej postaci zdefiniowanej wzorem wRR = nR/n lub analogicznie, wartość wskaźnika frakcji niezrealizowanych wywiadów wNRR = nNR/n. Przyjęte w metodologii sposoby definiowania wskaźników realizacji próby badawczej (response rate) omówione zostaną w rozdziale poświęco-nym jednostkom niedostęppoświęco-nym.

32 Przyjęty został tutaj deterministyczny model błędu braku danych (odpowiedni na poziomie próby), w którym zakłada się, że zbiór jednostek próby można podzielić na warstwę osób dostęp-nych i niedostępdostęp-nych. Innym sposobem definiowania błędu braku odpowiedzi jest model probabi-listyczny (odpowiedni dla poziomu populacji), w ramach którego przyjmuje się, iż każda jednostka ma określone – choć nieobserwowalne – prawdopodobieństwo zaklasyfikowania jej do grupy respondentów lub jednostek niedostępnych, pod warunkiem jej wylosowania. W takim przypadku błąd systematyczny, będący efektem niedostępności, definiuje się jako iloraz dwóch czynników, tj. (1) współczynnika kowariancji pomiędzy prawdopodobieństwem udziału w badaniu oraz war-tościami analizowanej zmiennej, a także (2) oczekiwanego prawdopodobieństwa udziału w bada-niu (por. Stoop i in 2010: 31; Brick i in. 2009: 170; Groves 2006: 648; Groves i in. 2004: 27;

Bethlehem 2002: 276). Jeżeli zatem skłonność do udziału w badaniu będzie skorelowana w sposób istotny z wartościami mierzonych zmiennych, wówczas błąd systematyczny będzie znaczny. Kwe-stie te podjęte będą w rozdziale poświęconym jednostkom niedostępnym.

lub też równoważnie:

(II.15’.) B_𝑁𝑅≝ 𝑤_𝑁𝑅𝑅(𝜇̂_𝑅− 𝜇̂_𝑁𝑅),

gdzie 𝜇̂ oznacza nieznaną średnią w całej próbie włącznie z osobami nieprze-badanymi, 𝜇̂_𝑅 jest symbolem oznaczającym średnią ustaloną na podstawie prze-badanej części próby, natomiast 𝜇̂_𝑁𝑅 jest symbolem wartości średniej w nie-przebadanej części próby wylosowanej do badań (por. Groves 1989: 648;

Lissowski 1971: 10).

Formalnie zatem rzecz ujmując, z równań (II.14’.) i (II.15’.) można wywnio-skować, że błąd braku danych nie występuje (równa się zeru) wtedy i tylko wtedy, gdy zachodzi jeden z dwóch przypadków:

1°: 𝑤_𝑁𝑅𝑅 = 0, a to występuje jedynie wtedy, gdy 𝑛_𝑁𝑅= 0, czyli wówczas, kie-dy udało się dokonać pomiaru wszystkich jednostek wybranych do badania.

Sytuacja taka może być rozpatrywana jedynie w teorii statystycznej, natomiast w badaniach społecznych problem jednostek niedostępnych jest w zasadzie powszechny. Ten trywialny przypadek nie będzie zatem przedmiotem dalszych dociekań. Co ciekawe, chociaż wielkość błędu braku odpowiedzi zależy od udziału jednostek niedostępnych w próbie badawczej, to jednak – jak wskazuje R. Groves w artykule z 2006 roku, poświęconym zależności błędu braku odpo-wiedzi od stopnia zrealizowania próby badawczej – „nie ma minimalnej warto-ści wskaźnika realizacji próby, poniżej którego wartowarto-ści estymatorów będą z pewnością wypaczone [przez błąd braku odpowiedzi – P.J.]” (Groves 2006:

650). Zbyt optymistycznie brzmią zatem słowa F. Sztabińskiego, iż „[m]inima-lizacja błędu braku odpowiedzi jest bardzo ważna, ponieważ wysoki odsetek realizacji próby zapewnia reprezentatywność badania” (Sztabiński F. 2011: 51).

Studia metodologiczne ukazują raczej, że znaczny odsetek realizacji próby ba-dawczej nie jest gwarantem eliminacji błędu systematycznego³³ (por. Kohler 2007: 55–67; Merkle i in. 2002: 243–258; Curtin i in. 2000: 413–428; Keeter i in.

2000: 125–148), nie jest też – siłą rzeczy – dobrym predykatorem poziomu błędu systematycznego będącego skutkiem braku odpowiedzi (por. Groves i in.

2006: 721). Wystarczy przywołać ustalenia Ulricha Kohlera, który w artykule Surveys from Inside: An Assessment of Unit Nonresponse Bias with Internal Cri-teria podkreśla jednoznacznie:

to, iż wysoki poziom odsetka realizacji próby nie koreluje z niskim poziomem błędu wypaczenia, powstałego na skutek braków odpowiedzi, nie jest zbyt wielkim zaskoczeniem. Fakt ten potwierdza jednak, że słuszne są argumenty ______________

33 A zarazem wskazują, że niska wartość wskaźnika realizacji próby badawczej nie oznacza koniecznie wypaczenia wyników (por. Johnston 2006: 300; Merkle i in. 2002: 243–258; Krosnick 1999: 537–567; Dillman 1991: 225–249).

tych, którzy podają w wątpliwość zasadność traktowania odsetka realizacji próby jako wskaźnika jakości badania (Kohler 2007: 63),

na co zwracał zresztą uwagę również R. Groves, mówiąc, iż „współczynnik nie-zrealizowanej próby badawczej jest często błędnie uważany za miarę jakości statystyk sondażowych” (Groves 1989: 240).

2°: 𝑝̂𝑅− 𝑝̂𝑁𝑅= 0 lub 𝜇̂𝑅− 𝜇̂𝑁𝑅 = 0, a to zachodzi wówczas, gdy estymatory wskaźników struktury wśród respondentów oraz jednostek niedostępnych są sobie równe. A zatem, wielkość błędu zależy również od różnicy pomiędzy war-tością statystyki dla respondentów oraz jednostek niedostępnych (por. Jabkow-ski 2007: 93). Oznacza to, że „gdyby jednostki niedostępne były losowo rozrzu-cone w populacji, wypaczenie wyników nie byłoby w ogóle problemem nawet przy wysokich odsetkach niezrealizowania próby badawczej” (Goldberg 2003: 41).

W takich przypadkach nie trzeba byłoby się w ogóle przejmować poziomem realizacji próby, bowiem wielkość ta miałaby wpływ jedynie na błąd losowy (który w sondażach jest akurat najmniejszym problemem), nie będąc w gruncie rzeczy powiązana z błędem systematycznym wypaczającym wyniki badań.

Trudno jednak wskazać na jakieś poważne studia empiryczne potwierdzające na tyle zasadność tej tezy, by można było w ogóle uchylić założenie o różnicach pomiędzy respondentami oraz jednostkami niedostępnymi. Zdecydowana większość badań pokazuje, że podział próby na część dostępną i niedostępną jest silnie skorelowany z badanymi cechami wylosowanych osób, a jednostki niedostępne różnią się od osób niezbadanych zarówno jeśli chodzi o rozkłady opinii, jak i cechy społeczno-demograficzne (por. Domański 1999: 72–78;

Groves 2006: 657–662; Sztabiński i in. 2007: 31–37). Dobrym tego przykładem jest podsumowanie artykułu Henryka Domańskiego, który, konkludując wyniki analiz opartych na dodatkowych wywiadach wśród jednostek niedostępnych, dochodzi do następującego wniosku:

[jednostki niedostępne – P.J.] różniły się od respondentów, z którymi przepro-wadzono wywiady – różnice te wyszły przy porównywaniu rozkładów kilku-dziesięciu zmiennych […] jednak nie znalazło to odzwierciedlenia w sile i za-leżnościach kształtujących [wybrane zmienne społeczno-demograficzne P.J.].

(Domański 1999: 89)

Wniosek sformułowany przez H. Domańskiego nie jest zatem jednoznaczny.

Z jednej strony rozkłady odpowiedzi jednostek niedostępnych w badaniu różni-ły się od rozkładów odpowiedzi respondentów, z drugiej jednak strony nie miało to wpływu na formułowane wnioski w odniesieniu do różnic zaobserwowanych ze względu na cechy społeczno-demograficzne badanych osób. H. Domański wskazuje jednak na ograniczenia swoich analiz, podając, że udało mu się

prze-prowadzić wywiady ze 125 osobami z grupy 391 jednostek niedostępnych (por.

Domański 1999: 90–91) – nadal zatem nie wiadomo, jakie byłyby odpowiedzi pozostałych 266 osób. Owych 125 osób niedostępnych było, używając termino-logii Pawła B. Sztabińskiego, tzw. „miękkimi nie-respondentami”, a więc ich pier-wotna odmowa udziału w badaniu mogła być spowodowana czynnikami, które daje się dość łatwo zniwelować w procesie badawczym (por. Sztabiński P.B.

2006: 19–24). P.B. Sztabiński wskazuje równocześnie, że rozkłady odpowiedzi udzielane przez „nie-respondentów” znacznie odbiegają od odpowiedzi re-spondentów (co jest zgodne z pierwszą częścią wniosku H. Domańskiego). Pod-sumowując, można wskazać, że ignorowanie błędu nielosowego wynikającego z niezrealizowania części próby rodzi poważne błędy w oszacowaniu parame-trów w populacji poprzez obniżenie poziomu reprezentatywności prób badaw-czych. Oznacza to, iż należy podjąć działania zmierzające do ustalenia oraz zmi-nimalizowania wpływu tego typu błędu na całkowity błąd pomiaru.

Zauważyć można jednak, że definiowanie błędu braku odpowiedzi jako różnicy pomiędzy estymatorami w warstwie jednostek dostępnych oraz niedo-stępnych prowadzi do trudności w oszacowaniu wielkości tego błędu. Głównym i oczywistym ograniczeniem jest utrudniony (choć oczywiście możliwy) dostęp do osób niedostępnych w badaniu. W efekcie wielkość błędu pozostaje zawsze niewiadoma, gdyż nieznane są dokładne wartości estymatorów w warstwie jednostek niedostępnych. O ile bowiem poziom realizowalności próby jest ła-twy do wyznaczenia, o tyle niewiele wiadomo o osobach, z którymi wywiadów nie udaje się zrealizować (por. Domański 1999: 67). Co prawda zaproponowa-no wiele procedur, które pozwalają zwiększyć pole manewru w tym zakresie, lecz nie są one wolne od różnorakich wad, w tym od dyskusyjnych i problema-tycznych założeń, które tkwią u ich podstaw (por. Grzeszkiewicz-Radulska 2009: 47). Kwestie te omówione będą dokładniej w rozdziale poświęconym w całości zagadnieniom jednostek niedostępnych oraz ich oddziaływaniu na poziom reprezentatywności prób badawczych.

II.1.5. Zmiana precyzji wnioskowania wynikająca