Oskar Żyndul
Uniwersytet Warszawski
JAK STWIERDZIĆ, CZY DANE Z SONDAŻU DO CZEGOŚ SIĘ NADAJĄ?
Franciszek Sztabiński. Ocena jakości danych w badaniach surveyowych. Warsza- wa: Wydawnictwo IFiS PAN, 2011, 292 s.
Franciszek Sztabiński jest jednym z wychowanków i kontynuatorów trady- cji tzw. łódzkiej szkoły metodologicznej, ufundowanej w latach sześćdziesiątych ubiegłego wieku przez Jana Lutyńskiego z Uniwersytetu Łódzkiego i Zygmunta Gostkowskiego z łódzkiego Zakładu Badań Socjologicznych IFiS PAN. Od po- czątku naukowej pracy zajmuje się metodologią badań ilościowych, skupiając się przede wszystkim na etapie zbierania danych i realizacji badań w terenie. W swo- ich pracach zajmował się między innymi problemem niedostępności responden- tów, interakcjami ankietera z respondentem, konsekwencjami stosowania różnych sposobów zbierania danych (ankieta pocztowa, wywiad kwestionariuszowy, CATI) oraz kwestiami kontroli pracy ankieterów i merytorycznej oceny jakości danych uzyskiwanych z badań sondażowych. Do jego prac należą między innymi książka Ankieta pocztowa i wywiad kwestionariuszowy (1997) i artykuły Kontrola w bada- niach surveyowych: pytania i odpowiedzi (1995) oraz Szkolenie do badania (tzw.
briefi ng) i przygotowanie ankietera do wywiadu (2005). Jako pracownik czoło- wych polskich instytutów badawczych, zajmujących się badaniami społecznymi i marketingowymi, przeszedł przez wszystkie szczeble struktur zaangażowanych w realizację badań sondażowych. Współredagował (wraz z Pawłem B. Sztabiń- skim i Zbigniewem Sawińskim) podręcznik realizacji badań ilościowych Field- work jest sztuką, jest również członkiem redakcji czasopisma metodologicznego
„ASK. Społeczeństwo. Badania. Metody” oraz kierownikiem Ośrodka Realizacji Badań Socjologicznych IFiS PAN.
Najnowsza książka Sztabińskiego wpisuje się w dotychczasowy dorobek i zain- teresowania naukowe autora i jest kontynuacją jego badań, dotyczących tzw. higie- ny procesu zbierania danych, standaryzacji zachowań ankietera, kontroli realizacji badania oraz oceny jakości zebranego materiału. Wpisuje się również w nurt roz- ważań nad jakością i weryfi kacją danych zbieranych w badaniach sondażowych, obecny wśród reprezentantów łódzkiej szkoły metodologicznej, między innymi w pracach Krystyny Lutyńskiej i Jana Lutyńskiego (Lutyńska 1972, 1975; Lutyń- ski 1975).
Instytut Socjologii, e-mail: zyndul@gmail.com
Od czasów, kiedy swoje rozważania prowadzili Lutyńscy i pozostali założyciele łódzkiej szkoły metodologicznej, krajobraz badawczy w Polsce bardzo się zmienił.
Badania sondażowe przestały być narzędziem zarezerwowanym dla organów władzy i uniwersyteckich socjologów. Stały się dominującym sposobem zbierania wiedzy o opiniach i postawach ludzi. Sondaż jest bowiem szybkim i na pierwszy rzut oka prostym sposobem zbierania danych, a rozwijająca się polska gospodarka nieustan- nie potrzebuje informacji o sympatiach, zachowaniach i wyborach konsumentów. Do sondaży społecznych i politycznych dołączyły więc sondaże konsumenckie, które szybko stały się najważniejszym źródłem dochodu powstających w latach dziewięć- dziesiątych prywatnych instytutów badawczych.
Rozwój rynku usług badawczych i zachodzący niezależnie rozwój oraz wzrost zasięgu nowych technologii komunikacyjnych doprowadziły do powstania nowych metod zbierania danych. Wprowadzenie ankiet telefonicznych, ankiet wspomaga- nych komputerowo, a wreszcie ankiet internetowych pozwoliło znacząco obniżyć koszty prowadzenia badań i ułatwiło dostęp do respondentów. Przez ostatnie dwa- dzieścia lat badania w Polsce sprofesjonalizowały się i skomercjalizowały. Wiele socjologicznych badań naukowych wykorzystujących metody sondażowe opiera się na danych zbieranych przez komercyjne instytuty badawcze.
Niestety presja rynkowa wpłynęła również na kilka niekorzystnych zmian. Jedną z nich jest konieczność utrzymywania kosztów prowadzenia badania na jak najniż- szym poziomie. Bezpośrednio z nią związany jest również fakt outsourcingu usług ankieterskich przez instytuty badawcze. W takim otoczeniu tym ważniejsze stają się kompetencje pozwalające ocenić, czy dane dostarczane najpierw przez siatkę an- kieterską instytutowi badawczemu, a następnie przez instytut końcowemu odbiorcy, zostały zebrane prawidłowo.
W swojej pracy Sztabiński w pierwszej kolejności wskazuje na konieczność re- fl eksji nad problemem oceny jakości danych uzyskiwanych w badaniach sondażo- wych oraz poświęcenia przez polskich socjologów i badaczy społecznych większej uwagi kwestii weryfi kacji danych w prowadzonych przez nich badaniach. Autor zauważa, że w obecnych czasach badacze najczęściej powierzają realizację badań instytutom i fi rmom badawczym, stając się de facto ich klientami, a co za tym idzie, w trakcie realizacji badania tracą kontrolę nad jego przebiegiem. Dlatego, według Sztabińskiego, w wolnorynkowych realiach ocena jakości danych jest jeszcze waż- niejsza niż w czasach, kiedy pisali o niej Lutyńscy.
Autor podzielił swoje rozważania na cztery rozdziały. W rozdziale pierwszym systematyzuje funkcjonujące w literaturze przedmiotu sposoby oceny jakości danych, w drugim proponuje własne podejście do omawianego problemu, w końcu (rozdzia- ły 3 i 4) przedstawia przykład zastosowania części swoich pomysłów, tworząc przy tym ramy porównawcze dla oceny innych badań tą samą metodą.
Pierwszy rozdział książki to opis obecnego stanu wiedzy na temat możliwości oceny jakości danych uzyskiwanych w badaniach sondażowych. Autor dzieli wy- stępujące w literaturze „tradycyjne” podejścia na dwie zasadnicze perspektywy:
wewnętrzną i zewnętrzną. Perspektywa wewnętrzna to analiza przebiegu procesu badawczego, jego poszczególnych etapów, elementów oraz próba wychwycenia
ewentualnych błędów. Założenie stojące za tą perspektywą jest takie, że prawdo- podobieństwo uzyskania danych odpowiadających rzeczywistości jest większe, gdy badanie zostało przeprowadzone prawidłowo.
W ramach analizy procesu badawczego Sztabiński wyróżnia poza tym dwa uję- cia – dynamiczne i statyczne. Ujęcie dynamiczne za cel oceny bierze przebieg pro- cesu badawczego, czyli jego kolejne, następujące po sobie etapy, natomiast ujęcie statyczne skupia się na elementach procesu, czyli przede wszystkim jego uczestni- kach – badaczach, ankieterach i respondentach. W ramach analizy błędów wyróżnia autor błędy obserwacji, błędy niezwiązane z obserwacją oraz błędy opracowania zebranego materiału.
Perspektywa zewnętrzna to ocena ostatecznego rezultatu badania, czyli wyników pomiaru. To podejście autor również dzieli na dwie perspektywy, z których jedna odwołuje się do koncepcji trafności i rzetelności, druga zaś do procedur weryfi ka- cyjnych i walidacyjnych.
W rozdziale drugim Sztabiński proponuje własne podejście do kwestii oceny danych sondażowych. Przywołując teorię agencji Michaela Jensena i Williama Mec- klinga (Jensen, Meckling 1976), wskazuje na możliwy konfl ikt interesów występują- cy między aktorami procesu badawczego – badaczem (zleceniodawcą) oraz instytu- tem lub fi rmą badawczą (wykonawcą i zleceniobiorcą). Według autora wykonawcy zależy przede wszystkim na zrealizowaniu badania (a więc interesuje go przede wszystkim proces zbierania danych), natomiast badacz jest zainteresowany w pierw- szej kolejności tym, żeby rezultat badania był jak najbliższy prawdy. W odpowiedzi na te dwa różne zespoły oczekiwań autor wprowadza podział na pośrednie i bezpo- średnie podejście do oceny jakości danych. Podejście pośrednie odnosi się przede wszystkim do oceny jakości pracy ankietera (autor poświęca przy tym niemal cały rozdział opisaniu sposobów oceny i kontroli pracy ankietera), natomiast podejście bezpośrednie to ocena jakości danych dokonywana poprzez powtórzenie pomiaru.
Rozdziały trzeci i czwarty to prezentacja wyników analiz empirycznych przepro- wadzonych na danych pochodzących z 34 badań kontrolnych zrealizowanych w la- tach 1992–2005 przez kilka instytutów badawczych (SMG/KRC, CBOS i ORBS).
Na podstawie tych analiz autor tworzy zestawienie „benchmarków”, które określa jako „punkty odniesienia dla dokonanego pomiaru” lub „coś, co służy za standard przy ocenie innych pomiarów”. Oceny jakości danych uzyskanych w kontrolowa- nych badaniach autor dokonuje na podstawie porównania odpowiedzi responden- tów w badaniu zasadniczym z odpowiedzią tego samego respondenta na to samo pytanie w pomiarze powtórzonym podczas badania kontrolnego oraz wartości kilku współczynników korelacji między wartościami zmiennej pochodzącymi z badania zasadniczego i wartościami zmiennej pochodzącymi z badania kontrolnego. Kryte- rium oceny jakości danych jest tu więc odsetek odpowiedzi zgodnych oraz wartość współczynników korelacji.
W rozdziale trzecim Sztabiński prezentuje wyniki analiz w zależności od formy pytania, natomiast w rozdziale czwartym skupia się na przedmiocie pytania tworząc przy tym benchmarki dla poszczególnych typów pytań (benchmarki rozumiane jako średni odsetek zgodnych odpowiedzi dla danego typu pytania). Podział na formę
i przedmiot badania wynika z założenia, że te cechy pytań mają wpływ na stopień, w jakim respondenci są w ogóle w stanie udzielić dokładnie takiej samej odpowiedzi (za przykład weźmy różnice między płcią respondenta a odpowiedzią na pytanie o stosunek do jakiejś sprawy na skali jedenastostopniowej). Ponadto, w rozdziale czwartym autor zastanawia się nad tym, jak rozbieżności w odpowiedziach na py- tania wpływają na wyniki badania. Według niego, najważniejszą kwestią jest w tym przypadku wpływ rozbieżności na siłę zależności między mierzonymi zmiennymi.
Z analiz autora wynika, że między danymi z badania zasadniczego i badania kon- trolnego nie występują znaczące różnice w sile zależności między tymi samymi zmiennymi (a w kilku przypadkach, w których występują, kierunek zależności po- zostaje taki sam), a co za tym idzie, rzetelność pomiaru nie ma istotnego wpływu na wnioski wyciągane z badania.
Książka Sztabińskiego systematyzuje i zbiera w jednym miejscu funkcjonują- ce obecnie podejścia do kwestii oceny jakości danych uzyskiwanych w badaniach sondażowych. Godne pochwały jest również stworzenie na podstawie kilkudziesię- ciu badań zbioru benchmarków w formie tabel zawierających wskaźniki zgodności odpowiedzi dla poszczególnych typów pytań (wyróżnionych ze względu na formę i przedmiot pytania).
Wydaje się jednak, że proporcje między objętością poszczególnych części oma- wianej pracy mogłyby wyglądać nieco inaczej. W rozdziale drugim, przedstawia- jącym teoretyczne założenia bezpośredniego i pośredniego podejścia do oceny ja- kości danych, bardzo niewiele miejsca autor poświęca podejściu bezpośredniemu.
I to jeszcze nie jest zarzut, ponieważ założenia tego podejścia są bardzo proste – sprowadza się ono do powtórzenia pomiaru i porównania otrzymanych odpowiedzi.
Niezrozumiałe natomiast jest, dlaczego w części empirycznej, obejmującej ponad jedną trzecią objętości pracy, Sztabiński prezentuje jedynie podejście bezpośrednie.
Można oczekiwać, że w przypadku przedstawiania teoretycznych założeń podejścia do jakiegoś problemu na dwa sposoby, również część aplikacyjna będzie zawierała przykłady odnoszące się do obu.
Kolejnym istotnym zarzutem wobec książki Sztabińskiego jest oparcie części empirycznej na materiale pochodzącym z badań realizowanych właściwie tylko jed- ną metodą. Na 34 badania, których wyniki wzięto pod uwagę, 32 były realizowane metodą PAPI. Mimo deklaracji we wstępie, że autora interesują techniki posługujące się wywiadem kwestionariuszowym (PAPI i CAPI), wśród analizowanych badań nie ma żadnego realizowanego tą drugą metodą. Znalazły się za to wyniki badania realizowanego metodą PSAQ (kwestionariusz papierowy wypełniany samodzielnie) oraz metodą obserwacji nieuczestniczącej, które wywiadami kwestionariuszowymi nie są. Niepokojący jest zwłaszcza brak badań realizowanych metodą CAPI. Jest to bowiem metoda coraz częściej wykorzystywana w świecie współczesnych badań sondażowych. W praktyce badawczej fi rm zajmujących się badaniami społeczny- mi i marketingowymi metodę PAPI wykorzystuje się coraz rzadziej. Coraz częściej natomiast dane zbiera się metodami CAPI, CATI i CAWI (Computer Assisted Web Interview). Trudno powiedzieć, skąd taki dobór materiału, ponieważ autor w żadnym miejscu się z niego nie tłumaczy.
Podsumowując: książka Sztabińskiego zawiera dobry przegląd obecnego stanu wiedzy na temat oceny jakości danych sondażowych. Autor proponuje również wła- sne ciekawe podejście do omawianego problemu. Jednak empiryczna egzemplifi ka- cja proponowanych rozwiązań wydaje się zbyt ograniczona, zarówno pod względem metod, jak i użytego materiału empirycznego.
Literatura
Jensen, Michael C. i William H. Meckling. 1976. Theory of the Firm: Managerial Behavior.
Agency Costs and Ownership Structure. „Journal of Financial Economics”, t. 3, 4, s. 305–360.
Lutyńska, Krystyna i Neonila Szeszenia. 1972. Wstępne wyniki zewnętrznej weryfi kacji odpo- wiedzi respondentów w wywiadzie na temat zachowań zdrowotnych. W: Z. Gostkowski i J.
Lutyński (red.). Analizy i próby technik badawczych w socjologii, t. IV. Wrocław: Ossoli- neum.
Lutyńska, Krystyna. 1975. Weryfi kacja danych z odpowiedzi respondentów na pytania o wyso- kość zarobków. W: Z. Gostkowski i J. Lutyński (red.). Analizy i próby technik badawczych w socjologii, t. V. Wrocław: Ossolineum.
Lutyński, Jan. 1975. Analizy weryfi kacyjne w badaniach z zastosowaniem wywiadu kwestiona- riuszowego, ich rodzaje i możliwości. W: Z. Gostkowski i J. Lutyński (red.). Analizy i próby technik badawczych w socjologii, t. V. Wrocław: Ossolineum.
Sztabiński, Franciszek. 1995. Kontrola w badaniach surveyowych: pytania i odpowiedzi.
„ASK” 1: 49–60.
Sztabiński, Franciszek. 1997. Ankieta pocztowa i wywiad kwestionariuszowy. Warszawa: Wy- dawnictwo IFiS PAN.
Sztabiński, Franciszek. 2005. Szkolenie do badania (tzw. briefi ng) i przygotowanie ankietera do wywiadu. W: P. B. Sztabiński, Z. Sawiński i F. Sztabiński (red.). Fieldwork jest sztuką.
Jak dobrać respondenta, skłonić do udziału w wywiadzie, rzetelnie i sprawnie zrealizować badanie? Warszawa: Wydawnictwo IFiS PAN.
