Jerzy Koniarek
Analiza metod weryfikacji i ocena
narzędzi w badaniach
kwestionariuszowych
Przegląd Socjologiczny Sociological Review 30, 301-305
1978
.JERZY KONI AREK Uniwersytet Łódzki
ANALIZA METOD WERYFIKACJI I
OCENA
NARZĘDZI
W BADANIACH KWESTIONARIUSZOWYCH
Problematyka wiarygodności informacji uzyskiwanych w wyniku .stosowania wywiadu kwestionariuszowego od kilku lat stanowi przed miot zainteresowania pracowników Zakładu Metod i Technik Badań Społecznych Instytutu Socjologii Uniwersytetu Łódzkiego. Efektem tych zainteresowań były badania metodologiczne przeprowadzane w 1973 r., których założenia teoretyczne i wyniki przedstawione zo stały w 5 tomie Analiz i prób technik badawczych w socjologii Pro wadzone obecnie badania koncentrują się na czterech zagadnieniach12.
1 Analizy i próby technik badawczych w socjologii, red. Z. Gostkowski, J. Lutyński, t. 5, Wrocław 1975, s. 319 i n.
2 Omawiane badania, których temat brzmi: „Metody weryfikacji i oceny narzędzi w badaniach z wykorzystaniem wywiadu kwestionariuszowego w so cjologii”, prowadzone są, pod kierunkiem naukowym prof. dra J. Lutyń- s k i e g o, przez A. Kubiak, K. Kistelskiego, J. Koniarka i W. Ros- t o ckieg o. Badania są realizowane w ramach problemu resortowego R.III.9. „Metody ilościowe i modele w naukach ekonomicznych i społecznych”. Koordy natorem I stopnia badań prowadzonych w ramach tego problemu jest Instytut Ekonometrii i Statystyki UŁ, którego dyrektorem jest prof. dr hab. W. Welfe.
1. Ocena wartości (efektywności) rozmaitych sposobów weryfikacji informacji uzyskiwanych w toku prowadzenia wywiadu kwestiona riuszowego. Ocena ta, zrelatywizowana do rozmaitych rodzajów pytań, poszukiwanych przez badacza informacji, cech osób badanych itd, pozwolić ma na ustalenie wzajemnych relacji i powiązań, być może dających się wyrazić liczbowo, występujących między różnymi spo sobami weryfikowania danych. Sposoby te różnią się m.in. stopniem pewności, z jakim pozwalają mówić stosującemu je badaczowi o wy stępowaniu bądź niewystępowaniu błędów czy niezgodności w danych uzyskiwanych w toku badań z użyciem kwestionariusza.
302 JERZY KONIAREK
2. Opracowanie i udoskonalenie metod ilościowej oceny stopnia trudności i drażliwości pytań. Metody te byłyby możliwe do zastoso wania przed użyciem pytań w badaniach masowych. Ponieważ trud ność i drażliwość pytań stanowią podstawowe źródło błędów w odpo wiedziach respondentów, możliwość określenia przy pomocy owych metod stopnia trudności i drażliwości pytań przed zastosowaniem ich w badaniach miałaby duże znaczenie dla badaczy3. Szczególne zna czenie przywiązuje się w obrębie tego problemu do określenia sku teczności przewidywania stopnia trudności pytań kwestionariusza na podstawie opracowanej i stosowanej już wielowymiarowej analizy stopnia trudności pytań4.
3. Określenie, jaki udział w pojawianiu się błędów ma niewłaściwe, niezgodne z ogólnymi i szczegółowymi dyrektywami postępowanie ankietera w wywiadzie kwestionariuszowym, i wskazanie sposobów unikania tego rodzaju błędów. Dodatkowym efektem badań w odnie sieniu do tego problemu powinno być opracowanie kompleksowych, efektywnych sposobów kontroli ankieterów. Sposoby te powinny być możliwe do zastosowania w masowych badaniach socjologicznych pro wadzonych z wykorzystaniem wywiadu kwestionariuszowego jako na rzędzia zbierania informacji.
4. Zbadanie — w powiązaniu ze sprawą rozmiaru błędu — kwestii braku informacji w badaniach socjologicznych z zastosowaniem wy wiadu kwestionariuszowego. W rezultacie analizy tego zagadnienia powinno się ustalić, w stosunku do jakich pytań najczęściej wystę puje brak informacji poszukiwanych przez badacza, a zwłaszcza jakie są tego przyczyny i skutki. Zamierzone jest także opracowanie dy rektyw, które pozwoliłyby na zmniejszenie ilości braków informacji przy stosowaniu wywiadu kwestionariuszowego.
9 O roli trudności i drażliwości w powstawaniu błędów odpowiedzi zob. S. S u d m a n, N. M. Bradburn, Response Effects in Surveys, Aldine Publ ishing Company, Chicago 1974, s. 9—13, 36—40, 45—54 i inne.
* W. Rostock i, Możliwości i sposoby oceny stopnia trudności pytań kwestionariusza, w: Analizy i próby..., t. 5.
Etap zbierania materiałów w prezentowanych badaniach rozpoczął się w grudniu 1976 roku i w chwili obecnej (1977) dobiega końca. Ba dania przeprowadzono z dwiema kontrastowymi ze względu na poziom wykształcenia grupami respondentów: z młodymi robotnikami, miesz kającymi w hotelach robotniczych i posiadającymi wykształcenie pod stawowe lub zasadnicze zawodowe (150 osób), oraz z asystentami Po litechniki Łódzkiej (50 osób). Z badanymi przeprowadzany jest stan dardowy wywiad kwestionariuszowy zawierający 51 pytań. Wartość
informacji uzyskanych na 18 pytań wybranych na podstawie takich kryteriów, jak rodzaj informacji poszukiwanej w pytaniu, budowa gramatyczna pytania, długość pytania, użyte w nich słownictwo, częs tość wykorzystywania pytania w przeprowadzanych badaniach z uży ciem kwestionariusza itd., oceniana jest za pomocą kilku metod.
1. Wywiad o wywiadzie jest to swobodna rozmowa z res pondentem mająca na celu odtworzenie procesów psychicznych (inte lektualnych i emocjonalnych), które w nim zachodziły, kiedy odpo wiadał na pytanie kwestionariusza. Na podstawie danych uzyskanych w wywiadzie o wywiadzie dotyczących rodzaju i jakości procesów wewnętrznych, porównywanych z normatywno-opisowym modelem przebiegu tych procesów przygotowanym wcześniej przez badaczy, do konuje się oceny wartości jednostkowej informacji otrzymywanej na pytanie w wywiadzie kwestionariuszowym. Wywiad o wywiadzie prze prowadzony jest w odniesieniu do każdego wybranego do analizy weryfikacyjnej pytania bezpośrednio po wywiadzie kwestionariuszo wym i przebiega według opracowanego schematu — karty pytania. 2. Wywiad pogłębiony (follow-up interview, quality check),
przeprowadzany w odniesieniu do każdego z 18 wybranych do analizy pytań, przebiega według przygotowanych wcześniej przez badacza i obowiązujących ankieterów schematów — kart pytań (są to oczy wiście inne karty pytań, niż wspomniane poprzednio). Wywiad po głębiony stosowany jako metoda weryfikacji polega, najogólniej bio- rąc, na tym, iż respondentowi przy powtórhym z nim kontakcie ułat wia się maksymalnie odpowiadanie na pytanie kwestionariusza roz kładając je na elementy prostsze, wyjaśniając użyte w pytaniu ter miny, nie zmieniając jednakże informacji poszukiwanej, która musi pozostać taka sama jak w odpowiednim pytaniu kwestionariusza. Efek tem wywiadu pogłębionego powinno być ustalenie odpowiedzi trafnej, tj. odpowiedzi przynoszącej prawdziwą poszukiwaną informację.
3.
Weryfikacja informacji uzyskanych w wywiadzie kwestionariuszowym poprzez porównanie ich z danymi zawartymi w dokumentach zakładu pracy respondenta stosowana jest w odnie sieniu do czterech pytań o fakty (staż pracy w obecnym miejscu pra cy, przeciętny miesięczny zarobek z ostatnich 12 miesięcy, wysokość zarobku w ostatnim miesiącu, poziom wykształcenia).Omówimy teraz dodatkowe procedury weryfikacji informacji uzys kanych w trakcie wywiadu kwestionariuszowego.
4. Wywiad rozszerzony jest przeprowadzany w odniesie niu do pytań o opinie i dotyczy m.in. problemu wcześniejszego kon taktu respondenta z tematem pytania i trwałości opinii formułowanych w trakcie wywiadu kwestionariuszowego.
304 JERZY KONIAREK
5. Test psychologiczny, będący adaptacją testu słowniko wego M. Choynowskiego, bada zasób słów respondenta i ich rozumie nie. Wyniki testu będą analizowane w powiązaniu z problemem istot ności, trafności i trudności pytań.
6. Analiza zapisu magnetofonowego wywiadu kwes tionariuszowego i konfrontacja tego zapisu z zapisem dokonanym przez ankieterów w kwestionariuszu pozwoli określić stopień realizowania przez ankieterów zaleceń instrukcji oraz rodzaj i wielkość zniekształ ceń, jakim ulegają odpowiedzi respondentów w trakcie ich rejestro wania w kwestionariuszu. Analiza ta dokonana w stosunku do wy wiadu o wywiadzie i wywiadu pogłębionego pozwoli ocenić funkcjo nowanie obu tych technik weryfikacyjnych i uchwycenie ich słabych punktów.
Skrótowo zarysowany schemat postępowania badawczego stosowa ny w badaniach przedstawia się następująco: po przeprowadzeniu przez ankietera wywiadu kwestionariuszowego i wypełnieniu przez respondenta testu słownikowego drugi ankieter, który dotychczas przy słuchiwał się wywiadowi, przeprowadza z respondentem wywiad o wy wiadzie w odniesieniu do każdego z osiemnastu pytań wybranych do analizy. Po kilku dniach ankieter, który przeprowadzał wywiady o wywiadzie, nawiązuje powtórny kontakt z respondentem i prze prowadza z nim wywiady pogłębione w odniesieniu do każdego pyta nia kwestionariusza poddanego analizie weryfikacyjnej. Na koniec każ dego wywiadu pogłębionego, który dotyczy pytania o opinię, ankieter przeprowadza wywiad rozszerzony. Celem tego wywiadu jest stwier dzenie, czy badany posiada i formułuje opinie na temat poruszony w pytaniu kwestionariusza po raz pierwszy w sytuacji wywiadu kwestionariuszowego, czy też już wcześniej formułował opinie na ten temat, a jeśli tak, to w jakich sytuacjach i jakie to były opinie — zbieżne czy różne w stosunku do tej ujawnionej w trakcie wywiadu. Sprawa ta posiada duże znaczenie w badaniach, ponieważ badacze z reguły uważają poglądy sformułowane w wywiadach socjologicznych za opinie trwałe, co wydaje się wątpliwe.
Cały materiał utrwalony na taśmie magnetofonowej jest przepi sywany. Wywiad kwestionariuszowy przeprowadzają ankieterzy rekru tujący się spośród tych, którzy są wykorzystywani w masowych ba daniach prowadzonych na terenie Łodzi przez IFiS PAN. Ankieterami przeprowadzającymi wywiady o wywiadzie i wywiady pogłębione są specjalnie przeszkoleni studenci IV i V roku socjologii oraz absol wenci socjologii. Część osób z tej grupy brała udział w pierwszych tego typu badaniach przeprowadzonych w 1973 roku we Włocławku.
Prowadzone obecnie badania stanowią kontynuację i rozwinięcie wątków podjętych cztery lata temu. Różnią się jednak od badań włocławskich szeregiem cech. We Włocławku badania objęły zbioro wość młodych robotników, obecnie badani są także ludzie z wyższym wykształceniem — asystenci wyższej uczelni. Zasadnicza różnica mię dzy obu badaniami wiąże się z traktowaniem obecnie wywiadu o wy wiadzie jako autonomicznej w stosunku do innych techniki weryfika cyjnej. Wywiad o wywiadzie jest narzędziem dokonywania weryfi kacji nazwanej przez J. Lutyńskiego weryfikacją wewnętrzną5. Dla tego jest on oddzielony od procedury wywiadu pogłębionego (te dwie techniki stosuje się w kilkudniowym odstępie). Ma to umożliwić ocenę wartości tego weryfikatora jak i wywiadu o wywiadzie, nie stosowa nych dotąd na taką skalę i w sposób systematyczny.
5 O weryfikacji wewnętrznej patrz J. L u ty ńs ki, Analizy weryfikacyjne w badaniach z zastosowaniem wywiadu kwestionariuszowego, ich rodzaje i moż liwości, w: Analizy i próby..., t. 5, s. 362 i n.
Zmieniony został obecnie także schemat prowadzenia wywiadu o wywiadzie. Zmiana ta pozwala jednak zachować w dużym stopniu porównywalność materiałów z obu badań, co wiąże się z możliwością łącznego wykorzystania tych materiałów przy rozstrzyganiu wielu problemów.
