Metody pomiaru trafności i rzetelności kwestionariusza

Ogólne zasady formułowania pytań badawczych przytaczają A. Tokarz i A. Lewandowska¹, stwierdzając wprost, iż:

 pytania powinny być precyzyjne i zrozumiałe również przez unikanie spe-cjalistycznych i niejednoznacznych terminów,

 warianty odpowiedzi nie mogą na siebie zachodzić lub stwarzać wrażenia dowolności klasyfikowania,

 nie należy pytać o więcej niż jedno zagadnienie jednocześnie,

 pytania należy dostosować do wiedzy i doświadczenia badanych.

Literatura wymienia wiele sposobów ustalania trafności kwestionariusza². Najczęściej wymienia się trafność treściową (fasadową), która opiera się jedynie na subiektywnym przekonaniu badacza, iż stworzone przez niego narzędzie pomiaro-we odzwierciedla mierzoną właściwość. Kpomiaro-westionariusz może również wykazywać trafność teoretyczną poprzez udowodnienie, iż jest on powiązany z pojęciami oraz teoretycznymi założeniami obowiązującymi i ogólnie przyjętymi w analizowanej dziedzinie. Narzędzie może się również charakteryzować trafnością empiryczną (prognostyczną), będącą oceną zdolności prognostycznych narzędzia³. Opracowany kwestionariusz będzie trafny empirycznie, jeśli wystąpi wysoka zależność między wynikami predykcji (uzyskanymi na podstawie kwestionariusza) i rzeczywistym związkiem zachodzącym między mierzonymi zmiennymi. Natomiast trafność dia-gnostyczna wynika z porównania z innymi narzędziami mierzącymi tę samą wła-ściwość.

W przypadku badania rzetelności kwestionariuszy wybór metod jest jeszcze szerszy⁴ i często uzależniony od potrzeb wynikających z procesu badawczego, a nawet skali. Należy jednak wspomnieć, iż obecnie stosowane metody badania rzetelności opierają się na klasycznym modelu rzetelności H. Gulliksena⁵:

Y_i=Y_ti+Y_ei gdzie:

Yi – wynik obserwowany dla i-tej osoby;

Y_ti – wynik prawdziwy dla i-tej osoby;

1 A. Tokarz, A. Lewandowska, Badania rynku turystycznego. Materiały do studiowania, WNUS, Szczecin 2005, s. 34.

2 Trafność i rzetelność testów psychologicznych. Wybór tekstów, red. J. Brzeziński, Gdań-skie Wydawnictwo Psychologiczne, Gdańsk 2005, s. 12, 91, 272, 403.

3 A. Stanisz, Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny. Tom 3. Analizy wielowymiarowe, StatSoft Polska, Kraków 2007, s. 441.

4 J.P. Guilford, Psychometric method, McGraw-Hill, New York 1954, s. 373 oraz J.P. Guil-ford, Rzetelność i trafność pomiarów, w: Trafność i rzetelność testów…, op.cit., s. 62.

5 H. Gulliksen, Theory of mental tests, Wiley, New York 1950.

Yei – wielkość popełnionego błędu dla i-tej osoby.

Model wymaga jednak przyjęcia m.in. następujących założeń:

 wszystkie błędy pomiarów Yei (wynikające z rozbieżności między wyni-kiem kwestionariusza Y_i oraz wynikiem rzeczywistym Y_ti) dla nieskończe-nie wielu pomiarów wykonanych u i-tej osoby mają rozkład normalny,

 wartość średnia ze wszystkich błędów Y_ei jest równa zero,

 brak zależności między wynikiem pomiarowym Yi i błędem pomiaru Yei. W literaturze wymienia się m.in. metodę powtórnego testowania (tzw. test-retest reliability), w której kwestionariusz przedstawiany jest dwukrotnie tej samej grupie osób, a rzetelność określana jest za pomocą współczynnika korelacji, obli-czanego względem obu prób badań.

Z kolei metoda form równoległych (paralel – form reliability) wymaga opra-cowania dwóch równoległych narzędzi pomiarowych zastosowanych wobec tej samej grupy badawczej. Również w tym przypadku współczynnik korelacji między wynikami obu grup określa rzetelność kwestionariusza.

Metoda połówkowa (odd-even reliability/split half) polega na podziale kwe-stionariusza na pytania parzyste i nieparzyste oraz potraktowanie ich odrębnie jako dwóch kwestionariuszy. Obliczona między nimi zależność stanowi korelację po-łówkową, która powinna być przekształcona zgodnie z przyjętą metodą obliczania rzetelności. Najczęściej stosowanym przekształceniem jest wzór Spearmana-Browna o postaci:

r_xy – korelacja między połówkami;

r_z – rzetelność kwestionariusza.

Kolejną metodą jest metoda zgodności wewnętrznej (internal consistency reliability), która składa się z różnych serii pytań o dychotomicznym podziale wa-riantów odpowiedzi. Podział kwestionariusza na dwie części w różnych sekwen-cjach umożliwia zbadanie rzetelności metodą połówkową.

A. Stanisz⁶ wśród powyższych metod badania rzetelności wymienia również ocenę rzetelności między obserwatorami (inter-observer reliability). Metoda ta polega na badaniu zgodności ocen wydawanych przez zaangażowanych w badanie ekspertów, np. grupy lekarzy, którzy, badając uczestników badań, określiliby sto-pień zgodność między wynikami uzyskanymi na podstawie określonego narzędzia badawczego oraz rzeczywistym stwierdzeniem lub niestwierdzeniem schorzenia u badanego.

6 A. Stanisz, op.cit., s. 441.

Jednak najczęściej stosowaną miarą rzetelności kwestionariusza badawczego jest współczynnik α-Cronbacha (2)⁷, będący podstawowym przedmiotem rozważań w niniejszym artykule. Jest to miara oparta na uogólnieniu dwóch ostatnio omó-wionych metod.

k – liczba pozycji testu;

δ²_i - wariancja i-tej pozycji testu;

δ²_∑ - wariancja ogólnych wyników całego kwestionariusza (wariancja sum punktów przydzielonych przez każdego pacjenta).

Wariancja i-tej pozycji testu δ²_i (3) obliczana jest następująco:

 

y_ij – ocena i-tej pozycji testu przydzielonej przez j-tego respondenta;

y_i^sr - średnia arytmetyczna ocen i-tej pozycji testu.

Współczynnik α-Cronbacha jest miarą spójności wewnętrznej skonstruowa-nego kwestionariusza, co oznacza, że określa do jakiego stopnia pewien zbiór zmiennych (pytań) opisuje jedną konstrukcję myślową (np. postawę). Jest on przy-datnym narzędziem przy budowie skal pomiarowych oraz ich ocenie. Współczyn-nik pozwala oszacować rzetelność kwestionariusza w skali od 0 do 1 (im wyższa wartość współczynnika, tym większa rzetelność kwestionariusza). Przyjmuje się, iż skonstruowane narzędzie badawcze jest rzetelne, jeśli wartość współczynnika α-Cronbacha przekracza wartość progową wynoszącą 0,70.

7 L.J. Cronbach, Coefficient alpha and the internal structure of tests, “Psychometrika”

1951, nr 16/3, s. 297–334.

Dokonując prostych symulacji na danych, można zauważyć, iż wartość współ-czynnika jest wyższa, gdy badani są konsekwentni w wyborze określonego obszaru skali we wszystkich pytaniach. Natomiast nie obserwuje się większego wpływu na stopień rzetelności, gdy wśród respondentów występują zarówno zwolennicy jed-nej, jak i drugiej skrajności, albo ci, którzy wybierają wariant pośredni. Rzetelność narzędzia wynika z konsekwentności wyboru podobnych odpowiedzi wobec wszystkich pytań u jednego respondenta.