BUDOWA SKALI POMIAROWEJ W POLITOLOGII
PARAMETRY JAKOŚCI SKALI POMIARU ZMIENNYCH
Jeżeli konstruowanie skali pomiarowej zajmuje tak istotne miejsce w procesie badawczym, to warto wskazać kryteria oceny jej jakości. W literaturze zwykło się podawać dwa zasadnicze takie kryteria, niekiedy uzupełniając je również pobocz-nymi. Te dwa podstawowe wyznaczniki jakości skali pomiarowej to: trafność oraz rzetelność7. Narzędzia ich nie zapewniające bądź zapewniające w niskim stopniu uważa się za nieużyteczne i dające wyniki o niskiej wiarygodności, nie spełniające standardów naukowych.
Przez trafność skali rozumie się stopień w jakim wyniki pomiarów nią wykony-wanych odpowiadają rzeczywistemu poziomowi wartości mierzonej zmiennej.
Inaczej mówiąc, trafność jest określona przez to czy istnieje relacja odpowiednio-ści między miarą a pojęciem8 czy między koncepcją teoretyczną a zastosowanymi do jej pomiaru obserwacjami empirycznymi9. W metodologii badań społecznych wyróżnia się przynajmniej kilka rodzajów trafności10, jednak ograniczone ramy tego tekstu nie pozwalają na szczegółowe się do nich odniesienie, tym bardziej że – zdaniem niektórych – wszystkie one odnoszą się jedynie do różnych aspektów tej samej charakterystyki pomiaru i mogą zostać wywiedzione z trafności teore-tycznej11.
Skala o wysokim stopniu trafności będzie zatem przynosiła takie (lub zbliżone) wyniki pomiarów:
7 Zob. G. Th anasegaran, Reliability and Validity Issues in Research, „Integration & Dissemination”
2009, Vol. 4, s. 35–40.
8 W. Philips Shively, Sztuka prowadzenia badań politycznych, Poznań 2001, s. 72.
9 R. Adcock, D. Collier, Measurement Validity: A Shared Standard for Qualitative and Quantitative Research, „American Political Science Review” 2001, Vol. 95, No. 3, s. 529–531.
10 Zob. J. Brzeziński, Metodologia badań psychologicznych, Warszawa 2002, s. 516–525; G.R. Mar-czyk, D. DeMatteo, D. Festinger, Essentials of Research Design and Methodology, Hoboken (NJ) 2005, s. 106–111.
11 R.M. Guion, On Trynitarian doctrines of validity, „Professional Psychology: Research and Practice” 1980, vol. 11, issue 3, s. 385–398.
Rysunek 1. Pomiar na skali o wysokim poziomie trafności. Opracowanie własne.
Z kolei skala o niskim poziomie trafności przyniesie następujące rezultaty:
Rysunek 2. Pomiar na skali o niskim poziomie trafności. Opracowanie własne.
Skala nietrafna będzie prowadziła do uzyskiwania wyników pomiaru obarczo-nych błędem systematycznym. Będzie ona przeszacowywać lub niedoszacowywać wartości mierzonej zmiennej. Jest to oczywiście zjawisko wysoce niepożądane i aby je kontrolować stosuje się różne techniki oszacowywania trafności skali:
• Logiczna ocena trafności (face validation) – czyli teoretyczna analiza poszcze-gólnych stopni skali pod kątem tego, czy są tym czym zakładaliśmy że będą.
• Analiza dyskryminacyjna (convergent/discirminal validation) – oparta na ocenie siły związku wskaźników z poszczególnymi stopniami skali.
• Sprawdzanie trafności przy pomocy ekspertów (expert validation), którzy orzekają czy wyniki pomiarów są ich zdaniem wiarygodne.
• Sprawdzanie trafności w grupach o znanych właściwościach (known groups validation) – gdy wiemy jakimi wartościami zmiennej charakteryzują się określone obiekty, możemy sprawdzić czy zastosowanie naszej skali przynie-sie wyniki z nimi zgodne.
• Sprawdzanie trafności za pomocą przewidywania (predictive validation) – gdy określone wartości zmiennej wiążą się z przyszłymi zachowaniami czy stanami obserwowanych obiektów, możemy sprawdzić czy rzeczywiście one wystąpią.
• Sprawdzanie zgodności skali z teorią (construct validation) – gdy w oparciu o uznaną teorię i wyniki pomiarów nasze hipotezy nie będą się sprawdzać, to wiemy, że albo tezy teorii są błędne albo nieprawidłowo został przeprowa-dzony pomiar.
Rzeczywista ZDUWRĞü mierzonej zmiennej
WDUWRĞFi zmiennej Wyniki poszczególnych pomiarów
Rzeczywista ZDUWRĞü mierzonej
zmiennej
WDUWRĞFi zmiennej Wyniki poszczególnych pomiarów
• Stosowanie zewnętrznych, niezależnych kryteriów oceny trafności (indepen-dent criteria) – porównanie uzyskiwanych wyników z wynikami pomiarów za pomocą innych narzędzi12.
Z kolei rzetelność skali wyraża się w powtarzalności wyników pomiaru. Pomiar dokonywany wielokrotnie na tych samych obiektach i w tych samych warunkach powinien dawać za każdym razem identyczny albo przynajmniej zbliżony wynik.
W praktyce badawczej zatem „rzetelność narzędzia jest to miara rozproszenia wyników uzyskiwanych przy powtarzaniu pomiaru”13. Skala o niskim stopniu rzetelności będzie przynosiła pomiary obciążone dużym błędem losowym, a zatem trudno byłoby wówczas orzekać czy i w jakim stopniu wynik danego pomiaru jest zbliżony do rzeczywistej wartości zmiennej:
Rysunek 3. Pomiar na skali o niskim poziomie rzetelności. Opracowanie własne.
Rzetelna skala natomiast zapewnia powtarzalność pomiaru i tym samym gwa-rantuje, że uzyskany wynik nie ma charakteru przypadkowego:
Rysunek 4. Pomiar na skali o wysokim poziomie rzetelności. Opracowanie własne.
Zapewnienie rzetelności skali i jej ocena jest jednym z głównych zadań w pro-cesie jej budowy. Uzyskuje się to poprzez takie zabiegi weryfi kacji rzetelności jak:
• Metoda wielokrotnych pomiarów (test – retest) – stosowanie danej skali do kilkukrotnych pomiarów na tej samej grupie obiektów i porównywanie wyników między sobą.
12 R. Mayntz, Wprowadzenie do metod socjologii empirycznej, Warszawa 1985, s. 84–86; W.J. Go-ode, P.K. Hatt, Podstawowe problemy pomiaru, [w:] Metody badań socjologicznych, opr. S. Nowak, Warszawa 1965, s. 265–268; R. Adcock, D. Collier, op.cit., s. 538–543.
13 R. Mayntz, op.cit., s. 83.
Wyniki poszczególnych pomiarów
WDUWRĞFi zmiennej
Wyniki poszczególnych pomiarów
WDUWRĞFi zmiennej
• Zastosowanie wielu wariantów skali (multiple form, alternate form) – porów-nywanie wyników pomiarów dokonywanych za pomocą różnych wariantów danej skali.
• Porównanie wyników z dwóch połówek skali (split-half) – continuum skali dzieli się losowo na dwie części (np. co drugi stopień skali) i sprawdza czy rozkłady wyników są w nich zbliżone.
• Porównanie ocen różnych sędziów (interrater) – kodujący sędziowie mogą porównywać swoje interpretacje dostępnych danych14.
Należy jednak pamiętać, że ani sama rzetelność, ani też sama trafność skali nie zapewniają prawidłowych wyników pomiaru – dopiero obie one łącznie dają wysokie prawdopodobieństwo tego, że uzyskane wyniki będą adekwatne:
Rysunek 5. Pomiary na skalach o różnym poziomie rzetelności i trafności. Opracowanie własne.
14 W.J. Goode, P.K. Hatt, op.cit., s. 261–265; G.R. Marczyk, D. DeMatteo, D. Festinger, op.cit., s. 105.
Pomiar nierzetelny i nietrafny
Pomiar rzetelny i nietrafny
Pomiar trafny i nierzetelny
Pomiar trafny i rzetelny
Wyniki poszczególnych pomiarów
WDUWRĞFi zmiennej Rzeczywista ZDUWRĞü
mierzonej zmiennej
Wyniki poszczególnych pomiarów WDUWRĞFi zmiennej
Rzeczywista ZDUWRĞü mierzonej zmiennej Wyniki poszczególnych pomiarów
WDUWRĞFi zmiennej Rzeczywista ZDUWRĞü
mierzonej zmiennej
Wyniki poszczególnych pomiarów WDUWRĞFi zmiennej Rzeczywista ZDUWRĞü
mierzonej zmiennej
Oprócz trafności i rzetelności skali wskazuje się niekiedy na inne charakterystyki wpływające na jakość dokonywanych pomiarów. Pożądanym jest na przykład by skala była możliwie precyzyjna, tzn. żeby rozróżnienia poszczególnych wartości zmiennej były jak najbardziej subtelne (np. bardziej precyzyjnym byłoby podanie wieku w latach, aniżeli stwierdzenie, że ktoś jest „stary” lub „młody”; bardziej precyzyjny jest pomiar odległości w milimetrach niż kilometrach itd.):
Rysunek 6. Pomiar na skalach o różnym stopniu precyzji. Opracowanie własne.
Pewien stopień precyzji skali pomiarowej jest z pewnością niezbędny do uzy-skania wartościowych wyników badawczych, precyzję można zresztą uznać za jeden z aspektów trafności. Nie jest jednak tak, że każdy pomiar powinien być prowadzony z maksymalną możliwą do uzyskania precyzją – często dla naszych celów badawczych wystarczający jest jedynie pomiar dający wyniki przybliżone, zaś dążenie do większej precyzji narażałoby jedynie na niepotrzebne i niewspół-mierne do efektów koszty15. W takim przypadku należałoby – i na to wskazuje pragmatyka badawcza – poprzestać na pomiarze mniej precyzyjnym, choć przy równoczesnym uznaniu jego niedoskonałości.
Kolejnym kryterium, jakie winno być brane pod uwagę przy ocenie jakości skali jest zatem łatwość i niski koszt jej zastosowania. Jest to wprawdzie kryterium poboczne, o charakterze pomocniczym, jednak przy konstruowaniu skali warto brać pod uwagę możliwości łatwego i dogodnego jej stosowania: jakie zasoby (np.
materialne, fi nansowe czy ludzkie) będą potrzebne do przeprowadzenia pomiaru, czy będzie to proces długotrwały i skomplikowany, czy łatwo dostępne będą źródła informacji stanowiącej podstawę pomiaru, w jakiej formie występują potrzebne dane itd.
Jeszcze innym kryterium jest homogeniczność skali, czyli stopień w jakim poszczególne wchodzące w jej skład wskaźniki cząstkowe są ze sobą zbieżne.
15 E. Babbie, Badania społeczne w praktyce, Warszawa 2003, s. 162–163.
Pomiar precyzyjny
Pomiar nieprecyzyjny
Wyniki poszczególnych pomiarów
WDUWRĞFi zmiennej
Wyniki poszczególnych pomiarów
WDUWRĞFi zmiennej
Zakłada się, że skala winna charakteryzować się jak najwyższym stopniem homo-geniczności, gdyż bez tego jej trafność i rzetelność byłyby obniżone. Jest to szcze-gólnie ważny wymóg w przypadku pomiaru zmiennych jednowymiarowych, natomiast w przypadku pomiaru tzw. zmiennych syndromatycznych czy wielowy-miarowych (patrz niżej) dopuszcza się pewien stopień rozbieżności pomiędzy zmiennymi cząstkowymi. Nawet jednak wówczas winny one być ze sobą skorelo-wane, świadczy to bowiem o tym, że stanowią pewną spójną całość nie tylko w założeniu badawczym, ale i w rzeczywistości16. Bardzo niski stopień homoge-niczności skali wielowymiarowej świadczyłby o jej nieadekwatnej podstawie teo-retycznej.
Powyższy katalog charakterystyk skali pomiarowej nie jest wyczerpujący (np.
istotna jest też reprezentatywność skali, czyli czy mierzy ona całe continuum zmiennej, jej moc rozdzielcza itd.) Badacz konstruujący skalę pomiarową winien brać pod uwagę wszystkie z nich (przy szczególnym uwzględnieniu trafności i rzetelności), starając się znaleźć pomiędzy nimi kompromis. Często bowiem wchodzą one w konfl ikt ze sobą. Na przykład w przypadku większości zjawisk, jakie interesują badacza zjawisk społecznych, istnieje nieusuwalny konfl ikt pomiędzy trafnością i rzetelnością pomiaru17. To od konkretnych celów badawczych zależy której z tych wartości należeć się będzie priorytetowe traktowanie.
SKALOWANIE WIELOWYMIAROWE POMIAR DEMOKRACJI