BUDOWA SKALI POMIAROWEJ W POLITOLOGII
WYZWANIE POMIARU
Po ukończeniu konceptualizacji wiadomo już jakie zmienne będą mierzone.
Zakłada się, że na podstawie danych empirycznych winny zostać wyznaczone wartości zmiennych z ostatniego, najniższego piętra drzewka konceptualizacyjnego (określa się je czasami jako „liście” tego drzewa), zaś wartości zmiennych stojących wyżej (w tym tej najwyższej – czyli interesującej nas zmiennej demokratyczności systemu) wyznaczone zostają w drodze ich agregacji. Nie jest jednak na razie ustalone w jaki sposób zostaną zmierzone wartości zmiennych-liści. Są one nadal zmiennymi teoretycznymi i nie poddają się bezpośrednio czynności pomiaru. Ich wartości muszą zostać określone za pomocą odpowiednich wskaźników, czyli takich zjawisk lub własności badanych obiektów, na podstawie istnienia lub stopnia intensywności których można wnioskować z wyższym od przeciętnego prawdo-podobieństwem o tym, że mierzona zmienna ma określoną wartość36.
Przykład – operacjonalizacja i pomiar w Indeksie Demokratyzacji T. Vanhanena:
Mierzone zmienne
teoretyczne: Rywalizacyjno Partycypacja
Wskaźniki i operacjonalizacja:
Odsetek głosów oddanych na mniej-sze partie (łączny procent głosów oddanych w ostatnich wyborach na wszystkie partie oprócz tej, która uzyskała ich najwięcej):
C = 100% – g
(g – to procent głosów oddanych na zwycięską partię)
Frekwencja z ostatnich wyborów – ale liczona nie w stosunku do liczby upraw-nionych do głosowania lecz do liczby wszystkich mieszkańców danego kraju:
(v – liczba oddanych głosów; l – liczba ludności danego kraju)
Komentarz: Autor skali oparł się na wskaźnikach obiektywnych i mających charakter czysto ilościowy, ponadto wskaźniki zakładają wykorzystanie łatwo dostępnych i jednoznacznych danych. W rezultacie skala charakteryzuje się bardzo wysoką rzetelnością i ekonomicznością pomiaru.
Wskaźniki jednak musiały być doprecyzowane, np. przez wskazanie czy ww. wielkości będą obliczane w odniesieniu tylko do wyborów parlamentarnych, czy również prezydenckich itd.
Źródło: T. Vanhanen, Polyarchy Dataset Manuscript, http://www.prio.no/CSCW/Datasets/Governan-ce/Vanhanens-index-of-democracy/Polyarchy-Dataset-Manuscript/, odczyt z dn. 18.05.2012.
Niezbędne zatem jest dokonanie operacjonalizacji, czyli ustalenia empirycznego sensu zmiennych teoretycznych. Polega ona na wskazaniu konkretnych czynności
36 S. Nowak, Metodologia badań społecznych, Warszawa 1985, s. 165.
P v
= ×100%l
badawczych, jakie prowadzić mają do określenia wartości mierzonej zmiennej oraz sposobu interpretacji ich rezultatów37. Pierwszym krokiem jest określenie poziomu pomiaru zmiennej demokratyczności. Wyróżnia się cztery podstawowe poziomy pomiaru: poziom nominalny, porządkowy, interwałowy i ilorazowy38. Przyjmuje się zwykle, że im wyższy poziom pomiaru, tym lepiej, gdyż możliwe jest stosowanie wówczas bardziej zaawansowanych i miarodajnych narzędzi analizy statystycznej.
O ile więc to możliwe, najlepiej byłoby by jego wyniki były wyrażone na skali ilo-razowej. Jednakże badacz musi w wyborze poziomu pomiaru uwzględniać również takie czynniki, jak: dostępność odpowiednich danych, teoretyczne uzasadnienie czy możliwość uzyskania maksymalnej homogeniczności wewnątrz klas wyników przy równoczesnym ograniczeniu ich ilości.
Przykład – operacjonalizacja i pomiar w Indeksie Demokracji EIU (Th e Economist Intelligence Unit):
Mierzone zmienne
Procent osób, które się deklarują jako bardzo lub umiarkowanie zaintereso-wane polityką – dane ze Światowego Sondażu Wartości (World Values Survey):
• Powyżej 60% – 1 pkt
• Między 40% a 60% – 0,5 pkt
• Poniżej 40% – 0 pkt
Jeżeli dane ze Światowego Sondażu Wartości są dla danego kraju niedo-stępne, to punktacja jest przydzie-lana na podstawie subiektywnych ocen ekspertów:
• Zaangażowanie wysokie – 1 pkt
• Zaangażowanie umiarkowane – 0,5 pkt
• Zaangażowanie niskie – 0 pkt
Częstotliwość i skutki występowania nieprawidłowości wyborczych w wy-borach na poziomie krajowym – oce-na ekspertów (nie zostały podane źródła z jakich mają oni korzystać):
• Brak znaczących nieprawidłowo-ści – 1 pkt
• Występują istotne nieprawidłowo-ści (oszustwa, zastraszanie), ale nie mają istotnego wpływu na osta-teczny wynik wyborów – 0,5 pkt
• Występują poważne nieprawi-dłowości i mają istotny wpływ na wyniki wyborów – 0 pkt W przypadku gdy nie występują wol-ne wybory (inna zmienna w kwestio-nariuszu) przydziela się zawsze 0 pkt.
37 Niektórzy postulują odróżnienie procesu nadawania empirycznego sensu wartościom teore-tycznym od defi niowania wielkości poprzez zespół operacji badawczych, rezerwując nazwę „opera-cjonalizacja” tylko dla drugiej z tych czynności. Zob. R. Suchocka, B. Suchocki, J. Walkowiak, Techniki pomiaru w socjologii, Poznań 1985, s. 124–125.
38 S.S. Stevens, On the Th eory of Scales of Measurement, „Science” 1946, Vol. 103, No. 2684, s. 677–680. Niekiedy wyróżniany jest także dodatkowy, piąty poziom – pomiar absolutny, w którym oprócz powyższych warunków wymaga się też by jednostki pomiaru nie miały charakteru
konwen-Komentarz: Jest to pomiar mieszany – różne zmienne są mierzone za pomocą obiektywnych wskaźników, wyników sondaży, ale i subiektywnych ocen ekspertów. Aby zwiększyć rzetelność pomiaru, ograniczono ilość wartości zmiennych – wszystkie zmienne są zmiennymi dychotomicznymi lub trójwartościowymi.
Źródło: Th e Economist Intelligence Unit’s Index of Democracy 2008, http://graphics.eiu.com/PDF/
Democracy%20Index%202008.pdf, odczyt z dn. 22.05.2012].
Ponadto na tym etapie budowy skali niezbędne jest określenie:
• Ile wskaźników będzie mierzyło poszczególne zmienne teoretyczne – zakłada się zwykle, że większa liczba wskaźników daje bardziej precyzyjny i trafny wynik, gdyż przy takich redundantnych pomiarach błędy losowe oraz syste-matyczne będą częściowo się znosiły. Z drugiej strony skala winna też być prosta i ekonomiczna w zastosowaniu, a więc włączanie w nią zbyt wielu wskaźników jest niepożądane, tym bardziej że im więcej jest wskaźników, tym trudniej zapewnić porównywalność ich pomiarów.
• Jakie to będą wskaźniki – niezbędne jest precyzyjne określenie tego, który indykator będzie wskazywał wartość jakiej zmiennej (lub zmiennych – gdyż mogą być takie zjawiska, które traktować będziemy jako wskaźniki zmiennych w kilku wymiarach demokracji).
• Jakie wartości wskaźnika będą określały, jakie wartości mierzonej zmiennej teoretycznej; w przypadku gdyby mierzył ją więcej niż jeden wskaźnik należy też wskazać w jaki sposób wartości różnych wskaźników będą zagregowane.
W kwestii wyboru sposobu pomiaru badacz ma dość dużą swobodę. Wskaźni-kami mogą być bowiem:
• Dane o obiektywnych charakterystykach systemów politycznych, jak np. typ systemu wyborczego do ciał przedstawicielskich (większościowy/proporcjo-nalny/mieszany), istniejące cenzusy wyborcze, przepisy prawne cenzurujące wolność wypowiedzi, konstytucyjne gwarancje praw obywatelskich itd.
• Dane dotyczące sposobu funkcjonowania systemów politycznych i ich oto-czenia, np. frekwencja wyborcza, liczba wyroków sądowych ograniczających wolność słowa, istnienie trwałych podziałów socjopolitycznych w społeczeń-stwie, poziom korupcji itd.
• Oceny ekspertów lub wypracowujących wspólne stanowisko ich zespołów.
• Subiektywne oceny uczestników danego systemu politycznego.
cjonalnego, ale naturalny (zob. M. Choynowski, Pomiar w psychologii, [w:] Problemy psychologii matematycznej, op.cit., s. 30–31). Czyni się to jednak dość rzadko, a ponadto pomiar demokracji na poziomie absolutnym nie jest możliwy.
Istotne jest by wskaźniki były dobrze uzasadnione. Dla każdego wskaźnika powinna być przeprowadzona ocena trafności i rzetelności, zarówno na poziomie teoretycznym, jak i przy zastosowaniu odpowiednich narzędzi statystycznych na zgromadzonym materiale empirycznym39. Każda skala musi zostać przetestowana na realnych danych empirycznych, bez tego ocena rzetelności i trafności byłaby niemożliwa. Każda skala jest bowiem zakorzeniona w teorii, a ta może i powinna być testowana w oparciu o dane empiryczne (przy udziale procedury pomiaru)40. Test trafności i rzetelności skali musi więc obejmować analizę związków teorii z rzeczywistością empiryczną.