WYZWANIE AGREGACJI

Na podstawie surowych pomiarów możemy orzekać o wartościach prostych zmiennych teoretycznych (zmiennych-liści). Aby jednak zmierzyć to, co badacza w tym przypadku najbardziej interesuje, czyli wielowymiarową zmienną demokra-tyczności, te pojedyncze zmienne na nią się składające muszą zostać zagregowane.

Każda skala wielowymiarowa musi zatem mieć określoną formułę takiej agregacji, czyli określać w jaki sposób wartości wielu zmiennych cząstkowych powinno się przekształcać w jedną wartość pojedynczej zmiennej wielowymiarowej.

Najprostszą, i pewnie nasuwającą się jako pierwsza, formułą byłoby uśrednianie lub sumowanie wartości poszczególnych zmiennych. I rzeczywiście, w części skal taką właśnie metodę agregacji przyjęto (choć zwykle z niewielkimi modyfi kacjami), jednakże trzeba mieć świadomość, że i ono nie jest jednoznaczne. Należy bowiem na przykład wskazać i uzasadnić, co zrobić gdy poszczególne zmienne cząstkowe mają różny zakres zmienności albo gdy zmienne z tego samego piętra drzewka składają się z różnej ilości zmiennych cząstkowych. Przede wszystkim zaś, taka forma agregacji zazwyczaj ma słabe uzasadnienie teoretyczne. Jest ona często zabiegiem czysto matematycznym i nie jest osadzona ani w teorii demokracji, ani

39 Statystyczną ocenę rzetelności wskaźników zmiennych jednowymiarowych przeprowadza się zwykle za pomocą współczynnika α Cronbacha (zob. G. Wieczorkowska, P. Kochański, M. Eljaszuk, Statystyka. Wprowadzenie do analizy danych sondażowych i eksperymentalnych, Warszawa 2004, s. 83–87). Trafność ocenia się natomiast najczęściej na poziomie całej skali mierząc korelację wy-ników z  wynikami uzyskanymi przy zastosowaniu innych skal (zob. T.  Vanhanen, op.cit., s. 258–262).

40 W.G. Jacoby, Levels of Measurement and Political Research: An Optimistic View, „American Journal of Political Science” 1999, Vol. 43, No. 1, s. 272–274.

też w empirii (naturze funkcjonowania systemów demokratycznych). Dlatego z punktu widzenia metodologicznego, proste sumowanie wartości zmiennych cząstkowych lub ich uśrednianie nie jest oceniane zbyt wysoko⁴¹. Jeżeli już ma być zastosowane, to powinno być silnie uzasadnione teoretycznie.

Przykład – agregacja zmiennych w Indeksie Demokratyzacji T. Vanhanena:

Formuła agregacji: wartości zmiennych składających się na model demokracji, tzn. zmiennej rywalizacji (C) i zmiennej partycypacji (P), są przez siebie mnożone: ID = C × P

Wartości progowe: system jest uznawany za demokratyczny gdy spełnia łącznie wszystkie 3 warunki:

• Wartość zmiennej rywalizacji musi wynosić co najmniej 30% (C ≥ 30%)

• Wartość zmiennej partycypacji musi wynosić co najmniej 10% (P ≥ 10%)

• Wartość ich iloczynu musi przekraczać 5% (ID > 5%)

Komentarz: Jest to dość prosta formuła agregacji, możliwa do zastosowania tylko w skali z bardzo ograniczoną liczbą zmiennych cząstkowych (tu były jedynie 2). U jej podstawy leży założenie, iż demokratyczność systemu wymaga spełnienia jej postulatów we wszystkich wymiarach łącznie.

Dość skomplikowane reguły wyznaczania wartości progowych zostały ustalone arbitralnie.

Źródło: T. Vanhanen, Polyarchy Dataset Manuscript, http://www.prio.no/CSCW/Datasets/Gover-nance/Vanhanens-index-of-democracy/Polyarchy-Dataset-Manuscript/, odczyt z dn 18.05.2012.

Należy zatem rozważyć możliwość zastosowania bardziej złożonych reguł agrega-cji. Istnieje tu wiele możliwości, na przykład można:

• Zamiast uśredniania czy dodawania wartości zmiennych cząstkowych, można mnożyć je przez siebie (np. Indeks Demokratyzacji T. Vanhanena⁴²) – takie rozwiązanie opiera się na założeniu, że dla orzeczenia demokratycz-ności systemu muszą być spełnione wszystkie podstawowe przesłanki, zaś wysokie oceny w jednych wymiarach nie powinny rekompensować defi cy-tów w innych.

• Stosować system wag poszczególnych zmiennych, odzwierciedlających znacze-nie danego wymiaru demokracji (np. Indeks Demokracji A. Hadeniusa⁴³) – to rozwiązanie dobre, jednak wymagające silnego uzasadnienia teoretycznego (aby wagi te nie odzwierciedlały jedynie subiektywnego odczucia badacza).

41 G.L. Munck, J. Verkuilen, op.cit., s. 23–26.

42 T. Vanhanen, Prospects of Democracy. A Study of 172 Countries, London–New York 2004, s. 35.

43 A. Hadenius, Democracy and Development, Cambridge 1992, s. 36–61. Reguła agregacji u A. Ha-deniusa jest bardziej skomplikowana, system wag jest tylko jednym z jej elementów.

• Wprowadzić agregację warunkową (np. Indeks Demokracji EIU⁴⁴), w której punkty na skali (lub jej określonym wymiarze) przyznawane są jedynie przy spełnieniu pewnych, sformułowanych explicite kryteriów.

• Sporządzić skalogram (np. skala poliarchii M. Coppedge’a i W. Reinicke⁴⁵) – jest on złożoną regułą agregacji, jednak – przy odpowiednio wysokim tzw.

współczynniku odtwarzalności, którego poziom należy wyznaczyć⁴⁶ – bardzo miarodajną oraz dobrze uzasadnioną empirycznie.

Reguła agregacji winna oczywiście odpowiadać przyjętemu modelowi teoretycz-nemu demokracji – jest to jeden z warunków koniecznych trafności skali. Przed jej sformułowaniem badacz powinien również wskazać, jaki będzie zakładany poziom agregacji: czy rzeczywiście zależy mu na przedstawieniu poziomu demokratyczno-ści za pomocą jednego, najbardziej syntetycznego indeksu (i czy w świetle przyjętej koncepcji teoretycznej jest to możliwe)? Czy też uznaje on to za nadmierne i nie-uzasadnione uogólnienie, a więc poprzestanie na zbiorze współczynników charak-teryzujących poszczególne wymiary demokracji? Większość twórców skal demo-kracji wybiera, chyba często nie do końca świadomie, tą pierwszą opcję, ale pojawiają się też koncepcje pomiaru zdezagregowanego⁴⁷.

Przykład – agregacja zmiennych w skali Freedom House:

Formuła punktacji: każda „zwykła” zmienna teoretyczna może przyjmować wartości od 0 do 4 pkt (im wyższa wartość, tym bardziej system jest demokratyczny w danym wymiarze). Dodatkowo pierwsza ze zmiennych dyskrecjonalnych może przyjmować wartości od 1 do 4, zaś druga – wartości ujemne od – 4 do – 1. Wartości zmiennych są liczbami całkowitymi.

44 L. Kekic, Th e Economist Intelligence Unit’s index of democracy, http://www.economist.com/

media/pdf/DEMOCRACY_INDEX_2007_v3.pdf, odczyt z dn. 12.05.2012, s. 8.

45 M. Coppedge, W.H. Reinicke, Measuring Polyarchy, „Studies in Comparative International Development” 1990, Vol. 25, No. 1, s. 55–57.

46 Por. Metody badań socjologicznych, op.cit., s. 310–313. Niektórzy proponują by zamiast współ-czynnika odtwarzalności używać innych miar, jednak sens tej operacji pozostaje bez zmian. Por.

J.P. Robinson, Toward a More Appropriate Use of Guttman Scaling, „Public Opinion Quarterly” 1973, Vol. 37, No. 2, s. 260–267.

47 M. Coppedge, J. Gerring, Conceptualizing and Measuring Democracy: A New Approach, „Per-spectives on Politics” 2011, Vol. 9, No. 2; M. Bühlmann, W. Merkel, L. Müller, B. Weβels, Th e Democracy Barometer: A New Instrument to Measure the Quality of Democracy and Its Potential for Comparative Research, „European Political Science” advance online publication 16 December 2011 (doi: 10.1057/

eps.2011.46).

Formuła agregacji: wartości zmiennych znajdujących się w poszczególnych wymiarach są sumowane (w wymiarze praw politycznych może być to maksymalnie 40 punktów, zaś w wymiarze wolności oby-watelskich – max. 60 pkt. Po zsumowaniu wynik w każdym wymiarze jest podstawą do umieszczenia na skali od 1 (najwyższy poziom wolności/demokracji) do 7 (najniższy), co czyni się poprzez inwersję i proporcjonalne przeliczenie punktacji. Ostatecznie owa pozycja na obu skalach jest uśredniona, zwracając fi nalną wartość indeksu (również od 1 do 7).

Punkty progowe: arbitralnie wyznaczono następujące punkty progowe:

• Od 1,0 do 2,5 – kraj (lub terytorium) wolny/demokratyczny

• Od 3,0 do 5,0 – kraj (lub terytorium) częściowo wolny/częściowo demokratyczny

• Od 5,5 do 7,0 – kraj (lub terytorium) nie wolny/niedemokratyczny

Komentarz: Jest to umiarkowanie skomplikowana formuła agregacji, jej wadą jest słabe osadzenie w teorii demokracji.

Źródło: Freedom in the World 2011 – Methodology, http://www.freedomhouse.org/report/freedom--world-2011/methodology, odczyt z dn. 22.05.2012.

Dobrą praktyką jest także sprawdzenie, w jakie relacje wchodzą ze sobą poszcze-gólne zmienne cząstkowe i czy rzeczywiście mamy do czynienia z osobnymi wymiarami tego samego zjawiska. Można to czynić na przykład techniką staty-styczną konfi rmacyjnej analizy czynnikowej⁴⁸, czy chociażby za pomocą prostych tablic krzyżowych⁴⁹. Nie jest to warunek konieczny, jednak taka weryfi kacja pomaga w ocenie trafności skali oraz sprawdzeniu relacji między przyjętą koncepcją teo-retyczną a rzeczywistym funkcjonowaniem systemów demokratycznych.

Ostatecznie badacz może się pokusić o wyznaczenie punktów progowych, czyli tych punktów skali, które uznaje za rozdzielające jakościowo odmienne systemy polityczne, na przykład demokratyczne od niedemokratycznych, czy przy bardziej subtelnych rozróżnieniach np. kraje w pełni demokratyczne od demokracji ułom-nych, reżimów hybrydalnych i reżimów autorytarnych (jak w przypadku Indeksu EIU⁵⁰). Niektórzy badacze twierdzą, iż żaden taki naturalny punkt nie istnieje – zmienna demokratyczności jest zmienną ciągłą, zaś wszelkie punkty progowe mają

48 Zob. K.A. Bollen, Issues in Th e Comparative Measurement of Political Democracy, „American Sociological Review” 1980, Vol. 45, No. 3, s. 377–379; K.A. Bollen, B.D. Grandjean, Th e Dimension(s) of Democracy: Further Issues in the Measurement and Eff ects of Political Democracy, „American So-ciological Review” 1981, Vol. 46, No. 5, s. 651–658.

49 M. Coppedge, W.H. Reinicke, op.cit., s. 55–56.

50 L. Kekic, op.cit., s. 8.

jedynie charakter konwencjonalny⁵¹. Jednakże dla potrzeb niektórych analiz ich wyznaczenie jest niezbędne, dlatego warto to uczynić już na etapie konstruowania skali, dbając przy tym o odpowiednie uzasadnienie teoretyczne.

W tym momencie proces konstruowania skali można uznać za prawie zakończony.

Niezbędna jest jeszcze tylko ocena trafności i rzetelności skali oraz naniesienie ewentualnych poprawek je zwiększających. W przypadku skal demokracji trafność sprawdza się najczęściej (oprócz logicznej oceny zgodności z teorią) poprzez okre-ślenie stopnia korelacji wyników pomiarów z wynikami uzyskanymi za pomocą innych skal. Rzetelność natomiast testowana jest najczęściej poprzez wielokrotne kodowanie i sprawdzanie stopnia zbieżności różnych koderów. Po określeniu stopnia trafności i rzetelności można nanieść niezbędne poprawki na skalę i powtarzać ten proces aż do uzyskania satysfakcjonującego badacza ich poziomu.

PODSUMOWANIE

Budowa skali wielowymiarowej nie jest zadaniem łatwym, wymaga dość dużych kompetencji metodologicznych i zorientowania w teorii mierzonego zjawiska. Jest to ponadto proces bardzo pracochłonny. Dlatego w praktyce badawczej pojawiać się może pokusa pójścia na skróty – pominięcia niektórych jego istotnych elemen-tów, a nawet stworzenia skali ad hoc, czyli wzięcia kilku wskaźników, luźno ze sobą powiązanych i dobranych w oparciu o kryterium dostępności danych, a następnie założenia, iż zsumowane będą one wspólnie mierzyć jakieś zjawisko. Takie podej-ście nie jest jednak oczywipodej-ście godne polecenia, gdyż prowadzi ono jedynie do powstawania artefaktów badawczych, jest wyrazem pozorowania działalności naukowej. W przypadku metodycznego i rzetelnego procesu tworzenia skali, miarodajność i wiarygodność uzyskanego narzędzia z pewnością jest w stanie zrekompensować nakłady pracy. Tym bardziej, że uzyskane wyniki pomiarów mogą mieć bardzo szerokie zastosowanie w analizach naukowych⁵². Z kolei analizy te mogą prowadzić do znaczących i ciekawych, a równocześnie bardzo dobrze udo-kumentowanych rezultatów badawczych.

51 K.S. Gleditsch, M.D. Ward, Double Take: A Reexamination of Democracy and Autocracy in Modern Polities, „Journal of Confl ict Resolution” 1997, Vol. 41, No. 3, s. 381, za: D. Reiter, Does Peace Nurture Democracy?, „Th e Journal of Politics” 2001, Vol. 63, No. 3, s. 940.

52 Por. W. Szewczak, Jak zmierzyć demokrację? Teoretyczne i metodologiczne podstawy budowy skal demokracji politycznej w politologii porównawczej, „Przegląd Politologiczny” 2010 nr 4, s. 98–100.

Developing a Measurement Scale in Political Science

T

HE ARTICLE AIMS to reconstruct and analyze process of developing a measurement scale in political science, and its methodological foundations. In the fi rst part of the article a general theory of measurement is presented, focused on criteria for assessing its quality.

A set of such criteria is given, and some procedures providing its fulfi llment are presented.

Th e second part of the article contains an analysis of typical process of developing a scale in political science. Basing upon a concept of Geraldo L. Munck and Jay Verkuilen, the author analyses process of building a scale of political democracy, as a set of three chal-lenges for the researcher: a challenge of conceptualization, a challenge of measurement and a challenge of aggregation. As the analysis is made, some examples of most widespread and recognized indices of democracy are given, showing how their authors cope with those challenges.

W dokumencie ZASTOSOWANIE ANALIZY ZAWARTOŚCI (Stron 63-69)