Sposoby pomiaru instytucji

Badania polegają zazwyczaj na zebraniu opinii eksperckich lub przeprowadzeniu ankiet według zestandaryzowanego kwestionariusza. Każda z metod ma swoje plusy i minusy²⁷:

• uczestnictwo w grupach dyskusyjnych (swoboda formułowania obserwacji, mały koszt, budowanie zgody i świadomości problemu, niereprezentatywność, ryzyko niepełnego zaangażowania respondentów),

• ankiety mailowane (niereprezentatywne w krajach o wysokim współczynniku analfabetyzmu i braku bezpieczeństwa internetu),

• ankiety w internecie (mały koszt, szeroki zasięg, łatwość dotarcia do ekspertów, ryzyko niereprezentatywnej próby),

• wywiad bezpośredni lub telefoniczny²⁸ (konieczność: wybrania odpowiednich ankieterów, np. niezależnych względem państwa, ich przeszkolenia, kontroli krzyżowej odpowiedzi i ewentualnego dopytania respondentów, stworzenia odpowiednio komfortowych warunków dla respondentów),

• analiza dokumentów (przydatne w analizie twardych danych, np. regulacji praw-nych, a także w analizie raportów, ryzyko nieaktualnych i niepełnych dapraw-nych, zwłaszcza przy instytucjach de facto),

• kodowanie odpowiedzi z wypowiedzi ekspertów (popularne rozwiązanie, zale-cana kontrola krzyżowa dla podniesienia wiarygodności, konieczność ostrożnej interpretacji oraz ocena obiektywizmu i rzetelności ekspertów).

Pierwotnymi źródłami danych są: akty prawne i standardy, dane bazujące na zda-rzeniach faktycznych, raporty narracyjne i ankiety. Akty prawne i międzynarodowe standardy są często pierwotnymi, wyjściowymi instytucjami de iure. Istnieje wiele konwencji i deklaracji mających na celu urzeczywistnienie praw człowieka i obywatela.

Nie wszystkie instytucje wprowadzane tą drogą są wdrażane od razu i nie zawsze rządy mają obowiązek ich implementacji (np. standardów przejrzystości polityk gospodarczych MFW).

Dane polegające na opisie zdarzeń świadczą o funkcjonowaniu instytucji (np. anu-lowanie wyborów, przypadki łamania praw człowieka, przestępstwa, statystyki sądowe).

Dane te mogą być kompilowane – w takim przypadku ważne jest trzymanie się jednego

27 United Nations Development Programme, Governance Indicators: A User’s Guide. Second Edition, Nowy Jork 2007, s. 9–10, siteresources.worldbank.org/EXTWBIGOVANTCOR/Resources/UNDPoslo-center.pdf (dostęp: 8.12.2014).

28 Wywiad telefoniczny wiąże się z pewnymi dodatkowymi ograniczeniami, np. Gallup World Poll stosuje go dopiero, gdy wielkość populacji z dostępem do telefonu wynosi min. 80%, a więc zwykle w krajach najbogatszych.

Michał Masior

126

standardu kompilacji. Istnieje różnica między tym, co zostało zaraportowane, a tym, co się rzeczywiście przydarzyło. Liczba zdarzeń zaraportowanych będzie zawsze niż-sza niż w rzeczywistości. Wpływa na nią subiektywna selekcja raportującego, który może: nie być przekonany o potrzebie i wartości raportowania, nie zdobyć określo-nych informacji lub nie ufać organizacji badawczej. Zakłócenia w przekazie mogą wynikać także z: błędów przy zapisywaniu obserwacji raportujących, ich kompilacji czy podwójnego raportowania tych samych zdarzeń.

Raporty narracyjne poza tym, że samodzielnie stanowią formę opisu instytu-cji, bywają traktowane jako relacje eksperckie (np. Political Terror Scale). Często przeprowadza się je na małej grupie z zastosowaniem otwartych pytań. Problemy wiarygodności są podobne jak przy danych o zdarzeniach czy ankietach. Tym, co wyróżnia raporty, jest wykorzystywana czasem dla oceny znaczenia i skali zjawiska metoda słów kluczy w raportach (np. w Gaps in Workers Rights), która pozwala na ich bazie stworzyć wskaźniki.

Ankiety stanowią jedno z najpowszechniejszych źródeł danych instytucjonal-nych. Istnieje ich wiele rodzajów. Wszystkie łączy konieczność dokonania pewnych wyborów. Przeprowadzane są zazwyczaj na dużej liczbie respondentów, zwykle firm i gospodarstw domowych przy zastosowaniu pytań zamkniętych.

Zarówno raporty, jak i ankiety mogą czerpać z wiedzy wąskiej grupy ekspertów.

Słabymi punktami wskaźników opartych na opiniach eksperckich są: stronniczość, ryzyko polegania na ostatnich wiadomościach, przyznawanie ocen przez ekspertów w dziedzinach, na których się nie znają, subiektywizm (w znaczeniu niejednolitości kryteriów oceny). Niestety także i w badaniach ankietowych respondenci przywią-zują nadmierną wagę do najświeższych informacji, kierują się porządkiem pytań, porównują odmiennie zależnie od punktu odniesienia, przeinaczają czy zapominają.

W badaniach mierzy się tak szerokie zagadnienia jak: demokracja, praworząd-ność, governance czy konkurencyjpraworząd-ność, ale też bardziej konkretne: niezależność mediów czy sądów, ochronę praw człowieka czy efektywność administracji. Tak jak mierzona wielkość może być ogólna lub konkretna, tak i pytania w ankiecie lub w wywiadzie z ekspertem mogą być sformułowane w sposób ogólny lub szczegółowy („jak zadowolony jest Pan/Pani z demokracji?” – Afrobarometer – vs „jak dobrze zdefiniowany jest podział władz?” – World Governance Assessment). Oczywiście wpływa to na uzyskane odpowiedzi.

Wskaźniki oparte na ankietach są w różnym stopniu reprezentatywne, o czym świadczy podawany lub nie przedział ufności (margines błędu). Dane niereprezenta-tywne nie dają podstaw do ogólnych wniosków (np. nie można wyciągnąć wniosków o jakości podaży dóbr publicznych dla całego kraju przy badaniu jedynie pojedynczego dobra, jakim jest opieka zdrowotna czy jakość infrastruktury). Najbardziej reprezenta-tywne są zwykle dane narodowych urzędów statystycznych. Reprezentatywność próby

Metodologia pomiarów instytucji 127 zależy oczywiście od doboru populacji. Im większa populacja, tym większe koszty badania, ale i większa reprezentatywność i możliwość dezagregacji (np. na regiony, grupy dochodowe, wiekowe, płeć, wyznanie). Niektóre badania zawężają populację tylko do mieszkańców określonych regionów (np. w Latinobarometro ankiety kieruje się tylko do mieszkańców miast) lub osób o określonych cechach (czasem jednak zna-lezienie respondentów o danej cesze może być bardziej kosztowne niż próba losowa).

W takiej sytuacji należy odpowiedzieć na pytanie, czy doświadczenia respondentów z danej próby będą reprezentatywne dla całej populacji (przy badaniu jakości rządów:

czy dostęp do usług publicznych, informacji o rządzie jest podobny jak na wsi?).

Sposób pozyskania danych koresponduje z podziałem mierników opartych na zmiennych ilościowych (miary obiektywne) lub jakościowych (miary subiektywne).

Te pierwsze mają za podstawę fakty, podczas gdy te drugie – wrażenia oceniają-cego, czy to osoby funkcjonującej w danym systemie instytucjonalnym (obywatela danego kraju – miara wewnętrzna), czy to osoby oceniającej instytucje z dystansu (obcokrajowca – miara zewnętrzna). W niektórych przypadkach zmienne jako-ściowe są lepsze niż ilojako-ściowe, np. przy korupcji, która jest równie niewykrywalna w krajach, gdzie występuje rzadko, jak i tam, gdzie jest nagminna²⁹. J. Aron propo-nuje sposób na uniknięcie zniekształceń miar subiektywnych, czyli pomiar jakości instytucji na początku badanego okresu³⁰. Niemniej jednak pozostaje problem, że wskaźniki jakości instytucji mierzą bardziej ocenę działania reguł gry niż same reguły.

Miary subiektywne nie zawsze dają się zastąpić obiektywnymi, ponieważ pozwalają na precyzyjniejsze uchwycenie subtelności lokalnych instytucji. Są jednak obciążone ryzykiem zniekształcenia przez informacyjne efekty zewnętrzne, media, stereotypy czy uprzedzenia.

Wewnętrzne miary subiektywne służą przede wszystkim oddaniu opinii społeczeń-stwa. Zewnętrzne miary natomiast mogą mieć na celu podjęcie decyzji o inwestycji w danym kraju czy skierowaniu do niego pomocy publicznej bądź charytatywnej.

Wiele ocen ryzyka inwestycyjnego opiera się na badaniach opinii ekspertów, którzy stosują inne normy i standardy niż lokalni mieszkańcy. Co prawda często wymaga się, aby ekspert miał doświadczenie pracy w wielu krajach, ale to niewiele zmienia.

Stosowanie miar subiektywnych (np. odczuć inwestorów na temat bezpieczeństwa inwestycji, oceny praworządności czy stopnia korupcji) musi być obwarowane licznymi zastrzeżeniami. Po pierwsze, stanowiąc informację o percepcji rzeczywistości, miary subiektywne mogą oddawać rzeczywistość z opóźnieniem czasowym. Rzeczywistość

29 G. Roland, Transition and Economics, Politics, Markets, and Firms, MIT Press, Cambridge (Massa-chussets) – Londyn 2000.

30 J. Aron, Growth and Institutions: A Review of Evidence, „World Bank Research Observer”, vol. 1, Bank Światowy, Waszyngton 2000, s. 107–113; Instytucje a polityka makroekonomiczna i wzrost gospodarczy, red. M. Brzozowski, Wydawnictwo Uniwersytetu Warszawskiego, Warszawa 2007, s. 32.

Michał Masior

128

opisywana przez respondentów jest taka, jaką tworzą dostępne im informacje i zapa-miętane zdarzenia. Dlatego obiektywna rzeczywistość i jej subiektywny obraz mogą się znacznie różnić. W skrajnym przypadku postrzeganie autorytarnego reżimu, gdzie wolność słowa nie istnieje, może być pozytywne. Ten efekt może być wzmocniony, gdy organizacja badawcza ma związek z rządem (np. Political Terror Scale). Z kolei w kraju, w którym od dawna jakość prawa jest słaba, niedawne reformy legislacji mogą nie zostać przez społeczeństwo odnotowane.