Konstrukcja wskaźników

Mając już dostępne dane (np. z ankiety, oceny eksperckiej), można opracować wskaźnik jakości instytucji. Należy jednak pamiętać o zachowaniu przejrzystych kryteriów jego tworzenia, w przeciwnym razie niemożliwe będzie powtórzenie pomiaru z identycznymi kryteriami, regułami kodowania ocen eksperckich, skład-nikami wskaźnika itp. (w praktyce często są one niedostępne, np. przy miernikach Freedom House).

Wiele wskaźników jest tworzonych na uprzednio zdefiniowanej skali dyskretnej.

Poszczególnym danym (z analizy dokumentów, statystyk zdarzeń, ocen eksperckich czy ankiet) są przypisywane wartości liczbowe. Ten zabieg, tzw. ucięcie wariancji (variance truncation), powoduje utratę bardzo wielu informacji o przypadkach nietypowych i subtelnościach – a często wskaźniki tworzone są dla krajów całego świata. Na tym etapie przejawia się specyfika organizacji badawczej i reprezentowa-nych przez nią wartości. Różne organizacje mogą tym samym stanom faktycznym przypisać różne wartości. Dlatego np. Economist Intelligence Unit stosuje krótką, 3-punktową skalę, aby zminimalizować odchylenia subiektywnych ocen, wyraźnie jednak tracąc większość zmienności danych. Z kolei Heritage Foundation w badaniu wolności ekonomicznej stosuje skalę 10-punktową.

Po przypisaniu pojedynczym opiniom lub faktom miejsca na skali według określonych kryteriów (stworzywszy „mikrowskaźnik” jakości instytucji) pojawia się zagadnienie agregacji pomiarów. Agregowanie wartości wskaźników nie może odbywać się kosztem utraty adekwatności i znaczenia danych. Jest to kolejny argu-ment za przejrzystością metodologii tworzenia wskaźników.

Nie zawsze prosta średnia czy suma jest odpowiednia do agregacji. Gdy mierzone są pewne standardy absolutne, jak przestrzeganie praw człowieka czy regularność wyborów, nawet pojedynczy przypadek złamania reguły nie powinien umknąć uwa-dze wskutek agregacji. Agregacja jest czasem mylona z kompilacją. Kompiluje się wskaźniki mierzące zupełnie inne wielkości czy instytucje (np. Human Development Index), natomiast agreguje się miary zbliżonych instytucji (np. African Electoral

Metodologia pomiarów instytucji 129 Index). Wskaźniki agregujące luźno powiązane instytucje (np. dla jakości rządów) odznaczają się jednak dużą wariancją. Agregowane wskaźniki mają tę przewagę nad samodzielnymi wskaźnikami, że dla tych samych instytucji różne ośrodki badawcze stworzyły różne bazy danych, co zwiększa zasięg i wiarygodność zagregowanego wskaźnika (np. World Governance Indicators). Konieczne jest jednak sprawdzenie, czy te same wielkości są mierzone w spójny i jednolity sposób. Zadanie jest trudniejsze, gdy wskaźnik agreguje dane z bardzo różnych źródeł, tak jak to się dzieje w indeksie demokracji Economist Intelligence Unit, opartym zarówno na ocenach eksperckich, jak i badaniach opinii publicznej, głównie World Values Survey³¹.

Minusem agregowanych (a zwłaszcza kompilowanych) wskaźników jest niejasność co do pożądanych zmian instytucjonalnych przy ich interpretacji, chyba że metodo-logia ich tworzenia jest dostępna. Przejrzystość metodologii tworzenia i agregowania wskaźnika daje informację o błędach standardowych pomiaru, przedziałach ufności itp., co pozwala na samodzielną ocenę dopuszczalności agregacji. Często agregowanie wskaźników nie jest zalecane z uwagi na wysokie ryzyko przekłamań i braku precyzji, co wynika chociażby z różnorodności zmiennych instytucjonalnych i różnych dróg rozwoju gospodarczego³². Lepiej jest więc oceniać system w różnych kategoriach i z różnych punktów widzenia.

Sygnalizowanym wcześniej problemem były normatywne założenia towarzyszące twórcom wskaźników (wspominany Media Sustainability Index). Głównym przejawem tych założeń jest nadawanie wartości poszczególnym stanom instytucji według okre-ślonej metody. Zwykle oznacza to, że im silniejsza dana instytucja, tym lepiej (np. im mniejsza korupcja tym lepiej) – co za każdym razem należy zweryfikować (np. wysoka frekwencja wyborcza może świadczyć o nakazie głosowania, a nie demokratycznym charakterze państwa). W rzeczywistości może być preferowana optymalna wartość wskaźnika jakości instytucji (np. umiarkowana zmienność polityki rządowej, nie nazbyt sztywnej w czasie kryzysu).

Szczególną ostrożność należy wykazać przy miarach jakości instytucji, które nie mierzą dokładnie cech instytucji z powodu problemu z ich kwantyfikacją lub z dostępem do danych. Konieczne staje się wtedy użycie miar przybliżonych (pro-xies). Dla przykładu wskaźniki niestabilności politycznej (np. indeks Gastila) mogą z pewnym przybliżeniem zmierzyć zakres ochrony praw własności inwestorów³³. Odsetek urodzeń z pomocą akuszerki może być miarą śmiertelności matek, a długość

31 Economist Intelligence Unit, Democracy Index 2010. A Report from the Economist Intelligence Unit, s. 33, graphics.eiu.com/PDF/Democracy_Index_2010_web.pdf (dostęp: 8.12.2014).

32 Institutional Profiles Database III…, op.cit., s. 12; S. Knack, Ph. Keefer, Institutions and Economic Performance: Cross-Country Tests Using Alternative Institutional Measures, w: Democracy, Governance and Growth, red. S. Knack, The University of Michigan Press, Ann Arbor 2003.

33 S. Knack, Ph. Keefer, Institutions and Economic Performance…, op.cit., s. 58–59.

Michał Masior

130

czasu oczekiwania na telefon – miarą jakości podaży dóbr publicznych. Postulując jednak zmiany instytucjonalne, należy pamiętać, że muszą one dotyczyć wielkości mierzonych, a nie poprawy mierników je przybliżających.

Podsumowanie

Podsumowując: należy zachować ostrożność w ocenach co do instytucji najlep-szych dla rozwoju danej gospodarki, preferować dane o instytucjach de facto oraz pamiętać o potencjalnych związkach między instytucjami i o niemożności pełnego poznania systemu instytucjonalnego. Dotyczy to szczególnie sytuacji, gdy narzędziem badania są syntetyczne miary, jakimi są wskaźniki. Wskaźniki nie mogą zastąpić szerszej analizy instytucji, stanowią jedynie zawodne źródło informacji o wycinku rzeczywistości.

Nie można więc polegać tylko na jednym mierniku, ponieważ nie istnieje metoda zestandaryzowanej oceny instytucjonalnej krajów przy idealnej korekcie ze względu na ich specyfikę, a wskaźniki agregowane są zbyt ogólne, aby były rzetelne. Dopiero szereg różnych ocen, choćby na podstawie cząstkowych wskaźników, może przybliżyć badacza do zrozumienia faktycznej sytuacji w kraju. Zaleca się korzystanie z badań lokalnych autorów. Wskaźnik powinien stanowić tylko pretekst do zidentyfikowania problemu i określenia jego znaczenia. Ocena kontekstu badanego problemu należy jednak do badacza.

Tabela 2. Test modelowego wskaźnika

Cecha wskaźnika Wytłumaczenie

Adekwatność Czy wskaźnik mierzy to, co powinien?

Wiarygodność Czy można zrekonstruować wskaźnik (przez inną organizację) z użyciem tych samych reguł kodowania i danych źródłowych?

Błąd pomiaru Czy istnieje problem systematycznego błędu pomiaru?

Brak przejrzystości w opracowywaniu wskaźnika

Reprezentatywność Dla danych z ankiet – jaki jest charakter próby?

Ucięcie wariancji W jakim stopniu zdefiniowana uprzednio skala ocen doprowadza do utraty charakterystycznych cech odróżniających jedne obserwacje od drugich?

Błąd źródeł informacji Jakie źródła informacji są wykorzystywane?

Problemy agregacji Dla zagregowanych wskaźników – w jakim stopniu reguły agregacji są niespójne i nazbyt skomplikowane?

Źródło: United Nations Development Programme, Governance Indicators: A User’s Guide. Second Edition, Nowy Jork 2007, s. 18, siteresources.worldbank.org/EXTWBIGOVANTCOR/Resources/UNDPoslocenter (dostęp: 8.12.2014).

Metodologia pomiarów instytucji 131 Przed podjęciem pracy na danym wskaźniku należy dobrze zrozumieć jego metodologię, aby móc odpowiedzieć nie tylko na pytania podane w tabeli poniżej, lecz także dotyczące: ograniczeń związanych z wykorzystaniem miar subiektywnych, wartości informacyjnej danych w zależności od sposobu, źródła i czasu ich pozyskania oraz optymalnej wartości mierników.

Bibliografia

Albizuri N. S. M., Castellanos A. R., Do the Country Risk Indexes Reflect the More Impor-tant Variables that Trigger the External Crises? An Analysis over the 1994–2001 Period [po hiszp.], „Cuadernos de Gestion”, vol. 8, no. 2, Universidad del País Vasco, Bilbao 2008.

Aron J., Growth and Institutions: A Review of Evidence, „World Bank Research Observer”, vol. 1, Bank Światowy, Waszyngton 2000.

Chauvin T., Stawecki T., Winczorek P., Wstęp do prawoznawstwa, C. H. Beck, Warszawa 2009.

Devarajan S., Johnson S., Two Comments on „Governance Indicators: Where Are We, Where Should We Be Going?” by Daniel Kaufmann and Aart Kraay, „The World Bank Research Observer”, vol. 23, no. 1, Bank Światowy, Waszyngton 2008.

Economist Intelligence Unit, Democracy Index 2010. A Report from the Economist Intelli-gence Unit, graphics.eiu.com/PDF/Democracy_Index_2010_web.pdf.

Governance by Indicators. Global Power through Quantification and Rankings, red. K. E. Davis, A. Fisher, B. Kingsbury, S. E. Merry, Institute for International Law and Justice New York University School of Law, Oxford University Press, Oxford 2012.

Heritage Foundation, Methodology for the 10 Economic Freedoms, Waszyngton 2014, www.

heritage.org/index/book/methodology.

Howell L., Chaddick B., Models of Political Risk for Foreign Investment and Trade: An Assessment of Three Approaches, Columbia University, „Columbia Journal of World Business”, vol. 29, no. 3, Nowy Jork 1994.

Institutional Profiles Database III. Presentation of the IPD 2009, D. de Crombrugghe, K. Farla, N. Meisel, Ch. de Neubourg, J. Ould Aoudia, A. Szirmai, „Documents de travail de la Direction générale du trésor et de la politique économique”, wyd. 14, Paryż–Maastricht 2009.

Instytucje a polityka makroekonomiczna i wzrost gospodarczy, red. M. Brzozowski, Wydaw-nictwo Uniwersytetu Warszawskiego, Warszawa 2007.

Kelley J., Simmons B., Politics by Number: Indicators as Social Pressure in International Relations, „American Journal of Political Science”, w druku, http://scholar.harvard.

edu/bsimmons/publications/politics-number%C2%A0indicators-social-pressure-international-relations.

Knack S., Keefer Ph., Institutions and Economic Performance: Cross-Country Tests Using Alternative Institutional Measures, w: Democracy, Governance and Growth, red. S. Knack, The University of Michigan Press, Ann Arbor 2003.

Michał Masior

132

Linder A., Santiso C., Not Everything that Counts Can Be Counted: A Crititcal Look at Risk Ratings and Governance Indicators, „Nordic Journal of Political Economy”, vol. 29, Trondheim 2003.

Metelska-Szaniawska K., Milczarek D., Reformy gospodarcze w krajach postsocjalistycz-nych w świetle badań ekonomii politycznej, „Ekonomista”, nr 3, PAN, PTE, Key Text, Warszawa 2005.

North D., Institutions, Institutional Change and Economic Performance, Cambridge Uni-versity Press, Cambridge 1990.

Ostrom E., Incentives, Rules of the Game, and Development, w: Annual World Bank Con-ference of Development Economics, red. M. Bruno, Waszyngton 1996.

Performance Indices. Ranking the Rankings, „The Economist” z dnia 8 listopada 2014.

Roland G., Transition and Economics, Politics, Markets, and Firms, MIT Press, Cambridge (Massachussets) – Londyn 2000.

Solow R., But Verify, TNR II „The New Republic”, vol. 213, wyd. 11, Waszyngton, 11 wrze-śnia 1995.

Staniek Z., Uwarunkowania i wyznaczniki efektywności systemu instytucjonalnego, w: Szkice ze współczesnej teorii ekonomii, red. W. Pacho, Oficyna Wydawnicza SGH, Warszawa 2009.

Stępień B., Instytucjonalne uwarunkowania działalności przedsiębiorstw międzynarodowych, Wydawnictwo Uniwersytetu Ekonomicznego, Poznań 2009.

United Nations Development Programme, Governance Indicators: A User’s Guide. Second Edition, Nowy Jork 2007, siteresources.worldbank.org/EXTWBIGOVANTCOR/Reso-urces/UNDPoslocenter.pdf.

Voigt S., How (Not) to Measure Institutions, „MAGKS Paper on Economics 200937”, Phi-lipps – Universität Marburg, Marburg 2009.