I PODATKÓW DO DZIA- DZIA-àALNOĝCI
3. Propensity Score Matching jako narzĊdzie ewaluacji polityki
3.3. Warunki stosowalnoĞci podejĞcia kontrfaktycznego
3.3.1. ZaáoĪenia metody áączenia danych
Stosowanie podejĞcia kontrfaktycznego wiąĪe siĊ z koniecznoĞcią speá-nienia dwóch zaáoĪeĔ, fundamentalnych z punktu widzenia redukcji obciąĪenia wyników. Pierwszym zaáoĪeniem jest warunkowa niezaleĪnoĞü (ang. conditio-nal independence assumption25), które moĪna wyraziü jako [por. Guo, Fraser, 2015]:
ሺܻǡ ܻଵሻ ٣ ܦȁঘ gdzie:
ঘ – wektor obserwowalnych charakterystyk i-tej jednostki.
Zgodnie z powyĪszym zaáoĪeniem, przy ustalonych wartoĞciach cech jednostek, dla kaĪdej i-tej jednostki wynik oddziaáywania musi byü niezaleĪny od faktu poddania danej jednostki oddziaáywaniu rozwaĪanego czynnika.
Guo i Fraser [2015] zwracają uwagĊ, Īe szczególnie w przypadku badaĔ obserwacyjnych zaáoĪenie warunkowej niezaleĪnoĞci jest czĊsto niespeánione ze wzglĊdu na tworzenie grupy kontrolnej w oparciu o zaleĪnoĞü miĊdzy wynikiem oddziaáywania a samym oddziaáywaniem. W konsekwencji nie zostaje odtwo-rzone kryterium randomizacji.
Jak wskazuje Szulc [2012], zaáoĪenie warunkowej niezaleĪnoĞci moĪna czĊĞciowo uchyliü – w przypadku obliczania jedynie ்்ܹ – do postaci:
ܻ ٣ ܦȁঘ
Oznacza to, Īe przy danych wartoĞciach zmiennych z wektora ঘ, wartoĞü zmiennej wynikowej w grupie kontrolnej nie zaleĪy od faktu poddania jednostki oddziaáywaniu rozwaĪanego czynnika.
ܶܰ – liczba obserwacji, dla których nie zaobserwowano ani nie przewidziano stanu wyróĪ-nionego,
ܨܰ – liczba obserwacji, dla których zaobserwowano, ale nie przewidziano stanu wyróĪnione-go,
ܨܲ – liczba obserwacji, dla których nie zaobserwowano, ale przewidziano stan wyróĪniony.
25 W literaturze warunek ten pojawia siĊ równieĪ jako zaáoĪenie o braku zmiennych „zakáóca-jących” (ang. unconfoundedness) [Rosenbaum, Rubin, 1983], doborze na podstawie zmien-nych obserwowalzmien-nych ঘ (ang. selection on observables) [Barnow, Cain, Goldberger, 1980]
czy egzogenicznoĞci oddziaáywania (ang. exogeneity) [Imbens, 2004].
ZaáoĪenie o warunkowej niezaleĪnoĞci traktowane jest jako czĊĞü bardziej ogólnego zaáoĪenia o „stabilnoĞci” oddziaáywania na daną jednostkĊ26 (ang. Sta-ble Unit Treatment Value Assumption, SUTVA), bĊdącego odpowiednikiem sto-sowanego w naukach ekonomicznych warunku ceteris paribus. Przyjmuje siĊ tutaj a priori, Īe dla kaĪdej i-tej jednostki wartoĞü zmiennej rezultatu w wyniku oddziaáywania okreĞlonego czynnika bĊdzie taka sama, bez wzglĊdu na mecha-nizm przyporządkowania oddziaáywania tego czynnika do i-tej jednostki oraz oddziaáywanie na pozostaáe jednostki. Formalnie zapisaü to moĪna w uprosz-czeniu jako [por. Heckman, 2005]:
ܻሺ॰ǡ ǡ ߬ሻ ൌ ܻሺ॰ǡ Ԣǡ ߬ሻ ൌ ܻሺ॰ǡ ߬ሻ gdzie:
॰ ൌ ൣ॰ଵǡ ॰ଶǡ ǥ ǡ ॰൧ – wektor k-oddziaáywaĔ w ramach danej polityki,
߬ – mechanizm przyporządkowania oddziaáywania do jednostki w ramach poli-tyki lub Ԣ.
Zakáada siĊ zatem, Īe dla kaĪdej jednostki wynik oddziaáywania czynnika ܦ bĊdzie jednakowy niezaleĪnie od tego, czy oddziaáywanie to wystąpiáo w ra-mach polityki czy Ԣ. Heckman [2005] wskazuje, Īe warunek ten wyklucza ewentualne zaleĪnoĞci o charakterze spoáecznym miĊdzy róĪnymi jednostkami czy teĪ interakcje róĪnych sektorów gospodarki (ang. general equilibrium ef-fects).
Drugim zaáoĪeniem metody áączenia danych jest warunek przenikania (ang. overlap)27. Przyjmuje siĊ tutaj, Īe rozkáady zmiennych z wektora ঘ w gru-pie eksperymentalnej i kontrolnej „zachodzą na siebie”, co zapisaü moĪna jako [por. Szulc, 2012]:
Ͳ ൏ ܲሺܦ ൌ ͳȁঘሻ ൏ ͳ
Zakáada siĊ, Īe przy danych wartoĞciach obserwowalnych cech z wektora ঘ nie istnieją jednostki, które mogáyby znaleĨü siĊ tylko w grupie eksperymentalnej (warunek ܲሺܦ ൌ ͳȁঘሻ ൌ ͳ) lub tylko w grupie kontrolnej (warunek ܲሺܦ ൌ ͳȁঘሻ ൌ Ͳ). Dla kaĪdej obserwacji z grupy eksperymentalnej istnieje zatem ko-niecznoĞü znalezienia odpowiednika w grupie kontrolnej (i odwrotnie).
Jak wskazuje Szulc [2012], podobnie jak w przypadku warunkowej nieza-leĪnoĞci, zaáoĪenie przenikania moĪna osáabiü do postaci:
26 W literaturze polskojĊzycznej nie podaje siĊ táumaczenia nazwy tego zaáoĪenia.
27 ZaáoĪenie to okreĞlane jest równieĪ jako warunek wspólnej czĊĞci przedziaáu okreĞlonoĞci (ang. common support region) [Guo, Fraser, 2015].
ܲሺܦ ൌ ͳȁঘሻ ൏ ͳ
w przypadku obliczania jedynie ்்ܹ. Dla danych wartoĞci zmiennych z wekto-ra ঘ nie istnieją wiĊc takie jednostki, które mogą naleĪeü wyáącznie do grupy eksperymentalnej. Mogą jednakĪe wystĊpowaü obserwacje naleĪące tylko do grupy kontrolnej.
Dopiero speánienie zaáoĪenia o warunkowej niezaleĪnoĞci i „przenikaniu”, okreĞlanych przez Rosenbauma i Rubina [1983] jako warunek silnej pomijalno-Ğci (ang. strong ignorability), uprawniają do zastosowania metody áączenia da-nych [StrawiĔski, 2014].
Na potrzeby równieĪ niniejszej pracy wspomnieü naleĪy, iĪ z punktu wi-dzenia speánienia zaáoĪeĔ metody áączenia danych, posáugiwanie siĊ wartoĞcia-mi propensity score zawartoĞcia-miast bezpoĞredniego wykorzystania wszystkich dostĊp-nych zmiendostĊp-nych jest w zupeánoĞci wystarczające [Michalek, 2012].
3.3.2. Weryfikacja zaáoĪeĔ
StrawiĔski [2014] wskazuje, iĪ zaáoĪenie o warunkowej niezaleĪnoĞci nie podlega formalnej weryfikacji, jednak istnieją umoĪliwiające weryfikacjĊ zaáo-Īenia metody poĞrednie. Rosenbaum [1987] proponuje porównanie ze sobą efektów oddziaáywania obliczonych w oparciu o dwie róĪne grupy kontrolne.
Istotna róĪnica miĊdzy uzyskanymi wynikami wskazywaáaby na niespeánienie zaáoĪenia o warunkowej niezaleĪnoĞci. Propozycją Heckmana i Hotza [1989]
jest z kolei obliczenie efektu oddziaáywania na taką zmienną wynikową, na któ-rą rozwaĪany czynnik nie powinien oddziaáywaü. Niezerowy wynik oddziaáy-wania sugerowaáby naruszenie tego zaáoĪenia.
WeryfikacjĊ zaáoĪenia o przenikaniu zwykle przeprowadza siĊ za pomocą graficznej analizy rozkáadów obserwowalnych charakterystyk z wektora ঘ, przy czym ponownie problematyczna moĪe okazaü siĊ tutaj kwestia wielowymiaro-woĞci danych. O innych sposobach sprawdzania wspólnego przedziaáu okreĞlo-noĞci pisze m.in. StrawiĔski [2014], przywoáując pracĊ Dehejia i Wahby [1999].
Do oceny zbilansowania grupy eksperymentalnej z kontrolną Guo i Fraser [2015] zalecają sprawdzenie istotnoĞci róĪnic pomiĊdzy grupą eksperymentalną a kontrolną oddzielnie dla kaĪdej zmiennej z wektora ঘ za pomocą testu chi- -kwadrat (w przypadku zmiennych nominalnych lub porządkowych) lub testu t- -Studenta dla niezaleĪnych prób czy testu sumy rang Wilcoxona (w przypadku zmiennych ciągáych). Jak zauwaĪają jednak Becker i Ichino [2002], badacz nie musi dąĪyü do zbilansowania wszystkich cech z wektora ঘ osobno, a jedynie do
zbilansowania propensity score. Stosowanie testu t-Studenta do badania istotno-Ğci róĪnic w Ğrednich wartoistotno-Ğciach cech prowadziü wiĊc moĪe do niepotrzebnej weryfikacji zbyt silnej hipotezy, a w konsekwencji czĊstego jej odrzucenia.
W literaturze wymieniane są równieĪ inne sposoby weryfikacji zbilanso-wania [patrz Rubin, 2001; Rubin, Thomas, 1996]. Sprawdzenie, czy propensity score jest wektorem bilansującym polega m.in. na analizie standaryzowanych róĪnic miĊdzy Ğrednimi wartoĞciami propensity score oraz relacji miĊdzy wa-riancją propensity score w grupie eksperymentalnej i kontrolnej.
Pierwsza metoda weryfikacji zbilansowania polega na porównaniu Ğred-nich wartoĞci cech z wektora ঘ miĊdzy grupą eksperymentalną a kontrolną, a nastĊpnie sprawdzeniu, w jakim stopniu zastosowanie propensity score zredu-kowaáo obciąĪenie wynikające ze zróĪnicowania obu grup pod wzglĊdem ob-serwowalnych charakterystyk [Rosenbaum, Rubin, 1983]. W tym celu wykorzy-stuje siĊ standaryzowane róĪnice zdefiniowane jako [StrawiĔski, 2014]:
ݔҧ்െ ݔҧ ටݏ்ଶ ݏଶ
ʹ gdzie:
ݔҧ், ݔҧ – Ğrednia wartoĞü danej cechy odpowiednio w grupie eksperymentalnej i kontrolnej,
ݏ்ଶ, ݏଶ – wariancja danej cechy odpowiednio w grupie eksperymentalnej i kon-trolnej.
W literaturze wskazuje siĊ, Īe standaryzowane róĪnice powinny zostaü obliczo-ne zarówno dla kaĪdej zmienobliczo-nej z wektora ঘ osobno, jak równieĪ dla interakcji czy kwadratów charakterystyk, w zaleĪnoĞci od specyfikacji wektora propensity score [Stuart, 2010]28. Jak wskazuje StrawiĔski [2014], mimo iĪ nie okreĞlono jednoznacznie, jaka wielkoĞü standaryzowanej róĪnicy jest dopuszczalna, przyjmuje siĊ, Īe wartoĞü nieprzekraczająca 0,1 jest zadowalająca.
RedukcjĊ obciąĪenia w związku z wystĊpowaniem róĪnic miĊdzy grupą poddaną a niepoddaną oddziaáywaniu ocenia siĊ z kolei za pomocą miary [Stra-wiĔski, 2014]:
ݔҧ்െ ݔҧ
ȁݔҧ்െ ݔҧேȁή ͳͲͲΨ
28 W przypadku zmiennych o charakterze nieciągáym moĪliwe jest obliczenie jedynie róĪnic w proporcjach [Austin, 2009].
gdzie:
ݔҧே – Ğrednia wartoĞü danej cechy w grupie jednostek niepoddanych oddziaáy-waniu.
Miara ta pokazuje, w jakiej czĊĞci áączenie za pomocą propensity score pozwoli-áo zredukowaü róĪnice miĊdzy grupą poddaną a niepoddaną oddziaáywaniu, któ-re wystĊpują, jeĪeli dane nie pochodzą z randomizowanego eksperymentu.
Drugi sposób polega na przyrównaniu do siebie wariancji wektora pro-pensity score w grupie eksperymentalnej i kontrolnej, dąĪąc do tego, aby stosu-nek tych wariancji równy byá 1.