METODA „LICZENIA GŁOSÓW”

Metoda „liczenia głosów” oznacza uzupełnienie metody narracyjnej o aspekt ilościowy – zostaje porównana liczba badań, które wskazują na osiągnięcie staty-stycznie istotnych wyników poprzez wdrożenie pewnych działań prewencyjnych,

44 B. Welsh, D. Farrington, op. cit., s. 6.

45 R. Rosenthal, K. Fode, The effect of experimenter bias on performance of the albino rat, Behavioral Science, vol. 8, 1963, s. 183–189.

4.2. METODY NAUKOWEJ EWALUACJI SKUTECZNOŚCI PREWENCJI KRYMINALNEJ  137 z  tymi, które nie potwierdzają tego lub których wyniki są wręcz przeciwne⁴⁶ . Dopiero po takim zliczeniu następuje wyciągnięcie wniosków. Wskazywane ogra-niczenie tej metody wynika z porównywania zazwyczaj badań realizowanych na różnej wielkości próbach, co oznacza, że statystycznie istotny wynik na dużej próbie może stanowić niewielką wartość liczbową w  porównaniu z  wynikiem o takiej samej istotności na próbie małej⁴⁷. Pomysłem pozwalającym wyelimino-wać w znacznej części wyciąganie wniosków pozbawionych podstaw było stwo-rzenie Marylandzkiej Skali Metod Naukowych (The Maryland Scientific Methods Scale – SMS), która została opracowana na potrzeby raportu na temat skutecz-ności poszczególnych środków prewencji kryminalnej sporządzonego przez mię-dzynarodowy zespół naukowców dla amerykańskiego Kongresu w 1998 roku⁴⁸ . Celem uszeregowania badań na pięciu poziomach skali SMS jest wskazanie w ja-sny sposób tych, które spełniają pewne metodologiczne założenia, oraz zakresu, w jakim je wypełniają.

Poziom 1 – pomiar korelacji pomiędzy prowadzeniem programu a przestęp-czością na danym obszarze lub grupie, której program dotyczy. Przestępczość badana jednokrotnie – po wdrożeniu programu. Oznacza to brak możliwości stwierdzenia związku przyczynowo-skutkowego pomiędzy wdrażanym progra-mem a liczbą przestępstw. Przykładem może być stwierdzenie, że w miejscach, gdzie zainstalowano kamery systemów monitoringu wizyjnego, rejestrowanych jest mniej przestępstw (lub jest wyższe poczucie bezpieczeństwa, jeżeli to wła-śnie jest celem danej interwencji) niż w miejscach, gdzie takich kamer brak.

Poziom 2 – pomiar przestępczości przed wdrożeniem programu i  po jego wdrożeniu wyłącznie na obszarze (lub grupie), na którym implementowano działania zapobiegawcze. W założeniu ma on pozwolić na stwierdzenia związ-ku przyczynowo-szwiąz-kutkowego pomiędzy wdrażanym programem a  liczbą prze-stępstw. Jednak ze względu na brak punktu odniesienia – obszaru kontrolnego, na którym nie wdrożono programu prewencyjnego, nie można stwierdzić tego związku, a jedynie korelację. Dobrym przykładem jest pomiar liczby przestępstw na jakimś obszarze przed i po instalacji kamery monitoringu wizyjnego.

46 D. Wilson, Meta‑Analytic Methods for Criminology, Annals of the American Academy of Political and Social Science, vol. 578, 2001, s. 73.

47 B. Welsh, D. Farrington, op. cit., s. 6.

48 L. Sherman, D. Gotfredson, D. MacKenzie, J. Eck, P. Reuter, S. Bushway, Preventing crime…, op.cit.

138  ROZDZIAŁ 4. EWALUACJA DZIAŁAŃ PREWENCYJNYCH

Zarówno badania reprezentujące poziom 1. jak i 2. SMS są uznawane za nie-wystarczające do wyciągania z nich wniosków o skuteczności podejmowanych działań nie tylko w przypadku prewencji kryminalnej⁴⁹ .

Poziom 3 – pomiar przestępczości przed wdrożeniem programu i  po jego wdrożeniu zarówno na obszarze (grupie), na którym implementowano działania zapobiegawcze (obszarze eksperymentalnym), jak i na porównywalnym obsza-rze kontrolnym. Korzystając z przykładu kamer monitoringu wizyjnego, na po-ziomie 3. SMS mierzona byłaby liczba przestępstw przed i po instalacji kamer, zarówno na obszarze, gdzie zostały one zainstalowane (eksperymentalnym), jak i porównywalnym do niego, gdzie kamery się nie pojawiły (kontrolnym). Pozwala on wyeliminować wpływ niekontrolowanych przez wdrażających program oraz badaczy zmiennych, takich jak np. zmiany demograficzne. Dopiero spełnienie tego wymogu konstytuuje tzw. model quasi-eksperymentalny i jest uznawane za minimalną podstawę do wyciągania wniosków o skuteczności działań prewen-cyjnych⁵⁰. Stanowił on m.in. konieczny warunek włączenia badań do ewaluacji przeprowadzanej na potrzeby wspomnianego raportu dla Kongresu Stanów Zjed-noczonych.

Warto w tym miejscu przybliżyć kryteria, które zdaniem L. Shermana powinny spełniać eksperymenty i quasi-eksperymenty w obszarze badań przestępczości oraz prewencji kryminalnej:

1. Testowanie głównych hipotez teoretycznych.

2. Eliminowanie tak wielu innych wyjaśnień danego zjawiska, jak jest to moż-liwe.

3. Wykazanie, że jeden rodzaj interwencji (programu) jest dużo bardziej efektywny ekonomicznie od innych⁵¹ .

Zgodnie z tymi założeniami (zwłaszcza drugim) powinno zostać zrealizowa-ne wskazanie najsłynniejszego detektywa wszech czasów, Sherlocka Holmesa, w którego usta pisarz A. C. Doyle zafascynowany rozwojem nauki włożył

nastę-49 T. Cook, D. Campbell, Quasi‑Experimentation: Design and Analysis Issues for Field Settings, Chicago 1979.

50 D. Farrington, A. Petrosino, The Campbell Collaboration Crime and Justice Group, Annals of the American Academy of Political and Social Science, vol. 578, 2001, s. 35–49.

51 L. Sherman, An Introduction to Experimental…, op. cit., s. 401.

4.2. METODY NAUKOWEJ EWALUACJI SKUTECZNOŚCI PREWENCJI KRYMINALNEJ  139 pujące słowa: Trzeba wyeliminować wszystkie pozostałe czynniki, a  ten jeden, który pozostanie, musi być prawdziwy⁵² .

Poziom 4 – model quasi-eksperymentalny zostaje wdrożony na terenie więk-szej liczby par obszarów (grup) kontrolnych i eksperymentalnych, co w jeszcze większym stopniu zwiększa jego wiarygodność. Zwiększenie liczby obszarów (grup) eliminuje w znacznym zakresie ryzyko przypadkowości mierzonych wyni-ków, np. wystąpienia pewnych specyficznych, nieuwzględnionych przez badaczy zmiennych akurat na terenie jednej pary z  poziomu 3. SMS w  istotny sposób wpływających na mierzone zmiany.

Poziom 5 – model quasi-eksperymentalny zostaje nie tylko powtórzony na większej liczbie par obszarów (grup) eksperymentalnych i kontrolnych, ale do-datkowo decyzja, które ze zdefiniowanych wcześniej obszarów czy grup zostają przydzielone do eksperymentalnych lub kontrolnych, jest losowa. Oznacza to cał-kowite ograniczenie wpływu badaczy lub wdrażających program instytucji na to, jaki konkretnie obszar lub grupa spośród spełniających pewne warunki zostaje objęty interwencją, a jaki nie⁵³ .

Dodatkowo twórcy SMS wprowadzili cztery kryteria oceny zasadności kon-kluzji każdej ewaluacji na jej poziomie statystycznym i konstrukcyjnym:

1. Czy analiza statystyczna została przeprowadzona we właściwy sposób?

2. Czy ewaluacja ma niewielką „moc” statystyczną ustalenia skutków działań ze względu na małą wielkość próby?

3. Czy odsetek odmów udziału w programie lub badaniach jego skutków oraz zmiana wewnątrz grupy w toku badań przed wprowadzeniem zmiennej i po jej wprowadzeniu nie zaburzyły wyników?

4. Jaka była rzetelność pomiaru wyników?⁵⁴

Na podstawie zakwalifikowania ewaluacji do poszczególnych poziomów SMS oraz po sprawdzeniu, czy spełniają też przedstawione kryteria, twórcy SMS po-dzielili wszystkie interwencje prewencyjne na cztery grupy za względu na ich skuteczność:

52 A. C. Doyle, Znak czterech, w: A. C. Doyle, Sherlock Holmes. Dzienniki i przygody, Warszawa 2010, s. 89.

53 D. Farrington, D. Gottfredson, L. Sherman, B. Welsh, The Maryland Scientific Methods Scale, w: L. Sherman, D. Farrington, B. Welsh, D. MacKenzie (red.), Evidence‑Based Crime Prevention, London-New York 2002, s. 13–21.

54 Tamże, s. 17–18.

140  ROZDZIAŁ 4. EWALUACJA DZIAŁAŃ PREWENCYJNYCH

1. Skuteczne (what works) – oznacza programy, które przyniosły zakładane cele w warunkach społecznych, w których były wdrażane, a ich skutki zostały potwierdzone co najmniej dwiema ewaluacjami o  poziomie minimum 3. SMS, których wyniki były statystycznie istotne.

2. Nieskuteczne (what does not work) – obejmuje programy, które nie przy-niosły zakładanych celów w warunkach społecznych, w których były wdrażane, co zostało potwierdzone co najmniej dwiema ewaluacjami o poziomie minimum 3. SMS, których wyniki były statystycznie istotne.

3. Obiecujące (what is promising) – to programy, których dostępne ewaluacje są niewystarczające do generalizowania ich skuteczności, ale istnieje empiryczna podbudowa twierdzenia, że dalsze badania mogą potwierdzić dotychczasowe wyniki. Włączenie do tej grupy wymaga potwierdzenia skuteczności jedną ewa-luacją o poziomie minimum 3. SMS oraz przewadze reszty wyników potwierdza-jących jej wynik.

4. Niewiadome (what is unknown) oznacza wszystkie programy, których nie można zaklasyfikować do żadnej z powyższych kategorii. Ich skuteczność jest w związku z tym nieznana⁵⁵ .

Wykorzystanie metody quasi-eksperymentalnej w badaniu skuteczności pro-gramów zmniejszających ryzyko recydywy wśród skazanych w Kalifornii spotkało się ze sprzeciwem ze względu na „niemoralność” testowania tego, co jest sku-teczne⁵⁶. Stanowi to jeden z wielu przykładów kolizji metod naukowych z ideolo-gią, religią lub polityką.