Model Ewaluacji Interakcyjnej

Badacze nauk społecznych (Przypis 444 Alkin 1990, Przypis 445 Dugan 1996, Przypis 446 Fetterman 1994, Przypis 447 Kemmis 1985, Przypis 448 Patton 1996 i in.), zaangażowani w rozwój badań ewaluacyjnych, uznali, że stopień złożoności i zróżnicowania rzeczywistości społecznej w pewien sposób wymusza wprowadzanie coraz to nowych strategii rozwiązywania rozmaitych problemów. Ich zdaniem

przeprowadzanie badań ewaluacyjnych w oparciu o Model Ewaluacji Proaktywnej lub Wyjaśniającej jest niewystarczające dla poznania mechanizmów zachodzących w procesie przygotowywania programów interwencji.

Str. 143

Zasadniczym elementem, na który badacze winni zwrócić uwagę, jest ciągły rozwój programu zarówno w jego fazie przygotowawczej, jak i realizacji. Aby tego dokonać,

należy położyć nacisk na rozwój mechanizmów kontroli, a także skutecznych strategii rozwiązywania trudności, pojawiających się w trakcie prac nad programem interwencji. W taki sposób powstał Model Ewaluacji Interakcyjnej, który do pewnego stopnia przypomina rozwinięty przez Ronalda Havelocka (Przypis 449 Havelock 1971) Model Rozwiązywania Problemów.

Model Havelocka znalazł swoje zastosowanie w obszarze zarządzania

organizacjami, gdzie podmioty odpowiedzialne za problem zobowiązane były do znalezienia oraz wykorzystania odpowiednich strategii w celu jego rozwiązania.

Warto podkreślić, że podmioty zewnętrzne, zaangażowane w badania prowadzone w ramach instytucji pomocy społecznej podejmowały działania na zasadach

ustalonych przez jednostki zatrudnione w tejże instytucji (zleceniodawców). W konsekwencji wiedza zgromadzona w wyniku podejmowanych przez badaczy-ewaluatorów interakcji nie odgrywała tak istotnej roli, jak wiedza badaczy-ewaluatorów wewnętrznych. Można zatem przypuszczać, że polityka zewnętrzna czy dyrektywy pochodzące spoza instytucji, w której przygotowywano program interwencji, nie miały bezpośredniego wpływu na kształt tego programu oraz wykorzystywane w nim procedury ewaluacyjne. Zadaniem badaczy-ewaluatorów zatrudnionych z zewnątrz było bowiem wprowadzenie pewnego zasobu wiedzy oraz udzielenie wsparcia instytucji realizującej program interwencji.

Zasadniczą rolę w ustalaniu celów oraz samej procedurze wprowadzania programu interwencji pełnią sami jego uczestnicy, natomiast wszelkie działania wynikające z przygotowania kluczowych elementów programu przypadają na pozostałe podmioty ewaluujące. Zgodny z tym stanowiskiem jest pogląd, że każda inicjatywa związana z programem jest traktowana jako nowa, to znaczy postrzegana jako innowacja z punktu widzenia aktorów zaangażowanych w procedurę wprowadzania programu.

Ponadto programy interwencji przygotowywane są w oparciu o problemy, które dotychczas nie zostały poddane działaniom interwencyjnym, a wykorzystane strategie ich rozwiązywania, przynajmniej z punktu widzenia realizatorów, mają charakter wyjątkowy i niepowtarzalny (Przypis 450 Havelock 1971). Na podstawie analizy literatury przedmiotu można stwierdzić, że badacze są zgodni co do tego, iż nastąpił zasadniczy wzrost zainteresowania problematyką systematycznie

przeprowadzanych badań ewaluacyjnych. Przyczynią się one do zgromadzenia

wiedzy na temat sposobu funkcjonowania rozmaitych instytucji i organizacji oraz stosowanych przez nie strategii, które umożliwiają osiągnięcie wysokiej skuteczności i efektywności (Shein 1985, Przypis 451 Sowell 1996, Przypis 452 Rowe, Jacobs 1996, Przypis 453 Owen, Lambert 1998).

Model Ewaluacji Interakcyjnej koncentruje się na systematycznym gromadzeniu wiedzy pochodzącej z przeprowadzonych badań, dzięki której badacze-ewaluatorzy będą podejmować kluczowe decyzje, dotyczące przyszłego charakteru i kształtu programów interwencji. Zastosowanie tego Modelu ułatwia prowadzenie

samoewaluacji, planowanie oraz pozwala ukierunkować badania ewaluacyjne w taki sposób, aby możliwe były modyfikacje i zmiany zarówno w procesie

przygotowywania programu interwencji, jak i w fazie jego realizacji.

Str. 144

Wreszcie, Model ten daje badaczom podstawę do stwierdzenia, że przeprowadzenie badań ewaluacyjnych jest nie tylko celem samym w sobie, ale także narzędziem w rękach podmiotów ewaluowanych i ewaluujących. Warto zauważyć, że Model ten kładzie nacisk na etap realizacji programu i w literaturze przedmiotu znany jest także pod nazwą Modelu Ewaluacji Procesu (Przypis 454 Owen 1993, Przypis 455 Owen, Rogers 1999).

Mając powyższe na uwadze, badacze-ewaluatorzy powinni wspierać podmioty zaangażowane w badania w stopniowym i systematycznym udoskonalaniu działań innowacyjnych, a także udzielać pomocy w zakresie zrozumienia podstawowych mechanizmów funkcjonowania programu. Należy mieć świadomość tego, iż opisywany Model wykorzystywany jest w programach, które podlegają stałym

zmianom i rozwojowi. Dlatego też badacze winni znaleźć odpowiedzi na następujące pytania:

-jakie są podstawowe cele programu interwencji?

-w jaki sposób realizowane będą usługi i świadczenia w ramach programu interwencji?

-w jaki sposób przebiega realizacja programu interwencji?

-czy realizacja programu interwencji jest zgodna z przygotowaną wcześniej przez badaczy procedurą?

-w jaki sposób można wprowadzić zmiany do realizowanego programu interwencji, aby był on bardziej skuteczny i efektywny?

-jak można zmienić sposób funkcjonowania instytucji pomocy społecznej, aby stała się ona bardziej efektywna?

Nie ulega wątpliwości, że w Modelu Ewaluacji Interakcyjnej wszystkie etapy programu interwencji są równie istotne dla badaczy-ewaluatorów. Tym niemniej zasadnicze znaczenie odgrywa etap realizacji programu, to znaczy wprowadzania w obszar praktyki bezpośredniej. Badaczy interesuje przede wszystkim proces oraz wszelkie związane z nim mechanizmy i zjawiska, które przyczyniają się do

zgromadzenia wiedzy dotyczącej podmiotów ewaluowanych, ale też ewaluujących.

Znacznie mniejszy nacisk położony jest na rezultaty badań, ponieważ ich realizatorzy uważają, że przebieg poszczególnych etapów charakteryzuje się niezwykłą dynamiką, która uniemożliwia przeprowadzenie klasycznej ewaluacji sumatywnej. Ponadto uchwycenie i analiza zmian, a także udoskonalenie programu, są bardziej istotne i mają znacznie większe zastosowanie dla praktyków.

W praktyce zastosowanie powyższego Modelu wygląda w taki sposób, że

posiadający odpowiednie kwalifikacje badacz-ewaluator udziela bezpośredniego wsparcia podmiotom zaangażowanym w procedurę przygotowania i realizacji programu interwencji. Poprzez ścisłą współpracę ewaluator dokonuje obserwacji, udziela wskazówek, wspiera w wyborze odpowiedniej strategii czy też pokazuje szerszą perspektywę badań ewaluacyjnych. W zależności od zastosowanego

podejścia w ramach tego Modelu, ewaluator może pełnić rolę członka zespołu i brać udział w podejmowaniu decyzji, dotyczących obszarów realizowania programu czy kierunku jego rozwoju. Mając na uwadze wspomniane podejścia, należy wymienić te, które najczęściej stosowane są przez badaczy nauk społecznych

zaangażowanych w badania ewaluacyjne.

Str. 145

Są to: podejście dialogiczne[przypis 5. 2 ] (responsive evaluation), podejście typu action research, podejście jakościowe (quality review lub meta-ewaluacja), podejście rozwojowe (developmental evaluation) oraz podejście typu empowerment

(empowerment evaluation). Każde z wymienionych podejść posiada pewne cechy

charakterystyczne, których znajomość stanowi podstawowe narzędzie pracy dla profesjonalistów i dlatego warto poświęcić im nieco uwagi.

Podejście dialogiczne (ewaluacja dialogiczna) zwraca uwagę między innymi na proces prowadzenia dokumentacji oraz dokonywanych zmian w fazie realizacji programu interwencji (Przypis 456 Parlett, Hamilton 1976). Ponadto uwzględnia rozmaite perspektywy i stanowiska podmiotów ewaluujących i w konsekwencji pozwala zgromadzić wiedzę niezbędną dla realizatorów określonego programu.

Badaczem często kojarzonym z tym podejściem jest Robert Stake (Przypis 457 Stake 1980). Według niego ewaluacja ma charakter dialogiczny, jeżeli spełnione zostaną trzy warunki. Po pierwsze, gdy koncentrować się będzie bardziej

bezpośrednio na rzeczywistych działaniach podejmowanych w ramach programu interwencji, niż na działaniach zamierzonych. Po drugie, kiedy spełnione zostaną kryteria informacyjne w stosunku do podmiotów ewaluowanych i ewaluujących. To znaczy, gdy strategie, formy czy zakres udzielanej informacji będą dostosowane przede wszystkim do podmiotów ewaluowanych. Po trzecie, gdy zostaną

uwzględnione rozmaite perspektywy i stanowiska aktorów zaangażowanych w realizację programu, co w konsekwencji pozwoli badaczom przewidywać dynamikę zmian zachodzących w ramach danego programu. Stake uważa, że zrealizowanie powyższych warunków zdecydowanie ułatwia uporządkowanie działań

podejmowanych w praktyce bezpośredniej. Rozwija także umiejętności badaczy w zakresie interpretacji i analizy zgromadzonej wiedzy w połączeniu z ich

profesjonalną wiedzą. W efekcie udoskonalanie obszaru praktyki bezpośredniej przestaje być fikcją, a staje się możliwe i potrzebne.

Podejście typu action research jest stosowane przez badaczy-ewaluatorów głównie do znalezienia odpowiedzi na pytanie, czy wprowadzone do programu interwencji innowacje mają wpływ na jego przebieg i jaka jest ich skuteczność w porównaniu ze strategiami, które dotychczas wykorzystywano w obszarze pracy socjalnej i pomocy społecznej. Często jednak pojawia się pytanie o to, jak

zdefiniować to podejście i w jaki sposób odpowiada ono na potrzeby praktyków. Na podstawie analizy literatury przedmiotu można stwierdzić, że początki badań tego typu prowadzone były już w latach czterdziestych 20 wieku (Przypis 458 Lewin 1946) i dotyczyły poszukiwania strategii rozwiązywania problemów pojawiających się w

trakcie realizowania pracy socjalnej na poziomie lokalnym (Przypis 459 Owen, Rogers 1999).

Str. 146

Według J. Ortona action research można zdefiniować jako wspólne badania usytuowane w określonym obszarze praktyki społecznej, które charakteryzują się odpowiednią procedurą i przebiegiem. Realizowanie takich badań jest zgodne z takimi wartościami, jak niezależność, równość i współpraca. Ich podstawowym celem jest natomiast zdobywanie doświadczenia, udoskonalanie praktyki poprzez wprowadzanie rozmaitych zmian i w konsekwencji gromadzenie nowej wiedzy z zakresu teorii społecznej (Przypis 460 Owen, Rogers 1999:224). Yoland Wadsworth (Przypis 461 Wadsworth 1991) zauważa, że badania typu action research mają charakter cykliczny, a to oznacza, że obejmują one określone etapy, fazy czy komponenty. Po pierwsze, chodzi tu o refleksję nad rzeczywistym stanem działań podejmowanych przez badaczy-ewaluatorów. Często bowiem można zaobserwować rozbieżność pomiędzy tym, jak działają i czego doświadczają badacze, a tym, jakie są ich oczekiwania w stosunku do uzyskanych rezultatów. Po drugie, ważna jest faza projektowania badań, to znaczy zdefiniowania problemu, sformułowania odpowiednich pytań oraz określenia podmiotów ewaluowanych i ewaluujących. Po trzecie, przeprowadzenie badań, które skupia się na zgromadzeniu danych, a także uzyskanie informacji na temat ewaluowanego obiektu z punktu widzenia wszystkich zaangażowanych w badania aktorów. Po czwarte, analiza i formułowanie wniosków, na podstawie których dochodzi do przedstawienia istoty podjętych działań, kierunku badań, stopnia realizacji programu, czy nawet skonstruowania ogólnych założeń teoretycznych. Po piąte, planowanie, które bierze pod uwagę zmiany oraz rozmaite strategie zmierzające do udoskonalenia obszaru praktyki. Na tym etapie

wykorzystywana jest dotychczas zgromadzona wiedza oraz doświadczenie zdobyte w trakcie realizowania ostatnich badań.

O ile Wadsworth koncentruje się na wskazaniu etapów powtarzających się w procesie przeprowadzania badań typu action research, o tyle Stephen Kemmis (Przypis 462 Kemmis 1985) zwraca uwagę na możliwość wprowadzania strategii rozwiązywania problemów na poszczególnych etapach realizacji programu.

Przedstawia on ponadto cztery sytuacje, w których zastosowanie takich badań staje się niezbędne i kładzie nacisk na kolejność ich realizowania. Po pierwsze, gdy konieczne jest dokonanie zmian w przygotowanym programie interwencji, dzięki którym zapewniona zostanie wysoka skuteczność i efektywność ewaluowanych obiektów. Po drugie, kiedy badacze-ewaluatorzy podejmują działania w celu wprowadzenia programu w życie. Po trzecie, gdy można zaobserwować skutki działań w połączeniu z kontekstem, w którym zostały podjęte. I wreszcie po czwarte, kiedy na podstawie zgromadzonej wiedzy możliwe jest określenie wpływu rezultatów działań na badania realizowane w przyszłości.

Można zatem stwierdzić, że podejście typu action research z założenia skupia się na działaniach obejmujących przyszłość oraz planowanie. Już samo przygotowanie planu działania powinno określać te czynności, które będą realizowane przez badaczy w przyszłości, jak również ich przewidywane rezultaty.

Kolejne podejście stosowane w ramach Modelu Ewaluacji Interakcyjnej, znane jest pod nazwą podejścia jakościowego (quality review lub metaewaluacja). Badania tego typu zwykle prowadzone są w obrębie określonego systemu organizacyjnego czy instytucjonalnego, w którym pojedyncze instytucje (w tym przypadku chodzi tutaj o instytucje pomocy społecznej) odpowiadają za realizację programu interwencji.

Str. 147

Ponadto podejście to można wykorzystać w ramach funkcjonowania jednej instytucji czy organizacji, w której da się wyróżnić autonomiczne podgrupy bądź podsystemy.

Na przykład w odniesieniu do wszystkich oddziałów w dużym szpitalu, albo do dyrektorów wybranych typów szkół w obrębie danej dzielnicy, itp.

Peter Cuttance (Przypis 463 Cuttance 1994) wyróżnia trzy podstawowe kryteria warunkujące przeprowadzanie badań jakościowych. Jest to, po pierwsze,

sformułowanie przez organizację lub instytucję zasad i wskazówek umożliwiających przeprowadzanie meta-ewaluacji oraz dokonywanie niezbędnych zmian. Po drugie, podniesienie poziomu efektywności i skuteczności funkcjonowania instytucji poprzez wykorzystanie przygotowanych zasad i wskazówek w praktyce bezpośredniej w celu wspierania strategii rozwiązywania problemów. Po trzecie, zrealizowanie

powyższych celów przez wszystkie instytucje w ściśle określonym przedziale

czasowym. Takie spojrzenie na podejście jakościowe wymaga wykreowania „kultury ewaluacyjnej”, dzięki której ewaluacja stanowi nowy sposób myślenia o

rzeczywistości społecznej i systemach ludzkich.

Wadsworth (Przypis 464 Wadsworth 1991) uważa, że jest to możliwe i przywołuje listę działań, jakie należy w tym celu podjąć. Wskazuje m.in. codzienną refleksję osobistą badaczy-ewaluatorów, która na bieżąco pozwala wprowadzać zmiany i udoskonalać obszar praktyki; ocenę dokonywaną raz w tygodniu; ocenę badań ewaluacyjnych dotyczących konkretnego aspektu czy obszaru praktyki;

comiesięczne sesje grupowe, na których omawiane są zagadnienia trudne, nowe czy wymagające szerszego spojrzenia; oraz coroczne warsztaty poświęcone temu, co udało się osiągnąć oraz w jakim kierunku należy podążać w przyszłym roku.

Panuje przekonanie, że badania tego typu możliwe są do przeprowadzenia przez realizatorów programu interwencji i nie wymagają specjalistów z zewnątrz. Co więcej, pozwalają zgromadzić wiedzę, dzięki której działania podejmowane w przyszłości mogą być bardziej skuteczne i efektywne.

Podejście rozwojowe oparte jest na ścisłej współpracy pomiędzy podmiotami ewaluującymi w celu ciągłego udoskonalania poszczególnych etapów procesu realizacji programu interwencji. Obejmuje ono etap wstępny, w którym następuje formułowanie pytań ewaluacyjnych przy uwzględnieniu logiki ewaluacyjnej. Działania te są podejmowane po to, aby doprowadzić do zmodyfikowania programu

interwencji. Badacz-ewaluator pełni rolę członka zespołu, z którym współtworzy program, testuje nowe podejścia i strategie, przystosowując je do istniejących

wymogów instytucjonalnych, organizacyjnych, jednostkowych czy społecznych. Jest także uczestnikiem niezwykłego procesu zmian, obserwatorem ich dynamiki, jak też współtwórcą kierunku badań ewaluacyjnych (Przypis 465 Patton 1996, Przypis 466 Cousins, Earl 1992). Warto zauważyć, że podejście to wykorzystywane jest

najczęściej w programach innowacyjnych.

Ostatnie podejście stosowane w ramach Modelu Ewaluacji Interakcyjnej, znane jest w literaturze pod nazwą podejście typu empowerment i zdaniem wielu badaczy (Przypis 467 Owen, Rogers 1999, Przypis 468 Fetterman i in. 1996, Przypis 469 Dugan 1996), budzi wiele kontrowersji. Podstawowym celem tego podejścia jest pomoc podmiotom ewaluującym w rozwijaniu i modyfikowaniu własnych programów

interwencji. Zdaniem Fettermana (Przypis 470 Fetterman 1996) odbywa się to między innymi poprzez samodeterminację rozumianą jako zdolność do kierowania biegiem życia.

Str. 148

Oznacza to, że organizacje, instytucje oraz jednostki zobowiązane są do nabycia umiejętności, dzięki którym będą w stanie stawić czoło problemom i doprowadzić do ich skutecznego rozwiązania.

Podstawowe zasady, które powinno się mieć na uwadze w identyfikowaniu i wydobywaniu możliwości, tkwiących w systemach ludzkich, kładą nacisk na cztery kwestie. Po pierwsze, najbardziej istotne zmiany to te, które pojawiają się w samych jednostkach i te, które odzwierciedlają coraz większe możliwości w zakresie

inicjowania i przeprowadzenia zmiany społecznej. Po drugie, pojęcie zdolności ludzkiej jest związane przede wszystkim z samowystarczalnością, samodeterminacją oraz upełnomocnieniem, a nie ze zmianami, które mogą być statystycznie mierzone.

Po trzecie, miarą sukcesu jest zakres, w jakim jednostki są zdolne zidentyfikować swoje problemy i zaproponować właściwe rozwiązania. Po czwarte, zmiana częściej zachodzi tam, gdzie większy nacisk położony jest na sam proces zmiany, aczkolwiek nie bez pominięcia jego skutków (Przypis 471 Dugan 1996).

W praktyce bezpośredniej podejście typu empowerment obejmuje zarówno realizatorów programu, jego uczestników, jak też samych badaczy-ewaluatorów.

Koncentruje się ono na współpracy pomiędzy „aktorami sceny ewaluacyjnej” w uzyskiwaniu jednolitego stanowiska w zakresie podstawowych celów, kryteriów i oczekiwanych rezultatów programu interwencji. Polega również na ocenie stanu faktycznego i wykorzystaniu zdobytej w ten sposób wiedzy do planowania działań w przyszłości. Nie należy zapominać i o tym, że badania ewaluacyjne mogą stanowić narzędzie do udoskonalania strategii rozwiązywania problemów i realizowania celów (Przypis 472 Fetterman 1994). Tabela 5.3 prezentuje podstawowe elementy Modelu Ewaluacji Interakcyjnej.

Str. 149

Tabela 5.3. Model Ewaluacji Interakcyjnej – cechy charakterystyczne. Przejdź na koniec tabeli 5.3.

1. Elementy modelu: cel badań ewaluacyjnych

1.1. Opis własności modelu: modyfikacja realizowanego programu interwencji w celu jego udoskonalenia.

2. Elementy modelu: podstawowe pytania

2.1. Opis własności modelu: Jakie są podstawowe cele programu interwencji? W jaki sposób realizowane będą usługi i świadczenia w ramach programu interwencji? W jaki sposób przebiega realizacja programu interwencji? Czy realizacja programu interwencji jest zgodna z przygotowaną wcześniej przez badaczy procedurą? W jaki sposób można wprowadzić zmiany do realizowanego programu interwencji, aby był on bardziej skuteczny i efektywny? Jak można zmienić sposób funkcjonowania instytucji pomocy społecznej, aby stała się ona bardziej efektywna?

3. Elementy modelu: etap programu

3.1. Opis własności modelu: 1. program interwencji w początkowej fazie jego realizacji, 2. program interwencji w kolejnych fazach realizacji, poddawany stałym modyfikacjom 3. w obu przypadkach badania ewaluacyjne mają charakter

rozwojowy.

4. Elementy modelu: nacisk położony na

4.1. Opis własności modelu: realizację programu interwencji, chociaż nie należy pomijać rezultatów badań, ponieważ mogą one wpłynąć na charakter zmian oraz długofalowe skutki.

5. Elementy modelu: termin przeprowadzania badań ewaluacyjnych 5.1. Opis własności modelu: w trakcie realizacji programu interwencji.

6. Elementy modelu: podstawowe podejścia

6.1. Opis własności modelu: podejście dialogiczne, podejście typu action research, podejście jakościowe, podejście rozwojowe, podejście typu empowerment.

7. Elementy modelu: metody i techniki gromadzenia danych

7.1. Opis własności modelu: badania terenowe, obserwacja, wywiad.

Źródło: opracowanie własne na podstawie: Owen J., Rogers P., 1999, Program Evaluation. Forms and Approaches, London: Sage Publications.

Koniec tabeli 5.3.

Str. 150