ROZDZIAŁ 14: Badania ewaluacyjne w psychologii klinicznej
Anna Brzezińska
14. 1. Pojęcie ewaluacji i jej miejsce w procesie pomagania
Miejsce, rola i zadania ewaluacji w procesie pomagania zależą od przyjmowanej - przez osoby odpowiedzialne za organizację i przebieg psychoterapii, resocjalizacji, rehabilitacji, interwencji o charakterze kryzysowym, działań profilaktycznych czy psychoedukacyjnych - koncepcji procesu pomagania. Planując oddziaływanie na jednostkę czy grupę ludzi psycholog kliniczny zawsze stawia sobie jakieś cele do osiągnięcia. Jest to punkt wyjścia. Dopiero potem zastanawia się nad środkami ich realizacji, tj. doborem odpowiednich metod pomocy, warunkami jej udzielania, wreszcie nad własną rolą terapeuty. Zawsze też chce wiedzieć, czy zakładane cele rzeczywiście zostały zrealizowane i w jakim zakresie oraz stopniu.
Monitorowanie procesu pomagania jest więc ważnym źródłem informacji, pozwala bowiem na szybkie dokonywanie korekt we własnym postępowaniu, prowadzi do udoskonalania stosowanych procedur i metod pracy, a w rezultacie podnosi efektywność terapii i powoduje, iż zarówno cele cząstkowe, etapowe, jak i cele końcowe mogą być realizowane na bardzo wysokim poziomie. Tak też rozumiem podstawową rolę ewaluacji – jej celem jest dostarczenie informacji zwrotnych pozwalających na doskonalenie przebiegu procesu pomagania.
Czym zatem jest i czego dotyczy ewaluacja? Hawkins i Nederhood (1994) w następujący sposób określają ewaluację: jest to “ocenianie tego, czy osiągnęliśmy postawione sobie cele” (op. cit., s. 13) i dalej: “Ewaluacja może być narzędziem, które pomoże odpowiedzieć na (...) pytanie Czy to rzeczywiście coś daje? (...). W ewaluacji własnego programu szukasz odpowiedzi na swoje pytania, a uzyskane informacje możesz wykorzystać dla własnych celów. Takie spojrzenie prowadzi do odrzucenia myśli o ewaluacji jako o strategicznej broni w rękach wroga.” (ibidem) oraz
“Ewaluacja jest to zbieranie i wykorzystywanie informacji w celu odpowiedzi na pytania dotyczące Twojego programu.
Jest to sposób na zdobycie większej ilości informacji o programie, niż było dostępnych przed przystąpieniem do jego realizacji” (op. cit., s. 14); “Jeśli zbierasz informacje, aby rozwiązywać problemy i trudności pojawiające się w toku realizacji własnego programu (...), to już tym samym angażujesz się w proces ewaluacji.” (ibidem); “ (...) ewaluacja jest Twoją badawczą bronią umożliwiającą rozwój.” (op. cit., s. 17).
Słownik Wyrazów Obcych Michała Arcta z roku 1928 podaje, iż “ewaluacja (to) ocenienie, oszacowanie, określenie wartości” (op. cit., s. 69). Zwróćmy jednak uwagę na źródłosłów i odwołajmy się do Słownika łacińsko-polskiego z roku 1988, w którym czytamy: “e-valesco, -ere, -ui – stawać się silnym, potężnieć” (op. cit., s. 189) i z roku 1998: “e-valeo, -ere – móc, zdołać; e-valesco, -ere, -ui – wzmocnić się, nabrać siły, spotężnieć; móc, być zdolnym, zdołać, potrafić” (op. cit., s. 371).
Przytoczone wyżej, jako przykłady, określenia pozwalają nam na sformułowanie roboczej definicji ewaluacji w taki oto sposób: ewaluacja jest to proces zbierania informacji o przebiegu działania i uzyskiwanych efektach oraz ich analizowania w celu udoskonalenia przebiegu tego procesu i osiągnięcia zamierzonych efektów.
W obszarze psychologii klinicznej informacje mogą być zbierane zarówno przez osoby, które są odpowiedzialne za organizację procesu pomagania (psycholog, lekarz, pedagog, logopeda i inni specjaliści współpracujący z psychologiem klinicznym w fazie tak przygotowania, jak i realizacji programu pomocy psychologicznej), jak i osoby uczestniczące w nim (pacjenci i ich bliscy), i te osoby nazwiemy ewaluatorami wewnętrznymi. Mogą być jednak także zbierane przez osoby bezpośrednio nie uczestniczące ani w organizacji ani w realizacji procesu pomagania, i te osoby nazwiemy ewaluatorami zewnętrznymi (np. nauczyciele dziecka poddawanego rehabilitacji, małżonkowie czy dzieci pacjentów, specjaliści pracujący z pacjentem w kolejnej fazie procesu pomagania).
14. 2. Modele ewaluacji
Ewaluacja – tak i wewnętrzna, i zewnętrzna - może mieć dwojaki charakter. Po pierwsze, może być dokonywana dopiero po zakończeniu jakiegoś cyklu działania, np. po zakończeniu kilku spotkań terapeutycznych z pacjentem, zakończeniu jednego cyklu pracy z jego rodziną, albo po prostu po z góry ustalonym czasie, np. po 4 tygodniach od rozpoczęcia procesu pomagania. Taka ewaluacja ma charakter reaktywny, bowiem zebranych informacji nie można już wykorzystać do udoskonalenia tego, co się zdarzyło, można natomiast próbować wyjaśnić, dlaczego (z jakiego powodu) uzyskiwane efekty są takie a nie inne. Ewaluację można tu więc traktować jako swoiste “podsumowanie”
zakończonego działania lub jakiegoś jego etapu i można z niej wyprowadzić wnioski odnośnie do przyszłych działań z
tym samym pacjentem (grupą), jeżeli działania będą kontynuowane lub z nową osobą (grupą).
Ewaluacja może mieć jednak także inny charakter – bardziej konstruktywny, - w odniesieniu do tych, którzy jej dokonują (częściej psychoterapeuci i rzadziej ich pacjenci) bądź jej podlegają (rzadziej terapeuci, częściej pacjenci). Aby to było możliwe musi być dokonywana w trakcie realizacji procesu pomagania, np. kilka razy w określonym z góry czasie, np.: pod koniec co drugiego czy trzeciego spotkania, pod koniec każdego spotkania, może też mieć charakter ciągły – tzn. terapeuta po każdym spotkaniu sporządza dla siebie notatkę z tego, co się wydarzyło w „węzłowych”
punktach każdej sesji, może także prosić pacjenta lub jego bliskich o analizę tego, co się dzieje. Taką ewaluację nazwiemy proaktywną albo formatywną, bowiem możliwe jest tu wykorzystywanie na bieżąco zbieranych czy dostarczanych przez różne osoby informacji do korekty sposobu własnego względem nich działania.
Od innej strony rzecz ujmując ewaluacja proaktywna może być źródłem wielu cennych tak dla terapeuty, jak i pacjenta informacji, może upewniać ich, że dążą w dobrym kierunku, że osiągają zakładane cele mimo natrafiania na różne trudności po drodze bądź też nie. Umożliwia wchodzenie obu stronom w interakcję opartą na współdziałaniu, wymianie, dialogu, uczy rzetelnego wyrażania swych opinii, ale jednocześnie buduje w nich poczucie sprawstwa i przekonanie, że poprzez własne działania można istotnie dokonywać zmian. Terapeucie ułatwia dostrojenie się do możliwości pacjenta oraz ukazuje obszary, w których jego pomoc jest niezbędna oraz takie, w których pacjent może być bardziej samodzielny i aktywny. Pacjenta, z kolei, uczy stopniowo dokonywania coraz głębszych refleksji nad tym, co się dzieje w kontakcie z terapeutą i z nim samym w trakcie tego kontaktu oraz poza nim, w naturalnym środowisku życia (rodzinie, kręgu przyjaciół, kręgu zawodowym).
14.3. Związek między koncepcją pomagania a celami i przebiegiem ewaluacji To, jakich obszarów dotyczy ewaluacja, jakie wskaźniki jakości przebiegu procesu pomagania i uzyskiwanych efektów bierze się pod uwagę, czy wreszcie wg jakich kryteriów dokonuje się ich analizy zależy przede wszystkim od tego, jaka filozofia pomagania leży u podstaw tego, co robi terapeuta. Owa często nie do końca uświadamiana, a więc ukryta, milcząco zakładana (tacit) filozofia pomagania ma istotny wpływ, po pierwsze, na to, jak terapeuta traktuje związek między własną działalnością „życiową” (osobistą) a działalnością profesjonalną (terapeutyczną), czy i jak jego własne doświadczenie życiowe, osobiste “zasila” prowadzone przez niego różne formy pomocy; po drugie na to, czy terapeuta w ogóle formułuje jakąś wizję i wynikające z niej ogólne i szczegółowe cele pomagania budując program swych działań kierowanych do jednostek, grup czy całych społeczności czy nie; po trzecie na to, jak formułowane są te cele - ogólnikowo typu “poprawić wgląd w siebie” czy może konstruowana jest cała „siatka” celów, szczególnie wtedy, gdy planuje się zastosowanie kilku różnych form pomocy kierowanych do odmiennych adresatów (osób, grup i/lub społeczności) w tym samym czasie; po czwarte na to, jak terapeuta ujmuje się relację “terapeuta - pacjent”, jak widzi swoje miejsce, swoją rolę, jaką zajmuje pozycję (na kontinuum: dominacja – submisja), czy jest dostępny dla pacjentów poza umówionymi wcześniej sesjami i jakie zasady regulują te spotkania „poza planem”; i wreszcie, po piąte, na to, jakie preferuje metody oddziaływania, czy jest świadom ich rodowodu i ich zaplecza teoretycznego oraz badawczego (dostępność narzędzi diagnostycznych)?
Od tego, jakie będą odpowiedzi na wszystkie powyższe pytania będzie zależało to, jak będzie przebiegała procedura ewaluacji postępów oraz efektów końcowych w procesie pomagania, a więc to:
(1) kto dokonuje ewaluacji: sam terapeuta, inni specjaliści, pacjent, bliskie dla niego osoby?
(2) kiedy się jej dokonuje: przed i/lub w trakcie i/lub po zakończeniu zaplanowanych spotkań?
(3) jakich obszarów dotyczy ewaluacja: samopoczucie klinicysty, samopoczucie pacjenta, funkcjonowanie pacjenta w sytuacjach życiowych wg opinii jego rodziny, postępy wg opinii klinicysty czy innych specjalistów?
(4) jakie wskaźniki poprawy funkcjonowania czy samopoczucia bierze się pod uwagę: obiektywne – subiektywne,
“twarde” – “miękkie”, z jednego źródła – z kilku źródeł, wewnętrzne – zewnętrzne?
(5) wg jakich kryteriów dokonuje się analizy: kryteria formalno-prawne, kryteria kulturowe, zwyczajowe, kto ustala te kryteria, czy podlegają one negocjacji i modyfikacji?
(6) jak przebiega procedura ewaluacji: analiza dokumentacji, wytworów pacjenta, stosowanie specjalnie konstruowanych ankiet i arkuszy ewaluacyjnych, rozmowy, obserwacje, skale szacunkowe wypełniane przez pacjenta, terapeutę czy inne osoby (przez kogo)?
(7) komu i jak ujawnia się wyniki ewaluacji, w jaki sposób są prezentowane, kto i jak je wykorzystuje (do jakich celów)?
14.4. Przygotowanie i realizacja programu pomagania a ewaluacja
W działalności każdego psychologia klinicznego można wyodrębnić trzy odrębne etapy. Pierwszy z nich odnosi się do przygotowania projektu działania, drugi do jego realizacji, a trzeci do końcowej ewaluacji. Etapy te prezentuje Tab.1 (por. Brzezińska, 2000, s. 98).
Etap pierwszy – projektowanie: jest to etap, w którym następuje planowanie kolejnych kroków działania oraz wyobrażanie sobie jego możliwych konsekwencji z punktu widzenia realizacji założonych celów; układem odniesienia dla takiej analizy jest przewidywanie zmian, jakie mogą zostać sprowokowane / uruchomione u jednostek (wątek indywidualny) oraz tego, co może wydarzyć się w grupie ujmowanej jako całość (wątek grupowy). Przedmiotem refleksji psychologa jest tu właśnie wyobrażenie sobie możliwych konsekwencji przygotowanego projektu pomocy w obu obszarach. Bezpośrednim rezultatem takiej refleksji jest wprowadzenie korekt do projektu, zanim zostanie on wprowadzony w życie. Rezultat pośredni to uwrażliwienie na pewne sytuacje, które wg jego przewidywań, czynionych na podstawie wcześniejszych doświadczeń, mogą okazać się szczególnie trudne dla niego czy dla pacjenta (grupy) i będą wymagały od niego zwiększonego zaangażowania, uważności i wysiłku.
Etap drugi – realizacja projektu: psycholog podejmuje działania zgodnie z kolejnymi, wcześniej zaplanowanymi przez siebie krokami. Jednocześnie, jeżeli uzna to za konieczne poddaje obserwacji to, co się dzieje w trakcie kolejnych spotkań z poszczególnymi uczestnikami, co dzieje się w grupie. Analiza wyników obserwacji służy mu jako podstawa do podejmowania decyzji odnośnie do korygowania (lub nie) przygotowanego planu działania, ewentualnie jako podstawa do konstruowania arkuszy ewaluacyjnych dla uczestników, dla siebie lub dla innych specjalistów. Spotkania z jednostką czy z grupą – niezależnie od ich specyficznego celu związanego z charakterem rozwiązywanego problemu jednostkowego lub społecznego – składają się z typowych elementów, choć zawsze są one w jakimś stopniu uzależnione od przyjmowanej filozofii i związanej z nią nierozerwalnie metody pomagania. Generalnie owe elementy, węzłowe kroki można sprowadzić do zamieszczonego poniżej wyliczenia, niezależnie od tego, czy spotkania mają charakter indywidualny czy grupowy. Ważne jest to, jaki sens przypisywany jest poszczególnym elementom konstrukcyjnym kolejnych spotkań oraz to, jakie kategorie celów szczegółowych możliwe są do osiągnięcia w trakcie ich realizacji. Wyróżnić można pięć takich elementów konstrukcyjnych:
(1) P ie rw s zy k on ta kt : moment rozpoczynania, nawiązania kontaktu psychologa z pacjentem/pacjentami i między nimi nawzajem.
Psycholog uruchamia procesy komunikowania się i wymiany informacji, sądów i opinii, tworzy psychologiczne i społeczne warunki do następnych spotkań, jeżeli je planuje. Jest to moment szczególnie ważny, gdy spotkania odbywają się rzadko i są długie lub odbywają się często, ale są stosunkowo krótkie.
(2) B ud ow a ni e na st aw ie ni a pa cj en ta /p ac je nt ów ( kl ie nt ów ) : ten etap pracy przewiduje: (1) badanie nastawienia, z jakim pacjenci startują (wstępna orientacja), (2) ewentualne modyfikowanie go, jeżeli terapeuta uzna, iż jest to konieczne zanim rozpocznie
wstępna definicja problemu
określenie adresata: osoba, grupa, społeczność
zebranie podstawowych informacji o adresacie
podjęcie decyzji o charakterze pomocy: bezpośrednio kierowana na adresata czy pośrednia – na inne osoby (grupy) z nim związane
przygotowanie kontraktu
określenie warunków koniecznych do rozpoczęcia
przygotowanie zespołu
wspomagającego (inni specjaliści, rodzina, znajomi)
koncepcja ewaluacji: cele i formy (narzędzia) ewaluacji
spotkanie wstępne - kontrakt
spotkanie 1
ewentualnie ewaluacja 1
spotkanie 2
ewentualnie ewaluacja 2
spotkanie ...
ewentualnie ewaluacja ...
spotkanie podsumowujące (zamykające)
ewaluacja końcowa - badanie osiągniętych efektów – opinia terapeuty, opinia innych specjalistów, opinia pacjenta, opinia osób z nim związanych
ewaluacja odroczona - badanie trwałości osiągniętych efektów – w wymiarze subiektywnym i obiektywnym
ponadto:
podejmowanie dodatkowych działań w różnych fazach realizacji programu pomagania:
promowanie idei ewaluacji wśród innych specjalistów
doskonalenie metod ewaluacji w zespole osób współpracujących przy realizacji programu pomagania
szkolenia w zakresie ewaluacji
I. przygotowanie II. realizacja III. ewaluacja
Tab. 1. Trzy etapy procesu pomagania
się „właściwa” praca, (3) ustalenie razem z pacjentami celów, jakie będą realizowane w trakcie kolejnych spotkań oraz (4) ustalenie reguł, które mają obowiązywać obie strony.
(3) O rg an iz ow an ie pa cj en tów do dz ia łan ia : obejmuje z jednej strony wszystkie czynności dyscyplinujące oraz stosowanie procedur aktywizujących do pracy lub rozładowujących napięcia emocjonalne (kontrola charakteru aktywności grupy) – jest to swoista “rozgrzewka” (warming up) przed rozpoczęciem właściwej pracy, z drugiej zaś strony służy tworzeniu pewnych ram organizacyjnych (przestrzenno – czasowych) dla dalszej pracy.
(4) R ea li zac ja pr og ram u pom ag an ia : zależnie od przyjmowanej filozofii / metody pomagania polega to na dostarczaniu nowych informacji lub tworzeniu okazji do ich aktywnego samodzielnego poszukiwania. Czasami polega na koncentrowaniu uczestników na informacjach już przez nich posiadanych, na aktualizowaniu ich doświadczeń oraz tworzeniu okazji do ich ujawniania i odmiennego porządkowania, a także dokonywania nad nimi krytycznej refleksji – samodzielnie (indywidualnie), w parach lub zespołach.
(5) S pr aw d za ni e ef ek tó w k oń co w yc h (ew al ua cj a k oń co w a ): jest badaniem osiąganych przez pacjentów efektów i konfrontowaniem ich z zamierzeniami terapeuty i/lub ich samych.
Zatem każde spotkanie psychologa i jego klienta (grupy) niezależnie od formy ma swoją dynamikę, swój początek czyli wprowadzenie, rozgrzewkę i swój koniec czyli podsumowanie, „domknięcie” i wyciągnięcie wniosków.
Swoją dynamikę ma również cykl spotkań realizowanych w ciągu miesiąca, roku czy nawet lat. W takim cyklu szczególna rola przypada pierwszym spotkaniom, na których pacjenci poznają psychologa, jego ofertę, ale także jego styl działania.
Równie ważne są ostatnie – podsumowujące – spotkania, w trakcie których powinna być dokonana ewaluacja końcowa, najlepiej na specjalnie przygotowanych arkuszach ewaluacyjnych.
Jeżeli prowadzi się ewaluację etapową albo wręcz ma ona charakter monitorowania procesu działania i towarzyszy każdemu spotkaniu to możliwa jest elastyczna modyfikacja przygotowanego wcześniej projektu działania.
Modyfikacje te mogą dotyczyć różnych kwestii:
1. zmiana kolejności analizowanych problemów, poświęcenia większej niż planowano ilości czasu na analizę jakiegoś problemu (bo np.
okazał się wyjątkowo trudny, albo intrygujący dla uczestników grupy, albo ujawniły się między nimi kontrowersje),
2. zmiana treści zadań, jakie podejmują uczestnicy w trakcie kolejnych spotkań lub poza nimi w swoim naturalnym środowisku życia (pracy),
3. zmiana charakteru aktywności psychologa na kontinuum: wyzwanie – wsparcie,
4. zmiana charakteru zadań: z grupowego na indywidualne lub odwrotnie, albo też wprowadzenie etapu pośredniego, jakim może być przedyskutowanie problemu w diadach lub triadach,
5. wprowadzenie krótkich przerw lub radykalna zmiana charakteru aktywności grupy (może tu chodzić albo o pobudzenie grupy do większej aktywności albo o jej wyciszenie i uspokojenie).
W tym etapie przedmiotem refleksji psychologa - podejmowanej na podstawie danych z ewaluacji - jest to, co aktualnie dzieje się w grupie: z pojedynczymi osobami i pomiędzy nimi oraz między nimi a terapeutą (wątek indywidualny versus wątek grupowy). Drugi obszar refleksji to jakość uzyskiwanych rezultatów cząstkowych i ich zgodność z zakładanymi celami (wątek „pomocowy”).
Etap trzeci – ewaluacja końcowa: psycholog dokonuje tu analizy tego, do czego doszedł wraz ze swymi pacjentami, jakie osiągnął efekty, czy są one zgodne z zamierzonymi celami czy też nie, jaką drogą zostały osiągnięte, jakie jest samopoczucie uczestników po zakończeniu spotkania (cyklu spotkań), jakie jest jego samopoczucie. Tutaj przedmiot refleksji to odczucia i opinie samego terapeuty oraz pacjentów (uczestników grupy) w sferze zmian związanych z podejmowanymi problemami. Przebieg ewaluacji końcowej i jakość uzyskanych informacji zależą w dużym stopniu od tego, czy pacjenci w trakcie kolejnych spotkań także dokonywali ewaluacji (ewaluacja cząstkowa, etapowa, a z punktu widzenia terapeuty - monitorowanie zmian), a więc czy nauczyli się posługiwania różnymi narzędziami ewaluacyjnymi i opanowali umiejętność udzielania wnikliwych, rzeczowych, ale także uczciwych, rzetelnych informacji zwrotnych i to w formie “nie raniącej” innych uczestników grupy terapeutycznej. Jeżeli jednocześnie terapeuta dzielił się z nimi swymi opiniami, sam dokonywał ewaluacji tego, co się dzieje, a więc udzielał im rzeczowych i uczciwych informacji zwrotnych na temat ich indywidualnych postępów oraz tego, co się działo w grupie to istnieją bardzo dobre warunki ku temu, aby ta końcowa ewaluacja dostarczyła obu stronom cennych informacji pozwalających, z jednej strony, na umocnienie swego poczucia kompetencji, a z drugiej na wskazanie obszarów, które wymagałyby dalszej zmiany. Kontekst zewnętrzny, w jakim dokonywana jest ewaluacja końcowa przez samego psychologa też nie jest bez znaczenia. Warunkiem zebrania trafnych danych jest bowiem odpowiednie przygotowanie procedury ewaluacji na poziomie całej instytucji lub grupy, w ramach której psycholog współpracuje z innymi psychologami czy innymi specjalistami (lekarz, pedagog, policjant, prokurator). Jest to zadanie bardzo trudne, wymagające współdziałania wielu grup ludzi ze sobą: psychologów i innych specjalistów.
14.5. Strategia pomagania a miejsce ewaluacji w procesie pomagania
Jak wskazywano to kilka razy wyżej, koncepcja ewaluacji jest pochodną koncepcji procesu pomagania. Od strony organizacyjnej można wyróżnić trzy różne strategie udzielania pomocy (por.: Brzezińska, 1997, s. 126-129).
Strategia A – autonomicznych spotkań: udzielanie pomocy zakłada tutaj traktowanie każdego kolejnego spotkania z osobą lub grupą jako odrębnej, autonomicznej jednostki. Całość problemów (czyli program spotkań), jakie terapeuta chce przepracować z pacjentami w czasie, jaki on i oni mają do dyspozycji zostaje podzielona na odpowiednie
“porcje” (na kolejne spotkania, sesje), a praca polega na kolejnym ich podejmowaniu (patrz: Rys.1a).
Uwaga psychologa skupiona jest przede wszystkim na procesie rozwiązywania problemu, jemu podporządkowane są wszystkie jego działania oraz aktywność uczestników grupy (lub pojedynczego pacjenta). Jego działanie ma charakter liniowy, tj.:
planowanie →→→ realizacja →→ →→ →EWALUACJA →→ wyciągnięcie wniosków →→→ → korekta planu lub nie →→→ →→→ planowanie →→→→ realizacja →→→ →EWALUACJA
...
Strategia B – powiązanych spotkań: odnosi się do takiego stylu pracy, gdy psycholog dba o to, by kolejne spotkania z jednostką lub grupą i kolejne problemy stanowiące przedmiot ich wspólnej pracy łączyły się ze sobą merytorycznie (treść podejmowanego problemu) oraz logicznie (charakter podejmowanego problemu, np.: porządek od szczegółowych analiz pojedynczych sytuacji czy zdarzeń do poszukiwania prawidłowości) (por. Rys. 1b). Dba też o to, by jego pacjenci mieli świadomość istnienia takich powiązań. Stąd często rozpoczyna kolejne spotkanie od zachęcenia do wspólnego przypomnienia tego, co było tematem rozważań na spotkaniu poprzednim.
Stałe obserwowanie i analiza tego, co się działo i dzieje powoduje, że etap ewaluacji uprzedniego spotkania nakłada się na etap planowania następnego. Mamy więc tu do czynienia z takim łańcuchem czynności terapeuty:
Strategia C – całościowa: Strategię trzecią – całościową, określam nazwą pudełkowej (Brzezińska, op. cit.).
Program działania, jaki realizuje wraz ze swymi pacjentami terapeuta ma układ spiralny, tzn. każde kolejne spotkanie porusza problemy na coraz wyższym poziomie analizy (por. Rys. 1c). Spiralność oznacza, iż na kolejnych spotkaniach, np. sesjach indywidualnych, spotkaniach grupowych omawia się podobne problemy, wielokrotnie powraca do omówionych i przepracowanych już kwestii, choć w innym kontekście, poddaje się dany problem analizie z różnych punktów widzenia, pokazuje wzajemne powiązania między omawianymi zjawiskami i procesami, kładzie się nacisk na genezę zjawisk oraz na ich konsekwencje. Za każdym razem jednak zmienia się dominanta spotkania, tzn. inne
Rys.1b. Strategia powiązanych spotkań
Spotkanie 1
Spotkanie 2
Spotkanie 3
EWALUACJA
planowanie →→→ realizacja →→ →→ →EWALUACJA
planowanie →→→ realizacja →→ →→ →EWALUACJA
planowanie →→→→ ...
Sesja 3 Sesja 2
Sesja 1
Rys.1a. Strategia A – autonomicznych spotkań
pojęcie staje się centralnym obiektem analiz, inny jest “temat spotkań”. Tematy/ problemy często więc się powtarzają, terapeuta i pacjent / pacjenci powracają do już przeanalizowanych kwestii, ukazują zagadnienia coraz to z innej strony, z innej perspektywy. Stąd też często terapeuta stosuje takie zabiegi, jak nawiązywanie w treści swych wyjaśnień do uprzednio przepracowanych kwestii, formułowanie treści rozmowy tak, by wymagała ona korzystania z uprzednio nabytej wiedzy i umiejętności, stawianie pytań i zachęcanie do formułowania problemów w odmienny niż poznany dotąd sposób.
Psycholog – terapeuta pracuje tu wg zasady sprzężenia zwrotnego, a przedmiotem jego refleksji są wszystkie trzy wątki: (1) osiągania celów, (2) związanych z tym konsekwencji dla funkcjonowania jednostki tu i teraz oraz w przyszłości (wątek indywidualny) oraz (3) konsekwencji dla grupy odniesienia pacjenta (wątek grupowy) w ścisłym ze sobą powiązaniu. Planowanie, realizacja i ewaluacja są etapami, które się wzajemnie przeplatają i tworzą układ nie liniowo – sekwencyjny, a koncentryczny; dzięki temu psycholog może bardzo szybko wprowadzać korekty do swego planu działania, nie rozbijając wcale jego podstawowej struktury:
Próbując ocenić trzy strategie działania w procesie pomagania chcę zwrócić uwagę na jedno. W każdej z tych strategii chodzi właściwie o to samo - o realizację założonych celów, tj. o pomoc jednostce, grupie lub i jednostce i grupie.. Inna jest jednak droga ich osiągania, inne zanurzenie w kontekście doświadczeń indywidualnych terapeuty i pacjenta oraz doświadczeń grupy pacjentów jako małej grupy społecznej. Zupełnie inna jest też ukierunkowująca proces pomagania rola programu pomagania. W przypadku pierwszym stanowi on “punkt dojścia”, “metę”, do jakiej dobry terapeuta powinien swych pacjentów doprowadzić, choć w różnym czasie, w różnym tempie i korzystając z różnych środków i metod. Terapeuta musi tu być refleksyjny tylko o tyle i tylko po to, by mógł świadomie dobierać jak najlepsze metody zmierzające do założonych celów. W drugim przypadku opracowany przez niego program stanowi
„punkt wyjścia” i podstawę do zbudowania takiego jego wariantu, który byłby zgodny z postrzeganymi przez niego - i przecież dynamicznie zmieniającymi się w trakcie procesu pomagania - potrzebami i możliwościami pacjentów, a zatem każdorazowo terapeuta buduje swoją własną autorską wersję programu „podstawowego”.
W przypadku trzecim, wreszcie, program pomagania wstępnie przez niego konstruowany na podstawie zebranych danych diagnostycznych przybiera postać ramy bądź rusztowania1, stanowiącego dla terapeuty swoisty drogowskaz, przewodnik po mapie problemów pacjenta. Wskazuje na problemy istotne, osiowe, zagadnienia “węzłowe”, których poznanie stanowi o zrozumieniu danego obszaru problemowego. Pozwala na budowanie wielu wariantów szczegółowych projektów działania, dostosowanych do dynamiki procesu pomagania. Terapeuta, zmierzając w określonym przez siebie kierunku, w obszarze nakreślonym “rusztowaniem” i korygując go, zależnie od tego, co dzieje się z grupą i z poszczególnymi pacjentami może wypełniać owo rusztowanie różnymi treściami i może plastycznie zmieniać środki swego działania. Pozwala mu to włączać pacjentów we wszystkie ogniwa procesu pomagania, tj. w etap planowania, realizacji i ewaluacji – etapowej, końcowej i odroczonej.
1Pojęcie rusztowania (ang. scaffolding) wprowadzili do analizy interakcji między dzieckiem a dorosłym Jerome S. Bruner i David Wood. Por.: Schaffer (1994a, 1994b) oraz Wood (1995).
KROK 1 KROK 2
planowanie →→→ realizacja →→ →→ →EWALUACJA ⇒⇒ planowanie →⇒⇒ →→→realizacja →→→ →EWALUACJA ⇒⇒⇒⇒ Rys.1c. Strategia całościowa
Spotkanie 1 Spotkanie 2 Spotkanie 3
14.6. Strategia pomagania a strategia ewaluacji
Każda ze strategii pomagania pociąga za sobą odpowiednią strategię dokonywania ewaluacji. W kształceniu opartym na strategii autonomicznych spotkań ewaluacja to końcowy etap w procesie pomagania, etap kończący i zamykający go. Wyprowadzane wnioski można wykorzystać tylko dla planowania przyszłych działań. Gdy pomagamy wg strategii powiązanych spotkań ewaluacja dokonywana jest już w trakcie realizacji programu po, to by na bieżąco sprawdzać, czy przyjęty sposób postępowania prowadzi we właściwym kierunku i ewentualnie jak najwcześniej wprowadzić konieczne modyfikacje.
Natomiast w przypadku trzeciej strategii całościowej opartej na modelu spiralnym ewaluacja jest czymś, co cały czas towarzyszy procesowi pomagania - od samego początku, tj. od narodzin koncepcji pomagania aż do końca czyli po ostatnie spotkanie. Jest więc narzędziem służącym ciągłemu zbieraniu informacji i modyfikowaniu przebiegu działań terapeuty i pacjentów, cały czas służy więc doskonaleniu procesu pomagania, a więc zwiększa prawdopodobieństwo zrealizowania wszystkich zakładanych celów na wysokim poziomie i w szerokim zakresie. Pozwala też oczekiwać, iż uzyskiwane efekty nie będą miały postaci ani kolekcji informacji ani izolowanych wysp nowych bądź skorygowanych umiejętności czy „wysp” kompetencji wśród morza niekompetencji. Aktywność terapeuty ukierunkowana jest tu bowiem cały czas na wspólne z pacjentem rozwiązywanie problemów, na stymulowanie jego własnej aktywności poznawczej, na wymianę i dyskusję. Zwiększa to szansę kształtowania się wiedzy dobrze ustrukturowanej, operatywnej, dającej się wykorzystywać do rozwiązywania nowych i poznawczo i praktycznie problemów w różnych sytuacjach życiowych, także znacznie odbiegających od sytuacji, w których zostały opanowane. Terapeuta występuje tu mniej jako podstawowe źródło wiedzy o tym, jak rozwiązać problem i jako instancja kontrolująca czy organizująca procesu uczenia się np.
nowych zachowań, a bardziej jako mediator, przewodnik, pomocnik, doradca, konsultant, także ekspert czyli jako ktoś, kto wyjaśnia, ale i prowokuje, stawia wymagania, ale i zachęca, wspiera, udziela niezbędnej pomocy. Tylko w takich warunkach i terapeuta i jego pacjenci rzeczywiście mogą się rozwijać “pod wpływem” procesu pomagania czyli pod wpływem wzajemnych na siebie oddziaływań.
14.7. Zadania ewaluacji w kolejnych etapach procesu pomagania
Przyjęcie jako podstawy organizacji procesu pomagania strategii całościowej, zakładającej drążenie problemu i wielokrotne powracanie do niego na różnych poziomach oraz przepracowywanie go z różnych perspektyw oznacza jednocześnie, iż ewaluację traktujemy jako nieodłączny i konieczny składnik każdego etapu działania, a nie jako wyodrębnione działanie pojawiające się dopiero po zakończeniu całego procesu lub jakiegoś jego etapu.
Ewaluacja będzie zatem dotyczyła tutaj najpierw fazy budowania projektu programu pomagania czyli fazy, gdy terapeuta zbiera i porządkuje dane pochodzące z różnych źródeł diagnostycznych, formułuje wstępne hipotezy diagnostyczne i tworzy zarys („rusztowanie”) programu pomocy, podejmując jednocześnie pierwsze decyzje, co do zakresu koniecznej pomocy i jej adresatów – jednostek i/lub grup. W tym etapie ważna jest pomoc, jaką terapeuta może uzyskać od innych osób – innych terapeutów czy nawet od innych specjalistów. Ich doświadczenie, ale także ich dystans wobec problemu pozwolą mu na dokonanie krytycznej analizy projektowanego programu pomagania jeszcze przed jego rozpoczęciem. Te osoby to właśnie ewaluatorzy zewnętrzni. Celem tej pierwszej, wstępnej ewaluacji jest upewnienie się terapeuty – szczególnie młodego, mniej doświadczonego, czy podąża we właściwym kierunku, czy wziął pod uwagę wszystkie istotne zebrane przez siebie informacje, czy możliwe są inne konkurencyjne bądź komplementarne, wobec postawionej, hipotezy diagnostyczne. Z kolei dla terapeuty doświadczonego taka wstępna koleżeńska ewaluacja (peer-evaluation) to zachęta do głębszej refleksji, bardziej zindywidualizowanego spojrzenia na problem pacjenta, tj.
bardziej przez pryzmat jego sytuacji życiowej niż wieloletnich doświadczeń terapeuty. To w jakimś sensie przeciwdziałanie rutynowemu postępowaniu „z przypadkiem” na rzecz twórczego podejścia do jednostkowego problemu pacjenta. Zatem, podsumowując, ewaluacja służy tu skonstruowaniu zarysu programu pomagania jak najbardziej adekwatnego do zdiagnozowanego wstępnie problemu. Sam terapeuta oczywiście może dokonać autoewaluacji, ale porównanie jej wyników z opiniami innych terapeutów ma dla niego wartość nie do przecenienia. Gdy rezultaty obu ewaluacji są podobne - wzmacnia to poczucie kompetencji terapeuty, a gdy znacznie się różnią - mogą ustrzec go przed popełnieniem poważnych błędów, dając szansę wniesienia korekt do pierwotnego programu, a więc rozwijając jego kompetencje i w rezultacie także wzmacniając poczucie kompetencji.
Druga faza to realizacja programu pomagania. Tutaj ewaluacja jest najczęściej dokonywana przez samego terapeutę i stanowi narzędzie monitorowania zachodzących zmian. Pozwala mu na bieżąco korygować czy modyfikować swoje postępowanie zgodnie z tym, jakie nowe informacje diagnostyczne się pojawiają. Jego wstępne hipotezy albo się potwierdzają albo nie, wchodzenie w kontakt z pacjentem w coraz to nowych sytuacjach poszerza
zakres tych diagnostycznych informacji i pozwala lepiej planować przyszłe kroki działania. W miarę trwania kolejnych spotkań terapeuta albo coraz bardziej upewnia się, że wstępny program był właściwy, albo poddaje go korektom. Takiej ewaluacji wewnętrznej często towarzyszy ewaluacja zewnętrzna, dokonywana już nie tylko przez specjalistów, jak w etapie pierwszym (choć tutaj taka ewaluacja w postaci sesji superwizyjnych ma wielkie znaczenie dla samego terapeuty), ale przez osoby powiązane z pacjentem. Informacje pochodzące od rodziny, znajomych, ze środowiska zawodowego pozwalają na ocenę tego, w jakim stopniu funkcjonowanie pacjenta rzeczywiście ulega zmianie, na ile trwałe są te zmiany, wreszcie, jakie nowe problemy się pojawiają. Trzeci rodzaj ewaluacji w fazie realizacji to ewaluacja dokonywana przez samego pacjenta. Jest to cenne dla terapeuty źródło kolejnych - potencjalnie diagnostycznych - informacji, pozwala mu to bowiem na śledzenie zmian w sposobie percepcji przez pacjenta sytuacji kontaktu z terapeutą, zmian stosunku do siebie, przeżywanych trudności, otoczenia itp. I wreszcie faza końcowa procesu pomagania czyli faza podsumowywania uzyskanych efektów – końcowych czyli bezpośrednio po zakończeniu spotkań i tzw.
odroczonych czyli analizowanych jakiś czas po ustaniu kontaktu. Tab. 2 pokazuje, jaki jest cel ewaluacji w każdym kolejnym etapie procesu pomagania oraz jakie obszary jej podlegają.
14.8. Kiedy ewaluacja nie przynosi spodziewanych efektów?
Podstawową, jak sądzę, przyczyną nieskuteczności ewaluacji, a więc niskiej przydatności zebranych informacji jest brak potrzeby stosowania jej jako towarzyszącej każdemu etapowi działania. Jeżeli ewaluacja jedynie zamyka jakiś etap pracy, najczęściej końcowy, to naturalny staje się u terapeuty lęk przed oceną (por. Rosenberg, 1991a, 1991b).
Jeżeli rzeczywiście ewaluacja obejmuje całość procesu działania to najczęściej przybiera postać oceny tego, czy i w jakim stopniu zakładane cele zostały osiągnięte. Jeżeli zatem nie jest ona dokonywana na bieżąco, nie towarzyszy działaniom terapeuty i pacjentów od początku ich spotkań, to obu stronom zaangażowanym w ten proces trudno odkryć i doświadczyć jej pozytywnego wpływu.
EWALUACJA I
analiza stanu gotowości
do realizacji projektu pomocy
EWALUACJA II analiza efektów etapowych monitorowanie zmiany
EWALUACJA III analiza efektów końcowych realizacja celów
bezpośrednich
EWALUACJA IV analiza efektów
“odroczonych”
realizacja celów pośrednich Tab.2. Ewaluacja a etapy procesu pomagania
FAZA I
Koncepcja programu pomocy
Realizacja programu pomocy
FAZA III
Ewaluacja programu pomocy
P R O C E S P O M A G A N I A
FAZAII
• dojrzałość
projektu programu pomocy (zgodność z hipotezą
diagnostyczną)
• adekwatność koncepcji programu pomocy do potrzeb adresata (ów)
• kompetencje osób zaangażowanych w przyszłą realizację programu pomocy
• przewidywane warunki realizacji programu pomocy:
miejsca i czas spotkań
• rzeczywiście osiągane cele w wątku pomocowym
• rzeczywiście realizowane cele w wątku indywidualnym
• rzeczywiście realizowane cele w wątku grupowym
• komfort i samopoczucie pacjenta (ów)
• atmosfera / klimat w grupie
• komfort i samopoczucie terapeuty
• warunki spotkań (przestrzeń, czas)
• rzeczywiście osiągnięte cele w wątku pomocowym
• rzeczywiście osiągnięte cele
w wątku indywidualnym
• rzeczywiście osiągnięte cele w wątku grupowym
• możliwość dalszego wykorzystania nowych doświadczeń przez pacjentów
• możliwość dalszego wykorzystania nowych doświadczeń przez terapeutę
• komfort i samopoczucie pacjenta (ów)
• trwałość efektów
„pomocowych”
transfer wiedzy i umiejętności na sytuacje życiowe
• zakres zmian indywidualnych u pacjentów
• zakres zmian w dynamice grupy pacjentów
• zakres zmian kompetencji terapeuty
• zakres zmian w środowisku życia pacjentów
• rodzaje i zakres
nieprzewidzianych efektów ubocznych:
pożądanych i niepożądanych
Drugie źródło wiąże się z kompetencjami terapeuty. Jeżeli nie czuje się on odpowiednio przygotowany do ewaluacji, nie zna odpowiednich narzędzi jej dokonywania, ma niewielkie doświadczenie tak w roli ewaluatora wewnętrznego, jak i zewnętrznego, to może traktować ewaluację jako próbę oceny własnej osoby i wtedy również pojawi się u niego lęk przed oceną. Ponadto, jeżeli cechuje go niski poziom samoświadomości, wglądu w siebie, co oznacza, iż może mieć trudności z oddzielaniem oceny siebie, różnych swoich właściwości od oceny efektywności procesu własnego działania i właściwości uzyskiwanych efektów to ów lęk będzie się nasilał i owocował unikaniem szczególnie ewaluacji zewnętrznej.
Trzecie źródło wiąże się z obawami o to, jaki użytek zrobią z zebranych informacji ewaluatorzy zewnętrzni.
Jeżeli terapeuta nie ma pełnych i jednoznacznych informacji odnośnie do sposobów ujawniania i wykorzystania wyników ewaluacji to także może się u niego pojawiać poczucie zagrożenia i dążenie do unikania sytuacji poddawania się zewnętrznej ewaluacji.
Generalnie, mamy tu do czynienia z sytuacją specyficznego konfliktu – dobra pacjenta i wtedy konieczna jest ewaluacja obejmująca każdy etap przygotowania i realizacji programu pomagania i dobra terapeuty – wszak jego poczucie bezpieczeństwa, komfortu psychicznego, zaufania do obserwujących i analizujących sposób jego postępowania kolegów to podstawowy warunek skuteczności podejmowanych przez niego działań (por. Rosenthal, 1996).
14.9. Podsumowanie
Podstawowym warunkiem dobrze zaplanowanej i przeprowadzonej ewaluacji, a potem także uczciwego wykorzystania zebranych danych jest po prostu kompetentny i dobrze przygotowany do tego ewaluator – i wewnętrzny (czyli terapeuta) i zewnętrzny (czyli np. jego superwizor). Podstawową kompetencją dobrego ewaluatora jest zdolność do refleksji (por. Brzezińska, 1997), co oznacza, iż potrafi on sobie wyobrazić możliwe bliższe i dalsze konsekwencje podejmowanych przez siebie lub inną osobę działań, jest wrażliwy na to, co zachodzi w grupie pacjentów w trakcie realizowania przygotowanego programu, który uważnie obserwuje to, co dzieje się z pacjentami i pomiędzy nimi, który próbuje odczytać i zrozumieć intencje ich zachowania oraz stara się uwzględnić płynące od nich sygnały do korekty swego działania lub umie tak przekazać o tym informację, by inna osoba swe działania chciała i umiała skorygować. To wszystko pozwala mu na poszukiwanie różnych sposobów zorganizowania sytuacji tak, by podtrzymywać uwagę i zaangażowanie oraz sprzyjać osiąganiu nie tylko oczekiwanych efektów, ale także zadowolenia z siebie i innych osób, z którymi zadanie było wspólnie wykonywane. I tylko wtedy ewaluacja będzie rzeczywiście pomocnym narzędziem we wszystkich jego działaniach.
Sumując, skuteczna ewaluacja jest możliwa wtedy, gdy planując ją potrafimy udzielić odpowiedzi na następujące pytania (por. Brzezińska, Brzeziński, 2001):
1. CO? czyli określamy obszar ewaluacji, to, czego ma dotyczyć,
2. KTO? czyli określamy, kto jej dokona – ewaluator wewnętrzny zaangażowany w proces pomagania i/lub ewaluator zewnętrzny,
3. CZYM? czyli tworzymy lub dobieramy narzędzia ewaluacji,
4. W JAKIM CELU? czyli określamy zakresu wykorzystania zebranych w toku ewaluacji danych.
Literatura zalecana
Brzezińska, A. (2000). Miejsce ewaluacji w procesie kształcenia. W: A. Brzezińska, J. Brzeziński (red.), Ewaluacja procesu kształcenia w szkole wyższej (s. 93-116). Poznań: Wydawnictwo Fundacji Humaniora.
Brzezińska, A., Brzeziński, J. (2001). Metodologiczne problemy ewaluacji programów profilaktycznych stosowanych wobec młodzieży. W: J. Ł. Grzelak. M. J. Sochocki (red.), Ewaluacja profilaktyki problemów dzieci i młodzieży (s. 117-145). Warszawa: Wyd. Fundacji ETOH: Pracownia Profilaktyki Problemowej.
Hawkins, J. D., Nederhood, B. (1994). Podręcznik ewaluacji programów profilaktycznych. Nadużywanie substancji uzależniających i inne problemy społeczne. Warszawa - Olsztyn: Polskie Towarzystwo Psychologiczne, Pracownia Wydawnicza.
Literatura
Arct, M. (1928). Słownik wyrazów obcych. Warszawa: Wydawnictwo M. Arcta.
Brzezińska, A. (1997). Refleksja w działalności nauczyciela. Studia Edukacyjne, 3, 113-131.
Brzezińska, A. (2000). Miejsce ewaluacji w procesie kształcenia. W: A. Brzezińska, J. Brzeziński (red.), Ewaluacja procesu kształcenia w szkole wyższej (s. 93-116). Poznań: Wydawnictwo Fundacji Humaniora.
Brzezińska, A., Brzeziński, J. (2001). Metodologiczne problemy ewaluacji programów profilaktycznych stosowanych wobec młodzieży. W: J. Ł. Grzelak. M. J. Sochocki (red.), Ewaluacja profilaktyki problemów dzieci i młodzieży (s. 117-145). Warszawa: Wyd. Fundacji ETOH: Pracownia Profilaktyki Problemowej.
Hawkins, J. D., Nederhood, B. (1994). Podręcznik ewaluacji programów profilaktycznych. Nadużywanie substancji uzależniających i inne problemy społeczne. Warszawa - Olsztyn: Polskie Towarzystwo Psychologiczne, Pracownia Wydawnicza.
Rosenberg, M. J. (1991a). Warunki powstawania oraz konsekwencje lęku przed oceną. W: J. Brzeziński, J. Siuta (red.), Społeczny kontekst badań psychologicznych i pedagogicznych. Wybór tekstów (s. 61-136). Poznań:
Wydawnictwo Naukowe UAM.
Rosenberg, M. J. (1991b). Oczekiwania eksperymentatora, lęk przed oceną oraz rozproszenie niepokoju metodologicznego. W: J. Brzeziński, J. Siuta (red.), Społeczny kontekst badań psychologicznych i pedagogicznych. Wybór tekstów. (s. 341-388). Poznań: Wydawnictwo Naukowe UAM.
Rosenthal, R. (1996). Nauka a etyka w przeprowadzaniu badań psychologicznych oraz analizowaniu i przedstawianiu ich wyników. Czasopismo Psychologiczne, 2 (1), 37-59.
Schaffer, H. R. (1994a1; 20002). Społeczny kontekst rozwoju psychobiologicznego. W: A. Brzezińska, G. Lutomski (red.), Dziecko w świecie ludzi i przedmiotów (s. 72-95). Poznań: Zysk i S-ka Wydawnictwo.
Schaffer, H. R. (1994b1; 20002). Epizody wspólnego zaangażowania jako kontekst rozwoju poznawczego. W: A.
Brzezińska, G. Lutomski (red.), Dziecko w świecie ludzi i przedmiotów (s. 150-188). Poznań: Zysk i S-ka Wydawnictwo.
Słownik łacińsko-polski (1988). Warszawa: PWN (opracowanie: Kazimierz Kumaniecki).
Słownik łacińsko-polski (1998). Warszawa: Wydawnictwo Naukowe PWN (tom II; redakcja: Marian Plezia).
Wood, D. (19951; 20002). Społeczne interakcje jako tutoring. W: A. Brzezińska, G. Lutomski, B. Smykowski (red.), Dziecko wśród rówieśników i dorosłych (s. 214-245). Poznań: Zysk i S-ka Wydawnictwo.
