Kształtowanie umiejętności projektowania i ewaluacji procesu kształcenia Anna Brzezińska, Tomasz Czub
Instytut Psychologii, Uniwersytet im. Adama Mickiewicza w Poznaniu 1. Wprowadzenie
Ewaluacja procesu kształcenia może być dokonywana bądź przez osoby będące odbiorcami oferty edukacyjnej, tj.
przez studentów, bądź przez nauczycieli akademickich, jako osoby odpowiedzialne za przygotowanie i realizację programu kształcenia. W obu tych przypadkach będziemy mówili o tzw. ew alu acji wewnęt rznej, tj. dokonywanej przez osoby („strony”) bezpośrednio zaangażowane w proces kształcenia1. W niniejszym tekście omówimy natomiast problemy związane z ewaluacją procesu edukacyjnego, dokonywaną przez osoby nie tylko spoza układu bezpośredniej interakcji „nauczyciel akademicki - student”, ale także spoza danej instytucji organizującej i realizującej proces edukacyjny. Celem rozdziału jest więc zaprezentowanie problemów związanych z tzw. ewal uac ją zewnęt rzną. Zamierzamy wskazać na kilka istotnych z punkt u widzenia p sychologa aspektów tego rodzaju ewaluacji. Przedstawimy też zrealizowany przez nas projekt zajęć warsztatowych (Brzezińska, Czub, 2000)2, wspomagających pracę zespołów (tzw. zespołów oceniających) powołanych do realizacji zewnętrznej ewaluacji procesu edukacyjnego w procesie akredytacji danego kierunku studiów.
2. Ogólne problemy ewaluacji działalności edukacyjnej
Przyjmujemy stanowisko, że ewaluacja, rozumiana jako procedura uzyskiwania i dostarczania informacji zwrotnych na temat wart oś ci, celów, met od i rezult at ów działania jest integralnym składnikiem racjonalnego działania człowieka.
Opierając się na pojęciu p ęt li sprzężenia zwrot ne go (Miller, Galanter, Pribram, 1980) możemy uznać, że każdy samodzielnie działający układ (w tym przypadku jednostka ludzka lub instytucja) dla utrzymania pożądanego, obranego przez siebie kierunku i dostosowanego do niego sposobu działania wymaga sprawnie i konsekwentnie realizowanych procesów ewaluacji.
Ewaluację można ujmować dwojako:
(1) subiektywnie: jako ważny aspekt procesów samoregulacji szczególnie wtedy, kiedy dokonywana jest przez podmiot w odniesieniu do własnego działania od samego jego początku, tj. od momentu powstawania planu owego działania - w tym przypadku ewaluacja stanowi proces uzyskiwania informacji zwrotnych, które pozwolą oszacować wartość własnego działania;
(2) obiektywnie: proces ewaluacji może być również prowadzony przez podmiot zewnętrzny wobec podmiotu realizującego działanie - w takim przypadku ewaluacja stanowi proces dost arczania informacji zwrotnych działającemu podmiotowi przez podmiot nie realizujący działań podlegających ewaluacji.
W przypadku ewaluacji dokonywanej w instytucjach edukacyjnych, pierwszy z powyższych typów ewaluacji możemy nazwać ew al uacją wewn ęt rzną, a więc taką, która wiąże się z uzyskiwaniem informacji zwrotnych przez instancję kierującą i odpowiedzialną za przebieg działalności edukacyjnej realizowanej przez nią. Ewal ua cją zewnęt r zną natomiast nazywać będziemy drugi z powyższych typów ewaluacji, gdyż jest ona realizowana przez specjalnie do tego celu powołaną instancję, niezaangażowaną bezpośrednio w działalność edukacyjną, realizowaną przez podlegającą ewaluacji instytucję. Celem ewaluacji w odniesieniu do działalności edukacyjnej jest podnoszenie i/lub utrzymanie na wysokim poziomie jakości wykształcenia osób uczących się w danej instytucji. Jeżeli przyjmiemy takie określenie nadrzędnego celu ewaluacji, to powinniśmy zwrócić uwagę na kilka istotnych konsekwencji, jakie niesie ono z sobą z punktu widzenia prawidłowego przygotowania procedury ewaluacji.
Przygotowanie to obejmuje kilka ważnych elementów:
a) po pierwsze, musimy ustalić, jakiego rodzaju informacje będą zbierane w procesie ewaluacji. Chodzi w tym przypadku o to, czego powinniśmy się dowiedzieć, na jaki temat będziemy zbierać informacje, co musimy sprawdzić, aby - po następnie wnikliwej analizie i interpretacji zebranych danych - móc adekwatnie oszacować wartość działań edukacyjnych realizowanych przez daną instytucję. Zauważmy, że w kontekście głównego celu ewaluacji powyższe ustalenia stanowić
1 Problem ten jest przedmiotem rozważań w pracach A. Brzezińskiej, prezentowanych w tym tomie.
2 W dniach 20-21 października 2000 roku w Kiekrzu k/Poznania odbyło się dwudzieste szóste (dziesiąte w drugiej kadencji) plenarne posiedzenie Uniwersyteckiej Komisji Akredytacyjnej, połączone z seminariami grantu Unique (University Quality Evaluation) i Medique oraz zorganizowaną przez Instytut Psychologii UAM ogólnopolską konferencją nt.: Ewaluacja w procesie kształcenia w szkole wyższej:
aspekty psychologiczne. Na konferencji tej prowadziliśmy trzy-częściowe warsztaty pt.: Psychologiczne aspekty ewaluacji procesu kształcenia w szkole wyższej dla członków Zespołów Oceniających dla kierunków Historia i Ochrona środowiska. Za zgodą uczestników tych warsztatów publikujemy materiały stworzone przez nich w trakcie trwania zajęć oraz wyniki przeprowadzonej pod koniec zajęć ewaluacji. Przygotowując materiały do druku – na podstawie powstałych w trakcie warsztatów plakatów - staraliśmy się wiernie zachować ich układ treściowy i graficzny.
mogą jednocześnie odpowiedź na pytanie o to, jakie czynniki mają istotny wpływ i decydują o wysokiej jakości procesów edukacji w danej instytucji. Chcąc adekwatnie oszacować wartość działalności edukacyjnej realizowanej przez daną instytucję powinniśmy przecież poszukiwać informacji o takich składnikach tej działalności, które naszym zdaniem w decydujący sposób determinują i poziom i jakość wykształcenia osób uczących się. Problem ten wiąże się z przyjmowanym bardziej czy mniej milcząco oraz akceptowanym mod ele m eduka cji w szkole wyższej czyli z udzieleniem odpowiedzi na następujące pytania:
* jak ujmujemy misję edukacji na poziomie wyższym (por. Brzezińska, Wiliński, 1995a, 1995b)?
* jakie stawiamy przed nią cele, które z nich uznajemy za priorytetowe w danej dziedzinie kształcenia (por. Brzezińska, Czub et al., 1996a, 1996b)?
* jaki model relacji między nauczycielami akademickimi a studentami uznajemy za pożądany, czy wręcz konieczny z punktu widzenia zakładanych celów kształcenia (por. Brzezińska, 1993, 1994b, 2000a; Brzezińska, Lutomski, 1994)?
b) po drugie, musimy określić zasady interpretacji (np. kryteria, standardy) zebranych danych. W tym przypadku należy ustalić, jaki rodzaj informacji (np. dotyczących osób prowadzących wykłady w danej instytucji) lub jaka wartość liczbowa odnosząca się do danego czynnika (np. liczba miejsc w czytelni) zostaną uznane za informację pozytywną lub negatywną.
Zasady interpretacji danych, pozwalające określić znaczenie zebranych informacji również winny stanowić wyraz przyjmowanych a priori i/lub uzgodnionych wcześniej poglądów na temat tego, co jest istotnym warunkiem dobrej edukacji.
Oznacza to, iż w zespole oceniającym musi odbyć się dyskusja na temat wagi przyjętych wskaźników oceny. Jej efektem będzie ustalenie, które wskaźniki są kluczowe, istotne, podstawowe, a które dodatkowe, mniejszego rzędu3.
c) po trzecie, musimy określić strategię i metody wdrażania oraz realizacji procesu ewaluacji. W tym przypadku chodzi o ustalenie tego, jak będzie przebiegała sama procedura ewaluacji, jakie czynności będziemy wykonywali przeprowadzając kolejne jej kroki zgodnie z zaplanowaną procedurą. Przy ustalaniu sposobu przebiegu procedury ewaluacji warto pamiętać, że przedmiotem działań ewaluacyjnych są ludzie, ich działania, także warunki, w jakich te działania przebiegają. Z tego faktu wynikają co najmniej dwa rodzaje konsekwencji:
* w przypadku określania wartości działań realizowanych przez ludzi, sam sposób pobierania informacji oraz przebieg procesu ewaluacji może wpływać na to, jakie uzyskamy informacje. Ludzie, którzy nie akceptują i/lub nie rozumieją wagi i wartości procesu ewaluacji, mogą dostarczyć nieadekwatnych informacji. Może się tu uruchomić działanie tzw.
zmiennej ap robat y społecznej (Adelt, Kranas, 1978; Nederhof, 1991) albo pojawią się zachowania motywowane lękiem i poczuciem zagrożenia (Rosenberg, 1991a, 1991b) - obie te sytuacje mogą być źródłem artefaktów;
* druga sprawa wiąże się z tym, że głównym jawnie oczekiwanym rezultatem ewaluacji działalności edukacyjnej ma być poprawa jakości kształcenia. Moment szacowania wartości uzyskanych efektów działań prowadzonych w danej instytucji stanowi integralny składnik procesu edukacyjnego. Budząca obawy i zastrzeżenia pracowników danej instytucji forma oraz sposób realizacji ewaluacji mogą po d ważyć zauf a nie do kompetencji i autorytetu osób dokonujących ewaluacji, co w efekcie może prowadzić do zakwestionowania lub deprecjonowania wartości wyników ewaluacji, albo nawet sensu ewaluacji jako takiej. Taka sytuacja w dłuższej perspektywie może doprowadzić do nadmiernej formalizacji procedur ewaluacyjnych i rozerwania realnego związku pomiędzy sposobem realizacji działań edukacyjnych w danej instytucji a wynikami ewaluacji (pojawią się np. działania pozorujące wprowadzanie pożądanych zmian, zawyżanie czy obniżanie wartości niektórych wskaźników liczbowych, podawanie informacji nie zawsze w pełni sprawdzonych, wiarogodnych itp.).
d) wreszcie po czwarte, musimy określić sposób prezentacji i wykorzystania wyników ewaluacji. Pamiętając, że ewaluacja w procesie kształcenia ma przyczyniać się do poprawy jego jakości powinniśmy rozstrzygnąć, jaka będzie dostępność informacji na temat jej rezultatów (kto i do jakiego zakresu informacji będzie miał dostęp) oraz w jaki sposób zostaną wykorzystywane rezultaty ewaluacji. Przykładowo, można przypuszczać, że jeżeli informacje zebrane w procesie ewaluacji byłyby w bezpośredni sposób wykorzystywane w celach represyjnych (np. obniżanie wynagrodzenia czy odbieranie uprawnień), to może to doprowadzić do tego, że dobry wynik ewaluacji stanie się celem samym w sobie i instytucje podlegające takiej zewnętrznej ocenie będą podejmowały działania w istocie pozorne, bowiem „powierzchownie”
prowadzące co prawda do oczekiwanych przez zewnętrznych ewaluatorów efektów, ale na poziomie „głębokim” nie polegające na dokonywaniu żadnych istotnych przekształceń warunków czy stylu działania danej instytucji w obszarze kształcenia.
3. Sens zewnętrznej ewaluacji działalności edukacyjnej
Podejmując problematykę ewaluacji zewnętrznej w działalności instytucji edukacyjnych musimy postawić pytanie o to, jaka jest wa rt ość t akich działa ń? Czy ewaluacja zewnętrzna to tylko jeszcze jedno zbędne obciążenie dla instytucji, czy też może ona rzeczywiście przyczynić się do poprawy efektywności kształcenia? Odpowiedź na tak postawione pytanie brzmi, iż ewaluacja zewnętrzna oczywiście może stanowić istotny czynnik wpływający na poziom i jakość wykształcenia osiąganego przez osoby uczące się w danej instytucji edukacyjnej. Należy jednak podkreślić tryb warunkowy powyższej odpowiedzi.
Ewaluacja zewnętrzna mo że wpłynąć na poprawę jakości kształcenia, ale jej wartość spełnia się tylko wtedy, kiedy
3 Por. tekst A. Brzezińskiej i J. Brzezińskiego w tym tomie, prezentujący warunki akredytacji dla kierunku Psychologia.
rzeczywiście odgrywa ona taką rolę. W jaki sposób zatem ewaluacja zewnętrzna może pozytywnie wpłynąć na funkcjonowanie instytucji edukacyjnej?
Nasze stanowisko w tej sprawie jest następujące: ewaluacja zewnętrzna może stanowić wartość dla instytucji, jeżeli będzie czyn nikiem pobu dzającym i korygującym proces y samoregulacj i w danej instytucji, co w efekcie może wpłynąć na poprawę kondycji oraz efektywności w działaniu tej instytucji. Sprawne i efektywne działanie względnie autonomicznej jednostki, której przykładem może być uczelnia wyższa, jest uwarunkowane m.in. dobrze funkcjonującymi procesami samoregulacji. O dobrze funkcjonującej samoregulacji możemy mówić wtedy, jeżeli dana jednostka jest w stanie samodzielnie określić standardy dla swoich działań, jest w stanie w wystarczającym stopniu monitorować własne działania oraz skutecznie modyfikować te działania w celu zmniejszenia rozbieżności pomiędzy standardem a stanem faktycznym (Baumeister i in., 2000). Ważne jest również, aby same standardy podlegały zmianom, dzięki czemu instytucja może się rozwijać.
Procesy samoregulacji wymagają stosunkowo dużych nakładów, gdyż ich działanie polega w dużym stopniu na przeciwdziałaniu i zapobieganiu pojawiania się w obrębie instytucji zjawisk i działań utrudniających lub wręcz uniemożliwiających realizację zakładanych celów. Procedura ewaluacji zewnętrznej może być wykorzystana przez daną instytucję jako dodatkowe źródło wsparcia społecznego oraz źródło dodatkowych impulsów mobilizujących uczestników danej instytucji do realizowania procesów samoregulacji, ale także jako źródło dodatkowych argumentów przy poszukiwaniu wsparcia finansowego. Procedura ewaluacji zewnętrznej może przyczynić się do poprawy jakości i przebiegu procesów samoregulacji w dwojaki sposób.
Po pierwsze, wdrożenie ewaluacji zewnętrznej wymaga m. in. określenia, jakiego rodzaju informacje będą zbierane w procesie ewaluacji i jakie będą zasady interpretacji tych informacji. Jeżeli proces ustalania kryteriów ewaluacji zostanie przeprowadzony w odpowiedni sposób, to już sam fakt rozpowszechnienia tych kryteriów może stanowić istotny czynnik wspomagający procesy samoregulacji w poszczególnych instytucjach, ujmowanych raz jako całość raz jako suma elementów składowych (np. poszczególnych katedr czy zakładów).
Po drugie, rzetelne przeprowadzenie procedury ewaluacji zewnętrznej w danej instytucji uruchamia w niej procesy związane z efektem facylitacji społecznej. Terminem f acylit acja społeczna określa się w psychologii wpływ obecności innych osób na poziom działania jednostek (por. Aronson i in., 1997). Ludzie znajdując się w sytuacji, kiedy zdają sobie sprawę, że są obserwowani i poddawani ocenie innych, wykazują tendencję do wzmożenia wysiłków na rzecz działania zgodnego z przyjętymi przez siebie standardami, oczywiście w celu wywarcia pozytywnego wrażenia na innych (por. Doliński, 2000). Na tej podstawie możemy przypuszczać, że ewaluacja zewnętrzna może stać się źródłem dodatkowych impulsów mobilizujących osoby odpowiedzialne za funkcjonowanie danej instytucji do skutecznego realizowania procesów samoregulacji.
Warto jednak zwrócić uwagę, że wyzwolenie efektu facylitacji społecznej nie zawsze korzystnie wpływa na poziom działania jednostek. Zaobserwowano, że sytuacja bycia ocenianym przez innych przyczynia się przede wszystkim do wzrostu poziomu napięcia motywacyjnego. Podwyższony poziom napięcia może zostać zredukowany przez zwiększenie wysiłków ukierunkowanych na realizację działań dobrze wyuczonych i znanych, co doprowadzi do poprawy rezultatów tych działań.
Jednak w przypadku wykonywania zadań nowych i słabo wyuczonych, podwyższony poziom pobudzenia może doprowadzić do pogorszenia wyników działania. Powyższe uwagi wydają się być szczególnie ważne w odniesieniu do procesu opracowywania strategii wdrażania i realizacji procesu ewaluacji zewnętrznej.
Po trzecie, ewaluacja zewnętrzna może zapoczątkować albo wzmocnić, utrwalić już istniejące procesy wymiany i współpracy między zakładami, katedrami, instytutami czy wydziałami, także między uczelniami4. Współpraca ta może przybierać rozmaite formy, np. wymiana opinii, doświadczeń, pomoc w realizacji zadań w różnych obszarach typu: kooperacja w programach badawczych krajowych i międzynarodowych, budowanie projektów dydaktycznych, opracowywanie pakietów edukacyjnych dla studentów, zaproszenia na gościnne prowadzenie cyklu wykładów, seminariów czy warsztatów dla doktorantów i/lub studentów, współpraca w ramach studenckiego ruchu naukowego, udostępnianie sobie wzorów arkuszy ewaluacyjnych, kart zaliczeniowych itp.
4. Ważne etapy wdrażania procedury ewaluacji zewnętrznej
W świetle tego, co ustaliliśmy powyżej na temat znaczenia procesów ewaluacji zewnętrznej w działaniu instytucji edukacyjnej, przeanalizujemy teraz pokrótce ważniejsze etapy wdrażania procedury ewaluacji zewnętrznej. Przeanalizujemy poszczególne etapy, rozpatrując możliwości zastosowania rozwiązań zwiększających prawdopodobieństwo zapewnienia korzystnego wpływy ewaluacji zewnętrznej na działanie instytucji w sferze edukacji.
4.1. Wyłonienie osób odpowiedzialnych za wdrożenie i realizację ewaluacji zewnętrznej
W przypadku procedury akredytacji prowadzonej w szkołach wyższych w skład zespołów oceniających, tj.
odpowiedzialnych za ewaluację wchodzą przedstawiciele instytucji prowadzących edukację w zakresie danej dyscypliny (np.
Ochrona środowiska, Matematyka, Kulturoznawstwo, Archeologia, Psychologia), co gwarantuje, że ewaluacja realizowana będzie przez:
4 O tym zjawisku wspomina w swym tekście St. Chwirot w niniejszym tomie.
a) osoby znające dokładnie problemy i specyfikę działalności edukacyjnej w danej dziedzinie, co zwiększa prawdopodobieństwo trafności i spójności opracowanych standardów i kryteriów,
b) osoby, które na podstawie własnego bogatego doświadczenia dydaktycznego mogą rozstrzygać i określać, które elementy funkcjonowania instytucji istotnie wpływają na jakość wykształcenia absolwentów danego kierunku,
c) jeżeli zastosowano procedurę balotażu albo inny sposób głosowania, to w zespołach oceniających pojawią się osoby spełniające jeszcze jeden warunek – będą to osoby nie tylko wysoce kompetentne w danej dziedzinie, ale także znane i cieszące się zaufaniem w swoim środowisku, co zwiększa prawdopodobieństwo, że wyniki ewaluacji traktowane będą jako ważne i wartościowe.
Warto jednak zauważyć, że ten sam czynnik stanowi jednocześnie potencjalne źródło zjawisk zagrażających pozytywnej wartości ewaluacji zewnętrznej. Dokładniej rzecz ujmując, czynnikiem zagrażającym może stać się to, że procedury ewaluacji zewnętrznej realizowane są przez osoby, które jednocześnie pozostają zaangażowane w działalność instytucji podlegających ewaluacji (co prawda, przez inne osoby). W takiej sytuacji zachodzi ryzyko uwikłania się w jedną z tzw. pułapek społecznych, która określana jest mianem dylemat u ogr aniczonyc h zasobów. Owym ograniczonym zasobem w tej sytuacji może stać się pozytywny wynik ewaluacji, jeżeli zostanie potraktowany jako pewne dobro pożądane przez wszystkich - pozytywny wynik ewaluacji może się przecież okazać niedostępny dla wszystkich. W takiej sytuacji zachodzi pokusa podjęcia przez członków danej zbiorowości (zainteresowanych dobrym wynikiem ewaluacji) działań, umożliwiających wszystkim jej członkom osiągnięcie doraźnych korzyści. Psychologia społeczna poucza jednak, że w dłuższej perspektywie taki sposób działania prowadzi do stanu dla wszystkich uczestników danej zbiorowości gorszego niż stan początkowy (por. Grzelak, 2000).
Innymi słowy, zachodzi ryzyko obniżenie standardów do takiego poziomu, aby wszyscy z łatwością mogli im sprostać, co utrwala dobrą atmosferę wzajemnych kontaktów, ale jednocześnie w dłuższej perspektywie może doprowadzić do faktycznego obniżenia poziomu i pogorszenia jakości kształcenia w instytucjach podlegających ewaluacji zewnętrznej. Taki niekorzystny efekt staje się szczególnie prawdopodobny w sytuacji, kiedy osoby podejmujące decyzje potraktują pozytywny wynik ewaluacji jako wartość samą w sobie, a nie jako jeden ze środków umożliwiających realizację innego – ostatecznego - celu, tj.
podnoszenia i utrzymywania wysokiej jakości kształcenia.
4.2. Opracowanie metody prowadzenia ewaluacji (wskaźniki, zasady interpretacji, formy realizacji)
Racjonalne opracowywanie metody ewaluacji zewnętrznej prowadzonej w instytucjach edukacyjnych wymaga rozstrzygnięcia bardzo ważnego problemu – jaki model edukacji (i co za tym idzie model „dobrej” instytucji edukacyjnej) będzie stanowił podstawę opracowywanej metody? Należy bowiem pamiętać, że przyjęcie określonego zestawu wskaźników oraz zasad i kryteriów ich interpretacji w każdym przypadku stanowi wyraz jakiegoś zakładanego wizerunku optymalnie funkcjonującej instytucji edukacyjnej. Przecież tylko na takiej podstawie możemy racjonalnie zdecydować o tym, po czym poznamy, że mamy do czynienia z instytucją edukacyjną, zapewniającą wysoki poziom kształcenia. Jest to problem trafności doboru wskaźników czyli problem operacjonalizacji zmiennej „jakość kształcenia”.
Sądzimy, że praca nad metodą ewaluacji zewnętrznej powinna wiązać się z otwartą dyskusją i wypracowaniem lub uzgodnieniem w drodze consensusu stanowiska w sprawie przyjmowanego (i jednocześnie promowanego przez zewnętrznych ewaluatorów) modelu edukacji, który mógłby się stać racjonalną podstawą opracowywanej metody ewaluacji. Z punktu widzenia ostatecznej wartości ewaluacji zewnętrznej ważne jest, aby w tej sprawie zespół pracujący nad metodą ewaluacji rzeczywiście dążył do wypracowania consensusu.
Przygotowanie metody ewaluacji zewnętrznej wymaga konsultowania przygotowanych projektów z instytucjami, które będą jej podlegały. Jeżeli ewaluacja ma stanowić ważny czynnik mobilizujący dla poddających się jej instytucji, to oczywiście osoby odpowiedzialne za funkcjonowanie tych instytucji powinny akceptować i uznawać metodę (wskaźniki, zasady interpretacji, formy realizacji) prowadzenia ewaluacji zewnętrznej. Warto również pamiętać, że przygotowana metoda ewaluacji zewnętrznej stanowić będzie jedynie pewien projekt działania, co do którego przypuszczamy, że pozwoli osiągnąć zamierzone rezultaty. Wdrożenie i przeanalizowanie rezultatów tego działania może jednak skłonić do zmiany wstępnie przyjętej procedury. Aby to było możliwe, zespół pracujący nad metodą prowadzenia ewaluacji zewnętrznej powinien przewidzieć etap oceny wartości i efektywności własnych działań.
Podstawowym czynnikiem utrudniającym stworzenie trafnej i rzetelnej metody ewaluacji są zatem:
(1) po pierwsze, niskie kompetencje merytoryczne i dydaktyczne oraz brak zaufania członków zespołu ją przygotowującego do siebie,
(2) po drugie, brak zaufania środowiska naukowego zaangażowanego w realizację procesu kształcenia na danym kierunku w prowadzących go uczelniach do ekspertów i członków zespołów oceniających oraz
(3) po trzecie, brak informacji i/lub pełnego zrozumienia sensu procedury akredytacyjnej oraz akceptacji wypracowanych w zespole oceniającym kryteriów przez nauczycieli akademickich i studentów z ośrodków podlegających akredytacji.
4.3. Przygotowanie strategii realizacji procedury ewaluacji
Przygotowanie to można podzielić na dwa etapy. Pierwszy z nich obejmuje działania podejmowane na długo przed wizytą zespołu oceniającego w danej placówce. Ich celem jest po pierwsze, promocj a idei akredy t acji i związanej z nią ewaluacji zewnętrznej, a tym samym pozys kiwanie soj us zników dla samej idei (por. Brzezińska, Lutomski, 1996, s. 112),
a po drugie, budow anie zauf ania oraz kszt ałt owanie mot ywacji zadani owej tak u osób zarządzających daną instytucją, jak i u nauczycieli akademickich i studentów. Podjęcie takich działań pozwala nie tylko tworzyć sprzyjający akredytacji klimat, ale przede wszystkim pozwala na spokojne, rzetelne przygotowanie się instytucji do akredytacji, w trakcie którego można już zastosować różne działania naprawcze. Oznacza to, iż sam projekt przeprowadzenia ewaluacji może już być czynnikiem stymulującym wprowadzanie korzystnych zmian w funkcjonowaniu instytucji, a więc czynnikiem usprawniającym procesy samoregulacji. W osiągnięciu tego celu pomaga respektowanie reguły pełnej dobrowolności przystąpienia do procedury akredytacyjnej, dostarczanie na bieżąco informacji o proponowanych kryteriach oceny działalności placówki w różnych obszarach, wypracowywanie decyzji wspólnie we wszystkich razem zespołach oceniających, konsultowanie decyzji podejmowanych w przygotowujących się do wizyty zespołach oceniających z osobami zarządzającymi placówkami poddawanymi akredytacji. Dostarczanie informacji szybko i sprawnie (np.: via internet) to najlepszy sposób na minimalizowanie istotnego zagrożenia, podważającego sens całej procedury akredytacyjnej, jakim jest powstanie rywalizacji pomiędzy ośrodkami.
Drugi etap odnosi się do pobytu zespołu oceniającego w danej placówce. Chodzi tutaj o to, by jak najszybciej nastąpiło spotkanie zespołu oceniającego z zespołem zarządzającym instytucją (rektor, dziekan i prodziekani, zespół dyrekcyjny), po to, by przedstawić projekt wizyty, podać informację, kto odpowiada za zebranie jakich informacji i jeszcze skorzystać z sugestii i rad osób bezpośrednio prowadzących daną placówkę. Celem tych działań jest (1) stworzenie atmosfery pozbawionej nadmiernych emocji, sprzyjającej rzetelnej pracy wszystkich członków zespołu oceniającego z jednej strony, ale też (2) dążenie do niezakłócania normalnego trybu działania placówki i obniżenie poczucia zagrożenia, a więc pozyskanie nauczycieli i studentów jako rzetelnych źródeł informacji.
4.4. Techniki i formy realizacji procedury ewaluacji zewnętrznej
Przystępując do przygotowania przebiegu wizyty zespołu oceniającego warto postawić pytanie o to, z jakich źródeł jego członkowie mogą uzyskać potrzebne im informacje. Do dyspozycji mają cztery drogi: (1) bezpośrednie r oz mowy z nauczycielami akademickimi i studentami, (2) uczestniczenie w różnych formach aktywności pracowników w dniu wizyty, a więc obserwacje, (3) analizę przygotowanej dokumentacji oraz (4) analizę wytworów pracowników (np.: publikacje naukowe dostępne w bibliotece lub Lektorium, syllabusy, pakiety materiałów edukacyjnych dla studentów) i studentów (prace magisterskie czy seminaryjne, gabloty prezentujące osiągnięcia kół naukowych). Warto też przygotowując wizytę postawić szereg pytań – ułatwi to znacznie sprawne zbieranie potrzebnych danych, a mianowicie:
(1) rozmowa: kto, po co, z kim, o czym, gdzie, kiedy, jak długo;
(2) obserwacja: kto, po co, kogo, czego, gdzie, kiedy, jak długo, w czyjej obecności;
(3) analiza dokumentów: kto to robi, po co, jakich, od kogo, w czyjej obecności;
(4) analiza wytworów: kto to robi, po co, jakich wytworów, od kogo, w czyjej obecności.
Niezmiernie ważna jest postawa ewaluatorów prezentowana w czasie wizyty w danej placówce. Tym, co niewątpliwie będzie sprzyjało nie tylko sprawnemu (efektywnemu) przebiegowi wizyty, ale także klimatowi, w jakim ona przebiega będzie wyraźnie ujawniane nastawienie rzeczowe, wprost podkreślające główny cel, jakim jest dostarczenie zwrotnych informacji o działalności placówki widzianej „chłodnym okiem”, a nie życzeniowo czy nazbyt życzliwie „w różowych barwach”. Ważne jest też, by szczególnie w momencie przekazywania swych spostrzeżeń zespołowi zarządzającemu placówką starać się prezentować wyważoną i dobrze uzasadnioną (mającą oparcie w faktach) opinię, tzn. dostrzegać i mocne strony i słabsze czy wręcz słabe, nie do zaakceptowania. Jednocześnie warto podkreślić te elementy, które – nawet jeśli nie były objęte kryteriami oceny – w pozytywnym sensie decydują o wizerunku placówki oraz wskazać te, które warto korygować czy modyfikować.
Chodzi nam tutaj o to, by wyrażane opinie były formatywne, proaktywne, by określały kierunek pożądanych zmian i/lub wzmacniały już obecne procesy i procedury postępowania w placówce.
Ważnym aspektem zachowania członków zespołu oceniającego jest minimalizowanie napięć w trakcie wizyty akredytacyjnej, a warunkiem tego jest pozytywne, życzliwe nastawienie na kontakt z ludźmi, a nie tylko na zebranie danych oraz pełne, uczciwe informowanie o celach np. obserwacji i uczestniczenia w zajęciach lub rozmów z doktorantami. Należy zatem unikać nastawienia restrykcyjnego, „postawy prokuratorskiej” oraz „postawy adwokackiej”, formalizmu, nastawienia na wynajdywanie błędów, braku obiektywizmu („przymykanie oczu” na stwierdzane nieprawidłowości), rutyny, poganiania, gdyż może to spowodować wzrost napięcia, poczucie zagrożenia, nastawienia i strategie obronne, zwątpienie w rzeczywistą wartość ewaluacji zewnętrznej, dewaluację autorytetu podmiotu prowadzącego ewaluację i w efekcie uzyskanie mało wartościowego zbioru danych, na podstawie którego trzeba będzie sformułować uzasadniony wniosek o przyznanie bądź nie akredytacji.
5. Zajęcia warsztatowe pt. Psychologiczne aspekty ewaluacji procesu kształcenia w szkole wyższej
Przedstawiony poniżej projekt zajęć warsztatowych został przez nas zrealizowany w trakcie trzech 90-minutowych spotkań. Kolejno omówimy niżej podstawowe wg nas zasady pracy warsztatowej, zaprezentujemy program warsztatów oraz rezultaty w postaci wytworów uczestników.
5.1. Zasady pracy warsztatowej
Podczas zajęć warsztatowych osoby je prowadzące (najczęściej są to dwie współpracujące ze sobą osoby) nie tyle wprost przekazują pewne gotowe treści uczestnikom, ale tak organizują warunki ich aktywności, by oni sami korzystając ze swych osobistych doświadczeń dochodzili do postawienia pytań, prób odpowiedzi na nie czy formułowania pewnych uogólnień.
Prowadzący są więc raczej organizatorami, konsultantami, doradcami. Celem pracy na zajęciach o charakterze warsztatowym jest przede wszystkim pobudzenie własnej aktywności poznawczej i refleksji, a także autorefleksji uczestników, zapewnienie im bezpiecznych warunków do wymiany poglądów, uwrażliwienie na wybrane problemy, w mniejszym zaś stopniu dostarczenie wiedzy w jakimś obszarze. Oznacza to, iż główny ciężar aktywności spoczywa na uczestnikach zajęć. Aktywność prowadzących ogranicza się do stawiania problemów do rozwiązania, określania metody pracy uczestników, organizowania dyskusji, komentowania wypowiedzi uczestników, podsumowania dyskusji. Dla prawidłowego przebiegu zajęć warsztatowych ważne jest, aby prowadzący stwarzali warunki dające poczucie bezpieczeństwa i zachęcali uczestników do ujawniania własnych stanowisk, akceptacji różnic w prezentowanych poglądach, poszukiwania consensusu. Formy pracy są różne zależnie od celu i charakteru zadania, ale zwykle korzysta się naprzemiennie z takich form, jak praca indywidualna, w diadach, w małych grupach 4-6 - osobowych tworzonych wg zmiennych kryteriów oraz w całej grupie (podsumowania, omówienia kolejnych zadań czy ćwiczeń).
Podstawowe zasady obowiązujące podczas zajęć warsztatowych są następujące:
- udział w zajęciach jest dobrowolny,
- każdy ma prawo do zaprezentowania własnych poglądów, - nie oceniamy, nie krytykujemy wypowiedzi innych osób, - każdy ma prawo odmowy udziału w danej części warsztatu,
- zobowiązujemy się do minimum dyskrecji (nie ujawniamy osobom trzecim nazwisk autorów wypowiedzi, szczególnie wypowiedzi kontrowersyjnych lub niepopularnych).
5.2. Problematyka i przebieg warsztatów
Zajęcia warsztatowe, jak powiedzieliśmy wyżej, składały się z trzech półtoragodzinnych części, zrealizowanych w ciągu jednego dnia. Grupa liczyła 36 osób. Poniżej podajemy przebieg zajęć.
Spotkanie 1.
Problem: Korzyści i obawy związane z ewaluacją z punktu widzenia:
pracodawcy, nauczycieli akademickich i studentów Cele:
1. uświadomienie, że są trzy podmioty ewaluacji i każdy z nich inaczej spostrzega sytuację edukacyjną (ma inne cele i motyw uczestniczenia w niej),
2. uwrażliwienie na to, że ewaluację należy rozpatrywać w kategoriach nakładów / kosztów, zysków / strat, 3. umożliwienie poznania przekonań innych osób,
4. wyłonienie podstawowych dla danej grupy osób korzyści i obaw („specyficznych”) oraz korzyści i obaw podobnych dla trzech podmiotów („nie sp ec yf ic zn yc h” ).
Etapy pracy:
losowy podział na 6 zespołów,
praca indywidualna na małych karteczkach wg polecenia: Proszę wymienić korzyści (obawy) związane z ewaluacją dla pracodawcy (nauczyciela akademickiego, studenta) (było to 6 różnych instrukcji – inna dla każdego zespołu),
praca w zespołach: przygotowanie plakatu na arkuszu pakowym (wykorzystanie informacji na małych kartkach
„wyprodukowanych” przez członków zespołu w fazie pierwszej),
prezentacja plakatów:
(1) pracodawcy: korzyści oraz obawy, (2) nauczyciele: korzyści oraz obawy, (3) studenci: korzyści oraz obawy,
omówienie: analiza podobieństw i różnic – dyskusja,
praca ponownie w tych samych zespołach: wypisanie 2 korzyści i 2 zagrożeń uznanych za najbardziej istotne,
naklejenie kartek na wspólny arkusz papieru,
praca w całej grupie: dyskusja końcowa (ukierunkowana celami sesji) – konkluzje.
Komentarz i efekty:
• Pierwsze spotkanie dotyczyło problematyki ewaluacji wewnętrznej, chodziło nam o uświadomienie uczestnikom, iż zaangażowane są w nią trzy podmioty i że każdy z nich inaczej spostrzega i ocenia tę samą sytuację.
• Głównym celem było uwrażliwienie uczestników na to, iż ewaluacja wewnętrzna może służyć realizacji celów wszystkich zaangażowanych w nią stron: studentów, nauczycieli i pracodawców, jeżeli tylko spełnia pewne warunki.
• Uczestnicy dostrzegli wiele istotnych korzyści, jakie może przynieść ewaluacja dla wszystkich zaangażowanych w nią stron.
Prezentują je poniższe zestawienia. Nazwy kategorii i wymieniane treści przepisano z plakatów stworzonych w poszczególnych grupach. Jak widać, najwięcej korzyści wymieniono w odniesieniu do pracodawców, najmniej w odniesieniu do studentów.
ZMIANY TRYBU STUDIÓW
♦ możliwość porównania się z „innymi”
♦ wyłonienie kursów najlepiej odbieranych
♦ lepsza organizacja procesu dydaktycznego
♦ informacja o brakach systemu kształcenia – zapobieganie
♦ informacja o ocenie różnych typów zajęć – możliwość zmian trybu studiów
MOBILIZACJA KADRY
♦ podniesienie poziomu pracowników przez konfrontowanie celu zadania z wynikiem
♦ nauczenie się procedur ewaluacji
♦ mobilizacja kadry nauczającej
♦ podniesienie poziomu kształcenia poprzez analizę wyników ankiet przez samego nauczyciela akademickiego
POLITYKA KADROWA
♦ co kto reprezentuje
♦ możliwości wyróżnienia
♦ w przypadku konieczności redukcji zatrudnienia będę wiedział, kogo zwolnić
♦ przyznanie nagrody (wzór do naśladowania)
♦ uzyskam informacje pomocne przy nagradzaniu
♦ wyłonienie wykładowców najlepszych – wpływ na ewolucję kierunku
♦ będę miał dobre rozpoznanie o jakości kadry
♦ ostrzeżenie a w konsekwencji recydywy do zwolnienia
♦ ewaluacja usprawni politykę kadrową w mojej jednostce
♦ obiektywizacja kryteriów oceny pracowników ŚRODKI NAPRAWCZE
♦ możliwość pomocy (w przypadku zagrożenia)
♦ ewaluacja kierunku pozwala sprawniej konkurować o studenta (w przyszłości)
♦ zdefiniowanie kierunku pozwala starać się o dobrych studentów
IDENTYFIKACJA PROBLEMÓW ŚRODOWISKA
♦ możliwość selekcji istniejących problemów, które wymagają naprawy
♦ poznanie przekonań
♦ informacja o samopoczuciu studentów – możliwość poprawienia
♦ informacja o ocenie warunków pracy przez pracowników - możliwość poprawienia
♦ zadowolenie z pracy (kadra + studenci)
♦ w rezultacie jest możliwe połączenie dwóch typów działalności: badań i dydaktyki (sprecyzowany zakres działań i kompetencji)
♦ zdefiniowanie specjalności kierunku pozwala na efektywniejsze kierowanie środków na badania naukowe
GRUPA 1. KORZYŚCI Z EWALUACJI DLA PRACODAWCY
METODYKA
♦ rozwój metodyczny
♦ udoskonalenie własnego warsztatu naukowego
♦ metodyka pracy – poszerzenie
♦ wzrost samowiedzy o prowadzonych zajęciach
♦ co mogę poprawić w swoich zajęciach
♦ ewaluacja dostarcza odpowiedzi, jak zostały zrozumiane moje intencje
♦ co powinnam poprawić w swoich zajęciach
♦ czy zostałam zrozumiana (na wykładzie)
♦ wiem, co mogę zmienić
DYDAKTYKA
♦ wersyfikacja poziomu dydaktyki
♦ poziom kształcenia
♦ większa efektywność kształcenia
♦ podniesienie efektywności nauczania
♦ czy osiągnąłem oczekiwany efekt
♦ możliwość podniesienia poziomu dydaktyki
♦ wzrost zaangażowania studentów
♦ czy cele moje i studentów są zgodne
♦ czy studenci podzielają moje opinie, punkty widzenia
Q
KORZYŚCI MORALNE
♦ kontakt ze studentami
♦ integracja z zespołem studentów
♦ uznanie w środowisku
♦ satysfakcja zawodowa
♦ podniesienie dyscypliny wewnętrznej
♦ lepsza samoocena
♦ rozwój osobowości własnej
♦ uznanie wśród studentów
♦ czy to, co robię jest komuś do czegoś przydatne
KORZYŚCI MATERIALNE
♦ NAGRODA REKTORA
♦ WYŻSZA PENSJA GRUPA 2. KORZYŚCI Z EWALUACJI DLA NAUCZYCIELI AKADEMICKICH
• Uczestnicy wypisując obawy związane z procedurą ewaluacji wewnętrznej, wskazali na wiele ważnych spraw, o których warto pamiętać przygotowując i realizując procedurę ewaluacji wewnętrznej. Tutaj także najwięcej obaw wskazali uczestnicy pracujący w grupie „pracodawcy”, a najmniej ci, których zadaniem było ujęcie problemu z perspektywy studentów.
KORZYŚCI INTELEKTUALNE
♦ rozwój intelektualny studentów
♦ informacje (uporządkowane) o celu i toku kształcenia
♦ przekonam się, czy wybrałem dobrą uczelnię
♦ lepsze zrozumienie środowiska naukowego i studenckiego
♦ pełniejsze zrozumienie własnego w nim miejsca
KORZYŚCI ORGANIZACYJNE
♦ poprawi się jakość prowadzonych zajęć
♦ zajęcia będą bardziej barwne
♦ nauczyciele akademiccy będą przychodzić na zajęcia
♦ wzrośnie punktualność rozpoczynania zajęć
♦ włączenie studentów do procesu kształtowania PROGRAMU
KORZYŚCI EMOCJONALNE
♦ odgryzę się na wykładowcach
♦ wyładowanie stresu
♦ poczucie ważności
♦ dowiem się czegoś o moich wykładowcach wszelkie prawa zastrzeżone
GRUPA 3. KORZYŚCI Z EWALUACJI DLA STUDENTÓW
ORGANIZACJAIMETODYKAPRACY
♦ zła organizacja Instytutu i pracy
♦ brak uzdolnień menedżerskich Dyrekcji
♦ „wyda się”, że są za małe sale do prowadzenia ćwiczeń i że jest za mało sal
♦ zła polityka awansów
♦ poprawność metodologiczna
♦ rzeteln9ość zastosowanej metody
♦ nieprzejrzyste reguły wynagradzania
♦ trudności organizowania procedur zbierania danych
♦ czy zespół oceniający jest dostatecznie kompetentny (czy
„szeregowy naukowiec” może oceniać „noblistę”?) ?
♦ pracownicy, którzy zazwyczaj uzyskują niskie oceny w największym stopniu decydują o jakości finalnego produktu szkoły)
♦ czy dziekanat dobrze (przyjaźnie) traktuje studentów)?
♦ studenci mają nienajlepszy plan zajęć
♦ pracownicy za dużo pracują poza uniwersytetem i część zajęć mogliby lepiej prowadzić
♦ studenci mogliby być lepiej przygotowani językowo – języki obce
ŹRÓDŁO KONFLIKTÓW
♦ konflikty w zespole
♦ napięcia w zespole
♦ obciążenie ceny nauczycieli stresem
♦ trudność utrzymania tajemnicy
♦ nieumiejętność przyjmowania krytyki zewnętrznej przez jednostki
♦ obawa przed zła, niezawinioną oceną
♦ niskie kwalifikacje pracowników
♦ obawa przed konfrontacją ocenianej placówki z jej szefem
SKUTKI OCENY
♦ nieprzewidywalne mechanizmy ewaluacji
♦ ewentualna zła ocena może obniżyć prestiż szkoły (co może mieć wpływ np. na wyniki rekrutacji)
♦ obawa przed negatywna oceną lub niewystarczająco satysfakcjonującą i konieczność konkretnej reakcji na to
♦ brak możliwości zaradzenia problemom
♦ utrata wiarogodności wobec studentów z powodu braku satysfakcjonujących rozwiązań
♦ obawa przed konsekwencjami towarzyskimi i psychologicznymi wynikającymi ze złej oceny GRUPA 4. OBAWY ZWIĄZANE Z EWALUACJĄ - PRACODAWCY
CZYNNIKI PSYCHOLOGICZNE
♦ ujemny wpływ na samoocenę określonych kompetencji
♦ potwierdzenie braków w kompetencjach zawodowych
♦ wpływ na relacje z kolegami – „gorsi” i „lepsi”
♦ pogorszenie relacji z grupą
♦ możliwość upublicznienia wyników (szczególnie negatywnych) ocen pracowników naukowo - dydaktycznych
ZAŁOŻENIA PROCEDURY, KOMPETENCJE EWALUATORÓW
♦ obawa, że procedura ewaluacyjna jest niepoprawna z punktu widzenia metodologicznego
♦ reprezentatywność prób – liczba studentów
♦ dobór pytań np. w ankietach oceniających
♦ kryteria nie zostały podane przed okresem podlegającym ewaluacji – jak kształtować swój profil zawodowy, by spełnić te kryteria
♦ kompetencja ewaluatorów, np. dyrektorów ds. dydaktycznych
♦ ocena wewnętrzna: kompetencja osoby analizującej i sumującej ankiety
♦ niewłaściwe osoby jako członkowie komisji (kompetencje merytoryczne, względy osobiste)
KRYTERIA
♦ niejasne kryteria ewaluacji
♦ niewłaściwie określone kryteria
♦ brak obiektywności ocen
♦ niewłaściwe proporcje między różnymi aspektami działalności, która podlega ocenie
♦ problem wiarogodności ocen studenckich (ankiety)
INNE
brak obiektywizmu w
systemie oceniania nauczycieli GRUPA 5. OBAWY ZWIĄZANE Z EWALUACJĄ – NAUCZYCIELE AKADEMICCY
OBAWA STUDENTA O SAMEGO SIEBIE
♦ obawa o wzrost wymagań
♦ obawa o podnoszenie poziomu nauczania
♦ obawa, że wykładowca (nauczyciel) zaostrzy wymagania po ewaluacji
♦ obawa o terminowe ukończenie studiów
♦ obawa o wymagania egzaminacyjne
♦ obawa o wzrost czesnego
DEKONSPIRACJA
♦ nauczyciel mnie rozpozna i będzie się mścił
♦ w wypadku „przecieku” informacji o autorze oceny nauczyciel może go represjonować
♦ obawa przed ujawnieniem oceny nauczyciela przez łatwa do zdefiniowania (ujawnienia) grupę studentów
♦ obawa przed sprawiedliwą oceną
OBAWY O OSOBĘ NAUCZYCIELA
♦ nauczyciel wysoko oceniony może już wkrótce spocząć na laurach
♦ gloryfikacja nauczyciela akademickiego
♦ innego spostrzegania nauczania
♦ nauczyciel nisko oceniony może w kolejnych semestrach reagować negatywnie, np. przy egzaminach
♦ doprowadzenie do samobójstwa nauczyciela akademickiego
♦ obawa o brak kompetencji dla oceny nauczyciela
♦ nauczyciel bardziej wrażliwy straci zadowolenie, satysfakcję
♦ nie wiem, co uznać za pozytywne najbardziej w postawie nauczyciela
GRUPA 6. OBAWY ZWIĄZANE Z EWALUACJĄ – STUDENCI
Spotkanie 2.
Problem:
Korzyści i obawy związane z udziałem ewaluatorów zewnętrznych Cele:
1. ukazanie krótkofalowych i długofalowych celów procedury akredytacyjnej, 2. ukazanie znaczenia ewaluacji zewnętrznej w procesie uzyskiwania akredytacji, 3. uwrażliwienie na problem „wzbudzania lęku” przez zewnętrznych ewaluatorów, 4. umożliwienie poznania przekonań innych osób,
5. wyłonienie podstawowych korzyści z ewaluacji zewnętrznej,
6. określenie warunków służących prawidłowemu realizowaniu zadań ewaluacyjnych.
Etapy pracy:
zadanie 1: losowy podział na zespoły 3-osobowe
praca w „trójkach”, odgrywanie ról:
osoba A to zewnętrzny ewaluator - prezentuje postawę „to same korzyści”,
osoba B to dyrektor wizytowanej placówki - prezentuje postawę „więcej złego niż dobrego”, osoba C to mediator - wysłuchuje racji obu stron i podejmuje mediację
omówienie:
jakie problemy zgłaszali dyrektorzy?
co zachwalali ewaluatorzy?
co udało się wynegocjować mediatorom?
zadanie 2: losowy dobór do zespołów 4-5 - osobowych
praca w zespołach (przygotowanie plakatów):
(1) co może wzbudzać największe obawy (źródła) i (2) jak można je minimalizować (sposoby radzenia sobie)?
prezentacja plakatów i dyskusja na korzyściami z ewaluacji zewnętrznej.
Komentarz i efekty:
• Drugie spotkanie dotyczyło problematyki ewaluacji zewnętrznej.
• Głównym celem tego spotkania było stworzenie sytuacji, w której uczestnicy mogliby spojrzeć na proces ewaluacji zewnętrznej z perspektywy osób odpowiedzialnych za funkcjonowanie instytucji podlegających ewaluacji. Przyjęcie takiej perspektywy przez realizatorów ewaluacji zewnętrznej miało ułatwić im uświadomienie sobie obaw związanych z ewaluacją zewnętrzną, które mogą się pojawić u osób podlegających takiej ewaluacji.
• W rezultacie uczestnicy wyodrębnili możliwe źródła obaw związanych z procedurą ewaluacji zewnętrznej oraz przedstawili propozycje sposobów przeciwdziałania nadmiernym obawom i napięciom.
• Wśród wyróżnionych źródeł obaw zwracają uwagę powtarzające się w dwóch przypadkach wątpliwości, co do sposobu przygotowania procedury ewaluacji, która mogłaby pozostawiać zbyt dużą dowolność ewaluatorom przy formułowaniu ostatecznej oceny funkcjonowania danej instytucji. Dwukrotnie również pojawiło się przypuszczenie, że może wystąpić rozbieżność pomiędzy samooceną ocenianego środowiska a wynikiem ewaluacji.
• Niepokój w obu wymienionych przypadkach wydaje się mieć związek z niedostatecznym poziomem wiedzy na temat metody ewaluacji, wg której działać będzie zespół ewaluatorów. Wszystkie cztery grupy podkreślały konieczność pełnego informowania środowisk podlegających ewaluacji o celach i zasadach prowadzenia procedury ewaluacji zewnętrznej.
Można więc przypuszczać, że zaangażowanie wszystkich instytucji podlegających ewaluacji w proces przygotowania metody prowadzenia ewaluacji (jak proponowaliśmy powyżej) może być czynnikiem pozwalającym minimalizować obawy środowiska związane z procedurą ewaluacji.
11
Problem 2a: Udział ewaluatorów zewnętrznych w procedurze akredytacyjnej
CO MOŻE WZBUDZAĆ NAJWIĘKSZE OBAWY ? JAK MOŻNA JE MINIMALIZOWAĆ ?
zakłócenie normalnego funkcjonowania placówki, zwłaszcza procesu dydaktycznego
nowoczesność placówki
brak obiektywizacji oceny ze strony Komisji Oceniającej ze względu na brak jednolitej procedury
rozbieżność między oceną Komisji z samooceną środowiska ocenianego
informacja o życzliwości Komisji i celach lustracji
brak obiektywizacji oceny ze strony Komisji oceniającej ze względu na brak jednolitej procedury
rozbieżność między oceną Komisji i samooceną środowiska ocenianego
negatywne konsekwencje oceny (dezintegracja środowiska zawodowego)
pełna informacja o zasadach i procedurze akredytacji przy użyciu wszystkich dostępnych środków
opracowanie reguł odnoszących się do procesów akredytacyjnych w danej dziedzinie wiedzy (specjalności)
wskazanie sposobów przezwyciężania trudności
obawa, co do składu Komisji
obawa ujawnienia niedociągnięć w pisemnym raporcie
obawa przed prowadzeniem bezpośrednich rozmów z pracownikami i studentami
przedstawić charakterystykę członków Komisji, plakietki identyfikacyjne
wyjaśnić procedurę wyłonienia Komisji - członkowie Komisji sami będą też oceniani
uwagi w raporcie traktować należy jako zalecenia
studenci typują reprezentację studentów do rozmów z Komisją, wyjaśnić wcześniej studentom cel akredytacji
podobna procedura w odniesieniu do pracowników
sposób funkcjonowania zespołu oceniającego (brak pozytywnego nastawienia, brak obiektywizmu, brak kompetencji zespołu)
poziom przygotowania jednostki do akredytacji (braki przygotowania materiałów, nieadekwatna samoocena)
promocja akredytacji
informowanie o zasadach powołania zespołów oceniających
przygotowanie zespołów do pracy
cele pracy Komisji
rozpoznanie wczesne zagrożeń
wskazania perspektyw rozwoju
? dekonspiracja
zaostrzenie wymagań STUDENCI
prawda o sobie ewaluacja prawdę Ci powie ...
korzyść odroczona – poczucie bezpieczeństwa na rynku
niedoskonałość procedury ewaluacyjnej = niska trafność i rzetelność pomiaru
niekorzystne skutki procedury ewaluacji: psychologiczne, ekonomiczne, utrata pracy
NAUCZYCIELE AKADEMICCY
poprawa polityki kadrowej (obiektywizacja)
polepszenie jakości kształcenia
obawy o wiarogodność oceny
obawy o skutki oceny PRACODAWCY
KORZYŚCI Z EWALUACJI OBAWY ZWIĄZANE Z EWALUACJĄ
Problem 2b: Korzyści i obawy związane z ewaluacją zewnętrzną
12 Spotkanie 3.
Problem:
Procedura prowadzenia ewaluacji Cele:
1. ukazanie różnych źródeł informacji (bezpośrednich i pośrednich),
2. ukazanie znaczenia bezpośredniego kontaktu ewaluatorów z nauczycielami i studentami, 3. uwrażliwienie na problem „efektu halo”,
4. umożliwienie poznania przekonań innych osób.
Etapy pracy:
losowy podział na zespoły 4-5 osobowe – oddzielnie Historia i Ochrona środowiska: po 3 zespoły
praca w zespołach:
zadanie: co chcemy wiedzieć – gdzie tego szukać (tabela na arkuszu pakowym)
praca w zespołach połączonych: A. Historia i B. Ochrona środowiska zadanie: porównanie przygotowanych tabel
omówienie:
wnioski z grupy Historia; wnioski z grupy Ochrona środowiska
dyskusja – podobieństwa i różnice (specyfika kierunku a „sprawy ogólne”)
ewaluacja warsztatów na przygotowanych arkuszach - wnioski dla siebie Efekty:
plakaty dla zespołów Historia i Ochrona środowiska 5.3. Ewaluacja końcowa warsztatów
Po zakończeniu dyskusji i jej podsumowaniu uczestnicy otrzymali przygotowane wcześniej arkusze ewaluacyjne i poproszeni zostali o wyrażenie swej opinii w dwóch kategoriach: (1) to mi się podobało i (2) to mi się nie podobało. Oczywiście obowiązywała nadal zasada dobrowolności, ale także anonimowości w wyrażaniu swych opinii. Wszystkie wyrażone opinie zostały spisane i uporządkowane. Wysłaliśmy je wraz z listem z podziękowaniami za udział w warsztatach do wszystkich uczestników zajęć, prosząc jednocześnie o zgodę na opublikowanie wytworów powstałych w trakcie zajęć.
♦ wciąganie do aktywności, uaktywnianie wszystkich uczestników (szczególnie I ☺ warsztat), sposób prowadzenia, forma zajęć, tematyka
♦ „życiowe” sytuacje
♦ możliwości doświadczania, nowe doświadczenia, różnorodność zadań, różnorodność tematyki, możliwość zobaczenia różnych podejść do zagadnienia ewaluacji, wiele nieuświadamianych wcześniej spraw się ujawniło
♦ uruchomienie refleksji
♦ kultura, uprzejmość, sympatyczna forma, odpowiednio „luźna”, ale z utrzymaniem dyscypliny, bezpośredni charakter
♦ tolerancja, wewnętrzny spokój, otwartość na argumenty w dyskusji uczestników zajęć, umożliwienie różnych wypowiedzi
♦ pozytywne emocje, optymizm realizatorów, autentyczne zaangażowanie organizatorów
♦ nastawienie i kompetencja prowadzących, profesjonalizm przygotowania i prowadzenia, komunikatywność, poziom zajęć, jasność i precyzja wypowiedzi, przygotowanie materiałów (kolorowe papiery itd.)
♦ wzajemna współpraca prowadzących, sprawna organizacja pracy, dobre przygotowanie warsztatów
♦ ciekawe zajęcia, kształcący charakter spotkania
♦ osobiście dały mi materiał do wielu przemyśleń
♦ bardzo dobre wykłady
♦ warsztaty super
♦ dobra zabawa dla starszego Pana
♦ BRAWO - TAK TRZYMAĆ DALEJ
♦ warsztat I wspaniały, warsztat III – dobry
♦ jestem kontent ze spotkania
♦ połączenie humanistów z przyrodnikami, co jest ważne w ochronie środowiska i będę mogła wykorzystać także w podejściu do kierowania interdyscyplinarnym kierunkiem studiów
♦ Panie prowadzące zajęcia
♦ gadulstwo niektórych osób
♦ sekwencja trzech warsztatów w ciągu jednego dnia
♦ tempo zajęć
♦ program trochę jednak abstrahował od specyfiki zadań zespołów
oceniających
♦ warsztat II – bez sensu
♦ zajęcia po obiedzie bez możliwości drzemki
♦ zbyt mało informacji praktycznych
♦ sposób prezentacji wyników badań psychologów (hermetyczny język, zbyt szybko zmieniające się folie)
♦ troszkę niedopasowana forma warsztatów (inscenizacji) do przedmiotu spotkania
♦ brak ustosunkowania się do niektórych „kontrowersyjnych”
stanowisk
♦ zbyt „delikatna” rola przewodniczącego REZULTATY EWALUACJI ZAJĘĆ WARSZTATOWYCH
6. Podsumowanie
Ewaluacja zewnętrzna, jeżeli zostanie dobrze zaplanowana i zrealizowana może być ważnym elementem procedury poprawy jakości kształcenia. Przeprowadzone przez nas warsztaty pozwoliły jednak na ujawnienie wielu obaw, jakie się z nią wiążą. Zachęcaliśmy uczestników, aby spojrzeli na problem z trzech perspektyw: osób zarządzających, nauczycieli akademickich oraz studentów. To trzecie zadanie okazało się najtrudniejsze. Z racji zajmowanych pozycji, swego doświadczenia oraz roli przypisanej im w procesie akredytacji uczestnicy zajęć, tak przedstawiciele Historii, jak i Ochrony środowiska najwięcej propozycji zgłosili w odniesieniu do pracodawców. Korzyści i obawy przez nich wymieniane zgodne są ze wskazanymi przez nas w pierwszej części rozdziału problemami.
Najważniejsza jednak konkluzja odnosi się do tego, iż udało nam się, jak sądzimy, pokazać uczestnikom warsztatów, jak wielką wartością jest możliwość dialogu, dyskutowania, dzielenia się swymi doświadczeniami, współdziałania ze sobą, dzielenia się wątpliwościami, wspólnego poszukiwania odpowiedzi i rozwiązań. Także to, iż osoby reprezentujące całkowicie odmienną dyscyplinę wiedzy i kierunek kształcenia natrafiają na podobne trudności, ale też wpadają na podobne pomysły ich rozwiązania. Podobny sposób pracy przeniesiony w obszar relacji „zespół zarządzający – pracownicy placówki” czy
„nauczyciele akademiccy – studenci” może przecież być jedną z dróg poprawiania jakości kształcenia – poprzez wzajemne zbliżenie i poznanie swych oczekiwań i możliwości.
Literatura
Adelt, J., Kranas, G. (1978). Zmienna aprobaty społecznej. W: E. Paszkiewicz (red.), Materiały do nauczania psychologii, seria III, tom 3 (s. 225 – 240). Warszawa: PWN.
Aronson, E., Wilson, T., Akert, R. (1997). Psychologia społeczna. Poznań: Zysk i S-ka Wydawnictwo.
Baumeister, R., Heartherton, T., Tice, D. (2000). Utrata kontroli. Warszawa: Państwowa Agencja Rozwiązywania Problemów Alkoholowych.
Brzezińska, A. (1993). Wspomaganie rozwoju - rola nauczyciela. W: K. Denek, F. Januszkiewicz, W. Strykowski (red.), Edukacja.
Technologia kształcenia. Media
(s. 44 - 53). Poznań: Wyd. Instytutu Pedagogiki UAM.
Brzezińska, A., (1994a). Kształcenie psychologów: pytania o relację nauczania i jej wymiar etyczny. W: J. Brzeziński, W. Poznaniak (red.), Etyczne problemy działalności badawczej i praktycznej psychologów (s. 239 - 266). Poznań: Wydawnictwo Fundacji Humaniora.
Brzezińska, A., (1994b). Czym może być aktywne uczestnictwo ucznia i nauczyciela ?
W: G. Lutomski (red.), Uczyć inaczej (s. 31 - 40). Poznań: Wydawnictwo Fundacji Humaniora.
Brzezińska, A. (2000a). Psychologia wychowania. W: J. Strelau (red.), Psychologia. Podręcznik akademicki (tom III, s. 223-253).
Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
Brzezińska, A. (2000b). Społeczna psychologia rozwoju. Warszawa: Wydawnictwo Naukowe Scholar.
Brzezińska, A., Czub, T. (2000). Projekt zajęć warsztatowych pt.: Psychologiczne aspekty ewaluacji procesu kształcenia w szkole wyższej. Poznań-Kiekrz: Instytut Psychologii, Uniwersytet im. Adama Mickiewicza w Poznaniu (maszynopis
niepublikowany).
Brzezińska, A., Czub, T., Lutomski, G., Smykowski, B., Wiliński, P. (1996a). Warsztaty psychologiczne dla liderów społeczności wiejskich: założenia, scenariusz zajęć, materiały. W: A. Brzezińska, A. Potok (red.), Kształcenie liderów społeczności wiejskich (s. 126 - 193). Warszawa / Poznań: Wyd. Fundusz Współpracy (Cooperation Fund).
Brzezińska, A., Czub, T., Lutomski, G., Smykowski, B., Wiliński, P. (1996b). Interwencja edukacyjna wspomagająca społeczność lokalną: szkolenie liderów społeczności wiejskich. W: R. Cichocki (red.), Podmiotowość społeczności lokalnych: praktyczne programy wspomagania rozwoju. (s. 253 - 272). Poznań: Wydawnictwo Media - GT.
Brzezińska, A., Lutomski, G. (1994). Uczyć inaczej czyli jak? W: G. Lutomski (red.), Uczyć inaczej (s. 41 - 57). Poznań: Wydawnictwo Fundacji Humaniora.
Brzezińska, A., Lutomski, G. (1996). Model edukacji liderów: przesłanki i założenia. W: A. Brzezińska, A. Potok (red.), Kształcenie liderów społeczności wiejskich (s. 83 - 112). Warszawa / Poznań: Wyd. Fundusz Współpracy (Cooperation Fund).
Brzezińska, A., Wiliński, P. (1995a). Wspomaganie rozwoju człowieka dorosłego. Edukacja Dorosłych, 3 (8), 19 - 30.
Brzezińska, A., Wiliński, P., (1995b). Edukacja człowieka dorosłego. Edukacja Dorosłych, 4 (9), 21 - 34.
Doliński, D. (2000). Inni ludzie w procesach motywacyjnych. W: J. Strelau (red.), Psychologia. Podręcznik akademicki (tom 2, s. 493 - 510). Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
Miller, G., Galanter, E., Pribram, K. (1980). Plany i struktura zachowania. Warszawa: Państwowe Wydawnictwo Naukowe.
Nederhof, A. J. (1991). Metody korygowania zniekształcającego wpływu zmiennej aprobaty społecznej: przegląd badań. W: J.
Brzeziński, J. Siuta (red.), Społeczny kontekst badań psychologicznych i pedagogicznych (Wybór tekstów) (s. 211 - 233).
Poznań: Wydawnictwo Naukowe UAM.
Rosenberg, M. J. (1991a). Warunki powstawania oraz konsekwencje leku przed oceną.
W: J. Brzeziński, J. Siuta (red.), Społeczny kontekst badań psychologicznych i pedagogicznych (Wybór tekstów) (s. 61 - 136). Poznań: Wydawnictwo Naukowe UAM.
Rosenberg, M. J. (1991b). Oczekiwania eksperymentatora, lęk przed oceną oraz rozproszenie niepokoju metodologicznego. W:
J. Brzeziński, J. Siuta (red.), Społeczny kontekst badań psychologicznych i pedagogicznych (Wybór tekstów) (s. 341 - 388). Poznań: Wydawnictwo Naukowe UAM.
