Procedura i techniki ewaluacji
Anna Brzezińska
Instytut Psychologii, Uniwersytet im. Adama Mickiewicza w Poznaniu 1. Wprowadzenie
W ewaluacji rozumianej jako proces zbierania informacji potrzebnych do udoskonalania procesu kształcenia można korzystać z różnych źródeł danych, różne też osoby mogą tych danych dostarczać. Z jednej strony mogą to być studenci i nauczyciele akademiccy, a z drugiej tzw. ewaluatorzy zewnętrzni. Problemy techniczne dotyczą przede wszystkim dwóch kwestii: (a) procedury zbierania danych oraz (b) procedury opracowywania i udostępniania uzyskanych informacji. Oba te problemy trzeba rozwiązać i to niezależnie od tego, czy ewaluacja ma tylko charakter wewnętrzny, tj. uruchamia ją nauczyciel akademicki dla własnych potrzeb czy też zewnętrzny, tj. uruchamiają ją pracodawcy lub wymagają tego placówki współfinansujące działanie danej placówki naukowo-dydaktycznej, czy też jest to jeden z podstawowych warunków - sine qua non - uzyskania akredytacji prowadzonego przez daną jednostkę kierunku studiów.
2. Metody zbierania danych w procesie ewaluacji
Informacje o przebiegu i efektach procesu kształcenia zbierać można z różnych źródeł i wykorzystując różne metody. Podstawowe metody prezentuje Tab. 1. Omówimy je krótko.
Analiza dokumentów: jest to metoda wykorzystywana przede wszystkim przez ewaluatorów zewnętrznych, ale także przez osoby zarządzające daną placówką. Mogą to być następujące dokumenty: curriculum vitae oraz spis publikacji pracowników danej jednostki, plany i programy studiów licencjackich i magisterskich, prowadzonych przez jednostkę (w trybie dziennym, wieczorowym i zaocznym), plany i programy studiów podyplomowych, plany i progra- my studium doktoranckiego, dokumenty prezentujące sylwetkę absolwenta, umowy o współpracy krajowej i między- narodowej, dokumentacja związana z tzw. grantami wewnętrznymi (np. sprawozdania z już zakończonych grantów), udostępniana za zgodą i w obecności przedstawicieli studentów dokumentacja samorządu studenckiego oraz działa- jących w jednostce studenckich kół naukowych. Zbierane informacje służą przede wszystkim udzieleniu odpowiedzi na pytanie o to, czy jednostka ubiegająca się o akredytację spełnia ustawowe oraz dodatkowe, ustalone przez od- powiednie komisje (gremia) wymogi formalne.
Analiza wytworów: z tej metody korzystają oprócz wyżej wymienionych podmiotów także studenci i nauczyciele akademiccy. W zakres analiz wchodzą więc: publikacje naukowe pracowników i studentów, raporty z badań, niepu- blikowane a udostępnione w lektorium czy bibliotece maszynopisy prac seminaryjnych studentów, magisterskich i
Tab. 1. Źródła danych w procesie ewaluacji
ANALIZA DOKUMENTÓW
• po co ?
• jakich ?
• od kogo ?
• w czyjej obecności ?
ANALIZA WYTWORÓW
• po co ?
• jakich ?
• od kogo ?
• w czyjej obecności ?
EWALUACJA OBSERWACJA
• po co ?
• kogo / czego ?
• gdzie/ kiedy ?
• jak długo ?
ROZMOWA
• po co ?
• z kim / o czym ?
• gdzie / kiedy ?
• jak długo ?
ARKUSZE EWALUACYJNE
• po co ?
• jak je konstruować ?
• kogo pytać ?
• o co pytać?
rozpraw doktorskich, niepublikowane, a udostępniane jak wyżej teksty referatów wygłaszanych przez pracowników, doktorantów i studentów na konferencjach krajowych i międzynarodowych, postery konferencyjne prezentowane np.
w formie wystaw lub stałej ekspozycji, plakaty, mapy pojęciowe i inne prace wykonywane przez studentów w trakcie zajęć warsztatowych czy laboratoryjnych (prezentowane w gablotach, eksponowane na specjalnych tablicach). Waż- nym wytworem jest także jakakolwiek forma gazety instytutowej czy wydziałowej. Wszystkie te wytwory mogą być oczywiście także prezentowane na stronie internetowej zakładu, katedry, instytutu czy wydziału. Zbierane tą metodą informacje pozwalają z jednej strony na lepsze poznanie się studentów i nauczycieli (rozpoznanie obszarów swych zainteresowań, poznanie swych osiągnięć), a z drugiej – poprzez upublicznianie wytworów w różnorodny sposób – uruchamiają swoisty rodzaj kontroli społecznej. Ewaluatorom zewnętrznym, z kolei, pozwalają np. na udzielenie od- powiedzi na pytanie o zgodność między wykładanym przedmiotem a kompetencjami merytorycznymi, widocznymi choćby w tym, co i w jakich miejscach jest przez pracowników publikowane.
Obserwacja: ta metoda zakłada bezpośredni kontakt ewaluatorów z tymi, którzy ewaluacji są poddawani, może być stosowana zarówno w czasie wizyty zespołu oceniającego w placówce (hospitacje zajęć, odwiedzenie biblioteki, lektorium, laboratoriów, archiwum, sali komputerowej, pomieszczeń, w których pracują nauczyciele i doktoranci), jak i przez nauczycieli akademickich w trakcie każdych zajęć. Jest wtedy podstawowym narzędziem monitorowania zmian zachodzących tak u studentów, jak i w ich grupie jako całości. Aby jednak rzeczywiście była pomocnym narzędziem dobrze, gdy nauczyciel w jakikolwiek sposób (i to jak najbardziej ekonomiczny) notuje swoje spostrzeżenia. Jest to szczególnie ważne, gdy prowadzi ćwiczenia (seminaria) w kilku grupach równocześnie w tym samym semestrze.
Zwykle jednak obserwacja jest metodą uzupełniającą, towarzyszącą innym metodom, czasami weryfikującą zebrane dane, a czasami wręcz odwrotnie – obserwacja wskazuje na obszary, które warto poddać dokładniejszym badaniom np. z użyciem kwestionariusza czy arkusza ewaluacyjnego.
Rozmowa: tu również mamy do czynienia z bezpośrednim kontaktem ludzi. Ta metoda najczęściej dostarcza dodat- kowych informacji, pozwalających na weryfikację danych uzyskanych w trakcie analizy dokumentów i wytworów, spostrzeżeń z obserwacji, ale także danych z kwestionariuszy i arkuszy ewaluacyjnych, szczególnie wtedy, gdy oso- by dokonujące ewaluacji mają sporo komentarzy i dodatkowych uwag. Tylko w rozmowie można bowiem wyjaśnić wszelkie wątpliwości, odpowiedzieć na pytania, uspokoić obawy.
Arkusze ewaluacyjne: posługiwanie się tą metodą wymaga pewnego nakładu czasu oraz nakładu finansowego.
Trzeba bowiem skonstruować, zweryfikować (np. stosując metodę sędziów kompetentnych), a następnie przygoto- wać odpowiednią liczbę arkuszy ewaluacyjnych. Dobrze jest mieć kilka różnych wersji tych arkuszy (w dalszej części tego rozdziału podaję kilkanaście ich przykładów1). Część z nich można stosować wielokrotnie w trakcie semestru (nawet na każdych kolejnych zajęciach), część natomiast nadaje się tylko do ewaluacji końcowej, realizowanej po zakończeniu albo semestru albo całego kursu (jeżeli przedmiot realizowany jest przez cały rok akademicki). Warto też, by czasami także nauczyciele akademiccy dokonywali ewaluacji grup studenckich, z którymi pracują. Najprost- szym i najszybszym sposobem zebrania zwrotnych informacji jest poproszenie studentów w ostatniej części zajęć, aby każdy sam (anonimowo) napisał na małej kartce swe uwagi, spostrzeżenia związane z dopiero co zakończonymi zajęciami. Może to dotyczyć wszystkich form zajęć: wykładów, seminariów, ćwiczeń zajęć laboratoryjnych czy ćwi- czeń terenowych. Wypełnianie arkuszy ewaluacyjnych wymaga czasu potrzebnego na zastanowienie się i udzielenie rzetelnej odpowiedzi i dlatego lepiej stosować je tylko pod koniec każdego semestru lub tuż po zakończeniu całego kursu lub cyklu zajęć.
3. Cele i przebieg ewaluacji etapowej
Ewaluację dokonywaną na bieżąco, w trakcie semestru (niekoniecznie na każdych zajęciach) można nazwać
“kroczącą”. Jej główny cel to monitorowanie zachodzących pod wpływem działania nauczyciela zmian: edukacyj- nych, indywidualnych i społecznych. Nauczyciel zyskuje tu stosunkowo szybko informacje zwrotne dotyczące nastę- pujących kwestii:
1 Podane przeze mnie wzory arkuszy ewaluacyjnych powstały w zespole: Anna Brzezińska, Tomasz Czub, Grzegorz Lutomski, Błażej Smy- kowski, Piotr Wiliński przy okazji realizowania następujących projektów edukacyjnych: (1) projekt Kształcenie liderów społeczności wiej- skich, realizowany na terenie całej Polski a finansowany przez Fundusz Współpracy w latach 1994-1997 (por.: Brzezińska, Potok (red.), 1996), (2) Studium Podyplomowe Szkoła Promująca Zdrowie, realizowane w Instytucie Psychologii UAM w Poznaniu we współpracy z In- stytutem Matki i Dziecka w Warszawie (z zespołem Pani Prof. dr hab. Barbary Woynarowskiej) w latach 1993-1996, (3) Studium Podyplo- mowe Promocja zdrowia w edukacji realizowane w Instytucie Psychologii UAM w Poznaniu w latach 1995-1998, (4) Studium Podyplomo- we Profilaktyka przemocy i uzależnień realizowane w Szkole Wyższej Psychologii Społecznej w Warszawie w latach 1999-2000.
• tempo uczenia się studentów,
• poziom rozumienia przekazywanych treści,
• jak dalece każdy sam lub w zespole potrafi wykorzystywać informacje podawane na wykładach, w toku ćwiczeń, w literaturze przy wykonywaniu różnych poleceń i zadań;
• trudności, na jakie uczestnicy napotykają w trakcie pracy nad zadaniami;
• jak dalece informacje zdobywane przez studentów od siebie nawzajem w toku pracy w zespołach są dla nich użyteczne w rozwią- zywaniu problemów pojawiających się na zajęciach;
• samopoczucie i poczucie bezpieczeństwa studentów;
• klimat panujący w całej grupie i w pracujących zespołach;
• poczucie studentów, że to, co robią na zajęciach będzie/nie będzie dla nich przydatne w ich działalności zawodowej.
Ewaluacja taka, systematycznie prowadzona, pozwala także na uświadomienie sobie przez studentów, co to znaczy “sytuacja edukacyjna”. Uwrażliwia ich na to, iż nie istnieją “sytuacje obiektywne”, iż jest to złudzenie naszego myślenia. To, co się dzieje na zajęciach to jedynie “propozycja”, która indywidualnie i przez każdego inaczej jest filtrowana przez pryzmat jego wiedzy, jego osobistych doświadczeń i oczekiwań. Prowadzi to w rezultacie do przypi- sywania przez studentów różnej wagi poszczególnym propozycjom osób prowadzących zajęcia i wpływa na to, iż każdy z nich w różnych fazach zajęć będzie się inaczej angażował oraz może wynieść dla siebie inne korzyści ze wspólnej pracy, mówiąc skrótowo - będzie “inaczej aktywny”.
Uświadomienie sobie przez studentów (i przez prowadzących!) istnienia czasami znacznie różniących się sposobów spostrzegania tej samej “bodźcowej” sytuacji i zrozumienie, dlaczego tak się dzieje, a także zaakceptowa- nie tego, jako faktu psychologicznego jest kluczem do efektywności zajęć. Pozwala to bowiem nie tylko na lep- sze dopasowywanie propozycji / oferty edukacyjnej do możliwości i oczekiwań studentów, ale także - co w świetle promowanego przez nas modelu edukacji osób dorosłych “ku obywatelskiej współpracy” ma niebagatelne znaczenie - pozwala na zapewnienie przynajmniej minimum koniecznego komfortu psychicznego, tak studentom, jak i ich na- uczycielom. A poczucie komfortu fizycznego i psychicznego, jak napisałam w poprzednim rozdziale stanowi warunek sine qua non poczucia bezpieczeństwa i u nauczyciela i u studentów. Traktuje się je jako podstawowy warunek efektywności procesu kształcenia, a zatem także jako warunek sprzyjający zmianom indywidualnym i zmianom w sposobie funkcjonowania grupy.
Dobrze jest, gdy także nauczyciele – osoby prowadzące różne typy zajęć od czasu do czasu (a przynajmniej pod koniec semestru) dokonują ewaluacji i udzielają studentom informacji zwrotnych odnośnie do ich sposobu funk- cjonowania na zajęciach, dyscypliny, czynionych postępów i uzyskiwanych efektów.
Aby dokonać ewaluacji w trakcie semestru można wykorzystać następujące sposoby:
• gotowe arkusze ewaluacyjne (o jak najprostszej formie, aby zabierały jak najmniej czasu i aby można było łatwo i szybko dokonać analizy zebranych informacji),
• krótkie podsumowania w zespołach każdego zakończonego zadania oraz prezentowanie wniosków na forum całej grupy,
• prezentacja przez 1-2 osoby z zespołu wykonanego plakatu, jako efektu pracy nad jakimś problemem,
• rozmowa ok. 2-3 minutowa w losowo dobranych parach na temat: co mnie zdziwiło, zaskoczyło, z czym miałem problem, z czego jestem zadowolony i potem rozmowa na ten sam temat w kręgu - w całej grupie,
• rozmowa prowadzona pod koniec zajęć - po zakończeniu pracy nad wszystkimi przewidzianymi planem zadaniami - w całej grupie siedzącej w kręgu lub dokoła jednego dużego stołu na temat: czego się dowiedziałem nowego dla siebie, co odkryłem, co zrozu- miałem, z czym trudno mi się zgodzić, z jakimi wątpliwościami wychodzę z zajęć.
4. Cele i przebieg ewaluacji końcowej
Ewaluacja końcowa przeprowadzana jest zwykle na ostatnich w cyklu zajęciach. Dobrze jest, gdy są one tak zaplanowane, iż na to ostatnie zadanie przeznacza się ok. 30-40 minut. Wtedy zwykle korzysta się z gotowych arku- szy ewaluacyjnych (patrz przykłady), których wypełnienie zajmuje więcej czasu niż to było przy ewaluacji etapowej.
Jeżeli w jednostce prowadzona jest ewaluacja pod koniec każdego semestru warto zadbać o to, by studenci nie otrzymywali dwa razy takich samych lub podobnych arkuszy ewaluacyjnych – jednego od nauczyciela, który zakoń- czył zajęcia i któremu potrzebne są informacje zwrotne jak najszybciej i drugiego od dyrekcji placówki, która potrze- buje tych informacji w innym zapewne celu i która udostępnia wyniki po długim czasie potrzebnym na opracowanie
danych pochodzących z różnych lat i różnych grup studenckich. Nie powinni też na jednych zajęciach wypełniać i jednych i drugich. Warto też uzgodnić z innymi osobami prowadzącymi zajęcia na danym roku studiów czas i formy takiej ewaluacji końcowej, aby studenci nie zostali postawieni w sytuacji wypełniania w przeciągu kilku dni w tygodniu kończącym semestr kilku czy kilkunastu arkuszy – każdego dla innego prowadzącego.
Jeżeli ewaluacja była dokonywana systematycznie w trakcie semestru końcowy arkusz może być bardzo prosty. Ponadto studenci nauczyli się już, jak udzielać “formatywnych” wypowiedzi, a i sam prowadzący dobrze wie, jakie postawić pytania, bo dobrze zna swoje grupy i poszczególnych studentów. Zwykle interesują go tutaj informacje na temat:
• samopoczucia studentów, “obszarów” ich zadowolenia i niezadowolenia z zajęć,
• poczucia, że otrzymali istotnie dla siebie nowe wiadomości,
• poczucia, że uczyli się lub doskonalili ważne dla siebie umiejętności,
• poczucia, że to, czego się uczyli przyda im się na dalszych latach studiów i/lub w działalności zawodowej,
• opinii na temat sposobu prowadzenia zajęć, stosunku nauczyciela do studentów, ich zaangażowania, poziomu przygotowania do zajęć,
• opinii na temat aktywności i poziomu zaangażowania innych studentów w trakcie zajęć, klimatu panującego w zespołach i w całej grupie,
• opinii na temat warunków pracy na zajęciach,
• opinii na temat jakości i przydatności w trakcie zajęć i w pracy domowej otrzymywanych materiałów (kopii różnych opracowań, schematów i tabel, tłumaczeń z języków obcych, raportów z badań, zestawów zadań, ćwiczeń, poleceń, pytań).
Natomiast arkusze do ewaluacji końcowej – tzn. te, które wypełniane są dla potrzeb dyrekcji placówki - po- winny zostać opracowane w zespole pracowników reprezentujących różne stany akademickie oraz zweryfikowane w rozmowach (konsultacjach) ze studentami, najlepiej z ich przedstawicielami w Samorządzie Studenckim. Powinna je także zaakceptować Rada Naukowa danej placówki (najlepiej po dyskusji i naniesieniu korekt) poprzez głosowanie).
4. Procedura i techniki ewaluacji odroczonej
Rzadko dokonuje się ewaluacji odroczonej uzyskanych efektów kształcenia. Przyczyną jest, po pierwsze, trudność określenia wskaźników efektywności kształcenia, a po drugie trudności techniczne w realizacji np. dostęp do studentów na dalszych latach, dostęp do absolwentów. Można jednak próbować zbierać takie informacje, jak:
• ocena przez studentów poziomu swego przygotowania do zajęć terenowych i praktyk odbywanych w różnych placówkach – do- konywana przed i po ich odbyciu,
• opinia opiekunów praktyk na temat przygotowania studentów i ich funkcjonowania w trakcie ćwiczeń terenowych, praktyk śród- rocznych czy wakacyjnych,
• opinia osób zatrudniających studentów starszych lat oraz zatrudniających absolwentów,
• opinia osób opiekujących się studentami – wolontariuszami,
• śledzenie kariery zawodowej i dróg awansu zawodowego absolwentów.
Podstawową metodą zbierania danych są tutaj różnego typu ankiety (także wysyłane pocztą lub via e.mail), a głównym odbiorcą uzyskiwanych informacji – zespół zarządzający placówką i odpowiedzialny za organizację pro- cesu kształcenia studentów na różnych formach studiów.
5. Prezentacja wyników ewaluacji
Jeżeli ewaluacja ma rzeczywiście spełnić swój cel i mieć charakter proaktywny (formatywny), to jej wyniki – po odpowiednim opracowaniu statystycznym i nadaniu im czytelnej formy graficznej – powinny zostać upublicznione.
W przypadku dokonywania ewaluacji przez samego nauczyciela w trakcie semestru oznacza to, iż on sam musi znaleźć czas na to, by każdorazowo opracować dostarczone przez studentów na arkuszach ewaluacyjnych informacje i przedstawić je – najlepiej na najbliższych zajęciach – w jakiejś postaci wraz ze swoim komentarzem.
Najprostszym i najszybszym sposobem jest uporządkowanie informacji poprzez podział ich na jakieś kategorie, np.:
podobało się – nie podobało się; warunki – materiały – grupa – prowadzący; efektywność – klimat itp. Wystarczy też, że przekaże studentom krótką ustną informację na początku najbliższych zajęć i ewentualnie krótko ustosunkowuje się do uwag, szczególnie do tych, które postulowały dokonanie jakichś zmian w jego sposobie pracy. Powinien też
jasno wskazać obszary, w których możliwe jest dokonanie zmiany i takie, w których jest to niemożliwe (oraz uzasad- nić, dlaczego jest to niemożliwe). Układem odniesienia zawsze powinien być program oraz wymagania przedstawio- ne studentom na pierwszych w semestrze zajęciach. Oznacza to, iż w przypadku ewaluacji etapowej zebrane infor- macje oraz ich interpretacje pozostają tylko w obszarze “pomiędzy” studentami a nauczycielem.
Inna jest sytuacja, gdy pod koniec semestru ewaluacja obejmuje wszystkie lata i tryby studiów oraz wszyst- kie przedmioty. W proces ten są bowiem włączone osoby trzecie, przede wszystkim osoby wprowadzające dane do komputera, opracowujące dane oraz zespól dyrekcyjny. Reguły opracowywania danych oraz ich udostępniania, a także wykorzystywania dla różnych celów (np. nagradzanie, awans, reprymenda, nagany) powinny zostać wypraco- wane i przegłosowane na spotkaniu Rady danej placówki w obecności przedstawicieli młodszych pracowników nauki oraz studentów. Najczęściej praktykowane jest udostępnianie każdemu pracownikowi jego wyników umieszczonych na tle wyników minimalnych i maksymalnych oraz wartości średniej arytmetycznej – albo dla danego typu zajęć (jak oceniony został mój wykład na tle innych wykładów) albo dla danego roku studiów (moje zajęcia na tle innych zajęć na tym samym roku). Upublicznia się natomiast tylko wyniki średnie na tle kontinuum: minimum – maksimum dla różnych form zajęć i na kolejnych latach studiów.
6. Podsumowanie
Podjęcie decyzji o tym, czy wprowadzać ewaluację czy nie i w jakiej formie wymaga zawsze rozważenia i
“zważenia” nakładów, kosztów oraz spodziewanych zysków, korzyści. Niewątpliwie stosowanie różnych procedur ewaluacji angażuje czas i środki finansowe, jest potencjalnym źródłem silnych, nie zawsze pozytywnych emocji, tak u studentów, jak i u ich nauczycieli. Ale wprowadzenie “nawyku” dokonywania ewaluacji zajęć już w trakcie semestru jest czynnikiem znacznie łagodzącym owe emocjonalne napięcia. Studenci uczą się rzeczowego wyrażania swoich opinii, nauczyciele spostrzegają, że pod ich wpływem mają coraz lepszy kontakt ze swymi studentami, efektywniej pracują i w rezultacie ich satysfakcja z pracy zwiększa się. Dzieje się tak jednak tylko wtedy, gdy nauczyciele są kompetentni, a studenci gotowi do respektowania zawieranych z nimi umów. Tab. 2a. pokazuje warunki efektywnej edukacji w opinii studentów – doktorantów jednego z wydziałów uniwersytetu2 (por. Brzezińska, 2001).
Z kolei Tab. 2b ukazuje sylwetkę dobrego nauczyciela akademickiego. Zadaniem doktorantów – uczestni- ków warsztatów było najpierw indywidualnie wypisanie na dziewięciu rombach dziewięciu cech dobrego, “efektywne- go” nauczyciela akademickiego i ułożenie ich w kolejności od najważniejszej do najmniej ważnej. Następnie pracując w parach losowo dobranych wyodrębnili dziewięć ważnych cech i ułożyli je ponownie od najważniejszej ich zdaniem do najmniej ważnej. Potem połączeni w 3 zespoły 6-osobowe wspólnie – drogą negocjacji – wybrali trzy cechy naj- ważniejsze. Ostatnim krokiem była dyskusja w całej grupie nad hierarchią tych cech. Wśród dziewięciu cech aż trzy razy pojawiła się “Kompetencja” nauczyciela. Pozostałe cechy to: mądrość, pasja, akceptacja, sprawiedliwość, kon- sekwencja i jasność stawianych studentom reguł i wymagań. Kompetencję nauczyciela potraktowano jako warunek sine qua non efektywnego kształcenia. Mamy o czym myśleć my - nauczyciele.
2 Są to wnioski z pracy zespołów doktorantów Wydziału Historycznego Uniwersytetu im. Adama Mickiewicza w Poznaniu w roku akademic- kim 2000/2001 w ramach prowadzonych przeze mnie zajęć warsztatowych pt.: Metody aktywizujące w kształceniu: podstawy budowania i ewaluacji projektów edukacyjnych. Uczestnikom zajęć dziękuje za entuzjazm. zaangażowanie i niestandardowe pomysły.
WSPÓŁPRACA na- uczyciela i studentów
KONTAKT
nauczyciela i studentów
MOTYWACJA
nauczyciela i studentów
PASJA
nauczyciela i studentów EFEKTYWNA
EDUKACJA
Tab. 2a. Warunki efektywnej edukacji
Tab. 2b. Wizerunek dobrego nauczyciela akademickiego
KOMPETENCJA
KOMPETENCJA KOMPETENCJA
MĄDROŚĆ PASJA
KONSEKWENCJA SPRAWIEDLIWOŚĆ
AKCEPTACJA
JASNOŚĆ REGUŁ
Literatura
Brzezińska, A., Potek, A. (red.). (1996). Kształcenie liderów społeczności wiejskich.
Warszawa – Poznań: Fundusz Współpracy /Cooperation Fund.
Brzezińska, A. (2001). Projekt warsztatów nt.: Metody aktywizujące w kształceniu: podstawy budowania i ewalu- acji projektów edukacyjnych. Poznań: Instytut Psychologii UAM (maszynopis niepublikowany).
