Zmiany w sposobie prowadzenia ewaluacji wewnętrznej

Nasze badanie prowadzone było w trakcie czwartego roku szkolnego, w którym szkoły zobowiązane były do prowadzenia ewaluacji wewnętrznej (począwszy od roku 2009/2010 do roku 2012/2013).

No nie, bo to akurat są bardzo oddalone od siebie te ewaluacje, co żeśmy przeprowadzali. Nie, jest cały czas takie samo.

Nauczyciel_gim_k2 W większości badanych szkołach w tym okresie w sposobach realizacji ewaluacji zaszły istotne zmia-ny, które wskazywane są bezpośrednio przez kierownictwo i nauczycieli w szkole, ale również możli-we do stwierdzenia na podstawie analizy dokumentów szkolnych i wypowiedzi odnoszących się do procesu w poszczególnych latach. Istotne katalizatory zmian to:

„ Doświadczenia (szczególnie często negatywne) zdobyte w ramach przeprowadzonych już ewa-luacji wewnętrznych w większości szkół miały znaczący wpływ na realizację kolejnych ewaewa-luacji.

„ Ewaluacja zewnętrzna w przypadku szkół, które ją przeszły. Obserwacje procesu, zapoznanie się z narzędziami, metodami badawczymi, a także konkretne wskazówki wizytatorów w dużej części szkół, które miały ewaluację zewnętrzną, nie pozostały bez wpływu na wewnętrzną.

„ Informacje ze szkoleń zewnętrznych, od zaprzyjaźnionych nauczycieli, dyrektorów, ekspertów (mniejszy wpływ, wskazywany w niektórych szkołach).

Co prawda niektórzy nauczyciele i dyrektorzy nie dostrzegają wpływu wcześniej prowadzonych ewaluacji wewnętrznych na kolejne, czy ewaluacji zewnętrznej na wewnętrzną, jednak analiza udo-stępnionej dokumentacji szkolnej i ich wypowiedzi wskazują, że taki wpływ w wielu przypadkach rzeczywiście miał miejsce.

Ogólnie rzecz biorąc obserwowany kierunek zmian można uznać za pozytywny – można mówić o mającym miejsce w placówkach procesie uczenia się, dla którego największe znaczenie mają do-świadczenia własne, często błędy, nieodpowiednie założenia, które w kolejnych latach były elimino-wane. Zmiany następujące w szkołach można obserwować w odniesieniu do większości aspektów związanych z prowadzeniem ewaluacji wewnętrznych w szkołach. Co szczególnie istotne można mówić też o występującej w pojedynczych szkołach większej swobodzie w podejściu do ewaluacji, która przejawia się np. wyborem bardziej problemowych, niestandardowych zagadnień, czy zmia-nach w sposobie organizacji ewaluacji.

„ Planowanie ewaluacji.

W związku ze zdobytym doświadczeniem etap planowania, jak wynika z wypowiedzi badanych, w części szkół przebiega zdecydowanie sprawniej, z zastosowaniem wypracowanych schema-tów działania. Dodatkowo w niektórych szkołach widoczna jest tendencja do bardziej szcze-gółowego i dopracowanego rozpisywania harmonogramu ewaluacji – doświadczenie zdobyte podczas poprzednich badań pozwala na lepsze zaplanowanie czasu potrzebnego na realizację poszczególnych etapów, uwzględniające np. możliwe trudności, określenie zakresu odpowie-dzialności poszczególnych osób itp.

„ Przedmiot ewaluacji.

Przedmiot ewaluacji to zagadnienie poddawane refleksji na przestrzeni lat, w którym w szkołach zachodzą chyba największe zmiany. Jedną z dość powszechnych tendencji jest ograniczanie liczby zagadnień poddawanych ewaluacji. Najbardziej znaczące zmiany dostrzeżono w szko-łach, które wcześniej ewaluowały wszystkie obszary i wymagania określone w Rozporządzeniu. Przy ostatnich ewaluacjach, w rezultacie refleksji, że mniejsza liczba zagadnień pozwala spraw-niej, rzetelniej zrealizować samo badanie, jak również zaimplementować wnioski, do badania wybiera się mniej obszarów (najczęściej dwa–trzy, nie więcej niż cztery).

Pierwszy rok, jak Pani zauważyła, to żeśmy się porwali na 3 wymagania albo nawet więcej, co było absurdem, teraz patrząc na to z miejsca, w którym teraz jestem. Nie wiedzieliśmy, o co to chodzi, chcieliśmy zobaczyć, na czym to polega i dopiero jak nam wyszło to, co wyszło, że niby nie jest źle, ale nie jest też genialnie, to dopiero zaczęliśmy wyciągać z tego wnioski.

Dyrektor_gim_wieś_k1

W jednym z techników w ostatnim roku zdecydowano się na niestandardowe podejście do ewaluacji – wprowadzenie bardziej kompleksowego podejścia przy ewaluacji wyników osiąganych przez uczniów z przedmiotów maturalnych oraz efektów dydaktycznych osiąganych na poszczególnych etapach nauczania (w klasach I, II i III). Ewaluacja w trakcie badania trwała i przewidywano, że obejmie wszystkich uczniów szkoły poprzez zorganizowanie powszechnego egzaminu diagnozującego ich wiedzę i umiejętności. W ewaluację zostali zaangażowani wszyscy nauczyciele, ponieważ każdy zobowiązany został do zaproponowania pytań egzaminacyjnych, na podstawie których tworzony jest arkusz diagnozujący wiedzę i umiejętności. W poprzednich latach w ewaluację wewnętrzną angażowali się nauczyciele będący członkami zespołów przedmiotowych lub prowadzący przedmiot maturalny/objęty egzaminem zawodowym, a wyniki prowadzonych analiz często były dyskutowane tylko w gronie zainteresowanych.

Ponadto widać tendencję do innego wyboru obszarów do badania – są one bardziej konkretne, poszukuje się obszarów potencjalnie problemowych, bardziej widoczne jest znaczenie czyn-ników wewnętrznych – kwestii istotnych z punktu widzenia funkcjonowania szkoły – niż ze-wnętrznych wytycznych. Zmiana ta bardziej odpowiada idei ewaluacji oraz przyczynia się do lepszego postrzegania ewaluacji wewnętrznej przez szkołę (przydatna metoda, a nie sztuczny

twór). Pojedynczy dyrektorzy wskazywali, że ewaluacja obszarów istotnych dla szkoły jest klu-czowa, bo wzmacnia użyteczność i poczucie celowości prowadzonych działań.

W badanej szkole podstawowej po ankiecie wśród uczniów i rodziców prowadzonej w ramach ewaluacji wewnętrznej dyrektor doszedł do wniosku, że nauczyciele nie dyżurują regularnie, spóźniają się na dyżury. W związku z tym następna ewaluacja wewnętrzna dotyczyła dyscypliny pracy nauczycieli w tym regularności dyżurów i punktualności.

W badanych szkołach widać było także różny sposób uwzględnienia wyników z wcześniejszych ewaluacji. W tych placówkach, w których do ewaluacji wybierane są wymagania określone w Rozporządzeniu, ewaluacje wewnętrzne mają charakter przygotowań do zewnętrznych, za-zwyczaj nie poddaje się badaniu zagadnień ewaluowanych w poprzednich latach. – wymaga-nie raz przeanalizowane, w którym wymaga-nie stwierdzono wymaga-nieprawidłowości, uznaje się za zbadane – do kolejnej ewaluacji wybierany jest inny obszar, chyba że rzeczywiście ewaluacja wykazała duże problemy.

W przypadku bardziej problemowego podejścia – zdarza się, że zapadają decyzje o podjęciu po raz kolejny tego samego tematu celem doprecyzowania, pogłębienia, sprawdzenia efektów wprowadzonych działań – lub o możliwości wyboru innego zagadnienia.

(…) wróciliśmy do kilku rzeczy po paru latach, czy rok po roku badaliśmy wdrażanie podstawy programowej, jak to wygląda. Czy tę stronę odnośnie egzaminów zewnętrznych, czyli wyników nauczania. Też po dwóch latach wróciliśmy, żeby sprawdzić, czy są efekty wdrażania rekomendacji. Czy sytuacja uległa poprawie? Czy nie pojawiło się coś nowego, co trzeba by było poprawić? Więc wracamy do tematów, które nas nurtują może w innym aspekcie, że tak powiem, ale dotykamy tego samego.

Nauczyciel_gim_wieś_k2

Czasami także na podstawie wyników ewaluacji wyłania się kolejny obszar do zbadania, np. w przypadku ewaluacji dotyczącej bezpieczeństwa pojawiły się informacje, które były spraw-dzane w roku następnym (miejsca w szkole, których wcześniej nie uwzględniono w pytaniach). Szczególnie silny jest wpływ tematyczny poprzednich ewaluacji na kolejne przy badaniu wyni-ków kształcenia, a więc zagadnieniu, które w wielu szkołach ewaluowane jest co roku. W tym przypadku w raportach zazwyczaj uwzględniane są wyniki z poprzedniego roku, wprowadzane są porównania.

(…) my się cały czas uczymy, bo to nie jest tak, że mamy coś wypracowane. Robiliśmy to dopiero po raz 3 w tym roku, więc my się tego uczymy. Ale jak już wybieramy coś, to co według nas jest ważne. Jest zespół do ewaluacji, który razem ze mną również wspomaga mnie w tym, czy ten wybór jest trafny, czy nie. Oprócz tego jeszcze zawsze jest to przegadane z Radą. I wtedy dopiero wybieramy, który obszar. Wybieramy kolejny zespół, który zajmuje się tym konkretnym wymaganiem.

Dyrektor_gim_wieś_k1

Poza tym widoczny jest wspominany już wpływ wyników ewaluacji zewnętrznej na wybór zagadnień do ewaluacji wewnętrznej. W większości szkół kwestie uznane za problematyczne w ramach ewaluacji zewnętrznej były w kolejnym roku badane w szkole. Ewaluacja zewnętrz-na wpływa również zewnętrz-na dostrzeżenie złożoności funkcjonowania szkoły, osadzenie wybranego obszaru badawczego w szerszym kontekście – wymagań.

Ogólnie rzecz biorąc wielu dyrektorów i nauczycieli dostrzegło wagę etapu planowanie ewalu-acji i wyboru jej przedmiotu – uznając je za kluczowe dla przebiegu ewaluewalu-acji.

„ Metody, techniki i narzędzia badawcze.

W ramach rozwoju ewaluacji wewnętrznej w szkole wprowadzane są także zmiany w stosowa-nych metodach badania. Doświadczenie nauczycieli zdobyte podczas prowadzenia ewaluacji

wewnętrznych przekłada się na bardziej odpowiednie dopasowanie technik badawczych i na-rzędzi do celu badania, zastosowanie nowych technik badawczych. Zazwyczaj zmiana polega na dołączeniu technik jakościowych do ilościowych, bądź odejściu od ankietowania na rzecz wywiadów indywidualnych, ze względu na możliwość zgłębienia tematu. Chociaż były też sy-tuacje przeciwne – np. rezygnacja z wywiadów na rzecz pytań otwartych w ankietach. Dodat-kowo w szkołach, w których prowadzono ewaluację zewnętrzną, widać wzorowanie się na jej narzędziach (np. planowane wprowadzenie arkuszy obserwacji na lekcji, prowadzenie wywia-dów według scenariuszy i inne).

W przypadku badań ankietowych duże zmiany następowały w sposobie konstrukcji kwestio-nariusza, a także zbierania danych. Widać tendencję do minimalizowania w kwestionariuszach ankiet liczby pytań otwartych na rzecz zamkniętych, zmniejszania kwestionariuszy, lepsze do-pracowanie kwestionariuszy, w tym np. większą świadomość czym są pytania sugerujące, jak odpowiednio konstruować kafeterię odpowiedzi.

Już mnie życie nauczyło, jak formułować. Jak dam rodzicom 5 pytań otwartych, to mogę sobie za przeproszeniem w buty wsadzić takie ankiety, bo nikt na to nie odpowie.

Nauczyciel_gim_k3

Ponadto zmienia się sposób dystrybucji i zbierania ankiet – nauczyciele przeprowadzają ankiety w trakcie zajęć, na których wiedzą, że uzyskają najwięcej odpowiedzi zwrotnych. Przeprowadza-nie ankiet zleca się wychowawcom klas na zebraniach z rodzicami, tłumaczy się użyte sformuło-wania, itp. Widać także tendencję do rozszerzania badanych grup – z czasem uwzględniana jest perspektywa różnych grup respondentów.

O: To znaczy na pewno, jeśli jest to ankieta, czy tam kwestionariusz ankiety, to żeby (…) to były pytania do wyboru, żeby rodzic wie-dział, czego się oczekuje. Bo jeśli jest to pytanie wolnej odpowiedzi, to rodzic robi kreskę i tyle.

B: A, nie wypełniają?

O: Nie wypełnia, bo nie wiadomo nigdy, czego oczekujemy. B: Czyli ograniczają państwo ilość po prostu tych pytań otwartych?

O: Nie chcą tam jakiejś gafy popełnić, zauważyliśmy, zresztą taka jest zasada, że wykreskowują i koniec, oddają, uciekają. To tak, jak ktoś robi ankiety po obserwacji zajęć, to to samo robią uczniowie. Tam, gdzie jest wolne miejsce, tam najczęściej jest kreska. A jeśli mają zaznaczyć, to zaznaczą. No nie wiem, dlaczego tak robią, ale tak robią [śmiech].

Nauczyciel_sp_miasto_k1

„ Analiza i raporty.

W ramach badania w niektórych szkołach zaobserwowano tendencję do doskonalenia sposo-bu analizy materiału badawczego, a także zmiany w konstrukcji raportów z ewaluacji. Im bar-dziej aktualne raporty, tym częściej pojawiają się w nich nie tylko wyniki ewaluacji, lecz także wnioski mające charakter wskazania mocnych i słabych stron funkcjonowania szkoły. Widoczna jest większa szczegółowość, uwzględnianie opisu narzędzi badawczych oraz próby badawczej w przedstawianiu wyników z badania, częściej pojawiają się też wskaźniki, pytania kluczowe. W niektórych szkołach forma raportu staje się bardziej atrakcyjna wizualnie, przystępna dla czy-telników. W przypadku niektórych szkół widać inspiracje raportami z ewaluacji zewnętrznej.

„ Upowszechnianie wyników.

Wraz z kolejnymi ewaluacjami w pojedynczych szkołach zaobserwować można bardziej otwarte podejście do upowszechniania ich wyników – np. publikowane bądź planowane jest opublikowanie raportów na stronie internetowej szkoły, wyniki prezentowane są szerszemu gronu (np. rodzicom, przedstawicielom organu prowadzącego itp.). Z jednej strony można

to wiązać z większą pewnością co do jakości wykonanej pracy, z drugiej widoczne tu są też wpływy ewaluacji zewnętrznej (w przypadku szkół, które przeszły ewaluację zewnętrzną). Ewa-luacja zewnętrzna ma też wpływ na sposób postępowania z wynikami na poziomie szkoły – w niektórych zaczęto organizować dyskusje grona pedagogicznego wokół wyników ewa-luacji wewnętrznej, prowadzone są prezentacje na wzór tych podsumowujących ewaluację zewnętrzną, więcej czasu poświęca się na wspólną refleksję nad tymi wynikami.

„ Osoby prowadzące ewaluację.

W ciągu ostatnich lat prowadzenia ewaluacji w szkołach przede wszystkim w niektórych z nich powołano zespoły do ewaluacji, rośnie też formalizacja ich pracy. Wraz z upływem czasu widać także wzmacnianie pozycji tych zespołów – w zależności od opisywanych wcześniej podejść do pracy zespołu – można mówić o powstawaniu stałych zespołów, w których znajdują się osoby najlepiej radzące sobie z tym zdaniem, bądź też wyłonieniem liderów takich zespołów, nauczycieli, do których dobierane są inne osoby. Na przestrzeni czasu wyłonieni więc zostali nauczyciele, którzy mają lepsze predyspozycje do prowadzenia ewaluacji wewnętrznej – są to zarówno kompetencje merytoryczne (np. umiejętność przygotowywania analiz z zebranych da-nych przejawiają często nauczyciele przedmiotów ścisłych), jak i pozamerytoryczne (np. umie-jętność organizacji pracy zespołu).

W zespołach, które pracują w stałym składzie dostrzegana jest większa integracja i porozumie-nie – członkowie zespołów znają swoje obowiązki, przyznają rówporozumie-nież, że lepiej rozumieją się wzajemnie. W niektórych szkołach można mówić o specjalizacji w wybranych zakresach (np. w opracowywaniu narzędzi, czy analizie danych).

W części szkół można także mówić o rosnącej autonomii zespołów ewaluacyjnych, ich większej decyzyjności, wpływie na wybór przedmiotu ewaluacji i sposobu jego realizacji. W niektórych szkołach formalnie członkami zespołu przestali być przedstawiciele kierownictwa szkoły, którzy nadal pełnią funkcje kontrolne nad ewaluacją. Niektórzy dyrektorzy podkreślali, że oddanie ini-cjatywy nauczycielom pozytywnie wpływa na ich motywację i poczucie odpowiedzialności za dany obszar badawczy.

(…) bo kiedyś był tylko dyrektor, kiedyś jeszcze wyższe władze, a teraz to tak bardziej nad zmianami też my sami pracujemy, w tych zespołach.

Nauczyciel_sp_wieś_k1

„ Ogólna organizacja ewaluacji – sprawniejsza realizacja, większa formalizacja.

Ogólnie rzecz biorąc w większości szkół wraz z czasem obserwuje się coraz sprawniejsze prze-prowadzanie ewaluacji. Prowadzący ewaluację wewnętrzną nabierają z roku na rok większego doświadczenia w prowadzeniu badania – w poszczególnych jego elementach wykorzystywane są istniejące już sprawdzone schematy działania, bądź też eliminowane są wcześniejsze błędy. Sami nauczyciele przyznają, że różne czynności związane z procesem wykonują z nieco większą swobodą i pewnością.

Więc doświadczenie zawsze jest przenoszone. Natomiast czy terminy, czy sposoby, jakieś wnioski, jeżeli okaże się, że wcześniej za-planowaliśmy jakieś badanie gdzieś w grudniu, a potem nam nie udało się tego zrobić z uwagi na to, że był to taki czas czy inny, to planując kolejną na pewno gdzieś o tym pamiętamy. Więc z każdego takiego badania, z każdego doświadczenia wynikają jakieś wnioski, które są w następnym działaniu uwzględniane. Niekoniecznie to gdzieś zapisujemy, formułujemy, itd. Ale to jest doświadcze-nie, z którego się korzysta.

Dyrektor_gim_miasto_k2

Z drugiej strony widoczny jest także – w dużym stopniu w konsekwencji ewaluacji zewnętrznej – większy nacisk na dokumentowanie procesu ewaluacji wewnętrznej, jego większą formalizację

– powołanie formalnych zespołów, tworzenie protokołów ich spotkań, spisywanie formalnych raportów, formułowanie wniosków na ich podstawie.

„ Zmiana nastawienia do ewaluacji, zrozumienie jej celu.

W niektórych szkołach badani podkreślają zmianę w swoim nastawieniu do ewaluacji – trochę większą pewność w jej realizacji, której towarzyszy lepsze zrozumienie jej założeń, a także tego, czemu ma służyć, znaczenia jakie może mieć w szkole.

Ma wpływ taki, że mamy większą wiedzę, większe umiejętności, bo jeżeli ja podchodziłam do metod nauczania, to ja o tej ewaluacji wcześniej, na początku nie wiedziałam nic. Tutaj, gdzie jestem, przy profilu szkoły, zdecydowanie większe są moje umiejętności, moja świadomość. Większe doświadczenie w tworzeniu ankiet, tych narzędzi badawczych. Chodzi o przygotowanie, o rozumienie tej istoty. Jak gdyby też taki pogląd na te sprawy, obiektywizm i też, takie przekonanie, że trzeba. To się zmienia z ewaluacji na ewaluację.

Nauczyciel_gim_miasto_k2