4. Założenia metodologiczne
6.7. Użyteczność procesu ewaluacji
Podobnie jak przy ewaluacji zewnętrznej także sam proces ewaluacji wewnętrznej miał istotny wpływ na funkcjonowanie szkoły – zidentyfikowano szereg efektów procesu ewaluacji, które zwią-zane były z samym faktem przeprowadzenia w szkole ewaluacji, niezależnie od dalszego wykorzy-stania otrzymanych wyników. Efekty ewaluacji wewnętrznych wiązały się z różnymi etapami same-go procesu – badani wskazywali zarówno na efekty pozytywne, jak i negatywne.
6.7.1. Efekty pozytywne
Większość badanych dyrektorów i nauczycieli potrafiła wskazać na pozytywne skutki samego proce-su, nawet jeśli ze sceptycyzmem podchodzili do użyteczności, czy też „odkrywczości” wyników pro-wadzonych ewaluacji wewnętrznych. W części przypadków można zakładać, że samo prowadzenie ewaluacji przynosi nie mniej korzyści niż jej rezultaty.
Rozwój współpracy i komunikacji w szkole, integracja nauczycieli.
Najpowszechniejszy pozytywny efekt ewaluacji wewnętrznej. Sprawniejsza komunikacja, lepsza współpraca i rozwój pracy zespołowej w ramach szkoły wskazywane były przez wielu badanych jako efekt prowadzenia ewaluacji wewnętrznej. Ma to miejsce przede wszystkim w odniesieniu
do zespołu ds. ewaluacji (chociaż także innych grup osób) – nauczyciele w ramach zespołu lepiej się poznają siebie, następuje wymiana doświadczeń i informacji wśród osób z różnych etapów edukacyjnych, uczących różnych przedmiotów. Praca w ramach zespołu ewaluacyjne-go jest okazją do zapoznania się ze specyfiką swoich przedmiotów, spotkań, dyskusji, integracji. Rozwój współpracy i pracy zespołowej ma miejsce na różnych etapach ewaluacji wewnętrznej – przy planowaniu ewaluacji, jej realizacji, ale także w trakcie mającej miejsce w wielu szkołach prezentacji jej wyników i dyskusji nad nimi. Zawiązana współpraca ma pozytywne rezultaty tak-że na co dzień po zakończeniu ewaluacji.
Jak wskazywali niektórzy badani praca zespołowa – np. przy planowaniu ewaluacji, czy kon-strukcji narzędzi, wymiana wiedzy i doświadczeń – ma kluczowe znaczenie z perspektywy od-powiedniej realizacji ewaluacji wewnętrznej – zwiększa szanse na sprawną realizację badania i zebranie ciekawych wyników.
Impuls do refleksji dotyczący własnej pracy i pracy szkoły.
Podobnie jak przy ewaluacji zewnętrznej, pozytywnym efektem ewaluacja wewnętrznej jest autorefleksja nauczycieli i dyrektora dotycząca ich własnej pracy i pracy szkoły. Ewaluacja sprzy-ja zastanawianiu się nad swoją pracą, identyfikowaniu problemów, ocenie stosowanych me-tod i ich skuteczności. Z wypowiedzi niektórych badanych wynika, że ewaluacja wzbudza chęć zmian wśród nauczycieli, przyczynia się do wyjścia poza rutynę. Można zakładać, że nawet jeśli w trakcie badania udzielają nie w pełni szczerych odpowiedzi, to jednak ewaluacja przyczynia się do tego, że zastanawiają się nad swoją pracą, podchodzą do niej z większym dystansem i krytycyzmem.
Mi się wydaje osobiście, że na pewno w jakiś tam głębszy sposób rozpoznajemy swoje własne miejsce pracy i środowisko pracy, przez te badania, przez wyciąganie wniosków.
Nauczyciele_miasto_k3
Zwiększenie zaangażowania, poczucia odpowiedzialności za pracę szkoły.
Z rozwojem refleksji dotyczącej własnej pracy podobnie jak w trakcie procesu ewaluacji ze-wnętrznej wiąże się wzrost zaangażowania nauczycieli w funkcjonowanie szkoły. Jak wynika z wypowiedzi badanych ewaluacja pokazuje gronu pedagogicznemu (ale także jeśli są angażo-wani dzieciom i rodzicom) że mają wpływ na szkołę, że ich opinia ma znaczenie. Jednocześnie mowa była także o rosnącej świadomości pracy nad wspólnym celem, poczuciem odpowie-dzialności za przebieg procesów dydaktycznych i wychowawczych, różnorakie realizowane działania. Pojawiały się głosy, że ewaluacja pokazuje nauczycielom, że efekty nauczania zależą od ich wspólnego wysiłku.
(...) rodzice, uczniowie czują się chyba może bardziej potrzebni, że my ich o to pytamy, dla nich też jest to ważne.
Nauczyciel_sp_wieś_k1 Poczucie wpływu na funkcjonowanie szkoły, poczucie odpowiedzialności w efekcie przy-czynia się do wzrostu zaangażowania w życie szkoły. Ma na to wpływ wspólne planowanie ewaluacji, jej realizacji, czy chociażby dyskusje nad wynikami i rekomendacjami. Z wypowie-dzi niektórych badanych wynika, że szczególnie istotne jest włączanie grona pedagogicz-nego w procesy decyzyjne, np. wybór przedmiotu ewaluacji, określanie jej celu, kluczowe kwestie, jako element demokratyzacji zarządzania szkołą – przyczynia się to do generalnie rosnącego zaangażowania i sprawniejszej realizacji samej ewaluacji.
Oczywiście – podobnie jak w przypadku ewaluacji zewnętrznej – zwiększona motywacja nauczycieli do pracy to nie tylko efekt refleksji nad własną pracą, ale także poczucia bycia kontrolowanym.
Nie ma jakby ważniejszego elementu, jak to, że każdy mówi: „moja szkoła”, a nie: „ta szkoła”. „Moje zadanie”, a nie „zadanie tego i tego”. Mnie zawsze na tym zależało i staram się właśnie, żeby każdy mówił o tej szkole, że to jest moja szkoła. To nie jest szkoła dyrektora, nie wykonuję zadań dla dyrektora.
Dyrektor_gim_miasto_k2
Pojawiały się także głosy o wpływie ewaluacji wewnętrznej na wzrost zaangażowania w ży-cie szkoły uczniów. Poprzez udział w różnorakich badaniach, byży-cie pytanym o opinie, wśród uczniów kształtuje się poczucie, że szkoła jest zainteresowana ich zdaniem.
Poprawa relacji z rodzicami.
W części szkół można mówić o wpływie ewaluacji wewnętrznej na relacje pomiędzy szkołą a rodzicami, zwiększenie zaufania rodziców do szkoły. Realizacja ewaluacji może stać się okazją do spotkania, nawiązania kontaktu z rodzicem. Jednocześnie szkoły poddające się ewaluacji wewnętrznej mogą być postrzegane jako placówki dbające o podnoszenie jakości swojej pracy, działają w sposób otwarty, nie obawiają się podejmowania trudnych, niewygodnych tematów. Podobnie jak w przypadku nauczycieli, czy uczniów znaczenie ma tu swego rodzaju dowarto-ściowanie, poczucie wpływu na pracę szkoły, rosnąca współodpowiedzialność.
Jeżeli nauczyciel czuje, pracownik czuje, że to jest jego miejsce, jego rola, jego życie i uczeń czuje się tutaj w tym miejscu, że to jest jego miejsce, jego życie, jego odpowiedzialność, jego szansa i rodzic ma przekonanie, że jego głos jest ważny, to jest to największy [sukces]. Ja myślę, że to jest ta zmiana. Bo rodzice potem po tej dyskusji, gdy się rozpoczął nowy rok, oni pytali, co z tymi zadaniami, które wtedy zostały wypracowane.
Dyrektor_lo_miasto_k2
Zmiany w podejściu do ewaluacji wewnętrznej i oceny pracy szkoły oraz wzrost kompe-tencji osób zajmujących się tym zagadnieniem.
Efektem ewaluacji bywa także wzrost kompetencji związanych z prowadzeniem ewaluacji, różno-rodnych analiz związanych z pracą szkoły przez osoby zaangażowane, szczególnie przez człon-ków zespołu ds. ewaluacji. Dotyczy to różnorodnych umiejętności – jak np. takiego wyboru przedmiotu ewaluacji, który sprawi, że będzie ona użyteczna, tworzenia planów ewaluacji, harmonogramów, doboru metod, przygotowania narzędzi badawczych, tworzenia raportów, formułowania wniosków.
Na pewno nabieramy specjalizacji w tych ankietach, jak już robimy ankiety, to już następnym razem wiemy, jak zadać pytanie, żeby uniknąć dwuznaczności.
Nauczyciele_sp_wieś_k1
Jednocześnie wskazywano na wzrost świadomości znaczenia ewaluacji wewnętrznych, dostrzega-nie ich efektów, poczucia, że dzięki ewaluacji mają możliwość przyjrzenia się sprawom ważnym dla szkoły, które umykają w codziennej pracy. Ewaluacja wewnętrzna w niektórych placówkach pozwoliła dodatkowo na uporządkowanie wykorzystywanych sposobów oceny i analizy pracy szkoły, rozwój innych analiz.
(…) Jeśli chodzi o te pozytywy to myślę, że samo to, że się tu dzieje coś, że ktoś o coś pyta, że zaczynamy sami czymś żyć, czyli wdra-żamy się w jakiś problem, który, problem nie w sensie problemu tylko zagadnienie, w którym im bardziej wchodzimy, tym mamy coś co jest ciekawego, co mogłoby nas zainteresować. Z pozycji powiedzmy nauczyciela, który zaczyna wierzyć, że jak się czegoś dowie, to lepiej będzie pracował on czy kolega, że może to przekazać. Natomiast odbiór, jeżeli uczeń widzi, że go pytają o kwestie, zaczęliśmy już mówić o tym bezpieczeństwie, niech będzie takim przykładem, o kwestie bezpieczeństwa, o kwestie jakieś tam, to znaczy, że widzą, że szkoła się uczniem interesuje. Nie tylko jakie będzie miał stopnie, bo to wydaje się, że to jest tylko najważniejsze działanie szkoły, natomiast pytają o inne rzeczy, próbują dowiedzieć się czegoś więcej, jak widzi w obszarze pewne zagadnienia. Więc myślę, że to jest też pozytywny odbiór, taki pozytywny efekt ewaluacji na etapie realizacji.
Dyrektor_ponadgim_miasto_k2
6.7.2. Efekty negatywne
Duża część badanych dyrektorów i nauczycieli nie dostrzegała negatywnych efektów procesu ewa-luacji wewnętrznej. W pewnym stopniu związane jest to z porównywaniem ewaewa-luacji zewnętrznej do wewnętrznej – stąd stwierdzenia, że nie wiąże się z takim stresem jak ewaluacja zewnętrzna, na-uczycieli, którzy nie byli członkami zespołów ewaluacyjnych deklarowali, że nie jest dla nich bardzo absorbującym zajęciem. Niemniej jednak niektórzy badani wskazywali na negatywne efekty, które można interpretować w kategoriach pewnego rodzaju trudności. Warto zauważyć, że wiele z tych trudności może być konsekwencją wyborów podjętych przez szkołę związanych z przedmiotem badania, stosowaną metodologią, formą raportu, itp.
Obciążenie czasowe, przeciążenie pracą, działania kosztem bezpośredniej pracy z uczniem.
Wśród części badanych dominuje przekonanie, że prowadzenie ewaluacji wewnętrznej jest zbyt dużym obciążeniem czasowym dla nauczycieli. Tego zdania byli przede wszystkim nauczyciele bezpośrednio zaangażowani w ewaluację, częściej także nauczyciele z mniejszych, wiejskich szkół (w których jak już była mowa obowiązki związane z ewaluacją wewnętrzną rozkładają się na mniejszą liczbę osób). Pojawiały się głosy, że konieczność zaangażowania się w ewaluację, odbywa się kosztem życia prywatnego, ale również pracy i kontaktu bezpośrednio z uczniem.
Ja więcej dobra wykonam, jeżeli bezpośrednio [podejdę] do swojego wychowanka, jakaś normalna szczera rozmowa, bo to się roz-mawia z tymi, co mają jakieś problemy, trudności (…). Daje to więcej dobrego niż jakieś papiery, ankiety. A w momencie, kiedy ja tutaj poświęcam tyle czasu, to ja już nie mogę iść, jako wychowawczyni i zająć się tak bezpośrednio, bo to jest coś za coś. I tak robimy to po pracy, po naszych godzinach.
Nauczyciel_sp_miasto_k1
(…) Wolę coś z dzieciakami zrobić, iść na zawody, na wycieczkę niż siedzieć nad ankietą i opracowywać dane. To jest po prostu odwa-lanie ankiet i pisanie tyle procent powiedziało to, a tyle tamto.
Nauczyciel_gim_miasto_k2
Najbardziej problematyczne i czasochłonne działanie to konstrukcja narzędzi badawczych, ze-branie i analiza zebranego materiału, opracowanie wniosków, przygotowanie raportu, czy też wskazywane przez badanych „przygotowanie dokumentacji” związanej z realizacją ewaluacji.
Inne negatywne efekty ewaluacji są silnie związane właśnie z obciążeniem czasowym nauczy-cieli, bądź jego konsekwencją:
Konieczność opracowywania i przygotowywania dokumentacji związanej z prowadzo-ną ewaluacji.
Narzekano na konieczność opracowywania i przygotowywanie dokumentacji związanej z re-alizacją różnych etapów badania ewaluacyjnego – harmonogramów, narzędzi badawczych,
raportów. Zdaniem większości nauczycieli i dyrektorów to najmniej pożyteczny element ewaluacji wewnętrznej. Tworzenie odpowiednich dokumentów jest zdaniem wielu ba-danych czasochłonne i niepotrzebne – nie służy polepszeniu pracy szkoły (czas ten mógłby zostać przeznaczony na pracę z uczniem). Podstawowym argumentem prze-ciwników ewaluacji wewnętrznej jest to, że bazuje na tworzeniu dużej liczby dodat-kowych dokumentów, z których potem nikt nie korzysta. I tak np. wielu badanych jako mało użyteczne ocenia spisywane raporty z badania, ceni natomiast wspólną dyskusję nad wnioskami.
(...) ewaluacja w takiej formie, jak w tej chwili, jest prowadzona, no troszeczkę dużo dokumentów, które z tym się wiążą i to na pewno nas bardzo obciąża. Bo ja jestem zwolennikiem jednak na bieżąco dyskusji, rozmów, zbierania opinii od rodziców, od nauczycieli, od uczniów niż przelewania tego tylko na papiery, przeliczania głosów, np. z ankiet, czy robienia jakiejkolwiek takiej papierowej diagnozy.
Dyrektor_ sp_miasto_k2
06: Tak, to jest negatywne, ponieważ robimy to samo, co robiliśmy, tylko że, niestety, więcej piszemy, większa liczba papierów, w związ-ku z tym tak naprawdę to nam to przeszkadza. Bo jest program i w tym momencie...
02: Ja bym wolała mieć czas na to, szukać dla dzieci (…)
02: A ja mam więcej pisania. No jak ja mogę zaszczepić miłość do języka czy do niuansów literackich, jeżeli ja nie mam czasu wyszukać tego.
01: Albo rozmawiam z rodzicami, człowiek z tyłu głowy musi mieć: „musicie podpisać, musicie podpisać”.
Nauczyciel_sp_miasto_k1
Zniechęcenie i malejące zaangażowanie w realizację ewaluacji bądź też udział w badaniu. Zidentyfikowany negatywny efekt to słabnące zaangażowanie i zniechęcenie nauczycieli do realizacji ewaluacji. Widoczne jest to w szczególności w sytuacji, gdy ewaluacji poddawanych jest w jednym roku zbyt wiele zagadnień. Frustrację badanych zwiększa także realizacja działań związanych z ewaluacją, które uznają za trudne, wykraczające poza zakres ich kompetencji (np. konstruowanie narzędzi badawczych i wspomniane poczucie niepewności co do poprawności materiałów).
Wskazywano także na zniechęcenie uczniów i rodziców do wypełniania ankiet w konsekwencji realizacji zbyt wielu badań (którego rezultatem z kolei mogą być mało rzetelne wyniki),
Rosnąca rywalizacja wśród nauczycieli, konflikty w gronie pedagogicznym.
W pojedynczych przypadkach wskazywano także na fakt, że ewaluacja przyczynia się do powstawa-nia niezdrowej rywalizacji wśród nauczycieli, w sytuacji, gdy bezpośrednio ich praca jest przedmiotem badania. Ponadto źródłem konfliktów bywa wspólna realizacja ewaluacji – nierówne zaangażowanie w prace, opóźnienia w realizacji ankiet, niskie zaangażowanie niektórych członków zespołu.
6.7.3. Odbiór wyników ewaluacji wewnętrznej
Badani dyrektorzy i nauczyciele różnią się w ocenie użyteczności wyników przeprowadzonych ewa-luacji. Część z nich uważa, że ewaluacja umożliwia szybką diagnozę danego problemu, sprawdzanie funkcjonowania szkoły w różnych obszarach. Wyniki ewaluacji bywają inspiracją do podejmowania działań, są źródłem nowych, ważnych, potrzebnych informacji. Z drugiej strony wielu badanych nie postrzega wyników ewaluacji wewnętrznej jako mechanizmu pozwalającego na uzyskanie nowych, czy zaskakujących informacji o szkole – badania raczej potwierdzają przypuszczenia respondentów, ewaluacja stanowi bardziej formę sprawdzenia poprawności realizacji obowiązków. Dyrektorzy i na-uczyciele uważają, że bardzo dobrze znają sytuację panującą w ich szkole, i że wybierając tematy badania często spodziewają się otrzymanych wyników. Nie oznacza to jednak, że jej wartość w takiej sytuacji jest odrzucana – tego typu potwierdzenie wiedzy, zdaniem części badanych też jest ważne i potrzebne.
Nie, nie, myślę, że nie było czegoś, co mnie tak hiper zaskoczyło, takie halo wielkiego.
Nauczyciel_gim_miasto_k2
Jeśli badani dyrektorzy i nauczyciele uważają coś za użyteczne bądź niespodziewane to najczę-ściej takie są wypowiedzi, opinie rodziców i uczniów odnoszące się do różnych aspektów funkcjo-nowania szkoły, a w niektórych szkołach także innych uczestników badania. Ważna jest możliwość poznania ich oczekiwań związanych z ofertą szkoły, zdania na temat pracy szkoły, czy nauczycieli, zdiagnozowania potencjalnych problemów – np. związanych z bezpieczeństwem. Są to często spo-strzeżenia, z którymi grono pedagogiczne nie ma do czynienia na co dzień, czasami wręcz sprzecz-ne z ich wyobrażeniami. Na przykład w jedsprzecz-nej ze szkół zaskoczeniem była deklaracja dotycząca chęci uczestniczenia uczniów w dodatkowych zajęciach z matematyki, w innej stwierdzono występowa-nie tzw. wagarów taktycznych – polegających na opuszczaniu przez młodzież występowa-niektórych lekcji, po to, żeby lepiej przygotować się do sprawdzianów mających się odbyć następnego dnia. Zarówno dyrektorzy, jak i nauczyciele za istotne i czasami zaskakujące uznają również najczęściej dane i ana-lizy związane z wynikami sprawdzianów i egzaminów zewnętrznych. Informacje takie są przydatne, zwłaszcza jeśli pozwalają na wyodrębnienie konkretnych zagadnień, które wymagają dodatkowej pracy. Zaskakujące natomiast bywają wyniki porównań z rezultatami osiąganymi przez inne szkoły – np. na poziomie gminy, województwa, czy ogólnopolskie.
Niektórzy nauczyciele wskazywali także, iż zaskoczeniem bywają dla nich metody nauczania stoso-wane przez innych członków grona pedagogicznego – ewaluacja umożliwia wymianę doświadczeń związanych z tym zagadnieniem, pozwala na szczególnie cenne zdaniem niektórych nauczycieli przemyślenia związane ze sposobem pracy z uczniami. Natomiast dyrektorzy wskazywali, że szcze-gólnie cenią informacje, dzięki którym mogą sprawniej zarządzać szkołą – np. dotyczące organizacji pracy, czy stanu bazy dydaktycznej i infrastruktury.
Nie wiem, czy będę umiał teraz podać taki przykład z pamięci. Ale zawsze stosunkowo najbardziej zaskakujące są jednak ankiety uczniów. Od nauczycieli, od rodziców to można przewidzieć coś z dużym prawdopodobieństwem, natomiast czasami są jakieś wątki, aspekty, na które by się nie wpadło. (…) Na przykład duże różnice, które czasami między klasami występują, czy w zależności od profi-lu zupełnie inne podejście do jakiegoś zagadnienia. Generalnie zawsze wynika z tego, że ci nasi uczniowie nie są monolitem i czasami my możemy uczniom przypisywać pewne tendencje, to dla mnie było też, nie powiem, w której ankiecie, ale takim zaskoczeniem, że często uczniowie, okazuje się, że duża część z nich jakby bardziej rygorystyczna, w jakimś sensie konserwatywna niż my.
Nauczyciel_lo_miasto_k1
Czego się dowiedziałem jeszcze o szkole? Znaczy dowiedziałem się, jak różnorodne zainteresowania mają nasi uczniowie, bo tego też się nie spodziewałem. Nigdy bym nie przypuszczał, że tak wiele osób zainteresowanych jest artystycznymi formami działalności, jak śpiewanie, jak koło teatralne. Tego bym się nie spodziewał i to mnie tak troszkę zaskoczyło, bo myślałem, że głównie to raczej sport, ewentualnie jakieś tam inne takie formy mniej angażujące. Jednak widać, że mamy uczniów dosyć interesujących.
Nauczyciel_ponadgim_miasto_k2