Kryteria jak fi ltry

Obecność kryteriów w projekcie badania wyróżnia ewaluację na tle innych badań. Kiedy czytamy, że ewaluacja to wartościowanie, ocena jakości czy badanie wartości naszych działań¹³², na horyzoncie pojawiają się właśnie kryteria oceny.

Dlaczego kryteria są ważne?

 Wskazują, co jest dla nas istotne i wartościowe w danym działaniu i świadczy o jego jakości.

 Pomagają w przejściu kolejnych kroków projektowania badania: ukierunkowu-ją pytania kluczowe i  pytania narzędziowe (te, które zadamy wprost naszym rozmówcom).

 Wartościowanie na podstawie przyjętych kryteriów jest punktem wyjścia do wyciągania wniosków i formułowania rekomendacji.

Dobierając kryteria, należy odpowiedzieć sobie na pytanie: co będzie dla nas ważne przy określeniu jakości realizowanych działań? (Jakie cechy/wy-miary składają się na jakość działania?). To samo działanie może być różnie po-strzegane w zależności od tego, jakie kryteria bierzemy pod uwagę. Wyobraźmy sobie, że interesujemy się metodami pracy stosowanymi na lekcjach języka

pol-132 Por. Ewaluacja w edukacji, Ofi cyna Naukowa, L. Korporowicz (red.), Warszawa 1997.

Wskazówki skiego. Na co innego będziemy zwracać uwagę, jeśli naszym kryterium będzie atrakcyjność metod pracy dla uczniów, a na co innego, jeśli uznamy, że ważna jest dla nas skuteczność w realizacji celów lekcji. W pierwszym przypadku zapy-tamy uczniów na przykład o to, które części lekcji im się szczególnie podobały i  dlaczego. W  drugim – możemy na koniec zajęć sprawdzić, czego uczniowie się nauczyli. Możemy również zdecydować, że oba kryteria są dla nas istotne.

Kryteria można porównać do fi ltrów, przez które patrzymy na nasze działania – skupiają naszą uwagę, wskazują, na jakie aspekty rzeczywistości mamy zwra-cać uwagę, co jest dla nas kluczowe w ocenie jakości naszych działań.

Kryteria powinny być:

 przedyskutowane i  wspólnie uzgodnione w  gronie osób zainteresowanych przedmiotem ewaluacji, a także uspójnione;

 sformułowane w sposób klarowny, tak aby nie było wątpliwości co do rozumie-nia danego kryterium.

Jeżeli w  ewaluacji na poziomie mezo i  makro nie będziemy dyskutować o kryteriach, realizatorzy badania odwoływać się będą do swoich subiektywnych wartości, co może uniemożliwić wyciągnięcie wspólnych wniosków odnośnie do jakości realizowanych działań i w efekcie uczyni badanie nieużytecznym. Na przykład trudno będzie oceniać tworzenie koncepcji pracy szkoły pod kątem demokratyczności, jeśli nie uzgodnimy i  jasno nie opiszemy, jak my (realizato-rzy koncepcji pracy szkoły) tę demokratyczność rozumiemy w kontekście pracy szkoły. Ktoś może rozumieć ją jako prawo do wnoszenia swoich propozycji przez różne strony (nauczycieli, rodziców, uczniów), ktoś inny –  jako zaangażowanie wszystkich tych grup w wybór jednej propozycji spośród kilku przygotowanych i przedstawionych przez nauczycieli. W efekcie, patrząc na te same dane, badacze mogą wyciągnąć zupełnie różne wnioski na temat jakości prowadzonych dzia-łań. Na przykład spotkanie z rodzicami i uczniami, na którym dyrektor szkoły pre-zentuje przygotowaną przez radę pedagogiczną koncepcję pracy szkoły i prosi o  zdecydowanie w  drodze głosowania, czy ją przyjąć, czy nie, zostanie uznane za demokratyczne przez tych, dla których demokratyczność to możliwość wy-boru i za niespełniające tego kryterium przez tych, dla których istotna jest moż-liwość wnoszenia własnych propozycji przez wszystkie zainteresowane strony.

Prof. Henryk Mizerek zwraca uwagę na wypaczenie roli ewaluatora – przy braku przejrzystych kryteriów staje się on „sędzią”, „kontrolerem”, który „wie le-piej, jak być powinno”¹³³, a nie uczestnikiem demokratycznego procesu, w któ-rym wszystkie opinie są ważne.

133 H. Mizerek, Efektywna autoewaluacja w szkole – jak ją sensownie zaprojektować i przeprowadzić [w:] Ewaluacja w  nadzorze pedagogicznym. Autonomia, G. Mazurkiewicz (red.) WUJ, Kraków 2011, s. 49.

Wskazówki

Formułowanie kryteriów badania może stać się punktem wyjścia do ważnej dyskusji o wartościach: Co jest dla nas wartością w danym działaniu? Czy wszyscy w szkole po-dzielamy te same wartości? To tylko niektóre z pytań, na które warto w szkole wspólnie szukać odpowiedzi.

Wróćmy do naszych przykładowych projektów i  uzupełnijmy je o  kry-teria.

Przykład 1

W  przypadku aktywizowania uczniów zarówno pojedynczy nauczyciele, jak i zespoły przedmiotowe za kryteria przyjęły powszechność, rozumianą jako aktywny udział wszystkich uczniów w lekcjach. Drugim kryterium jest atrakcyj-ność zajęć lekcyjnych dla uczniów. W trakcie dyskusji o kryteriach na poziomie szkoły nauczyciele uznali, że o jakości realizowanych działań świadczyć będzie atrakcyjność – jednak już nie tylko zajęć lekcyjnych, ale też pozalekcyjnych.

Trzecim kryterium będzie różnorodność obszarów działania szkoły, w których uczniowie mają szanse być aktywni.

Tabela 10. Projekt ewaluacji w szkole nr 1 – opracowanie własne Poziom

ewaluacji Szkoła Zespół nauczycieli Nauczyciel

Przedmiot

ewaluacji Aktywizowanie uczniów przez nauczycieli Obszar

ewaluacji

Działania podejmowane przez nauczycieli w celu zaangażowania uczniów w zajęcia prowadzone w szkole

Kryteria Atrakcyjność zajęć lekcyjnych i pozalekcyjnych dla uczniów Różnorodność obszarów działania szkoły, w których aktywizują się uczniowie

Powszechność rozumiana jako aktywny udział wszystkich uczniów na lekcjach

Atrakcyjność zajęć lekcyjnych dla uczniów

Przykład 2

Poniżej prezentuję kryteria dla każdego z  projektów ewaluacji w  naszym drugim przykładzie, gdzie przedmioty badania na poziomie mikro, mezo i ma-kro są różne.

W badaniach ewaluacyjnych, zwłaszcza tych, których przedmiotem są pro-jekty społeczne, najczęściej stosuje się następujące kryteria:

 trafność, czyli odpowiedniość przyjętych celów działania do zidentyfi ko-wanych problemów i/lub potrzeb odbiorców działań,

 skuteczność, czyli stopień realizacji zakładanych celów,

 efektywność, czyli relacje między nakładami, kosztami i zasobami (fi nan-sowymi, ludzkimi czy administracyjnymi) a osiągniętymi efektami dane-go działania,

 użyteczność, czyli odniesienie rzeczywistych efektów projektu do po-trzeb benefi cjentów,

 trwałość, czyli ciągłość efektów danego działania w dłuższej perspek-tywie.

Tabela 11. Projekt ewaluacji w szkole nr 2 – opracowanie własne Poziom

Jednak kiedy przyglądamy się działaniom realizowanym w szkole, wydaje się, że powyższe pięć typowych kryteriów ewaluacji nie wyczerpuje katalogu cech konstytuujących jakość działań podejmowanych w szkole. Poniżej prezen-tuję propozycje kilkunastu innych kryteriów, które mogą się okazać przydatne przy wartościowaniu działań prowadzonych w szkołach:

 aktywność,

 atrakcyjność,

 demokratyczność

 elastyczność,

 odpowiedzialność,

 otwartość,

 partnerstwo,

 partycypacja,

 powszechność,

 różnorodność,

 spójność,

 świadomość,

 transparentność/przejrzystość,

 zaangażowanie,

 zespołowość.

Pamiętajmy też zawsze o doprecyzowaniu, jak rozumiemy dane kryte-rium  (co zostało pokazane w omawianych powyżej przykładowych projek-tach).