Analiza Edukacyjnej Wartości Dodanej jako miary efektywności pracy nauczycieli gimnazjów na przykładzie gimnazjów Poznania

Wdrażanie systemu reformy oświaty, poza jednolitym systemem egzaminacyjnym i wprowadzeniem ścieżki awansu zawodowego z równoległym systemem wynagradzania, wprowadziło nową wartość jaką jest edukacyjna wartość dodana (EWD), która ma być narzędziem do pomiaru dydaktycznego zastosowanego w szkole. EWD jako metoda jak i jako wskaźnik liczbowy (wyliczony według tej metody), która pozwala na oszacowanie efektywności nauczania jako wkładu danej szkoły w wynik egzaminacyjny, stanowiący przyrost wiedzy uczniów w wyniku danego procesu edukacyjnego [Dolata 2007 s. 6].

Edukacyjna wartość Dodana (EWD) wskazuje, w jaki sposób dla zbadania efektywności nauczania można wykorzystać wyniki osiągnięte przez uczniów ze sprawdzianów (po VI klasie szkoły podstawowej) i egzaminów zewnętrznych (po III klasie gimnazjum). Na wyniki uzyskiwane przez uczniów wpływ mają czynniki pozaszkolne (m.in. indywidualne zdolności, środowisko społeczne, kapitał kulturowy) oraz szkolne, w tym kwalifikacje i kompetencje nauczycieli. Podstawowa zaletą EWD

jest „oczyszczenie” wyników osiąganych przez uczniów z czynników indywidualnych i środowiskowych czyli pozaszkolnych.

Z terminu ekonomicznego wartość dodana oznacza „przyrost wartości dóbr w wyniku określonego procesu produkcji lub tworzenia usługi. Źródłem wartości dodanej jest praca [Wikipedia 2013], analogicznie EWD to „przyrost wiedzy uczniów w wyniku danego procesu edukacyjnego.” [IBE s. 1].

Przekazywane do publicznej wiadomości rankingi szkół, tworzone tylko na podstawie osiągniętych wyników końcowych (z egzaminów) nie dawały informacji o nakładzie pracy nauczycieli w poszczególnych szkołach i potencjale uczniów jaki otrzymała dana szkoła na „wejściu”. To powodowało, że samoistnie zaczęły się tworzyć grupy szkół. Powstała grupa szkół tzw. elitarnych, tzn. takich, do których przyjmowani byli uczniowie osiągający wysokie wyniki końcowe na niższym szczeblu nauczania. Druga grupa, to uczniowie osiągający średnie wyniki i grupa trzecia, to ci, którzy ze względu na czynniki społeczne czy intelektualne nie klasyfikowali się do żadnej z powyższych grup. Świadomość rodziców i uczniów skupiona była na wyniku uzyskiwanym przez uczniów z egzaminów gimnazjalnych z poprzednich lat, natomiast nie zwracano uwagi na wkład pracy nauczycieli, którego częściowym efektem (poza potencjałem ucznia) były uzyskane wyniki. Czyli nie poddano badaniu pracy nauczycieli, której rezultatem są wyniki osiągane przez uczniów.

Po egzaminach gimnazjalnych w 2005 roku, po raz pierwszy możliwe stało się przeprowadzenie miary opartej na wynikach egzaminacyjnych z trzech lat, do których wykorzystano na „wejściu” do gimnazjów - wyniki sprawdzianu po VI klasie szkoły podstawowej oraz na „wyjściu” - wyniki z egzaminu gimnazjalnego. Dla określenia EWD, wyniki ze sprawdzianów po klasie VI wykorzystane są jako miary potencjału edukacyjnego, czyli stanowią podstawę do oszacowania prognozy wyników osiągniętych na egzaminie gimnazjalnym tzw. wartość oczekiwaną. Różnica pomiędzy uzyskanym wynikiem a wartością oczekiwaną daje nam EWD. Oznacza to, że poprzez zakres objęty egzaminem, po oczyszczeniu wpływów czynników zewnętrznych niezależnych od szkoły, określamy wskaźnik efektywności nauczania czyli obliczamy wkład danej szkoły na osiągnięty wynik na „wyjściu”.

EWD obliczane corocznie dla wyników z trzech kolejnych lat daje EWD jednoroczne. Powstały ciąg danych i porównanie ich na przestrzeni kolejnych lat, powinno służyć jako wskaźnik poziomu uczniów, jak również oceny pracy szkoły w perspektywie wieloletniej [Stożek 2012 s. 30 - 33]. Interpretując informacje

uzyskane na temat EWD można stwierdzić, że poprzez wyliczoną różnicę pomiędzy wynikami uzyskanymi a oczekiwanymi, określamy pracę szkoły – nauczycieli - włożoną w przyrost wiedzy i umiejętności uczniów.

Dla przejrzystości odczytywania uzyskanych efektów pracy szkoły zastosowano graficzne przedstawienie danych w układzie współrzędnych XOY, gdzie:

- oś OX – oś odciętych - wyniki z egzaminu gimnazjalnego z danej szkoły (z trzech kolejnych lat)

- oś OY – oś rzędnych – wskaźnik EWD

- punkt O – (100;0) ponieważ przyjęto dla egzaminów skalę o średniej „100” i odchyleniu standardowym 15, a dla EWD średnią wartość „0”

W centrum układu współrzędnych wyrysowane dwie elipsy mające ułatwić interpretację pozycji danego gimnazjum (naniesionego jako trzecia elipsa) na podstawie ogółu badanych gimnazjów. Chcąc określić pozycję szkoły w porównaniu do innych szkół, rozpatrujemy ją względem środka osi współrzędnych, który wyznacza nam szkołę o neutralnych (przeciętnych) wynikach z egzaminu gimnazjalnego i neutralnym (przeciętnym) EWD. Mniejsza z elips, zawiera w swym obszarze 50% gimnazjów, a większa 90% gimnazjów z Polski. Wyrysowanie ich i naniesienie na nie trzeciej elipsy wynikającej z wyników i EWD konkretnego gimnazjum, pozwala nam na określenie sytuacji danej szkoły wobec innych szkół objętych badaniem. Wielkość błędów szacowania EWD i wyników gimnazjalnych wpływa na kształt elipsy.

Dlaczego pozycję wyznacza elipsa? Wynika to z procedury statystycznej stosowanej tam gdzie odpowiednie oceny formułowane są na podstawie wartości szacunkowych. Im większy błąd tym elipsa jest bardziej rozciągnięta wzdłuż odpowiedniej osi układu współrzędnych. A od czego zależy wielkość błędu? Od liczby uczniów – im większa liczba tym mniejszy błąd; i od zmienności wskaźnika EWD i wyników z egzaminów gimnazjalnych – im mniejsza zmienność tym mniejszy błąd.

Ponieważ zauważalne jest osiąganie różnego poziomu przez tych samych uczniów z egzaminów z części humanistycznej i matematyczno-przyrodniczej wszystkie badania dokonywane są odrębnie w tych dwóch podziałach.

szkoła EWD szkoła

wspierająca sukcesu II I wynik egzaminu szkoła szkoła

wymagająca III IV niewykorzystanych

pomocy możliwości

Wykres nr 53. Graficzne przedstawienie EWD i wyników z egzaminów

Źródło: http://gimnazjum.ewd.edu.pl/index.php [dostęp: 15.03.2013]

Odczytując wykres należy odnieść się do kontekstu w jakim szkoła uzyskała wyniki oraz mieć na uwadze to, że wykreślone elipsy pokazują jedynie efektywność i osiągnięcia mierzone testami egzaminacyjnymi [Kulon i Majkut 2010 s. 78].

Dzieląc wykres na cztery ćwiartki (I, II, II, IV), stworzone zostały pewne obszary różniące się EWD oraz wynikami z egzaminów. Oznaczenie ich we wskazany sposób oznacza odpowiednio:

1. I ćwiartka – szkoły sukcesu – wysokie wyniki z egzaminów i wysoka efektywność nauczania,

2. II ćwiartka – szkoły wspierające – niskie wyniki z egzaminów ale wysoka efektywność nauczania,

3. III ćwiartka – szkoły wymagające pomocy - niskie wyniki z egzaminów i niska efektywność nauczania,

4. IV ćwiartka – szkoły niewykorzystanych możliwości - wysokie wyniki z egzaminów lecz niska efektywność nauczania [Kulon i Majkut 2010 s. 81]

Przecięcie osi – szkoły neutralne – średni poziom wyników egzaminacyjnych i przeciętna efektywność nauczania.

Zastosowany został wskaźnik EWD w przedziałach trzyletnich. Autorzy publikacji twierdzą, że taki przedział czasowy pozwala niwelować występującą w wynikach niepewnością pomiarową. Im większa ilość danych tym jest mniejszy wpływ tej niepewności na szacowanie wskaźników dla szkoły. Tym samym, jak wskazują autorzy,

ewaluacja szkoły nie jest uzależniona od chwilowych zmian, jednorazowych „statystycznych kaprysów” zwiększających lub zmniejszających wartość wskaźników [EWD 2013].

Dokonując analizy wyników osiągniętych przez uczniów z poznańskich gimnazjów, z lat 2006 – 2008, 2007 – 2009, 2008 – 2010, 2009 – 2011, można stwierdzić, że w zakresie egzaminów zewnętrznych:

- z części humanistycznej:

1) 10 gimnazjów zakwalifikowanych zostało do I ćwiartki – „szkoły sukcesu” 2) 22 gimnazja zmieniają zakwalifikowanie z I ćwiartki – „szkoły sukcesu”

do „szkół neutralnych” i pozostałych ćwiartek tzn. II, III bądź IV

3) 3 gimnazja zakwalifikowane pierwotnie do III ćwiartki – „szkoły wymagającej pomocy” zakwalifikowane zostały wyżej (do innych ćwiartek) 4) 17 gimnazjów w czterech badanych okresach zakwalifikowane zostały bądź

w badanym okresie spadły do III ćwiartki „szkoły wymagającej pomocy”.

- z części matematyczno - przyrodniczej:

1) 21 gimnazjów zakwalifikowanych zostało do I ćwiartki – „szkoły sukcesu” 2) 5 gimnazjów zmienia zakwalifikowanie z I ćwiartki – „szkoły sukcesu”

do „szkół neutralnych” i pozostałych ćwiartek tzn. II, III bądź IV

3) 4 gimnazja zakwalifikowane pierwotnie do III ćwiartki – „szkoły wymagającej pomocy” zakwalifikowane zostały wyżej (do innych ćwiartek) 4) 22 gimnazja w czterech badanych okresach zakwalifikowane zostały bądź

w badanym okresie spadły do III ćwiartki „szkoły wymagającej pomocy”. Jak widać, większa stabilizacja w uzyskanych wynikach z egzaminów jest z części matematyczno – przyrodniczej, choć wyniki były niższe niż z części humanistycznej.

Zastosowanie wskaźnika EWD, jako jednego z wielu metod pomiaru pracy, może stać się szansą dla szkół w określeniu wkładu jakości pracy przy zastosowaniu ważnego elementu jakim jest przyjęcie danych na „wejściu” do szkoły. Zwrócenie uwagi na pomiar wkładu pracy jest szczególnie ważny dla szkół, do których na „wejściu” przyjmowani są uczniowie o niższym potencjale intelektualnym, czy osiągających niższe wyniki z innych względów np. społecznych. Porównywanie samych wyników tworzy hierarchię szkół pod względem liczby osiągniętych punktów natomiast nie uwzględnia wkładu pracy jaką należało ponieść żeby taki wynik osiągnąć. Okazuje się,

względem EWD. Oznacza to, że EWD jest pewnego rodzaju wyznacznikiem efektywności pracy, może podnieść znaczenie nauczycieli w jednostkach, które na „wejściu” otrzymują mniejszy potencjał, niższą jakość. Pewna grupa nauczycieli wykorzystuje ten argument i przyczynę niskich wyników osiąganych przez uczniów, uzasadnia środowiskiem z jakiego ci wywodzą się.

Nastąpiła zmiana, która pozwala na porównywanie jednostek osiągających słabsze wyniki z jednostkami renomowanymi, które na „wejściu” jako wartość dodaną otrzymują grupę uczniów osiągających wyższe wyniki. Z drugiej strony dla szkół, które osiągają wysokie wyniki, powinna być miarą utrzymania bądź spadku poziomu jakości, oceną pracy nauczycieli na przestrzeni lat.

Możliwość wyliczenia różnicy pomiędzy wynikiem oszacowanym w podany sposób a faktycznie osiągniętym daje „oszacowanie wartości dodanej na tym etapie kształcenia.

Średnia tak obliczonych wskaźników dla danej szkoły jest wskaźnikiem efektywności

nauczania w zakresie sprawdzanym przez egzamin” [IBE s. 1]. Z uwagi na to,

że istnieje rejonizacja uczęszczania do szkoły podstawowej i do gimnazjum w związku

z tym, EWD obliczane dla gimnazjów, uwzględnia warunki środowiskowe i kulturalne warunkujące osiągnięcia ze sprawdzianu i egzaminu będące warunkiem pozaszkolnym wpływającym na osiągnięcia uczniów.

EWD daje nam wskazówki o kondycji szkoły jednak nie wskaże nam działań jakie należy podjąć by dokonać zmian, gdy okaże się, że są one niezbędne. Rolą szkoły powinno być zdiagnozowanie potrzeb i ustalenie pod te potrzeby sposobu postępowania dla danej grupy uczniów. Stąd należy się zastanowić, czy dzisiaj środowisko przede wszystkim wpływa na wyniki uczniów, czy jednak to nauczyciele kształtują przyszły kapitał. Szkoła powinna działać w taki sposób, by minimalizować wpływ środowiska, szczególnie trudnego, na zachowania i osiągane wyniki egzaminacyjne.

Uwzględniając znaczenie wskaźnika EWD w pracy nauczycieli jest uzasadnione z uwagi na zakres jaki praca obejmuje. Ponieważ w rozprawie badany jest wpływ finansowania na jakość kształcenia, dlatego ważne jest spojrzenie na osiągane wyniki poprzez system awansu zawodowego i wynagrodzenia związanego z tym awansem.

Testy zawierają pewne dziedziny tematyczne, są ponadprzedmiotowe, dlatego na wynik wpływ ma grupa nauczycieli. Wyniki osiągnięte w przeprowadzonym badaniu będą wskazówką, przyczynkiem do porównania pracy nauczycieli, nie tylko pod względem rankingu ze względu na wysokość osiągniętego wyniku, ale pod względem wkładu wniesionego przez nauczycieli przy danym stopniu awansu zawodowego

w drodze edukacyjnej uczniów. Da to odpowiedź na pytanie, czy finansowanie narzuconego przez zapisy ustawowe ścieżki awansu zawodowego należałoby zmienić w taki sposób, by skierowane było na promocję dobrych i najlepszych, a pozostałych nie mających predyspozycji zmusić do zmiany sposobu pracy poprzez system motywacyjny lub przekwalifikowania. Może praca w innych warunkach dałaby im więcej satysfakcji, a tym samym nastąpiłby przyrost wskaźnika EWD w szkole, a w obszarze innego zawodu wzrost efektywności pracy i satysfakcji?

EWD jest dobrą miarą ale czy skuteczną na „wejściu”?. Jest to pierwszy etap, który spowodował powstanie następnego problemu jeszcze ważniejszego w procesie edukacji:

Czy po analizie wyników nie jest za późno na wprowadzenie zmian? Przecież ci uczniowie już odeszli i nie pomogliśmy im!

Dlatego najważniejsze jest, wykorzystać jak najskuteczniej posiadane wyniki z EWD i na tej podstawie, kosztem kilku roczników opracowanie planu działania, by zapobiegać negatywnym skutkom w stosowanych metodach nauczania I tu ciągle wracamy do roli szkoły i dyrektora jako zarządzającego by na bazie danych stworzyć EWD dla każdego nauczyciela, co byłoby miarą wkładu pracy, dając jednocześnie dając możliwość obiektywnej oceny.

Przywołanie w pracy EWD i jej znaczenia wynika z tego, że jest to pierwszy pomiar jakości nauczania. Natomiast ważne jest, nie tylko z finansowego punktu widzenia, rozpoznanie osiąganych efektów z obowiązującym obecnie systemem awansu zawodowego powiązanym z wynagradzaniem nauczycieli.

Stosowanie do pomiaru pracy wskaźnika EWD pozwala na:

- wykorzystanie przez nauczycieli potencjału uczniów okazuje, jak zbliżony potencjał został wykorzystany przez różne szkoły, czytaj – inni nauczyciele z innym zaangażowaniem, a może z innymi kwalifikacjami według stopni awansu zawodowego w KN.

- coroczna analiza wyników na „wejściu” i „wyjściu” oraz EWD pozwoli na stwierdzenie, czy w porę rozpoznany został potencjał i potrzeby oraz czy zostały podjęte odpowiednie kroki, działania by pomóc uczniom,

- czy stopnie awansu zawodowego, które są ściśle powiązane z finansami zastąpić nowym rozwiązaniem motywującym, dołożyć wspomaganie lub premiowanie tych, którzy chcą i potrafią pracować tak, żeby przyczyniać się do wzrostu

wiedzy i umiejętności, a nie tylko chcą pracować bo na pewnym etapie życia dokonali takiego wyboru?

- poprzez szybkie rozpoznanie potrzeb i możliwości na „wejściu” należy stworzyć plan pracy i monitorować jego wykonanie i efekty – rozwiązaniem jest przeprowadzanie testów co pół roku i analiza ich wyników w takim czasie, żeby można było dokonać zmian i pomóc uczniom jeszcze w gimnazjum przed egzaminami.