Przykłady

Poniżej przedstawione zostały przykłady analiz z wykorzystaniem serwisu http://pwe.ibe.edu.pl dla różnych poziomów agregacji (przykład 1 – województw, przykłady 2 i 3 – szkół), egzaminów (przykład 1

– egzamin gimnazjalny w części matematyczno-przyrodniczej, przykład 2 – sprawdzian, przykład 3 – matura na poziomie podstawowym z matematyki) oraz z wykorzystaniem zarówno wykresu podstawowego (przykłady 1 i 2), jak i zaawansowanego (przykład 3).

8.3.1. Przykład 1.

Jako pierwszy przykład posłużyć może analiza na poziomie makroskopowym. Porównane zostały średnie wyników zrównanych egzaminu gimnazjalnego w części matematyczno-przyrodniczej z lat 2003-2010 dla trzech wybranych województw (mazowieckiego, świętokrzyskiego, warmińsko-mazurskiego) oraz Polski (zob. Rysunek 8.3).

Rysunek 8.3. Średnie PWE (z 95% przedziałami ufności) z lat 2003-2010 dla trzech wybranych województw oraz Polski dla części matematyczno-przyrodniczej egzaminu gimnazjalnego Przedstawiona analiza wskazuje na istnienie znacznego zróżnicowania średnich PWE pomiędzy rozważanymi województwami, maleje on jednak z upływem lat. W roku 2003 różnica pomiędzy średnim wynikiem w województwie warmińsko-mazurskim i mazowieckim wynosiła blisko 7,3, a więc prawię połowę odchylenia standardowego41, natomiast w latach 2007-2010 nie przekraczała już 3,7 punktów na skali, czyli zmalała blisko dwukrotnie. Widać też, że o ile województwa warmińsko-mazurskie oraz mazowieckie utrzymują w następujących po sobie latach podobną pozycję względem wyników ogólnopolskich, o tyle dla województwa świętokrzyskiego obserwowana jest wyraźna zmiana. W latach 2003-2004 średnie wyniki w województwie świętokrzyskim były wyraźnie wyższe niż średnie wyniki ogólnopolskie i tylko nieznacznie (nieistotnie statystycznie) niższe niż w województwie mazowieckim, jednak obserwowany w pozostałych województwach oraz Polsce trend spadkowy z lat 2003-2004 utrzymał się w województwie świętokrzyskim aż do roku 2006. Spowodowało to, że w latach 2007-2008 średni wynik w województwie świętokrzyskim był porównywalny już nie z województwem mazowieckim, lecz ze średnią krajową i województwem warmińsko-mazurskim (które w tym czasie zdążyło wyraźnie zmniejszyć dystans dzielący je od wyników ogólnopolskich). Co więcej, obserwowany we wszystkich rozważanych województwach oraz w całej Polsce trend spadkowy z lat 2008-2010 przebiegał z większą intensywnością dla województwa świętokrzyskiego, i w 2010 roku osiągnęło ono najniższy (istotnie statystycznie niższy wyników ogólnopolskich) średni wynik spośród rozpatrywanych jednostek.

8.3.2. Przykład 2.

Analizy z wykorzystaniem PWE mogą również dotyczyć poziomu lokalnego. Jako przykład porównane zostały średnie wyniki zrównane na sprawdzianie szóstoklasisty w latach 2002-2013 w dwóch wybranych szkołach podstawowych oraz gminie, w której szkoły te się znajdują (zob. Rysunek 8.4). Widoczna jest znaczna zmienność średnich wyników uzyskiwanych w obydwu szkołach w czasie. W latach 2002-2003, 2006-2007 oraz 2010-2013 średnie wyniki obydwu szkół różniły się od siebie w sposób nieistotny statystycznie. W rozdzielających je okresach 2004-2005 oraz 2008-2009 różnice okazały się być istotne statystycznie, przy czym w pierwszym wypadku decydujące znaczenie odgrywała wyraźna poprawa średnich wyników w roku 2004 w szkole A, zaś w drugim wyraźne obniżenie średnich wyników w roku 2008 w szkole B. Obniżenie to było przy tym wyjątkowo duże – blisko granicy istotności statystycznej pomiędzy rokiem 2007 i 2008 oraz z istotną statystycznie różnicą pomiędzy rokiem 2008 i 200942. Niestety same wyniki PWE nie pozwalają dociec przyczyny zaobserwowanego zjawiska.

Rysunek 8.4. Średnie PWE (z 95% przedziałami ufności) dla dwóch przykładowych szkół podstawowych oraz gminy, w której się znajdują

Interesujące jest również zestawienie trendów wyników obserwowanych w szkołach ze średnimi wynikami w gminie. O ile w latach 2005-2008 obserwowany w gminie trend spadkowy odnotować można zarówno w szkole A, jak i w szkole B (w tym wypadku z wyłączeniem roku 2005), o tyle trend rosnący na poziomie gminy z lat 2008-2011 znajduje odzwierciedlenie jedynie w szkole B, zmiany w szkole A mają zaś odwrotny, spadkowy kierunek. Co więcej, rosnący trend w szkole B utrzymał się także w roku 2012, co pozwoliło jej po raz pierwszy od 10 lat osiągnąć średni wynik wyższy niż w gminie (choć nieistotnie statystycznie). Z kolei dość powolny, ale utrzymujący się przez 5 lat z rzędu trend spadkowy w szkole A w latach 2009-2013 sprawił, że w roku 2013 po raz pierwszy od momentu wprowadzenia egzaminów zewnętrznych jej średni wynik był niższy niż średni wynik w gminie (choć także nieistotnie statystycznie).

Największym ograniczeniem wykonywanych w serwisie pwe.ibe.edu.pl analiz na szczeblu lokalnym jest brak informacji o możliwych przyczynach obserwowanych zmian wyników. Aby dokonując analiz na tym szczeblu wyciągać wnioski o charakterze przyczynowo-skutkowym niezbędna jest dokładna znajomość

42

W praktyce bardzo rzadko spotyka się sytuacje, w której średnie wyniki PWE szkoły w kolejnych

latach różniły się od siebie w sposób istotny statystycznie.

środowiska pracy porównywanych szkół, co wymaga prowadzenia dodatkowych badań, także jakościowych (z uwzględnieniem np. ewaluacji wewnętrznej pracy szkoły).

8.3.3. Przykład 3.

Dokładniejszych informacji dostarczyć może wykres zaawansowany. W tym wypadku jako przykład wykorzystane zostały wyniki zrównane z lat 2010-2013 z matury z języka angielskiego w dwóch przykładowych liceach ogólnokształcących oraz gminie, w której znajdują się te szkoły (zob. Rysunek 8.5).

Rysunek 8.5. Kwartyle oraz minimalne i maksymalne wyniki nieodstające PWE matury z języka angielskiego dla dwóch wybranych liceów ogólnokształcących oraz gminy, w której się znajdują Analiza wykazała bardzo duże zróżnicowanie umiejętności pomiędzy uczniami w porównywanych szkołach. Uczniowie w szkole A osiągali wyraźnie słabsze wyniki zarówno od uczniów w szkole B, jak również od ogółu uczniów w gminie – w latach 2010-2011 najlepsi absolwenci liceum A osiągali wynik odpowiadający 3 kwartylowi gminy, a więc w skali gminy lepsze wyniki od nich osiągnęła aż ¼ uczniów. Z kolei mediana wyników w szkole A odpowiadała we wszystkich analizowanych latach zlokalizowana jest w okolicach 1 kwartyla wyników w gminie, a więc przeciętny uczeń tej szkoły osiągał wyniki zbliżone do 25% najsłabszych uczniów w całej gminie. Jeszcze bardziej jaskrawe jest zestawienie wyników liceum A z wynikami liceum B. W latach 2010-2011 najlepsi uczniowie szkoły A osiągali wynik tylko nieznacznie wyższy od mediany wyników w szkole B, a więc blisko połowa uczniów w szkole B osiągała wyniki lepsze niż najlepsi uczniowie w liceum A. Podobnie najsłabsi uczniowie w szkole B cały czas osiągali wyniki lepsze od ponad ¼ uczniów w A liceum.

W latach 2012-2013 szkoła A poprawiła nieco uzyskiwane wyniki. Szczególnie rzuca się w oczy polepszenie się wyników uczniów najsłabszych i ogólne zmniejszenie zróżnicowania wyników (wysokość skrzynki). Nie zmienia to jednak faktu, że cały czas jej absolwenci osiągali wyniki znacznie niższe niż w liceum B i w gminie.

Ciekawą cechą wyników uzyskiwanych w szkole A w latach 2010-2011 jest ich lewoskośność. Uczniowie o wynikach powyżej mediany byli więc znacznie mniej zróżnicowani od uczniów o wynikach powyżej mediany. Tą cechę rozkładu rozpoznać można po niesymetrycznym położeniu mediany w skrzynce szkoły oraz niesymetrycznej długości „wąsów” odchodzących od skrzynki.

Na zakończenie warto podkreślić, że obserwowane różnice między szkołami B i A nie pozwalają jednoznacznie stwierdzić, która z nich lepiej naucza. Szkoły te mogą w sposób wyraźny różnić się profilem, środowiskiem pracy, poziomem uczniów przychodzących do tych szkół po gimnazjum, itp. Nie posiadając wszystkich tych informacji należy zachować powściągliwość przy formułowaniu wniosków.