Ewaluacja prawidłowości przebiegu egzaminu zawodowego

W sesji letniej 2006 szkoły ponadgimnazjalne po raz pierwszy organizowały egzamin potwierdzający kwalifikacje zawodowe dla absolwentów techników i szkół policealnych.

Po raz trzeci z kolei przeprowadzano egzamin potwierdzający kwalifikacje w zawodach robotniczych o trzyletnim cyklu kształcenia, a po raz piąty w zawodach robotniczych o dwuletnim cyklu kształcenia dla absolwentów zasadniczych szkół zawodowych. Sposób przeprowadzania tego egzaminu zarówno etapu pisemnego, jak i praktycznego stał się przedmiotem ewaluacji w celu oceny poprawności stosowania procedur egzaminacyjnych.

I. W jaki sposób poznańska Komisja przygotowywała dyrektorów szkół ponadgimnazjalnych do przeprowadzenia egzaminu potwierdzającego kwalifikacje zawodowe w roku szkolnym 2005/2006?

W marcu 2006 przeprowadzono szkolenia w zakresie stosowania procedur dla przewodniczących szkolnych zespołów egzaminacyjnych i ich zastępców. Od 6 do 12 czerwca 2006 roku przeszkolono kierowników ośrodków egzaminacyjnych, przewodniczących zespołów nadzorujących etap praktyczny dla absolwentów techników i szkół policealnych oraz przewodniczących zespołów egzaminacyjnych dla zawodów robotniczych i techników przede wszystkim w przypadku pracy egzaminacyjnej z wykonaniem. Każda szkoła/zespół szkół otrzymała druk procedur i instrukcji dotyczących organizowania i przeprowadzania egzaminu potwierdzającego kwalifikacje zawodowe w roku szkolnym 2005/2006, opracowany przez Okręgową Komisję Egzaminacyjną w Poznaniu.

Pracownicy Komisji podczas pełnionych dyżurów odpowiadali na wszystkie pytania i wątpliwości dotyczące organizacji egzaminów drogą telefoniczną, listowną lub elektroniczną.

II. Problematyka i wyniki ewaluacji

1. Czy szkoły zorganizowały i przeprowadziły egzamin zawodowy zgodnie z procedurami?

2. Czy działania członków zespołów nadzorujących były spójne z działaniami innych uczestników procesu egzaminacyjnego (pracownikami OKE w Poznaniu)?

3. Czy właściwie dokumentowano proces egzaminacyjny?

Podstawą do wnioskowania o prawidłowości procesu egzaminacyjnego były dane z protokołów prawidłowości przebiegu etapu pisemnego i praktycznego egzaminu zawodowego oraz analiza dokumentacji egzaminacyjnej.

W sesji letniej 2006 roku podczas egzaminu zawodowego na terenie województwa lubuskiego przeprowadzono 14 obserwacji, w tym 8 podczas etapu pisemnego i 6 praktycznego. W województwie wielkopolskim obserwowano 14 szkół podczas etapu pisemnego oraz 29 egzaminów różnych zawodów w ośrodkach egzaminacyjnych podczas etapu praktycznego. W województwie zachodniopomorskim było to 19 obserwacji (6 podczas etapu pisemnego i 14 podczas praktycznego). Łącznie przeprowadzono 76 obserwacji, w tym 55 w technikach i 21 w zasadniczych szkołach zawodowych. Obserwatorami byli przedstawiciele organów nadzorujących, prowadzących, ośrodków doskonalenia nauczycieli, Okręgowej Komisji Egzaminacyjnej w Poznaniu.

Okręgowa Komisja Egzaminacyjna w Poznaniu składa podziękowania wszystkim Państwu obserwatorom za podjęcie się tej społecznie ważnej funkcji.

7.1.1. Organizacja i przebieg egzaminu potwierdzającego kwalifikacje zawodowe

Etap pisemny oraz etap praktyczny dla absolwentów techników i szkół policealnych

Z uwagi na podobny sposób organizacji i przebieg etapu pisemnego egzaminu zawodowego dla absolwentów zasadniczych szkół zawodowych i techników oraz etapu praktycznego dla techników, ocenę prawidłowości przeprowadzenia ww. typów egzaminów opisano łącznie.

W obserwowanych szkołach materiały egzaminacyjne przechowywano w warunkach zapewniających ich ochronę przed nieuprawnionym ujawnieniem. W żadnej szkole nie naruszono przesyłek z zestawami egzaminacyjnymi.

Sale egzaminacyjne przygotowano właściwe. Uwzględniono odpowiednią odległość pomiędzy zdającymi, a dla absolwentów o specjalnych potrzebach edukacyjnych przygotowano oddzielne sale oraz dostosowano warunki przeprowadzania egzaminu do ich możliwości.

We wszystkich obserwowanych szkołach zapewniono ład i porządek podczas wchodzenia i zajmowania przez młodzież wyznaczonych miejsc w sali egzaminacyjnej.

Przygotowano dla zdających kartki z ich imieniem i nazwiskiem, datą urodzenia, numerem PESEL oraz nazwą i symbolem zawodu (w dwóch szkołach nie przygotowano dla zdających takiej informacji).

Zdających poinformowano o obowiązku zapoznania się z instrukcją zamieszczoną na pierwszej stronie zestawu, sprawdzeniu jego kompletności, sposobie kodowania numeru PESEL na karcie odpowiedzi (w dwóch szkołach pominięto ten element procedur).

W przypadku etapu praktycznego (w technikach) dodatkowo omówiono sposób numerowania stron w pracy egzaminacyjnej oraz konieczność zaznaczenia numeru zadania.

Niewykorzystane materiały egzaminacyjne umieszczano w oddzielnych kopertach i je zaklejono, choć w sześciu szkołach nie dopełniono tego obowiązku. We wszystkich szkołach zapisano czas rozpoczęcia i zakończenia rozwiązywania zadań egzaminacyjnych.

Zapewniono odpowiednią liczbę, skład oraz sposób rozmieszczenia członków zespołu nadzorującego w sali egzaminacyjnej, zapewniający możliwość nadzoru samodzielności pracy zdających. Nauczyciele przestrzegali procedury określające ich sposób zachowania -

zachowywano ciszę, nie zaglądano do prac zdających, nie udzielano wyjaśnień dotyczących zadań, nie wychodzono z sali.

W obserwowanych szkołach zdający podczas egzaminu pracowali samodzielnie, nie kontaktowali się między sobą, nie korzystali z niedozwolonych pomocy. W skali Okręgu odnotowano jednak unieważnienia arkuszy egzaminacyjnych przez przewodniczących szkolnych zespołów egzaminacyjnych z powodu niesamodzielnej pracy zdających.

We wszystkich obserwowanych szkołach odbiór od zdających kart odpowiedzi oraz kart prac egzaminacyjnych w przypadku etapu praktycznego w technikach zorganizowano sprawnie. Sprawdzano poprawność danych egzaminacyjnych zdających (numer PESEL, symbol zawodu, wersję arkusza, numer zadania) oraz w odpowiednim miejscu na karcie odpowiedzi i karcie pracy egzaminacyjnej naklejano naklejki z identyfikatorem szkoły.

Obecność zdających oraz odbiór kart odpowiedzi i kart pracy egzaminacyjnych potwierdzano na listach obecności. Skompletowane i uporządkowane materiały egzaminacyjne umieszczano w bezpiecznych kopertach oraz je zaklejano w obecności wszystkich członków ZN, obserwatorów oraz przedstawicieli zdających. Należy więc wnioskować, że nie wystąpiła jakakolwiek ingerencja w prace egzaminacyjne absolwentów. W każdej sali egzaminacyjnej sporządzono protokół przebiegu etapu pisemnego egzaminu zawodowego lub odpowiednio etapu praktycznego, który podpisali wszyscy członkowie Zespołu Nadzorujacego oraz obserwatorzy.

Podczas egzaminów nie wystąpiły sytuacje zakłócające ich przebieg, choć w jednym z ośrodków przeprowadzających etap praktyczny dopiero po upływie 180 minut zorientowano się, że czas trwania egzaminu powinien wynosić 240 minut.

Etap praktyczny

Pomieszczenia oraz stanowiska egzaminacyjne spełniały podstawowe wymogi bezpieczeństwa i higieny pracy. Maszyny i urządzenia wykorzystywane podczas egzaminu działały bez zarzutu.

Członkowie zespołów egzaminacyjnych zostali szczegółowo zapoznani z harmonogramem przebiegu egzaminu, zasadami prowadzenia obserwacji, punktowania zgodnie z kryteriami oraz stosowaniem procedur egzaminacyjnych. Nienaruszone zestawy egzaminacyjne rozdzielono na zmiany, zawody, stanowiska pracy dla zdających, dokumentację dla egzaminatorów, sprawdzono również ich kompletność.

We wszystkich obserwowanych ośrodkach zdawania sprawdzano na podstawie list obecności tożsamość zdających. Sprawdzano odzież roboczą (w jednym z ośrodków zdawania w zawodzie murarz absolwenci nie posiadali stosownej odzieży, ale dopuszczono ich do egzaminu) oraz przypadku określonych zawodów aktualne zaświadczenia o stanie zdrowia. Podczas każdego obserwowanego egzaminu zapoznawano zdających z jego przebiegiem oraz przeprowadzano instruktaż na stanowisku egzaminacyjnym.

Wszyscy zdający sprawdzili kompletność wylosowanego zestawu egzaminacyjnego oraz zapoznali się ze stanowiskiem egzaminacyjnym.

Podczas wykonywania zadania praktycznego zdający pracowali samodzielnie, nie porozumiewali się z innymi zdającymi, nie wypowiadali uwag i komentarzy, nie zadawali pytań dotyczących zadań. Egzaminatorzy prowadzili obserwacje, punktując czynności wykonywane przez zdających, nie naruszali procedur określających ich sposób zachowania - nie komentowano sposobu wykonywania czynności przez zdających, nie udzielano wskazówek, nie wychodzono z sali. Przewodniczący ZE wyznaczył zdającym kolejność prezentowania efektów pracy. Po zakończeniu etapu praktycznego egzaminatorzy zakodowali na kartach obserwacji liczbę punktów uzyskaną przez zdających w poszczególnych obszarach umiejętności zgodnie z arkuszami obserwacji. Przewodniczący ZE sprawdzali poprawność wypełnienia kart obserwacji, wpisywali każdemu zdającemu datę urodzenia, numer PESEL, symbol zawodu i oznaczenie tematu oraz umieszczali naklejki z identyfikatorem ośrodka egzaminacyjnego. Zawsze sporządzano protokół etapu praktycznego, który podpisywali członkowie ZE oraz obserwatorzy. Dokumentację egzaminacyjną przekazywano kierownikowi ośrodka egzaminacyjnego bezpośrednio po zakończeniu wszystkich czynności przewidzianych procedurami dotyczącymi etapu praktycznego.

7.1.2. Spójność działań członków zespołów nadzorujących z działaniami innych uczestników procesu egzaminacyjnego.

Warunkiem przystąpienia absolwentów zasadniczych szkół zawodowych, techników i szkół policealnych do egzaminu zawodowego było zgłoszenie ich przez szkoły macierzyste do OKE w Poznaniu za pomocą programu Hermes w terminie do 10 stycznia 2006r. 90%

przesłanych plików zawierało następujące usterki:

- błędy w imionach, nazwiskach, numerach PESEL, dacie i miejscu urodzenia, - błędnie zadeklarowane zawody,

- pomijanie uczniów, oddziałów, - niezgłoszenie całej szkoły,

- kilkakrotne zgłaszanie zdających bez sprawdzania jakości danych,

- błędna obsługa programu Hermes, polegająca na kasowaniu uprzednio wpisanych prawidłowych danych zdających,

- brak weryfikacji zdających, którzy zrezygnowali z przystąpienia do egzaminu zawodowego.

30% szkół przesłało dane egzaminacyjne, przekraczając obowiązujący terminem nawet o trzy miesiące, na tydzień przed terminem egzaminu zgłoszono zdających z dwóch szkół niepublicznych.

Praca członków zespołów nadzorujących i egzaminacyjnych podczas egzaminów polegała na kontroli poprawności danych egzaminacyjnych zdających, służącej identyfikacji pracy zdającego podczas sczytywania wyników. W szkołach i ośrodkach zdawania, w których przeprowadzano obserwacje, odnotowywano czynności sprawdzające poprawność danych egzaminacyjnych zdających. Jednak w skali Okręgu zdarzały się błędy w numerach PESEL zdających, brak naklejek z identyfikatorem szkoły lub ośrodka na kartach odpowiedzi.

Pomijano wersję arkusza i oznaczenia tematów, błędnie przenoszono liczbę punktów z kart obserwacji na karty odpowiedzi, błędnie sumowano uzyskaną liczbę punktów. Analiza kart pracy egzaminacyjnej w przypadku etapu praktycznego w technikach wykazała bardzo częsty brak podpisów członków ZN, co wymagało uzupełnienia i zakłócało proces wprowadzania wyników egzaminacyjnych do bazy danych.

Po wyjaśnieniu wszystkich błędów i usterek, związanych z identyfikacją zdających, proces generowania wyników egzaminacyjnych w Komisji poznańskiej przebiegał terminowo.

7.1.3. Dokumentowanie procesu egzaminacyjnego Etap pisemny i praktyczny

Szkoły/ośrodki zdawania przekazywały do poznańskiej Komisji, wraz z pracami zdających, zbiorcze protokoły z obu etapów egzaminu, do których załącznikami były:

protokoły przebiegu etapu pisemnego z każdej sali, protokoły etapu praktycznego w tym z każdego dnia z każdej zmiany w przypadku wykonywania zadania praktycznego, listy zdających, ewentualne decyzje o przerwaniu egzaminu, wykazy absolwentów, którzy nie zgłosili się na egzamin bądź przerwali egzamin. Rozliczenia materiałów egzaminacyjnych

dokonywano na podstawie specyfikacji z dostarczonych materiałów oraz protokołu przekazania/odbioru. Dokumentowanie procesu egzaminacyjnego służy porównaniu wszystkich danych egzaminacyjnych zdających z wersją elektroniczną w bazie danych.

W dokumentacji odnotowano następujące usterki i pomyłki:

- brak protokołów zbiorczych,

- brak oświadczeń o rezygnacji zdających z poszczególnych etapów egzaminu, - brak wykazu absolwentów, którzy nie zgłosili się lub przerwali egzamin,

- błędne podawanie liczby przystępujących, liczby nieobecnych i liczby tych absolwentów, którzy przerwali egzamin,

- błędne rozlicznie liczby materiałów egzaminacyjnych, - brak wersji arkusza lub tematu na listach obecności.

Porównywanie więc zgodności danych egzaminacyjnych w wielu przypadkach było niemożliwe i wymagało bezpośredniego kontaktowania się z dyrektorami szkół.