• Nie Znaleziono Wyników

Praktyka przygotowywania i przeprowadzania egzaminów w polskim systemie

W dokumencie produkty EE (Stron 59-62)

2. Jakość testów egzaminacyjnych

2.6. Praktyka przygotowywania i przeprowadzania egzaminów w polskim systemie

Praktyka przygotowania i przeprowadzania egzaminu zmieniała się w ciągu kilkunastu lat obowią-zywania w Polsce zewnętrznego systemu egzaminów. W CKE w latach 2009-2014 obowiązywało dziewięć różnych procedur przygotowywania materiałów egzaminacyjnych. W początkowym okre-sie przygotowaniem arkuszy egzaminacyjnych zajmowały się autorskie zespoły ze wszystkich OKE do każdego egzaminu. CKE dokonywała wartościowania i wyboru arkuszy z poszczególnych komisji do sesji głównej, dodatkowej i zapasowych zestawów do stosowania w sytuacjach krytycznych8. W pierwszych latach egzaminów zewnętrznych zbiór zasad przygotowania narzędzi egzaminacyj-nych zapisany był bardzo ogólnie i daleko odbiegał od wymagań stosowaegzaminacyj-nych na świecie i opi-sanych w Standardach dla testów stosowanych w psychologii i pedagogice (Hornowska, 2007). Główny nacisk położony był na procedury administracyjne dotyczące zachowania tajemnicy eg-zaminacyjnej podczas próbnego zastosowania zadań, recenzji nauczycielskich i akademickich. Przed zmianą podstawy programowej kształcenia ogólnego w 2008 r. wyprowadzone z podstawy programowej standardy wymagań egzaminacyjnych dla każdego egzaminu określały konstrukt

8 Na przykład w wypadku unieważnienia egzaminu dla całej szkoły lub grupy uczniów z powodu uchybień organizacyj-nych w przeprowadzeniu egzaminu.

definiujący umiejętności, które były przedmiotem sprawdzania na egzaminie9. Pierwsze sformuło-wanie Standardów wymagań egzaminacyjnych wprowadzone zostało rozporządzeniem ministra edukacji narodowej10 i stanowiły one układ odniesienia do analizy trafności dla autorów testów, jak i dla recenzentów (ekspert akademicki i ekspert nauczycielski). W kolejnych latach procedury były doprecyzowane zarówno na poziomie ogólnym, obowiązującym dla wszystkich egzaminów, jak i w części szczegółowej odnoszącej się do konkretnych egzaminów. Kolejne edycje procedur ustalane były w zespole dyrektorów OKE i CKE. Opracowane i przyjęte przez wymieniony zespół procedury w 2005 roku obejmowały już stosunkowo szeroki zbiór zasad ze specyfikacją parametrów psychometrycznych określonych na podstawie zastosowania zestawów egzaminacyjnych nazywa-nych w OKE i CKE standaryzacją. Podane były też specyfikacje dla przygotowania planu i kartoteki testu. Kolejne uszczegółowienie procedur przygotowywania narzędzi egzaminacyjnych to procedu-ry obowiązujące od 2007 roku11.

W procedurze określona była liczba zadań i maksymalna liczba punktów z podziałem na zadania zamknięte i otwarte oraz z podziałem na poszczególne standardy wymagań egzaminacyjnych, prze-dział łatwości dla całego testu i podtestów sprawdzających umiejętności w zakresie poszczególnych standardów wymagań egzaminacyjnych.

W kolejnych latach następowały zmiany (ustalane dla każdego roku) polegające na ograniczeniu liczby przygotowywanych arkuszy egzaminacyjnych w OKE. Poszczególne komisje w parach spe-cjalizowały się w pracach nad arkuszami egzaminacyjnymi do poszczególnych egzaminów. Stoso-wane były też rozwiązania polegające na przygotowywaniu testów w ogólnopolskich zespołach. Od 2007 roku do matematyki arkusze egzaminacyjne przygotowywane były przez Centralny Ze-spół Ekspertów Matematycznych (CZEM) pracujący w CKE w ramach projektu EFS, złożony zarówno z przedstawicieli poszczególnych OKE, pracowników wyższych uczelni oraz nauczycieli praktyków. Podobnie w latach 2010-2013 do sprawdzianu arkusze przygotowywane były przez ogólnopolski zespół złożony z przedstawicieli poszczególnych okręgowych komisji, którym koordynował dyrektor OKE we Wrocławiu.

Kolejnym, już bardzo rozbudowanym dokumentem są wdrożone procedury przygotowania testów egzaminacyjnych do egzaminu począwszy od 2015 roku12. Zostały w nim rozszerzone i uszczegó-łowione zasady standaryzacji (próbnego zastosowania), wymagania dotyczące recenzowania przez ekspertów w zakresie trafności testów oraz zakres analiz statystycznych. W tym dokumencie zawarto też szczegółowy harmonogram pracy nad testem w ciągu dwóch lat obejmujący wszystkie etapy przygotowywania i walidacji testu. Założono też, że do przygotowania arkuszy egzaminacyjnych mogą być wykorzystywane zadania stworzone w ramach projektu CKE-EFS Budowa banków za-dań. Zasady te, zastosowane już do egzaminu w 2015 roku, stanowią istotny krok w doskonale-niu zewnętrznego systemu egzaminów w Polsce w zakresie profesjonalizacji pracy nad testami egzaminacyjnymi.

Warto jednak podkreślić, że pomimo wprowadzanych zmian, stosowane w polskim systemie egza-minacyjnym rozwiązania nadal odbiegają od standardów obowiązujących na świecie i wymagają dalszego doskonalenia a może nawet radykalnych przedsięwzięć. Konieczne jest wzmocnienie CKE o ekspertów w dziedzinie psychometrii i współczesnej statystyki wykorzystującej teorię odpowie-dzi na pozycje testowe - IRT (Item Response Theory) a także wprowadzenie rozwiązań, które przy zachowaniu tajemnicy zadań egzaminacyjnych umożliwiłyby jednak pełną standaryzację testów 9 Standardy wymagań egzaminacyjnych będące podstawą przeprowadzenia sprawdzianu w ostatnim roku nauki w szkole podstawowej. http://archiwum.cke.edu.pl/images/stories/Standardy/masowe_spr.pdf.

10 Rozporządzenie Ministra Edukacji Narodowej z dnia 21 lutego 2000 r. w sprawie standardów wymagań będących podstawą przeprowadzania sprawdzianów i egzaminów, http://bip.men.gov.pl/men_bip/akty_pr_1997-2006/rozp_52.

egzaminacyjnych, co przy obecnej praktyce jest nadal niemożliwe. Obiecujące są zamierzenia CKE wprowadzenia tworzenia arkuszy z wykorzystaniem banków zadań.

2.6.2. Przeprowadzenie egzaminu

Egzaminy przeprowadzane są w terminach ustalonych przez dyrektora Centralnej Komisji Egzami-nacyjnej odrębnie dla każdego roku i ogłaszane na stronie internetowej CKE. Egzaminy odbywają się w podobnych terminach w kolejnych latach. Przestrzeganie stałych terminów zapewnia porów-nywalny między latami czas przeznaczony na edukację w poszczególnych latach, w miesiącach po-przedzających egzamin.

W przypadku sprawdzianu, egzaminu gimnazjalnego i maturalnego uczniowie zasiadają do egza-minu w szkole, do której uczęszczali. Dystrybucja materiałów egzaminacyjnych do szkoły organizo-wana jest centralnie, zgodnie z zamówieniami na arkusze egzaminacyjne przesyłanymi wcześniej przez szkoły do OKE. W zespole nadzorującym egzamin oprócz zespołu nadzorującego powołanego przez przewodniczącego uczestniczy także obserwator zewnętrzny (począwszy od roku 2003). Spo-sób przeprowadzenia, nadzorowania egzaminu i zabezpieczenia arkuszy przed nieuprawnionym ujawnieniem jest regulowany jednolitymi procedurami CKE. Przekazywanie prac do OKE i do oceny regulowane jest procedurami na poziomie OKE i w tym zakresie rozwiązania się różnią. Wstępu-ją dwa rozwiązania. Przewodniczący szkolnego zespołu egzaminacyjnego przekazuje (w ustalony przez dyrektora OKE sposób) prace do okręgowej komisji egzaminacyjnej, gdzie następuje wprowa-dzenie ich do ewidencji i rozdział do ośrodków oceniania lub odbiór i ewidencjonowanie prac po egzaminie prowadzone jest przez pracowników OKE bezpośrednio w ośrodkach, gdzie prowadzone jest ocenianie.

Organizacja oceniania

Wyłączając egzamin z historii i WOS egzaminu gimnazjalnego oraz z przedmiotów przyrodniczych, dla wszystkich pozostałych, arkusze zawierają zadania otwarte wymagające przydzielenia określonej punktacji przez egzaminatora zewnętrznego. Drogą do osiągnięcia porównywalności jest stosowa-nie jednolitych kryteriów oceniania, jak rówstosowa-nież odpowiednia organizacja oceniania w całym kraju. Ocenianie koordynowane jest przez koordynatora krajowego. W każdej okręgowej komisji egza-minacyjnej jedna lub dwie osoby odpowiedzialne są za merytoryczną koordynację oceniania. Na każdą sesję powoływani są przez dyrektora OKE egzaminatorzy, którzy przydzielani są do 18-20 osobowych zespołów egzaminacyjnych. Pracą takiego zespołu kieruje przewodniczący zespołu egzaminacyjnego (PZE). Egzaminatorzy oceniają prace w specjalnie przygotowanych ośrodkach egzaminacyjnych. Jedynie w pierwszych latach funkcjonowania systemu egzaminacyjnego ocenia-nie pod względem organizacyjnym było mieszane – część oceniania odbywała się w ośrodkach egzaminacyjnych, część w domu egzaminatora. W 2003 r. ocenianie mieszane utrzymano jedynie w OKE Łódź i OKE Poznań, a od 2004 do 2014 roku (włącznie) uczniowskie prace egzaminacyjne oceniane były w całym kraju wyłącznie w ośrodkach egzaminacyjnych. W 2015 roku w czterech OKE egzamin gimnazjalny z matematyki oceniany był w technologii e-oceniania z wykorzystaniem Internetu i własnych (domowych) komputerów egzaminatorów. W e-ocenianiu egzaminatorzy pra-cujący w rozproszeniu tworzą wirtualne zespoły nadzorowane przez PZE z wykorzystaniem dedyko-wanego oprogramowania.

Koordynator OKE uczestniczy w spotkaniu koordynacyjnym CKE, organizowanym bezpośrednio po przeprowadzonym sprawdzianie. Celem tego spotkania jest uzyskanie konsensusu co do schema-tów punktowania poszczególnych zadań otwartych. Koordynatorzy z OKE przywożą13 na spotka-nie dobraną celowo próbę prac uczniowskich, które są oceniane na spotkaniu zgodspotka-nie z kryteriami zaproponowanymi przez autorów arkusza egzaminacyjnego. Na tej podstawie analizowane jest 13 Obecnie przesyłają elektronicznie kopie prac.

funkcjonowanie kryteriów, w szczególności w kontekście nietypowych rozwiązań i interpretacji te-matu wypowiedzi pisemnej oraz proponowane są ewentualne korekty. Efektem prac zespołu ko-ordynatorów OKE i CKE są uzgodnione, doprecyzowane kryteria oceniania oraz jednolite materiały pomocnicze. Są one podstawą do szkolenia przewodniczących i egzaminatorów w danej sesji tuż przed ocenianiem.

Koordynatorzy OKE przeprowadzają szkolenie przewodniczących zespołów egzaminatorów (PZE) i koordynują ocenianie prac uczniowskich w obrębie danej OKE. Do koordynacji procesu ocenia-nia wykorzystywane są w komisjach różne rozwiązaocenia-nia z zastosowaniem technologii informacyjno--komunikacyjnych (TIK), w ramach których koordynatorzy mają bezpośredni kontakt synchroniczny lub asynchroniczny z PZE. Bywa to ważne przy rozstrzyganiu powstających podczas oceniania wąt-pliwości, szczególnie w przypadku nietypowych rozwiązań zadań egzaminacyjnych. Jeśli podczas sprawdzania egzaminator napotka rozwiązanie, które nie mieści się w ramach uzgodnionego sche-matu punktowania, zgłaszane jest to do koordynatora CKE, ustalane jest poszerzenie klucza odpo-wiedzi, o czym informowani są wszyscy koordynatorzy oceniania OKE. Należy jednak podkreślić, że w przypadku sprawdzianu niezwykle rzadko dochodzi do takich sytuacji – z reguły jednorazowe doprecyzowanie kryteriów oceniania na spotkaniu koordynatorów po przeprowadzonym spraw-dzianie jest wystarczające.

Przewodniczący zespołów egzaminatorów są odpowiedzialni za szkolenie egzaminatorów i zapew-nienie jakości i porównywalności oceniania w swoim zespole w tym za organizację podwójnego oceniania około 10 procent prac przydzielonych do oceniania w danym zespole.

W dokumencie produkty EE (Stron 59-62)