MARIAN KUCHARSKI Akademia M edyczna w Poznaniu
WARTOŚĆ PROGNOSTYCZNA WYNIKÓW TESTU Z FIZYKI STOSOWANEGO NA EGZAMINIE WSTĘPNYM W ODNIESIENIU DO WYNIKÓW Z BIOFIZYKI STUDENTÓW
I ROKU WYDZIAŁU LEKARSKIEGO AM W POZNANIU Ab s t r a c t. Kucharski Marian, Wartość prognostyczna wyników testu z fizyki stosowanego na egzami
nie wstępnym w odniesieniu do wyników z biofizyki studentów I roku Wydziału Lekarskiego A M w Poznaniu (The diagnostic value of the results of test in physics in entrance examination with reference to the results in biophysics of first year students in the A cadem y of M edicine in Po znań), „Neodidagmata" XXII, Poznan 1996, Adam Mickiewicz University Press, pp. 119-126. ISBN 83-232-0710-0. ISSN 0077-653X.
Research into the diagnostic accuracy of the results in physics established in entrance exa minations in the Department of Physician Training (Medical School) of the A cadem y of M edi cine in Poznań in the years 1 9 8 9 ,1 9 9 0 ,1 9 9 2 and 1993.
The criteria used to establish the level of accuracy were the results achieved by first year student's in biophysics. Reasonable diagnostic accuracy em erged, but only with reference to a standardized criterion in a trial examination in biophysics.
Marian Kucharski, Katedra Biofizyki, Akademia Medyczna im. Karola Marcinkowskiego, ul. Fredry 10, 61-701 Poznań, Polska-Poland.
WSTĘP
Prawidłowa selekcja kandydatów na studia jest jednym z ważnych czyn ników warunkujących odpowiednią jakość kształcenia w wyższej uczelni. Czynnik ten jest szczególnie istotny na tych kierunkach studiów, które cie szą się dużym zainteresowaniem absolwentów szkół średnich i na które licz ba przyjmowanych osób jest ostro limitowana. Należą do nich studia na wy działach lekarskich akademii medycznych. Od 1975 roku podstawowym, a od 1990 roku jedynym kryterium kwalifikacji na te studia jest wynik testo wego egzaminu wstępnego, na który składają się testy z biologii, chemii, fizyki i języka obcego, obejmujące program nauczania tych przedmiotów w liceum ogólnokształcącym, w klasach o profilu biologiczno-chemicznym.
Organizatorzy testowego egzaminu wstępnego dokładają starań, aby ten wymóg - trafności wewnętrznej testu [1, 2] był respektowany. Zostało to wymuszone, między innymi, przez uznawanie jako zasadne tych odwołań od wyników egzaminu wstępnego, w których podnoszono brak zgodności niektórych pytań testowych z obowiązującym programem nauczania.
W ostatnich latach wątpliwości w tej kwesti w odniesieniu do fizyki poja wiają się coraz częściej, bowiem formalnie obowiązujący program nauczania fizyki w wielu szkołach nie może być realizowany, z powodu wydatnego obniżenia (ze względów oszczędnościowych) liczby godzin dydaktycznych tego przedmiotu. W takim przypadku nie mogą być w pełni spełnione wa runki, które umożliwiają ocenę trafności wewnętrznej testu. Magnusson za licza do nich: „jasno i wyraźnie określony cel nauczania przedmiotu, znajo mość materiału nauczania oraz względnej wagi różnych jego partii” [1],
Obok trafności wewnętrznej testu, do ważnych jego cech zalicza się traf ność prognostyczną [1, 2]. Ocena trafności prognostycznej testu sprowadza się do badania, w okresie późniejszym, stopnia potwierdzenia jego wyników w odniesieniu do pewnej zmiennej kryterialnej [1]. W przypadku testu z fi zyki z egzaminu wstępnego do Akademii Medycznej takimi kryteriami mo gą być wyniki uzyskane przez studentów z biofizyki na pierwszym roku studiów.
ZAŁOŻENIA. CEL PRACY
Program dydaktyczny biofizyki na Wydziale Lekarskim AM realizowa ny jest w wymiarze 30 godzin wykładów i 45 godzin ćwiczeń laboratoryj nych w pierwszym semestrze. Opiera się na założeniu, że studenci mają opanowany, w zadowalającym stopniu, materiał z fizyki w zakresie progra mu nauczania tego przedmiotu w liceum ogólnokształcącym dla klas o pro filu biologiczno-chemicznym. Zatem przy badaniu wartości prognostycznej testu z fizyki stosowanego na egzaminie wstępnym, za zmienne kryterialne możemy przyjąć wyniki egzaminu z biofizyki oraz wyniki zaliczenia ćwi czeń laboratoryjnych z tego przedmiotu.
Za współczynniki trafności kryterialnej testu z fizyki przyjęto współczyn niki korelacji rangowej [3, 4] pomiędzy wynikami testu a wartościami tych dwóch zmiennych kryterialnych, jakie uzyskali studenci I roku Wydziału Lekarskiego.
Celem pracy jest sprawdzenie, na podstawie danych z lat 1989/90, 1990/91, 1992/93, 1993/94, jaka jest wartość wyników testu z fizyki z egza minu wstępnego jako predyktora wyników studentów z biofizyki.
Warunkiem koniecznym (ale niewystarczającym) trafności kryterialnej testu jest jego rzetelność, zależna od obiektywizmu punktowania oraz od obiektywizmu (bezstronności) sytuacji egzaminacyjnej [5]. Rzetelność roz
ważanych w pracy testów z fizyki nie była badana szczegółowo. Biorąc jed nak pod uwagę fakt, że zależy ona od mocy dyskryminacyjnej poszczegól nych pytań w teście [1], a w żadnym z czterech interesujących nas testów z fizyki nie było pytań źle dyskryminujących [2] - można przyjąć, że testy te, z punktu widzenia rzetelności, nie wzbudzają zasadniczych zastrzeżeń. Wia rygodność przyjętego kryterium wartości prognostycznej testu z fizyki zale ży też od tego, w jakim stopniu jego wyniki były istotnym czynnikiem w kwalifikowaniu na studia. Pewną orientację w tej kwesti, można uzyskać z rozkładu wyników testu osób przyjętych w danym roku na studia. Sporzą dzenie takich rozkładów i analiza informacji w nich zawartych musi być za tem wstępnym celem pracy.
WYNIKI I ICH OMÓWIENIE
Rozkłady wyników testów egzaminacyjnych z fizyki osób przyjętych na studia w latach 1989, 1990, 1992, 1993 (ryc. 1) wskazują na bardzo zróżnico wane ich przygotowanie z fizyki. Należy też brać pod uwagę pewną
nieade-23,6 10,2 A. 1989 r. n = 383 4,2 5,5 C. 1992 r. 24,9 n = 209 0,5 10-14 15-19 20-24 25-29 30-34 35-39 40-45 21,0 16,8 16,3 12,4 20-24 25-29 30-34 35-39 40-45 24,8 0,3 B. 1990 r. n = 290 10-14 15-19 20-24 25-29 30-34 35-39 40-45 3.9 1,0 D. 1993 r. B i , n = 204 25,0 1,5 10-14 15-19 20-24 25-29 30-34 35-39 40-45
Ryc. 1. Rozkłady (w %) wyników testów z fizyki na egzaminie w stępnym osób przyjętych na I rok W ydziału Lekarskiego AM w Poznaniu w latach 1989,1990, 1992, 1993 (test z fizyki za wierał 45 pytań)
kwatność tych wyników związaną z jednej strony - z brakiem obycia testo wego części osób przyjętych na studia, z drugiej strony - z dużym obyciem testowym innych osób z tej grupy (5). Brak danych z roku 1991 jest spowo dowany tym, iż w tym roku podawano tylko sumaryczny wynik testów egzaminacyjnych, bez wyodrębnienia wyników poszczególnych testów.
Uzupełnieniem ryciny 1 jest poniższe zestawienie zawierające informacje o procentowym udziale wśród przyjętych na studia tych osób, które w teście z fizyki uzyskały najniższą punktację (poniżej 20 punktów) oraz osób z naj wyższą punktaqą (30-45 punktów). Gdyby nie pewne zastrzeżenia dotyczą ce adekwatności wyników testu, osoby z pierwszej grupy należałoby uznać za niezadowalająco przygotowane z fizyki, a osoby z drugiej grupy - za nieźle przygotowane.
A B
(poniżej 20 punktów) (30-45 punktów)
1989 r. 27% 19,9%
1990 r. 8,9% 31,8%
1992 r. 8,6% 45,5%
1993 r. 4,9% 46,6%
Zmniejszanie się wśród przyjętych udziału osób z grupy A, a zwiększa nie się udziału osób z grupy B jest, jak się wydaje, następstwem obniżania stopnia trudności pytań testowych z fizyki oraz (w znacznie mniejszym sto pniu) wzrostu konkurencji w ubieganiu się o przyjęcie na studia (z około 2 do około 3 osób na jedno miejsce). Niewielką moc dyskryminacyjną fizyki w kwalifikacji na studia w 1989 roku można wytłumaczyć stosowanymi wów czas dodatkowymi kryteriami, tzw. punktami preferencyjnymi (za oceny na świadectwie maturalnym oraz za pracę w szpitalu).
Rozkłady wyników testów z lat 1989 i 1992 mogą wskazywać na uchy bienia dotyczące organizacji testowania - podstawowej cechy w hierarchii niezbędnych właściwości pomiaru dydaktycznego (2, 5). Z tego, między in nymi, powodu przy wyznaczaniu trafności prognostycznej poszczególnych testów z fizyki w stosunku do dwóch przyjętych kryteriów - oprócz „czy stych " współczynników korelacji (dla pełnego zestawu wyników w grupie studenckiej), liczono też tzw. „skorygowane” współczynniki korelacji, w ce lu wyeliminowania, przynajmniej części wyników (po dwie pary w każdej grupie, o największej różnicy rang), które mogą być następstwem błędów w organizacji testowania i wad tradycyjnych metod oceny (tabele la i 2a).
W 1989/90 roku i 1990/91 roku egzamin z biofizyki był egzaminem tes towym, a od roku 1991/92 - ma formę pisemno-ustną, ze wstępną kwalifi kacją w postaci krótkiego testu wiadomości.
Zasady zaliczania ćwiczeń laboratoryjnych z biofizyki nie zmieniały się. Studenci uzyskiwali zaliczenie na podstawie wyników z ćwiczeń, jeżeli
T a b e la la X X 1 9 vOCD o K * o ^ 0 c T NO CO O * vO o * m nO O LO i n NO CN w ł—i o o O o a * * *ON i h s t n tN c o > < rH o O o o i— on ★ON ON rH c o CN LO X ł-H O o O o r^. 00 o o 00 t-v o o t>s > n o vO i n CM t n ł-H X ł-H o o o O rH o o o O * * vO vO tN ON t n o n > o\ fN CN 00 Tfł nO Tt< tN X rH O O O O rH o o O O * * CO CN rH o r o NO o t o IN tN ł-H 00 ifN IN LO NO X ł-H O O ? o ł-H O O O o nO rH Cf\ In c o LO IN nO ł-H ł-H CO LO !*i rH o O o o ł-H O O o * * o ON m ł-H O On m rH LO no LO 00 m c > CN X rH O o o o rH O o o O LO CN 00 fN lO nD 00 in 00 00 łO NO vO IN X ł-H O o cT o ł-H O o O O on in o IN CN tn <T\ l o LO o o no LO o CN ł-H o o o o ł-H O o o' O nO vO ON CS CO LO CJN (N V ro o co IN IO tN ł-H ł-H O O o o rH o o O O CS co CN 00 o CN ON *LO (N rt< CN On CN ł-H ? O o ł-H O o O cjn tn CN no oo LO vn (N co no co ON in > CN o o O o ł-H o o o o (N ^ 0 00 o o CN o o CN O CN ł-H o 00 o CO tn tN ł-H ? O ? o rH o" o o O * * ★ nO On [N nO rH CN m nO C i CN CN LO lO 00 ND IN ł-H O O O o rH o o o C > 00 LO 'O 00 > m LO IN ro NO rH CN ł-H o o o o ł-H O o ? O * o nO ON in ON tn O cjn in v 0 co CN LO IN ł-H o o o o ł-H O o o O 00 LO CN ro co O m no NO <N tN CN o o o o ł-H O o o O co tN 00 o tn 00 fN o [ X co NO co IN rH IN o o o O O o O O sJ ri OJ 0» u c 01 0) u u v-T uvr ł-T j-T uir ł-T v\r 06/6861 16/0661
1993/ 94 1992/ 93 >1 ^ UJ n ^*1 o ę* w n ^¡n % D ►i v ” r> -T* n •-I ^ v> <6 j-t rc 3 CT5►i p OJ OO ON 0 4^ 01 p To o t—* O 4^ Ul p H-k On p OJ Ul O O NO »—» ro -o V oj O 'I—‘ ro O Tf* O p o t—OJ‘ O 00 o* O Ul oj¥ o 2* p Ul 00 * i-^ ro B 0 To 01 ¿> 4*> p OJ o i ro 00 VJ <b Ul Ul i On VI* To00 i oo NO s p to 4* O O O p o NO p o 4* H* OJ o V 00 O To ro p 00 * p ON OJ 00 < O 00 * p ON ro* p 00 o* O VI H-‘ * ro p ON Ul* o V ON p ON Ul* o V OJ k-‘ OJ < p w VI «t oro p To h-A i s >—» ro i o i To On p ro po oo H-ł ro i o ifc*Ul p To oj O 00 NO * o rf* 4* ro p ON O*n O VI* o VI 1—*» p Ul ON* >—i OJ p ui oj* o w 4^ p ON OJ* O 4* NO i—‘ <bO VI i To Ul o 4^ M p To ro i—» ro < p vi * p 4^ Ul p V I 4^* p Ul VJ* i—i 4^ p ON OJ+ o 4^ ro O To ro p o o H-» OJ $< p N3 ON p "I—k OJ o 00 OJ* p >—‘ o NO ¿> o V I i OJ o Too i te H-k h-» X O ON 00* o oj (—i p ON 4*J|Ł o V Ul* »—i p ro ¿>oV I o 4^ O o To OJ h-i t—l X p b o i—* * p ON OJ * o ui o o To V I i—» OJ O 4* O p H-k ro O On Ul* p 4* ro H-» ro X O 00 K> * p * p V j NO ♦ p V I o* i—* OJ O 00 o* p ON On * O ON OJ* o 4^ >ro—» 1 O ON W•* p i—» p ON V I * p 1—» ro p M 00 O O h-‘ Too )—1 O O ro i—» t—* X< p To ON i i—» VI o Ul OJ* O To OJ 4^ Too Ul <b o To o p o M >-* 4^ s O V I NO o OJ ro p To vO p o 00 O pTo 00 '£ o 4* V I p OJ OJ i—» 4^ X3 T a b e la lb
średnia wartość punktów ze wszystkich ćwiczeń była > 3 punktów (odpo wiednik oceny dostatecznej, punktacja poszczególnych ćwiczeń w sakli: 0; 2; 3; 3,5; 4; 4,5; 5; 6), bądź też po zdaniu kolokwium, które można dwukrotnie poprawiać.
Poza egzaminem testowym z biofizyki, w przypadku dwóch pozostałych zmiennych kryterialnych (wynik pisemno-ustnego egzaminu z biofizyki, ocena zaliczeniowa z ćwiczeń) warunki oceniania nie są standaryzowane, a w przypadku tej ostatniej (ocena z ćwiczeń) - nie są również standaryzowa ne kryteria ocen.
Od roku akademickiego 1991/92 egzamin z biofizyki studenci zdają w tzw. sesji ciągłej. Polega to na tym, że egzamin ten (biofizyka raealizuje swój program w I semestrze I roku) studenci są zobowiązani zdać do końca II ro ku. Poza tygodniową przerwą międzysemestralną, na I roku nie ma wyod rębnionego terminu na zimową sesję egzaminacyjną. Przygotowanie się do egzaminu z biofizyki zaraz po zakończeniu zajęć z tego przedmiotu, dla znacznej części studentów jest bardzo utrudnione, ponieważ koliduje z zaję ciami z innych przedmiotów (przede wszystkim z anatomii i z histologii). To tłumaczy, przynajmniej częściowo, dlaczego w odniesieniu do kryterium: wynik egzaminu z biofizyki (w formie pisemno-ustnej), a w pewnym sto pniu także w odniesieniu do kryterium: wynik zaliczenia ćwiczeń laborato ryjnych, wynik testu z fizyki okazał się tak słabym predyktorem. Wskazuje na to poniższe zestawienie danych zawartych w tabelach la i lb , informujące o istotnych współczynnikach trafności kryterialnej testów z fizyki (tabela 2).
T a b e l a 2
Istotne współczynniki korelaq'i 1989 1990 1992 1993
rt/e 45% 44% 12% 25%
ł
t/e 75% 69% 38% 56%ft/c 30% 38% 25% 19%
r5t/c 70% 75% 31% 50%
WNIOSKI
1. Wynik testu z fizyki na testowym egzaminie wstępnym na Wydział Lekarski AM w Poznaniu był znaczącym kryterium kwalifikacji na studia. Jego wartość dyskryminacyjna wydatnie wzrosła po zniesieniu punktów preferencyjnych i zastosowaniu testów o umiarkowanej skali trudności pytań.
2. Trafność prognostyczna wyników testu z fizyki w odniesieniu do wy ników z biofizyki (egzamin, zaliczenie ćwiczeń) jest dosyć umiarkowana - w
przypadku, gdy posługujemy się standaryzowanym kryterium (egzamin testowy), natomiast dla nie standaryzowanych kryteriów czy standaryzowa nych w nieznacznym stopniu, jest niewielka.
3. Przeprowadzone badania pozwalają stwierdzić, że stosowane rozwią zania dotyczące organizacji egzaminu z biofizyki niekorzystnie wpływają na jego wyniki.
4. Rozkłady wyników testów z fizyki stosowanych na egzaminach wstę pnych w latach 1989, 1990, 1992, 1993 wskazują, że w niektórych przypad kach (1989 r., 1992 r.) mogły wystąpić uchybienia w przeprowadzeniu egza minu, dotyczące kilku procent przyjętych na studia.
LITERATURA
M a g n u s s o n D., Wprowadzenie do teorii testów, PW N , W arszaw a 1981.
O b a r a M., N o s a l Cz.S., K rą ż y r is k i Z., Psychologiczne i pedagogiczne problemy kształcenia me dycznego, W ydaw nictw o AM, Poznań 1978.
G ó r a l s k i A ., Metody opisu i wnioskowania statystycznego w psychologii i pedagogice, PW N, W ar szaw a 1987.
G u ilf o r d J.P., Podstawowe metody statystyczne w psychologii i pedagogice, PW N , W arszaw a 1964. N ie m i e r k o B., Pomiar sprawdzający w dydaktyce, PW N, W arszaw a 1990.
