Analiza jakości kształcenia na podstawie ogólnopolskich rankingów szkól wyższych

A C T A U N I V E R S I T A T I S L O D Z I E N S I S

FOLIA OECONOMICA 217,2008 __________

Czesław D o m a ń ski, Jacek Białek Artur M ik u le c" ', Małgorzata Misztal

ANALIZA JAKOŚCI KSZTAŁCENIA NA PODSTAWIE

OGÓLNOPOLSKICH RANKINGÓW SZKÓŁ WYŻSZYCH

1. W STĘ P

W dobie społeczeństw a inform acyjnego, rozw oju badań statystycznych, wzrostu liczby baz i hurtowni danych zw iązanych z przetw arzaniem inform acji oraz rozpow szechnienia dostępu do Internetu często, przy w ykonyw aniu różne­ go rodzaju analiz mamy do czynienia z nadm iarem szczegółow ych inform acji. Jednym z głów nych etapów analizy je st w ów czas potrzeba ich redukcji i selek­ cji. Zdarza się również, że w zakresie badanego tem atu dysponujem y danym i zagregow anym i lub wynikam i analiz w postaci rankingów , nie m ając w szystkich informacji o przeprow adzonych obliczeniach, założeniach przyjętych przez au ­ torów, a tym bardziej w ykorzystanych danych statystycznych. M ówiąc inaczej, dysponujem y inform acją p rz etw o rzo n ą w tó rną i głów nym celem staje się w ów ­ czas w ykorzystanie tych w yników do dalszych obliczeń, analiz i interpretacji.

W niniejszym referacie przedstaw iono m etody oceny rankingów szkół w yż­ szych, tzn. metody statystycznej analizy danych w przypadku, gdy dysponujem y jedynie wynikiem uporządkow ania badanych obiektów (skala porządkow a) oraz wyniki z przeprow adzonych analiz. Przedm iot analizy stanow iły rankingi szkół w yższych (U niw ersytetów ) publikow ane w ogólnopolskich czasopism ach, ta­ kich jak: „P erspektyw y”, „W prost”, „N ew sw eek” za lata 2 00 5-200 7. Głównym celem było: po pierw sze, zbudow anie na podstaw ie istniejących rankingów (za­ w ierających znaczne elem enty subiektyw izm u) uogólnionego rankingu szkół w yższych. O biektyw izm uśrednionego rankingu polega na w ykorzystaniu kilku źródeł inform acji (rankingów ), lecz przede w szystkim na „uw olnieniu się od

Prof. zw . dr h a b ., Uniw ersytet Łódzki. [ Dr inż., adiunkt. Uniw ersytet Łódzki.

' Mgr, doktorant, Uniw ersytet Łódzki. ’ Dr, adiunkt. U niw ersytet Łódzki.

kryteriów ich budowy, przyjętych przez autorów ” - w obliczeniach posługujem y się jed y n ie m iejscam i przypisanym i poszczególnym uczelniom , po drugie, uzy­ skanie uśrednionej pozycji U niw ersytetu Łódzkiego na tle innych uniw ersytetów i jej ocena. D odatkow o w ykonano analizę skupień uogólnionego rankingu uni­ w ersytetów oraz ocenę istotności w pływ u poszczególnych składow ych rankingu „P erspektyw y” na pozycję UŁ w tym rankingu. W projekt ten zaangażow ano m agistrantów specjalności Statystyka i D em ografia - studentów IV roku kierun­ ku Inform atyka i Ekonom etria.

2. C H A R A K T E R Y ST Y K A RA N K IN G Ó W U N IW E R SY T E T Ó W

Od kilku lat, corocznie w czasopism ach ogólnopolskich takich jak: „P er­ spektyw y”, „W prost”, N ew sw eek”, czy „P olityka” publikow ane są rankingi oceniające poziom naukow y i jak o ść kształcenia w szkołach wyższych. Ich auto­ rzy zw racają uwagę na różne czynniki determ inujące ogólną klasyfikację uczelni w yższych w Polsce. W yniki rankingów prezentow ane są zw ykle w kilku zesta­ w ieniach, m.in.: łącznie dla w szystkich szkół w yższych, dla uczelni akadem ic­ kich, niepublicznych uczelni m agisterskich, czy w edług podziału uczelni na ekonom iczne, m edyczne, techniczne, uniw ersytety.

Ranking tygodnika „W p rost” pojaw ił się jak o pierwszy w Polsce (w 1993 roku), tj. pięć lat przed podobnym i rankingam i Perspektyw i R zeczpospolitej. W ocenie szkół w yższych nie porów nuje w szystkich uczelni łącznie, lecz w ramach różnych kategorii. W przeciw ieństw ie do innych rankingów nie bierze też pod uw agę oceny „w ystaw ionej” przez środow isko naukow e (sam em u so­ bie), które decyduje o ew entualnym prestiżu uczelni. Dane przekazane do ran­ kingu przez uczelnie są w eryfikow ane m.in. na podstaw ie danych M NiSW i GUS. Tygodnik W prost ocenia poziom naukow y i jak o ść kształcenia, osiągnię­ cia naukow e kadry, a także jak o ść pracy naukow ej. M aksym alnie przyznaje 100 punktów , a na łączną ocenę składają się ocena: „zaplecza intelektualnego” szko­ ły (do 60 pkt.), „procesu kształcenia” (do 20 pkt.), „szans kariery zaw odow ej” (do 15 pkt.) oraz ocena „w arunków socjalnych studiow ania” (do 5 pkt.).

„P erspektyw y” i „R zeczposp olita” skupiły się na ocenie uczelni pod

względem ich „prestiżu”, „siły naukow ej”, „w arunków studiow ania” oraz „um iędzynarodow ienia studiów ” . Każdy z w ym ienionych obszarów charaktery­ zow any je st przez kilka, bądź kilkanaście w skaźników (łącznie 29 kryteriów ), które d ają sum aryczną ocenę w zakresie od 0 do 100 punktów. „P restiż” (30% oceny) oznacza pow ażanie, jak im cieszą się absolw enci uczelni oraz jej pracow ­ nicy w środow isku naukow ym. „Siła naukow a” (40% oceny) oznacza zdolność uczelni do prow adzenia badań naukow ych. „W arunki studiow ania”, stanow ią

20% ogólnej oceny i są m ierzone poprzez w skaźniki: dostępności pracow ników naukow ych dla studentów , zasoby biblioteczne, bazę czasopism , kom puteryza­ cję, czy m ożliw ości rozw ijania zainteresow ań itp. O statnim czynnikiem , m ają­ cym w pływ na wynik rankingu je st „um iędzynarodow ienie studiów ”, które sta­ nowi 10% łącznej oceny.

„Newsweek”,

dentów do podjęcia pracy i sprostania w ym ogom rynku pracy. Badanie ankieto­ we z tego zakresu przeprow adzane je st w ponad 600 najw ażniejszych firm ach w Polsce, tj. bankach, spółkach giełdow ych, tow arzystw ach ubezpieczeniow ych, firm ach reklam ow ych, czy instytucjach państw ow ych. A nkietow ane są osoby do 33 roku życia, zatrudnione na stanow iskach sam odzielnych, kierow niczych i dyrektorskich, a pytania dotyczą przede w szystkim uczelni, ja k ą ukończyli. W yniki porządkuje się w edług udziału osób na stanow iskach kierow niczych, dyrektorskich oraz sam odzielnych w stosunku do ogólnej liczby absolw entów danej uczelni.

N ieco inną form ułę rankingu przyjęła „ P o lity k a ” . N ie zestaw ia się w nim uczelni, lecz jed y n ie siedem najpopularniejszych kierunków studiów , ranking szkół publicznych obejm uje: ekonom ię i zarządzanie, inform atykę, pedagogikę, politologię, praw o, socjologię oraz psychologię. R ozpatryw ano trzy kryteria oceny uczelni, opisane zestaw em w skaźników , które m ożna porów nać z danym i dostępnym i z M inisterstw a Nauki i Szkolnictw a W yższego, G łów nego Urzędu Statystycznego itd. Są to „pozycja akadem icka”, stanowiąca 30% oceny końcowej oraz „siła kadry” i „przyjazne studiowanie”, mające po 35% oceny końcowej.

3. DANE ST A T Y ST Y C Z N E

Rankingi „Perspektyw y”, „W prost” i „N ew sw eek” różniły się m. in.: liczbą branych pod uw agę uniw ersytetów , czy kryteriam i stanow iącym i podstaw ę oce- ПУ- N a przestrzeni lat czasopism a w prow adzały także liczne zm iany m etodologii ocen. Do wtórnej analizy konieczne okazało się w stępne ograniczenie do w yni­ ków rankingów z lat 2 0 0 3-2007 (w szczególności „N ew sw eek” za lata 2 0 0 4 - -0 0 7 ) oraz pom inięcie rankingu „Polityki” (dotyczącego w ydziałów ekonom icz­ nych i zarządzania).

W dalszej części referatu przedstaw iono wyniki oceny pozycji U niw ersytetu Łódzkiego na podstaw ie rankingów w ym ienionych w yżej czasopism (osobno) oraz rankingu w szystkich trzech czasopism łącznie, za lata 2 00 5-20 07 . A naliza skupień pozw oliła ponadto porów nać podobieństw o rankingów ze względu na cechy, tzn. oceny rankingów poszczególnych latach i zbudować ostateczny, synte­ tyczny ranking uniwersytetów, oparty' na wynikach „Perspektyw” i „W prost” z lat 2005-2007 - które pod w zględem kryteriów analizy były do siebie najbardziej Podobne.

Tablica 1 Z estaw ienie w yników rankingów na podstawie „Perspektywy", „W prost” i „N ew sw eek ”

w latach 2005, 2006. 2007 O b ie k t U czelnie s Я Ł 2 u CL W p r o st N e w s w e e k

i:

f

t

2 U niw ersytet Gdański 7 9 2 8 8 3 6 6 4

3 U niw ersytet A. M ickiew i­

cza w Poznaniu 3 1 5 3 3 10 3 3 8

4 Uniw ersytet Jagielloński 2 2 6 2 2 5 2 2 9

5 U niw ersytet S. W yszyń­

sk iego w W arszawie 15 II 14 12 11 16 12 11 12

6 U niw ersytet Łódzki 10 5 11 6 6 2 7 7 3

7 U niw ersytet M. Curie-

-Skłodow skiej w Lublinie 8 7 7 10 9 6 10 9 II

8 U niw ersytet M. Kopernika

w Toruniu 5 4 4 5 5 7 5 5 14

9 U niw ersytet Opolski 12 15 15 15 15 4 15 16 16

10 U niw ersytet R zeszow ski 16 16 16 16 16 11 16 15 7

II U niw ersytet Szczeciński 13 13 12 13 13 8 14 14 5

12 Uniw ersytet Śląski

w Katowicach 9 8 13 9 7 12 8 8 13

13 Uniw ersytet w Białymstoku 14 12 3 14 12 15 13 12 6

14 Uniw ersytet Warmińsko-

Mazurski w O lsztynie 11 10 8 11 10 14 II 10 10

15 U niw ersytet Warszawski 1 3 1 1 1 1 1 1 2

16 Uniw ersytet W rocławski 4 6 9 4 4 13 4 4 1

Źródło: O pracowanie w łasne na podstaw ie „Perspektyw y”, „Wprost” i „N ew sw eek ”.

4. O PIS M ETO D STA T Y ST Y C Z N Y C H

O ceną grupow a je st to w ypadkow a uporządkow ań dokonanych przez К różnych ekspertów (w yników ) oceniających n obiektów (uniw ersytetów ) według zadanych kryteriów . Pozwala na łączną ocenę obiektu w yznaczoną na

podstaw ie kilku ocen, która uw zględnia nie tylko zm ianę pozycji sam ego obiek­ tu, lecz co w ażne, jeg o zm ianę w stosunku do pozostałych obiektów w rankingu. Ma na celu uśrednienie uzyskanych rankingów , aby utw orzyć jeden obiektyw ny ranking. Podejście takie je s t zasadne, poniew aż „eksperci” w zasadzie nie są jednom yślni w swoich ocenach, a jednocześnie należy przyjąć, że każdy z nich jest jedn ak o w o wiarygodny.

Podstaw ow ym i m etodam i służącym i do oceny grupow ej są:

a) m etoda C ondorceta - z niej w yw odzi się m etoda porów nań param i,

zw ycięzca w sensie C ondorceta nie zaw sze istnieje, gdyż nie zaw sze na podsta­ wie uporządkow ań podanych przez ekspertów m ożna w skazać obiekt, na które­ go głosow ała w iększość ekspertów ;

b) m etoda D odgsona - (m etoda porównań param i) m a zastosow anie wtedy,

gdy nie istnieje „zw ycięzca” w sensie C ondorceta (B ury, W agner 2006; R atliff 2001);

c) m etoda Bordy - oparta na tzw. w skaźniku Bordy, nieco prostsza od m e­ tody Dodgsona, choć uw ażana za skuteczniejszą od m etody C ondorceta (B ury, W agner 2006).

M etoda Dodgsona

Zakładam y, iż dany je st zbiór n obiektów { 0 p 0 2, . . . , 0 n} oraz mam y gru­ pę К ekspertów . Zadaniem ekspertów je st uporządkow anie zbioru obiektów zgodnie z zadanym zbiorem kryteriów . Zakładam y, iż opinie ekspertów podane są w skali porządkow ej i nie w ystępują obiekty rów now ażne. Przyjm ujem y, iż opinia eksperta o num erze к m a postać uporządkow ania

F * = { O r ,O r O k} , k e { 1 ,2 ,...,ЛГ) (1) 'l '2 '«

A zatem O k oznacza obiekt um ieszczony przez k - tego eksperta na

'j

. / - t y m m iejscu w uporządkow aniu. N iech l (J oznacza liczbę ekspertów , którzy uznali, że obiekt O, je st lepszy od obiektu Or Przy przyjętych założeniach uzyskujem y tym sam ym , iż liczba ekspertów , która uznała, że obiekt 0 / je st lepszy od O' (opinie przeciw na) wynosi lJt = K - l tJ. N a podstaw ie w spółczyn­ ników l t w yznacza się m acierz rozkładu głosów ekspertów postaci:

Obiekty _{0 2} ... 0 .

o , - I n ... L

0 2 *21 - hn

... ... - ...

O,, 1,2

-D efiniujem y w iększość ekspertów jako:

Í0.S(K + \ ) : K - p

(

)

[0.5K + \ : K - n p

Definicja 1

Z w ycięzcą w sensie C ondorceta je st obiekt Ot , dla którego /,; £ K w dla w szystkich j Ф i .

Definicja 2

Jeżeli nie istnieje zw ycięzca w sensie C ondorceta, to zw ycięzcą w sensie

D odgsona je st obiekt Ojf dla którego liczba zm ian je g o pozycji z sąsiadam i (w uporządkow aniach podanych przez ekspertów ), których należy dokonać, aby obiekt ten został zw ycięzcą w sensie C ondorceta, je s t najm niejsza.

M ożna pokazać, iż liczba zm ian opinii ekspertów niezbędna, aby obiekt O, został zw ycięzcą w sensie C ondorceta je st równa:

leJf

gdzie: J , = { t : /„ < K J , s, = c a r d { J, ) .

Zw ycięzca w sensie D odgsona to obiekt o najm niejszej w artości d r A za­ tem ranking grupowy tw orzy się tu poprzez ustaw ienie w ciąg rosnący wartości

d : , gdzie i 6 { \ ,...,n } , a następnie ustaw ienie w ciągu oznaczającym m iejsce w ranking obiektów (od m iejsca 1 do m iejsca ostatniego z m ożliw ościom uzy­ skania tego sam ego m iejsca przez różne obiekty) odpow iadających poszczegól­ nym odległościom d t .

M etoda Bordy

W metodzie tej dla każdego obiektu oblicza się tzw. wskaźnik Bordy postaci:

(sum a w artości znajdujących się w w ierszach w cześniej prezentow anej m acierzy odległości), a następnie tw orzym y ranking grupow y, dokładnie tak ja k w przy­ padku m etody Dodgsona z tym , iż w artości W Bt ustaw iam y w ciąg m alejący. Widać, iż m etoda Bordy je st prostsza w porów naniu z m etodą D odgsona i nie zaw sze (jak pokaże przykład) daje te sam e rezultaty.

M etoda heurystyczna (tzw . ocena średnia)

R ankingu dokonujem y w oparciu o średnią ocenę wszystkich ekspertów wobec poszczególnych obiektów (su m a w ażonych rang podzielona przez liczbę ekspertów ). N ajlepszy obiekt ma najm niejszą średnią ocenę.

Metody Bordy czy Dodgsona są zaliczane do podstaw ow ych m etod oceny grupowej i postuluje się, aby pakiety kom puterow e do tego typu zagadnień po­ siadały w budow ane dla nich algorytm y.

Na etapie budowy syntetycznej oceny grupow ej, do analizy podobieństw a wyników rankingów z punktu w idzenia obiektów (uniw ersytetów ) i cech (ran­ kingów w poszczególnych latach) w ykorzystano aglonieracyjną m etodę W arda

L uogólnioną m iarą odległości (G D M ), dopuszczalną dla zm iennych m ierzo­

nych w skali porządkow ej (G atnar, W alesiak 2004). Jako kryterium „przycięcia” d e n d ro g ra m s przyjęto m etodę H ellw iga, opartą na analizie m acierzy odległości połączeń obiektów (cech) w drzew ie. W artość p ro g o w ą tj. m iejsce „przycięcia drzew a” w yznaczono jak o odległość d = y 0 , ob liczoną jak o y 0 = y + 3s y ,

gdzie у je st średnią arytm etyczną m inim alnych odległości w w ierszach lub

(cecham i) analizy, a sv je s t odchyleniem standardow ym w yznaczonych odle­ głości (M lodak 2006).

(4)

/ \

kolum nach m acierzy odległości d lh у = m in d lh

5. W YNIK I PR Z EPR O W A D Z O N Y C H A N A LIZ

O cena grupow a na podstaw ie rankingów publikow anych w w ym ienionych czasopism ach dokonana została autorskim program em napisanym w języku C++ (Personal) przez dr inź. J. Białka. W rozdziale tym przedstaw iono wyniki w postaci tablic lub zrzutu ekranu z program u w raz z kom entarzem . O statecznie do oceny łącznej pozycji (jako najbardziej zaaw ansow aną) w ybrano m etodę D odgsona.

W pierw szym kroku analiz przeprow adzono syntezę rankingów w ramach poszczególnych czasopism . W przypadku rankingu „P erspektyw ” z lat 2 0 0 3 - 2007 w szystkie metody przyznały UŁ m iejsce 7 z 19. W yznaczona ocena gru­ powa (pozycja) je st gorsza jedy nie od wyniku rankingu z 2006 roku.

W przypadku rankingów „W prost” z lat 2 00 3-20 07 dwie pierw sze metody (C ondorceta i Bordy) metody przyznają UL m iejsce 5, a m etoda D odgsona m iej­ sce 6 (na 17 pozycji). W przypadku rankingów „W prost” ocena grupow a nie uległa znacznie zm ianie w stosunku do pozycji rankingów przyznanej przez ten tygodnik.

W przypadku rankingów „N ew sw eek” z lat 20 04-2007 dw ie pierw sze m e­ tody (C ondorceta i Bordy) metody przyznają UŁ uśrednione m iejsce 3, a m etoda D odgsona - m iejsce 4 (z 17 miejsc).

W dalszej części analizy oceny grupow ej przedstaw iono „uśredniony” w y­ nik rankingów w szystkich trzech czasopism na podstaw ie 16 uniw ersytetów (dane w tablicy I). W yniki zaprezentow ano osobno dla każdego roku 2005, 2006 i 2007, co um ożliw ia także ocenę zm ian pozycji UL w czasie.

Łączna ocena grupow a dla 2005 roku w skazuje, że U niw ersytet Łódzki, który w edług w yników poszczególnych czasopism zajm ował m iejsca odpow ied­ nio 10 (Perspektyw y), 5 (W prost) i 11 (N ew sw eek) na 16 badanych zajął m iej­

sce 8. W pierw szej trójce liderów 2005 roku biorąc pod uwagę łączą ocenę gru ­

pow ą znalazły się: na pozycji 1 U niw ersytet W arszaw ski, na m iejscu 2 U niw er­ sytet A. M ickiew icza w Poznaniu, a 3 U niw ersytet Jagielloński. N a ostatniej pozycji ranking grupow y „zam knął” U niw ersytet Rzeszowski.

A naliza grupow a dla 2006 roku dokonana na podstaw ie w yników „Perspek­ tyw , „W prosť i „N ew sw eek”, w edług których U niw ersytet Łódzki zajm ow ał m iejsca odpow iednio 6, 6, i 2 w skazała na popraw ę pozycji UŁ w stosunku do 2005 roku. W 2006 roku na pozycji 1 pozostał U niw ersytet W arszaw ski, U ni­ w ersytet Jagielloński przesunął się na m iejsce 2, a Uniwersytet A. M ickiew icza w Poznaniu spadł na pozycję 3. Biorąc pod uwagę w ypadkow ą łączną ocenę

rankingów czasopism UŁ aw ansow ał z pozycji 8 na 4. Na ostatnim m iejscu

Tablica 2 M iejsce UL w rankingach i ocen a grupowa na podstaw ie „Perspektywy” w latach 2 0 0 3 -2 0 0 7

Obiekt (O gó­ łem )

U czelnia

2003 2004 2005 2006 2007 Ocena grupowa metodą

pozycja Condorceta Bordy 1 )odgsona

7 ( 1 9 ) Uniw ersytet

Łódzki 9 7 10 6 7 7 7 7

Źródło: O bliczenia własne.

Tablica 3 M iejsce UL w rankingach i ocena grupowa na podstaw ie „W prost” w latach 2 0 0 3 -2 0 0 7

Obiekt (O gó­ łem )

U czelnia

2003 2004 2005 2006 2007 Ocena grupowa m etodą

pozycja Condorceta Bordy Dodgsona

7 ( 1 7 ) Uniw ersytet

Łódzki 6 6 5 6 7 5 5 6

Źródło: O bliczenia własne.

Tablica 4 M iejsce UL w rankingach i ocen a grupowa na podstaw ie „N ew sw eek ” w latach 2 0 0 4 -2 0 0 7

Obiekt (O gó­ łem)

U czelnia

2004 2005 2006 2007 O cena grupowa m etodą

pozycja Condorceta Bordy D odgsona

6 ( 1 7 ) Uniw ersytet

Łódzki 10 11 2 6 3 3 4

Analogiczne obliczenia sporządzone na podstawie danych dla 2007 roku poka­ zały, dość istotne zmiany w łącznym uszeregowaniu Uniwersytetów. Zarówno Uniwersytet Warszawski oraz Uniwersytet Jagielloński obroniły swoją I i 2 pozycję w łącznym zestawieniu. Także Uniwersytet A. Mickiewicza, który w 2006 roku spadł na 3 pozycję pozostał na niej w 2007 roku, jednak również na pozycji 3 upla­ sował się Uniwersytet Wrocławski, który dotychczas zajmował bardziej odległe miejsca w rankingach. Odnośnie Uniwersytetu Łódzkiego (obiekt 6) można po­ wiedzieć, że jego spadek we wszystkich trzech cząstkowych rankingach w stosunku do roku poprzedniego na pozycję odpowiednio 7, 7, 3 spowodował, że w ogólnej

ocenie w 2007 roku UŁ spadł z 4 na 5 pozycję (tablica 5).

W dalszym kroku dokonano agregacji oceny grupowej rankingów trzech czaso­ pism („Perspektywy”, „W prost”, „Newsweek”), ze wszystkich trzech lat i m ożna by przyjąć ten wynik jako ostateczny, gdyby nie fakt, że analiza skupień (iys. 1) wska­ zuje, że rankingi „N ewsweek” z poszczególnych lat stanowią odrębną grupę ocen uniwersytetów ( J = 0 , 6 ) . Z punktu widzenia metody oceny grupowej agregacja tak „odm iennych” rankingów byłaby niewskazana i spowodowałaby zniekształcenie uzyskanej łącznej oceny. Istotne jest, że rankingi „W prost” i „P erspektyw ” stano­ w ią grupę, ocen podobnych oraz, że podobieństw o to je s t w idoczne ze względu na oceny (rankingi) tych czasopism w poszczególnych latach.

Diagram drzewa Metoda Warda Odmienności z macierzy

I. Łączna analiza skupień na podstawie „Perspektywy”, „Wprost" i „N ew sw eek" w latach 2 0 0 5 -2 0 0 7 (po zm iennych - rankingi w kolejnych latach) Źródło: O pracowanie własne, STAT1ST1CA i GDM for W indows.

Tablica 5 M iejsce U Ł w rankingu i ocena grupowa na podstaw ie „Perspektywy”, „W prost” i „N ew sw eek ’

w poszczególnych latach 2005, 2006, 2007 Uniw ersytet ocena grupowa jf C-0 0. W p r o st N e w s w e e k P e r sp e k ty w y W p r o st N e w s w e e k P e r sp e k ty w y W p r o st N e w s w e e k 2005 2006 2007

Uniw ersytet Łódzki

(pozycja): 10 5 I ł 6 6 2 7 7 3

Ocena Condorceta 8 3 6

grupowa Bordy 8 3 6

m etodą _{Dodgsona 8 4 5}

Źródło: O bliczenia własne.

GRUPOWA O C IN A f K SPfR T O W autor dr In*. Jacok W a łek , Unbroraylet I od/ki, Katedra Metod Sta1y»tyc/nych

WPROWADZANIE DANYCH

NR GRUPť EKSPERTÓW UCZ8A EKSPERTÓW

RANG0WANIE WG

Ś R E D N I E J O C E N Y

RANGOWANIE .IH DNIA МСГООД BORDY

RANGOWANIE W H ( I ) M E T O D A D O D G S O N A d( i | O bekll mepce 10 Obekl 2 mepce 7 Obekl 3 mepce 3 Obekl 4 mepce 2 Obekl 5 mepce 11 Obekl 6 mepce 6 Obekl 7 mepce 9 Obekl 0 rroeuce 5 Obekl 9 meisce 14 Obekl 10 mepce 15 Obtekl 11 m ep c e13 Obekl 12 ггаврсв в Obekl 13 mepce 12 Obekl 14 mepce 10 Obekl 15 rmeitce 1 Obekl 16 mepce 4 10.500 7.333 2.687 2.000 12.000 6.833 8.833 4.833 14.667 15Ä33 13.333 8.167 12.833 10.500 1.333 4.333 Obiekt 1 imepcelO Obek l 2 mepce 7 Obekl 3 miepce 3 Obekt 4 mepce 2 Obekl 5 т е ц с е 11 Obekl 6 m epce 6 Obekl 7 mepce 9 Obekl 8 mepce 5 Obekl 9 m epce 14 Obekl 10 meisce 15 Obekt 11 meisce 13 Obiekt 12 mepce 8 Obekl 13 meisce 12 Obekt 14 meisce 10 Obekl 15 mepce 1 Obiekt 16 meisce 4 Obekl 1 mepce 10 Obekl 2 mepce 7 Obekl 3 mepce 3 Obiekt 4 mejsce 2 Obekl 5 mepce 12 Obekl 6 т е ц с е 6 Obekl 7 mepce 9 Obekl 8 mepce 5 Obekt 9 mejsce 15 Obekl 10 meisce 16 Obekl 11 meisce 14 Obekt 12 mepce 8 Obekl 13 mepce 13 0bekl14 mepce 11 Obekl 15 mepce 1 Obekl 16 mepce 4 OCENA AKTUALNEJ GRUPY EKSPERTÓW Obekl 1 meisce 13 Obekl 2 mepce 6 Obekl 3 meisce 3 Obekl 4 meisce 2 Obekl 5 meisce 11 Obekl 6 mejsce 7 Obekl 7 mepce 9 Obekl 8 meisce 5 Obekl 9 mepce 16 Obekl 10 mejsce 15 Obiekt 11 meisce 14 Obekl 12 meisce 8 Obekl 13 mejsce 12 Obekl 14 mepce 10 Obekl15 miepce 1 Obekl 16 mepce 4

Rys. 2. Ocena grupowa na podstaw ie łącznych ocen „Perspektyw”, „W prost” za lata 2005-2007 Źródło: O bliczenia własne, Borland C ++ Personal (na podstaw ie tabl. 1).

Zatem w ykorzystując w yniki rankingów z czasopism „Perspektyw y” i „W prost” z trzech ostatnich lat (łącznie) uzyskano zbieżne w yniki zarów no pod w zględem oceny grupow ej uczelni m etodą D odgsona (rys. 2) ja k i analizy sku­ pień uczelni m etodą W arda z uogólnioną m iarą odległości (G D M ), która pozw o­ liła podzielić uniw ersytety na 6 podobnych grup ( d = 0 ,2 ) (rys. 3, tabl. 6).

U niw ersytetow i Łódzkiem u (obiekt 6) przyznano łącznie 6 pozycję w ran­ kingu i je st on pierw szą uczelnią w 3 grupie klasyfikow anych uczelni ocenia­ nych pod względem poziom u naukow ego i jak o ści kształcenia. W sum arycznym rankingu UL w yprzedził U niw ersytet G dański (obiekt 2), U niw ersytet Śląski (obiekt 12) oraz U niw ersytet M. C urie-Skłodow skiej (obiekt 7), które także zna­ lazły się w 3 grupie uniw ersytetów . Pozostaje m ieć nadzieję, że w kolejnych latach UL „aw ansuje” w zestaw ieniach i znajdzie się co najm niej 2 grupie naj­ lepszych uniw ersytetów w Polsce. Liderami w rankingu są U niw ersytet W ar­ szawski (obiekt 15), U niw ersytet Jagielloński (obiekt 4) i U niw ersytet A. M ic­ kiew icza w Poznaniu (obiekt 3).

Diagram drzewa Metoda Warda Odmienności z macierzy

Rys. 3. A naliza skupień na podstaw ie łącznych ocen „Perspektywy”, „W prost” w latach 2 0 0 5 - 2007 (O bliczenia wykonane na obiektach - uniwersytetach, numeracja obiektów jak w tabl. 6,

w yniki i uwagi końcow e)

Jeśli dane prezentow ane w raz z rankingam i są dostatecznie szczegółow e, analizę rankingów oceniających jakość kształcenia m ożna rozszerzyć o badanie w pływ u istotności poszczególnych grup czynników w ykorzystyw anych przy tw orzenia rankingu na końcow e pozycje uczelni w rankingu. W naszym przy­ padku źródłem dodatkow ych informacji były m ateriały publikow ane przez „P er­ spektyw y” (w raz z „R zeczpospolitą”) dotyczące rankingu 23 szkół w yższych z 2007 roku. Został on przygotow any w oparciu o ankiety przeprow adzone przez Fundację Edukacyjną PERSPEK TY W Y , publikację GUS „Szkoły w yższe i ich finanse” (2006) oraz aktualne dane M NiSW . N a ogólną ocenę uczelni w rankin­ gu „P erspektyw ” składały się: „prestiż” (30% ), „siła naukow a” (40% ), „w arunki studiow ania” (20% ) oraz „um iędzynarodow ienie studiów ” (10% ).

A naliza wpływu poszczególnych grup czynników na pozycję uzyskaną przez U niw ersytet Łódzki w rankingu „P erspektyw ”, poprzez w ykonanie dodat­ kow ych rankingów cząstkow ych, w skazuje, że:

• W yelim inow anie grupy cechy określających „prestiż” uczelni (ranking na podstaw ie 3 pozostałych grup czynników ) spow odow ałoby spadek UŁ z m iejsca 8 w rankingu końcow ym na pozycję 13. Z kolei wynik rankingu tylko w edług sam ego „prestiżu” daw ałby aw ans UŁ z 8 na 7 miejsce.

• W yelim inow anie grupy cechy opisujących „siłę naukow ą” nie pow odo­ wałby żadnych zmian w rankingu, UŁ nadal zajm ow ałby 8 pozycję. N atom iast uporządkow anie uniw ersytetów tylko w edług grupy cech „siła naukow a” skut­ kow ałby spadkiem UŁ z m iejsca 8 na pozycję 13.

• U sunięcie z rankingu grupy w skaźników oceniających „w arunki stu d io­

w an ia” spow odow ałby zm ianę pozycji UŁ z m iejsca 8 na m iejsce 12. W yniki

rankingu tylko w edług zm iennych opisujących „w arunki studiow ania” w skaza­ łyby na 13 pozycję UŁ (spadek o 5 m iejsc w rankingu).

• W przypadku nie w zięcia pod uwagę zm iennych charakteryzujących

„um iędzynarodow ienie stu d iów ” UŁ odnotow ałby spadek o 3 m iejsca w ogól­

nej klasyfikacji (z pozycji 8 na 11).

6. W N IO SK I I UW AG I K O Ń C O W E

Co roku w czasopism ach pojaw iają się rankingi uczelni w yższych. Problem w tym , że autorzy przyjm ują różne kryteria oceny: badają różną liczbę uczelni, które dzielą na różne „grupy uczelni”, tw orząc kilka rankingów . Przede w szyst­ kim jed n ak zm ieniała się m etodologia rankingów w poszczególnych latach (szczególnie do 2004 roku), co sprawia, że dokonanie bardziej odległych po­ równań w czasie (naw et w ram ach jednego czasopism a) je st kłopotliw e i należy podchodzić to niego z ostrożnością.

Skrom na inform acja m etodologiczna, za w yjątkiem definicji poszczegól­ nych grup w skaźników przyjętych do analizy, lecz przede w szystkim brak m oż­ liwości dotarcia do danych źródłow ych spraw iają, że nie je st m ożliw a dogłębna analiza spraw dzająca rzetelność prezentow anych w yników . C hcąc dokonać ujednolicenia ocen (rankingów ) prezentow anych przez poszczególne czasopism a

należy ograniczyć się do w tórnej analizy w yników sam ego uporządkow ania uczelni (uniw ersytetów ) ze względu na czasopism a, czy zm ianę tych w yników

w czasie. Celem analizy było uogólnienie w yników uporządkow ania uniw ersyte­ tów (na podstaw ie rankingów cząstkow ych) - ocena grupow a, ja k i próba po­ działu w szystkich badanych uniw ersytetów za pom ocą analizy skupień na grupy uczelni jednorodnych z punktu w idzenia poziom u naukow ego i jak ości kształce­ nia, która stanow iła podstaw ę oceny rankingów . Podsum ow ując przedstaw ione obliczenia m ożna wskazać na dwa najbardziej w iarygodne wyniki:

• w zakresie łącznei oceny grupowej (dla w szystkich trzech czasopism ), w ykonanej dla kolejnych lat analizy (2005, 2006 i 2007), w której U niw ersytet Łódzki „aw ansow ał” w rankingu 16 uniw ersytetów w 2006 roku z m iejsca 8 na pozycję 4, a w 2007 roku „przesunął się” na pozycję 5.

• z punktu widzenia łącznej oceny grupowej i analizy podobieństw a na pod­ staw ie rankingów „Perspektyw y”, „W prost” za lata 20 05 -2 00 7 (podsum ow anie, tabl. 6), w edług której U niw ersytet Łódzki zajął uśrednioną 6 pozycję w rankin­ gu i uplasow ał się w 3 grupie uczelni, razem z U niw ersytetem G dańskim , U ni­ w ersytetem Śląskim oraz U niw ersytetem M. C urie-Skłodow skiej w Lublinie.

W zakresie analizy czynników w pływ ających na ranking ocen przygotow a­ ny przez „Perspektyw y m ożna sform ułow ać ogólny w niosek, że najw iększy

w pływ na pozycję Uniwersytetu Ł ódzkiego w rankingu ma „p restiż” uczelni oraz „siła naukow a” (ich brak pow odow ałby najw iększy spadek UŁ w rankin­

gu). Jednak pozostałe cechy także przyczyniają się do poprawy ogólnej pozycji rankingow ej UŁ, która je st w ypadkow ą w szystkich rozpatryw anych grup czyn­ ników.

Biorąc pod uwagę procent ogólnej oceny uczelni przypisany dla siły nauko­ wej (40% ogólnej oceny) należy dążyć do je j poprawy. Szczególny nacisk nale­

ży położyć na popraw ę „m ocy naukow ej” (liczby tytułów i stopni naukow ych

nadanych przez uczelnię), „potencjału naukow ego” (w edług ocen nadanych poszczególnym jednostkom przez M NiSW ) oraz rozwój kadry w łasnej. W yda­ je się, że właśnie te czynniki m ogą znacząco popraw ić łączn ą ocenę U niw ersyte­

Tablica 6 M iejsce UL w rankingu i ocen a grupowa na podstaw ie „Perspektywy” oraz „Wprost"

łącznie w latach 2 0 0 5 -2 0 0 7 U czelnie Num er obiektu (rys. 2.) Łączna pozycja w edług metody D odgsona (rys. 2.) Skupienia uniwersytetów (0's- 3)

U niw ersytet W arszawski 15 1 1

U niw ersytet Jagielloński 4 2 1

Uniwersytet A. M ick iew icza w Poznaniu 3 3 1

U niw ersytet W rocławski 16 4 2

Uniw ersytet M. Kopernika w Toruniu 8 5 2

U n iw ersytet Ł ódzki 6 6 3

U niw ersytet Gdański 2 7 3

U niw ersytet Śląski w Katowicach 12 8 3

U niw ersytet M. C uric-Skłodow skiej

w l.ublinic 7 9 3

Katolicki U niw ersytet Lubelski 1 10 4

Л

Uniw ersytet W armińsko-Mazurski w O lsztynie 14 11 5

Uniw ersytet S. W yszyń sk iego w W arszawie 5 12 5

Uniw ersytet w Białym stoku 13 13 5

Uniw ersytet Szczeciński 11 14 5

U niw ersytet Opolski 9 15 6

Uniw ersytet R zeszow ski 10 16 6

Źródło: O pracowanie własne.

O dnośnie zaś sam ych rankingów należy zw rócić uw agę na fakt, że kryteria ocen (czynniki, w agi) są dobierane przez tw órców rankingów w sposób subiek­ tyw ny. N ależałoby do kryteriów dołączyć takie zm ienne ja k ocena Państwowej Komisji A kredytacyjnej (PK A ), oraz w większym stopniu w ykorzystać charak­ terystyki dotyczące jak o ści kształcenia. Bardziej zasadne je st także tw orzenie rankingów bardziej jednorodnych w ew nętrznie, dla określonych kierunków lub w ydziałów , co czyniłoby porów nania bardziej spraw iedliw e.

LITERATURA

Bury H., Wagner D„ Wyznaczanie oceny grupowej przy utyciu melody Dodgsona. Wady i zalety,

[w:] M odelow anie Preferencje a R yzyko ’06, K atow ice, 2006.

Gatnar E., W alesiak M., Metody statystycznej analizy wielowymiarowej w badaniach marketingo­

wych. W ydaw nictw o AE im. O. Langego, W rocław, 2004.

R atliff T., A comparison o f Dodgson s method and Kemeny 's Rule, Social C h oice and W elfare, 18,

2001

.

M łodak A „ Analiza taksonomiczna w statystyce regionalnej, W ydaw nictw o D ifin, Warszawa,

2006.

Czesław Domański, Jacek Białek, Artur Mikulec, Małgorzata Misztal

T H E A N A L Y S I S O F T H E E V A L U A T I O N O F T H E T E A C H I N G P R O C E S S BA S E D ON T H E A L L - P O L I S H R A N K I N G S O F U N I V E R S I T I E S

In the paper w e present the statistical m ethods for evaluation o f the teaching process. We use several, w ell known preference aggregation m ethods (in particular D odgson ranking) and cluster analysis. Our researches based on subjective rankings which had been published in the major all- Polish newspapers. The main aim o f this work w as to create the com m on ranking o f Polish univer­ sities.