4. KONCEPCJA FUNKCJONOWANIA INFORMATYCZNEGO SYSTEMU
4.4. P REZENTACJA WYNIKÓW Z UWZGLĘDNIENIEM RANKINGÓW UCZELNI I
Ranking stanowi uwzględnienie eksperckiej wiedzy na temat poszczególnych uczelni oferujących kształcenie, zapewnia zatem dodatkowe źródło zewnętrznej oceny, przeprowadzanej z różnych punktów widzenia. Wysoka ocena zgodności oferowanych kompetencji w ramach wybranej oferty w zestawieniu z wysoką pozycją uczelni w rankingach światowych pozwala z dużą pewnością stwierdzić, że warto jest podjąć się proponowanego kształcenia. Z kolei wysoka ocena zgodności kompetencji w zestawieniu z bardzo niską pozycją w rankingach pozwala przypuszczać, że jakość kształcenia w ramach wybranej oferty może nie spełnić oczekiwań.
Choć indywidualne oceny w różnych rankingach mogą wywoływać dyskusje, analiza różnych rankingów o zasięgu światowym pokazuje, że nie ma zasadniczej różnicy w pozycjach uczelni, mimo zastosowania różnych kryteriów oceny. Uczelnie plasujące się w jednym rankingu w pierwszej dziesiątce, w innym znajdą się przynajmniej w pierwszej dwudziestce. Można pokusić się o stwierdzenie, że uwzględnienie kilku ocen na raz daje dość dobry obraz poziomu kształcenia w danej instytucji. Z kolei skupienie się na sposobie budowania poszczególnych rankingów i wykorzystywanych wskaźnikach pozwala odkryć mocne i słabe strony ocenianych instytucji.
Każdy z rankingów wykorzystuje swoje własne wskaźniki do oceny poszczególnych uczelni, nadając każdemu z nich odpowiednią wartość znaczeniową. W tabeli 4.3.
przedstawiono strukturę wspomnianych wcześniej popularnych rankingów światowych.
Tabela 4.3. Struktura popularnych światowych rankingów uczelni
Nazwa rankingu Kryteria Udział w ocenie
Ocena zewnętrzna 40%
Ocena rekruta 10%
Międzynarodowa kadra 5%
Międzynarodowi studenci 5%
Kadra/studenta 20%
THES/QS
Cytwania/wydział 20%
Alumni Nobel/Medale 10%
Kadra Nobel/Medale 20%
Szeroko cytowani naukowcy 20%
Artykuły w Nature&Science 20%
Cytowania SCI&SSCI 20%
ARWU
Rozmiar instytucji 10%
ARWU cytowani naukowcy ARWU artykuły w N&S ARWU liczba artykułów w ISI
50%
Zasoby biblioteczne 10%
Wielkość strony 20%
Rich files 15%
(Google) Scholar 15%
Webometrics
(odnośnik) Widoczność 50%
G-Factor Odnośniki z innych uczelni 100%
PRWU Alumni jako dyrektorzy 100%
Wydajność badawcza 20%
Znaczenie badań 30%
Rozpowszechnienie odnośników do scharakteryzowanych rankingów w literaturze światowej pozwala uznać, że można obdarzyć je swoistym zaufaniem i uwzględnienie ich w ocenie ofert edukacyjnych nie powinno budzić zastrzeżeń. Nie jest to być może rozwiązanie pozbawione wad (chociażby uwzględnianie wskaźnika cytowań jest elementem dyskusyjnym, gdyż zarzuca się mu faworyzowanie uczelni z krajów anglojęzycznych), jednak prace nad udoskonalaniem tychże sposobów oceniania uczelni trwają nieprzerwanie. Co więcej, oprócz rankingów ogólnych istnieją także rankingi uczelni na poziomie różnych dziedzin wiedzy, które pozwalają na bardziej szczegółową ocenę w danym obszarze kształcenia. Możliwe jest też wzbogacenie zakresu rozpatrywanych rankingów o rankingi narodowe.
System dostarcza użytkownikowi możliwość personalizacji spojrzenia na pozycję uczelni w rankingach poprzez określenie interesującego użytkownika profilu – punktu widzenia, który stanowił podstawę do oceny uczelni. Może to być profil akademicki, zawodowy, inny lub łączny. W zależności od wybranego profilu, inne rankingi zyskują na znaczeniu (np. ARWU w przypadku akademickiego, PRWU w przypadku zawodowego), inny jest rozkład wag przypisanych poszczególnym kryteriom. Na tej podstawie określana jest uśredniona pozycja uczelni w rankingach. Możliwe kierunki zwiększenia stopnia personalizacji tego kroku oceny ofert edukacyjnych przez system to pozwolenie na:
• samodzielne określenie kolejności, w jakiej pozycja uczelni w poszczególnych rankingach powinna być brana pod uwagę przy określaniu względnej, średniej pozycji – innymi słowy ułożenie rankingu samych rankingów;
• lub idący jeszcze dalej indywidualny wybór i określenie rankingu poszczególnych wskaźników (spośród wszystkich wykorzystywanych w uwzględnianych rankingach), które mają największe znaczenie dla użytkownika.
Jednym z uzasadnień personalizacji jest możliwość wyeliminowania z analizy szeregu ofert edukacyjnych nie spełniających podstawowych wymagań. Taki zabieg stanowi z punktu widzenia użytkownika znaczącą zaletę wykorzystania systemu – oszczędność czasu potrzebnego na analizę wybranych ofert pod kątem własnych, dobrze określonych możliwości oraz wymagań. Dzięki temu użytkownik zyskuje możliwość większego skupienia się na niesprecyzowanych, niesformalizowanych, a
czasem nawet nieuświadomionych preferencjach osobistych, które w innym wypadku mogłyby zostać zagłuszone.
Personalizacja oceny oferty edukacyjnej przewija się przez wszystkie etapy pracy systemu OUZKZ:
• określenie zakresu akceptowanego odchylenia od maksymalnej oceny zgodności kompetencji gwarantowanych z wymaganymi (omówiona w punkcie 4.3),
• określenie znaczenia pozycji uczelni w poszczególnych rankingach zależnie od pożądanego profilu oceny tejże pozycji (omówiona w punkcie 4.4),
• uwzględnienie indywidualnych preferencji odnośnie warunków kształcenia.
Rysunek 4.7 przedstawia podstawowe kroki w procesie personalizacji wyników.
Rys.4.7. Personalizacja oceny ofert edukacyjnych pod względem preferencji indywidualnych użytkownika
Źródło: opracowanie własne
Określenie zakresu personalizacji pod względem preferencji indywidualnych to przede wszystkim wybór czynników, które brane będą pod uwagę, takich jak na przykład koszty studiowania czy odległość uczelni od miejsca zamieszkania. Lista dostępnych kryteriów jest podawana przez system, powiązania między kryteriami mniej i bardziej złożonymi są z góry określone, użytkownik musi jedynie zaznaczyć które z kryteriów go interesują.
Dla każdego z kryteriów ustalana jest skala ocen, w postaci lingwistycznej a następnie dla każdej odpowiedniej pary kryteriów określany jest ranking kombinacji tych kryteriów. Na podstawie ustalonych zależności automatycznie tworzone są odpowiednie reguły oceniania. Choć do przeprowadzenia tego kroku możliwe jest wykorzystanie różnych znanych metod analizy wielokryterialnej, jak chociażby ELECTRE III, co proponowano już w [114], czy też AHP. Na potrzeby opracowywanego modelu proponuje się zastosowanie lingwistycznej bazy wiedzy, ze względu na to, że daje ona dużo lepszy obraz rzeczywistych preferencji użytkownika niż inne znane metody. Na rysunkach 4.8 i 4.9 przedstawiono krótki przykład graficzny obrazujący różnicę między wynikami uzyskanymi odpowiednio przy wykorzystaniu lingwistycznej bazy wiedzy oraz metody AHP.
Dla kryterium „atrakcyjność lokalizacji”, będącego agregacją kryteriów „liczba ludności” oraz „odległość od miejsca zamieszkania” utworzono trójwymiarowy wykres przedstawiający zależność między wartością wynikową, a wartościami wejściowymi.
Następnie dla porównania przedstawiono jak kształtowałaby się płaszczyzna tych zależności gdyby do personalizacji oceny zastosowano jedną z najpopularniejszych metod wielokryterialnych - AHP.
Atrakcyjność
Rys.4.8. Kształtowanie się wartości kryterium „atrakcyjność lokalizacji”– podejście lingwistyczne Źródło: opracowanie własne
Rys.4.9. Kształtowanie się wartości kryterium „atrakcyjność lokalizacji”– podejście AHP Źródło: opracowanie własne
Wykresy pokazują dokładnie jak duża jest różnica w ocenie oferty edukacyjnej pod względem atrakcyjności lokalizacji w zależności od zastosowanej metody.
W przypadku zastosowania metody AHP nie tylko nie ma możliwości odwzorowania kształtu płaszczyzny wartości pod względem pojawiającej się w niespodziewanym miejscu wysokiej wartości kryterium, poziom tej wartości w ogóle nie został osiągnięty.
Ze względu na obszerność pełnego przykładu służącego budowie bazy lingwistycznej prowadzącej do przedstawionych wyników, został on umieszczony w Aneksie A. Jednak analiza samych tylko powyższych wykresów pozwala wyraźnie stwierdzić, że w przypadku gdy poziom personalizacji wyników ma bardzo duże znaczenie dla użytkownika, zaś przyjęty sposób oceniania opiera się na skali lingwistycznej i zmiennych rozmytych, zastosowanie metody rankingowej, będącej częścią metody budowania lingwistycznej bazy wiedzy, do utworzenia reguł w bazie wiedzy służącej ocenie alternatywnych ofert edukacyjnych, jest lepszym rozwiązaniem niż zastosowanie tradycyjnego porównania kryteriów według metody AHP.
Ostateczny wynik pracy systemu przedstawiany jest w postaci tabeli rankingowej uwzględniającej wszystkie rozpatrywane elementy oceny oferty edukacyjnej pod kątem użyteczności zdobywanych w jej ramach kompetencji. Tabela 4.4 przedstawia możliwą postać prezentacji wyniku.
Tabela 4.4. Możliwa postać tabeli rankingowej z ostatecznymi wynikami pracy systemu
Po zapoznaniu się z rankingiem alternatyw, użytkownik może chcieć zachować lub usunąć wszystkie wprowadzone przez siebie dane lub / oraz wyniki pracy systemu OUZKZ. Proponuje się jednak gromadzenie danych statystycznych. Co więcej, zachęca się użytkownika do poinformowania o skuteczności pracy systemu poprzez podanie informacji na temat ostatecznego dokonanego wyboru, miejsca przyjęcia na studia, a także późniejszych sukcesów i niepowodzeń, tak by system OUZKZ mógł służyć użytkownikowi zgodnie z ideą kształcenia przez całe życie.
5.