Autor: prof. dr hab. Andrzej. S. Górniak
Państwowa/Polska Komisja Akredytacyjna realizując politykę przej-rzystości swoich działań oraz ciągłego doskonalenia pracy zespołów kie-runków studiów, zespołów oceniających oraz Biura PKA kontynuowała w 2011 roku ewaluację zewnętrzną. Ankietowy sposób oceny zewnętrz-nej zespołów oceniających został wprowadzony w roku 2008, z tym że od 2011 r. ankiety przesyłane są rektorom ocenianych uczelni i wypełniane w sposób elektroniczny. Ankiety obejmują 11 pytań zamkniętych z pięcio-stopniową skalą wystawiania ocen. Pierwsze 4 pytania dotyczyły proce-dury przygotowania i zakresu wizytacji, kolejne 4 – przebiegu wizytacji, 2 następne miały ukazać efektywność i funkcję doradczą procedury akre-dytacyjnej w organizacji i przebiegu kształcenia na ocenianym kierunku. Pytanie 11 odnosi się do ogólnej oceny procesu akredytacyjnego. Nato-miast cztery pytania ostatnie miały charakter otwarty, a ich celem było uzyskanie przez PKA informacji niezbędnych w procesie doskonalenia przebiegu oceny, przyjętego systemu procedury akredytacyjnej, a także kryteriów oceniania.
Wzór ankiety
1. Czy Biuro PKA przysłało Państwu informacje o planowanej wizytacji wystarczająco wcześnie, aby można się było do niej dobrze przygoto-wać?
2. Czy Państwa zdaniem członkowie zespołu oceniającego wnikliwie
zapo-znali sie przed wizytacją z Raportem Samooceny? Jeśli odpowiedź jest negatywna, prosimy o krótkie jej uzasadnienie.
3. Czy zakres przedmiotowy wizytacji pozwolił na sprawną i rzetelną ocenę jakości kształcenia?
4. Czy czas trwania wizytacji pozwolił na sprawną i rzetelną ocenę jakości kształcenia?
5. Czy zespół oceniający formułował swoje oczekiwania w sposób
6. Czy zespół oceniający formułował swoje oczekiwania w sposób zgodny z obowiązującymi przepisami prawa?
7. Czy postawa i zachowanie członków zespołu oceniającego w trakcie ca-łej wizytacji świadczyły o poszanowaniu standardów etycznych? 8. Czy podsumowanie pracy zespołu oceniającego podczas spotkania z
wła-dzami uczelni było poparte rzeczową i obiektywną argumentacją? 9. Czy wizytacja okazała się pomocna w rozwiązywaniu bieżących
proble-mów dotyczących ocenianego kierunku?
10. Czy wizytacja okazała sie pomocna w ukierunkowywaniu ewentualnych zmian?
11. Jak ogólnie oceniają Państwo jakość pracy zespołu oceniającego wizyto-wany kierunek studiów?
12. Jakie aspekty pracy zespołu oceniającego oceniacie Państwo najwyżej? 13. Co należałoby zmienić w pracy zespołów oceniających?
14. Jakim zagadnieniom należałoby Państwa zdaniem poświęcić więcej cza-su w trakcie wizytacji?
15. Jakie macie Państwo inne uwagi dotyczące pracy zespołu oceniającego? 16. Jakie macie Państwo inne uwagi dotyczące przyjętych przez PKA
kryte-riów i procedur?
Zakończona III kadencja Państwowej/Polskiej Komisji Akredytacyj-nej (2008–2011) daje więc możliwość podsumowania wyników oceny ze-wnętrznej jej dotychczasowej działalności. Dlatego też w rozdziale tym wykorzystano wcześniejsze wyniki ewaluacyjne zamieszczone w rocz-nych sprawozdaniach z ankietyzacji w latach 2009 i 2010. Przy wyliczaniu średnich ocen stosowano średnią arytmetyczną.
Tabela nr 1. Wyniki ankietyzacji uczelni przeprowadzonej przez PKA w latach 2009–2011.
Rok Liczba ankiet wypełnionych w %Średnia wysłane wypełnione
2009 353 230 65
2010 462 212 46
2011 310 79 25
Rok 2011 był kolejnym okresem spadającej aktywności uczelni i ich uczestnictwa w ankietyzacji (Tabela 1), gdyż udział wypełnionych i prze-słanych ankiet zwrotnych spośród wszystkich wyprze-słanych do uczelni wynosiła jedynie jedną czwartą (25,5%). Jest to wynik o ponad połowę mniejszy aniżeli w roku 2009, a bezwzględna liczba analizowanych an-kiet spadła niemal trzykrotnie. Znacząco ogranicza to podstawę oceniania
i zmniejsza wiarygodność wnioskowania. Można przypuszczać, że odej-ście od tradycyjnej „papierowej” wersji ankiety miało wpływ na liczeb-ność uzyskanych informacji ewaluacyjnych. W kolejnej IV już kadencji PKA konieczne są zatem działania zwiększające efektywność ankietyza-cji i pozyskiwania większego zasobu wiedzy o działalności Komisji w tym zakresie. Być może konieczne będą czynności przypominające uczelniom o braku odpowiedzi na ankietę PKA.
Tabela nr 2. Wyniki efektywności pozyskiwania ankiet dla ocenionych w 2011 roku kierunków studiów według zespołów kierunków studiów PKA.
Zespoły Kierunków Studiów Liczba ankiet Udział % ankiet wypełnionych wysłane wypełnione
Artystycznych (ZA) 21 8 38
Ekonomicznych (ZE) 47 13 28
Humanistycznych (ZH) 27 3 11
Społecznych i Prawnych ( ZSiP) 40 7 18
Technicznych (ZT) 71 16 23 Medycznych (ZM) 28 9 32 Matematyczno-Fizyczno -Chemicznych (ZMFCh) 17 5 29 Przyrodniczych (ZP) 13 3 23 Rolniczych, Leśnych i Weterynaryjnych (ZRLiW) 26 11 42 Wojskowych (ZW) 4 2 50 Wychowania Fizycznego (ZWF) 16 2 13 Razem 310 79 25
Powyższa Tabela wskazuje, iż liczba uzyskanych opinii była bardzo zróżnicowana. Dla blisko połowy zespołów liczba ankiet była nie większa niż 5, jedynie dla trzech Zespołów: Kierunków Studiów Ekonomicznych, Technicznych oraz Rolniczych, Leśnych i Weterynaryjnych liczba wypeł-nionych ankiet wyniosła odpowiednio 13, 16 i 11. Dla tychże Zespołów uzyskano bardziej reprezentatywny obraz pracy powoływanych przez nie zespołów oceniających kierunki studiów oraz większy wachlarz opinii wrażanych w pytaniach otwartych ankiety (pytania od 12 do 16). W roku 2011 po raz pierwszy od momentu wprowadzenia ankietyzacji uzyskano ankiety ewaluacyjne pracy zespołów oceniających kierunki wojskowe.
Za satysfakcjonującą należy uznać sytuację o przekazywaniu opinii dotyczącej procedury akredytacyjnej dla kierunków studiów z obszarów działalności Zespołów Kierunków Artystycznych, Ekonomicznych, Me-dycznych i Rolniczych, co zostało zaprezentowane w Tabeli 3. W roku 2011 odnotowano wyjątkowy, bo aż siedmiokrotny spadek udziału odpowiedzi ankietowych dotyczących akredytacji z uczelni prowadzących kierunki humanistyczne oraz z zakresu działań Zespołu Kierunków Wychowania
Fizycznego. Można przypuszczać, że oceniane kierunki studiów w tych uczelniach były już kolejnymi kierunkami poddawanymi procesowi akre-dytacji w poszczególnych jednostkach, a procedury i sposób oceniania uznano za rutynowy i nie budzący większych uwag, a zatem zbędne było udzielanie odpowiedzi na pytania ankiety PKA.
Tabela nr 3. Udział procentowy wypełniania ankiet przez oceniane jednostki według zespołów kierunków studiów w latach 2009–2011.
Zespoły Kierunków Studiów Rok
2009 2010 2011 ZA 54 32 38 ZE 40 36 28 ZH 92 79 11 ZSiP 61 45 18 ZT 62 35 23 ZM 71 54 32 ZMFCh 100 38 29 ZP 75 48 23 ZRLiW 64 65 42 ZW n n 50 ZWF 63 72 13 Średnio 65 46 25
n- nie prowadzono procedury oceny,
oznaczenia zespołów kierunków studiów jak w tabeli 2.
Ogólna ocena pracy zespołów oceniających jest wysoka i wynosiła w 2011 roku średnio 4,77, jednakże jest to kolejny rok (nieistotny staty-stycznie), obniżania się wartości wystawianych ocen. Stopniowe obniżanie się ocen odnotowano w Zespołach Kierunków Studiów: Ekonomicznych, Humanistycznych, Matematyczno-Fizyczno-Chemicznych oraz Tech-nicznych. Najwyższe zaś oceny utrzymywały się w kolejnych latach dla Zespołów Kierunków Artystycznych, Medycznych oraz Przyrodniczych. Powyższe zostało przedstawione w Tabeli 4.
W roku 2011 najwyższą ogólną ocenę wystawiono w około 80% na-desłanych ankiet, zaś w 5 zespołach kierunków stanowiły one 100%, co zostało przedstawione w Tabeli 5.
Analiza wyników pozwala na jednoznaczne stwierdzenie, iż uczelnie są zawiadamiane z odpowiednim wyprzedzeniem o mającym nastąpić procesie akredytacji. Przygotowanie, zakres merytoryczny i czas trwania wizytacji w ocenianych jednostkach zostały ocenione bardzo dobrze i do-brze. Tylko w niewielkiej części ankiet prezentowano małe zadowolenie z tych działań. Powyższe zaprezentowano w Tabeli 6.
Tabela nr 4. Ogólna ocena jakości pracy zespołów oceniających PKA w latach 2009–2011.
Zespoły Kierunków Studiów Rok
2009 2010 2011 ZA 5,0 5,0 5,0 ZE 4,9 4,8 4,7 ZH 5,0 4,8 4,7 ZM 5,0 5,0 5,0 ZMFCH 4,9 4,8 4,6 ZP 4,9 5,0 5,0 ZRLiW 4,8 4,8 4,6 ZSiP 4,9 4,7 4,7 ZT 5,0 4,9 4,7 ZWF 4,9 4,7 5,0 ZW n n 5,0 Średnio 4,93 4,85 4,77
n - nie prowadzono procedury oceny,
oznaczenia zespołów kierunków studiów jak w tabeli 2.
Tabela nr 5. Ogólna ocena jakości pracy zespołów oceniających PKA w roku 2011. Zespoły Kierunków Studiów Liczba ankiet
Udział % wypełnionych ankiet Ogólna ocena bardzo
dobrze dobrze zdecydowanie źle
ZA 8 100 0 0 5,0 ZE 13 76,9 15,4 7,7 4,7 ZH 3 66,7 33,3 0,0 4,7 ZM 9 100 0 0 5,0 ZMFCH 5 60 40 0 4,6 ZP 3 100 0 0 5,0 ZRLiW 11 72,7 18,2 9,1 4,6 ZSiP 7 71,4 28,6 0,0 4,7 ZT 16 68,8 31,3 0 4,7 ZWF 2 100 0 0 5,0 ZW 2 100 0 0 5,0 Razem 79 79,7 17,7 2,5 4,8
Tabela nr 6. Ocena przygotowania, zakresu i czasu trwania wizytacji w procedurze akredytacyjnej PKA w 2011 roku;
w procentach odpowiedzi na dane pytanie.
Oceniany aspekt tak raczej tak raczej nie powiedziećtrudno
Odpowiedni czas otrzymania
informacji z Biura PKA o planowanej
wizytacji 94,9 5,10 0 0
Odpowiednie przygotowanie członków
zespołu oceniającego 78,5 17,7 1,3 2,5
Odpowiedni zakres przedmiotowy
wizytacji 77,2 20,3 2,5 0
Odpowiedni czas trwania wizytacji 73,4 22,8 1,3 2,5
Średnio 81,0 16,1 1,3 0,6
W czasie wizytacji ankietowane uczelnie najlepiej oceniały popraw-ność stosowania przepisów prawa i postawę członków zespołów ocenia-jących, w nieco mniejszym stopniu oceniano rzeczowość i argumentację uzasadniającą formułowane oceny, co obrazuje Tabela 7. Zdecydowanie najniższą ocenę z tego zakresu wystawiono zespołom za nie w pełni zro-zumiałe formułowanie oczekiwań w stosunku do ocenianych jednostek (tab.7).
Tabela nr 7. Ocena pracy zespołów PKA w trakcie wizytacyjnych w 2011 roku; w procentach odpowiedzi na dane pytanie.
Oceniany aspekt pracy zespołupodczas wizytacji tak raczej tak raczej nie
Zrozumiałe formułowanie oczekiwań 79,7 19,0 1,3
Zgodność formułowanych oczekiwań z obowiązującymi
przepisami prawa 87,3 11,4 1,3
Zgodność postawy i zachowań członków zespołu ze
standardami etycznymi 87,3 10,1 2,5
Rzeczowa i obiektywna argumentacja podczas
podsumowania pracy zespołu oceniającego 81,0 16,5 2,5
Średnio 83,9 14,2 1,9
Uczelnie w zdecydowanej większości uznają proces akredytacyjny za pomocny w prowadzeniu kierunków studiów i wprowadzaniu niezbęd-nych zmian w obowiązujących przepisach prawa. Około 4% responden-tów wskazuje na trudności w jednoznacznej ocenie znaczenia akredytacji kierunku lub ocenia ją jako raczej mało przydatną. Sytuację powyższą zaprezentowano w Tabeli 8.
Oceniając pracę zespołów oceniających uczelnie przedstawiły łącz-nie 123 opiłącz-nie na 78 ankiet, czyli dokonały oceny po więcej niż jednym najważniejszym aspekcie pracy zespołów oceniających. Liczba wymie-nianych aspektów pracy zespołów była zależna od liczebności ankiet
w danym zespole. Tylko mniej niż 4% ankiet nie wymieniało swoich ocen w tym zakresie. Najczęściej zaś bo w 33% ankiet wymieniano kompeten-cje merytoryczne członków zespołów, kulturę osobistą podczas kontak-tów, a także organizację wizytacji, co łącznie stanowiło więcej niż 50% wszystkich nadesłanych opinii. Ankietowani wymieniali zatem raczej aspekty organizacyjne niż elementy zakresu procedury akredytacyjnej. Wyniki powyższej analizy zaprezentowano w Tabeli 9.
Tabela nr 9. Najwyżej oceniane aspekty pracy zespołów wizytujących PKA w roku 2011.
Aspekty Pracy
Zespołów ZA ZE ZH ZM ZMFCH ZP ZRLiW ZSiP ZT ZWF ZW Udział % kompetencje merytoryczne 2 6 1 5 2 1 11 3 6 1 2 32,5 kultura kontaktu 1 2 1 1 2 3 3 1 1 12,2 organizacja pracy 2 1 1 2 4 1 8,9 wnikliwość 2 1 1 1 1 3 7,3 rzetelność ocen 2 2 1 1 2 6,5 życzliwość 1 1 1 1 2 1 1 6,5 ocena prac dyplomowych i programów studiów 1 3 1 1 1 5,7 profesjonalizm 2 1 2 1 1 5,7 atmosfera wizytacji 2 1 1 1 1 4,9 rzeczowość 2 3 4,1 ocena efektów kształcenia 2 1 1 1 4,1 dobór zespołu 1 0,8 standardy etyczne pracy 1 0,8 brak uwag 1 3 1
-Tabela nr 8. Ocena znaczenia wizytacji PKA w 2011 roku dla akredytowanych jednostek uczelni.
Znaczenie wizytacji tak raczejtak raczejnie trudno po-wiedzieć
Pomocna w rozwiązywaniu bieżących problemów dotyczących ocenianego
kierunku 77,2 19,0 0 3,8
Pomocna w ukierunkowywaniu
ewentualnych zmian 73,4 22,8 1,3 2,5
W ponad połowie otrzymanych opinii nie odnotowano uwag o potrze-bie zmian w dotychczasowej pracy zespołów, zaś w 29% ankiet nie jest dostrzegalna potrzeba zmian w tym zakresie. Ze zgłaszanych uwag naj-częściej wymieniano potrzebę wydłużenia czasu wizytacji, zmianę w spo-sobie organizacji spotkań ze studentami oraz zwrócenie jeszcze większej uwagi na jakość prowadzonego kształcenia oraz pracę ekspertów Parla-mentu Studentów. Ten stan rzeczy przedstawiono w Tabeli 10.
Tabela nr 10. Propozycje zmian w pracy zespołów oceniajacych PKA w 2011 roku.
Opinie z ankiet Udział %
brak uwag 56,8
nie widzimy potrzeb zmian 29,0
dłuższy czas wizytacji 19,4
zmiana spotkań ze studentami / brak spotkań 9,7
większa uwaga na jakość kształcenia 6,5
większa ilość obserwacji np. hospitacji zajęć 6,5 dobór kompetencji zespołu /przedstawiciel studentów 6,5
dodatkowe spotkania z władzami 3,2
analiza prawna w obecności prawników 3,2
wskazać niedociągnięcia i uwagi 3,2
brak otwartości na stawiane argumenty 3,2 nie łączyć dwóch kierunków podczas jednej wizytacji 3,2 zapewnić obiektywne podejście do władz, pracowników 3,2
mniej rozmów z władzami 3,2
Podobnie jak w latach poprzednich uczelnie przeważnie nie zgłaszały uwag lub uznały, że zaplanowany czas wizytacji zespołów jest właściwy. Część respondentów uznała, iż więcej czasu należałaby poświęcić na spo-tkania ze studentami, merytorycznej ocenie zajęć dydaktycznych, a tak-że ocenie programów studiów. W ankietach spotykano taktak-że inne propo-zycje, które wykraczały poza zakres działalności Komisji, wskazując na uznanie Komisji jako istotnego elementu polskiemu systemu szkolnictwa wyższego wpływającego na poprawę kształcenia i organizacji pracy szkół wyższych w kraju. Ten aspekt analiz ankiet zaprezentowany został w Ta-beli 11.
Z analizy innych uwag przedstawianych w ankietach (pytanie nr 15 ankiety) wynika, iż w wielu przypadkach wskazywano na pozytywną rolę Państwowej/Polskiej Komisji Akredytacyjnej w kształtowaniu warunków i jakości kształcenia w obszarze szkolnictwa wyższego (50% ankiet z uwa-gami), dokładność weryfi kacji prowadzonej dokumentacji, a także doku-mentacji poświadczającej uznawalność wykształcenia, tytułów i stopni naukowych. Sporadycznie wymieniano uwagi nieścisłości we wnioskach
z wizytacji i zbyt szerokie traktowanie misji Komisji przez zespoły oce-niające.
W 77% zebranych ankiet ewaluacyjnych w 2011 roku nie zgłasza-no uwag o istniejących kryteriach i procedurach PKA (pytanie nr 16). W małej części ankiet przedstawiano pozytywne opinie o ich zakresie, ale wśród uwag wymieniano zbyt krótki czas na przygotowanie raportu samooceny, małe uwzględnienie wielkości fi nansowania szkolnictwa wyż-szego w stosunku do wymagań jakości kształcenia, niedookreślenia wa-runków przy ocenie wyróżniającej oraz nie zawsze precyzyjne ocenianie prac dyplomowych.
Reasumując, prowadzony proces ankietyzacji potwierdził dobry po-ziom prac zespołów oceniających Państwowej/Polskiej Komisji Akredyta-cyjnej, istniejących procedur i przebiegu akredytacji kierunków studiów. Na podkreślenie zasługuje utrzymujący się wysoki poziom merytoryczny i kultura osobista członków zespołów oceniających. Zespoły oceniające powoływane przez wszystkie zespoły kierunków studiów uzyskały bardzo zbliżone oceny, a stwierdzone niewielkie różnice wynikają przede wszyst-kim z liczby podejmowanych działań i specyfi ki poziomu kształcenia oraz popularności ocenianych kierunków studiów.
W kolejnej IV kadencji Polskiej Komisji Akredytacyjnej należy podjąć działania zmierzające do zwiększenia efektywności pozyskiwania ankiet.
Tabela nr 11. Zgłoszone przez uczelnie w 2011 roku
propozycje zagadnień i problemów, na które zespoły wizytujące PKA powinny poświęcić więcej czasu w swojej aktywności.
Zgłoszone Kierunki Zmian Pracy Zespołów Udział % brak uwag i zastrzeżeń 31,8 poświęcony czas wydaje się być właściwy 23,7 spotkanie ze studentami / ocena pracy studentów 15,3 merytoryczna ocena zajęć dydaktycznych 10,2
zgodności programów ze standardami 10,2
ocena jakości kształcenia 6,8
omówienie prac dyplomowych 5,1
spotkania z pracownikami 5,1
prezentacja bazy dydaktycznej 3,4
strategia rozwoju uczelni i kierunku 3,4
problemy zarządzania uczelni 3,4
rozwój naukowy kadry 3,4
dopasowanie kierunku do wymogów regionu 3,4 zmiana fi lozofi i oceny /kryteria niejednoznaczne 1,7 niekorzystne warunki pracy nauczycieli akademickich 1,7 dyskusja o ustawie o szkolnictwie wyższym 1,7
W kilku zespołach kierunkowych analiza wyników ankiet winna posłużyć do zmiany tendencji obniżania wysokich jak dotąd ocen ich działalności. Wskazane w nielicznych ankietach uwagi krytyczne posłużą do wnikliwej ich analizy i doskonalenia stosowanych dotychczas procedur Polskiej Ko-misji Akredytacyjnej.