Procedura administrowania to zarządzanie „życiem” testu. Proces ten rozpoczyna się od jego opracowania, później stosowania, dalej następuje nanoszenie w nim zmian i poprawek. Jednak najistotniejszy etap administrowania to sposób jego używania, czyli prowadzenie walidacji za pomocą tego narzędzia. Na każdy proces używania testu w praktyce powinny składać się takie etapy, jak:
Podjęcie decyzji o formie używanego testu. Taka decyzja oczywiście może być podjęta tylko wtedy, gdy istnieją alternatywne wersje testu (np. komputerowa, typu papier-ołówek). Jeśli dysponuje się pulą zadań i pytań, na podstawie której układany jest test, pierwszym etapem będzie losowanie zbioru tych zadań. Wy-jątkowo w przypadku egzaminów ustnych losowanie zadań może być dokonane
Testy wiedzy – tworzenie i stosowanie w weryfikacji efektów uczenia się
przez kandydata w trakcie weryfikacji. Zaleca się, aby dobór zadań z dostępnej puli miał charakter losowy.
Wyjaśnienie kandydatom celu, sposobu przebiegu i warunków weryfikacji (po-danie instrukcji). W szczególności należy podać takie informacje, jak czas trwania testu i sposób udzielania odpowiedzi. Instrukcja ta powinna być dobrze opisana i taka sama dla wszystkich osób – to jeden z elementów zapewnienia standar-dowych warunków badania. Te informacje powinny być znane asesorom i innym osobom włączonym w przeprowadzanie walidacji.
Przeprowadzenie weryfikacji – testowanie. To proces zadawania pytań lub za-dań ustnie albo pisemnie oraz zbierania odpowiedzi od osób podchodzących do walidacji.
Kodowanie wyników testu – ocena odpowiedzi.
Interpretacja wyników. Ocena, czy zostały potwierdzone efekty uczenia się dla danej kwalifikacji rynkowej.
Poinformowanie o wyniku testu.
W ramce wskazano informacje, które powinna zawierać instrukcja do testu dla kandydatów.
Instrukcja do testu dla kandydata
Instrukcja do testu musi zawierać wszystkie istotne informacje, z którymi po-winien zapoznać się kandydat przed rozpoczęciem testowania. W szczególno-ści osoba testowana powinna wiedzieć:
z jakiego rodzaju zadaniami i pytaniami będzie konfrontowana; z ilu pytań lub zadań będzie składał się test;
ile czasu będzie miała na udzielenie odpowiedzi lub rozwiązanie zadań; w jaki sposób może udzielać odpowiedzi;
czy może, a jeśli tak, to w jaki sposób, zmieniać odpowiedzi w zadaniach, które już zakończyła, i pytaniach, na które udzieliła odpowiedzi;
na co ewentualnie powinna zwrócić uwagę, odpowiadając;
jakich zachowań powinna unikać lub też jakie są zabronione (np. przy testo-waniu grupowym zabrania się zaglądania do odpowiedzi innych osób).
Sposób przeprowadzania testów
Na koniec instrukcji, która może być zarówno odczytana osobom podchodzącym do testu, jak i przekazana na piśmie, warto się upewnić, że wszyscy kandydaci zro-zumieli instrukcję, i zachęcić do zadawania pytań w przypadku wątpliwości. Od momentu zakończenia czytania instrukcji z reguły zaczyna się główna część te-stowania, w trakcie której rozdawane i udostępnianie są pytania oraz zadania do wykonania. Jeśli wprowadzono takie ograniczenie, odmierzany jest czas.
Bardzo ważne, aby wszyscy kandydaci otrzymali ten sam zestaw informacji i mieli równe szanse na zapoznanie się z nimi i ich przyswojenie. Jest to spełnienie postu-latu o standaryzacji warunków testowania.
W przypadku zadań, w których osoba testowana ma wykonać jakąś czynność, można zaplanować wcześniejszy trening dla tego działania. Jest to szczególnie zasadne wtedy, gdy zadanie jest całkowicie lub częściowo nowe dla osób egzami-nowanych. Trening ten powinien być krótki i sprowadzać się do próby przyswoje-nia podstawowych elementów danego zadaprzyswoje-nia. Celem treningu nie jest uzyska-nie biegłości (wyuczeuzyska-nie) wykonywania określonego zadania, bo z reguły to jest przedmiotem samego testowania. Przykładowo, jeśli test ma formę komputerową, pierwsze pytania (lub jedno) mogą służyć nauczeniu osoby testowanej, w jaki spo-sób ma udzielać odpowiedzi (np. których klawiszy powinna używać).
Podobną rolę jak trening odgrywa włączenie do instrukcji przykładowych zadań lub pytań ze wskazaniem sposobu odpowiadania. W odróżnieniu od treningu przy-kład nie pozwala na aktywne ćwiczenie – dostarcza tylko informacji, jak powinno wyglądać zachowanie kandydata w trakcie testu, czego się po niej/nim oczekuje. W przypadku testów komputerowych przykład może być zaprezentowany w for-mie animacji, a w przypadku testów typu papier i ołówek jako opis lub ilustracja. Ważne, aby wszyscy kandydaci mieli takie same szanse na ewentualny trening lub zapoznanie się z przykładami.
Instrukcja dla użytkowników testu, tj. osób przeprowadzających test lub asesorów, powinna przewidywać także ich reakcje w trakcie trwania testu. Przede wszyst-kim należy tu uwzględnić sposoby udzielania odpowiedzi na pytania osób testo-wanych, w tym przede wszystkim dotyczących materiału testowego. Należy roz-strzygnąć, czy asesor może objaśniać zadania lub pytania w trakcie testu. Jeśli tak, należy zdefiniować zakres przekazywanych informacji (podpowiedzi). Wszystkie osoby testowane powinny być potraktowane w ten sam sposób, czyli mieć szan-sę otrzymać takie same podpowiedzi lub – jeśli tak zdecydowano w procedurze przeprowadzania testu – żadna z osób nie może otrzymać żadnych podpowiedzi. Planując procedurę badania testem, warto zwrócić jeszcze uwagę na kwestię in-formowania osób biorących udział w badaniu, jaki status ma zgadywanie odpo-wiedzi. Ma to oczywiście zastosowanie głównie w przypadku pytań z zamkniętym formatem odpowiedzi.
Zgadywanie jest specyficznym czynnikiem zniekształcającym wyniki testów i źró-dłem wariancji błędu. Wynika to z faktu, że jeśli osoby podchodzące do testu nie zna-ją właściwych odpowiedzi na niektóre pytania, to udzielazna-ją odpowiedzi losowych. Zmienność wyników związana ze zgadywaniem ma charakter niesystematyczny,
Testy wiedzy – tworzenie i stosowanie w weryfikacji efektów uczenia się
dlatego obniża rzetelność pomiaru i nie wnosi niczego do trafności testu. Z tego po-wodu zgadywanie jest niekorzystne i powinno się dążyć do kontroli tego czynnika. Tendencję do zgadywania można kontrolować za pomocą instrukcji testowej. W pierwszym z wariantów kandydatom można zalecać zgadywanie w każdym z przypadków, gdy nie znają prawidłowej odpowiedzi. W efekcie następuje wy-równanie pomiędzy osobami z tendencją do zgadywania i czynnik ten nie wpły-wa już na zmienność otrzymanych wyników. Poniewpły-waż wszyscy testowpły-wani zgadu-ją i mazgadu-ją takie same szanse, to czynnik ten powoduje, że wyniki wszystkich osób są podniesione o wynik wynikający ze zgadywania. Taka procedura prowadzi do spadku rzetelności wskutek zwiększenia się liczby odpowiedzi losowych, co jest główną wadą tego rozwiązania. Uwzględnienie czynnika zgadywania (np. przez obniżenie wyniku o poziom tzw. poprawki na zgadywanie) w wysokości progu odcięcia pozwala jednak na wzięcie pod uwagę zgadywania w procesie wniosko-wania o wyniku testowym. Procedura ta wydaje się optymalna (poinformowanie osób testowanych, że jeśli nie znają prawidłowej odpowiedzi, to mogą zgadywać). Dzięki niej praktycznie eliminuje się braki w odpowiedziach i wyrównuje się ten-dencje między osobami, a tym samym zachęca się osoby niepewne swojej wiedzy, aby jednak udzieliły odpowiedzi. Warto dodać, że alternatywna procedura, tzn. za-kazywanie zgadywania w ogóle, o tyle nie ma sensu, że nie można sprawdzić, czy osoby egzaminowane naprawdę się do niej zastosowały, a jej wprowadzenie tyl-ko zwiększa różnice między osobami bardzo pewnymi siebie i styl-korymi do ryzyka a tymi, które są niepewne i boją się udzielać błędnych odpowiedzi.
W wariancie drugim tendencję do zgadywania zmniejsza się, informując badanych, że są stosowane korekty wyników. W ten sposób wyrównuje się indywidualną tendencję do zgadywania i jednocześnie obniża się liczbę odpowiedzi losowych, przez co rzetelność pozostaje na tym samym poziomie. Możliwe są specjalne za-biegi statystyczne, pozwalające na dokonywanie korekty na zgadywanie. Zakłada się w niej, że kandydat albo zna prawidłową odpowiedź, albo zgaduje (odpowiada losowo). Otrzymany wynik zatem to liczba odpowiedzi prawidłowych bez zgady-wania oraz liczba odpowiedzi odgadniętych. Liczbę odgadniętych odpowiedzi można oszacować na podstawie liczby odpowiedzi błędnych oraz liczby opcji od-powiedzi w zadaniach testowych (przy założeniu, że są jednakowo atrakcyjne).
9. Czas i miejsce stosowania testów wiedzy
Pomimo wymogu standaryzacji, tj. ujednolicenia warunków egzaminowania, zale-ca się, aby testy wiedzy nie były zawsze stosowane w tej samej formie, a więc np. kolejność pytań, a także kolejność odpowiedzi w danym pytaniu może się zmie-niać. Jest to odstępstwo od standaryzacji, które ma na celu zmniejszenie ryzyka w postaci wcześniejszego zapoznania się z pytaniami przez kandydata, ich zapa-miętania, a także – jeśli test rozwiązywany jest jednocześnie przez grupę znajdu-jącą się w jednym miejscu – zaglądania do odpowiedzi innych osób. Dobrze też, jeśli pytania do testu są losowane z większej puli gotowych pytań. Dzięki temu test nie ma zawsze tej samej formy i jest bardziej prawdopodobne, że osoby podcho-dzące do weryfikacji nie poznały wcześniej pytań i klucza odpowiedzi. Testy w for-mie papierowej powinny więc być generowane na potrzeby danego egzaminu, nie zaś powielane w niezmiennej formie przez dłuższy czas. Pomocą do obsługi takich testów mogą być specjalne programy komputerowe, które pozwalają na przechowywanie puli pytań, przeprowadzają losowanie pytań (np. wybranie 20 pytań z puli 100) oraz w przypadku pytań zamkniętych układają w losowej kolej-ności odpowiedzi. Programy te pomagają także w ocenianiu wyników testu. Dzięki skanowaniu odpowiedzi zapisywanych przez kandydata na specjalnym formula-rzu wyniki w teście są liczone w sposób automatyczny, co z jednej strony zmniej-sza ryzyko pomyłki podczas liczenia, a z drugiej zwiękzmniej-sza obiektywizm procedury przeprowadzania walidacji metodą testu.