-Część zawartych w pracy analiz oparta jest na metodzie symulacji łańcuchów Markowa Monte Carlo (Markow Chain Monte Carlo – MCMC), która wymaga określenia zmiennych zależnych i niezależnych (Harwell i inni, 1996). Zmiennymi niezależnymi są w przypadku tej pracy parametry użyte podczas symulacji: a – moc różnicująca danej pozycji, b – jej poziom trudności oraz n – wielkość próby.
Jako zmienne zależne przyjęto wielkość błędu SEM oraz parametry rozkładów:
skośność i kurtozę.
W rozdziale tym przedstawię definicje przyjętych właściwości statystycznych oraz hipotezy badawcze.
3.1. Zmienne niezależne
3.1.1. Moc różnicująca pozycji testowych lub kwestionariuszowych
Zarówno w modelach dychotomicznych, jak i politomicznych, występuje pojęcie mocy różnicującej dla danej pozycji testowej lub kwestionariuszowej. Określa ono zdolność danej pozycji do rozróżniania osób o różnej wartości Θ poprzez przypisywanie im innych poziomów odpowiedzi. W symulacyjnych analizach modeli IRT można wyróżnić dwa podejścia. Pierwsze polega na ustaleniu pewnej stałej wartości tego współczynnika dla całej symulacji opartej na empirycznych lub teoretycznych przesłankach. Drugie podejście rezygnuje z tego uproszczenia. Zważywszy, że podstawowym celem przeprowadzonych symulacji jest m.in. osiągnięcie jak najwyższego poziomu trafności zewnętrznej – lepszym rozwiązaniem niż przyjmowanie stałych wartości wydaje się losowanie ich z określonego zakresu. Baker (2001) zaproponował kategoryzację poziomu mocy różnicującej według następujących progów:
dla wartości z przedziału 0,01–0,24 – bardzo niska; 0,25–0,64 –niska; 0,65–1,34 – średnia; 1,35–1,69 – wysoka i > 1,70 – bardzo wysoka. Do analiz sporządzonych w niniejszej pracy zdecydowano się przyjąć trzy zakresy reprezentujące poziomy niski, średni oraz wysoki, w których to zakresach będą losowo wyznaczane wartości współczynnika mocy różnicującej dla danych pozycji określane jako łatwe, przeciętnie trudne oraz trudne. Zrezygnowano ze skrajnych przedziałów z kategoryzacji Bakera, ponieważ pozycje o bardzo niskiej mocy różnicującej są nieinteresujące z punktu widzenia konstruowania narzędzi badawczych, zaś pozycje o bardzo wysokiej mocy różnicującej nie zdarzają się w nich zbyt często (por. Reise i Waller, 2003).
3.1.2. Poziom trudności pozycji testowych lub kwestionariuszowych
Dychotomiczne modele IRT posiadają pojedynczy parametr odzwierciedlający poziom trudności, który to parametr związany jest z prawdopodobieństwem udzielenia poprawnej odpowiedzi przez osobę uczestniczącą w badaniu w oparciu o wartość jej cechy latentnej. Parametr b przyjmuje wartość Θ w tym punkcie krzywej logitu, gdzie prawdopodobieństwo sukcesu (poprawnej odpowiedzi) wynosi dokładnie 50% (przy zerowym poziomie zgadywalności c i niedbałości d).
Dla modeli politomicznych IRT istnieje j-1 parametrów bj (j – liczba kategorii odpowiedzi), gdzie osoba z 50% prawdopodobieństwem może udzielić danej odpowiedzi (kategoria 1, 2, 3, … j) przy danej wartości Θ. Poziomy trudności dla poszczególnych kategorii uporządkowane są narastająco, odpowiadając rosnącemu porządkowi prawdopodobieństwa uzyskiwania odpowiedzi wraz ze wzrostem natężenia cechy latentnej.
Opierając się na badaniach przeprowadzonych przez Kang i Waller (2005) założono trzy poziomy trudności dla symulowanych pozycji: łatwy, średni i trudny. Dla zmaksymalizowania trafności zewnętrznej dla każdej pozycji losowano na podstawie wyniku generatora liczb pseudolosowych wartość b1 z przedziałów łatwego: <-1,5; 0>, średniego: <-0,5; 1> lub trudnego: <1; 2,5>. Dla modelu politomicznego do wylosowanej dla danej pozycji pierwszej wartości b1 dodawano sukcesywnie 0,7 otrzymując uporządkowane b2 i b3.
Zakładane parametry dla symulacji przedstawia tabela 3.1:
Tabela 3.1. Zestawy parametrów używanych w symulacjach
model dychotomiczny (2PL)
a niski: 0,25–0,64niski: 0,25–0,64niski: 0,25–0,64 przeciętny: 0,65–1,34przeciętny: 0,65–1,34przeciętny: 0,65–1,34 wysoki: 1,35–1,69wysoki: 1,35–1,69wysoki: 1,35–1,69
b niski:
a niski: 0,25–0,64niski: 0,25–0,64niski: 0,25–0,64 przeciętny: 0,65–1,34przeciętny: 0,65–1,34przeciętny: 0,65–1,34 wysoki: 1,35–1,69wysoki: 1,35–1,69wysoki: 1,35–1,69
b1 niski:
3.1.3. Wielkość próby
W literaturze przedmiotu można spotkać wiele definicji odpowiedniej wielkości próby dla modelowania w oparciu o IRT. Często założenia co do wielkości próby są przyjmowane arbitralnie, np. co najmniej 100 osób (Kline, 1979), lub 200 (Guilford, 1954), lub 250 (Cattell, 1978). Comrey i Lee (1992) zaproponowali nawet skalę, gdzie zdefiniowali pojęcie próby słabej (week – 100 osób), przyzwoitej (decent – 200 osób), dobrej (good – 300 osób), bardzo dobrej (very good – 500 osób) oraz doskonałej (exellent –1000 osób). Pierwszą analizę wpływu wielkości próby na dokładność parametrów można spotkać w pracy Lorda i Novicka (1968). Dla danych empirycznych ustalili oni (z dużym marginesem niepewności), iż dla testu składającego się z co najmniej 50 pozycji błąd maleje do akceptowanego poziomu dla prób powyżej 1000 osób. Pierwsze podejście z wykorzystaniem symulacji MCMC dla modelu 3PL zastosowali Hulin, Lissak i Drasgow (1982) – wykazali oni, że dla testu składającego się z 60 pozycji i prób w wielkości 200, 500, 1000 oraz 2000 osób wielkość RMSE (rooted mean squared error) wynosi odpowiednio 0,06; 0,05; 0,04 i 0,03. Podobnie w jednej z częściej cytowanych prac Gao i Chen (2005), w której dla estymacji parametrów IRT wielkość próby potraktowana została jako czynnik, autorzy przyjęli próby w wielkości 100, 500 oraz 2000 osób. Dla testu składającego się z 60 pozycji i największej próby, RMSE został przez nich oszacowany na poziomie 0,12; dla porównania w statystykach dopasowania modelu za akceptowalny uznaje się poziom RMSE < 0,05.
Dla modelu GRM podobne symulacje przeprowadzili Reise oraz Yu (1990). Próby liczące 250, 500, 1000 i 2000 osób pozwoliły na zdefiniowanie zalecanej minimalnej wielkości próby na poziomie 500 osób (RMSE = 0,08), rekomendując 1000 osób jako próbę odpowiednią do dokładnego oszacowania parametrów modelu (RMSE < 0,05).
Nadmienić należy, iż wielkość próby jest ściśle zależna od wielkości efektu, który ma zostać wykryty. Zbyt wielka próba prowadzi do przeszacowania estymowanych parametrów, co rodzi niebezpieczeństwo stwierdzenia trywialnych zależności – zbyt mała próba nie pozwala wykryć zależności, które być może istnieją w populacji (Hays, 1973, s. 422-424). Wiadomo też, że modele z mniejszą liczbą parametrów wymagają mniejszych prób. Dla modeli Rasch'a wystarczające są takie o liczebności 100 osób (Wright i Linacre, 1994). Natomiast Ostini i Nering (2006) wykazali, że stabilne wartości parametrów IRT można uzyskać już przy próbach 250 osobowych. I mimo, że według Tsutakawy i Johnsona (1990) dla kalibracji pozycji testowych dla modeli wielo-parametrycznych należy użyć próby o wielkości około 500 osób, to wielu autorów
wykazuje, iż do tego celu wystarczające są próby około 200-stu osobowe (Orlando i Marshall, 2002; Thissen, Steinberg i Gerard, 1986).
Oczywiście, im większe próby, tym mniejsze błędy standardowe oszacowanych parametrów, jednakże w kalibracji pozycji według IRT równie ważne co wielkość próby jest rozkład wyników osób uczestniczących w badaniach w sposób równomierny wzdłuż wartości zmiennej latentnej. Duża próba, ale o wartości cechy skupionej wokół jednego wyniku dostarczy bardzo dobrych oszacowań dla tej właśnie wartości, a słabo obsadzone krańce przedziałów będą obciążone dużym błędem standardowym.