319 Copyright 2017 Psychologia Społeczna
Metody
Skala opinii uczniów (Student Opinion Scale):
analiza właściwości psychometrycznych
Karolina Świst
Instytut Badań Edukacyjnych, Warszawa
Artykuł prezentuje analizę właściwości psychometrycznych polskiej wersji Skali opinii uczniów (Student Opinion Scale) autorstwa Donny Sundre (2007). Kwestionariusz ten mierzy motywację uczniów do podej-mowania testów niskiej doniosłości (low-stakes assessment). Uwzględnienie poziomu motywacji podczas raportowania wyników uczniów w testach osiągnięć jest niezbędne dla trafnego wnioskowania o ich poziomie umiejętności w momencie, gdy z wypełnieniem testu nie wiążą się żadne konsekwencje. Analizy przeprowa-dzono na podstawie danych zebranych od losowych prób uczniów z trzech różnych grup wiekowych – koń-czących szkołę podstawową (N = 1551), gimnazjum (N = 1724) oraz szkoły ponadgimnazjalne (N = 16 271). Dopasowano jednopoziomowe i wielopoziomowe modele przy pomocy konfirmacyjnej analizy czynniko-wej (CFA). Choć jednopoziomowa konfirmacyjna analiza czynnikowa (CFA) wskazuje na najlepsze wśród wszystkich testowanych modeli dopasowanie dwuczynnikowego modelu motywacji do danych (zgodne ze specyfikacją oryginalnego narzędzia), niska korelacja wyniku w kwestionariuszu z wynikiem w teście umie-jętności stawia pod znakiem zapytania trafność narzędzia. Korekta wyników z uwagi na zmienną aprobaty społecznej oraz styl odpowiedzi, a także analiza z wykorzystaniem macierzy „wielu cech – wielu metod” jest więc niezbędna w celu pełnej adaptacji narzędzia.
Słowa kluczowe: motywacja testowa, test niskiej doniosłości, konfirmacyjna analiza czynnikowa, model wielopoziomowy
Karolina Świst, Instytut Badań Edukacyjnych, ul. Górczewska 8, 01-180 Warszawa, e-mail: k.swist@ibe.edu.pl
W
Skala opinii uczniów (Student Opinion Scale – SOS),
stworzona przez Donnę Sundre (2007) jest narzędziem służącym do mierzenia motywacji testowej egzaminowa-nych. Kwestionariusz powinien zostać wypełniony po roz-wiązaniu testu umiejętności (pojedynczego lub ich baterii). Narzędzie to jest szczególnie użyteczny dla oszacowania motywacji do podejmowania testów niskiej doniosłości (low-stakes assessment), czyli takich, które nie wiążą się z osobistymi konsekwencjami dla egzaminowanych. Wyniki tych testów mogą być jednak kluczowe dla instytucji przeprowadzającej egzamin czy też decydentów w resorcie
edukacji. Do przykładów testów niskiej doniosłości można zaliczyć znane międzynarodowe badania, takie jak PISA (Programme for International Student Assessment), TIMSS (Trends in International Mathematics and Science Study), czy PIRLS (Progress in International Reading Literacy
Study). Raportowanie wyników testów niskiej
doniosło-ści bez wzięcia pod uwagę czynnika motywacji testowej może zagrozić ich trafności – szczególnie tej w rozumie-niu Samuela Messicka (1989), który kładzie nacisk na interpretacje i decyzje powzięte na podstawie wyników uzyskanych przy pomocy danego narzędzia. Innymi słowy, raportowanie rezultatów testów niskiej doniosłości bez uwzględnienia poziomu motywacji pozwala jedynie na ocenę tego, co uczniowie osiągają, gdy poświęcają testowi minimalny wysiłek (O’Neil, Sugrue, Baker, 1995; Thelk, Sundre, Horst, Finney, 2009).
Większość modeli motywacji testowej funkcjonuje w ob rębie dwuczynnikowej teorii Oczekiwanie × wartość (Expectancy × Value), sformułowanej przez Atkinsona (1964). Model dwuczynnikowy został rozbudowany przez Pintricha i de Groot (1990) przez dodanie trzeciego czyn-nika – afektu. Wolf, Smith i Birnbaum (1995) do modelu trzyczynnikowego dodali czynnik postrzeganego wysiłku (niezbędnego do ukończenia danego testu), natomiast Wise i DeMars (2005) – czynnik postrzeganej wartości (kon-sekwencji danego testu dla egzaminowanych). Wigfield i Eccles (2000) w ramach teorii Oczekiwanie × wartość zaproponowali swój własny model, dokonując podziału na oczekiwania sukcesu oraz przekonania o własnych umiejętnościach. Wartości składają się z następujących aspektów: ważności, wartości danej czynności samej w sobie (intrinsic), użyteczności (utility) oraz kosztów. Nie należy również zapominać o adekwatnej w tym przypadku teorii motywacji zewnętrznej (robienie czegoś ze względu na konsekwencje) oraz wewnętrznej (robienie czegoś ze względu na to, że jest to interesujące) Deciego i Ryana (1980, 2000).
W polskiej literaturze, zagadnienie motywacji testowej jest stosunkowo mało przebadanym zjawiskiem. Wśród ważniejszych prac należy wskazać konstrukcję wskaźnika motywacji testowej na podstawie zadań opuszczonych przez ucznia (Dolata, Pokropek, 2010) analizę właściwości
Skali motywacji testowej (Węziak-Białowolska, 2011), oraz
analizę grupowych efektów motywacji testowej (Skórska, Świst, Pokropek, 2014). Można przypuszczać, że jest to spowodowane brakiem odpowiedniego, ugruntowanego teoretycznie oraz zaadaptowanego do polskich warunków narzędzia badawczego.
W niniejszym artykule przedstawiono więc próbę przete-stowania właściwości psychometrycznych polskiej wersji
Skali opinii uczniów (Student Opinion Scale – SOS). Skala opinii uczniów jest zmodyfikowaną wersją wcześniejszego Kwestionariusza motywacji (Motivation Questionnaire),
składającego się z ośmiu pozycji (Wolf, Smith, 1993). Analiza czynnikowa wykazała dwa wymiary motywacji testowej – ważność danego zadania (importance) oraz wysiłek (effort) niezbędny do ukończenia danego testu. Sundre (1999) dodała dwa pytania do Kwestionariusza
motywacji (do podskali wysiłku) w celu uzyskania większej
stabilności wymiarów. Po modyfikacjach kwestionariusza Sundre i Finney (2002) przeprowadziły konfirmacyjną ana-lizę czynnikową, która ponownie potwierdziła zasadność modelu dwuczynnikowego.
Trafność SOS sprawdzano poprzez korelacje z mia-rą behawioralną Response-Time Effort (RTE) (Wise, Kong, 2005), która zakłada, że niezmotywowany egza-minowany nie poświęci wystarczająco dużo czasu na
udzielenie odpowiedzi na pytania. Zgodność miar moty-wacji mierzonej przez SOS i RTE wynosiła od 64,69% do 68,61% (Swerdzewski, Harmes, Finney, 2011). Co więcej, Wise i Kong (2005) wykazali, że podskala wysiłku jest pozytywnie skorelowana (R = 0,34) z miarą RTE. W ramach badań trafności tego kwestionariusza zwraca się uwagę na to, że w testach wysokiej doniosłości, wraz ze wzrostem wyników w kwestionariuszu, ich wariancja (a także rzetel-ność) spada. Zjawisko to świadczy o tym, że SOS jest naj-bardziej użyteczny w warunkach testów niskiej doniosłości, czyli w warunkach największego zróżnicowania motywacji wśród egzaminowanych (uczniowie mogą powstrzymać się od wysiłku bez ryzyka osobistych konsekwencji) (Sundre, 2007). Trafność SOS sprawdzono również poprzez analizę jego funkcjonowania w różnych grupach wiekowych (jed-nak wyłącznie wśród studentów), w zależności od sposobu administrowania (ankiety papierowe lub komputerowe) oraz w rozróżnieniu na płeć. Wykazano niezmienniczość strukturalną, metryczną i skalarną kwestionariusza SOS (Thelk i in., 2009).
C
Do analizy właściwości psychometrycznych skali SOS wykorzystano dane zebrane w 2014 roku podczas badań zrównujących, przeprowadzonych przez Zespół Analiz Osiągnięć Uczniów Instytutu Badań Edukacyjnych w Warszawie (Szaleniec i in., 2013). Badanie przeprowa-dzono na trzech grupach wiekowych uczniów: kończą-cych szkołę podstawową, kończąkończą-cych gimnazjum oraz kończących szkoły ponadgimnazjalne (czyli w wieku 12, 15 i 18–19 lat). Wszyscy uczniowie kończący gimnazjum wypełniali cztery testy – z historii, języka polskiego, mate-matyki i przyrody, natomiast uczniowie kończący szkoły ponadgimnazjalne wypełniali jeden z następujących testów: z języka polskiego, matematyki lub języka angielskiego. Badanie zrównujące można przypisać do kategorii testów niskiej doniosłości – z ich wynikami nie wiążą się żadne poważne konsekwencje dla uczniów, np. decyzje o rekrutacji do szkół na dalszych etapach edukacyjnych. Po wypełnieniu każdego z testów umiejętności, badani wypełniali także
Skalę opinii uczniów. W tabeli 1 przedstawiono liczbę
uczniów oraz klas biorących udział w badaniu1. Dobór
próby w każdym przypadku był doborem losowym(więcej w: Szaleniec i in., 2013).
Kwestionariusz SOS (Sundre, 2007) jest narzędziem dostępnym bezpłatnie i został przetłumaczony za zgodą autorki. Tłumaczenie kwestionariusza z języka angielskiego na język polski zostało przeprowadzone przez pracowników
1 W każdej szkole badano wyłącznie jedną klasę, tak więc liczba
Zespołu Analiz Osiągnięć Uczniów oraz poddane procedu-rze back translation pprocedu-rzez filologa angielskiego. Pozycje testowe w Skali opinii uczniów są punktowane na skali Likerta (przyjmując wartości 1–5)2. Najwyższy możliwy
do uzyskania wynik na danej podskali wynosi 25. Wynik 25 w skali wysiłku oznacza, że uczniowie włożyli cały swój wysiłek w rozwiązywanie testu, wynik 25 w skali ważności – że konsekwencje danego testu były niezmiernie ważne dla ucznia. Zwraca się jednak uwagę, że nie można wyciągać wniosku na temat motywacji (lub jej braku) u egzamino-wanego, który osiągnął wysoki wynik jedynie na jednym czynniku (Sundre, 2007). W tabeli 2 przestawiono pozycje kwestionariusza. Gwiazdką oznaczono pytania, w których punktację zliczano w sposób odwrotny.
2
Przypisanie pozycji testowych do czynników oraz ich definicje zostały przedstawione w tabeli 3.
M
Na początku przeprowadzono analizę właściwości psy-chometrycznych kwestionariusza przy pomocy parame-trów znanych z Klasycznej teorii testów, takich jak alfa Cronbacha, alfa Cronbacha po usunięciu pozycji (Cronbach, 1951), współczynniki korelacji pozycji z całym testem
(item--test correlation – RIT) i korelacji z testem po usunięciu
pozycji (item-rest correlation – RIR), świadczących o mocy dyskryminacyjnej danej pozycji (np. Nunnally, Berstein, 1994). Wskaźniki korelacji pozycji z całym testem powin-ny przyjmować mniej więcej te same wartości, natomiast wskazuje się, że pozycje, które zaburzają rzetelność skali, można w lepszy sposób wykrywać przy pomocy korelacji z testem po usunięciu pozycji (tamże). W analizie właści-wości psychometrycznych pominięto wskaźnik trudności pozycji (item-difficulty index), gdyż analiza pozycji pod tym kątem jest bardziej adekwatna w przypadku testów właściwości poznawczych (Hornowska, 2007). Wstępną analizę przeprowadzono przy pomocy biblioteki psych (Revelle, 2014) oraz oprogramowania R.
Następnie przeprowadzono konfirmacyjną analizę czyn nikową (CFA – confirmatory factor analysis), która poz -woliła ocenić dopasowanie dwuczynnikowego modelu motywacji (Sundre, 2007) do danych. Dobroć dopaso-wania dwuczynnikowego modelu motywacji porównano z modelem bazowym – zakładającym jednoczynnikową strukturę motywacji. Przetestowano osiem jednoczyn-nikowych modeli CFA oraz osiem dwuczynjednoczyn-nikowych modeli CFA (odpowiednio dla każdego z analizowanych testów). Specyfikacja modelu dwuczynnikowgo została Tabela 1
Skala Op inii Uczniów – polskie tłumaczenie Stwierdzenia
1. Ważne było dla mnie uzyskanie dobrego wyniku w teście 2. Silnie zaangażowałem(-am) się w rozwiązywanie testu 3. Nie ciekawi mnie, jak mi poszło w teście w porównaniu do
innych osób*
4. Nie przejmuję się wynikiem, jaki uzyskam w teście* 5. Ten test był dla mnie ważny
6. Dałem(-am) z siebie wszystko rozwiązując test
7. Mogłem(-am) się bardziej przyłożyć do rozwiązywania testu* 8. Chciałbym(-abym) wiedzieć, jak mi poszło w teście
9. Nie poświęciłem(-am) całej swojej uwagi testowi* 10. Pracowałem(-am) nad rozwiązaniem testu aż do końca * Punktacja zliczana w sposób odwrotny.
Źródło: tabele 1–19 – badania własne.
Tabela 2 Podskale SOS
Podskala (definicja mierzonego konstruktu) Numery pozycji
testowych (zob. tab. 1) Ważność: Jak ważne jest dla egzaminowanego
by wypaść dobrze na danym teście (jak ważne dla egzaminowanego są konsekwencje danego testu)
1, 3, 4, 5, 8
Wysiłek: Postrzegany stopień nakładu pracy niezbędny do ukończenia danego testu
2, 6, 7, 9, 10
2 Gdzie poszczególne punkty skali brzmią: 1 – zdecydowanie się nie zgadzam; 2 – raczej się nie zgadzam; 3 – ani się zgadzam, ani się
nie zgadzam; 4 – raczej się zgadzam; 5 – zdecydowanie się zgadzam.
Tabela 3
Wielkość prób uczniów wypełniających Skalę Opinii Uczniów
Poziom Wielkość próby (n) Liczba klas
biorących udział w badaniu
Szkoła podstawowa 1551 80
Gimnazjum 1724 80
Matura (język polski) 6487 298
Matura (matematyka) 2545 121
przedstawiona na poniższym rysunku (rysunek 1). Model zakłada korelację między czynnikami ukrytymi – ważności i wysiłku, zgodnie z wytycznymi przedstawionymi przez Sundre (2007). Analiza została wykonana przy pomocy biblioteki lavaan (Rosseel, 2012). Estymację przeprowa-dzono metodą MLR (Maximum Likelihood Estimation with
Robust Standard Errors). Skalowanie zmiennych ukrytych
przeprowadzono poprzez zafiksowanie pierwszego ładunku czynnikowego na wartości „1”.
Oprócz zwykłej CFA przeprowadzono CFA uwzględnia-jącą hierarchiczną strukturę danych – (MCFA – multilevel
confirmatory factory analysis). Uczniowie biorący udział
w badaniu byli uczniami konkretnych klas, uczonych przez konkretnych nauczycieli oraz znajdujących się pod wpły-wem odmiennych grup rówieśniczych), więc ich poziom motywacji testowej mógł być podobny (Skórska i in., 2014). Dlatego też założenie o niezależności wyników jednostek mogło zostać złamane. Sytuacja ta grozi oszacowaniem obciążonych parametrów i błędów standardowych, co może wpływać na moc przeprowadzanych testów statystycznych (Kenny, Judd, 1986; Bliese, Hanges, 2004; Dyer, Hanges, Hall, 2005; Chou, Bentler, Pentz, 2000) oraz zwiększenie błędu I rodzaju. Metoda MCFA pozwala w tym wypadku na stwierdzenie, czy struktura motywacji na poziomie klasy odzwierciedla strukturę motywacji z poziomu ucz-nia, czy różnicuje się w jakiś sposób. Więcej o mechani-zmach statystycznych leżących u podłoża wielopoziomowej konfirmacyjnej analizy czynnikowej można przeczytać np. w Muthén (1994) i Hox (2002).
Zaproponowano dwa wielopoziomowe modele motywacji oraz porównano ich dobroć dopasowania między sobą oraz z modelami jednopoziomowymi. W pierwszym modelu MCFA założono, że struktura motywacji na poziomie klasy jest jednowymiarowa (model 2D–1D – rysunek 2), w drugim z nich struktura motywacji na poziomie klasy odzwierciedla strukturę motywacyjną z poziomu ucznia (model 2D–2D – rysunek 3). W modelu 2D–2D czynniki ważności i wysiłku są skorelowane zarówno na poziomie ucznia i poziomie klasy. Analizy MCFA wykonano w pro-gramie Mplus 6 (L. K. Muthén, B.O. Muthén, 1998–2010). W celu oszacowania wyników zastosowano ponownie estymację MLR (Maximum Likelihood Estimation with
Robust Standard Errors). Skalowanie zmiennych ukrytych
przeprowadzono również przez zafiksowanie pierwszego ładunku czynnikowego na wartości „1”.
Oprócz tego przeprowadzono prostą analizę zróżnico-wanego funkcjonowania zadań testowych (differential
item functioning – DIF) w celu sprawdzenia, czy pytania
kwestionariusza nie funkcjonują w sposób jakościowo różny w grupach wyróżnionych ze względu na płeć oraz wiek uczniów. W oryginalnej wersji SOS nie stwierdzono zróż-nicowanego funkcjonowania pozycji testowych, w związku z czym uprawnione jest raportowanie wyników kwestiona-riusza bez podziału na płeć (Thelk i in., 2009). Analizowano też funkcjonowanie SOS wyłącznie w grupach studentów – nie jest więc jasne, jak jego pytania będą funkcjonować w młodszych grupach wiekowych. W związku z tym, że analiza DIF dla więcej niż dwóch grup oraz dla zmiennych
Rysunek 1. Grafi czna ilustracja modelu dwuczynnikowego modelu CFA.
Źródło: rysunki 1–3 – opracowanie własne.
Rysunek 2. Grafi czna ilustracja wielopoziomowego modelu CFA (2D–1D).
wielokategorialnych jest stosunkowo mało przebadanym zagadnieniem (Fidalgo, Madeira, 2008), dokonano pew-nego uproszczenia poprzez porównanie najmłodszej grupy wiekowej (uczniów piszących sprawdzian) z wszystkimi innymi analizowanymi grupami. W analizie wykorzystano bibliotekę lordif (Choi, Gibbons, Crane, 2011) pozwalającą na detekcję DIF przy pomocy regresji logistycznej dla zmiennych porządkowych (ordered logistic regression). Metoda ta pozwala na szacowanie DIF dla zmiennych wielokategorialnych. Wielkość efektu oszacowano przy pomocy współczynnika R2 McFaddena.
W
Analiza właściwości psychometrycznych pozycji i podskal SOS
W tabeli 4 przedstawiono właściwości psychometryczne SOS dla danych ze sprawdzianu, w tabeli 5 dla testów humanistycznych (historia i język polski) z poziomu gim-nazjum, w tabeli 6 dla testów matematyczno-przyrodni-czych z poziomu gimnazjum oraz w tabeli 7 dla danych maturalnych. W tabelach zaprezentowano następujące współczynniki: RIT – współczynnik korelacji danej pozycji z całym testem (item-test correlation), RIR – współczynnik korelacji danej pozycji z testem, po jej usunięciu
(item--rest correlation), M – średnia odpowiedzi na pytanie, SD – odchylenie standardowe odpowiedzi na pytanie oraz Rysunek 3. Grafi czna ilustracja wielopoziomowego modelu
CFA (2D–2D).
Tabela 4
Analiza właściwości psychometrycznych SOS (sprawdzian)
RIT RIR M SD Skośność Kurtoza α po usunięciu
Skala ważności sos1 0,73 0,49 4,6 0,82 –2,52 –6,99 0,57 sos3 0,51 0,25 3,6 1,37 –0,51 –1,04 0,70 sos4 0,66 0,44 4,1 1,24 –1,24 –0,38 0,62 sos5 0,70 0,45 4,2 1,02 –1,43 –1,70 0,59 sos8 0,69 0,43 4,5 0,92 –2,38 –5,53 0,60
Std. α Cronbacha dla skali = 0,67
Skala wysiłku sos2 0,72 0,48 4,2 0,87 –1,49 –2,85 0,52 sos6 0,75 0,52 4,3 0,93 –1,61 –2,77 0,50 sos7 0,44 0,15 2,8 1,31 –0,18 –1,08 0,69 sos9 0,66 0,42 4,1 1,17 –1,14 –0,30 0,56 sos10 0,61 0,31 4,2 1,13 –1,48 –1,34 0,60
Tabela 5 Analiza w
ła
ściwo
ści psychometrycznych SOS (gimnazjum – przedmioty humanistyczne)
His tor ia J. p o ls ki RI T R IR MS D sk oś noś ć kur to za α p o u su n ię ci u R IT R IR MS D Sk ośnoś ć K u rt o za α p o u su n ię ci u Po d sk al a w aż n o śc i so s1 0, 72 0, 5 2 4, 1 1 ,1 –1 ,3 8 – 1, 3 5 0,6 6 0, 7 9 0,6 4 4, 2 1 ,0 –1 ,3 7 – 1, 5 8 0 ,7 0 so s3 0, 5 9 0, 35 3,6 1 ,3 – 0 ,5 1 – 0, 8 3 0, 73 0,62 0, 41 3, 7 1, 2 – 0 ,6 4 – 0 ,5 4 0 ,7 8 so s4 0, 72 0, 5 4 3, 8 1 ,2 – 0 ,8 4 – 0, 33 0,6 6 0, 76 0,6 0 3, 9 1 ,2 – 0 ,8 5 – 0, 18 0, 72 so s5 0, 7 1 0, 51 3, 5 1 ,1 – 0 ,4 4 – 0, 37 0,67 0, 74 0, 55 3, 7 1 ,1 – 0 ,62 – 0, 2 1 0, 73 so s8 0, 70 0, 5 0 4, 3 1 ,1 –1 ,6 4 – 2 ,18 0,67 0, 73 0, 5 4 4, 2 1 ,1 –1 ,5 0 – 1, 8 0 0 ,7 4 Std . α C ro n b ac h a d la s ka li = 0, 7 3 St d . α C ro n b ac h a d la s ka li = 0, 7 8 Po d sk al a w ys ił ku so s2 0, 73 0, 5 2 3, 8 1 ,0 – 0 ,8 9 – 0, 51 0, 5 8 0, 76 0, 5 7 3, 9 1 ,0 – 0 ,8 9 – 0, 4 8 0,6 1 so s6 0, 7 7 0, 5 8 3, 8 1 ,1 –0 ,9 2 – 0, 41 0, 55 0, 8 0 0,62 3, 8 1 ,0 – 0 ,8 5 – 0, 28 0, 5 8 so s7 0, 53 0, 2 5 3, 0 1 ,2 – 0, 0 0 – 0 ,8 9 0 ,7 0 0 ,5 4 0, 28 2 ,9 1 ,2 – 0, 0 9 – 0 ,8 5 0 ,7 3 so s9 0, 74 0, 5 4 3, 8 1 ,2 – 0 ,9 0 – 0, 01 0, 5 7 0, 73 0, 53 3, 7 1 ,2 – 0 ,6 6 – 0, 47 0,6 3 so s1 0 0, 53 0, 2 5 3, 4 1 ,4 – 0 ,4 6 –1 ,1 0 0, 70 0, 5 6 0, 3 0 3, 3 1 ,4 – 0 ,3 6 –1 ,0 9 0, 72 Std . α C ro n b ac h a d la s ka li = 0, 6 8 St d . α C ro n b ac h a d la s ka li = 0, 7 1
Tabela 6 Analiza w
ła
ściwo
ści psychometrycznych SOS (gimnazjum). (przedmioty matematyczno-przyr
odnicze) Matemat yk a Pr zy ro da RI T R IR MS D Sk ośnoś ć K u rt o za α p o u su n ię ci u R IT R IR MS D Sk ośnoś ć K u rt o za α p o u su n ię ci u Po d sk al a w aż n o śc i so s1 0, 8 0 0,6 6 4, 2 0 ,9 5 –1 ,2 7 – 1 ,4 7 0, 75 0, 7 9 0,6 4 4, 2 0 ,9 6 –1 ,2 6 – 1, 4 0 0 ,7 4 so s3 0,67 0, 49 3, 8 1 ,2 2 – 0,6 5 – 0 ,62 0 ,8 1 0 ,6 5 0 ,4 5 3 ,7 1 ,2 1 – 0 ,6 6 – 0, 5 6 0, 8 0 so s4 0, 76 0,6 1 3, 9 1 ,1 7 – 0, 8 5 – 0 ,1 6 0 ,7 7 0 ,7 7 0 ,6 3 3 ,9 1 ,1 5 – 0 ,8 3 – 0, 1 5 0, 75 so s5 0, 7 9 0,6 4 3, 8 1 ,0 7 – 0,62 – 0 ,1 7 0 ,7 6 0 ,7 8 0 ,62 3 ,6 1 ,0 6 – 0 ,5 3 – 0, 2 1 0, 74 so s8 0, 74 0, 5 7 4, 2 1 ,0 3 –1 ,36 – 1 ,39 0, 78 0, 73 0, 55 4, 2 0 ,9 6 –1 ,43 – 1, 9 0 0 ,7 7 Std . α C ro n b ac h a d la s ka li = 0, 8 1 St d . α C ro n b ac h a d la s ka li = 0, 8 Po d sk al a w ys ił ku so s2 0, 8 1 0,6 5 3, 9 1 ,0 – 0 ,8 6 – 0, 2 5 0,69 0, 78 0,6 1 3, 9 0 ,9 7 – 0, 7 7 – 0, 33 0,6 5 so s6 0, 8 3 0,69 3, 9 1 ,1 – 0 ,7 5 – 0, 02 0,6 8 0, 8 3 0,67 3, 8 1 ,0 2 – 0, 73 – 0, 1 5 0,6 3 so s7 0,6 4 0, 43 3, 0 1 ,2 – 0 ,0 6 – 0 ,9 7 0 ,7 7 0 ,6 1 0 ,3 7 2 ,9 1 ,18 – 0, 07 – 0 ,8 5 0 ,7 5 so s9 0, 76 0,6 0 3, 7 1 ,2 – 0 ,5 8 – 0, 5 7 0, 7 1 0, 74 0, 5 6 3, 7 1 ,1 6 – 0,6 3 – 0 ,4 6 0 ,6 8 so s1 0 0 ,5 9 0 ,3 5 3 ,4 1 ,3 – 0 ,3 9 –1 ,0 4 0 ,7 9 0 ,5 6 0 ,3 1 3 ,3 1 ,34 – 0 ,3 2 –1 ,1 0 0 ,7 7 Std . α C ro n b ac h a d la s ka li = 0, 7 8 St d . α C ro n b ac h a d la s ka li = 0, 7 5
Tabela 7 Analiza w
ła
ściwo
ści psychometrycznych SOS (szko
ły ponadgimnazjalne) J. a n gi e ls ki Matemat yk a RI T R IR M SD Sk ośnoś ć K u rt o za α p o u su n ię ci u R IT R IR MS D Sk ośnoś ć K u rt o za α p o u su n ię ci u Po d sk al a w aż n o śc i so s1 0, 7 7 0, 5 9 4, 1 0 ,9 7 –1 ,1 2 – 1 ,0 0 0,6 8 0, 74 0, 5 4 4, 2 0 ,8 9 –1 ,2 6 – 1, 5 6 0 ,6 5 so s3 0, 5 6 0, 33 3, 4 1 ,2 7 – 0, 41 – 0 ,9 0 0 ,7 8 0 ,5 6 0 ,3 1 3 ,6 1 ,3 0 – 0 ,5 1 – 0, 9 0 0, 74 so s4 0, 7 7 0,6 1 3, 7 1 ,2 2 – 0,62 – 0 ,6 0 0 ,6 8 0 ,7 4 0 ,5 6 3 ,8 1 ,1 9 – 0 ,7 8 – 0, 3 8 0,6 5 so s5 0, 76 0, 5 8 3, 4 1 ,1 1 – 0, 41 – 0 ,4 6 0 ,69 0 ,7 4 0 ,5 3 3 ,6 1 ,07 – 0 ,4 9 – 0, 31 0,6 5 so s8 0, 70 0, 5 0 4, 3 0 ,9 5 –1 ,6 1 – 2 ,4 4 0, 72 0,67 0, 45 4, 4 0 ,9 4 –2 ,0 0 – 3, 8 5 0, 69 Std . α C ro n b ac h a d la s ka li = 0, 76 St d . α C ro n b ac h a d la s ka li = 0, 7 2 Po d sk al a w ys ił ku so s2 0, 7 9 0,6 3 3, 8 1 ,0 – –0 ,7 5 – 0, 1 2 0,69 0, 7 9 0,6 3 3, 9 0 ,9 7 – 0, 8 5 – 0, 29 0, 70 so s6 0, 82 0,6 8 3, 7 1 ,1 – – 0 ,6 8 – 0, 1 5 0,67 0, 8 3 0,69 3, 8 1 ,0 7 – 0, 87 – 0, 20 0,6 8 so s7 0,6 4 0, 4 2 2 ,9 1 ,3 –– 0 ,13 –1 ,0 2 0 ,7 6 0 ,6 5 0 ,4 4 3 ,0 1 ,25 – 0, 0 6 –1 ,0 2 0 ,7 7 so s9 0, 78 0,6 1 3,6 1 ,2 – – 0 ,4 6 – 0, 8 5 0, 70 0, 76 0,6 0 3, 8 1 ,1 8 – 0, 74 – 0 ,4 7 0 ,7 1 so s1 0 0 ,5 7 0 ,3 3 3 ,1 1 ,4 – – 0 ,1 8 –1 ,3 1 0, 7 9 0,6 0 0, 37 3, 1 1 ,3 8 – 0, 0 6 –1 ,2 9 0 ,7 9 Std . α C ro n b ac h a d la s ka li = 0, 7 7 St d . α C ro n b ac h a d la s ka li = 0, 7 8 J. p o ls ki RI T R IR MS D Sk ośnoś ć K u rt o za α p o u su n ię ci u Po d sk al a w aż n o śc i so s1 0, 7 7 0,6 0 4, 1 0 ,9 6 –1 ,1 5 – 1, 0 6 0 ,6 8 so s3 0, 5 6 0, 3 2 3, 5 1 ,2 8 – 0, 47 – 0 ,8 7 0 ,7 9 so s4 0, 76 0,6 0 3, 8 1 ,1 9 – 0,69 – 0 ,4 7 0 ,69 so s5 0, 7 7 0,6 0 3, 4 1 ,0 9 – 0, 43 – 0 ,4 2 0 ,6 8 so s8 0, 70 0, 5 0 4, 4 0 ,9 5 –1 ,78 – 2, 9 9 0 ,7 2 Std . α C ro n b ac h a d la s ka li = 0, 76 Po d sk al a w ys ił ku so s2 0, 7 9 0,6 3 3, 9 0 ,9 7 – 0, 8 5 – 0, 43 0, 7 1 so s6 0, 8 4 0, 70 3, 7 1 ,0 7 – 0, 78 – 0, 02 0,6 8 so s7 0,6 6 0, 4 4 2 ,8 1 ,2 1 – 0, 1 2 – 0 ,9 5 0 ,7 7 so s9 0, 78 0,6 1 3,6 1 ,1 8 – 0, 5 6 – 0 ,7 1 0 ,7 2 so s1 0 0 ,5 9 0 ,3 6 3 ,2 1 ,3 9 – 0 ,2 1 –1 ,2 7 0 ,80 Std . α C ro n b ac h a d la s ka li = 0, 7 8
α po usunięciu – wielkość współczynnika alfa Cronbacha
po usunięciu pozycji z całego testu. Przedstawiono także statystyki na poziomie całej skali – standaryzowaną wartość alfy Cronbacha.
We wszystkich przypadkach (poza sprawdzianem i egza-minem z historii) obie podskale SOS cechują się zado-walającą rzetelnością, przyjmując kryterium alfy Cron-bacha wyższej niż 0,7 (standaryzowana alfa CronCron-bacha dla podskali ważności dla sprawdzianu = 0,67; dla testu gimnazjalnego z historii = 0,73; języka polskiego = 0,78; matematyki = 0,81 i przyrody = 0,8; dla matury z języka polskiego = 0,76; matematyki = 0,72 i języka angielskie-go = 0,76; standaryzowana alfa Cronbacha dla podskali wysiłku w przypadku sprawdzianu = 0,63; dla testu gim-nazjalnego z historii = 0,68; języka polskiego = 0,71; matematyki = 0,78 i przyrody = 0,75; dla matury z języka polskiego = 0,78; matematyki = 0,78 i języka angiel-skiego = 0,77). Alfa Cronbacha jest zazwyczaj wyższa
w przypadku podskali ważności, poza testami na poziomie maturalnym, gdzie rzetelności obydwu podskal są do siebie najbardziej zbliżone.
Można zauważyć, że w każdej grupie wiekowej trzy pozycje, czyli: „Nie ciekawi mnie, jak mi poszło w teście w porównaniu do innych osób*” (pozycja 3); „ Mo głem(-am) się bardziej przyłożyć do rozwiązywania testu*” (pozy-cja 7) oraz: „Pracowałem(-am) nad rozwiązaniem testu aż do końca” (pozycja 10) mają stosunkowo najniższą korelację z całym testem (RIT) oraz korelację po usunięciu pozycji (RIR). Dlatego też przetestowano właściwości skali po wyłączeniu tych trzech pozycji. Analiza właściwości podskal nie wskazała na znaczące polepszenie rzetelności po wyłączeniu dyskusyjnych stwierdzeń3. Dlatego też
w dalszych analizach z wykorzystaniem CFA i MCFA, wykorzystano wszystkie pozycje skali SOS.
W tabeli 8 przedstawiono właściwości podskal waż-ności i wysiłku dla wszystkich analizowanych testów
3
Tabela 8.
Analiza właściwości podskal Skali opinii uczniów
Podskala ważności
test M SD skośność kurtoza SE
Sprawdzian 20,98 3,49 –1,20 –1,97 0,09 Historia 19,26 3,95 –0,78 –0,60 0,10 J. polski 19,66 4,01 –0,80 –0,71 0,10 Matematyka 19,81 4,09 –0,67 –0,27 0,10 Przyroda 19,67 3,95 –0,71 –0,46 0,10 J. angielski (matura) 18,91 3,92 –0,61 –0,17 0,05 Matematyka (matura) 19,65 3,69 –0,80 –0,61 0,07 J. polski (matura) 19,19 3,87 –0,72 –0,37 0,05 Podskala wysiłku Sprawdzian 19,58 3,38 –0,74 –0,74 0,09 Historia 19,26 3,95 –0,78 –0,60 0,10 J. polski 17,68 3,86 –0,37 –0,09 0,10 Matematyka 17,96 4,19 –0,24 –0,27 0,11 Przyroda 17,53 3,94 –0,30 –0,06 0,10 J. angielski (matura) 17,10 4,25 –0,28 –0,44 0,05 Matematyka (matura) 17,60 4,20 –0,38 –0,32 0,08 J. polski (matura) 17,24 4,21 –0,42 –0,30 0,05
3 Różnice w poprawie rzetelności mierzonej przy pomocy alfy Cronbacha są rzędu 0,02–0,07 dla podskali ważności oraz rzędu
z wykorzystaniem takich charakterystyk jak średnia, odchy-lenie standardowe, skośność i kurtoza. Analiza właściwości pozwala przede wszystkim stwierdzić, że średnie wyniki uzyskiwane w obydwu podskalach kwestionariusza SOS są dość wysokie. W obydwu podskalach można było uzyskać maksymalnie 25 punktów. Dla podskali ważności uzyskano średnio od 18,91 punktów w przypadku testu maturalnego z języka angielskiego do 20,98 punktów w przypadku sprawdzianu). Dla podskali wysiłku uzyskano średnio od 17,10 punktów (test z angielskiego) do 19,58 punktów (sprawdzian). Tendencja ta jest także widoczna podczas ana-lizy współczynników skośności – w przypadku wszystkich testów są ujemne. Oznacza to umiarkowaną lewostronną asymetrię rozkładu (wyższą dla skali ważności). Może to budzić pewne wątpliwości – mianowicie, czy pozycje zawarte w kwestionariuszu SOS nie są obciążone zmienną aprobaty społecznej. Potencjalne rozwiązania tego problemu zostały zawarte w dyskusji wyników.
Analiza wyników CFA
W dalszej kolejności przeprowadzono konfirmacyjną analizę czynnikową przy pomocy estymacji MLR. Pewnym uproszczeniem może być potraktowanie zmiennych kwe-stionariusza SOS jako zmiennych ilościowych, nie zaś kategorialnych. Jednakże w literaturze wskazuje się, że przy zmiennych posiadających pięć i więcej kategorii (Rhemtulla, Brosseau-Liard, Savalei, 2012) nie występują znaczące różnicy między estymacją MLR dla zmiennych ciągłych i estymacją odporną (robust) dla zmiennych kategorialnych.
Oszacowano wielkości takich współczynników dopasowania jak RMSEA (Root Mean Square Error of Approxima
-tion), SRMR (Standardized Root Mean Square Residual),
TLI (Tucker-Lewis Index), CFI (Comparative Fit Index) oraz AIC (Akaike Information Criterion) i BIC (Bayesian
Information Criterion). TLI (Tucker, Lewis, 1973) i CFI
(Bentler, 1990) są porównawczymi miarami dobroci dopa-sowania. Oba indeksy bazują na porównaniu wartości χ2 dla
macierzy implikowanej przez model z wartością χ2 dla
modelu pustego, jednak indeks CFI jest unormowany (przyjmuje wartości 0–1). Im większa wartość tych indek-sów, tym lepsze dopasowanie modelu do danych. Wskazuje się, że wartości TLI i CFI większe niż 0,95 wskazują na dobre dopasowanie do danych (Hu, Bentler, 1998, 1999).
RMSEA jest wskaźnikiem mówiącym o tym, jak dobrze model (z wybranymi w sposób optymalny oszacowaniami parametrów) jest dopasowany do macierzy kowariancji z populacji (Byrne, 1998).W literaturze (Hu, Bentler, 1998, 1999; Steiger, 2007) wskazuje się, że wartości RMSEA mniejsze lub równe 0,06–0,07 świadczą o dobrym dopa-sowaniu modelu do danych. RMSEA faworyzuje również
modele o mniejszej liczbie parametrów oraz pozwala na wyliczenie przedziału ufności. (MacCallum, Browne, Sugawara, 1996)
SRMR jest standaryzowaną wersją współczynnika RMR (Root Mean Square Residual) opierającego się na pier-wiastku kwadratowym różnicy między resztami macierzy kowariancji z próby oraz hipotetycznej macierzy kowariancji z populacji. Wartości SRMR przyjmują zakres od 0 do 1 wskaźnik SRMR powinien przyjmować wartość 0,08 lub niższą (Hu, Bentler 1999, s. 27), choć według niektórych kryteriów wartość 0,05 lub niższa świadczy o dobrym dopasowaniu modelu. Niskie wartości SRMR mogą być spowodowane dużymi próbami oraz zwiększoną liczbą parametrów w modelu (Hooper, Coughlan, Mullen, 2008).
Współczynniki dopasowania AIC (Akaike, 1973, 1974) i BIC (Schwarz, 1978) są relatywnymi miarami dobro-ci dopasowania. Niższe wartośdobro-ci tych współczynników sugerują lepsze dopasowanie. Należy także zauważyć, że współczynnik BIC w większym stopniu penalizuje wolne parametry niż współczynnik AIC.
W związku z tym, że w analizie wykorzystano stosunkowo duże próby, nie raportowano wyników testu chi kwadrat. Z drugiej strony Barrett (2007) zwraca uwagę, że w przy-padku konfirmacyjnej analizy czynnikowej nie istnieje coś takiego jak zmienne „wynikowe” i dobroć dopasowania modelu może być oszacowana wyłącznie na podstawie rozbieżności między macierzą kowariancji implikowaną przez model oraz obserwowaną macierzą kowariancji – test chi kwadrat jest jedynym testem statystycznym służącym do oceny jakości dopasowania. Zamiast tego proponuje się np. zaprezentowanie rozwiązań niestandaryzowanych i standaryzowanych, a także przeprowadzenie walida-cji z wykorzystaniem jakiegoś zewnętrznego kryterium. W przypadku niniejszej analizy zaprezentowano standary-zowane i niestandarystandary-zowane rozwiązania dla wszystkich modeli oraz analizy z wykorzystaniem kryterium zewnętrz-nego – liczby punktów uzyskanych w teście umiejętności w badaniu zrównującym.
Wskaźniki dobroci dopasowania dla jednopoziomowej konfirmacyjnej analizy czynnikowej (porównanie modelu jednoczynnikowego – bazowego oraz modelu dwuczyn-nikowego) zostały zamieszczone w tabeli 9. Parametry dla modeli z gimnazjum przedstawiono w tabeli 10, dla sprawdzianu w tabeli 11 i dla matury w tabeli 12.
W przypadku wszystkich modeli (poza testem z histo-rii – jedynie AIC i BIC świadczą o lepszym dopasowaniu modelu) wartości AIC, BIC, RMSEA, SRMR oraz przynaj-mniej jedna z porównawczych miar dobroci dopasowania (CFI lub TLI) wskazują na lepsze dopasowanie modelu dwuczynnikowego we wszystkich analizowanych grupach wiekowych zgodnego ze specyfikacją i założeniami Sundre
Tabela 9 Dobr
oć
dopasowania modelu do danych dla konfirmacyjnej analizy czynnikowej
Et ap nau cz ania Te st M o d e l j e d n o cz yn n iko w y ( 1D ) M o d e l d w u cz yn n iko w y ( 2D ) RM SE A SRMR T LI C FI A IC BI C R M SE A SR MR T LI C FI A IC B IC SP sp ra wdzian 0, 0 9 0, 0 6 0, 8 1 0, 8 5 39 74 5, 5 8 39 9 0 4, 0 4 0, 0 9 0, 0 6 0, 8 1 0, 8 6 39 710 ,2 1 3 9 8 7 3 ,9 5 GIM h is toria 0, 1 0 0, 0 6 0, 78 0, 8 3 4 4 8 1 5, 73 4 4 9 76, 2 3 0, 1 0 0, 0 6 0, 78 0, 8 3 4 47 76, 29 4 4 9 4 2 ,1 3 j. p o ls ki 0 ,1 1 0 ,0 7 0 ,7 9 0 ,8 3 4 3 0 9 8 ,88 4 3 2 5 9,5 3 0 ,1 1 0 ,0 7 0 ,80 0 ,8 5 4 2 9 9 5 ,69 43 1 61 ,70 mate mat yk a 0, 1 2 0, 07 0, 7 7 0, 82 41 9 7 7, 0 6 4 2 1 37 ,4 0 0, 1 0 0, 0 6 0, 8 4 0, 8 8 41 5 8 7, 5 0 41 753, 18 p rz yr o da 0, 1 2 0, 07 0, 75 0, 8 1 4 2 0 51 ,9 9 4 2 2 1 2 ,5 8 0, 1 1 0, 0 6 0, 8 0 0, 8 5 41 76 4, 204 1 9 3 0 ,1 5 M A T j. p o ls ki 0, 1 1 0, 0 6 0, 8 1 0, 8 6 17 0 8 14 ,67 17 1 01 6, 72 0, 0 9 0, 0 5 0, 87 0, 9 0 1 6 9 7 5 0 ,69 1 69 9 59 ,4 8 j. an gi e ls ki 0, 1 2 0, 07 0, 78 0, 8 3 1 9 5 6 8 9, 1 1 1 95 8 9 4, 73 0, 1 0 0, 0 6 0, 8 3 0, 87 1 9 4 6 33, 7 9 1 9 4 8 4 6, 27 mate mat yk a 0, 1 1 0, 0 6 0, 78 0, 8 3 6 8 36 4,6 1 6 8 53 8 ,9 6 0, 1 0 0, 0 5 0, 87 0, 8 3 6 8 01 5,7 9 6 8 1 9 5 ,9 5
Tabela 10 Parametry modeli CF
A
(jednoczynnikowych – 1D i dwuczynnikowych – 2D) dla testów z poziomu gimnazjum
His tori a J. p olski M o d e l 1D M o d e l 1D Ła dunek Ładunek s ta ndar yz owan y SE z Ła dunek Ładunek s ta ndar yz owan y SE z Mot ywacja so s1 1, 0 0 0 ,7 2 – – 1, 0 0 0 ,81 – – so s3 0, 47 0, 29 0, 0 5 9 ,1 6 0 ,5 3 0 ,3 6 0 ,0 5 1 1 ,6 4 so s4 0, 76 0, 49 0, 0 5 14 ,6 0 0 ,8 0 0 ,5 6 0 ,0 5 17 ,4 7 so s5 0, 9 1 0,67 0, 0 4 2 1 ,6 8 0 ,9 8 0 ,7 3 0 ,0 4 27 ,01 so s8 0, 7 9 0,6 0 0, 0 4 1 9,6 1 0 ,7 6 0 ,5 9 0 ,0 4 2 1 ,4 6 so s2 0, 9 9 0, 7 9 0, 0 3 28 ,9 5 1 ,0 6 0 ,8 6 0 ,0 3 3 4, 43 so s6 0, 95 0, 7 1 0, 0 5 20, 3 4 0 ,9 6 0 ,7 6 0 ,0 4 24, 87 so s7 0, 2 5 0, 17 0, 0 5 4,6 8 0 ,2 5 0 ,1 7 0 ,0 5 5, 17 so s9 0, 8 3 0, 5 7 0, 0 5 1 6 ,0 4 0 ,7 4 0 ,5 2 0 ,0 5 1 5, 5 6 so s1 0 0 ,5 7 0 ,3 3 0 ,0 5 1 0,6 5 0, 5 9 0, 36 0, 0 5 1 2 ,2 0 M o d e l 2D Wa żn o ść so s1 1, 0 0 0 ,7 3 – – 1, 0 0 0 ,8 4 – – so s3 0, 49 0, 31 0, 0 5 9 ,0 7 0 ,5 4 0 ,3 8 0 ,0 5 1 1 ,7 4 so s4 0, 7 9 0, 5 2 0, 0 6 1 3 ,8 3 0 ,8 1 0 ,5 9 0 ,0 5 17 ,1 3 so s5 0, 9 1 0,69 0, 0 4 20,62 0 ,9 6 0 ,7 4 0 ,0 4 2 5, 1 5 so s8 0, 8 0 0,6 1 0, 0 4 1 9, 0 5 0 ,7 6 0 ,6 1 0 ,0 4 2 1 ,3 4 Wys ił e k so s2 1, 0 0 0 ,8 0 1, 0 0 0 ,8 9 so s6 0, 9 7 0, 74 0, 0 4 2 2 ,6 6 0 ,9 0 0 ,7 8 0 ,0 3 31 ,93 so s7 0, 3 0 0, 20 0, 0 6 5, 31 0 ,2 7 0 ,2 0 0 ,0 5 5, 8 9 so s9 0, 8 5 0, 5 9 0, 0 5 1 6 ,5 2 0 ,69 0 ,5 2 0 ,0 4 1 6, 5 4 so s1 0 0 ,5 8 0 ,3 3 0 ,0 5 1 1 ,3 0 0, 5 6 0, 37 0, 0 4 1 3 ,4 3 Ko w ar ia n cj a/ ko re la cj a p o m ię dz y c zy n n ik am i u kr yt ym i 0, 5 9 0, 9 2 0, 0 4 1 3 ,3 3 0 ,6 8 0 ,9 1 0 ,0 4 1 6, 76 cią g d al sz y t ab el i 1 0 n a n as tę pnej st ron ie
cią g d al sz y t ab el i 1 0 z p op rz ed ni ej st ron y Pr zy ro da Matemat yk a M o d e l 1D M o d e l 1D Ła dunek Ładunek s ta ndar yz owan y SE z Ła dunek Ładunek s ta ndar yz owan y SE z Mot ywacja so s1 1, 0 0 0 ,7 9 – – 1, 0 0 0 ,7 8 – – so s3 0,62 0, 3 8 0, 0 3 1 2 ,0 4 0 ,6 8 0 ,4 2 0 ,0 5 1 3, 7 1 so s4 0, 8 6 0, 5 6 0, 0 3 18 ,5 1 0 ,8 9 0 ,5 7 0 ,0 5 1 8 ,8 8 so s5 1 ,07 0, 75 0, 02 31 ,4 8 1 ,0 9 0 ,7 5 0 ,0 3 3 3, 74 so s8 0, 75 0, 5 8 0, 0 3 20, 8 0 0 ,8 3 0 ,6 0 0 ,0 4 2 2 ,4 4 so s2 1 ,0 9 0, 8 4 0, 0 3 33, 0 2 1 ,1 9 0 ,8 7 0 ,0 4 31 ,4 6 so s6 1 ,0 8 0, 7 9 0, 0 3 2 5 ,3 1 1 ,1 6 0 ,8 1 0 ,0 5 24, 47 so s7 0, 4 4 0, 28 0, 0 4 7 ,7 8 0 ,5 9 0 ,3 6 0 ,0 6 9,6 4 so s9 0, 8 4 0, 5 4 0, 0 4 1 5 ,3 5 0 ,9 0 0 ,5 7 0 ,0 6 1 5, 55 so s1 0 0 ,69 0 ,3 8 0 ,0 3 1 3, 9 6 0, 7 1 0, 39 0, 0 5 1 3 ,3 2 M o d e l 2D Wa żn o ść so s1 1, 0 0 0 ,8 2 – – 1, 0 0 0 ,8 3 – – so s3 0,6 4 0, 41 0, 0 5 1 2 ,0 6 0 ,7 0 0 ,4 6 0 ,0 5 1 3, 7 7 so s4 0, 8 9 0,6 1 0, 0 5 17 ,6 6 0 ,9 1 0 ,62 0 ,0 5 1 8 ,0 3 so s5 1 ,07 0, 7 9 0, 0 4 29 ,6 0 1 ,0 8 0 ,8 0 0 ,0 3 3 2 ,1 4 so s8 0, 75 0,6 1 0, 0 4 20, 2 5 0 ,8 2 0 ,6 4 0 ,0 4 2 1 ,8 5 Wys ił e k so s2 1, 0 0 0 ,8 7 1, 0 0 0 ,9 0 so s6 1 ,02 0, 8 4 0, 0 3 31 ,3 3 0 ,9 9 0 ,8 5 0 ,0 3 3 9, 51 so s7 0, 47 0, 3 4 0, 0 5 9 ,5 1 0 ,5 5 0 ,4 0 0 ,0 5 1 1 ,9 4 so s9 0, 78 0, 5 6 0, 0 5 1 6 ,4 4 0 ,7 6 0 ,5 9 0 ,0 4 1 8 ,8 6 so s1 0 0 ,6 3 0 ,3 9 0 ,0 4 14, 87 0,6 0 0, 41 0, 0 4 14 ,8 6 Ko w ar ia n cj a/ ko re la cj a p o m ię dz y c zy n n ik am i u kr yt ym i 0, 55 0, 8 4 0, 0 4 14 ,4 5 0 ,6 1 0 ,8 3 0 ,0 4 1 5,6 6
Tabela 11
Parametry modeli CFA (jednoczynnikowych – 1D i dwuczynnikowych – 2D) dla sprawdzianu Sprawdzian
Model 1D
Ładunek Ładunek standaryzowany SE z
Motywacja sos1 1,00 0,72 – – sos3 0,37 0,16 4,99 00,00 sos4 0,89 0,43 10,70 0,00 sos5 1,15 0,67 18,94 0,00 sos8 0,90 0,59 17,30 0,00 sos2 1,08 0,74 20,38 0,00 sos6 1,13 0,73 18,19 0,00 sos7 0,13 0,06 1,62 0,11 sos9 0,82 0,42 9,23 0,00 sos10 0,98 0,52 16,88 0,00 Model 2D Ważność sos1 1,00 0,74 – – sos3 0,40 0,18 00,08 5,19 sos4 0,89 0,44 0,09 10,48 sos5 1,14 0,69 0,06 18,02 sos8 0,90 0,61 0,05 16,93 Wysiłek sos2 1,00 0,76 – – sos6 1,06 0,76 00,05 20,58 sos7 0,16 0,08 0,08 2,15 sos9 0,76 0,43 0,07 10,65 sos10 0,90 0,53 0,06 15,64
Kowariancja/korelacja pomiędzy czynnikami ukrytymi
Tabela 12 Parametry modeli CF
A
(jednoczynnikowych – 1D i dwuczynnikowych – 2D) dla testów z poziomu matury
J. a n gi e ls ki J. p o ls ki M at e m at yk a M o d e l 1D M o d e l 1D M o d e l 1D Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Mot ywacja so s1 1, 0 0 0 ,7 6 – – 1, 0 0 0 ,75 – – 1, 0 0 0 ,7 3 – – so s3 0, 4 6 0, 27 0, 02 1 9, 1 1 0 ,4 8 0 ,2 7 0 ,0 3 1 8 ,78 0, 5 4 0, 27 0, 0 5 1 1 ,6 6 so s4 0, 9 2 0, 5 6 0, 02 39 ,2 9 0 ,9 4 0 ,5 7 0 ,0 2 3 8 ,87 0, 9 1 0, 49 0, 0 4 2 3 ,1 2 so s5 1 ,0 4 0, 70 0, 02 5 8 ,1 6 1 ,0 6 0 ,7 1 0 ,0 2 5 6, 1 2 1 ,0 3 0,62 0, 0 4 28 ,2 4 so s8 0, 75 0, 5 9 0, 02 4 4 ,4 8 0 ,7 6 0 ,5 8 0 ,0 2 41 ,1 3 0, 7 7 0, 5 4 0, 0 3 2 2 ,7 6 so s2 1 ,1 2 0, 8 3 0, 02 6 4 ,9 2 1 ,1 1 0 ,8 2 0 ,0 2 6 0, 76 1 ,2 4 0, 8 3 0, 0 3 36, 4 9 so s6 1 ,1 3 0, 7 7 0, 02 51 ,0 5 1 ,1 8 0 ,7 9 0 ,0 2 4 9, 1 3 1 ,29 0, 78 0, 0 5 27 ,1 4 so s7 0,6 1 0, 36 0, 0 3 20, 9 0 0 ,6 6 0 ,3 9 0 ,0 3 2 2 ,1 7 0, 76 0, 39 0, 0 6 1 3 ,4 4 so s9 0, 9 8 0,6 0 0, 0 3 35, 1 1 1 ,0 1 0 ,6 1 0 ,0 3 3 6, 45 1 ,1 3 0,62 0, 0 5 2 2 ,1 3 so s1 0 0 ,8 3 0 ,4 3 0 ,0 2 3 4, 24 0, 8 8 0, 4 6 0, 0 3 3 4 ,0 9 0 ,9 4 0 ,4 4 0 ,0 5 1 9, 6 4 M o d e l 2D Wa żn o ść so s1 1, 0 0 0 ,8 0 – – 1, 0 0 0 ,7 9 – – 1, 0 0 0 ,7 7 – – so s3 0, 49 0, 3 0 0, 0 3 1 9, 76 0 ,5 1 0 ,3 1 0 ,0 3 1 9, 8 4 0, 5 8 0, 31 0, 0 5 1 2 ,0 3 so s4 0, 9 7 0,62 0, 0 3 36, 2 0 0 ,9 9 0 ,6 3 0 ,0 3 37 ,1 9 1 ,02 0, 5 9 0, 0 5 2 2 ,5 9 so s5 1 ,0 5 0, 74 0, 02 5 2 ,1 7 1 ,0 8 0 ,7 6 0 ,0 2 51 ,4 8 1 ,07 0,69 0, 0 4 2 5 ,6 8 so s8 0, 74 0,6 1 0, 02 43, 47 0 ,7 5 0 ,6 0 0 ,0 2 4 0, 0 4 0, 76 0, 5 7 0, 0 4 2 1 ,6 5 Wys ił e k so s2 1, 0 0 0 ,8 4 – – 1, 0 0 0 ,8 3 – – 1, 0 0 0 ,8 3 – – so s6 1 ,0 5 0, 8 1 0, 02 5 8 ,5 1 1 ,1 2 0 ,8 4 0 ,0 2 6 0, 0 5 1 ,0 9 0, 82 0, 0 3 33,6 4 so s7 0,6 3 0, 4 2 0, 0 3 24 ,2 6 0 ,6 8 0 ,4 5 0 ,0 3 2 6, 41 0,69 0, 4 4 0, 0 4 1 6 ,1 6 so s9 0, 9 2 0,6 4 0, 02 3 8 ,1 8 0 ,9 6 0 ,6 5 0 ,0 2 41 ,1 1 0, 9 6 0,6 5 0, 0 4 2 5 ,7 6 so s1 0 0 ,7 4 0 ,4 3 0 ,0 2 3 5, 43 0, 7 9 0, 45 0, 02 35, 5 2 0 ,7 7 0 ,4 5 0 ,0 4 2 1 ,4 4 Ko w ar ia n cj a/ ko re la cj a p o m ię dz y c zy n n ik am i u kr yt ym i 0, 55 0, 8 4 0, 02 3 0 ,3 6 0 ,4 5 0 ,8 3 0, 0 3 1 6 ,3 2 0 ,5 1 0 ,8 2 0 ,0 2 2 8 ,4 0
(2007). We wszystkich analizowanych testach korelacja pomiędzy czynnikami ważności i wysiłku była znaczna i istotna statystycznie (zob. tab. 10, 11 i 12). Jednakże wskaźniki RMSEA (zarówno dla modeli 1D jak i 2D) przyjmują wartości świadczące o braku dopasowania do danych.
Analiza wyników MCFA
Dobroć dopasowania wielopoziomowych modeli moty-wacji porównano z dobrocią dopasowania modeli zakłada-jących jeden poziom analizy. W tabeli 13 zaprezentowano porównanie dobroci dopasowania jednopoziomowego modelu dwuczynnikowego w porównaniu z modelami 2D–1D oraz 2D–2D. Parametry modeli 2D–1D dla gimna-zjum znajdują się w tabeli 14, dla sprawdzianu w tabeli 16, a dla matury w tabeli 17. Parametry modeli 2D–2D dla gim-nazjum zamieszczono w tabeli 15, dla matury w tabeli 18. Można przede wszystkim zauważyć, że współczynniki AIC i BIC dla wszystkich analizowanych testów świadczą o lepszym dopasowaniu modelu jednopoziomowego (2D) niż obu modeli dwupoziomowych (2D–1D oraz 2D–2D). Współczynniki TLI i CFI dla testów z poziomu gimnazjum świadczą o lepszym dopasowaniu modelu jednopoziomowe-go niż obydwu modeli dwupoziomowych. Współczynniki SRMR dla drugiego poziomu analizy w przypadku gimna-zjum przyjmują wartości rzędu 0,17–0,30 dla modeli 2D–1D oraz 0,21–0,3 dla modeli 2D–2D, co świadczy o znacznym niedopasowaniu modelu na tym poziomie. Dla sprawdzianu współczynnik SRMR na drugim poziomie wynosi 0,51 – niedopasowanie jest więc jeszcze większe. W przypadku drugiego poziomu analizy dla modeli dla danych matural-nych współczynniki SRMR są zdecydowanie mniejsze niż dla gimnazjum i sprawdzianu (rzędu 0,07–0,14 dla modelu 2D–1D oraz 0,07–0,13 dla modelu 2D–2D), co mogłoby sugerować, że dla tego etapu edukacyjnego dwa poziomy motywacji wydają się być bardziej adekwatne do opisu struktury motywacji. Współczynniki TLI i CFI przyjmują podobny poziom dla wszystkich analizowanych modeli.
Należy również zauważyć, że w przypadku obydwu modeli dwupoziomowych dla przyrody oraz modelu 2D–2D dla sprawdzianu nie osiągnięto zbieżności (zob. tab. 13). Analiza rozwiązań wielopoziomowych (tab. 14–18) pozwala stwierdzić, że na poziomie klasy dla wszystkich pojawiają się standaryzowane ładunki czynnikowe większe od 1, co również oznacza, że jakość rozwiązania może być dysku-syjna. Ponadto na poziomie klasy w przypadku sprawdzianu pojawiają się ujemne ładunki czynnikowe (zob. tab. 16). Jakość rozwiązania dwupoziomowego może być więc zakwestionowana. Wszystkie te argumenty świadczą o tym, że dwuczynnikowy model jednopoziomowy opisuje moty-wację do podejmowania testów niskiej doniosłości lepiej
niż model dwupoziomowy dla któregokolwiek z analizo-wanych testów.
Przeprowadzona analiza DIF wskazała, że pytania SOS nie funkcjonują w sposób odmienny w grupach dziewcząt i chłopców w żadnych z analizowanych testów, na żadnym z poziomów edukacyjnych. Innymi słowy, można agregować wyniki SOS chłopców i dziewcząt podczas raportowania wyników motywacji. DIF zbadano również dla różnych grup wiekowych uczniów. Pytanie 10. „pracowałem(-am) nad rozwiązaniem testu aż do końca” zostało zdiagnozowane jako posiadające DIF przy porównaniu sprawdzianu z maturą z matematyki, j. polskiego (z poziomu gimnazjalnego) oraz przyrody. Przyczyna zróżnicowanego funkcjonowania tej pozycji musiałaby być jednak zweryfikowana w sposób jakościowy (np. podczas wywiadów z uczniami w różnym wieku, pytając ich, co tak rozumieją przez to pytanie).
Weryfikację trafności Skali opinii uczniów przeprowadzo-no poprzez korelację uzyskanych w podskalach wyników wraz z rezultatami testów umiejętności. W tabeli 11 przed-stawiono wyniki korelacji poszczególnych podskal Skali
opinii uczniów wraz z wynikami ich testów osiągnięć dla
poszczególnych przedmiotów.
Korelacje podskali ważności z wynikiem uzyskanym w teście są bardzo niskie (od 0,09 w przypadku testu gimnazjalnego z historii do 0,21 w przypadku testu gimna-zjalnego z języka polskiego). Korelacje podskali wysiłku z wynikiem uzyskanym w teście są wyższe od tych uzy-skanych w przypadku ważności (od 0,17 do 0,32), jednak oznacza to, że informacja o zadeklarowanym wysiłku wyjaśnia maksymalnie około 10% zmienności wyników uczniów. W związku z tym, że jest to w tym momencie jedyne kryterium pozwalające na ocenę trafności Skali
opinii uczniów, stawia ją pod znakiem zapytania.
D
Można zadać przede wszystkim pytanie, dlaczego stabil-ność i dobroć dopasowania modeli wielopoziomowych jest gorsza niż modelu jednopoziomowego? Miller i Murdock (2007) wskazują, że agregowanie miar motywacji może być obarczone błędami metodologicznymi. Jeśli przyjąć wyniki w kwestionariuszu SOS jednostek jako odzwierciedlające strukturę motywacji na poziomie klasy, trzeba także założyć, że zgodność (inter-rater agreement) uczniów w raporto-waniu miar motywacji w danej klasie jest również wysoka. Założenie to powinno zostać sprawdzone w ewentualnych dalszych analizach z wykorzystaniem SOS.
Choć zaprezentowane wyniki wskazują, że dwuczyn-nikowa struktura motywacji proponowana przez Sundre (2007) znajduje swe odzwierciedlenie w danych, istnieje kilka argumentów, które poddają w wątpliwość trafność i rzetelność tego narzędzia.
Tabela 13 Porównanie dobr
oci dopasowania modelu jednopoziomowego (2D) oraz dwóch specyfikacji modelu dwupoziomowego (2D–1D oraz 2D–2D)
Te st M o d e l 2D M o d e l 2D –1D RM SE A SRMR T LI C FI A IC BI C R M SE A SR MR T LI C FI A IC B IC RM SE A I ( u cz e ń ) II (k la sa ) spr awd zi an 0, 0 9 0, 0 6 0, 8 1 0, 8 6 39 7 1 0 ,2 1 39 873, 95 0, 07 0, 07 0, 51 0, 8 4 0, 8 8 4 2 1 51 ,6 1 4 24 24 ,2 2 x Gimna zjum his to ria 0, 1 0 0, 0 6 0, 78 0, 8 3 4 47 76 ,2 9 4 4 9 4 2 ,1 3 0, 1 0 0, 0 6 0, 3 0 0,6 5 0, 73 455 93, 9 5 45 8 6 7, 9 6 0 ,1 0 j. p o ls ki 0, 1 1 0, 07 0, 8 0 0, 8 5 4 29 95,69 43 1 61 ,70 0, 0 9 0, 07 0, 2 5 0, 78 0, 8 3 4 4 0 8 1 ,2 1 4 4 3 55, 7 9 0 ,0 9 matemat yk a 0, 1 0 0, 0 6 0, 8 4 0, 8 8 4 1 5 87 ,5 0 41 753, 18 0, 1 5 0, 0 6 0, 17 0, 51 0,6 3 4 27 20, 7 7 4 2 9 9 4 ,9 1 0 ,0 9 p rz yr o da 0, 1 1 0, 0 6 0, 8 0 0, 8 5 4 17 6 4 ,2 0 41 93 0, 1 5 x x x x x x x x Matur a j. p o ls ki 0, 0 9 0, 0 5 0, 87 0, 9 0 1 6 9 7 5 0 ,69 1 69 95 9, 4 8 0, 07 0, 0 6 0, 07 0, 87 0, 9 0 17 35 0 0 ,9 3 17 3 8 4 5 ,8 8 0 ,0 7 j. a n gi e ls ki 0, 1 0 0, 0 6 0, 8 3 0, 87 1 9 4 6 33, 7 9 1 9 4 8 4 6, 27 0, 0 8 0, 0 6 0, 1 1 0, 8 1 0, 8 5 1 9 9 2 0 4 ,4 2 1 9 9555, 47 0 ,0 8 matemat yk a 0, 1 0 0, 0 5 0, 87 0, 8 3 6 8 0 1 5 ,7 9 6 8 1 9 5, 95 0, 0 9 0, 0 6 0, 14 0, 7 9 0, 8 4 69 6 02 ,0 4 6 9 8 9 9, 7 9 0 ,0 8
x – model nie osiągnął zbieżności
Te st M o d e l 2D –2D SR MR T LI C FI AIC B IC I ( u cz e ń ) II (k la sa ) spr awd zi an xx x xx x Gimna zjum his to ria 0, 0 6 0. 29 0, 70 0, 7 7 455 93, 5 7 45 872 ,95 j. p o ls ki 0, 07 0. 3 0 0, 78 0, 8 3 4 4 0 76,6 8 4 4 356,6 4 matemat yk a 0, 0 6 0. 2 1 0, 82 0, 8 6 4 27 0 8 ,9 5 4 2 9 8 8 ,4 6 pr zy roda x x x x x x Matur a j. p o ls ki 0, 0 6 0, 07 0, 87 0, 9 0 17 3 4 9 8 ,7 1 173 8 5 0, 4 2 j. a n gi e ls ki 0, 0 6 0, 1 1 0, 8 0 0, 8 5 1 9 9 2 0 5 ,7 8 1 9 9 5 6 3, 72 matemat yk a 0, 0 6 0, 1 3 0, 8 0 0, 8 5 695 7 9, 7 9 69 8 8 3, 39
Tabela 14 Parametry modeli MCF
A
(2D–1D) dla testów z poziomu gimnazjum
His tor ia J. p olski Matemat yk a Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Pozi o m u cz n ia Wa żn o ść so s1 1 ,0 0 0, 73 0, 0 3 28 ,2 0 1 ,0 0 0 ,8 4 0 ,0 7 1 2 ,4 8 1 ,0 0 0, 8 3 0, 0 4 20,6 1 so s3 0, 47 0, 3 0 0, 0 4 7 ,4 0 0 ,5 1 0 ,3 6 0 ,1 0 3,6 3 0,6 8 0, 4 4 0, 07 6, 74 so s4 0, 7 7 0, 51 0, 0 4 1 2 ,6 5 0 ,7 8 0 ,5 7 0 ,1 7 3, 43 0, 9 0 0,6 1 0, 07 8 ,8 4 so s5 0, 9 1 0,69 0, 0 3 2 6 ,2 2 0 ,9 5 0 ,7 4 0 ,0 9 8 ,67 1 ,1 1 0, 8 0 0, 0 4 2 1 ,4 8 so s8 0, 78 0,6 0 0, 0 4 1 5 ,3 7 0 ,7 5 0 ,6 0 0 ,1 4 4, 20 0, 82 0,6 3 0, 0 6 1 0 ,8 3 Wys ił e k so s2 1 ,0 0 0, 8 0 0, 02 4 2 ,0 4 1 ,0 0 0 ,8 9 0 ,0 4 2 2 ,1 3 1 ,0 0 0, 8 9 0, 02 4 0 ,5 9 so s6 0, 9 6 0, 74 0, 0 3 27 ,9 8 0 ,9 0 0 ,7 8 0 ,1 0 7, 93 0, 9 9 0, 8 5 0, 02 4 2 ,7 2 so s7 0, 2 6 0, 18 0, 0 5 3, 8 6 0 ,2 4 0 ,1 8 0 ,2 0 0, 9 2 0, 5 0 0, 3 8 0, 0 3 1 3 ,5 0 so s9 0, 8 1 0, 5 8 0, 0 4 1 3 ,2 2 0 ,6 6 0 ,5 0 0 ,2 2 2 ,2 6 0, 73 0, 5 8 0, 0 3 18 ,4 9 so s1 0 0 ,5 6 0 ,3 3 0 ,0 4 7, 76 0, 5 4 0, 36 0, 1 3 2 ,7 9 0 ,6 0 0 ,4 1 0 ,0 4 1 0, 82 K o war iancja/ ko relacja p o m ię d zy c zy n n ik am i u kryt ym i 0, 5 9 0, 9 1 0, 0 3 37 ,0 5 0 ,67 0 ,9 0 0 ,0 4 2 3, 1 5 0, 5 7 0, 8 3 0, 0 3 2 6 ,2 6 Pozi o m k la sy Mot ywacja so s1 1 ,0 0 0, 93 0, 5 0 1 ,8 5 1 ,0 0 0 ,7 5 4 ,9 7 0, 1 5 1 ,0 0 0, 87 0, 8 4 1 ,0 3 so s3 1 ,9 6 0, 8 9 0, 2 5 3, 4 9 1 ,8 5 0 ,9 0 2 ,4 7 0, 37 1 ,5 1 0, 9 4 0, 3 0 3, 1 0 so s4 1 ,9 9 0, 9 1 0, 4 4 2 ,0 8 1 ,9 7 0 ,9 1 0 ,1 6 5, 5 9 1 ,6 0 0, 93 0, 1 5 6, 0 6 so s5 0, 45 0, 2 2 1 ,70 0, 1 3 0 ,8 5 0 ,5 0 7, 0 7 0, 07 0, 7 1 0, 87 0, 55 1 ,5 9 so s8 2 ,1 5 0, 9 1 0, 3 2 2 ,8 9 1 ,0 9 0 ,7 0 4 ,7 0 0, 1 5 1 ,1 0 0, 87 0, 4 2 2 ,0 8 so s2 1 ,2 3 0, 9 4 0, 3 0 3, 1 0 1 ,0 8 0 ,7 1 5 ,0 8 0, 14 1 ,0 4 1 ,0 0 0, 1 1 8 ,7 7 so s6 1 ,87 0, 8 1 0, 45 1 ,8 2 1 ,2 9 0 ,7 1 4 ,3 5 0, 1 6 0, 9 8 0, 9 4 0, 29 3, 2 9 so s7 2 ,7 9 0, 93 0, 8 4 1 ,1 1 1 ,7 7 0 ,8 9 1 ,2 4 0, 7 1 1 ,70 0, 8 4 1 ,07 0, 7 8 so s9 3, 1 1 1 ,01 0, 3 2 3, 1 2 2 ,7 1 1 ,0 2 3 ,3 7 0, 3 0 1 ,6 0 0, 9 9 0, 8 6 1 ,1 5 so s1 0 0, 43 0, 1 3 1 ,4 8 0, 0 9 0 ,2 5 0 ,0 9 6 ,4 5 0, 01 0, 2 2 0, 1 3 1 ,4 4 0, 0 9
Tabela 15 Parametry modeli MCF
A
(2D–2D) dla testów z poziomu gimnazjum
His tor ia J. p olski Matemat yk a Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k s sta n d ar yz o w an y SE z Pozi o m u cz n ia Wa żn o ść so s1 1 ,0 0 0, 73 0, 0 3 28 ,4 2 – 1 ,0 0 0 ,8 4 0 ,2 2 3 ,88 1 ,0 0 0 ,8 3 0 ,0 2 5 2 ,3 5 so s3 0, 47 0, 3 0 0, 0 3 9 ,1 1 – 0, 51 0, 36 0, 4 2 0 ,8 7 0 ,6 8 0 ,4 4 0 ,0 3 1 5, 93 so s4 0, 7 7 0, 51 0, 0 3 1 6 ,0 6 – 0, 78 0, 5 7 0, 41 1 ,3 9 0 ,8 9 0 ,6 1 0 ,0 3 1 9, 9 4 so s5 0, 9 1 0,69 0, 02 28 ,7 7 – 0, 95 0, 75 0, 4 4 1 ,69 1 ,1 1 0 ,8 0 0 ,0 2 4 8 ,93 so s8 0, 78 0,6 0 0, 0 3 1 9, 2 1 – 0, 75 0,6 1 0, 2 6 2 ,3 6 0 ,8 2 0 ,6 3 0 ,0 3 2 2 ,39 Wys ił e k so s2 1 ,0 0 0, 8 0 0, 02 4 2 ,8 7 – 1 ,0 0 0 ,89 0 ,1 2 7, 7 0 1 ,0 0 0 ,8 9 0 ,0 1 76 ,23 so s6 0, 9 6 0, 74 0, 02 33, 51 – 0, 9 0 0, 78 0, 1 6 5 ,0 4 0 ,9 8 0 ,8 5 0 ,0 1 6 6, 7 7 so s7 0, 2 6 0, 18 0, 0 5 3, 8 5 – 0, 2 5 0, 1 9 0, 51 0 ,3 7 0 ,5 0 0 ,3 8 0 ,0 3 1 2 ,73 so s9 0, 8 1 0, 5 8 0, 0 4 1 5 ,67 – 0,6 6 0, 51 0, 3 5 1 ,4 6 0 ,7 4 0 ,5 8 0 ,0 3 2 2 ,0 6 so s1 0 0 ,5 6 0 ,3 3 0 ,0 4 9, 4 5 – 0, 5 4 0, 36 0, 3 8 0 ,9 4 0 ,5 9 0 ,4 1 0 ,0 3 1 6, 0 8 K o war iancja/ ko relacja p o m ię d zy c zy n n ik am i u kryt ym i 0, 5 9 0, 9 1 0, 02 3 8 ,8 6 – 0,67 0, 9 1 0, 1 1 8 ,5 2 0, 8 4 0, 02 4 4 ,5 4 Pozi o m k la sy Wa żn o ść so s1 1 ,0 0 0, 9 6 0, 4 4 2 ,1 8 – 1 ,0 0 0,69 1 9 0, 9 0 0, 0 0 1 ,0 0 0, 7 9 0, 29 2 ,7 3 so s3 2 ,0 0 0, 9 4 0, 27 3, 5 3 – 2 ,6 0 0, 9 7 1 6 6, 3 8 0, 01 2 ,1 7 1 ,01 0, 1 5 6, 74 so s4 2 ,01 0, 9 6 0, 29 3, 31 – 2 ,7 6 1 ,0 0 75, 9 8 0, 01 2 ,1 5 0, 9 7 0, 1 0 1 0 ,1 4 so s5 0, 51 0, 2 6 0, 9 4 0, 2 8 – 0, 9 0 0, 4 4 1 9 9, 2 2 0, 0 0 0,6 4 0, 8 4 0, 36 2 ,3 0 so s8 2 ,07 0, 9 4 0, 1 6 5, 8 9 – 1 ,1 2 0,62 2 2 3, 5 0 0, 0 0 1 ,3 4 0, 8 6 0, 1 1 7 ,7 9
Tabela 15 – cd. His tor ia J. p olski Matemat yk a Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k s sta n d ar yz o w an y SE z Wys ił e k so s2 1 ,0 0 0, 9 1 0, 3 0 3, 0 0 – 1 ,00 0 ,6 2 3 3 4 ,7 5 0 ,00 1 ,00 1 ,00 0 ,1 5 6 ,6 6 so s6 1 ,6 1 0, 8 4 0, 31 2 ,7 4 – 1 ,28 0,62 3 27 ,2 5 0, 0 0 1 ,0 9 0, 9 6 0, 1 3 7 ,2 8 so s7 2 ,36 0, 9 2 0, 4 8 1 ,9 2 – 2 ,1 1 0, 8 3 2 1 2 ,6 0 0, 0 0 2 ,6 0 0, 9 9 0, 2 3 4, 3 5 so s9 2, 6 7 1, 02 0, 2 2 4, 7 7 – 3, 42 1, 0 9 1 6 8 ,8 2 0 ,01 1, 9 8 1, 0 0 0 ,1 4 7 ,2 9 sos 1 0 0 ,3 6 0 ,1 3 0 ,9 0 0 ,1 4 – 0 ,0 1 0 ,0 0 12 ,1 5 0 ,0 0 0 ,0 7 0 ,03 0 ,3 1 0 ,1 0 K o war iancja/ ko relacja p o m ię d zy c zy n n ik am i u kryt ym i 0, 01 0, 87 0, 1 9 4, 4 6 – 0, 01 0, 7 9 14 4, 74 0, 01 0, 01 0, 7 1 0, 2 5 2 ,8 3
Tabela 16
Parametry modeli MCFA (2D–1D) dla sprawdzianu
Ładunek Ładunek standaryzowany SE z Poziom ucznia Ważność sos1 ––1,00 –0,75 0,20 3,75 sos3 ––0,39 –0,17 1,09 0,16 sos4 ––0,85 –0,43 1,10 0,39 sos5 ––1,13 –0,69 0,27 2,52 sos8 ––0,92 –0,62 0,40 1,54 Wysiłek sos2 ––1,00 –0,75 0,13 5,96 sos6 ––1,06 –0,74 0,11 6,63 sos7 ––0,15 –0,08 0,60 0,13 sos9 ––0,75 –0,42 1,02 0,41 sos10 ––0,92 –0,54 0,58 0,93
Kowariancja/korelacja pomiędzy czynnikami ukrytymi ––0,37 –0,91 0,16 5,88
Poziom klasy Motywacja sos1 ––1,00 –0,30 1306,20 0,00 sos3 ––3,33 –0,75 1778,03 0,00 sos4 ––5,29 –0,77 1679,17 0,00 sos5 ––3,21 –0,55 1948,14 0,00 sos8 ––1,79 –0,50 1876,87 0,00 sos2 ––0,73 –0,42 1451,17 0,00 sos6 ––1,93 –0,81 1628,88 0,00 sos7 –10,90 –0,91 832,82 0,00 sos9 ––5,69 –1,03 520,47 0,00 sos10 ––3,08 –0,44 1794,98 0,00
Tabela 17 Parametry modeli MCF
A
(2D–1D) dla testów z poziomu matury
J. a n gi e ls ki J. p o ls ki M at e m at yk a Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Pozi o m u cz n ia Wa żn o ść so s1 1 ,0 0 0, 78 0, 01 8 5, 3 8 1 ,0 0 0, 76 0, 01 7 7, 6 5 1 ,0 0 0, 76 0, 02 4 2 ,3 1 so s3 0, 5 2 0, 3 0 0, 02 1 9, 9 0 0, 55 0, 3 0 0, 02 1 9, 24 0, 5 4 0, 28 0, 0 3 1 0 ,8 6 so s4 0, 9 7 0, 5 9 0, 01 4 2 ,5 8 1 ,0 0 0,6 0 0, 01 4 1 ,2 7 0, 95 0, 55 0, 02 2 3 ,3 5 so s5 1 ,0 5 0, 72 0, 01 72 ,4 6 1 ,07 0, 72 0, 01 67 ,2 1 1 ,0 5 0,6 8 0, 02 36, 3 9 so s8 0, 74 0, 5 8 0, 01 4 6, 55 0, 75 0, 5 6 0, 01 4 2 ,4 2 0, 74 0, 53 0, 02 2 2 ,9 4 Wys ił e k so s2 1 ,0 0 0, 82 0, 01 95, 0 6 1 ,0 0 0, 8 0 0, 01 9 0, 35 1 ,0 0 0, 82 0, 02 49 ,1 5 so s6 1 ,0 8 0, 8 1 0, 01 1 0 0, 5 7 1 ,1 5 0, 8 3 0, 01 1 1 0, 9 1 1 ,0 8 0, 8 0 0, 01 61 ,1 0 so s7 0,67 0, 43 0, 02 2 4, 70 0, 75 0, 4 6 0, 02 2 7, 55 0,6 6 0, 4 2 0, 0 3 1 6 ,5 9 so s9 0, 9 4 0,6 3 0, 01 43, 7 1 0, 9 8 0,6 3 0, 01 4 7, 76 0, 9 1 0,6 1 0, 02 3 0 ,5 1 so s1 0 0 ,7 2 0 ,4 1 0 ,0 1 31 ,9 2 0 ,7 6 0 ,4 1 0 ,0 1 3 2 ,2 9 0 ,7 5 0 ,4 3 0 ,0 2 2 2 ,2 4 K o war iancja/ ko relacja p o m ię d zy c zy n n ik am i u kr yt ym i 0, 4 6 0, 82 0, 01 8 0, 1 3 0, 4 0 0, 8 0 0, 01 6 5, 24 0, 41 0, 82 0, 02 4 2 ,4 4 Pozi o m k la sy Mot ywacja so s1 1 ,0 0 0, 9 9 0, 01 75, 9 2 1 ,0 0 0, 9 8 0, 01 1 0 2 ,1 0 1 ,0 0 0, 9 4 0, 0 4 2 2 ,7 9 so s3 0, 3 4 0,62 0, 1 2 5, 17 0 ,3 7 0 ,6 4 0 ,1 0 6, 3 9 0 ,7 4 0 ,9 3 0 ,1 7 5, 55 so s4 0, 9 9 0, 87 0, 0 4 2 4, 20 0, 9 6 0, 95 0, 02 5 1 ,18 1 ,1 7 0, 78 0, 1 2 6, 3 4 so s5 1 ,1 3 0 ,92 0 ,0 3 3 6 ,6 1 1 ,1 5 0 ,9 7 0 ,0 1 7 9, 9 6 1 ,1 0 0 ,7 5 0 ,1 2 6 ,5 1 so s8 0, 75 0, 8 6 0, 0 4 2 3, 5 8 0, 29 0, 5 8 0, 1 2 4, 8 4 0 ,9 7 0 ,9 9 0 ,0 6 17 ,8 8 so s2 0, 9 2 1 ,0 0 0, 02 6 0, 1 2 0, 7 7 0, 93 0, 02 3 8 ,3 8 1 ,20 0, 9 8 0, 0 3 29 ,1 2 so s6 0, 8 5 0, 9 8 0, 02 49 ,8 6 0, 9 2 0, 9 9 0, 01 1 0 0,6 6 1 ,29 0, 9 9 0, 0 3 3 8 ,5 2 so s7 0, 18 0, 2 3 0, 17 1 ,3 7 0 ,9 3 1 ,0 0 0 ,0 1 9 1 ,8 3 0 ,9 1 0 ,5 7 0 ,2 1 2 ,72 so s9 0, 75 0, 9 1 0, 0 4 2 2 ,0 3 0, 78 0, 9 4 0, 0 3 3 4,6 0 1 ,3 4 0, 95 0, 0 6 1 6 ,1 4 so s1 0 0, 8 9 0,69 0, 0 6 1 1 ,6 1 0, 8 8 0, 8 8 0, 0 4 2 5, 49 1 ,1 4 0,69 0, 1 0 6, 76
Tabela 18 Parametry modeli MCF
A
(2D–2D) dla testów z poziomu matury
J. a n gi e ls ki J. p o ls ki M at e m at yk a Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Pozi o m u cz n ia Wa żn o ść sos 1 1 ,0 0 0 ,7 8 0 ,0 1 85 ,3 4 1 ,0 0 0 ,7 6 0 ,0 1 77 ,6 6 1 ,0 0 0 ,7 6 0 ,0 2 4 3 ,05 so s3 0, 5 2 0, 3 0 0, 02 1 9, 8 1 0 ,5 5 0 ,3 0 0 ,0 2 1 9, 1 6 0 ,5 3 0 ,2 7 0 ,0 3 1 0, 72 so s4 0, 9 7 0, 5 9 0, 01 4 2 ,4 0 0 ,9 9 0 ,6 0 0 ,0 2 41 ,1 5 0 ,9 4 0 ,5 4 0 ,0 2 2 3, 43 sos5 1 ,05 0 ,7 2 0 ,0 1 7 2 ,6 2 1 ,0 7 0 ,7 2 0 ,0 1 6 7, 17 1 ,0 4 0 ,6 7 0 ,0 2 3 6 ,7 6 so s8 0, 74 0, 5 8 0, 01 4 6 ,5 3 0 ,7 5 0 ,5 6 0 ,0 1 4 2 ,4 5 0 ,7 4 0 ,5 4 0 ,0 2 2 2 ,5 2 Wys ił e k sos2 1 ,0 0 0 ,8 2 0 ,0 1 9 5 ,1 0 1 ,0 0 0 ,8 0 0 ,0 1 89 ,9 9 1 ,0 0 0 ,8 2 0 ,0 2 4 9, 6 2 sos6 1 ,0 8 0 ,8 0 0 ,0 1 9 7,0 1 1 ,1 5 0 ,8 2 0 ,0 1 1 0 9, 3 5 1 ,0 7 0 ,7 9 0 ,0 1 61 ,5 4 so s7 0,67 0, 43 0, 02 2 3 ,9 5 0 ,7 5 0 ,4 6 0 ,0 2 27 ,0 0 0 ,6 4 0 ,4 1 0 ,0 2 17 ,8 9 so s9 0, 9 4 0,6 3 0, 02 4 2 ,4 1 0 ,9 8 0 ,6 3 0 ,0 1 47 ,1 6 0 ,9 0 0 ,6 1 0 ,0 2 31 ,55 so s1 0 0 ,7 2 0 ,4 1 0 ,0 1 31 ,8 5 0, 76 0, 41 0, 01 3 2 ,3 4 0, 75 0, 43 0, 02 2 2 ,4 4 K o war iancja/ ko relacja p o m ię d zy c zy n n ik am i u kryt ym i 0, 4 6 0, 82 0, 01 78 ,1 8 0 ,4 0 0 ,8 0 0 ,0 1 6 4 ,3 2 0 ,4 2 0 ,8 3 0 ,0 2 4 4, 1 2 Pozi o m k la sy Wa żn o ść sos 1 1 ,0 0 0 ,9 9 0 ,0 1 76 ,3 5 1 ,0 0 0 ,9 9 0 ,0 1 1 0 2 ,0 1 1 ,0 0 0 ,96 0 ,05 1 8,9 9 so s3 0, 3 4 0,6 3 0, 1 2 5, 1 5 0 ,3 8 0 ,6 5 0 ,1 0 6, 5 4 0 ,7 9 0 ,9 5 0 ,1 5 6, 3 0 so s4 0, 9 9 0, 87 0, 0 4 2 3 ,8 5 0 ,9 7 0 ,9 6 0 ,0 2 5 0 ,6 4 1 ,3 8 0 ,9 0 0 ,0 9 9, 95 so s5 1 ,1 2 0, 9 2 0, 02 37 ,8 3 1 ,1 5 0 ,9 7 0 ,0 1 8 1 ,5 1 1 ,2 3 0 ,8 3 0 ,0 8 1 0, 1 2 so s8 0 ,7 5 0 ,8 6 0 ,0 4 23 ,9 9 0 ,7 7 0 ,9 3 0 ,03 37 ,6 0 0 ,9 2 0 ,9 7 0 ,0 8 1 2 ,72 cią g d al sz y t ab el i 1 8 n a n as tę pnej st ron ie
cią g d al sz y t ab el i 1 8 z p op rz ed ni ej st ron y J. a n gi e ls ki J. p o ls ki M at e m at yk a Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Ła d u n e k Ła d u n e k sta n d ar yz o w an y SE z Wys ił e k sos2 1 ,0 0 1 ,0 0 0 ,0 2 6 0 ,5 1 1 ,0 0 0 ,9 9 0 ,0 1 9 7, 5 5 1 ,0 0 0 ,98 0 ,0 4 2 6 ,8 4 sos6 0 ,9 3 0 ,98 0 ,0 2 4 8 ,1 9 1 ,0 2 1 ,0 0 0 ,0 1 9 0 ,8 3 1 ,1 1 1 ,0 0 0 ,03 3 9, 66 so s7 0, 2 3 0, 27 0, 20 1 ,3 4 0 ,3 5 0 ,6 1 0 ,1 1 5, 7 5 0 ,9 2 0 ,67 0 ,1 2 5, 5 2 so s9 0, 8 3 0, 9 1 0, 0 4 20, 8 6 0 ,8 7 0 ,9 5 0 ,0 3 37 ,8 4 1 ,1 9 0 ,9 8 0 ,0 5 1 9, 4 0 so s1 0 0 ,9 5 0 ,6 8 0 ,0 6 1 0, 72 0, 95 0, 8 9 0, 0 3 2 5, 73 0, 9 0 0,6 6 0, 1 0 6, 4 4 K o war iancja/ ko relacja p o m ię d zy c zy n n ik am i u kryt ym i 0, 0 8 0, 9 9 0, 02 4 2 ,62 0 ,1 1 0 ,9 8 0 ,0 1 8 3, 0 8 0, 0 4 0, 8 1 0, 1 0 8,4 8
Tabela 19
Korelacja wyniku w podskalach Skali opinii uczniów oraz wyniku uzyskanego w teście umiejętności
Sprawdzian Historia J. polski Matematyka Przyroda J. polski
(matura) J. angielski (matura) Matematyka (matura) Ważność Sprawdzian 0,19 Historia 0,09 J. polski 0,21 Matematyka 0,17 Przyroda 0,12 J. polski (matura) 0,13 J. angielski (matura) 0,11 Matematyka (matura) 0,10 Wysiłek Sprawdzian 0,32 Historia 0,17 J. polski 0,25 Matematyka 0,30 Przyroda 0,19 J. polski (matura) 0,17 J. angielski (matura) 0,18 Matematyka (matura) 0,28
Pierwszą wątpliwością w przypadku niniejszej analizy jest trafność kryterialna narzędzia. Jedynym dostępnym kryte-rium zewnętrznym, które pozwoliło ocenić trafność Skali
opinii uczniów jest wynik uzyskany w teście umiejętności.
W metaanalizie przeprowadzonej przez Wise i DeMars (2005) zaznacza się, że uczniowie zmotywowani osiągają wyniki o około 0,59 odchylenia standardowego wyższe niż uczniowie niezmotywowani. Innymi słowy można spodziewać się stosunkowo wysokiej korelacji podskal kwestionariusza SOS z wynikami testów umiejętności. Tymczasem korelacja ta jest niewielka (wyższa w przypadku raportowanego wysiłku, niższa w przypadku raportowanej ważności). Wyniki te mogły zostać zaburzone przez zmienną aprobaty społecznej (w tab. 4–7 można zauważyć wysokie średnie wartości odpowiedzi na pytania oraz niskie zróżni-cowanie wyników; tendencja ta jest także zauważalna, gdy analizuje się je na poziomie podskali – zob. tab. 8) bądź też przez… brak motywacji do rzetelnego wypełniania kwe-stionariusza. Pewnym sposobem detekcji uczniów, którzy uzupełniali kwestionariusz w sposób jakościowo różny
(np. rzetelny i nierzetelny) mogłaby być analiza klas ukry-tych (latent class analysis) z dodatkowymi kowariantami, np. w postaci wyniku w Skali opinii uczniów bądź poziomu umiejętności, pozwalającymi łatwiej zidentyfikować wyróż-nione klasy ukryte. Dodatkowo można przyjąć, że część uczniów odpowiada na pytania w sposób nieadekwatny do ich własnego poziomu motywacji: zaznaczając odpo-wiedzi w sposób losowy, odpoodpo-wiedzi skrajne, odpoodpo-wiedzi środkowe, zgadzając się z wszystkimi pytaniami lub nie zgadzając (Stening, Everett, 1984;. Weijters, Schillewaert, Geuens, 2008). Zaawansowane modele statystyczne oparte na podejściu multinomial processing tree, zakładające, że udzielenie odpowiedzi na daną pozycję jest oparte o sze-reg procesów poznawczych, pozwalają na uwzględnienie stylu odpowiedzi (np. Böckenholt, 2012), co pozwala na trafniejsze wnioskowanie o poziomie motywacji uczniów.
Trafność oryginalnej wersji SOS sprawdzano w grupach studentów różnych lat. Istnieje więc prawdopodobieństwo, że kwestionariusz ten jest dostosowany najlepiej do bada-nia motywacji tej grupy wiekowej. Tymczasem badabada-nia
wskazują, że oczekiwania sukcesu bardziej różnicują się z wiekiem uczniów, gdyż ci zaczynają mieć bardziej realistyczne wyobrażenia na temat własnych umiejętno-ści. (Harter, 1983). Część badaczy zakłada, że motywa-cja zmienia się w sposób jakościowy i staje się bardziej zewnętrzna (extrinsic), używając terminologii wprowa-dzonej przez Deciego i Ryana (1980) (np. Harter, Jackson, 1992; Newman, 1990). Wynika to m.in. ze zwiększenia wagi przypisywanej testom i ocenom na dalszych etapach edukacyjnych (Wigfield, 1994). Dlatego też Skala opinii
uczniów może w mniejszym stopniu nadawać się do oceny
poziomu motywacji młodszych uczniów. Można zauważyć, że średnie wyniki w tej grupie w obydwu podskalach są szczególnie wysokie i mało zróżnicowane.
Czy Skalę opinii uczniów można uznać za trafnie i rzetel-nie mierzącą konstrukt motywacji testowej? W tym momen-cie odpowiedź na to pytanie wydaje się być przecząca, w związku z niskimi korelacjami wyników kwestionariusza z testami umiejętności, prawdopodobnym niedostosowaniem kwestionariusza do specyfiki najmłodszej grupy badanych oraz podatnością na zmienną aprobaty społecznej i stylu odpowiedzi. Kwestionariusz należałoby przebadać pod kątem wyodrębnienia grup odpowiadających na pytania w sposób nierzetelny lub w sposób sugerujący wpływ zmiennej aprobaty społecznej. Analizę właściwości kwe-stionariusza należałoby powtórzyć po wykluczeniu grupy odpowiadającej w sposób nierzetelny. Dodatkowo, kwe-stionariusz należałoby poddać szerszej analizie trafności, np. przy pomocy macierzy „wielu cech – wielu metod” (Campbell, Fiske, 1959), umożliwiająca wnioskowanie na temat trafności (wykraczające poza konwencjonalne korelowanie jednego testu z innym testem), oszacowanie trafności zbieżnej oraz różnicowej danego testu, a także oszacowanie zmienności testu z perspektywy mierzonej cechy, jak i zastosowanej metody (Brzeziński, 1999).
LITERATURA CYTOWANA
Akaike, H. (1973). Information theory as an extension of the maximum likelihood principle. W: B. N. Petrov, F. Csaki (red.), Second International Symposium on Information Theory (s. 267–281). Budapest: Akademiai Kiado.
Akaike, H. (1974). A new look at the statistical model identifi-cation. IEEE Transactions on Automatic Control, 19, 716–23. Atkinson, J. W. (1964). An introduction to motivation. Princeton:
Van Nostrand.
Barrett, P. (2007). Structural equation modelling: Adjudging mod-el fit. Personality and Individual differences, 42 (5), 815–824. Bentler, P. M. (1990). Comparative fit indexes in structural
equa-tion models. Psychological Bulletin, 107, 238–246.
Bliese, P. D., Hanges, P. J. (2004). Being both too liberal and too conservative: The perils of treating grouped data as though
they were independent. Organizational Research Methods, 7 (4), 400–417.
Böckenholt, U. (2012). Modeling multiple response processes in judgment and choice. Psychological Methods, 17 (4), 665–678. Brzeziński, J. (1999). Metodologia badań psychologicznych.
Warszawa: Wydawnictwo Naukowe PWN.
Byrne, B. M. (1998). Structural Equation Modeling with LISREL, PRELIS and SIMPLIS: Basic concepts, applications and pro-gramming. Mahwah, New Jersey: Lawrence Erlbaum Associates. Campbell, D. T., Fiske, D. W. (1959). Convergent and discriminant
validation by the multitrait-multimethod matrix. Psychological Bulletin, 56, 81–105.
Choi, S. W., Gibbons, L. E., Crane, P. K. (2011). Lordif: An R package for detecting differential item functioning using iter-ative hybrid ordinal logistic regression/item response theory and Monte Carlo simulations. Journal of Statistical Software, 39 (8), 1–30.
Chou, C. P., Bentler, P. M., Pentz, M. A. (2000). A two-stage approach to multilevel structural equation models: Application to longitudinal data. W: T. D. Little, K. U. Schnabel, J. Baumert (red.), Modeling longitudinal and multilevel data: Practical issues, applied approaches, and specific examples. (s. 33–49). Mahwah, New Jersey: Lawrence Erlbaum Associates. Cronbach, L. J. (1951). Coefficient alpha and the internal
struc-ture of tests. Psychometrika, 16 (3), 297–334.
Deci, E. L., Ryan, R. M. (1980). The empirical exploration of intrinsic motivational processes. Advances in Experimental Social Psychology, 13, 39–80.
Dolata, R., Pokropek, A. (2010). Motywacja a wynik testu z nauk przyrodniczych. Studium na przykładzie PISA 2006. W: B. Niemierko, M. K. Szmigiel (red.), Teraźniejszość i przy-szłość oceniania (s. 86–97). Kraków: Grupa Tomami. Dyer, N. G., Hanges, P. J., Hall, R. J. (2005). A pplying multilevel
confirmatory factor analysis techniques to the study of leader-ship. The Leadership Quarterly, 16 (1), 149–167.
Fidalgo, A. M., Madeira, J. M. (2008). Generalized Mantel-Haenszel methods for differential item functioning detection. Educational and Psychological Measurement, 68 (6), 940–958. Harter, S. (1983). Developmental perspectives on the self-sys-tem. W: E. M. Hetherington (red.), Handbook of child psychol-ogy, t. 4: Socialization, personality, and social development (s. 275–386). New York: Wiley.
Harter, S., Jackson, B. K. (1992). Trait vs. nontrait conceptualiza-tions of intrinsic/extrinsic motivational orientation. Motivation and Emotion, 16, 209–230.
Hooper, D., Coughlan, J., Mullen, M. (2008). Structural equation modelling: Guidelines for determining model fit. Electronic Journal of Business Research Methods, 6 (1), 53–60. Hornowska, E. (2007). Testy psychologiczne. Teoria i praktyka.
Warszawa: Wydawnictwo Naukowe Scholar.
Hox, J. J. (2002). Multilevel analysis; techniques and applica-tions. Mahwah, NJ: Lawrence Erlbaum Associates.
Hu, L., Bentler, P. M. (1998). Fit indices in covariance structure modeling: Sensitivity to underparameterized model misspec-ification. Psychological Methods, 3, 424–453.
