Style odpowiedzi w ESS - zróżnicowanie ze względu na kraj, skalę i edycję badania

(1)

Style odpowiedzi w ESS - zróżnicowanie ze względu na kraj, skalę i edycję badania

Tomasz Żółtak

Instytut Filozofii i Socjologii PAN

24.09.2021

(2)

Section 1 Wprowadzenie

Tomasz Żółtak Style odpowiedzi w ESS...

(3)

Style odpowiedzi

Najogólniej rzecz ujmując: używanie kategorii odpowiedzi bez związku z cechą mierzoną przez dane pytanie.

Wiele różnych konceptualizacji i sposobów modelowania:

Uważne vs. nieuważne (heurystyczne) odpowiadanie, Drzewa decyzyjne (Böckenholt),

Zniekształcenia percepcji skali odpowiedzi.

Cecha czy stan?

Względnie stała predyspozycja, czy skłonność silnie

zależna od kontekstu?

(4)

Dotychczasowe badania

Badane przede wszystkim w:

psychologii,

badaniach edukacyjnych,

analizie jakości danych z ankiet inernetowych.

Kontekst:

Kwestionariusze wypełniane samodzielnie przez respondenta,

Długie skale (baterie pytań), Występowanie pytań odwróconych,

Zwykle krótkie skale odpowiedzi (najczęściej 5-cio stopniowa).

(5)

Style odpowiedzi a ESS

Krótkie skale (baterie pytań).

Długa skala odpowiedzi - dla wielu pytań 0-10.

Zwykle traktowana w analizach jako ciągła.

Wywiady z ankieterem:

Style odpowiedzi wciąż mogą występować, z tym że są

wypadkową interakcji respondenta z ankieterem,

Korzystanie z kart ilustrujących skale odpowiedzi przy

zadawaniu pytań.

(6)

Pytania badawcze

1

Czy w ESS daje się zidentyfikować style odpowiedzi, rozumiane jako zniekształcenia percepcji skali odpowiedzi?

2

Czy można o nich mówić jako o cesze, czy raczej o stanie?

Czy różnicują się one ze względu na kraj, rundę lub tematykę?

Czy modelowanie stylów odpowiedzi może pomóc kontrolować różnice międzykulturowe? (Rozwiązać problemy z brakiem niezmienniczości pomiarowej.)

Model analizy:

Dane dla tego samego zestawu krajów, dot. tych samych skal (baterii pytań), z wielu rund ESS - badane oddzielnie.

Wielowymiarowe modele IRT uwzględniające zmienne ukryte opisujące cechę mierzoną przez skalę oraz style odpowiedzi.

(7)

Section 2 Style odpowiedzi w ESS 2004-2018

(8)

Dane

8 rund ESS: 2.-9. (2004-2018)

16 krajów, które wzięły udział we wszystkich ww. rundach:

Belgia, Szwajcaria, Niemcy, Estonia, Hiszpania, Finlandia, Francja (bez 2. rundy), Wielka Brytania, Węgry, Irlandia, Holandia, Norwegia, Polska, Portugalia, Szwecja,

Słowenia.

Łącznie 111 (8*16-1) krajo-rund.

4 skale - co najmniej 3 pozycje zadawane w tej samej formie we wszystkich 8 analizowanych rundach:

Stosunek do imigracji,

Satysfakcja z funkcjonowania państwa, Uogólnione zaufanie,

Zaufanie do instytucji

Odpowiedzi na wszystkie ww. pytania na 11-to stopniowych skalach z oetykietowanymi krańcami (respondentowi pokazywana była karta z ilustracją skali odpowiedzi).

(9)

Modele

10 modeli dla stylów odpowiedzi + prosty model jednowymiarowy

łącznie 111114=4884 modeli,

Specyfikowane jako wielowymiarowe modele IRT generalised partial credit z różnymi macierzami punktującymi (scoring matrices).

Specyfikacje z cechami ukrytymi opisującymi skłonność do udzielania odpowiedzi skrajnych i skłonność do udzielania odpowiedzi środkowych estymowane w dwóch wersjach:

1) z ortogonalnymi zmiennymi ukrytymi, 2) z dopuszczeniem związków pomiędzy nimi.

Estymacja w pakiecie R mirt.

(10)

Schemat modelu

(11)

Porównywane specyfikacje stylów odpowiedzi

T - cecha mierzona przez daną skalę, E - skłonność do wybierania kategorii skrajnych, M - skłonność do wybierania kategorii środkowych,

RT[.] - skłonności do wybierania kategorii nie mniejszej niż dana, STZ[.] - skłonności do wybierania danej kategorii.

0 1 ⁰

1 ⁰ ⁰

2 ⁰ ⁰

3 ⁰ ⁰

4 ⁰ ⁰

5 ⁰ ¹

6 ⁰ ⁰

7 ⁰ ⁰

8 ⁰ ⁰

9 ⁰ ⁰

10 1 ⁰

0 3 ⁰

1 2 ⁰

2 1 ⁰

3 ⁰ 1

4 ⁰ 2

5 ⁰ 3

6 ⁰ 2

7 ⁰ 1

8 ¹ ⁰

9 ² ⁰

10 3 ⁰

0 1 ⁰

1 1 ⁰

2 ⁰ ⁰

3 ⁰ ⁰

4 ⁰ 1

5 ⁰ ¹

6 ⁰ ¹

7 ⁰ ⁰

8 ⁰ ⁰

9 1 ⁰

10 1 ⁰

0 0 0 0 0 0 0 0 0 0 0

1 1 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ 2 1 1 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ 3 1 1 1 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰

4 1 1 1 1 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰

5 ¹ ¹ ¹ ¹ ¹ ⁰ ⁰ ⁰ ⁰ ⁰ 6 1 1 1 1 1 1 ⁰ ⁰ ⁰ ⁰

7 1 1 1 1 1 1 1 ⁰ ⁰ ⁰

8 ¹ ¹ ¹ ¹ ¹ ¹ ¹ ¹ ⁰ ⁰ 9 ¹ ¹ ¹ ¹ ¹ ¹ ¹ ¹ ¹ ⁰ 10¹ ¹ ¹ ¹ ¹ ¹ ¹ ¹ ¹ ¹

0 2 ⁰

1 1 ⁰

2 ⁰ ⁰

3 ⁰ ⁰

4 ⁰ 1

5 ⁰ 2

6 ⁰ ¹

7 ⁰ ⁰

8 ⁰ ⁰

9 1 ⁰

10 2 ⁰

0 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 1 1 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ 2 ⁰ 1 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ 3 ⁰ ⁰ 1 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰

4 ⁰ ⁰ ⁰ 1 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰

5 ⁰ ⁰ ⁰ ⁰ ¹ ⁰ ⁰ ⁰ ⁰ ⁰ 6 ⁰ ⁰ ⁰ ⁰ ⁰ 1 ⁰ ⁰ ⁰ ⁰

7 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ 1 ⁰ ⁰ ⁰

8 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ¹ ⁰ ⁰ 9 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ¹ ⁰ 10 ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ⁰ ¹

ME grade2 RT STZ

ME narrow ME wide ME grade1

T E M T RT1 RT2 RT3 RT4 RT5 RT6 RT7 RT8 RT9RT10 T STZ1STZ2STZ3STZ4STZ5STZ6STZ7STZ8STZ9STZ10

T E M T E M T E M

0 1 2 3 4 5 6 7 8 9 10

Zmienna ukryta

Kategoria skali odpowiedzi

(12)

Skale - stosunek do imigracji

[imbgeco] Czy P. zdaniem to, że ludzie z innych krajów przyjeżdżają, aby żyć w Polsce, jest ogólnie biorąc korzystne, czy też niekorzystne dla polskiej gospodarki

[imueclt] Czy P. zdaniem to, że ludzie z innych krajów przyjeżdżają, aby żyć w Polsce, ogólnie biorąc, szkodzi życiu kulturalnemu w Polsce, czy też je wzbogaca?

[imwbcnt] Czy w wyniku tego, że ludzie z innych krajów przyjeżdżają do Polski i żyją tutaj, Polska stała się gorszym czy lepszym miejscem do życia?

imwbcnt imueclt imbgeco

0.00 0.25 0.50 0.75 1.00

Ładunek czynnikowy W zbiorowości 111 modeli estymowanych dla danego kraju w danej rundzie.

Rozkłady ładunków czynnikowych poszczególnych zmiennych w ramach skali w modelach jednoczynnikowych (bez modelowania stylów odpowiedzi)

(13)

Skale - satysfakcja z funkcjonowania państwa

[stfeco] Ogólnie biorąc, na ile jest P. zadowolony/-a z obecnego stanu polskiej gospodarki?

[stfgov] A jeśli chodzi o obecny polski rząd, na ile jest P. zadowolony/-a ze sposobu jego działania?

[stfdem] A ogólnie rzecz biorąc, w jakim stopniu jest P. zadowolony/-a z funkcjonowania demokracji w Polsce?

stfdem stfgov stfeco

0.00 0.25 0.50 0.75 1.00

(14)

Skale - uogólnione zaufanie

[ppltrst] Czy, ogólnie biorąc, uważa P., że większości ludzi można ufać, czy też, że w kontaktach z ludźmi ostrożności nigdy za wiele?

[pplfair] Czy uważa P., że gdyby nadarzyła się okazja, większość ludzi starałaby się P. wykorzystać, czy też starałaby się postępować uczciwie?

[pplhlp] Czy uważa P., że ludzie przede wszystkim starają się służyć pomocą innym, czy też, że przede wszystkim dbają o własny interes?

pplhlp pplfair ppltrst

0.00 0.25 0.50 0.75 1.00

(15)

Skale - zaufanie do instytucji

Posługując się tą kartą [KARTA], proszę wskazać na skali od 0 do 10 na ile osobiście ma P. zaufanie do każdej z instytucji, którą wymienię. 0 oznacza całkowity brak zaufania wobec instytucji, a 10 oznacza, że ma P. do niej całkowite zaufanie.

Pozostałe liczby służą do wyrażenia opinii pośrednich. Na ile ma P. zaufanie do . . . [trstprl] . . . polskiego parlamentu, tzn. Sejmu i Senatu? [trstlgl] . . . systemu prawnego? [trstplc] . . . policji? [trstplt] . . . polityków? [trstprt] . . . partii politycznych? [trstep] . . . Parlamentu Europejskiego? [trstun] . . . Organizacji Narodów Zjednoczonych?

trstun trstep trstprt trstplt trstplc trstlgl trstprl

0.00 0.25 0.50 0.75 1.00

(16)

Section 3 Wyniki

(17)

Porównanie dopasowania modeli

Uogólnione zaufanie Zaufanie do instytucji

Stosunek do imigracji Satysfakcja z funkcjonowania państwa

noRS

meGrade2 cormeGrade2 indepmeGrade1 cormeGrade1 indepmeNarrow indepmeNarrow cormeWide indepmeWide corrt indepstz indep noRS

meGrade2 cormeGrade2 indepmeGrade1 cormeGrade1 indepmeNarrow indepmeNarrow cormeWide indepmeWide corrt indepstz indep 1

3 5 7 9 11

1 3 5 7 9 11 1

3 5 7 9 11

1 3 5 7 9 11

Wariant modelu Ranga (kolejność) dopasowania w ramach danego kraju, rundy i skali wg AIC

n 25 50 75 100

(18)

Znaczenie czynników

Przewidywanie cząstkowe na podstawie modelu wielowartościowej regresji logistycznej przewidującej wariant modelu najlepiej dopasowany do danych wg AIC, z pominięciem wariantów RT i STZ, ze względu na skalę (baterię pytań), kraj i rundę badanie.

Przewidywania cząstkowe ze względu na kraj (dla średnich pozostałych predyktorów)

Kraj

Skumulowane przewidywane prawdopodobieństwo

0.0 0.2 0.4 0.6 0.8 1.0

Belgia

SzwajcariaNiemcyEstonia

HiszpaniaFinlandiaFrancja Wielka Brytania

Węgry

IrlandiaHolandiaNorwegia PolskaPortugaliaSzwecjaSłowenia

meNarrow cor meNarrow indep meGrade1 indep meGrade1 cor meGrade2 indep meGrade2 cor

(19)

Jaki to styl odpowiedzi?

meGrade1 meGrade2 meNarrow meWide

-0.50 -0.25 0.00 0.25 0.50

Korelacja

Wariant specyfikacji stylów odpowiedzi

Skala Stosunek do imigracji Satysfakcja z funkcjonowania państwa Uogólnione zaufanie Zaufanie do instytucji

Rozkłady korelacje pomiędzy skłonnością do wybierania odpowiedzi skrajnych a skłonnością do wybierania odpowiedzi środkowych

(20)

Związki stylów odp. z mierzonymi cechami 1

-0.50 -0.25 0.00 0.25 0.50

Korelacja

Rozkłady korelacje pomiędzy skłonnością do wybierania odpowiedzi skrajnych a cechą mierzoną przez daną skalę

(21)

Związki stylów odp. z mierzonymi cechami 2

-0.50 -0.25 0.00 0.25 0.50

Korelacja

Rozkłady korelacje pomiędzy skłonnością do wybierania odpowiedzi środkowych a cechą mierzoną przez daną skalę

(22)

Siła oddziaływania stylów odpowiedzi

meGrade1 cor meGrade1 indep meGrade2 cor meGrade2 indep meNarrow cor meNarrow indep meWide cor meWide indep rt indep stz indep

-4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10

Stosunek wartości ładunku czynnikowego stylu odpowiedzi do średniej wartości ładunku mierzonej cechy

Cecha ukryta E M RT1 RT10 RT2 RT3 RT4 RT5 RT6 RT7 RT8

RT9 STZ1 STZ10 STZ2 STZ3 STZ4 STZ5 STZ6 STZ7 STZ8 STZ9

(23)

Style odpowiedzi w ESS - zróżnicowanie ze względu na kraj, skalę i edycję badania

Style odpowiedzi w ESS - zróżnicowanie ze względu na kraj, skalę i edycję badania

Tomasz Żółtak

Instytut Filozofii i Socjologii PAN

24.09.2021

Section 1 Wprowadzenie

Style odpowiedzi

Najogólniej rzecz ujmując: używanie kategorii odpowiedzi bez związku z cechą mierzoną przez dane pytanie.

Wiele różnych konceptualizacji i sposobów modelowania:

Uważne vs. nieuważne (heurystyczne) odpowiadanie, Drzewa decyzyjne (Böckenholt),

Zniekształcenia percepcji skali odpowiedzi.

Cecha czy stan?

Względnie stała predyspozycja, czy skłonność silnie

zależna od kontekstu?

Dotychczasowe badania

Badane przede wszystkim w:

psychologii,

badaniach edukacyjnych,

analizie jakości danych z ankiet inernetowych.

Kontekst:

Kwestionariusze wypełniane samodzielnie przez respondenta,

Długie skale (baterie pytań), Występowanie pytań odwróconych,

Zwykle krótkie skale odpowiedzi (najczęściej 5-cio stopniowa).

Style odpowiedzi a ESS

Krótkie skale (baterie pytań).

Długa skala odpowiedzi - dla wielu pytań 0-10.

Zwykle traktowana w analizach jako ciągła.

Wywiady z ankieterem:

Style odpowiedzi wciąż mogą występować, z tym że są

wypadkową interakcji respondenta z ankieterem,

Korzystanie z kart ilustrujących skale odpowiedzi przy

zadawaniu pytań.

Pytania badawcze

Czy w ESS daje się zidentyfikować style odpowiedzi, rozumiane jako zniekształcenia percepcji skali odpowiedzi?

Czy można o nich mówić jako o cesze, czy raczej o stanie?

Czy różnicują się one ze względu na kraj, rundę lub tematykę?

Czy modelowanie stylów odpowiedzi może pomóc kontrolować różnice międzykulturowe? (Rozwiązać problemy z brakiem niezmienniczości pomiarowej.)

Model analizy:

Dane dla tego samego zestawu krajów, dot. tych samych skal (baterii pytań), z wielu rund ESS - badane oddzielnie.

Wielowymiarowe modele IRT uwzględniające zmienne ukryte opisujące cechę mierzoną przez skalę oraz style odpowiedzi.

Section 2

Style odpowiedzi w ESS 2004-2018

Dane

8 rund ESS: 2.-9. (2004-2018)

16 krajów, które wzięły udział we wszystkich ww. rundach:

Belgia, Szwajcaria, Niemcy, Estonia, Hiszpania, Finlandia, Francja (bez 2. rundy), Wielka Brytania, Węgry, Irlandia, Holandia, Norwegia, Polska, Portugalia, Szwecja,

Słowenia.

Łącznie 111 (8*16-1) krajo-rund.

4 skale - co najmniej 3 pozycje zadawane w tej samej formie we wszystkich 8 analizowanych rundach:

Stosunek do imigracji,

Satysfakcja z funkcjonowania państwa, Uogólnione zaufanie,

Zaufanie do instytucji

Odpowiedzi na wszystkie ww. pytania na 11-to stopniowych skalach z oetykietowanymi krańcami (respondentowi pokazywana była karta z ilustracją skali odpowiedzi).

Modele

10 modeli dla stylów odpowiedzi + prosty model jednowymiarowy

łącznie 111*11*4=4884 modeli,

Specyfikowane jako wielowymiarowe modele IRT generalised partial credit z różnymi macierzami punktującymi (scoring matrices).

Specyfikacje z cechami ukrytymi opisującymi skłonność do udzielania odpowiedzi skrajnych i skłonność do udzielania odpowiedzi środkowych estymowane w dwóch wersjach:

1) z ortogonalnymi zmiennymi ukrytymi, 2) z dopuszczeniem związków pomiędzy nimi.

Estymacja w pakiecie R mirt.

Schemat modelu

Porównywane specyfikacje stylów odpowiedzi

Skale - stosunek do imigracji

[imbgeco] Czy P. zdaniem to, że ludzie z innych krajów przyjeżdżają, aby żyć w Polsce, jest ogólnie biorąc korzystne, czy też niekorzystne dla polskiej gospodarki

[imueclt] Czy P. zdaniem to, że ludzie z innych krajów przyjeżdżają, aby żyć w Polsce, ogólnie biorąc, szkodzi życiu kulturalnemu w Polsce, czy też je wzbogaca?

[imwbcnt] Czy w wyniku tego, że ludzie z innych krajów przyjeżdżają do Polski i żyją tutaj, Polska stała się gorszym czy lepszym miejscem do życia?

Skale - satysfakcja z funkcjonowania państwa

[stfeco] Ogólnie biorąc, na ile jest P. zadowolony/-a z obecnego stanu polskiej gospodarki?

[stfgov] A jeśli chodzi o obecny polski rząd, na ile jest P. zadowolony/-a ze sposobu jego działania?

[stfdem] A ogólnie rzecz biorąc, w jakim stopniu jest P. zadowolony/-a z funkcjonowania demokracji w Polsce?

Skale - uogólnione zaufanie

[ppltrst] Czy, ogólnie biorąc, uważa P., że większości ludzi można ufać, czy też, że w kontaktach z ludźmi ostrożności nigdy za wiele?

[pplfair] Czy uważa P., że gdyby nadarzyła się okazja, większość ludzi starałaby się P. wykorzystać, czy też starałaby się postępować uczciwie?

[pplhlp] Czy uważa P., że ludzie przede wszystkim starają się służyć pomocą innym, czy też, że przede wszystkim dbają o własny interes?

Skale - zaufanie do instytucji

Posługując się tą kartą [KARTA], proszę wskazać na skali od 0 do 10 na ile osobiście ma P. zaufanie do każdej z instytucji, którą wymienię. 0 oznacza całkowity brak zaufania wobec instytucji, a 10 oznacza, że ma P. do niej całkowite zaufanie.

Section 3 Wyniki

Porównanie dopasowania modeli

Znaczenie czynników

Przewidywanie cząstkowe na podstawie modelu wielowartościowej regresji logistycznej przewidującej wariant modelu najlepiej dopasowany do danych wg AIC, z pominięciem wariantów RT i STZ, ze względu na skalę (baterię pytań), kraj i rundę badanie.

łącznie 111114=4884 modeli,