Analiza wyników wywiadów kognitywnych
R: To znaczy nic już teraz. Rodzina już dalej jest
Córka żonata i tak dalej. To już odpada. Żony nie ma. To nie ma. Psa nie ma. To też pies nie nauczy.
(…) Znaczy, może tego punktu może w ogóle nie, bo, bo, bo nie mam możliwości. Teraz nie mam rodziny.
Córka gdzie indziej mieszka. [W. 6]
Wyraźniej dostrzegano problematyczność tego sfor-mułowania dla starszych respondentów, co zapew-ne wiąże się z większą różnorodnością doświadczeń życiowych. W ramach modyfikacji kwestionariusza wywiadu zdecydowano o pozostawieniu słowa
bli-scy jedynie w neutralnych kontekstach, na przykład definiowaniu sytuacji osób niepracujących zawodo-wo, zajmujących się domem. W pytaniach dotyczą-cych uczenia się nieformalnego od/z innymi osoba-mi zastosowano bardziej neutralne sformułowanie ludzie, w moim najbliższym otoczeniu oraz zestawienie rodzina i/lub znajomi, wychodząc z założenia, że po-zwoli to zmniejszyć ryzyko wystąpienia sytuacji, w której respondenci konfrontowani są z koniecz-nością odniesienia się do trudnych relacji.
Wnioski
Wnioski sformułowane na podstawie analizy wy-wiadów kognitywnych możemy rozważać na róż-nych poziomach – odnieść je bezpośrednio do oma-wianego projektu, szerzej – do badania zjawiska uczenia się osób dorosłych czy w jeszcze bardziej ogólny sposób – do badań sondażowych. Ponadto można sformułować również konkluzje dotyczące realizacji badań z wykorzystaniem tej metody. Mo-dyfikacje wprowadzone do kwestionariusza wy-wiadu dotyczące sposobu operacjonalizacji, kon-strukcji pytań, zakresu kategorii czy ograniczenia objętości narzędzia zwiększają szansę na uzyskanie wiarygodnych, trafnych wyników, a tym samym na zmniejszenie błędu pomiaru. Ograniczają ryzyko związane z niezrozumieniem pytań zgodnie z in-tencją badacza, podwójnym klasyfikowaniem dzia-łań, znużeniem czy też dyskomfortem wynikającym z niepewności respondentów co do znaczenia pojęć.
Odtworzenie sposobu konceptualizacji oraz kla-syfikowania pojęć przez badanych dostarczyło argumentów, aby w inny sposób niż dotychczas realizowany w badaniach uczenia się dorosłych for-mułować niektóre z kluczowych pytań dotyczących podejmowanych aktywności w ramach uczenia się pozaformalnego i nieformalnego oraz określać
za-Paulina Adamczyk, Marika Markowska, Marta Petelewicz, Katarzyna Piotrowska i Joanna Stankowska
Przegląd Socjologii Jakościowej • www.przegladsocjologiijakosciowej.org 155
kres kategorii uczenia się. Za uzasadnione, a na-wet konieczne uznano łączenie takich form, typów uczenia, między którymi różnice okazywały się być dla badanych nieostre czy wręcz pomijalne. Szcze-gółowe, rozbudowane pytania nie dość, że sprawia-ły problem badanym ze względu na trudności z od-powiednim zaklasyfikowaniem podejmowanych aktywności edukacyjnych, to również wywoływały negatywne reakcje emocjonalne rozmówców nieak-tywnych w zakresie uczenia się w dorosłości. Dzięki analizie przeprowadzonych wywiadów zwrócono także uwagę na zagadnienia, które w praktyce przy-gotowania kwestionariusza zazwyczaj nie podlega-ją pogłębionej refleksji, wiążą się z wykorzystaniem rozwiązań standardowych dla badań sondażo-wych. Podążając za sposobem formułowania uza-sadnień i ścieżką dokonywania wyboru odpowie-dzi przez badanych, zmodyfikowano etykietę opcji środkowej na skali typu Likert. W tym przypadku reakcje rozmówców na pytania sprawiły, że podano w wątpliwość zasadność stosowania sformułowań znanych badaczom, ale niekoniecznie dostępnych poznawczo respondentom. Dostrzegając natomiast, że w niektórych przypadkach problemy ze zrozu-miałością i drażliwością pytań nie tylko współwy-stępowały, ale także wzajemnie się wzmacniały, rezygnowano z używania zwrotów, a nawet całych pytań, które uznano za najbardziej obciążające.
Podsumowując przeprowadzone badanie, warto również zwrócić uwagę na pewne kwestie zwią-zane z samą techniką wywiadów kognitywnych.
Dążąc do jak największej użyteczności pierwszego etapu pilotażu, zdecydowano o połączeniu techniki wywiadów kognitywnych z elementami wywiadu jakościowego. Pogłębienie interpretacji wykorzysty-wanych zwrotów czy stwierdzeń pozwoliło lepiej zrozumieć perspektywę respondenta. Należy rów-nież wspomnieć, że podejście thinking aloud okazało
się trudne do realizacji dla badanych, w pewnym stopniu nienaturalne i powodujące swoisty dyskom-fort. W konsekwencji pytania realizowane z zasto-sowaniem tej techniki dostarczały mniejszą ilość danych, niż spodziewano się uzyskać. Być może spowodowane to było ograniczonym treningiem do-tyczącym refleksyjnego wypowiadania się, budowa-nia argumentacji czy kompetencjami językowymi ograniczającymi możliwości realizacji zadania zgod-nie z intencją badacza. Z drugiej zaś strony można było odnieść wrażenie, że niektóre z poruszanych zagadnień traktowane były przez badanych jako na tyle błahe i codzienne, że nie warte głębszej reflek-sji i dyskureflek-sji lub na tyle prywatne, że respondenci nie chcieli zagłębiać się w szczegóły. Zastosowanie modelu hybrydowego – połączenia technik thinking aloud oraz verbal probing w ramach jednego wywia-du wydaje się więc zasadne. Pytania kwestionariu-szowe różnią się między sobą nie tylko sposobem sformułowania, lecz także i poziomem oczekiwanej od respondenta autorefleksji, zatem sprawdzanie ich zrozumiałości tą samą techniką wydaje się w tym kontekście nietrafne, a przynajmniej niedostarczają-ce odpowiedniej wiedzy badaczowi.
Interesującą kwestią zaobserwowaną w przypad-ku pytań, które zadawano respondentom najpierw w otwartej, a później w zamkniętej formie, było modyfikowanie informacji uprzednio podanych spontanicznie, po zobaczeniu proponowanej kafete-rii odpowiedzi. Badani decydowali się na przykład na rozszerzenie swojej wcześniejszej odpowiedzi i wskazanie większej liczby pasujących możliwo-ści (co dotyczyło również sytuacji, gdy spontanicz-na odpowiedź zspontanicz-najdowała swoje odzwierciedlenie w kafeterii) lub też wybierali odpowiedź, która nie do końca była zgodna z jej wcześniejszą, spontanicz-ną interpretacją. Działanie to mogło być konsekwen-cją zarówno odczuwanego przez respondenta
dys-Wykorzystanie wywiadów kognitywnych w projektowaniu kwestionariusza wywiadu na przykładzie badania uczenia się osób dorosłych
komfortu wynikającego z sytuacji badania i chęci udzielenia szybko odpowiedzi na pytanie otwarte, jak i posługiwania się przez niego innym zakresem znaczeniowym pojęć użytych w pytaniu czy też wy-nikać z trudności ze spontanicznym przywołaniem wszystkich pasujących odpowiedzi z pamięci.
Zastosowanie wywiadów kognitywnych było eks-ploracją procesów poznawczych respondentów, w tym „ścieżek dotarcia do odpowiedzi” i skojarzeń, które mogą być zupełnie odmienne od zamysłu ba-daczy projektujących narzędzie. Analiza wyników umożliwiła lepsze zrozumienie problemów, których wystąpienie przewidywano na podstawie przeglądu literatury. Uwydatniła także zagadnienia, które mogą być obciążające emocjonalnie dla badanych i wywo-ływać ich dyskomfort. Zachowanie „świeżego spoj-rzenia” i wrażliwości badawczej nawet w przypadku zjawisk, które nie wydają się drażliwe, jak aktyw-ność w zakresie edukacji, okazało się jednym z klu-czowych elementów projektowania kwestionariusza.
Ważne jest utrzymanie równowagi pomiędzy dąże-niem do uzyskania szczegółowych, istotnych i wia-rygodnych wyników a zachowaniem zarówno stan-dardów etycznych, jak i wrażliwości na respondenta i jego dobrostan. Warto pamiętać również, że badając takie zagadnienia jak edukacja, trzeba szczególnie refleksyjnie podchodzić do narzędzia, ze świamością, że zjawisko uczenia jest również częścią do-świadczeń badaczy, którzy mają specyficzną sytuację w tym zakresie: przeszli wydłużoną ścieżkę edukacji
formalnej i pracują w środowisku skłaniającym do podejmowania dalszych aktywności edukacyjnych.
Przedstawione w tym artykule badanie pilotażo-we obrazuje, że analiza zagadnień, które wydają się proste i łatwo dostępne respondentom, właśnie ze względu na tę pozorną prostotę powinna być wyjątkowo uważnie przygotowywana. Na szcze-gólną uwagę zasługują przy tym zjawiska, które, jak uczenie się dorosłych, dostępne są codziennym doświadczeniom, ich potoczne rozumienie odbiega od naukowych definicji, a sposób pomiaru nie do-czekał się jednej, ogólnie akceptowanej metody. Ze względu na nieskomplikowaną na pozór tematykę oraz dostępność opracowań innych autorów łatwo w tego typu badaniach zdecydować się na już ist-niejące rozwiązania. Pomija się wówczas między innymi problemy, na których zidentyfikowanie pozwalają tylko metody jakościowe. Wspomaganie przygotowania badań ilościowych metodami jako-ściowymi poszerza perspektywę i pozwala wyjść poza własne ramy interpretacyjne, w których często, pomimo najlepszych chęci, zamknięty bywa sposób myślenia zespołów badawczych. Poprzez pogłębio-ne testowanie narzędzi badawczych, konfrontację przyjmowanych rozwiązań z rozmówcami charak-teryzującymi się różnymi doświadczeniami, kom-petencjami, zasobami możemy dążyć do sformuło-wania pytań pozwalających na uzyskanie wyników bardziej trafnych i wiarygodnych, a jednocześnie mniej obciążających dla respondentów.
Baka Aphrodite, Figgou Lia, Triga Vasiliki (2012) Neither agree, nor disagree: a critical analysis of the middle answer category in Vo-ting Advice Applications. „International Journal of Electronic Governance, vol. 5, no. 3−4, s. 244−261.
Ciccolo Gia i in. (2020) Improving Understanding of Screening Qu-estions for Social Risk and Social Need Among Emergency Depart-ment Patients. „The western journal of emergency medicine”, vol. 21, no. 5, s. 1170–1174.
Bibliografia
Paulina Adamczyk, Marika Markowska, Marta Petelewicz, Katarzyna Piotrowska i Joanna Stankowska
Przegląd Socjologii Jakościowej • www.przegladsocjologiijakosciowej.org 157 Desjardins Richard (2014) Participation in Adult Education
Op-portunities: Evidence from PIAAC and Policy Trends in Selected Countries. Background Paper for the Education for All Global Mo-nitoring Report 2015. UNESCO [dostęp 10 czerwca 2020 r.]. Do-stępny w Internecie: ‹https://unesdoc.unesco.org/ark:/48223/
pf0000232396›.
Eurostat (2016) Classification of learning activities (CLA) manual - 2016 Edition, European Union, Luxemburg [dostęp 12 maja 2020 r.]. Dostępny w Internecie: ‹https://ec.europa.eu/eurostat/docu-ments/3859598/7659750/KS-GQ-15-011-EN-N.pdf›.
Goglio Valentina, Elena Claudia Meroni (2014) Adult Partici-pation in Lifelong Learning: Technical Briefing. European Com-mission, Joint Research Centre, Econometrics and Applied Statistics Deputy Director-General Office. Luxembourg: Publi-cations Office.
Groves Robert M. i in. (2004) Survey Methodology. Hoboken, NJ:
John Wiley and Sons.
Grzeszkiewicz-Radulska Katarzyna (2012) Metody badań pilota-żowych. „Acta Universitatis Lodziensis. Folia Sociologica”, vol.
42, s. 113−141.
Jabkowski Piotr (2015) Reprezentatywność badań reprezentatyw-nych. Analiza wybranych problemów metodologicznych oraz prak-tycznych w paradygmacie całkowitego błędu pomiaru. Poznań: Wy-dawnictwo Naukowe Uniwersytetu im. Adama Mickiewicza, Seria Socjologia nr 77.
Kubiak Anna, Przybyłowska Ilona, Rostocki Włodzimierz An-drzej (1992) Społeczna przestrzeń wywiadu kwestionariuszowego [w:] Zygmunt Gostkowski, red., Analizy i próby technik badaw-czych w socjologii. Problemy humanizacji procesu badawczego, t. 9.
Warszawa: Wydawnictwo IFiS PAN, s. 69−101.
Lavrakas Paul J. (ed.) (2008) Encyclopedia of survey research me-thods. Thousand Oaks, CA: SAGE Publications.
Liani Serena, Martire Fabrizio, Pitrone Maria C. (2015) Cogniti-ve Interviewing to Pretest Attitude Questions. „Italian Sociological Review”, vol. 5, no. 2, s. 237−250.
Lutyńska Krystyna (2000) Problemy drażliwe w badaniach socjo-logicznych w Polsce. „ ASK. Społeczeństwo. Badania. Metody”, nr 9, s. 51−63.
Matsumoto David Ricky, Juang Linda (2007) Psychologia mię-dzykulturowa. Przełożyła Agnieszka Nowak. Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
Nadler Joel, Weston Rebecca, Voyles Elora (2015) Stuck in the Mid-dle: The Use and Interpretation of Mid-Points in Items on Questionna-ires. „The Journal of General Psychology”, vol. 142, no. 2, s. 71−89.
Nowak Stefan (1973) Pojęcie postawy w teoriach i stosowanych ba-daniach społecznych [w:] Stefan Nowak, red., Teorie postaw. War-szawa: Państwowe Wydawnictwo Naukowe, s. 17−88.
Priede Camilla, Farrall Stephen (2010) Comparing results from different styles of cognitive interviewing: ‘verbal probing’ vs. ‘thin-king aloud’. „International Journal of Social Research Methodo-logy”, vol. 14, no. 4, s. 271−287.
Rubenson Kjell (2019) Assessing the status of lifelong learning: Is-sues with composite indexes and surveys on participation. „Inter-national Review of Education / Inter„Inter-nationale Zeitschrift für Erziehungswissenschaft”, vol. 65, no. 1, s. 295−317.
Ryan Katherine, Gannon-Slater Nora, Culbertson Michael J.
(2012) Improving Survey Methods With Cognitive Interviews in Small- and Medium-Scale Evaluations. „American Journal of Eva-luation”, vol. 33, no. 3, s. 414−430.
Sopromadze Natia, Moorosi Pontso (2016) Do we see through the-ir eyes? Testing a bilingual questionnathe-ire in education research using cognitive interviews. „Journal International Journal of Research
& Method in Education”, no. 40, s. 524−540 [dostęp 15 czerwca 2020 r.]. Dostępny w Internecie: ‹http://dx.doi.org/10.1080/17437 27X.2016.1181163›.
Stec Katarzyna i in. (2018) Bilans Kapitału Ludzkiego 2017. Roz-wój kompetencji – uczenie się osób dorosłych i podmioty oferujące usługi rozwojowe. Badanie przeprowadzone na zlecenie Polskiej Agencji Rozwoju Przedsiębiorczości [dostęp 20 czerwca 2020 r.]. Dostępny w Internecie: ‹https://www.parp.gov.pl/storage/
publications/pdf/Rozwoj-kompetencji----uczenie-sie-osob-do-roslych_200129.pdf›.
Sztabiński Franciszek (2011) Ocena jakości danych w badaniach surveyowych. Warszawa: Wydawnictwo IFiS PAN.
Tourangeau Roger (1984) Cognitive Sciences and Survey Methods [w:] Thomas. B. Jabine i in., eds., Building a Bridge Between Di-sciplines: Report of the Advanced Research Seminar on Cognitive Aspects of Survey Methodology. Washington, DC: National Aca-demy Press, s. 73−100.
Tourangeau Roger, Bradburn Norman M. (2010) The psychology of survey response [w:] James D. Wright, Peter V. Marsden, eds., Handbook of survey research. West Yorkshire: Emerald Group, s. 315−346.
Wykorzystanie wywiadów kognitywnych w projektowaniu kwestionariusza wywiadu na przykładzie badania uczenia się osób dorosłych
Van Someren Maarten W., Bernard Yvonne. F., Sanberg Jaco-bijn A. C. (1994) The think aloud method. A practical guide to mode-ling cognitive processes. London: Academic Press.
Willis Gordon B. (2005) Cognitive Interviewing. A Tool for Improving Questionnaire Design. Thousand Oaks, CA: Sage Publications.
Willis Gordon B. (2015) Analysis of cognitive interview in question-naire design. NY: Oxford University Press.
Willis Gordon B. (2018) Cognitive Interviewing in Survey Design: State of the Science and Future Directions [w:] Da-vid L. Vannette, Jon A. Krosnick, eds., The Palgrave Hand-book of Survey Research. London: Palgrave Macmillan, s. 103−107.
Worek Barbara (2019) Uczące się społeczeństwo. O aktywności edu-kacyjnej dorosłych Polaków. Kraków: Wydawnictwo Uniwersyte-tu Jagiellońskiego.
Cytowanie
Adamczyk Paulina i in. (2021) Wykorzystanie wywiadów kognitywnych w projektowaniu kwestionariusza wywiadu na przykładzie badania uczenia się osób dorosłych. „Przegląd Socjologii Jakościowej”, t. 17, nr 1, s. 136–158 [dostęp dzień, miesiąc, rok]. Dostępny w Internecie: ‹www.przegladsocjologiijakosciowej.org›. DOI: http://dx.doi.org/10.18778/1733-8069.17.1.09