W literaturze badań surveyowych odnaleźć można tylko nieliczne prace, których autorzy podejmują się analizy błędów przetwarzania danych w ramach teoretycznych wyznaczonych przez paradygmat całkowitego błędu pomiaru.
Wystarczy przypomnieć, że nawet w tak przełomowym dziele, jakim dla popu-laryzacji teorii całkowitego błędu pomiaru była monografia Survey Errors and Survey Costs, Robert M. Groves wykluczył z pola swojego zainteresowania błędy procedowania danych. Abstrahując w tym momencie od przedstawionej przez niego argumentacji uzasadniającej rzeczowość takiego podejścia, można uznać, że wbrew swoim deklaracjom nie traktował on błędów będących skutkiem uchybień w przetwarzaniu danych zbyt poważnie. Ponieważ kluczowym za-gadnieniem, wokół którego Groves koncentrował swoją uwagę, były nakła-dy/koszty ponoszone w ramach poszczególnych przedsięwzięć badawczych, a zarazem wiadomo, iż „operacje przeprowadzane na zbiorach danych stanowią znaczną część całkowitego budżetu badawczego […] pochłaniając około 40%
kosztów” (por. Biemer i in. 2003: 220), to autor przywoływanej pracy nie po-winien, mimo wszystko, tak pochopnie decydować się na wyłączenie ze swoich rozważań błędów procedowania danych53. Jest to zresztą przypadłość charak-teryzująca większość opracowań z zakresu metodologii badań sondażowych, nie tylko tych poświęconych zagadnieniom błędów pomiarowych. Zwrócili na to uwagę autorzy monografii Introduction to Survey Quality, stwierdzając, że:
literatura dotycząca zagadnień błędów procedowania danych i ich kontroli jest relatywnie dużo mniejsza od tej poświęconej błędom pomiarowym […] oraz jednostkom niedostępnym. […] Pomimo swojego potencjalnego wpływu na wyniki surveyu, błędy procedowania danych traktowane są przez wielu meto-dologów jako mniej interesujące. […] Chociaż istnieje wiele dowodów na ich wpływ […] na wyniki badań sondażowych, to związane z nimi struktury błędów są zasadniczo nieznane i niezbadane. (Biemer i in. 2003: 219)
______________
53 W wydanej pięć lat później monografii Survey Methodology R. Groves i in. (2004: 303–343) poświęcają cały rozdział tzw. postterenowemu etapowi przetwarzania danych, koncentrując się na następujących jego fazach: kodowaniu, wprowadzaniu danych i ich edycji, imputacji braków danych, konstruowaniu wag oraz estymacji poziomu precyzji pomiaru. Główna uwaga autorów skupia się na dwóch fazach tego procesu, tj. na kodowaniu danych oraz konstruowaniu wag, które mogą stanowić poważne źródło przyrostu wariancji oraz wypaczenia w zbiorze danych wyniko-wych. Ponieważ pozostałe etapy omówione są skrótowo, a charakterystyka procedury kodowania pozostaje tożsama z zaprezentowanym podejściem Biemera i Lyberga (2003), to charakterystyka Grovesa i in. (2004) przywołana będzie tylko fragmentarycznie przy okazji definicji wskaźnika przyrostu wariancji wynikającej z kodowania odpowiedzi respondentów na zadane im pytania
„otwarte”.
W opinii autorów tej pracy mniejsze zainteresowanie błędami procedowa-nia danych wynika z faktu, że „inaczej, niż w przypadku braków odpowiedzi, czy też projektowania narzędzi badawczych, nie ma modeli teoretycznych opi-sujących oraz wyjaśniających etap badań związany z przetwarzaniem danych”
(Biemer i in. 2003: 219). Bardziej prawdopodobne wydaje się jednak, że po-nieważ przetwarzanie danych związane jest z „działaniem analityków oraz osób zarządzających bazami danych” (Groves 1989: 12), to wielu badaczy może być po prostu przekonanych o możliwości skutecznego kontrolowania procesu obróbki danych oraz w efekcie o możliwości wyeliminowania wszelkich poten-cjalnych źródeł błędów pojawiających się na tym etapie badania. Chociaż jest w tym wiele racji, to jednak, jak stwierdza Herbert F. Weisberg, „staranność dokładana przez badaczy w fazie zbierania danych nie jest często przez nich kontynuowana na etapie przetwarzania danych” (Weisberg 2005: 262). Biemer i Lyberg dodają do tego, że „operacje [na zbiorach danych – P.J.] przeprowadza-ne są bez żadprzeprowadza-nej kontroli ich jakości, a co za tym idzie, wpływ tych źródeł błędów na całkowitą wielkość MSE jest zazwyczaj nieznany” (Biemer i in.
2003: 215), poprzedzając przywołaną konstatację dosyć karykaturalnym stwierdzeniem, że „wiedza o procesie przetwarzania danych oraz błędach po-wiązanych z tym procesem jest bardzo niewielka [nawet – P.J.] w instytucjach sondażowych” (Biemer i in. 2003: 215).
Odwołując się do dwóch monografii, tj. publikacji P. Biemera oraz L. Lyber-ga (2003), a także opracowania The Total Survey Error Approach. A Guide to the New Science of Survey Research autorstwa H. Weisberga (2005), można wskazać, że błędy związane z przetwarzaniem danych, lub inaczej mówiąc błędy post-surveyowe, ulokować należy w obrębie tych wszystkich przedsięwzięć badaw-czych, które podejmowane są od momentu zakończenia badań terenowych, aż po publikację raportów badawczych. Niezwykle trafnie proces ten scharaktery-zowany został w książce Introduction to Survey Quality, gdzie we wprowadze-niu do rozdziału siódmego poświęconego w całości błędom procedowania da-nych oraz procedurom wykorzystywanym do ograniczania ich negatywda-nych konsekwencji, odnaleźć można następującą definicję:
[p]rzetwarzanie danych jest zbiorem czynności mających na celu przekształce-nie wyników badań sondażowych, uzyskanych w trakcie zbierania danych, z ich surowego stanu do takiej postaci […], która może być wykorzystana w analizie, prezentacji i upowszechnianiu wyników. Podczas tego procesu dane mogą być przetwarzane na wiele sposobów, […] czego celem jest poprawa ich dokładno-ści. Dane mogą być zatem sprawdzane, porównywane, poprawiane, wprowa-dzane do baz danych, kodowane itd., do czasu, aż [nie osiągną postaci – P.J.] [...], którą uznać można za ‘dopasowaną do wymagań’ [badaczy – P.J.]. (Biemer i in.
2003: 215)
W podobnym tonie wypowiada się H. Weisberg, który w pierwszym zdaniu wprowadzenia do rozdziału poświęconego błędom popełnianym w fazie prze-twarzania danych definiuje błędy postsurveyowe „jako takie, które pojawiają się po zrealizowaniu wywiadów” (Weisberg 2005: 261), a także F. Sztabiński, który, mówiąc o błędzie opracowania, „[ma – P.J.] na myśli sytuację, w której w fazie przetwarzania danych dokonano nieintencjonalnej zamiany zapisu ory-ginalnych informacji uzyskanych w badaniu na informacje inne co do wartości”
(Sztabiński F. 2011: 60). Ponieważ F. Sztabińskiego interesują bardziej kwestie związane bezpośrednio z pomiarem, a nie z opracowywaniem danych (tytuło-wa ocena jakości danych w badaniach sondażowych analizo(tytuło-wana jest pod kątem oceny jakości ich pozyskiwania), to tym drugim źródłom błędów oraz samej fazie opracowywania danych autor nie poświęca wiele uwagi. Bardziej szczegó-łową charakterystykę procesu przetwarzania danych odnaleźć można za to w opracowaniu P. Biemera i in. (2003: 215–257), jak też w monografii H. Weis-berga (2005: 261–277). W obu publikacjach ich autorzy prezentują zbieżny co do istoty zestaw działań podejmowanych w ramach postsurveyowego opraco-wywania wyników badań oraz powiązane z tymi działaniami błędy54.
W świetle podejmowanych w tej pracy zagadnień ważne jest to, że prze-kształcenia przeprowadzane na zbiorach danych mogą przyczynić się zarówno do systematycznego zniekształcenia danych wynikowych, jak i do obniżenia ich precyzji, ponieważ oddziałują one odpowiednio na systematyczny oraz losowy komponent całkowitego błędu pomiaru. Dla przykładu H. Weisberg ukazuje, że
„błędy związane z wprowadzaniem danych są zazwyczaj losowe, zatem nie będą wypaczać wyników, ale obniżać rzetelność danych” (Weisberg 2005: 266), ale już te związane z edycją danych (przetwarzaniem zbiorów wynikowych), czy też z kodowaniem pytań otwartych, mogą dodatkowo powodować systema-tyczne wypaczenie danych (por. Weisberg 2005: 267; Biemer i in. 2003: 219).
Ustalenia Biemera i Lyberga ukazują również, że automatyzacja procesu prze-twarzania danych ma tendencję do generowania błędów systematycznych, podczas gdy operacje wykonywane „ręcznie” rodzą zarówno błędy systema-tyczne, jak i losowe (por. Biemer i in. 2003: 219).
W sensie formalnym dla dowolnego estymatora θ̂ parametru θ wielkość błędu systematycznego, powstałego na skutek niewłaściwego przetwarzania zbioru danych wynikowych, można zapisać w postaci następującego wzoru:
(II.23.) B𝐷𝑃≝ θ̂𝐷𝑃− θ̂𝑝𝑜𝑚𝑖𝑎𝑟,
______________
54 Działania te obejmują: (1) wstępną edycję danych, (2) wpisywanie wyników (tworzenie bazy danych), (3) „czyszczenie” baz danych (4) kodowanie danych (w tym pytań otwartych), (5) przygotowanie zbioru danych do obliczeń, (6) analizę danych, (7) raportowanie (por. Biemer i in. 2003: 215–257; Weisberg 2005: 261–277).
gdzie:
θ̂𝐷𝑃 jest wielkością estymatora, wyznaczoną na podstawie zbioru wyni-ków powstałego po obróbce „surowych” danych;
θ̂𝑝𝑜𝑚𝑖𝑎𝑟 jest wielkością estymatora, którą dałoby się wyznaczyć ze zbioru wyników „surowych”, gdyby nie trzeba było go poddawać żadnej dalszej obróbce.
Z kolei wielkość błędu losowego można zapisać jako miarę przyrostu wa-riancji, analogicznie jak dla wskaźnika DEFFTOTAL czy też miernika VIF, tzn. jej wielkość w przekształconym zbiorze danych odnieść do do poziomu wariancji w zbiorze „surowych” wyników pomiaru:
(II.24.) 𝐷𝐸𝐹𝐹𝐷𝑃 ≝Var(θVar(θ̂̂ 𝐷𝑃)
𝑝𝑜𝑚𝑖𝑎𝑟), gdzie:
Var(θ̂𝐷𝑃) jest wariancją w zbiorze danych powstałym po fazie obróbki
„surowych” danych wynikowych;
Var(θ̂𝑝𝑜𝑚𝑖𝑎𝑟) jest wariancją w zbiorze wyników niepoddanych prze-kształceniom, tj. otrzymanych bezpośrednio po przeprowadzeniu tere-nowej fazy badań.
Należy nadmienić, że chociaż P. Biemer, L. Lyberg oraz H. Weisberg poświę-cają błędom procedowania obszerne fragmenty swoich książek, to jednocześnie (inaczej niż w przypadku innych źródeł błędów, może z wyjątkiem błędu specy-fikacji określonego przez Biemera oraz Lyberga wyłącznie w sposób opisowy) w ogóle nie definiują formalnie (tj. za pomocą wyrażenia matematycznego) ich wielkości. W obu monografiach uwaga skupia się bowiem bardziej na wypra-cowaniu standardów edycji baz danych (czego efektem ma być minimalizacja ryzyka wystąpienia błędów), niż na próbie oszacowania wielkości samych błę-dów. Postulat wypracowania uniwersalnych standardów kodowania pytań oraz edycji baz danych wspomniany będzie jeszcze na końcu tego rozdziału, w tym momencie należy wskazać, że formuły II.23. oraz II.24. podano wyłącznie dla zachowania jednakowego porządku narracji w pracy, bowiem możliwość ich praktycznej implementacji jest dalece ograniczona. Po pierwsze, wielkości błędów procedowania nie powinny być wyznaczane łącznie dla całego etapu postsurveyowej obróbki danych, ale dla każdej czynności z osobna, podobnie zresztą, jak nie wyznacza się ogólnej wielkości błędu całkowitego, tylko esty-muje się ich poszczególne komponenty. Trudność polega również na tym, że operacje prowadzone na zbiorach danych wynikowych obejmują na tyle szero-kie spektrum działań potencjalnie narażonych na ryzyko błędu, że nie sposób jest ich wszystkich określić. Poza tym próba wyczerpującego ustalenia wszyst-kich, bez wyjątku, źródeł błędów postsurveyowych pozbawiona byłaby sensu, podobnie zresztą jak bezcelowe są wszelkie próby drobiazgowego wyliczenia
błędów pojawiających się na innych etapach realizacji badań sondażowych.
Schemat postępowania powinien być zatem podobny do tego, jaki przyjmowa-ny jest w analizie błędów związaprzyjmowa-nych z próbą badawczą czy też z procesem pomiaru, a zatem uwaga badaczy skupiona powinna być na tych źródłach błę-dów, których oddziaływanie na całkowity błąd pomiaru jest najbardziej zna-czące.
W tym miejscu trzeba wskazać, że poza etapem ważenia danych (opisanym w sekcji II.1.5. tego rozdziału), innym, niezwykle podatnym na błędy momen-tem w procesie przetwarzania wyników badań jest kodowanie pytań otwartych (kategoryzacja odpowiedzi). Nie jest to wprawdzie proces występujący we wszystkich badaniach sondażowych, jeśli jednak już występuje, to staje się istotnym źródłem błędów (por. Biemer i in. 2003: 234). W sekcji 7.5. rozdziału poświęconego procedowaniu danych P. Biemer oraz L. Lyberg podają opisową definicję błędu kodowania, stwierdzając, iż „występuje on wtedy, gdy [wypo-wiedzi respondenta – P.J.] przypisano inny kod, niż właściwy”55 (Biemer i in.
2003: 236), poprzedzając ją założeniem o istnieniu owego „właściwego”, tj. odpowiadającego rzeczywistości oraz intencjom badacza, kodu charaktery-zującego wypowiedź respondenta56 (por. Biemer i in. 2003: 236). Formalne zdefiniowanie tego typu błędu wymaga jednak, choćby krótkiej, charakterystyki procedury kodowania pytań otwartych.
P. Biemer oraz L. Lyberg traktują kodowanie jako proces, którego elementy składowe stanowią: (1) odpowiedzi respondentów w postaci swobodnej wy-powiedzi na pytanie otwarte, (2) określone wcześniej klucze kodowe, tzn. zbio-ry liczb (lub innych symboli) wraz z przypisanymi im kategoriami zmiennej wynikowej oraz opisową charakterystyką każdej kategorii, a także (3) instruk-cje kodowe, które zawierają zbiór reguł pozwalających osobie zaangażowanej w kodowanie pytań na powiązanie (1) z (2), tj. udzielonych odpowiedzi z od-powiednimi dla nich wartościami zmiennej wynikowej (por. Biemer i in. 2003:
______________
55 Poza domenę błędów kodowania wyłączone są te wszystkie przypadki, które obejmują sy-tuacje przypisania właściwego kodu numerycznego lub alfanumerycznego dla określonej odpo-wiedzi respondenta, udzielonej jednak niezgodnie ze stanem rzeczywistym. W konsekwencji, używając statystycznej terminologii błędów pomiarowych, nadany kod nie oddaje wartości praw-dziwej, co w oczywisty sposób przesuwa pole zainteresowania w kierunku błędów pomiarowych.
56 Biemer i in. (2003: 236) uwypuklają przy tym trudności, na jakie napotyka badacz w związku z koniecznością spełnienia założenia o istnieniu tego „właściwego” kodu. Problemy mogą się pojawić zarówno w sytuacji udzielenia przez respondenta niejasnej lub niejednoznacznej odpowiedzi, ale także wtedy, gdy jest ona precyzyjna. Autorzy publikacji Introduction to Survey Quality, odwołując się do studiów empirycznych, zwracają uwagę na znaczne różnice w kodach nadawanych tym samym odpowiedziom przez różne osoby. W konsekwencji badacze stają przed koniecznością wyznaczenia dodatkowych reguł umożliwiających jednoznaczne wyodrębnienie
„właściwego” kodu odpowiedzi. Przykładem takich reguł jest między innymi omówiona dalej w tym rozdziale tak zwana uproszczona weryfikacja kodowania oraz dwustopniowa niezależna weryfikacja kodowania z głosem rozstrzygającym.
234–235). Kodowanie polega zatem na przyporządkowywaniu swobodnych wypowiedzi respondentów do ustalonych kategorii, z których każda wyklucza inną, jednak łącznie wypełniają przestrzeń wszystkich możliwych sytuacji57. Innymi słowy, „surowe” wypowiedzi badanych osób zamieniane są, zgodnie z regułami określonymi przez badacza, na predefiniowane kody, tak aby usys-tematyzować wypowiedzi respondentów w postaci rozkładów częstości lub też wykorzystać je jako wyróżnik grup porównawczych w parametrycznych lub nieparametrycznych analizach statystycznych. Doskonałym przykładem proce-su kodowania odpowiedzi pozostają kwestie związane z pytaniami o wykony-wany zawód. Predefiniowane kategorie obejmować mogą przy tym nawet dzie-siątki kodów numerycznych, czego świetną ilustracją jest operacjonalizacja pozycji jednostek w strukturze społecznej, zaprezentowana w wydanej w 2007 roku nakładem Wydawnictwa Instytutu Filozofii i Socjologii PAN publikacji H. Domańskiego, Z. Sawińskiego oraz Kazimierza M. Słomczyńskiego Nowe kla-syfikacje i skale zawodów. Kodowanie może przybierać różne formy, począwszy od „zdecentralizowanego” lub „scentralizowanego”58 kodowania ręcznego, po-przez działania wspomagane komputerowo, a kończąc na automatycznym ko-dowaniu tekstu z ręcznym uzupełnianiem nietypowych przypadków (por. Bie-mer i in. 2003: 235; Weisberg 2005: 265–266).
W świetle zagadnień związanych z estymacją miary całkowitego błędu po-miaru badań sondażowych niezwykle istotną konsekwencją błędu kodowania jest to, że jego wielkość może być skorelowana z osobą kodera (zupełnie tak samo, jak wyniki wywiadu mogą być skorelowane z osoba ankietera). Dzieje się tak na skutek tego, iż osoby przeprowadzające kodowanie odpowiedzi respon-dentów mogą w różny sposób interpretować opracowane klucze kodowe (por.
Brill 2008: 101–102; Weisberg 2005: 265; Funkhouser i in. 1968: 122–128), czego efektem jest przyrost wariancji w zbiorze wyników pomiaru (por. Biemer
______________
57 Na te dwa warunki, jakie spełniać musi klucz kodowy, tj. (1) rozłączność oraz (2) zupełność, uwagę zwrócił między innymi H. Weisberg (2005: 265), omawiając zasady opracowywania sche-matów kodowania. Pierwszy z nich oznacza, że każdej odpowiedzi respondenta daje się jedno-znacznie przypisać jeden (i tylko jeden) kod. Biemer i in. (2003: 236) zwracają jednak dodatkowo uwagę na pewne problemy wynikające z konieczności spełnienia tego warunku: w praktyce od-powiedź respondenta może być nieścisła, co w konsekwencji przełoży się na przyporządkowanie jednego z wielu potencjalnie „pasujących” kodów, w zależności od przyjętej interpretacji odpo-wiedzi respondenta. Kryterium zupełności oznacza natomiast, że zdefiniowane kody da się przy-porządkować wszystkim (bez wyjątku) odpowiedziom respondentów. Kryterium to spełniane jest zazwyczaj poprzez dołączenie kodu „inne”, na oznaczenie tych wszystkich odpowiedzi, którym nie da się przypisać – używając terminologii Weisberga – „kodów substantywnych” (por. Weisberg 2005: 265).
58 Rozróżnienie na te dwie formy kodowania ręcznego odnajdujemy w pracy Biemera i in.
(2003: 235–236). Kodowanie „scentralizowane” przeprowadzane jest wewnątrz instytucji sonda-żowej przez mniej lub bardziej wyspecjalizowanych w tym zakresie pracowników, z kolei kodo-wanie „zdecentralizowane” przeprowadzane jest przez ankieterów lub samych respondentów w trakcie realizacji wywiadu.
2010a: 45–46). Statystyką mierzącą wpływ tego zjawiska jest miara DEFFKOD, oparta na współczynniku korelacji wewnątrzklasowej (por. Kish 1965: 161–164;
170–172), która definiowana jest według podobnych zasad, co przedstawiona w sekcji II.2.3. miara DEFFANK. Tym samym, miarę DEFFKOD można zapisać jako:
(II.25.) 𝐷𝐸𝐹𝐹𝐾𝑂𝐷≝ 1 + (𝑘̅ − 1)𝜌𝐾𝑂𝐷,
lub opcjonalnie (uwzględniając dodatkowo wskaźnik rzetelności kodowania oznaczony symbolem r) w postaci przedstawionej przez Grovesa i in. (2004:
317) oraz Weisberga (2005: 265, 343):
(II.25’.) 𝐷𝐸𝐹𝐹𝐾𝑂𝐷≝ 1 + (𝑘̅ − 1)(1 − 𝑟)𝜌𝐾𝑂𝐷, gdzie:
𝑘̅ jest średnią ważoną liczbą odpowiedzi przekazanych do kodowania każdej z K osób, przy czym 𝑘̅ =𝐾−11 (𝑁𝑝𝑜𝑚𝑖𝑎𝑟− ∑ 𝑁 𝑛𝑘2
𝑝𝑜𝑚𝑖𝑎𝑟
𝐾𝑘=1 ), 𝑁𝑝𝑜𝑚𝑖𝑎𝑟 oznacza liczebność próby zrealizowanej a 𝑛𝑘 , gdzie 𝑛1+𝑛2+. . . +𝑛𝐾 = 𝑁𝑝𝑜𝑚𝑖𝑎𝑟, jest liczbą pytań przydzieloną do każdego (k = 1, 2, …, K) kodera;
𝜌𝐾𝑂𝐷 jest współczynnikiem korelacji wewnątrzklasowej, którego oszaco-waniem może być wielkość 𝜌̂𝐾𝑂𝐷=𝑀𝑆𝐵+(𝑘̅−1)𝑀𝑆𝑊𝑀𝑆𝐵−𝑀𝑆𝑊 , oparta na analizie wa-riancji (analogicznie do współczynnika 𝜌̂𝐴𝑁𝐾 zdefiniowanego w poprzed-niej sekcji tego rozdziału), przy czym MSB oznacza średni kwadrat zróżnicowania międzyklasowego (tj. między koderami), a MSW odpowia-da średniemu kwadratowi zróżnicowania wewnątrzklasowego (tj. w ob-rębie kodów przypisanych przez daną osobę).
Miara DEFFKOD podlega tym samym ograniczeniom co miernik DEFFANK, z czego bodaj najważniejszym jest to, że każda z obserwacji musi być przypisa-na do poszczególnych osób kodujących odpowiedzi respondentów w sposób losowy. Spełnienie tego warunku sprawia, że miara DEFFKOD jest w istocie mia-rą oddziaływania koderów na uzyskane wyniki, bowiem przy zrandomizowa-nym przydziale obserwacji należy się spodziewać, że zaobserwowane dyspro-porcje wynikać będą z różnic w interpretacji kluczy kodowych, a nie na przykład ze specyfiki respondentów, których odpowiedzi przypisano poszcze-gólnym koderom (por. Weisberg 2005: 55).
Jedną z bardziej skutecznych metod, umożliwiających wyeliminowanie błę-du skorelowania wyników kodowania z osobą kodera, jest multiplikowanie liczby osób zaangażowanych w prace nad przetwarzaniem wypowiedzi re-spondentów. Wiąże się to z przyjęciem zasady opracowywania tych samych przypadków (wypowiedzi) przez co najmniej dwóch koderów, co pociąga za sobą wzrost kosztów oraz wydłużenie czasu potrzebnego na opracowanie
wy-ników, jednakże, jeżeli kodowanie odbywa się w sposób niezależny59, to możli-we staje się określenie rzetelności (ang. intercoder reliability) oraz niezgodno-ści60 (ang. coder disagreement rate) kodowania, czyli miar świadczących o ho-mogeniczności przeprowadzonej operacji. Pierwszy wskaźnik (element składowy miary DEFFKOD oznaczony we wzorze II.25’. jako r) liczony jest jako współczynnik korelacji (odpowiednio dla poziomu pomiaru zmiennej) pomię-dzy kodami przyporządkowywanymi przez pary koderów, drugi natomiast podaje odsetek przypadków, w których pary koderów przypisały odmienne wartości do tej samej wypowiedzi respondenta. Warto jednak podkreślić, że choć wysoka wartość współczynnika rzetelności kodowania oraz niska wartość wskaźnika niepodobieństwa świadczy o spójności przeprowadzonego działania, to nadal nie jest dowodem na brak popełnionego w tym zakresie błędu (por.
Weisberg 2005: 265). Innymi słowy, poszczególne przyporządkowania wypo-wiedzi respondentów do odpowiednich kategorii kodowych przez kolejnych koderów mogą być zgodne, ale nadal pozostawać przypisane niewłaściwe, czyli (przyjmując opisową definicję błędu kodowania) niezgodnie z rzeczywistością oraz intencjami badacza. Mocno brzmią zatem słowa P. Biemera oraz L. Lyberga, mówiące o tym, że „jeżeli kodowanie pozostaje poza kontrolą [badacza – P.J.], to współczynniki poziomu błędów są wysokie, co z kolei może prowadzić do wzrostu [całkowitego – P.J.] błędu pomiaru” (Biemer i in. 2003: 238). Autorzy ci przedstawiają przy tym ciekawą odmianę uproszczonej weryfikacji kodowania, opierającej się na idei kontroli dwustopniowej z tzw. głosem rozstrzygającym, która wydaje się efektywnym narzędziem ograniczającym błąd kodowania61.
______________
59 Niezależny sposób kodowania oznacza, że pary koderów przyporządkowują kody nie zna-jąc wzajemnie przyporządkowywanych przez siebie wartości. Biemer i in. (2003: 238–239) oma-wiają także przykład kodowania zależnego, które polega na tym, że przypisane przez pierwszego kodera kody przekazywane są do drugiego kodera, który, znając przyporządkowany kod, nadaje własny i weryfikuje zgodność kodów, a w przypadku niezgodności decyduje o kodzie wyjściowym.
P. Biemer i L. Lyberg ukazują jednak, że taki schemat kontroli procedury kodowania, nazywanej uproszczoną weryfikacją kodowania, nie jest efektywny; winę za to ponosi prosty mechanizm, który sprawia, że na ocenę „weryfikatora” znaczny wpływ wywiera kod przyporządkowany już wcześniej. Co więcej, procedura ta umożliwia jedynie wychwycenie oczywistych i jednoznacznych odstępstw od instrukcji kodowych, te mniej istotne pozostaną niepoprawione.
60 Wskaźnik niezgodności kodowania (oznaczony symbolem CD) wyznaczyć można, sto- sując formułę określoną wzorem 𝐶𝐷 = (1 −∑𝑁𝑟𝑒𝑠𝑝𝑖=1 𝑐𝑖
𝑁𝑟𝑒𝑠𝑝 ) 100% , gdzie: ∀
𝑖 ∈ {1, 2, … , 𝑁𝑟𝑒𝑠𝑝} 𝑐𝑖=
= {1; dla 𝑥𝑖A= 𝑥𝑖B
0; dla 𝑥𝑖A≠ 𝑥𝑖B, natomiast 𝑥𝑖A oraz 𝑥𝑖B oznaczają kody przyporządkowane wypowiedzi i-tego respondenta przez osoby A i B.
61 Polega ona na tym, że osoby A oraz B kodują odpowiedzi niezależnie od siebie, przyporząd-kowując wszystkie obserwacje – wypowiedzi respondentów – do odpowiednich kategorii zmien-nej wynikowej. Jeżeli pary kodów są zgodne, to przyjmuje się, że ustalono kod wyjściowy. W sytu-acji, gdy osoby A oraz B przypisują odmienne kody, trzeci koder podaje, niezależnie od A i B, swoją propozycję kodu. Jeśli okaże się, że koder C przypisał kod równy A lub B, to obowiązującą
warto-Wydaje się rzeczą oczywistą, że nie tylko kodowanie pytań otwartych, ale także inne działania wykonywane w ramach postsurveyowej obróbki danych wymagają od badaczy wzmożonej kontroli jakości przeprowadzanych operacji.
Chodzi przede wszystkim o to, że błędy przetwarzania danych mają swoje główne źródło w osobie badacza (lub w personelu badawczym), a zatem za-chowanie wysokich standardów edycji baz danych może okazać się jedną ze skuteczniejszych metod ograniczających ryzyko pojawienia się błędów
Chodzi przede wszystkim o to, że błędy przetwarzania danych mają swoje główne źródło w osobie badacza (lub w personelu badawczym), a zatem za-chowanie wysokich standardów edycji baz danych może okazać się jedną ze skuteczniejszych metod ograniczających ryzyko pojawienia się błędów