Grzech czwarty: błędy metodologiczne

Nieszczęśliwe rozstrzygnięcia różnych dylematów metodologicznych związanych z procesem gromadzenia danych mogą mieć katastrofalne skutki dla ich jakości. Poniżej wymieniamy najważniejsze rodzaje takich błędów. Niezależnie od tego, czy sami prowadzimy badania, czy też korzystamy z dorobku innych, powinniśmy upewnić się (w takim stopniu, w jakim jest to możliwe), że nasze dane są od nich wolne.

Zły dobór techniki realizacji badań

Ten bardzo często spotykany błąd polega na takim doborze technik pozyskiwania danych, któ-ry jest nieoptymalny z punktu widzenia precyzji bazujących na tych danych oszacowań. Może tak być w sytuacji, kiedy usiłujemy badać problem, odwołując się do technik sondażowych, podczas gdy istnieją dane dobrze opisujące go na poziomie całej populacji. Częściej jednak spotykamy się z nim na gruncie samych badań, kiedy decydujemy się na przeprowadzenie sondażu, korzystając z niedostosowanych do specyfiki danej populacji technik realizacyjnych – na przykład sondażu telefonicznego w sytuacji, kiedy zbieramy dane wrażliwe; sondażu typu CAWI (ankiety online) wtedy, kiedy znaczna część naszej populacji nie ma dostępu do kom-putera/Internetu itp. O wyborze takich technik decydują najczęściej względy ekonomiczne, jednak nie zawsze usprawiedliwiają one tego rodzaju decyzję – mogą sprawić, że mniejszym kosztem uzyskamy dane, które nie będą miały żadnej rzeczywistej wartości.

Nieodpowiednia liczebność próby/błędy doboru próby

Jeśli mamy do czynienia z badaniami sondażowymi (tzw. badaniami na próbie), upewnijmy się, że liczebność i konstrukcja próby badawczej nie mają wpływu na wyniki. Nagminnym błędem jest wnioskowanie o zmianach w natężeniu jakiegoś zjawiska lub porównania między grupami na podstawie nie dość licznej próby. Regularnie obserwujemy to w przypadku analiz sondaży poparcia dla partii politycznych, które opierają się zwykle na 500-elementowych próbach. W takich sondażach przesunięcia czy dysproporcje na poziomie 2 czy 3 punktów procentowych nie dają żadnych podstaw do dyskusji dotyczących fluktuacji poparcia w po-pulacji, której dotyczy badanie.

Pamiętajmy więc, że jeśli chcemy stawiać takie tezy, różnice, które obserwujemy, muszą być istotne statystycznie [patrz podrozdział 7.1.4. „Istotność statystyczna”, str. 79]. Mówiąc naj-prościej, muszą być oparte na dość licznej próbie, aby można było uznać je za wiarygodne. Co to znaczy „dość liczna próba” ? Nie ma jednej odpowiedzi na to pytanie, chodzi bowiem nie tylko o jej liczebność. W stwierdzeniu, czy mamy do czynienia z godnymi odnotowania zróżnicowaniami, mogą nam jednak pomóc dostępne w Internecie kalkulatory istotności statystycznej (np. na stronie www.obop.com.pl). Jeśli nie potrafimy ich użyć, poszukajmy potwierdzenia interesujących nas różnic w raporcie omawiającym dany zbiór danych albo zwróćmy się do specjalisty z prośbą o pomoc w ich interpretacji.

Liczy się nie tylko wielkość próby – nawet te bardzo liczne mogą nie gwarantować uzyskania rzetelnych, precyzyjnych wyników, jeśli ich dobór oparty jest na złych założeniach. Często przywoływanym przykładem takiej sytuacji jest olbrzymie badanie preferencji przedwybor-czych przeprowadzone w Ameryce lat 30. przez popularne wówczas czasopismo „Literary Digest”. Choć w przeprowadzonym metodą pocztową badaniu wzięło wówczas udział 2,3 mln respondentów, wyniki były odległe od rzeczywistego rozkładu głosów w wyborach (nietrafnie przewidziano wyraźne zwycięstwo A. Landona nad F. Rooseveltem). Przyczyną okazał się dobór próby w oparciu o książki telefoniczne i rejestr pojazdów, co spowodowało niedostateczną reprezentację w próbie przedstawicieli klasy robotniczej, w znacznej części niemającej wówczas dostępu do takich dóbr. Wbrew pozorom, takie sytuacje zdarzają się również we współczesnej praktyce badawczej – na przykład, gdy w badaniach statystyki publicznej uwzględnia się jedynie podmioty gospodarcze zatrudniające więcej niż 9 osób, w badaniach dotyczących problemów społecznych bierze się pod uwagę tylko osoby będące odbiorcami pomocy społecznej itp.

Zmiany metodologii pomiaru wpływające na porównywalność danych w czasie Bardzo często jesteśmy zaskakiwani danymi, które wskazują na wyraźny wzrost lub spadek natężenia jakiegoś zjawiska w czasie. Jeśli wcześniej nie podlegało ono tak wyraźnej dynamice, warto upewnić się, że nie są temu winne zmiany w metodologii pomiaru tego zjawiska lub inne istotne dla porównań zmiany. Przykładem tego rodzaju sytuacji mogą być gorące dyskusje wokół publikacji GUS ze stycznia 2012 dotyczącej wzrostu wynagrodzeń40. Wskazywała ona na znaczący wzrost poziomu wynagrodzeń na przełomie lat 2011/2012 – tymczasem według analityków i ekspertów źródłem tej dynamiki były przede wszystkim zmiany w sposobie do-boru próby w badaniach GUS oraz zmiany podatkowe, które skłoniły część przedsiębiorców do wcześniejszego wypłacania dodatkowych wynagrodzeń/dywidend.

Błędy w konstrukcji narzędzi służących zbieraniu danych

Jednym z najpowszechniejszych czynników zniekształcających wyniki badań są błędy w kon-strukcji narzędzi badawczych, które służą do ich zbierania (przede wszystkim zdarza się to w badaniach sondażowych i dotyczy zadawanych pytań). Mogą się one zdarzyć nawet w największych, najbardziej prestiżowych badaniach, dlatego chcąc mieć pewność, że uży-wamy rzetelnych danych (albo w sytuacjach, w których mamy podejrzenie co do danych podawanych publicznie przez innych i chcemy je zakwestionować), warto przyjrzeć się bliżej pytaniom, na których bazujemy. O wyniku badania może decydować wiele elementów budowy kwestionariusza: używane słownictwo (im mniej neutralne, tym bardziej wpływa na percepcję badanych), możliwości odpowiedzi towarzyszące tzw. pytaniom zamkniętym (z gotowymi odpowiedziami do wyboru), kolejność pytań, kolejność możliwych odpowiedzi, a nawet to, czy respondenci są informowani o opcji niedopowiadania w ogóle.

Błędy w realizacji badań

Dotyczą one przede wszystkim badań ankieterskich. Nawet najlepiej zaprojektowane badanie tego typu nie będzie wiarygodne, jeśli nie zostanie profesjonalnie przeprowadzone. Tego rodzaju problemy są jednak bardzo trudne do wykrycia – zwykle się o nich nie informuje. Pamiętajmy jednak o nich, prowadząc własne badania lub zlecając je zewnętrznym wyko-nawcom. Upewnijmy się, że:

• respondenci naszego badania naprawdę pochodzą z populacji, której badanie dotyczy; • liczba odmów udziału w badaniu nie jest za wysoka (im jest niższa, tym lepiej);

40 http://biznes.pl/magazyny/finanse/belka-wzrost-plac-umiarkowany-styczniowy-wzrost-il,5038504,ma-gazyn-detal.html

• praca związana ze zbieraniem danych (np. przez ankieterów) jest odpowiednio kontrolo-wana przez koordynatorów badania;

• ankieterzy zostali odpowiednio przeszkoleni pod kątem realizacji badania, znają jego cel i pracują zgodnie z obowiązującymi wytycznymi (spis standardów i zasad kontroli badań ankieterskich można znaleźć na stronie Organizacji Firm Badania Opinii i Rynku www.

ofbor.pl, w zakładkach Standardy oraz PKJPA41).