Istotność statystyczna

Definicja W raportach z badań często słyszymy, że jakiś wynik jest „istotny statystycznie”. Brzmi to dziwnie – przecież wiele innych wyników omówionych w tych raportach wydaje się nam nie mniej istotnych! Do tego, stwierdzeniom takim często towarzyszą dziwaczne zapisy numeryczne, takie jak np. „p<0,01”. O co tu chodzi?

Istotność statystyczna to termin pojawiający się, kiedy porównuje się uczestników badań sondażowych pod względem natężenia czy występowania pewnych cech (przy-najmniej dwóch). Jest to oszacowanie prawdopodobieństwa, z jakim można przyjąć, że różnice w poziomie tych cech nie występują w populacji, z której wylosowano uczestników badania.

Po co takie oszacowanie? Jeśli dochodzimy do wniosku, że natężenie jakiejś cechy wśród uczestników badania jest związane z natężeniem innej cechy (na przykład przy-należnością uczestników do określonych grup), stajemy przed pytaniem, czy związek ten (nazywany często „zależnością”) charakteryzuje całą populację, z której losowaliśmy uczestników badania, czy też można uznać go za przypadkowy, występujący tylko w naszej próbce? Oczywiście, im wyraźniejsza jest obserwowana zależność, tym mniejsze jest prawdopodobieństwo, że ma ona charakter losowy i nie występuje w populacji.

Definicja Poziom istotności statystycznej to nic innego jak obliczony na podstawie wyników badania poziom tego prawdopodobieństwa – współczynnik, który oznacza się zwykle literą p. Choć wyraża się go w ułamkach, jest to ni mniej ni więcej, tylko sprowa-dzony do postaci numerycznej procent szans na to, że w populacji nasz związek nie występuje. Inaczej mówiąc, to prawdopodobieństwo, że nasz wynik nie jest ważny w populacji, którą badamy. Wartość p dąży do 1 (100%) wraz ze wzrostem szans, że mamy do czynienia z przypadkiem lub do 0 (0%) wraz z jego maleniem (patrz przy-kład). Choć metody wyznaczania tego prawdopodobieństwa różnią się w zależności od tego, jakie cechy porównujemy i jakich narzędzi statystycznych (tzw. testów) używamy, zawsze oznacza ono to samo: szanse na to, że odkryta przez nas zależność ma charakter losowy i nie występuje w populacji, o której wnioskujemy na podstawie naszej próby.

Przykład W badaniu sondażowym na reprezentatywnej próbie 1000 dorosłych Polaków stwier-dzono, że istnieje statystycznie istotny związek [patrz podrozdział 7.1.5. „Korelacja”, str. 81] pomiędzy poziomem zamożności respondentów a ich skłonnością do hazardu, mierzoną liczbą wykupywanych w danym miesiącu zakładów loterii – osoby mniej zamożne częściej grają w totolotka niż osoby zamożne. Poziom istotności dla tego związku wynosi p = 0,03. Oznacza to tylko 3% szans na to, iż nie występuje on w całym polskim społeczeństwie. Inaczej mówiąc, mamy 97-procentową pewność, że jest to związek opisujący nie tylko naszą próbkę, ale całą badaną populację.

Warto

pamiętać ^{O istotności statystycznej możemy mówić w odniesieniu do badań sondażowych na} losowych, reprezentatywnych próbach. Tylko losowość doboru respondentów pozwala bowiem przyjąć reguły wnioskowania statystycznego stojące za wartością p.

Nie istnieje coś takiego jak zerowy poziom p – po prostu dlatego, że w badaniu opartym na losowej próbie nigdy nie mamy absolutnej pewności, że odkryta przez nas prawi-dłowość nie jest po prostu dziełem przypadku. Prawdopodobieństwo takie może być jednak niezwykle małe – na przykład nie przekraczać wartości 0,0000001, co oznacza 0,00001% szans na błędne uznanie, że występuje w populacji.

Istotność statystyczna ma zawsze określoną wartość (prawdopodobieństwo jest z natu-ry określone). Jednak w raportach czytamy zwykle, że albo coś „jest”, albo „nie jest” sta-tystycznie istotne. Powstaje pytanie: od kiedy dany wynik „nie jest istotny”? Jaka musi być wartość p, aby go za taki uznać? W badaniach statystycznych przyjęło się zakładać pewne progi, poniżej których dany wynik traktowany jest jako istotny statystycznie – jednak jest to jedynie rodzaj umowy między badaczami. W sondażach opinii publicz-nej, takim progiem jest często p=0,05. Jeśli wyliczona istotność statystyczna wyniku testu jest niższa niż ten próg (czyli szansa na to, że wynik ten jest przypadkowy i nie występuje w badanej populacji nie przekracza 5%), uznaje się go za statystycznie istotny. Jeśli przekracza ten próg (nawet o ułamek procenta), większość badaczy nie odważy się traktować go jako istotnego.

Poziom istotności statystycznej nie mówi nam o sile opisywanej zależności, ale o praw-dopodobieństwie, że istotnie zachodzi ona w całej interesującej nas populacji. Inaczej mówiąc, coś, co jest istotne statystycznie, niekoniecznie jest istotne z punktu widzenia

Warto

pamiętać ^{interpretacji wyników. Z drugiej strony, nawet najbardziej wyraziste zależności} obserwowane w naszej próbie mogą być nieistotne statystycznie i wówczas nie powinny nas zajmować. W praktyce poziom istotności statystycznej mocno zależy od liczebności próby w naszym badaniu. Przy bardzo dużych próbach, nawet zupełnie marginalne zróżnicowania czy związki między respondentami okazują się istotne statystycznie, za to przy niewielkich próbach nawet te z nich, które uznalibyśmy za wstrząsające okazują się nie przekraczać progu istotności statystycznej.

7.1.5. Korelacja

Definicja Termin często używany przez osoby stykające się z wynikami badań, odnoszący się do relacji między wielkościami dwóch lub więcej cech. Korelacja to miara mówiąca o tym, w jakim stopniu zmianom w poziomie jednej z tych cech towarzyszą zmiany w poziomie innej cechy.

Korelacja może być dodatnia, kiedy wzrost wartości jednej cechy łączy się ze wzrostem wartości drugiej cechy, lub ujemna, kiedy wzrostowi wartości jednej cechy odpowiada spadek wartości drugiej cechy. Brak korelacji oznacza, że dane dwie cechy są od siebie całkowicie niezależne (niepowiązane ze sobą).

Przykład W badaniu losów absolwentów uniwersytetu X stwierdzono wyraźną pozytywną korelację między średnią ocen uzyskiwanych przez studentów na studiach a pozio-mem ich zarobków 5 lat po ukończeniu studiów. Inaczej mówiąc, wyższa średnia na studiach oznacza, statystycznie rzecz biorąc, wyższe zarobki po studiach. Warto

pamiętać ^{Korelacje to tylko współczynniki mówiące o zależnościach między liczbami. Musimy} uważać, aby ich nie nadinterpretować. Do najczęstszych błędów należy przypisy-wanie danej zależności cech relacji przyczynowo-skutkowej: na przykład uznawa-nie, że wyższa średnia ocen na studiach sprawia, że zarabiamy więcej po studiach. Tymczasem oba te parametry jedynie współwystępują ze sobą i oba mogą zależeć od innych kwestii (na przykład od tego, jaki był poziom wykształcenia naszych rodzi-ców). Sytuacja, kiedy współwystępowanie zjawisk wynika nie z ich wzajemnej relacji, ale z oddziaływania jakiegoś innego, ukrytego czynnika, nazywana bywa „korelacją pozorną”.

Najczęściej wykorzystywaną miarą korelacji jest tzw. współczynnik korelacji liniowej Pearsona. Wiele analiz odwołuje się do niego w sposób błędny, dlatego musimy pamiętać o różnych ograniczeniach jego stosowania. Po pierwsze, jak sama nazwa wskazuje, mierzy on liniową zbieżność natężenia dwóch zjawisk, a więc zakłada stałą (liniową) relację między zmianami wartości jednej zmiennej a zmianami wartości drugiej zmiennej. Może więc prowadzić do błędnych wniosków w sytuacji, kiedy dane zjawiska są ze sobą skorelowane nieliniowo (np. wzrost wartości jednej zmien-nej powoduje wzrost wartości drugiej zmienzmien-nej, ale tylko do pewnego poziomu). Po drugie, może być stosowany tylko do analizy związków między cechami ilościo-wymi [patrz podrozdział 7.1.14. „Zmienne ilościowe”, str. 87].

7.1.6. Mediana (kwartyle, percentyle)

Definicja Jedna z miar statystycznych służących do określenia „typowej” czy „przeciętnej” wartości danej cechy w jakimś zbiorze (na przykład w jakiejś grupie). Ściślej – jest to „środkowa” wartość dla tego zbioru. Można o niej myśleć jako o alternatywie dla znanej wszystkim średniej [patrz podrozdział 7.1.12. „Średnia”, str. 86]. Jeśli wyobrazimy sobie, że szeregujemy wszystkie elementy naszego zbioru ze względu na wartość danej cechy, to mediana jest ni mniej ni więcej, tylko wartością charakteryzującą środkowy element zbioru w przypadku nieparzystej liczby elementów. W przypadku parzystej liczby elementów, jest to średnia arytmetyczna wartości dwóch środkowych elemen-tów. Dlatego często mówi się nie tyle o medianowej wartości cechy, co o wartości cechy dla medianowego elementu (na przykład zarobkach medianowego pracownika). Mediana jest bardzo użyteczną statystyką, ponieważ – w odróżnieniu np. od średniej – jest niewrażliwa na specyfikę rozkładu wartości danej zmiennej. W szczególności nie podlega wpływom związanym z występowaniem w zbiorze skrajnie wysokich wartości. Dlatego czasami (np. w przypadku analiz dochodowych) jest lepszą miarą wartości przeciętnej niż średnia.

Definicja Mediana jest jednym z tzw. centyli (czy też percentyli). Na podobnej zasadzie można bowiem wyróżnić miary dla innych niż „środkowy” punktów uszeregowania elemen-tów zbioru. Mówimy więc o kwartylach, czyli miarach wartości cechy dla kolejnych ćwiartek zbioru (pierwszy kwartyl to wartość cechy dla elementu wyznaczającego 25% liczebności zbioru, kwartyl trzeci to wartość dla elementu wyznaczającego 75% liczebności zbioru. Drugi kwartyl to to samo, co mediana), decylach (wartości cechy dla elementów wyznaczających kolejne 10% liczebności zbioru), czy właśnie o centylach (miara znana wszystkim rodzicom).

Przykład Jak wynika z badań Stowarzyszenia Klon/Jawor, mediana rocznych przychodów organizacji pozarządowych w Polsce w r. 2012 wyniosła 18 tysięcy złotych. Oznacza to, że medianowa („środkowa”) organizacja pozarządowa osiągnęła właśnie taki przychód. Bazując na tym, można powiedzieć, że przychody połowy organizacji pozarządowych w Polsce nie przekroczyły w tym okresie 18 tys. zł.

Warto

pamiętać ^{Mediana nie jest wrażliwa na cechy rozkładu wartości danej zmiennej, co ma swoje} dobre i złe strony. Z jednej strony, pozwala lepiej przewidywać typową wartość cechy w sytuacji dużych dysproporcji między większością elementów zbioru a kilkoma elementami wyjątkowymi. Z drugiej, może być myląca wtedy, kiedy rozkład cechy jest bardziej płaski. Aby to zrozumieć, rozważmy przykład 10 osób palących papierosy. Poniższa tabela przedstawia 4 różne rozkłady liczby papierosów wypalanych przez te osoby dziennie:

rozkład 1 rozkład 2 rozkład 3 rozkład 4

Osoba 1 5 1 1 1

Warto pamiętać ^{Osoba 3 5 3 3 3} Osoba 4 5 4 4 4 Osoba 5 5 5 5 5 Osoba 6 6 6 6 6 Osoba 7 7 6 7 7 Osoba 8 8 6 8 8 Osoba 9 9 6 9 9 Osoba 10 10 6 10 100

A oto porównanie zachowania mediany i średniej arytmetycznej dla tych rozkładów: rozkład 1 rozkład 2 rozkład 3 rozkład 4

Mediana 5,5 5,5 5,5 5,5

Średnia 6,5 4,5 5,5 14,5

Zwróćmy uwagę na kilka ciekawych prawidłowości:

W rozkładzie 3 mediana i średnia są równe – to typowe dla rozkładów idealnie syme-trycznych (takich, które koncentrują się równomiernie wokół wartości środkowej). W rozkładzie 4 mediana spełnia swoją rolę wyraźnie lepiej niż średnia – to dlatego, że liczba papierosów wypalanych dziennie przez osobę 10 jest znacznie większa niż u wszystkich innych osób. Ta jedna osoba zdecydowanie zawyża wartość średniej. W rozkładach 1 i 2 nieznacznie lepiej zachowuje się średnia. Mediana pokazuje, że połowa badanych wypala nie więcej niż 5,5 papierosa dziennie. Nie zdaje jednak sprawy z tego, że połowa badanej grupy pali albo tylko o pół papierosa mniej (1 rozkład) albo tylko o pół więcej (2 rozkład). Średnia jest pod tym względem bardziej czuła.

7.1.7. Modalna (Dominanta)

Definicja Najczęściej występująca w danym zbiorze wartość określonej cechy Przykład W zbiorze liczb {1,2,2,3,4,5,6} modalną jest 2.

Warto

pamiętać ^{Rozkład może mieć więcej niż jedną wartość modalną.}

Wartość „najczęstsza” nie musi być wcale częsta. Warto o tym pamiętać zwłaszcza, gdy analizujemy zjawiska o charakterze ilościowym i o dużym zakresie wartości. Np. infor-macja o najczęstszej wielkości zadłużenia jednostek samorządu terytorialnego będzie interesująca, jeśli wartości tej zmiennej są jakoś pogrupowane, ale nie wtedy, kiedy wyrażone są np. postaci dokładnej wielkości zadłużenia w złotych lub procentach.