Ocena błędu losowego (precyzji oszacowań)

Podstawą oceny efektywności schematu jednostopniowego są szacunki precyzji estymacji agregatów, stanowiących przedmiot zainteresowania projektu, w przypadku użycia proponowanego schematu do losowania próby. Na podstawie uzyskanych ocen precyzji mogą być formułowane wnioski dotyczące możliwości osiągnięcia celów projektu przy użyciu proponowanych rozwiązań. Porównanie ocen precyzji uzyskiwanych przy użyciu alternatywnego jednostopniowego schematu losowania oraz dotychczasowego schematu dwustopniowego, stanowi podstawę do wnioskowania o efektywności i racjonalności ewentualnego zastosowania proponowanych rozwiązań.

Oceny błędu uzyskiwane dla różnych wariantów symulacyjnych nie odnoszą się do konkretnego roku badania, ale stanowią informację o hipotetycznych błędach szacunku, które zostałyby uzyskane (w przeszłości lub przyszłości) przy zastosowaniu losowania próby i uogólnieniach zgodnych z założeniami określanymi przez dany wariant symulacyjny. Oszacowania dokonywane są jednak w oparciu o informację na temat rozkładu badanych cech w populacji generalnej, która to informacja pozyskiwana jest ze zrealizowanego badania (ze zbadanej próby). Ze względu na największą aktualność, jako model populacji generalnej wykorzystano zbiór danych odpowiadających wynikom badania w roku 2012 (tj. ostatnim roku objętym zakresem prac), czyli dane uzyskane dla zrealizowanej próby za ten rok.

Ocenę precyzji estymatorów przeprowadzono w oparciu o podawane w procentach współczynniki zmienności estymatorów. Są one ilorazem błędu standardowego, tj. pierwiastka z wariancji (błędu średniokwadratowego) estymatora do wartości samego estymatora. Miara ta w prosty sposób pozwala określić wielkość błędu estymatora, gdyż mówi nam, jaki procent szacowanej wartości stanowi błąd estymacji (nie ma więc konieczności odnoszenia wielkości błędu do szacowanej wartości, co miałoby miejsce gdyby ocenę precyzji dokonywać w oparciu o wariancję/odchylenie standardowe estymatora).

113

Ze względu na złożony schemat losowania, konieczność korekty wag pierwotnych oraz korzystanie z estymatorów ilorazowych, wyprowadzenie i podanie bezpośrednio wzorów analitycznych na wariancję estymatorów jest praktycznie niemożliwe. W związku z tym konieczne jest wykorzystanie metod przybliżonych lub symulacyjnych, opartych na wielokrotnym losowaniu podpróbek.

Podstawową metodą użytą do oceny precyzji, tj. wyznaczenia współczynników zmienności dla badanych parametrów w poszczególnych wariantach schematu losowania, jest szacunek symulacyjny dokonany w oparciu o założenia metody bootstrap. Zakłada on wielokrotne losowanie metodą „ze zwracaniem” prób o liczebności i strukturze odpowiadającej wariantom symulacyjnym, traktując jako generator (model populacji generalnej) wyjściową próbę. Postępowanie to jest tożsame z klasyczną metodą bootstrap w sytuacji, gdy szacujemy precyzję dla oryginalnego schematu losowania, liczebności i alokacji próby, tj. gdy struktura i liczebność prób bootstrapowych (replikacji) odpowiada strukturze i liczebności generatora (oryginalnej próby z badania). W przeprowadzonym eksperymencie stosowane były inne niż oryginalne liczebności i struktury prób bootstrapowych, odpowiadające wariantom symulacyjnym, przy zastosowaniu próby oryginalnej jako generatora (modelu populacji).

W toku przeprowadzonych eksperymentów uzyskano oszacowania świadczące o znikomym efekcie zmiany metody losowania, tj. oszacowania błędu dla schematu jednostopniowego bardzo bliskie oszacowaniom dla schematu dwustopniowego (dotychczasowego) przy oryginalnych liczebnościach i alokacji próby. Ze względu na dużą bliskość oszacowań, aby zminimalizować błąd wynikający z losowego (symulacyjnego) charakteru metody szacowania precyzji i jego wpływ na wysuwane wnioski, porównawczo, w celach kontrolnych, przeprowadzono również obliczenia przy użyciu metody linearyzacji Taylora, wykorzystując procedurę ”surveymeans” oprogramowania SAS. Jest to metoda przybliżona, ale mająca charakter deterministyczny, więc niegenerująca błędu związanego z elementem randomizacyjnym symulacji. Wyniki dotyczące porównania precyzji otrzymywanych dla obydwu schematów losowania okazały się podobne jak w przypadku porównania oszacowań uzyskiwanych metodą bootstrap.

114

Ze względów o których mowa, zdecydowano się także na zastosowanie dużej (wynoszącej 1000) liczby replikacji w metodzie symulacyjnej. Ponadto, celem uzyskania pełnej zgodności metody szacunku precyzji dla schematu jednostopniowego i dwustopniowego, dokonano, wyłącznie na potrzeby porównania wyników, ponownego szacunku precyzji dla schematu dwustopniowego. Szacunek ten został wykonany odrębnie i szczegółowo przedstawiony w innym miejscu niniejszego raportu w związku z analizą dotychczasowego schematu losowania. Przedstawione tam wyniki należy traktować jako podstawowe i miarodajne z punktu widzenia oceny schematu dwustopniowego. Natomiast oszacowania dla schematu dwustopniowego umieszczone w tabelach poświęconych wynikom dla schematu jednostopniowego należy traktować wyłącznie jako bazę dla porównań między schematami, wyznaczoną w warunkach całkowicie porównywalnych. Różnice między tymi oszacowaniami, a oszacowaniami podstawowymi są zresztą bardzo niewielkie, ale mimo to, niekiedy większe niż różnice pomiędzy poszczególnymi wariantami symulacyjnymi (metodami losowania).

Przy stosowanej metodzie symulacyjnej (bootstrap), w każdej warstwie niezależnie dokonuje się wielokrotnie (kilkaset razy, tu przyjęto B=1000) losowania ze zwracaniem podpróbek o liczebności

1

−

h

n spośród _nhwylosowanych oryginalnie do badania jednostek w h-tej warstwie. Jeżeli

w rozważanym wariancie symulacyjnym liczebność próby w warstwie h różni się od oryginalnej i wynosi

* h

n

, losowanych jest

¹

_h^* h h

n

n

n −

(po zaokrągleniu do liczby całkowitej, ozn.

n

_h^*) spośród n_h jednostek.

W takim przypadku korygowane są też oryginalne wagi, _{= ∗}−

h h i i n n w w^{* 1}.

Po wylosowaniu jednostek do podpróby wyznacza się zmodyfikowane wagi korzystając ze wzoru: ) ( 1 ) ( m b n n w b w _i h h i i ⁼ − gdzie: i

w

- jest wagą oryginalną jednostki (tzn. wagą wykorzystywaną do uogólnień, po ostatecznych korektach),

)

(b

w

_i - wagą dla b-tej podpróbki bootstrap-owej,

)

(b

m

_i - określa ile razy jednostka i-ta została wybrana do podpróbki b (b=1,2, …, B).

W przypadku, gdy

n

_h*

≠n

_h

115

Ponieważ

w

_i jest wagą dla oryginalnej próby po korektach i kalibracji, wagi wykazują zróżnicowanie w warstwie, skutkiem czego może występować zmienność uogólnień liczby mieszkań

(jednostek losowania) za pomocą wag bootstrapowych

w

_i

(b)

. Jest to zmienność sztucznie

generowana podczas eksperymentu, gdyż w przypadku faktycznej realizacji badania wagi przed kalibracja pozwalają uogólniać bez błędu losowego liczbę mieszkań w warstwach, zaś po kalibracji spełniają warunki kalibracyjne. W celu likwidacji tej zmienności stosowana jest kalibracja wag ze względu na liczbę mieszkań w warstwach. Dla pełnego odtworzenia warunków badania właściwa byłaby także kalibracja każdej próby bootstrapowej zgodnej z warunkami kalibracyjnymi stosowanymi w badaniu EU-SILC. Ze względu na stopień skomplikowania procedury kalibracyjnej stosowanej w badaniu element ten jest pomijany, co traktować należy jako uproszczenie czyniące szacunek przybliżonym. Przybliżenie to stosowane jest jednak konsekwentnie dla wszystkich porównywanych wariantów symulacyjnych.

Dla danej podpróbki bootstrapowej b wyznacza się z użyciem zmodyfikowanych wag

oszacowania interesującego parametru, uzyskując B oszacowań

_tˆ

_b^*_{. Po wykonaniu wszystkich iteracji}

(replikacji) oszacowanie błędu średniokwadratowego estymatora (tożsamego z wariancją w przypadku estymatorów nieobciążonych) badanego parametru t ma postać:

∑

=

−

=

^B b b

t

t

B

t

V

1 2 *

)

ˆ

ˆ

(

1

)

(

ˆ

_,

gdzie tˆ jest oszacowaniem parametru t z próby oryginalnej, tj. wartością parametru t w modelu symulacyjnym populacji.

Ze względu na brak znaczącego obciążenia stosowanych technik estymacji, pierwiastek oszacowania błędu średniokwadratowego utożsamiany jest z błędem standardowym:

) ( ˆ t

V SE=

Oszacowanie współczynnika zmienności estymatora, tj. błąd standardowy przedstawiony w ujęciu względnym, uzyskujemy dzieląc uzyskany błąd standardowy przez oszacowanie wartości parametru, tj. stosując formułę:

% 100 * ˆ ) ( ˆ t t V CV = .

116

W dokumencie Dezagregacja wskaźników strategii Europa 2020 na poziom NTS 2 z zakresu pomiaru ubóstwa i wykluczenia społecznego (Stron 112-116)