WłasnościskładnikalosowegoJakubMućk Ekonometria

Normalność rozkładu składnika losowego

Ekonometria

Własności składnika losowego

Jakub Mućk

Katedra Ekonomii Ilościowej

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 1 / 31

Normalność rozkładu składnika losowego

Agenda

1

KMNK przypomnienie

2 Autokorelacja składnika losowego

Istota autokorelacji składnika losowego Test Durbina-Watsona

Test LM

3 Heteroskedastyczność składnika losowego

Istota heteroskedastyczności składnika losowego Test White’a

4 Normalność rozkładu składnika losowego

2 / 31

Normalność rozkładu składnika losowego

Agenda

1

KMNK przypomnienie

2

Autokorelacja składnika losowego Istota autokorelacji składnika losowego Test Durbina-Watsona

Test LM

3 Heteroskedastyczność składnika losowego

Istota heteroskedastyczności składnika losowego Test White’a

4 Normalność rozkładu składnika losowego

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 2 / 31

Normalność rozkładu składnika losowego

Agenda

1

KMNK przypomnienie

2

Autokorelacja składnika losowego Istota autokorelacji składnika losowego Test Durbina-Watsona

Test LM

3

Heteroskedastyczność składnika losowego

Istota heteroskedastyczności składnika losowego Test White’a

4 Normalność rozkładu składnika losowego

2 / 31

Normalność rozkładu składnika losowego

Agenda

1

KMNK przypomnienie

2

Autokorelacja składnika losowego Istota autokorelacji składnika losowego Test Durbina-Watsona

Test LM

3

Heteroskedastyczność składnika losowego

Istota heteroskedastyczności składnika losowego Test White’a

4

Normalność rozkładu składnika losowego

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 2 / 31

Normalność rozkładu składnika losowego

Outline

1

KMNK przypomnienie

2

Autokorelacja składnika losowego Istota autokorelacji składnika losowego Test Durbina-Watsona

Test LM

3

Heteroskedastyczność składnika losowego

Istota heteroskedastyczności składnika losowego Test White’a

4

Normalność rozkładu składnika losowego

3 / 31

Normalność rozkładu składnika losowego

Twierdzenie Gaussa-Markowa

Załóżmy:

1 rz(X) = k + 1 ≤ n

2 Zmienne xisą nielosowe, a zatem są niezależne od składnika losowego

3

E() = 0

4

D

(ε) = E(εε

) = I σ

5

ε

∼ N (0, σ

)

Twierdzenie Gaussa - Markowa

Estymator ˆβ uzyskany Klasyczną Metodą Najmniejszych Kwadratów jest estyma- torem BLUE [best linear unbiased estimator], tj. zgodnym, nieobciążonym i najefektywniejszy w klasie liniowych estymatorów wektora β.

nieobciążoność, czyli E( ˆβ) = β

najefektywniejszy, czyli posiadający najmniejszą wariancję w swojej klasie zgodny, czyli limn→∞P(| ˆβn− β|) < δ

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 4 / 31

Normalność rozkładu składnika losowego

Konsekwencje braku sferyczności macierzy kowariancji składnika losowego

Przypomnijmy estymator macierzy wariancji-kowariancji oszacowań ( ˆβ^OLS):

D²( ˆβ^OLS) = E

h

β^OLS− β

i

(1) Korzystając z zapisu macierzowego:

D²( ˆβ^OLS) = E



X^TX

X^Tε



X^TX

X^Tε





= E

h

X^TX

X^Tεε^TX X^TX

i

= X^TX

X^TE



εε^T



X X^TX

Następnie korzystając z założenie osferyczności macierzy wariancji-kowariancji składnika losowego, tj. D²(ε) = E(εε^T) = σ²I , można uprościć wzór na estyma- tor wariancji kowariancji oszacowań do:

D²( ˆβ^OLS) = σ² X^TX

(2) Autokorelacja oraz heteroskedastyczność implikują obciążoność macierzy wariancji-kowariancji wektora oszacowań, a zatem spadek efektywnośći oszacowań wektora ˆβ^OLS.

5 / 31

Normalność rozkładu składnika losowego

Outline

1

KMNK przypomnienie

2

Autokorelacja składnika losowego Istota autokorelacji składnika losowego Test Durbina-Watsona

Test LM

3

Heteroskedastyczność składnika losowego

Istota heteroskedastyczności składnika losowego Test White’a

4

Normalność rozkładu składnika losowego

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 6 / 31

Normalność rozkładu składnika losowego

Autokorelacja składnika losowego

Autokorelacja składnika losowegojest problemem najczęściej występującym w przypadku szeregów czasowych i polega na zależności(skorelowaniu) bieżących wartości składnika losowego od wartości przeszłych.

Indeks t będzie oznaczać czas obserwacji.

Zgodnie z założenia MNK:

D²(ε) =

















σ² 0 . . . . . . 0 0 . .. . .. . .. ... ..

. . .. σ² . .. ... ..

. . .. . .. . .. 0 0 . . . . . . 0 σ²

















co jest równoznaczne:

∀t6=scov(εt, εs) = 0

7 / 31

Normalność rozkładu składnika losowego

Autokorelacja pierwszego rzędu

Autokorelacja pierwszego rzędu

εt

= ρε

+ η

gdzie η

∼ N (0, σ

), E(η) = 0 oraz D

(η) = I σ

.

W przypadku autokorelacji składnika losowego macierz wariancji-kowariancji składnika losowego nie jest diagonalna:

D²(ε) =











1 ρ ρ² . . . ρⁿ⁻¹

ρ 1 ρ . . . ρⁿ⁻²

ρ² ρ 1 . . . ρⁿ⁻³

.. .

.. .

..

. . .. ... ρⁿ⁻¹ ρⁿ⁻² ρⁿ⁻³ . . . 1











Przykład idiosynkratycznego zaburzenia losowego(L) oraz AR(1) (P)

0 50 100 150 200

−2−1012

0 50 100 150 200

−4−20246

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 8 / 31

Normalność rozkładu składnika losowego

Konsekwencje autokorelacji składnika losowego:

Spadek efektywności estymatora parametrów ˆβ^OLS. Obciążenie macierzy wariancji- kowariancji wektora ˆβ^OLS, a więc obciążenie błędów szacunku. Ponadto, obciążone są wyniki testów statystycznych opartych na błędach szacunku, jak np. test istot- notności zmiennych t-studenta.

Problem autokorelacji może sygnalizować bardzo poważne problem, jak np. problem pominiętych zmiennych (omitted variables bias).

Przyczyny autokorelacji składnika losowego:

Problem pominięcia ważnej zmiennej.

Niepoprawna postać funkcyjna; wadliwa struktura dynamiczna, brak uwzględnienie czynników cyklicznych/sezonowych.

Wysoka inercja zjawisk gospodarczych; psychologia podejmowanych zjawisk.

Przekształcenia statystyczne.

Rozwiązania problemu autokorelacji składnika losowego:

Zmiana postaci funkcyjnej/ dynamicznej modelu ekonometrycznego.

Uwzględnienie brakujących zmiennych objaśniających.

UMNK - ugólniona metoda najmniejszych kwadratów (GLS -Generalized Least Squ- ares oraz FGLS Feasible GLS). Metody Cohrane’a-Orcutta oraz Praisa-Wintensa.

Odporne błędu standardowe; w przypadku szeregów czasowych stosuje się procedurę Neweya-Westa (1987).

9 / 31

Normalność rozkładu składnika losowego

Test Durbina-Watsona umożliwia sprawdzenie jedynie autokorelacji pierwszego rzędu.

Statystyka testu DW opiera się na oszacowaniu współczynnika korelacji pomiędzy e_t a e_t−1:

d = n

X

t=2

(et − et−1)2

n

X

t=1 e2

t−1

(3)

Łatwo zauważyć, że d ≈ 2(1 − ˆρ). Hipotezą zerową jest brak autokorelacji, tj.:

H0: ρ = 0 (4)

Natomiasthipoteza alternatywna testu DW zależy od wartości statystyki testo- wej:, tj.

H1: ρ > 0 gdy d ∈ (0, 2) (5)

H1: ρ < 0 gdy d ∈ (2, 4) (6)

Wartości krytyczne d_U i d_Lsą stablicowane.

H1: ρ > 0 H1: ρ < 0

Statystyka d Decyzja Statystyka d Decyzja (0, d_L) są podstawy do odrzucenia

H0na rzecz H₁ododatniej autokorelacji

(4 − d_L, 4) są podstawy do odrzucenia H0na rzecz H₁ oujemnej autokorelacji

(d_L, d_U) brak decyzji (4 − d_L, 4 − d_U) brak decyzji (d_U, 2) nie ma podstaw do odrzu-

cenia H₀

(4 − d_U, 2) nie ma podstaw do odrzu- cenia H₀

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 10 / 31

Normalność rozkładu składnika losowego

Ograniczenia testu Durbina-Watsona

Test DW posiada

Test Durbina-Watsona umożliwia weryfikację autokorelacji jedynie pierw- szego rzędu.

W specyfikacji modelu ekonometrycznego nie może zostać uwzględniona część autoregresyjna zmiennej objaśnianej, tj. opóźnione wartości zmiennej obja- śnianej.

Test Durbina-Watsona można stostować w przypadku modeli z wyrazem wol- nym.

11 / 31

Normalność rozkładu składnika losowego

Test mnożnika Lagrange’a (LM) zaproponowany przez Breuscha i Godfreya pozwala na testowanie autokorelacji zarówno pierwszego jak i wyższych rzędów.

W pierwszym kroku szacowane są parametry modelu:

yt= β0+ β1x1,t+ . . . + βkxk,t+ εt (7) W drugim kroku szacowane są parametry modelu, w którym wyjąśniany jest skład- nik resztowy z modelu (7). Dodatkowo, uwzględniane są opóźnienia do rzędu Q włącznie:

et= β0+ β1x1,t+ β2x2,t+ . . . + β_kx_k,t

| {z }

zmienne objaśniające z modelu (7)

+ β_k+1et−1+ . . . + β_k+Q,te_t−Q

| {z }

opóżnione reszty z modelu (7)

+ηt (8)

Hipoteza zerowa testu LM jest równoznaczna braku autokorelacji do rzędu Q włącz- nie:

H₀: βk+1= ... = βk+Q = 0 (9)

H1: ∃_l∈(1,..,Q)βk+l 6= 0 (10)

Statystyka testowa:

LM = nR² (11)

posiada rozkład χ²z Q stopniami swobody (rząd weryfikowanej autokorelacji skład- nika losowego). Są podstawy do odrzucenia H0, jeżeli LM jest większa od wartości krytycznej χ².

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 12 / 31

Normalność rozkładu składnika losowego

Przykład

[Hill, Griffiths i Lim]: krzywa Phillipsa dla Australii.

Dane: szeregi czasowe od 1987Q1 do 2009Q3.

inft- inflacja w okresie t.

∆ut- zmiana stopy bezrobocia w okresie t.

Model:

inft

= inf

− γ∆u

+ ε

(12) Zakładając, że oczekiwania inflacyjne są stałe w czasie:

inft

= β

+ β

∆u

+ ε

(13) gdzie β

= −γ.

13 / 31

Normalność rozkładu składnika losowego

Przykład c.d.

Rozważany model:

inft

= β

+ β

∆u

+ ε

(14)

Oszacowanie Błąd stand.

wartość p

0.777621 0.0658249 11.8135 0.0000

−0.527864 0.229405 −2.3010 0.0238 Czy oszacowanie parametru β

jest statystycznie istotne?

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 14 / 31

Normalność rozkładu składnika losowego

Przykład – wykres reszt modelu względem czasu

-2-1012

1985q1 1990q1 1995q1 2000q1 2005q1 2010q1

time

15 / 31

Normalność rozkładu składnika losowego

Przykład – zależność między resztami a ich pierwszym opóźnieniem

-2-1012e_{t}

-2 -1 0 1 2

e_{t-1}

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 16 / 31

Normalność rozkładu składnika losowego

Przykład – zależność między resztami a ich pierwszym opóźnieniem

-2-1012e_{t}

-2 -1 0 1 2

e_{t-1}

17 / 31

Normalność rozkładu składnika losowego

Przykład – testowanie autokorelacji składnika losowego

Test Durbina-Watsona:

Statystyka testowa: 0.887

Wartości krytyczne (N = 90 i k = 1) przy 5% poziomie istotności:

dL: 1.6345 dU: 1.6794

Statystyka testu LM:

p Wartość statystyki p-value

1 27.592 0.000

4 36.672 0.000

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 18 / 31

Normalność rozkładu składnika losowego

Przykład – testowanie autokorelacji składnika losowego

Test Durbina-Watsona:

Statystyka testowa: 0.887

Wartości krytyczne (N = 90 i k = 1) przy 5% poziomie istotności:

dL: 1.6345 dU: 1.6794

Statystyka testu LM:

p Wartość statystyki p-value

1 27.592 0.000

4 36.672 0.000

18 / 31

Normalność rozkładu składnika losowego

Przykład – estymator macierzy wariancji-kowariancji odporny na autokorelację

Rozważany model:

inft

= β

+ β

∆u

+ ε

(15)

Podstawowe oszacowania oszacowania

Oszacowanie Błąd stand.

wartość p

0.777621 0.0658249 11.8135 0.0000

−0.527864 0.229405 −2.3010 0.0238

Odporne błędy standardowe

Oszacowanie Błąd stand.

wartość p

0.777621 0.101848 7.6351 0.0000

−0.527864 0.309225 −1.7071 0.0913

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 19 / 31

Normalność rozkładu składnika losowego

Outline

1

KMNK przypomnienie

2

Autokorelacja składnika losowego Istota autokorelacji składnika losowego Test Durbina-Watsona

Test LM

3

Heteroskedastyczność składnika losowego

Istota heteroskedastyczności składnika losowego Test White’a

4

Normalność rozkładu składnika losowego

20 / 31

Normalność rozkładu składnika losowego

Heteroskedastyczność składnika losowegojest drugą formą niespełnienia zało- żenia o sferyczności macierzy wariancji-kowariancji składnika losowego. Zja- wisko heteroskedastyczności składnika losowego charakteryzuje przede wszyst- kim modele oparte o dane przekrojowe.

Ogólny zapis hetereoskedastyczności składnika losowego:

D²(ε) =











σ²₁ 0 . . . 0 0 σ₂² . .. ...

..

. . .. . .. ... 0 . . . 0 σ_n²











gdzie

σ1²

6= σ

6= . . . σ

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 21 / 31

Normalność rozkładu składnika losowego

Konsekwencje heteroskedastyczności składnika losowego:

Spadek efektywności estymatora parametrów ˆβ^OLS. Obciążenie macierzy wariancji- kowariancji wektora ˆβ^OLS, a więc obciążenie błędów szacunku. Ponadto, obciążone są wyniki testów statystycznych opartych na błędach szacunku, jak np. test istot- notności zmiennych t-studenta.

Problem hetereoskedastyczności może sygnalizować poważne problem, jak np. pro- blem pominiętych zmiennych (omitted variables bias).

Przyczyny heteroskedsatyczności składnika losowego:

Znaczne różnice heterogeniczności jednostek w próbie.

Rozwiązania problemu heteroskedastyczności składnika losowego:

Ważona MNK.

Transformacja zmiennych do postaci logarytmicznej.

Odporne błędy standardowe; dla danych przekrojowych – procedura zaproponowana przez White’a.

Identyfikacja:

Wykresy.

Test White’a.

22 / 31

Normalność rozkładu składnika losowego

Test White’a jest bardzo zbliżony do testu mnożnika LM zaproponowanego przez Breuscha Godfreya. W pierwszym kroku szacowane są parametry modelu:

yi= β0+ β1x1,i+ . . . + βkxk,i+ εi (16) W drugim kroku, zmienną objaśnianą są kwadraty reszt z oszacowanego modelu (16). Ponadto uwzględniane są kwadraty oraz interacje zmiennych objaśniających z modelu (16), tj.:

e_i² = β0+ β1x1,i+ . . . + βkxk,i+ βk+1x_1,i² + . . . + βk+kx_k,i² + +βk+k+1x1,ix2,i+ . . . + βk+k+Sxk−1,ixk,i+ ηi

Hipotezą zerową jest homoskedastyczność składnika losowego:

H0: σ²_i = σ² H1: σ_i²6= σ² (17) Statystyka testowa:

LM = nR² (18)

posiada rozkład χ² z M stopniami swobody (liczba wszystkich wszystkich zmien- nych objaśniających w regresji testowej, tj. M = 2k +s). Są podstawy do odrzucenia H0, jeżeli LM jest większa od wartości krytycznej χ².

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 23 / 31

Normalność rozkładu składnika losowego

Przykład

[Wooldridge:] zwroty z edukacji.

Dane: dane przekrojowe (N = 526).

wagei - przeciętne godzinowe zarobki dla i-tej jednostki (w USD).

educi - liczba lat edukacji i -tej ejdnostki.

Model:

wagei

= β

+ β

+ ε

(19) Parametr β

będzie mierzył tzw. zwrot z edukacji.

24 / 31

Normalność rozkładu składnika losowego

Model:

wagei

= β

+ β

+ ε

(20)

Podstawowe oszacowania oszacowania

Oszacowanie Błąd stand.

wartość p

−0.9048516 0.6849678 −1.32 0.187

0.5413593 0.053248 10.17 0.000

Jaki jest przeciętny zwrot z edukacji?

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 25 / 31

Normalność rozkładu składnika losowego

Przykład – wykres kwadratów reszt modelu względem zmiennej educ

0100200300e^2_{i}

0 5 10 15 20

educ_{i}

26 / 31

Normalność rozkładu składnika losowego

Przykład – wykres kwadratów reszt modelu względem zmiennej educ

0100200300e^2_{i}

0 5 10 15 20

educ_{i}

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 27 / 31

Normalność rozkładu składnika losowego

Przykład – test White’a

Oszacowania regresji pomocnicznej (błędy standardowe w nawiasach):

ˆ

u²_i

= −11.59283

(5.933339)

+ 1.827862

(0.461246)

educi,

(21)

gdzie ˆ

to kwadrat składnika resztowego z podstawowego modelu.

W regresji pomocniczej, wartość statystyki t dla zmiennej educ wynosi 3.96.

O czym to świadczy?

R²

regresji pomocnicznej wynosi 0.0291 Liczba obserwacji: 526.

Statystyka testu White’a wynosi 15.31. Empiryczny poziom isoto- ności: 0.0001.

28 / 31

Normalność rozkładu składnika losowego

Przykład – test White’a

Oszacowania regresji pomocnicznej (błędy standardowe w nawiasach):

ˆ

u²_i

= −11.59283

(5.933339)

+ 1.827862

(0.461246)

educi,

(21)

gdzie ˆ

to kwadrat składnika resztowego z podstawowego modelu.

W regresji pomocniczej, wartość statystyki t dla zmiennej educ wynosi 3.96.

O czym to świadczy?

R²

regresji pomocnicznej wynosi 0.0291 Liczba obserwacji: 526.

Statystyka testu White’a wynosi 15.31. Empiryczny poziom isoto- ności: 0.0001.

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 28 / 31

Normalność rozkładu składnika losowego

Przykład – transformacja logarytmiczna

Podstawowy model:

wagei

= β

+ β

+ ε

(22) Zastosowanie transformacji logarytmicznej dla zmiennej objaśnianej:

ln wage

= γ

+ γ

+ η

(23)

Oszacowanie Błąd stand.

wartość p Podstawowe oszacowania oszacowania

β0

−0.9048516 0.6849678 −1.32 0.187

0.053248 10.17 0.000

γ0

0.5837726 0.0973358 6.00 0.000

γ1 0.0827444

0.0075667 10.94 0.000

Statystyka testu White’a (dla modelu z transformacją logarytmiczną): 0.74 (p-value:0.389).

Dlaczego oszacowania γ

i β

się różnią? Jaka jest różnica w ich interpretacji?

29 / 31

Normalność rozkładu składnika losowego

Przykład – transformacja logarytmiczna

Podstawowy model:

wagei

= β

+ β

+ ε

(22) Zastosowanie transformacji logarytmicznej dla zmiennej objaśnianej:

ln wage

= γ

+ γ

+ η

(23)

Oszacowanie Błąd stand.

wartość p Podstawowe oszacowania oszacowania

β0

−0.9048516 0.6849678 −1.32 0.187

0.053248 10.17 0.000

0.5837726 0.0973358 6.00 0.000

0.0075667 10.94 0.000

Statystyka testu White’a (dla modelu z transformacją logarytmiczną): 0.74 (p-value:0.389).

Dlaczego oszacowania γ

i β

się różnią? Jaka jest różnica w ich interpretacji?

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 29 / 31

Normalność rozkładu składnika losowego

Przykład – transformacja logarytmiczna

Podstawowy model:

wagei

= β

+ β

+ ε

(22) Zastosowanie transformacji logarytmicznej dla zmiennej objaśnianej:

ln wage

= γ

+ γ

+ η

(23)

Oszacowanie Błąd stand.

wartość p Podstawowe oszacowania oszacowania

β0

−0.9048516 0.6849678 −1.32 0.187

0.053248 10.17 0.000

0.5837726 0.0973358 6.00 0.000

0.0075667 10.94 0.000

Statystyka testu White’a (dla modelu z transformacją logarytmiczną): 0.74 (p-value:0.389).

Dlaczego oszacowania γ

i β

się różnią? Jaka jest różnica w ich interpretacji?

29 / 31

Normalność rozkładu składnika losowego

Outline

1

KMNK przypomnienie

2

Autokorelacja składnika losowego Istota autokorelacji składnika losowego Test Durbina-Watsona

Test LM

3

Heteroskedastyczność składnika losowego

Istota heteroskedastyczności składnika losowego Test White’a

4

Normalność rozkładu składnika losowego

Jakub Mućk Ekonometria Wykład 3 Własności składnika losowego 30 / 31

Normalność rozkładu składnika losowego

Normalność rozkładu składnika losowego nie jest wymaganą właśnością skład- nika losowego, ale umożliwia korzystanie z testów statystycznych weryfikujących pozostałe własności składnika losowego.

Test Jarque’a-Berry jest najpopularniejszą metodą w weryfikacji normalności składnika losowego. Statystyka teo testu opiera się na kurtozie i skośności reszt:

JB =n 6(S²+1

4(K − 3)²) (24)

gdzie S i K to odpowiednio estymatory skośności oraz kurtozy składnika losowego:

S = 1 n

n

X

i=1

(ei− ¯e)³

(1 n

n

X

i=1

(ei− ¯e)²)³²

oraz K = 1 n

n

X

i=1

(ei− ¯e)⁴

(1 n

n

X

i=1

ei− ¯e)²

− 3 (25)

Hipotezą zerową jest normalność składnika losowego:

H0: ε ∼ N (0, σ)

Wartość statystyki testowej ma rozkład χ² z dwoma stopniami swobody. Jeżeli wartość JB jest większa od wartości krytycznej z rozkładu χ² to są podstawy do odrzucenia H0.

Odrzucenie hipotezy zerowej uniemożliwia korzystanie z testów statystycznych. Ale w przypadku dużej próby, własności asymptotyczne testów nadal są pożadane.

31 / 31