∑ x xxN1S k=1,2,...K x X X x ∑

1. Wybór zmiennych objaśniających

1.1. Oznaczenia

Będziemy na razie rozważać model jednorównaniowy.

symbol opis

K

liczba zmiennych objaśniających

N

liczba obserwacji (liczba wartości każdej ze zmiennych, wy- stępujących w modelu)

y

zmienna objaśniana. Jej wartości można przedstawić jako macierz kolumnową

Y

o elementach

y

n

, n = 1,2,...,N .

^Czę-

sto taką macierz utożsamia się z wektorem o

N

współrzęd- nych.

y

_n

n

^{-ta wartość} zmiennej objaśnianej (jej wartość w

n

^{-tej ob-}

serwacji). Jest to

n

-ty element macierzy kolumnowej

Y

.

f

^model (relacja pomiędzy zmiennymi objaśniającymi i obja- śnianą)

x

k

, k=1,2,...K

zmienne objaśniające. Można je przedstawić jako macierze kolumnowe

X

_k

, k=1,2,...K,

lub wektory. Tych macierzy będzie

K;

każda z nich będzie się składać z

N

elementów.

x

_nk

, n=1,2,...N n

-ta wartość

k-

tej zmiennej objaśniającej (

n

-ty element ma- cierzy kolumnowej

X

_k)

n

oznacza numer kolejnej obserwacji (chwili czasu)

x

k

y ,

wartości średnie, odpowiednio, zmiennej

y

^oraz

x

_k

Podstawowe wzory:

wartość średnia zmiennej

x

_k

∑

=

=

N 1 n

k

x

nk

N x 1

macierz kolumnowa wartości średnich

X

_k

= [ x

_k

,..., x

_k

]

^T

N

elementów

x

_k

odchylenie zmiennej

x

_k od jej wartości średniej

X

_k -

X

_k

odchylenie standardowe zmiennej

x

_k

∑ ( )

=

−

=

N 1 n

2 nk k

k

x x

N

S 1

k=1,2,...K

współczynnik zmienności zmiennej x_k

k k k

x

= S

υ

Warunkiem wstępnym uznania różnych wielkości za zmienne objaśniające jest dostatecznie wysoka ich zmienność. Miarą poziomu zmienności jest współczynnik zmienności:

k k k

x

= S υ

Obiera się pewną wartość krytyczną

υ

^*_k tego współczynnika, np.

υ

^*_k

= 0 , 1

. Zmienne spełniające nierówność

* k

k

υ

υ ≤

uznaje się za quasi-stałe i eliminuje się ze zbioru potencjalnych zmiennych objaśniających.

Przykład 1:

Do opisu produkcji firmy w mld zł (y) zaproponowano 4 wielkości: x

1

– zatrudnienie (tys. osób), x

2

– wartość środków trwałych (mld zł), x

3

– czas przestoju maszyn (dni), x

4

– nakłady inwestycyjne (mln zł). Wartości zmiennych w latach 1971-80 podano w tabeli.

Lata ‘71 ‘72 ‘73 ‘74 ‘75 ‘76 ‘77 ‘78 ‘79 ‘80

y 10 10 16 16 12 14 20 20 20 22

x

₁

6 6 10 10 8 10 12 12 12 14

x

₂

8 8 12 12 8 8 14 16 16 18

x

3

14 14 18 18 18 18 24 24 26 26 x

4

12 12 12 14 10 12 14 12 12 10 Sprawdzić – przy założonej wartości krytycznej υ

k*

=0,15 czy potencjalne zmienne objaśniające odznaczają się odpowiednio wysoką zmiennością.

Rozwiązanie:

Wyznaczamy średnie:

( 6 6 10 10 8 10 12 12 12 14 ) 10 10

x

1

= 1 + + + + + + + + + =

( 8 8 12 12 8 8 14 16 16 18 ) 12 10

x

2

= 1 + + + + + + + + + =

podobnie licząc dostajemy

x

3

= 20 , x

4

= 12 .

Tabela do wyznaczenia odchyleń standardowych

∑ ( )

=

−

=

N 1 n

2 nk k

k

x x

N

S 1

^:

n xn1 – 10 (A)

xn2 – 12 (B)

xn3 – 20 (C)

xn4 – 12

(D) A² B² C² D²

1 -4 -4 -6 0 16 16 36 0

2 -4 -4 -6 0 16 16 36 0

3 0 0 -2 0 0 0 4 0

4 0 0 -2 2 0 0 4 4

5 -2 -4 -2 -2 4 16 4 4

6 0 -4 -2 0 0 16 4 0

7 2 2 4 2 4 4 16 4

8 2 4 4 0 4 16 16 0

9 2 4 6 0 4 16 36 0

10 4 6 6 -2 16 36 36 4

∑

= 10 1

10n

1 - - - - 6,4 13,6 19,2 1,6

Sk - - - - 2,53 3,69 4,38 1,265

υ_k=S_k/x_k - - - - 0,253 0,307 0,219 0,105

>0,15 >0,15 >0,15 <0,15 Jak wynika z tabeli, zmienną x₄ można przy tych warunkach uznać za quasi-stałą i wyeliminować ze zbioru zmiennych objaśniających.

1.3. Metoda analizy współczynników korelacji

Polega na badaniu korelacji pomiędzy „kandydatkami” na zmienne obja- śniające, a także pomiędzy nimi a zmienną objaśnianą. Służy do tego war- tość krytyczna współczynnika korelacji.

W wyniku tego badania eliminuje się „kandydatki” słabo skorelowane ze zmienną objaśnianą.

Następnie ze zbioru tych zmiennych, które zostały, wybiera się tę, która jest najsilniej skorelowana ze zmienną objaśnianą. Spośród pozostałych elimi- nuje się te, które są silnie skorelowane z tą wybraną w poprzednim kroku.

Jak widać, trzeba zdefiniować współczynnik korelacji dwóch zmiennych oraz wyjaśnić, co to jest wartość krytyczna współczynnika korelacji oraz co to znaczy słabo skorelowane oraz silnie skorelowane zmienne.

Dla zmiennych

x

k oraz

x

l współczynnik korelacji

r

_kl oblicza się ze wzoru:

( ) ( )

( ) ( ) ( ) ( )

( )( )

( ) ∑ ( )

∑

∑

=

=

=

−

⋅

−

−

−

=

=

 

 



 − −

 ⋅



 



 − −

−

= −

N 1 n

2 l nl N

1 n

2 k nk

N 1 n

l nl k nk

l l

T l l

k k

T k k

l l

T k kl k

x x

x x

x x

x x

X X

X X

X X

X X

X X

X r X

Współczynniki te tworzą macierz korelacji

R

:

 

 





 

 





=

1 r

r

r 1

r

r r

1 R

2 K 1 K

K 2 21

K 1 12

L M O M

M

L L

Dla zmiennych

x

_k ^oraz

y

współczynnik korelacji

r

_k oblicza się ze wzoru:

( ) ( )

( ) ( ) ( ) ( )

( )( )

( ) ∑ ( )

∑

∑

=

=

=

−

⋅

−

−

−

=

=

 

 

  − −

 ⋅

 

 

 − −

−

= −

N 1 n

2 nk k

N 1 n

2 n

N 1 n

k nk

n

k k

T k k

T

k k

T k

x x

y y

x x

y y

X X

X X

Y Y Y Y

X X

Y r Y

Współczynniki korelacji pomiędzy zmienną objaśnianą

y

oraz „kandydat- kami” na zmienne objaśniające

x

_k można przedstawić w postaci macierzy kolumnowej

 

 





 

 





=

K 2 1

0

r r r

R M

1.3.1. Ustalenie wartości krytycznej współczynnika korelacji

Wartość krytyczna współczynnika korelacji

r*

zależy od liczby obserwa- cji

N

oraz od poziomu istotności

α

który zadajemy (najczęściej

α = 0,05

lub

α = 0,01

). Wartość

r*

wyznacza się ze wzoru

( )

( ) t N 2 r t

2 2

− +

=

α

*

α

gdzie

t

_α jest wartością statystyki

t –

Studenta dla zadanego poziomu istotno- ści

α

oraz dla liczby

N – 2

^nazywanej liczbą stopni swobody. Tablice warto- ści krytycznych dla testu

t − − − −

Studenta są podane w podręcznikach.

Wyznaczenia wartości krytycznej współczynnika korelacji dokonuje się raz – wartość ta obowiązuje do zakończenia procedury wyboru zmiennych ob- jaśniających.

1.3.2. Eliminacja zmiennych słabo skorelowanych ze zmienną objaśnianą Słaba korelacja oznacza mały wpływ jednej zmiennej na wartość drugiej.

Dlatego „kandydatki” słabo skorelowane ze zmienną objaśnianą eliminuje- my. Słaba korelacja zdefiniowana jest nierównością

r * r

_k

≤

Etap eliminacji „kandydatek” słabo skorelowanych ze zmienną objaśnianą występuje tylko raz. Po nim przystępujemy do punktu 1.3.3.

1.3.3. Wybór zmiennej najsilniej skorelowanej ze zmienną objaśnianą Do zbioru zmiennych objaśniających zaliczamy jako pierwszą spośród po- zostałych „kandydatek” tę, która jest najsilniej skorelowana ze zmienną ob- jaśnianą. Oznaczmy ją

r

h ; wyznaczamy ją ze wzoru

{ }

_k

k

h

r

r ⁼ max

1.3.4. Eliminacja „kandydatek” silnie skorelowanych z

r

h

Formalnie eliminujemy te zmienne

x

_k , dla których zachodzi związek

r * r

_hk

>

Wynika to z faktu, że poprzez silne skorelowanie zmiennych spełniających ten warunek ze zmienną

r

_h , nie wniosą one istotnie nowych informacji o zmiennej objaśnianej, gdyż to, co mogłyby wnieść, zostanie wniesione przez zmienną objaśniającą

r

_h

.

Postępowanie opisane w punktach 1.3.3 oraz 1.3.4 powtarza się aż do wyczerpania wszystkich „kandydatek” na zmienne objaśniające.

Przykład

Wykorzystując metodę analizy współczynników korelacji wybrać zmienne objaśniające spośród x

₁

, x

₂

, x

₃

z poprzedniego przykładu.

Lata ‘71 ‘72 ‘73 ‘74 ‘75 ‘76 ‘77 ‘78 ‘79 ‘80

y 10 10 16 16 12 14 20 20 20 22

x

₁

6 6 10 10 8 10 12 12 12 14

x

₂

8 8 12 12 8 8 14 16 16 18

x

₃

14 14 18 18 18 18 24 24 26 26

Rozwiązanie:

Wartości średnie poszczególnych zmiennych:

16 ,

y = x

1

= 10 , x

2

= 12 , x

3

= 20 .

n 1 2 3 4 5 6 7 8 9 10

y-y

śr

-6 -6 0 0 -4 -2 4 4 4 6

x

1

-x

1śr

8 -10 -10 -10 -10 -10 -10 -10 -10 -10

x

2

-x

2śr

-4 -4 0 0 -4 -4 2 4 4 6

x

₃

-x

_3śr

-6 -6 -2 -2 -2 -2 4 4 6 6

Współczynniki korelacji dla każdych dwóch wektorów odchyleń zmiennych od średnich obliczamy w programie Excel, korzystając z funkcji WSP.KORELACJI(Wektor1;Wektor2). Otrzymujemy:

 







 







=

 







 







=

1 9159

0 9382 0

9159 0

1 9004

0

9382 0

9004 0

1 R

9574 0

9566 0

9799 0

R

₀

, ,

, ,

, ,

, ,

, ,

Zakładamy poziom istotności

α = 0,05

^.

Ponieważ tutaj

N=10

więc liczba stopni swobody wynosi

N-2=10-2=8

^.

Z tablic rozkładu

t − − − −

Studenta dla takich

α

i

N-2

otrzymujemy

t

α

= 2,306.

Zatem wartość krytyczna współczynnika korelacji

r*

przyjmuje wartość

( )

( ) 2 306 8 ^{0 632}

306 2 2

N t

r t

2 2 2

2

, ,

* , =

+

=

− +

=

α α

Analizując macierz R₀ stwierdzamy, że żadna zmienna nie jest słabo sko- relowana ze zmienną objaśnianą y , gdyż |x_k|>0,632 dla k=1,2,3.

Spośród tych zmiennych najsilniej ze zmienną objaśnianą jest skorelowana zmienna x₁. Staje się ona zmienną objaśniającą.

Z tablicy R widać, że mamy |r₁₂| = 0,9004 >r* oraz |r₁₃|=0,9159>r* . Zatem eliminujemy zmienną zarówno x₂ jak i x₃.

Zatem metoda współczynników korelacji wyłoniła jedną zmienną objaśnia- jącą: x₁.

1.4. Metoda wskaźników pojemności informacyjnej – metoda Hellwiga Dysponujemy zbiorem „kandydatek” na zmienne objaśniające,

x

₁

, x

₂

, ..., x

_L

oraz zmienną objaśnianą

y

. W związku z tym bez trudu obliczamy macie- rze współczynników korelacji R₀ oraz R.

Każda z „kandydatek” jest traktowana jako nośnik informacji o

y

.

Rozpatrujemy wszystkie niepuste kombinacje zmiennych

x

₁

, x

₂

, ..., x

_L^{. Ich}

liczba to

2

^L

– 1

. Każdą kombinację oznaczamy

K

_l , zaś numery zmiennych zawartych w kombinacji

K

_l zawarte są w zbiorze

Z

_l^{, gdzie}

l= 1, 2,..., 2

^L

– 1

^.

Indywidualną pojemność informacyjną hlk zmiennej

x

k

, k=1, 2,...,L

^,

wchodzącej w skład

l

–tej kombinacji

K

l określamy następująco:

∑

∈

=

Zl

s

sk 2 lk k

r h r

Integralna pojemność informacyjna

l

–tej kombinacji

K

_l :

∑

∈

=

Zl

s lk

l

h

H

Zarówno indywidualna jaki i integralna pojemność informacyjna przyjmuje wartości z przedziału [0; 1]. Za najlepszą kombinację zmiennych (za zbiór zmiennych objaśniających) uznajemy zbiór „kandydatek”, dla których pojemność integralna jest największa

H

optymalne

= max{ H

_l

: l = 1 , 2 ,..., 2

^L

− 1 }

Rozważymy zbiór kandydatek na zmienne objaśniające z poprzedniego przykładu.

Dla tego zbioru znamy macierze R₀ oraz R:

 







 







=

 







 







=

1 9159

0 9382 0

9159 0

1 9004

0

9382 0

9004 0

1 R

9574 0

9566 0

9799 0

R

₀

, ,

, ,

, ,

, ,

, ,

Liczba zmiennych

L = 3

. Stąd liczba kombinacji

2

^L

– 1 = 2

³

– 1 = 7

. Wypi- szemy poszczególne kombinacje, policzymy indywidualną pojemność in- formacyjną elementów każdej kombinacji, a następnie integralna pojem- ność informacyjną każdej kombinacji.

K

₁

= {x

₁

} Z

₁

= {1} h

₁₁

= 0 9602 1

9799 0

r

r

²

11 2

1

, ,

=

= H

₁

= h

₁₁

= 0,9602

K

₂

= {x

₂

} Z

₂

= {2} h

₂₂

= 0 9151 1

9566 0

r

r

²

22 2

2

, ,

=

= H

₂

= h

₂₂

= 0,9151

K

₃

= {x

₃

} Z

₃

= {3} h

₃₃

= 0 9166 1

9574 0

r

r

²

33 2

3

, ,

=

= H

₃

= h

₃₃

= 0,9166

K

₄

= {x

₁

, x

₂

} Z

₄

= {1; 2} h

₄₁

= 0 505 9004

0 1

9799 0

r r

r

²

12 11

2

1

,

,

, =

= + +

h

₄₂

= 0 459

9004 0

1

9566 0

r r

r

²

22 21

2

2

,

,

, =

= +

+ H

₄

=h

₄₁

+h

₄₂

=0,505+0,459=0,964

K

₅

= {x

₁

, x

₃

} Z

₅

= {1; 3} h

₅₁

=

9382 0

1

9799 0

r r

r

²

13 11

2 1

, ,

= +

+ =0,495

h

₅₃

=

1 9382 0

9574 0

r r

r

²

33 31

2 3

= +

+ ,

, =0,473 H

₅

= 0,495 + 0,473 = 0,968

K

6

= {x

2

, x

3

} Z

6

= {2; 3} h

62

=0,4776, h

63

=0,4784 H

6

=0,956 K

₇

={x

₁

, x

₂

, x

₃

} Z

₇

={1; 2; 3} h

₇₁

= =

+

+ 0 9004 0 9382 1

9799

0

²

, ,

, 0,338,

h

72

= =

+

+ 1 0 9159 9004

0

9566

0

²

, ,

, 0,325, h

73

= =

+ + 0 9159 1 9382

0

9574

0

²

, ,

, 0,321,

H

7

=0,338+0,325+0,321=0,984

H

optymalne

= max{H

l

:l=1,2,...,7} =0,984

i jest osiągana dla

K

7

.

Jak z tego wynika, zmiennymi objaśniającymi wg metody Hellwiga powinny zostać wszystkie trzy kandydatki

.

Wynikło to z faktu, iż wszystkie trzy zmienne były