Stanisław Cichocki Natalia Nehrebecka

Stanisław Cichocki Natalia Nehrebecka

Wykład 3

 1. MNK dla modelu z jedną zmienną

 2. Model liniowy

◦ Zapis macierzowy modelu liniowego

 3. MNK – przypadek wielu zmiennych

2

 1. MNK dla modelu z jedną zmienną

 2. Model liniowy

◦ Zapis macierzowy modelu liniowego

 3. MNK – przypadek wielu zmiennych

 Kroki:

1. Zapisujemy wzór na sumę kwadratów reszt i podstawiamy za reszty

2. Liczymy warunki pierwszego rzędu (pochodne)

3. Przekształcamy tak aby uzyskać oszacowania parametrów

 Oszacowania b₁ i b₂ powinny być dobrane tak, by suma kwadratów reszt była jak najmniejsza.

2 2

1 2 1 2

1 1

2 2 2 2

1 2 1 2 1 2

( , ) ( )

( 2 2 2 )

N N

i i i

i i

N

i i i i i i

S b b e y b b x

y y b y b x b b x b b x

 



    

    

 



 Policz pochodne cząstkowe względem parametrów b₁ i b₂ powyższego równania i przyrównaj je do zera.

6

 Licząc pochodne dla poszczególnych równań uzyskujemy układ równań zwany układem równań normalnych.

8

 1. MNK dla modelu z jedną zmienną

 2. Model liniowy

◦ Zapis macierzowy modelu liniowego

 3. MNK – przypadek wielu zmiennych

10

 

 









 







 









 







 







 







 









 







 







N K

X

KN N

K

y

N

x x

x x

y y















 





 

 











1 1

2

1 21

1

1 1

Stąd równanie macierzowe ma postać:



 

 X

y

Inny wariant zapisu modelu:

dla i=1,…N

i i i

y  x   

 1. MNK dla modelu z jedną zmienną

 2. Model liniowy

◦ Zapis macierzowy modelu liniowego

 3. MNK – przypadek wielu zmiennych

 1. Zapisać model teoretyczny, model wyestymowany, wartości dopasowane oraz reszty dla modelu linowego zawierającego K zmiennych objaśniających wraz ze stałą.

 Suma kwadratów reszt - zapis macierzowy:

 

Xb X

b y

X b Xb

y y

y

Xb y

Xb y

e e e

e e

e e

b S

N N

i

N i

' ' '

' '

'

) (

)' (

' )

(

1

1

1 2



















 







 









 







 Ponieważ

y ' Xb  b ' X ' y

 Warunki pierwszego rzędu:



bo:

( ) ' 2 ' ' '

2 ' 2 ' 0

S b y y y Xb b X Xb

b b b b

X y X Xb

   

   

   

   





x Ax x

x

x ' '

'  



 



 

 Układ równań normalnych:

1

1 1

2 ' 2 ' 0

' ' / ( ' )

( ' ) ' ( ' ) '

I

X y X Xb

X Xb X y X X

X X X X b X X X y



 

  





 Rozwiązanie układu równań normalnych :

 istnieje o ile macierz X ma pełny rząd kolumnowy, tzn. jej kolumny są liniowo niezależne

wtedy macierz X’X jest nieosobliwa i istnieje (X’X) ^-1.

y X

Xb

X '  '

 MNK nie da się oszacować modelu w którym:

◦ Kolumny macierzy X są liniowo zależne

i/lub

◦ (K>N) liczba zmiennych (parametrów) przekracza liczbę obserwacji

 Warunki drugiego rzędu:

2 '

'

' ' '

( ) '

2 2 2

S b X y X Xb

b b b b X X

      

   

Dziękuję za uwagę