WykĹad 6

(1)

Regresja liniowa Testy dla wektora β Wybór zmiennych

Wprowadzenie do “data science”

Wykład 6 - metody statystyczne: regresja

dr in˙z. Julian Sienkiewicz

(2)

Regresja liniowa Testy dla wektora β Wybór zmiennych Sformułowanie problemu

Regresja liniowa

Rozpatrujemy najprostszy przypadek relacji pomi ˛edzyzmienn ˛a obja ´sniaj ˛ac ˛a

x orazzmienn ˛a obja ´snian ˛a y

yi= β0+ β1xi+ i,

gdzie i = 1, . . . , n, przy czym β0, β1 to nieznane parametry, natomiast i to (nieobserwowalne) warto´sci losowe (bł ˛edy), wyja´sniaj ˛ace ró˙znice pomi ˛edzy zaobserwowanymi danymi a warto´sciami przewidywanymi.

Jest to oczywi´scie układ n równa ´n nast ˛epuj ˛acej postaci y1= β0+ β1x1+ 1

y2= β0+ β1x2+ 2 .. . yn= β0+ β1xn+ n,

w którym zdaniem jest wyznaczenie (estymacja) nieznanych parametrów β0, β1.

(3)

Regresja liniowa Testy dla wektora β Wybór zmiennych Sformułowanie problemu

Regresja liniowa

Rozpatrujemy najprostszy przypadek relacji pomi ˛edzyzmienn ˛a obja ´sniaj ˛ac ˛a

x orazzmienn ˛a obja ´snian ˛a y

yi= β0+ β1xi+ i,

gdzie i = 1, . . . , n, przy czym β0, β1 to nieznane parametry, natomiast i to (nieobserwowalne) warto´sci losowe (bł ˛edy), wyja´sniaj ˛ace ró˙znice pomi ˛edzy zaobserwowanymi danymi a warto´sciami przewidywanymi.

Jest to oczywi´scie układ n równa ´n nast ˛epuj ˛acej postaci y1= β0+ β1x1+ 1

y2= β0+ β1x2+ 2 .. . yn= β0+ β1xn+ n,

w którym zdaniem jest wyznaczenie (estymacja) nieznanych parametrów β0, β1.

(4)

Regresja liniowa Testy dla wektora β Wybór zmiennych Zapis macierzowy

Zapis macierzowy

Taki układ jest wygodnie zapisa´c w postaci macierzowej

y=Xβ+,

gdzie poszczególne elementy s ˛a odpowiednimi wektorami kolumnowymi lub macierzami: y =      y1 y2 .. . yn      X =      xT 1 xT 2 .. . xT n      =      1 x1 1 x2 .. . ... 1 xn      β = β0 β1 =      1 2 .. . n     

Zapis macierzowy jest szczególnie wygodny, gdy przechodzi si ˛e od przypadku z jedn ˛a zmienn ˛a obja´sniaj ˛ac ˛a do wi ˛ekszej ich liczby.

(5)

Zapis macierzowy

y=Xβ+,

(6)

Zapis macierzowy

y=Xβ+,

(7)

Zapis macierzowy

y=Xβ+,

(8)

Zapis macierzowy

y=Xβ+,

(9)

Zapis macierzowy

y=Xβ+,

(10)

Regresja liniowa Testy dla wektora β Wybór zmiennych Zało˙zenia modelu regresji

Zało˙zenia modelu regresji

Model regresji liniowej i techniki, które słu˙z ˛a do estymacji parametrów (np.

metoda najmniejszych kwadratów) opieraj ˛a si ˛e na pewnych (do ´s ´c silnych) zało˙zeniach:

egzogeniczno ´s ´c — zmienna obja´sniaj ˛aca jest traktowana jako usta-lona, a nie jako zmienna losowa; oznacza to, ˙ze zakładamy, i˙z x nie

podlega ˙zadnej statystyce bł ˛edów,

liniowo ´s ć — zmienna obja´sniana jest kombinacj ˛a liniow ˛a parametrów oraz zmiennych obja´sniaj ˛acych; de facto, bior ˛ac pod uwag ˛e powy˙zszy punkt (egzogeniczno´sć), liniowo´sć dotyczy jedynie parametrów β,

homoskedastyczno ´s ´c — ró˙zne warto´sci zmiennej obja´snianej powinny

mie´c tak ˛a sam ˛a wariancj ˛e ochyłek, bez ró˙znicy jaka jest warto´s´c zmien-nej obja´sniaj ˛acej; w praktyce to zało˙zenie jest cz ˛esto naruszone,

niezale˙zno ´s ´c bł ˛edów — odchyłki zmiennej obja´snianej s ˛a ze sob ˛a nie-skorelowane,

brak pełnej korelacji zmiennych obja ´sniaj ˛acych — w skrócie chodzi o

to, ˙ze w przypadku wi ˛ekszej liczby zmiennych obja´sniaj ˛acychnie mo˙ze

(11)

(12)

(13)

(14)

(15)

(16)

Regresja liniowa Testy dla wektora β Wybór zmiennych Metoda najmniejszych kwadratów

Estymacja β metod ˛a najmniejszych kwadratów

Najpopularniejsz ˛a technik ˛a estymacji wektora β jest metoda najmniejszych kwadratów (MNK, ang. oridinary least squares - OLS), gdzie minimalizowana jest funkcja celu zwanabł ˛edem kwadratowym lub sum ˛a kwadratów reszt

(RSS - residual sum of squares):

RSS ≡ RSS( ˆβ) = (y − X ˆβ)T(y − X ˆβ). Ró˙zniczkowanie RSS po ˆβi przyrównanie do 0 daje

XT(y − X ˆβ) =0. czyli w efekcie

ˆ

β = (XTX )−1XTy.

Nieobci ˛a˙zonym estymatorem wariancji najmniejszych kwadratów jest ˆ

σ2= RSS n − p,

przy czym n jest liczb ˛a obserwacji, a p rozmiarem wektora β — w naszym przypadku p = 2 (jest to ogólnie liczba stopni swobody układu).

(17)

RSS ≡ RSS( ˆβ) = (y − X ˆβ)T(y − X ˆβ).

Ró˙zniczkowanie RSS po ˆβi przyrównanie do 0 daje

ˆ

β = (XTX )−1XTy.

σ2= RSS n − p,

(18)

XT(y − X ˆβ) =0.

czyli w efekcie

ˆ

β = (XTX )−1XTy.

σ2= RSS n − p,

(19)

ˆ

β = (XTX )−1XTy.

σ2= RSS n − p,

(20)

ˆ

β = (XTX )−1XTy.

σ2= RSS n − p,

(21)

Regresja liniowa Testy dla wektora β Wybór zmiennych Przykład

Rozpatrzmy nast ˛epuj ˛acy, bardzo prosty przykład:

X =                  1 10 1 8 1 13 1 9 1 11 1 14 1 6 1 4 1 12 1 7 1 5                  Y =                  8.04 6.95 7.58 8.81 8.33 9.96 7.24 4.26 10.84 4.82 5.68                 

Obliczenia zgodnie z przedstawiowny schematem daj ˛a nast ˛epuj ˛ace wyniki: β = 11 99 99 1001 −1 82.51 797.60 = 3.000 0.500 ˆ σ2=1.529

(22)

X =                  1 10 1 8 1 13 1 9 1 11 1 14 1 6 1 4 1 12 1 7 1 5                  Y =                  8.04 6.95 7.58 8.81 8.33 9.96 7.24 4.26 10.84 4.82 5.68                 

(23)

X =                  1 10 1 8 1 13 1 9 1 11 1 14 1 6 1 4 1 12 1 7 1 5                  Y =                  8.04 6.95 7.58 8.81 8.33 9.96 7.24 4.26 10.84 4.82 5.68                 

Obliczenia zgodnie z przedstawiowny schematem daj ˛a nast ˛epuj ˛ace wyniki:

β = 11 99 99 1001 −1 82.51 797.60 = 3.000 0.500 ˆ σ2=1.529

(24)

X =                  1 10 1 8 1 13 1 9 1 11 1 14 1 6 1 4 1 12 1 7 1 5                  Y =                  8.04 6.95 7.58 8.81 8.33 9.96 7.24 4.26 10.84 4.82 5.68                 

(25)

X =                  1 10 1 8 1 13 1 9 1 11 1 14 1 6 1 4 1 12 1 7 1 5                  Y =                  8.04 6.95 7.58 8.81 8.33 9.96 7.24 4.26 10.84 4.82 5.68                 

Obliczenia zgodnie z przedstawiowny schematem daj ˛a nast ˛epuj ˛ace wyniki: ˆ β = 11 99 99 1001 −1 82.51 797.60 = 3.000 0.500 ˆ σ2=1.529

(26)

Regresja liniowa Testy dla wektora β Wybór zmiennych Diagnostyka modelu

Aby dokonac poprawnej diagnostyki modelu, dla współczynników β nale˙zy wyznaczy´c:

1 _{bł ˛edy standardowe,} 2 _{p-warto´sci,}

3 _{przedziały ufno´sci dla okre´slonego poziomu α}

Bł ˛edy standardowe

Do wyznaczenia bł ˛edów standardowych (tzn odchylenia standardowego war-to´sci ´sredniej) σˆ_β

i poszczególnych współczynników βiwykorzystujemy wzór

σ_βˆ

i = q

σ2₍_XT_{X )}−1 ii ,

który jest bezpo´sredni ˛a konsekwencj ˛a brzegowego rozkładu dla współczynni-ków βi

ˆ

βi ∼ N ˆβi, σ2(XTX )−1ii

,

(tzn rozkładu normalnego N ), co wynika dla odmiany z podstawienia rozkładu y ∼ N (X ˆβ, σ2₎_{do wzoru ˆ}_{β = (}_XT_{X )}−1_XT_{y .}

(27)

1 _{bł ˛edy standardowe,}

2 _{p-warto´sci,}

σ_βˆ

i = q

σ2₍_XT_{X )}−1 ii ,

ˆ

,

(28)

σ_βˆ

i = q

σ2₍_XT_{X )}−1 ii ,

ˆ

,

(29)

σ_βˆ

i = q

σ2₍_XT_{X )}−1 ii ,

ˆ

,

(30)

σ_βˆ

i = q

σ2₍_XT_{X )}−1 ii ,

ˆ

,

(31)

σ_βˆ

i = q

σ2₍_XT_{X )}−1 ii ,

ˆ

,

(32)

σ_βˆ

i = q

σ2₍_XT_{X )}−1 ii ,

ˆ

,

(33)

Przy diagnostyce modelu kluczow ˛a spraw ˛a jest zwykle ocena wiarygodno´sci (testowanie) współczynników β.Hipoteza zerowa H0mo˙ze przyj ˛a´c nast ˛epu-j ˛ac ˛a posta´c:

H0: βi=0.

tzn, hipotez ˛a zerow ˛a jest zerowy współczynnik βi. B ˛edziemy rozpatrywa´c test dla dwustronnej hipotezy alternatywnej w pełnym modelu (czyli w obecno´sci wszystkich innych zmiennych x )

Jako statystyk˛e testow ˛a wykorzystujemy

t =q βi

σ2₍_XT_{X )}−1 ii

= βi σβ_i,

która dla prawdziwej hipotezy zerowej ma centralnyrozkład t-Studenta, czyli

warto´sciami krytycznymi b ˛ed ˛a odpowiednie kwantyle tego rozkładu tak, aby kontrolowa´c bł ˛ad I rodzaju na poziomie α.

(34)

Przy diagnostyce modelu kluczow ˛a spraw ˛a jest zwykle ocena wiarygodno´sci (testowanie) współczynników β.Hipoteza zerowa H0mo˙ze przyj ˛a´c nast ˛epu-j ˛ac ˛a posta´c:

H0: βi=0.

tzn, hipotez ˛a zerow ˛a jest zerowy współczynnik βi. B ˛edziemy rozpatrywa´c test dla dwustronnej hipotezy alternatywnej w pełnym modelu (czyli w obecno´sci wszystkich innych zmiennych x )

Jako statystyk˛e testow ˛a wykorzystujemy

t =_q βi

σ2₍_XT_{X )}−1 ii

= βi σβ_i,

która dla prawdziwej hipotezy zerowej ma centralnyrozkład t-Studenta, czyli

warto´sciami krytycznymi b ˛ed ˛a odpowiednie kwantyle tego rozkładu tak, aby kontrolowa´c bł ˛ad I rodzaju na poziomie α.

(35)

Typowa “szkolna” procedura wygl ˛ada tak:

ustalamy poziom istotno´sci α (najcz ˛esciej α = .05),

wyznaczamy odpowiedni kwantyl rozkładu (tutaj: kwantyl rozkładu t-Studenta dla α/2 oraz n − p stopni swobody), który traktujemy jako war-to´s´c krytyczn ˛a t∗,

sprawdzamy czy nasza statystyka (tutaj: βi

σ_βi) jest wi ˛eksza od warto´sci krytycznej — je´sli nie, to nie mamy podstaw do odrzucenia hipotezy ze-rowej

(36)

p-warto´s´c

Mankamentem tej procedury jest to, ˙ze:

musimy z góry znać poziom α, dla którego chcemy przeprowadzić test, na pierwszy rzut oka nie widać jak “bardzo” przekroczyli´smy warto´sć krytyczn ˛a — musieliby´smy testować dla kolejnej warto´sci α, aby si ˛e o tym przekonać

Tych problemów nie ma tzw.p-warto ´s ´c (ang. p-value), która w tym przypadku

jest dana jako

pβi=2 1 − Ftn−p |βi| σβ_i ,

gdzie Ft_n−p(x ) to warto´s´c dystrybuanty rozkładu t-Studenta o n − p stopniach swobody w punkcie x .

(37)

Nasz przykład

Znajomo´sć poziomu istotno´sci α umo˙zliwa nam za to wyznaczenie tzw. prze-działu ufno ´sci, współczynników βi, tzn. przediałów, w których z prawdopo-dobie ństwem 1 − α znajdzie si ˛e faktyczna warto´sć βi:

CIβi = βi± t α/2 n−p q σ2₍_XT_{X )}−1 ii ,

gdzie tn−pα/2to kwantyl rz ˛edu α/2 rozkładu t-Studenta o n−p stopniach swobody.

Nasz przykład σβˆi = s 1.529 11 99 99 1001 −1 = 1.125 0.118 pβi=2 1 − Ftn−p 2.667 4.241 = 0.0257 0.0022 ,

(38)

Wracamy do naszego prostego przykładu regresji liniowej:

X =                  1 10 1 8 1 13 1 9 1 11 1 14 1 6 1 4 1 12 1 7 1 5                  Y =                  8.04 6.95 7.58 8.81 8.33 9.96 7.24 4.26 10.84 4.82 5.68                 

Czerwona kreskowana linia to warto´s´c ´srednia zmiennej obja´snianej: ¯y

ˆ β = 11 99 99 1001 −1 82.51 797.60 = 3.000 0.500

(39)

Regresja liniowa Testy dla wektora β Wybór zmiennych Sumy kwadratów

Rozkład zmienno´sci zmiennej obja´snianej

Rozpiszmyy − ¯y jako y − X ˆβ +X ˆβ − ¯y , nast ˛epnie podnie´smy do kwadratu.

Otrzymamy wtedy

(y − ¯y )T₍_{y − ¯}_{y ) = (y − X ˆ}_β)T₍_{y − X ˆ}_{β) + (}_{X ˆ}_{β − ¯}_{y )}T₍_{X ˆ}_{β − ¯}_{y ) −}_{2(y − X ˆ}_β)T_{(X ˆ}_{β − ¯}_{y )}

przy czym ostatnia cz ˛e´s´c si ˛e zeruje. Mo˙zemy wyró˙zni´c tu poszczególne elementy:

(y − ¯y )T(y − ¯y ) = (y − X ˆβ)T(y − X ˆβ) + (X ˆβ − ¯y )T(X ˆβ − ¯y )

SST

=

_SSE

+

_SSR

całkowita suma kwadratów

(ang. total sum of squares)

suma kwadratów bł ˛edów

(ang. error sum of squares)

regresyjna suma kwadratów

(ang. regression sum of squares)

(40)

Regresja liniowa Testy dla wektora β Wybór zmiennych Współczynnik determinacji

Współczynnik determinacji

Dzi ˛eki tym wielko´sciom mo˙zemy okre´sli´c tzw.współczynnik determinacji

R2=SSR SST =1 − SSE SST =1 − (y − X ˆβ)T(y − X ˆβ) (y − ¯y )T₍_{y − ¯}_{y )}

Współczynnik R2informuje o tym jaka cz ˛e´s´cwariancji zmiennej obja ´snianej

(czyli ile całkowitej wariancji) jest wyja´sniana poprzezwariancj ˛e zmiennej obja ´sniaj ˛acej. Powszechnie słu˙zy od oceny “fitu”.

W przypadku regresji y = b0+b1x mamy R2= PN i=1(b1xi+b0− ¯y ) 2 PN i=1(yi− ¯y )2 = PN i=1(b1xi− b1x )¯ 2 σ2 y =b12 σ2x σ2 y =r2

gdzie r towspółczynnik korelacji [r = cov(x , y )/(σxσy)], gdy˙z b1=rσ_σx

(41)

Regresja liniowa Testy dla wektora β Wybór zmiennych Współczynnik determinacji

Warto´s´c R2

W rozpatrywanym przez nas przypadku współczynniki r oraz R2_{wynosz ˛}_a odpowiednio:

r = 0.816 oraz R2=0.667

Poziom R2

Trudno jest poda´c granic ˛e R2, dla której mo˙zna uzna´c, ˙ze zale˙zno´sc liniowa przejawia si ˛e w silny sposób:

dla niektórych nauk społecznych, warto´sć R2 bliska 0.7 (czyli np. uzy-skana w naszym przykładzie) mo˙ze zostać uznana za zadowalaj ˛ac ˛a, dla odmiany, dla fizyka — który prowadzi badania w ´sci´sle zaplanowany eksprymencie — mo˙zliwa minimalna warto´sć to np. 0.9.

Warto´s´c R2

Nale˙zy równie˙z w sposób ostro˙zy podchodzić do porówna ń, szczególnie, gdy interesuje nas kilka ró˙znych dopasowa ń (np. liniowe, wykładnicze etc) i sto-sować raczej inne miary, za pomoc ˛a których dokonamy ostatecznego wyboru (np. test Kołmogorowa-Smirnowa).

(42)

Schemat z podziałem sum kwadratów przydaje si ˛e do wyznaczenia innego rodzaju statystyki zwi ˛azanej ze współczynnikami βi.

(y − ¯y )T(y − ¯y ) = (y − X ˆβ)T(y − X ˆβ) + (X ˆβ − ¯y )T(X ˆβ − ¯y )

SST = SSE + SSR

Do ka˙zdej z tych sum mo˙zemy przypisac odpowiedni ˛a liczb ˛e stopni swobody:

n - 1 = n - 2 + 1

Korzystaj ˛ac z powy˙zszych informacji definiujemy dwie warto´sci: bł ˛ad ´sredni kwadratowy (MSE - mean square error) MSE =SSE

n−2oraz ´sredni kwadrat regresji (MSR - mean regression square) MSR = SSR 1 .

(43)

Powy˙zsze warto´sci umo˙zliwiaj ˛a inne podej´scie do diganostyki modelu. Nasza

hipoteza zerowa H0znów ma nast ˛epuj ˛ac ˛a posta´c: H0: β1=0. przeciw hipotezie alternatywnej

H1: β16= 0.

Przy spełnieniu H0statystyka SSR ma rozkład χ2z 1 stopniem swodobody, a SSR – χ2_{z n − 2 stopniami swobody. W efekcie statystyka}

F = MSR

MSE = (n − 2) SSR MSE ma rozkład F Snedecora z parametrami (1, n − 2)

St ˛ad wyznaczaj ˛ac dystrybunat ˛e rozkład F Snedecora F1,n−2 MSR

MSE dostajemy p-warto´s´c:pβ₁ =1 − F1,n−2 MSR_MSE, która pozwala nam oceni´c hipotez ˛e H0.

(44)

S ˛a to zrzuty z programu R: po lewej informacja o wykonanej regresji, nato-miast powy˙zej efekt analizy sum kwa-dratów.

Czy w takim razie wykonanie statystyki F daje na jak ˛a´s now ˛a informajc ˛e? Nie — w sytuacji jednej zmiennej obj ˛asniaj ˛acej F = t2_{, wi ˛ec zarówno p-warto´s´c} jak i wnioski b ˛ed ˛a takie same.

Dodatkowo statystyka F mo˙ze słu˙zy´c jedynie do rozwa˙zenie hipotezy alteran-tynwej HA: β 6=0, a w przypadku statystyki t mo˙zemy bada´c tak˙ze HA: β >0 i HA: β <0.

(45)

Siła F jest widoczna, gdy rozpatrujemy przypadek p regresorów. Wtedy

(y − ¯y )T(y − ¯y ) = (y − X ˆβ)T(y − X ˆβ) + (X ˆβ − ¯y )T(X ˆβ − ¯y ) SST = SSE + SSR n - 1 = n - p + _{p - 1} Współczynnik determinacji R2=SSR SST =1 − SSE SST =1 − (y − X ˆβ)T(y − X ˆβ) (y − ¯y )T₍_{y − ¯}_{y )} Statystyka F ma wtedy posta´c

F = MSR MSE = n − p p − 1 SSR MSE i ma rozkład F Snedecora z parametrami (p − 1, n − p)

(46)

Statystyka ta umo˙zliwia testowanie nast ˛epuj ˛acej hipotezy zerowej: H0: β1= β2= ... = βp−1=0.

przeciw hipotezie alternatywnej

H1: który´s ze współczynników β1, ..., βp−1jest ró˙zny od zera.

Test ten nie mówiktóry ze współczynników βijest ró˙zny od zera — hipoteza odnosi do pełnego rozkładu β, a nie jego rozkładu brzegowego. W przypadku, gdyby´smy chcieli dowiedzie´c si ˛e który dokładnie współczynnik βi 6= 0 nale˙zy przeprowadzi´c wspomniane wcze´sniej testy z rozkładem t-Studenta.

(47)

Regresja liniowa Testy dla wektora β Wybór zmiennych Metoda eliminacji

Poniewa˙z ogólnym celem regresji jest wybór “najlepszego zbioru” zmiennych powstaje do´sc istotne pytanie “jak ograniczy´c ten zbiór?”. Generalnie, zgodnie z zasad ˛a brzytwy Ockhama, najlepszym modelem jestmodel najprostszy

(tzn. z najmniejsz ˛a liczb ˛a zmiennych obja´sniaj ˛acych).

Dla małej ilo´sci potencjalnych zmiennych (np. 3-4) nie ma problemu — mo-˙zemy własnor ˛ecznie przetestowac wpływ pozbiorów. Dla wi ˛ekszej ilo´sci po-trzebne s ˛a metody automatycznej selekcji.

Metoda eliminacji

1 _{budujemy pełny model (wszystkie dost ˛epne zmienne),}

2 _{testujemy indywidualne hipotezy o istotno´sci poszczególnych zmiennych}

i usuwamy t ˛e, której p-warto´s´c jest najwi ˛eksz ˛a przekraczaj ˛ac ˛a ustalony poziom α,

3 _{budujemy mniejszy model i testujemy krok 2, itd. a˙z nie b ˛edzie}

(48)

Regresja liniowa Testy dla wektora β Wybór zmiennych Metoda doł ˛aczania

Problemem metody eliminacji jest odgórne ustalenie poziomu α, słu˙z ˛acego do odrzucania kolejnych zmiennych. Dodatkowo, je´sli z jekiego´s powodu po-zb ˛edziemy si ˛e zmiennej na wczesnem etapie, to nie b ˛edzie mo˙zliwo´sci, aby do niej powróci´c.

Metoda doł ˛aczania

Mo˙zna równie˙z zastosowa´c metod ˛e doł ˛aczania:

1 _{budujemy model zawieraj ˛}_{acy jedynie stał ˛}_a,

2 _{wybieramy t ˛e spo´sród zmiennych, dla której p-warto´s´c statystyki t jest}

najmniejsz ˛a warto´sci ˛a mniejsz ˛a od α,

3 _{budujemy wi ˛ekszy model i testujemy krok 2, itd. a˙z nie b ˛edzie}

potencjal-nych kandydatów

Metoda selekcji krokowej

(49)

Regresja liniowa Testy dla wektora β Wybór zmiennych Kryterium AIC

Innym sposobem jest zastosowania tzw. kryterium informacyjnego Aka-ikego - (AIC Akaike Information Criterion), które zdefiniowane jest nast

˛epu-j ˛aco

AIC = 2k − 2 ln ˆL,

gdzie to maksymalna warto´s´c funkcji wiarygodno´sci dla modelu, a k to liczba estymowanych parametrów.

W przypadku estymatora najmniejszych kwadratów otrzymujemy AIC = 2(p + 1) + n + n ln(2π) + n lnRSS

n ,

gdzie to maksymalna warto´s´c funkcji wiarygodno´sci dla modelu, a k to liczba estymowanych parametrów.

Wybieramy model, kóry cechuje si ˛e najmniejsz ˛a warto´sci ˛a kryterium — AICmin. warto´s´c eAICmin−AICi2 _{oddaje prawdopodobie ´nstwo, ˙ze i-ty model}

WykĹad 6

Wprowadzenie do “data science”

Wykład 6 - metody statystyczne: regresja

dr in˙z. Julian Sienkiewicz

SST

SSE

SSR

WykĹad 6

_SSE

_SSR