Wykład 03 – Regresja i regularyzacja

(1)

Regresja Trenowanie regresji Regularyzacja

Podstawy uczenia maszynowego

Wykład 03 – Regresja liniowa i regularyzacja

Jarosław Miszczak

(2)

Regresja Trenowanie regresji Regularyzacja 1 Regresja 2 Trenowanie regresji 3 _{Regularyzacja}

(3)

Regresja Trenowanie regresji Regularyzacja Wrażenia z laboratorium? ?... ?... ?...

(4)

(5)

(6)

Regresja Trenowanie regresji Regularyzacja Co to jest model? ?... ?... ?...

(7)

(8)

(9)

Gdzie wykorzystywane są modele? ?...

?... ?...

(10)

?...

(11)

?... ?...

(12)

Co to jest model nieparametryczny? ?...

?...

(13)

?...

(14)

?...

(15)

Model vs rzeczywistość

All models are wrong, but some models are useful. – George Box, brytyjski statystyk

(16)

Regresja

Trenowanie regresji Regularyzacja

Prosta regresja liniowa Zadanie regresji Model liniowy

Kiedy stosować regresję (I) Korelacja vs wynikanie

(17)

Regresja

Prosta regresja liniowa

Zadanie regresji Model liniowy

Regresja

Najpopularniejszy model parametryczny to regresja liniowa.

Jak zwykle w uczeniu nadzorowanym wejściem jest zbiór przykładów

(x1, y1), (x2, y2), . . . , (xm, ym).

W tym wypadku zakładamy, że związane są one zależnością yi = ˆF (xi) = a0+ a1xi.

W ogólności może to być funkcja wielu zmiennych x1, x2, . . . , xn,

tzw. regresorów (regresja wielokrotna).

(18)

Regresja

Najpopularniejszy model parametryczny to regresja liniowa. Jak zwykle w uczeniu nadzorowanym wejściem jest zbiór przykładów

(x1, y1), (x2, y2), . . . , (xm, ym).

(19)

Regresja

(x1, y1), (x2, y2), . . . , (xm, ym).

(20)

Regresja

(x1, y1), (x2, y2), . . . , (xm, ym).

(21)

Regresja

(x1, y1), (x2, y2), . . . , (xm, ym).

(22)

Regresja

Parametry

Współczynniki kombinacji liniowej a0, a1 są parametrami modelu.

Czym jest n?

Czy n jest parametrem modelu? . . .

. . .

(23)

Regresja

Parametry

Czym jest n?

. . .

(24)

Regresja

Parametry

Czym jest n?

Czy n jest parametrem modelu?

. . . . . .

(25)

Regresja

Parametry

Czym jest n?

. . .

(26)

Regresja

Parametry

Czym jest n?

. . .

(27)

Regresja

Parametry

Czym jest n?

. . .

(28)

Regresja

Uczenie

Uczenie regresji polega na minimalizacji błędu średniokwadratowego przybliżenia,

X

i

(yi − ˆF (xi))2

gdzie suma przebiega po danych treningowych.

Metoda najmniejszych kwadratów

Regresja jest czasem utożsamiana z metodą minimalizacji błędu średniokwadratowego.

(29)

Regresja

Uczenie

Uczenie regresji polega na minimalizacji błędu średniokwadratowego przybliżenia,

X

i

(yi − ˆF (xi))2

gdzie suma przebiega po danych treningowych. Metoda najmniejszych kwadratów

(30)

Regresja

Predykcja

Dla nowego przykładu xk wyliczamy etykietę jako

(31)

Regresja

Zadanie regresji

Model liniowy

Regresja

Zadanie regresji

Regresja to w statystyce ustalenie zależności między zmiennymi.

y = ˆF (x ; θ) ≈ F (x ),

gdzie x to zmienne opisujące, a θ to parametry modelu.

(32)

Regresja

Zadanie regresji

Model liniowy

Regresja

Zadanie regresji

Regresja to w statystyce ustalenie zależności między zmiennymi.

y = ˆF (x ; θ) ≈ F (x ),

gdzie x to zmienne opisujące, a θ to parametry modelu. ...czyli to co nazywaliśmy uczeniem nadzorowanym.

(33)

Regresja

Zadanie regresji

Model liniowy

Regresja

Zadanie regresji

Termin regresja został wprowadzony przez Francisa Galtona. Zauważył on, że ekstremalne cechy rodziców nie przenoszą się wprost na potomków.

Galton, F. (1886). ”Regression towards mediocrity in hereditary stature”. The Journal of the Anthropological Institute of Great Britain and Ireland. 15: 246–263. doi:10.2307/2841583

(34)

Regresja

Prosta regresja liniowa Zadanie regresji

Model liniowy

Regresja

Model liniowy

Przykład

Załóżmy, że mamy dane na temat masy samochodów, ich

mocy oraz odległości jaką mogą one pokonać

W jaki sposób możemy określić odległość jaką przebędzie samochód o zadanych parametrach?

(35)

Regresja

Model liniowy

Regresja

Model liniowy

Przykład

(36)

Regresja

Model liniowy

Regresja

Model liniowy

Przykład

(37)

Regresja

Model liniowy

Regresja

Model liniowy

Najprostszy model

(≡ przybliżenie rzeczywistości na podstawie obserwacji)

jako możemy zaproponować to taki w którym odległość jest zadana funkcją liniową cech pojazdów,

yθ(x ) = θ0+ θ1x1+ θ2x2.

Współczynniki θi to parametry naszego modelu.

Wyznaczają one punkt w przestrzeni rozwiązań, w przestrzeni modeli.

(38)

Regresja

Model liniowy

Regresja

Model liniowy

Najprostszy model (≡ przybliżenie rzeczywistości na podstawie obserwacji) jako możemy zaproponować to taki w którym odległość jest zadana funkcją liniową cech pojazdów,

yθ(x ) = θ0+ θ1x1+ θ2x2.

(39)

Regresja

Model liniowy

Regresja

Model liniowy

yθ(x ) = θ0+ θ1x1+ θ2x2.

(40)

Regresja

Model liniowy

Regresja

Model liniowy

yθ(x ) = θ0+ θ1x1+ θ2x2.

(41)

Regresja

Model liniowy

Regresja

Model liniowy

yθ(x ) = θ0+ θ1x1+ θ2x2.

(42)

Regresja

Model liniowy

Regresja

Model liniowy

Liniowość vs liniowość

Liniowość modelu oznacza, że yθ jest liniową funkcją θ, czyli

model danych jest liniowy.

Liniowość regresji oznacza, że zależność między zmiennymi

(43)

Regresja

Model liniowy

Regresja

Model liniowy

(44)

Regresja

Model liniowy

Regresja

Model liniowy

(45)

Regresja

Model liniowy

Regresja

Model liniowy

Model regresji liniowej zakłada, że wynik procesu to liniowa kombinacja cech wejściowych,

y = θ0+ θ1x1+ · · · + θnxn.

Tutaj n określa ile cech będziemy brali pod uwagę w naszym modelu.

(46)

Regresja

Model liniowy

Regresja

Model liniowy

Jeszcze raz – model vs. rzeczywistość Models are to be used, not believed. – Henri Theil, Principles of Econometrics,

(47)

Regresja

Kiedy stosować regresję (I)

Korelacja vs wynikanie

Regresja

?

Kiedy możemy stosować model regresji liniowej?

Podstawowe założenie modelu regresji

Kiedy spełnione jest założenie modelu czyli cechy (zmienne losowe) są liniowo zależne.

Zależność liniowa?

(48)

Regresja

?

Kiedy możemy stosować model regresji liniowej? Podstawowe założenie modelu regresji

Zależność liniowa?

(49)

Regresja

?

Kiedy możemy stosować model regresji liniowej? Podstawowe założenie modelu regresji

(50)

Regresja

Współczynnik korelacji liniowej Pearsona cov(x , y ) p

var(x )p

var(y ).

Równość powoduje, że wektory x − x i y − y są proporcjonalne, y = αx + β,

(51)

Regresja

Współczynnik korelacji liniowej Pearsona cov(x , y ) p

var(x )p

var(y ).

Równość powoduje, że wektory x − x i y − y są proporcjonalne, y = αx + β,

(52)

Regresja

Przykład ze współczynnikiem korelacji liniowej Pearsona... (pearson-ex.py)

(53)

Regresja

-0.990734 -0.748961 -0.203684

-0.494036 -0.0149859 0.246179

(54)

Regresja

Wartość bezwzględna współczynnika korelacji Pearsona mówi o tym czy zależność między zmiennymi jest liniowa

< 0.2 brak zależności

0.2 - 0.7 słaba lub umiarkowana zależność 0.7 - 0.9 dość silna zależność

> 0.9 bardzo silna zależność

Co znaczy silna zależność?

(55)

Regresja

Wartość bezwzględna współczynnika korelacji Pearsona mówi o tym czy zależność między zmiennymi jest liniowa

< 0.2 brak zależności

0.2 - 0.7 słaba lub umiarkowana zależność 0.7 - 0.9 dość silna zależność

> 0.9 bardzo silna zależność

(56)

Regresja

Zalety regresji: prostota

i idąca za tym szybkość predykcji

co prowadzi do powszechności wykorzystania w

fizyce, technice, biologii, ekonomii, socjologii, ... astronomii.

(57)

Regresja

fizyce, technice, biologii, ekonomii, socjologii, ... astronomii.

(58)

Regresja

fizyce, technice, biologii, ekonomii, socjologii, astronomii.

(59)

Regresja

co prowadzi do powszechności wykorzystania w fizyce, technice, biologii, ekonomii, socjologii, astronomii.

(60)

Regresja

(61)

Regresja

(62)

Regresja

(63)

Regresja

(64)

Regresja

co prowadzi do powszechności wykorzystania w fizyce,

technice, biologii, ekonomii, socjologii,

(65)

Regresja

Najstarsze zastosowanie metody regresji (a właściwie metody najmnijszych kwadratów) to astronomia.

Adrien-Marie Legendre (1805) Carl Friedrich Gauss (1809)

Stephen M. Stigler (1981). ”Gauss and the Invention of Least Squares”. Ann. Stat. 9 (3): 465–474. doi:10.1214/aos/1176345451.

(66)

Regresja

Adrien-Marie Legendre (1805)

Carl Friedrich Gauss (1809)

(67)

Regresja

Adrien-Marie Legendre (1805) Carl Friedrich Gauss (1809)

(68)

Regresja

(69)

Regresja

Korelacja a wynikanie

(70)

Regresja

Średnia temaperatura vs. liczba piratów

średnia temp eeratura [°C] 16.5 16.0 15.5 15.0 14.5 14.0 13.5 13.0 2000 1980 1940 1920 1880 1860 1820

(71)

Regresja

Jordan Ellenberg, Jak się

nie pomylić (How not to be wrong), Wydawnictwo

(72)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Metoda najmniejszych kwadratów Kiedy stosować regresję (II) Algorytm gradientowy Regresja wielomianowa

(73)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Równanie normalne

Zależność jaką postulujemy w regresji liniowej można zapisać prościej w postaci iloczynu skalarnego,

y = ~θ · ~x ,

(74)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Równanie normalne

Jak już wiemy, naszym wejściem są elementy (x1, y1), (x2, y2), . . . , (xm, ym),

(75)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Równanie normalne

W postaci macierzowej wyniki obserwacji zapisujemy jako       1 x11 x12 . . . x1n 1 x21 x22 . . . x2n .. . ... ... . .. ... 1 xm1 xm1 . . . xmn             θ0 θ1 .. . θn       =       y1 y2 .. . ym       .

(76)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Równanie normalne

Czyli trenowanie modelu regresji sprowadza się do rozwiązania równania macierzowego

X θ = y , dla niewiadomej θ.

(77)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Równanie normalne

Metoda 1: Pseudoinwersja macierzy

Równanie można rozwiązać przy założeniu, że macierz XXT _jest

(78)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Równanie normalne

Przy tym założeniu i mnożąc obie strony równanie przez XT

dostajemy

XTX θ = XTy .

Odwracając XXT mamy

(79)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Równanie normalne

Pseudoinwersja Moore-Penrose’a macierzy

X+=XTX−1XT

Może być policzone dla macierzy nieodwracalnych.

(80)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Równanie normalne

Przykład z równaniem normalnym i pseudoinwersją... (normal-equation-ex.py)

(81)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Równanie normalne

W praktyce pseudoinwersja jest obliczna poprzez rozkład według

wartości osobliwych.

Singular Value Decomposition (SVD)

Dowolna macierz A ∈ Rm×n o elementach rzeczywistych, może być

przedstawiona w postaci

A = UΣVT,

(82)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Kiedy stosować regresję (II) Algorytm gradientowy Regresja wielomianowa

Trenowanie regresji

Metoda 2: minimalizacja funkcji celu

Rozwiązanie równania regresji jest równoznaczne minimalizacji funkcji

(83)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

W tym wypadku norma l2 ma postać

s X

i

(θixi − yi)2.

Jej minimalizacja jest równoważna minimalizacji X

i

(θixi − yi)2.

Dlatego regresję liniową utożsamia się z metodą najmniejszych

(84)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

W tym wypadku norma l2 ma postać

s X

i

(θixi − yi)2.

Jej minimalizacja jest równoważna minimalizacji X

i

(85)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Dlaczego l2?

Minimalizacja l2 jest równoważna maksymalizacji wiarygodności

(86)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Kiedy stosować regresję (II)

Algorytm gradientowy Regresja wielomianowa

Trenowanie regresji

Kiedy metoda najmniejszych kwadratów działa?

Zmienne są liniowo zależne.

X

Obserwacje są niezależne. Reszty mają rozkład normalny.

(87)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Kiedy metoda najmniejszych kwadratów działa? Zmienne są liniowo zależne.

X Obserwacje są niezależne. Reszty mają rozkład normalny.

(88)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Kiedy metoda najmniejszych kwadratów działa? Zmienne są liniowo zależne. X

(89)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Obserwacje są niezależne.

(90)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

(91)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Reszty to różnice między przewidywaniami naszego modelu a obserwacją,

i = ˆF (xi) − yi.

Określają one jak nasz model różni się od rzeczywistości,

i = ˆF (xi) − F (xi).

Żeby regresja liniowa działała musi zachodzić warunek p(i) = 1 √ 2πσ exp(− 2 i 2σ2),

(92)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

i = ˆF (xi) − F (xi).

Żeby regresja liniowa działała musi zachodzić warunek p(i) = 1 √ 2πσ exp(− 2 i 2σ2),

(93)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

i = ˆF (xi) − F (xi).

(94)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Wiarygodność

Funkcja wiarygodności jest określona jako p(y |x ; θ).

Maksymalizacja wiarygodności

Maksymalizacja wiarygodności daje funkcję celu, którą wykorzystujemy do uczenia regresji.

(95)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Wiarygodność

Funkcja wiarygodności jest określona jako p(y |x ; θ). Maksymalizacja wiarygodności

Maksymalizacja wiarygodności daje funkcję celu, którą wykorzystujemy do uczenia regresji.

(96)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Funkcja celu dla metody najmniejszych kwadratów

Żeby ocenić poprawność do danych, czyli dopasowanie do naszych danych (wiedzy), wprowadzamy funkcję celu

J(θ) = 1 2 m X i =1 ˆ Fθ(xi) − yi 2 ,

(97)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Funkcja celu jest funkcją parametrów modelu.

(98)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Metoda najmniejszych kwadratów Kiedy stosować regresję (II)

Algorytm gradientowy

Regresja wielomianowa

Trenowanie regresji

Metoda gradientu prostego (ang. gradient descent) to ogólna,

(99)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

1 Wybierz (losowy) punkt startowy θ₀.

2 _{Oblicz θ}

k+1 = θk− αk∇f (xk)

3 _{Zakończ jeżeli spełnione jest kryterium stopu.}

4 Jeżeli

f (xk+1) f (xk)

(100)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Metoda gradientowa może być stosowane w sytuacji gdy mamy do analizy wielowymiarową przestrzeń cech.

Najczęściej wykorzystywane polityki to: batch gradient descent,

stochastic gradient descent, mini-batch gradient descent.

Ogólna metoda gradientu prostego jest zaimplementowana w module scikits-learn jako SGDRegressor.

(101)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Ogólna metoda gradientu prostego jest zaimplementowana w module scikits-learn jako SGDRegressor.

(102)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

(103)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Metoda najmniejszych kwadratów Kiedy stosować regresję (II) Algorytm gradientowy

Trenowanie regresji

Brak zależności linowych

A jeżeli cech nie są zależne liniowo?

(104)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

Brak zależności linowych

A jeżeli cech nie są zależne liniowo?

(105)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

W modelu regresji wielomianowej zakładamy, że zależność jest postaci

yθ= θ0+ θ11x1+ θ12x12+ θ13x13.

Liniowość

(106)

Regresja

Trenowanie regresji

Regularyzacja

Równanie normalne

Trenowanie regresji

W modelu regresji wielomianowej zakładamy, że zależność jest postaci

yθ= θ0+ θ11x1+ θ12x12+ θ13x13.

Liniowość

(107)

Regresja Trenowanie regresji Regularyzacja Cel regularyzacji Regresja Tichonowa Regresja LASSO Regresja Elastic Net Jak dobrać regularyzację?

(108)

Regularyzacja

Cel regularyzacji

Regularyzacja to wzbogacenie modelu o dodatkową informację w

celu

uniknięcia przetrenowania

≡ zmniejszenia wariancji modelu

, uzyskania rozwiązania.

(109)

Regularyzacja

Cel regularyzacji

celu

uniknięcia przetrenowania

≡ zmniejszenia wariancji modelu

,

(110)

Regularyzacja

Cel regularyzacji

celu

uniknięcia przetrenowania ≡ zmniejszenia wariancji modelu,

(111)

Regularyzacja

Cel regularyzacji

celu

uniknięcia przetrenowania ≡ zmniejszenia wariancji modelu, uzyskania rozwiązania.

(112)

Regularyzacja

Regresja Tichonowa

Regularyzacja Tichonowa (ang. ridge regression) została zaproponowana do znajdywania rozwiązań zagadnień źle

postawionych.

Zagadnienie poprawnie postawione (dobrze postawione) Zagadnienie fizyczne lub matematyczne opisane przez układ równań różniczkowych cząstkowych i zachowujące się dobrze w zastosowaniach praktycznych.

(113)

Regularyzacja

Regresja Tichonowa

Regularyzacja Tichonowa (ang. ridge regression) została zaproponowana do znajdywania rozwiązań zagadnień źle

postawionych.

Zagadnienie poprawnie postawione (dobrze postawione) Zagadnienie fizyczne lub matematyczne opisane przez układ równań różniczkowych cząstkowych i zachowujące się dobrze w zastosowaniach praktycznych.

(114)

Regularyzacja

Regresja Tichonowa

W regularyzacji Tichonowa dodajemy do funkcji celu człon

n

X

i =1

θ_i2≡ kθk2₂.

Uwaga!

Człon regularyzacyjny jest dodawany do funkcji celu tylko w trakcie trenowania modelu! Służy on do wytrenowania modelu, ale nie jest stosowany do predykcji!

(115)

Regularyzacja

Regresja Tichonowa

n

X

i =1

θ_i2≡ kθk2₂.

Uwaga!

Człon regularyzacyjny jest dodawany do funkcji celu tylko w trakcie trenowania modelu! Służy on do wytrenowania modelu, ale nie jest stosowany do predykcji!

(116)

Regularyzacja

Regresja Tichonowa

n

X

i =1

θ_i2≡ kθk2₂.

Uwaga!

Człon regularyzacyjny jest dodawany do funkcji celu tylko w trakcie trenowania modelu!

Służy on do wytrenowania modelu, ale nie jest stosowany do predykcji!

(117)

Regularyzacja

Regresja Tichonowa

n

X

i =1

θ_i2≡ kθk2₂.

Uwaga!

Człon regularyzacyjny jest dodawany do funkcji celu tylko w trakcie trenowania modelu! Służy on do wytrenowania modelu, ale nie jest

(118)

Regularyzacja

Regresja Tichonowa

Funkcja celu kontrolowane jest hiperparametrem α, J(θ) = m X i =1 (θxi − yi)2+ α n X i =1 θ_i2

czyli zagadnienie sprowadza się do minimalizacji min

θ

(119)

Regularyzacja

Regresja Tichonowa

Funkcja celu kontrolowane jest hiperparametrem α, J(θ) = m X i =1 (θxi − yi)2+ α n X i =1 θ_i2

czyli zagadnienie sprowadza się do minimalizacji min

θ

(120)

Regresja Trenowanie regresji Regularyzacja Cel regularyzacji Regresja Tichonowa Regresja LASSO

Regresja Elastic Net Jak dobrać regularyzację?

Regularyzacja

Regresja LASSO

W regularyzacji LASSO (ang. Least Absolute Shrinkage and

Selection Operator Regression) dodajemy człon regularyzacyjny

postaci kθk1= n X i =1 |θi|,

czyli zagadnienie sprowadza się do minimalizacji min θ kθ · x − y k2₂+ αkθk1 .

(121)

Regularyzacja

Regresja LASSO

W regularyzacji LASSO (ang. Least Absolute Shrinkage and

Selection Operator Regression) dodajemy człon regularyzacyjny

postaci kθk1= n X i =1 |θi|,

czyli zagadnienie sprowadza się do minimalizacji min θ kθ · x − y k2₂+ αkθk1 .

(122)

Regularyzacja

Regresja LASSO

Regresja LASSO ma tendencję do eliminacji wpływu cech które mają mniejsze znaczenie.

(123)

Regresja Elastic Net

Jak dobrać regularyzację?

Regularyzacja

Regresja Elastic Net

Regresja Elastic Net jest połączeniem dwóch poprzednich rozwiązań. Funkcja kosztu jest w tym wypadku postaci

kθ · x − y k2₂+ r αkθk2₂+ α(1 − r )kθk1

Hiperparametr r kontroluje stosunek wpływu regresji LASSO i Tichonowa.

(124)

Regresja Trenowanie regresji Regularyzacja Cel regularyzacji Regresja Tichonowa Regresja LASSO Regresja Elastic Net

Regularyzacja

W praktyce

prawie zawsze regularyzacja pomaga,

regularyzacja Tichonowa jest dobrym punktem startowym, Elastic Net pozwala usunąć cechy o małym wpływie.

(125)

Regularyzacja

W praktyce

(126)

Regularyzacja

W praktyce

regularyzacja Tichonowa jest dobrym punktem startowym,

(127)

Regularyzacja

W praktyce

(128)