Wykład 04 – Od regresji do klasyfikacji

Regresja vs klasyfikacja Regresja logistyczna

Podstawy Uczenia Maszynowego

Jarosław Miszczak

24/03/2021

Regresja vs klasyfikacja Regresja logistyczna 1 Regresja vs klasyfikacja kNN do regresji Regresja do klasyfikacji 2 Regresja logistyczna Wprowadzenie Rozkład Bernouliego Funkcja logistyczne

Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja vs klasyfikacja Regresja logistyczna Wrażenia z laboratorium? ?... ?... ?... 3 / 45

Regresja vs klasyfikacja Regresja logistyczna Wrażenia z laboratorium? ?... ?... ?... 3 / 45

Regresja vs klasyfikacja Regresja logistyczna Wrażenia z laboratorium? ?... ?... ?... 3 / 45

Regresja vs klasyfikacja Regresja logistyczna

Co to jest regresja? ?...

?...

Czym się różni od klasyfikacji?

Regresja vs klasyfikacja Regresja logistyczna

Co to jest regresja? ?...

?...

Czym się różni od klasyfikacji?

Regresja vs klasyfikacja Regresja logistyczna

Co to jest regresja? ?...

?...

Czym się różni od klasyfikacji?

Regresja vs klasyfikacja Regresja logistyczna

Z jakich powodów stosowane jest regresja liniowa? ?...

?...

A do czego jest kNN?

Regresja vs klasyfikacja Regresja logistyczna

Z jakich powodów stosowane jest regresja liniowa? ?...

?...

A do czego jest kNN?

Regresja vs klasyfikacja Regresja logistyczna

Z jakich powodów stosowane jest regresja liniowa? ?...

?...

A do czego jest kNN?

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Jak zwykle w uczeniu nadzorowanym, naszym wejściem są elementy (x1, y1), (x2, y2), . . . , (xm, ym),

czyli cechy xi wraz z etykietami yi.

Regresja vs klasyfikacja

W przypadku klasyfikacji zakładamy, że yi należy do zbioru

skończonego.

W przypadku regresji dopuszczamy yi ∈ R.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Jak zwykle w uczeniu nadzorowanym, naszym wejściem są elementy (x1, y1), (x2, y2), . . . , (xm, ym),

czyli cechy xi wraz z etykietami yi.

Regresja vs klasyfikacja

W przypadku klasyfikacji zakładamy, że yi należy do zbioru

skończonego.

W przypadku regresji dopuszczamy yi ∈ R.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Jak zwykle w uczeniu nadzorowanym, naszym wejściem są elementy (x1, y1), (x2, y2), . . . , (xm, ym),

czyli cechy xi wraz z etykietami yi.

Regresja vs klasyfikacja

W przypadku klasyfikacji zakładamy, że yi należy do zbioru

skończonego.

W przypadku regresji dopuszczamy yi ∈ R.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Jak zwykle w uczeniu nadzorowanym, naszym wejściem są elementy (x1, y1), (x2, y2), . . . , (xm, ym),

czyli cechy xi wraz z etykietami yi.

Regresja vs klasyfikacja

W przypadku klasyfikacji zakładamy, że yi należy do zbioru

skończonego.

W przypadku regresji dopuszczamy yi ∈ R.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Do tej pory mieliśmy do czynienie z

kNN do klasyfikacji – predykcja klasy dla nowego przykładu odbywa się na podstawie informacji na temat sąsiadów regresją liniową do regresji – predykcja wartości dla nowego argumentu odbywa się na podstawie wyliczenia wartości funkcji

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Do tej pory mieliśmy do czynienie z

kNN do klasyfikacji – predykcja klasy dla nowego przykładu odbywa się na podstawie informacji na temat sąsiadów

regresją liniową do regresji – predykcja wartości dla nowego argumentu odbywa się na podstawie wyliczenia wartości funkcji

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Do tej pory mieliśmy do czynienie z

kNN do klasyfikacji – predykcja klasy dla nowego przykładu odbywa się na podstawie informacji na temat sąsiadów regresją liniową do regresji – predykcja wartości dla nowego argumentu odbywa się na podstawie wyliczenia wartości funkcji

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Jak zastosować kNN do regresji?

Wartość dla nowego przykładu jest liczona jako wartość na podstawie średniej wartości dla sąsiadów.

Wartości mogą być ważone, np. z wagą odwrotną do odległości sąsiada.

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Jak zastosować kNN do regresji?

Wartość dla nowego przykładu jest liczona jako wartość na podstawie średniej wartości dla sąsiadów.

Wartości mogą być ważone, np. z wagą odwrotną do odległości sąsiada.

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Jak zastosować kNN do regresji?

Wartość dla nowego przykładu jest liczona jako wartość na podstawie średniej wartości dla sąsiadów.

Wartości mogą być ważone, np. z wagą odwrotną do odległości sąsiada.

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Przykład wykorzystania kNN w regresji... (knn-regression-ex.py)

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 1, weights = 'uniform')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 2, weights = 'uniform')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 3, weights = 'uniform')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 4, weights = 'uniform')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 5, weights = 'uniform')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 6, weights = 'uniform')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 7, weights = 'uniform')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 8, weights = 'uniform')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 9, weights = 'uniform')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 10, weights = 'uniform')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 1, weights = 'distance')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 2, weights = 'distance')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 3, weights = 'distance')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 4, weights = 'distance')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 5, weights = 'distance')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 6, weights = 'distance')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 7, weights = 'distance')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 8, weights = 'distance')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 9, weights = 'distance')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

KNeighborsRegressor (k = 10, weights = 'distance')

dane predykcja rzeczywisto

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Skoro kNN może być wykorzystywany jako regresor, to i regresja liniowa może być wykorzystana do klasyfikacji.

Podział przestrzeni wejściowej – przestrzeń danych jest dzielona na obszary bez zadanej przynależności do klas (Przykład 1).

Klasyfikacja na podstawie modelu liniowego – na podstawie danych wejściowych jest tworzony model podziału na klasy (Przykład 2).

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Skoro kNN może być wykorzystywany jako regresor, to i regresja liniowa może być wykorzystana do klasyfikacji.

Podział przestrzeni wejściowej – przestrzeń danych jest dzielona na obszary bez zadanej przynależności do klas (Przykład 1).

Klasyfikacja na podstawie modelu liniowego – na podstawie danych wejściowych jest tworzony model podziału na klasy (Przykład 2).

Regresja vs klasyfikacja Regresja logistyczna kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Skoro kNN może być wykorzystywany jako regresor, to i regresja liniowa może być wykorzystana do klasyfikacji.

Podział przestrzeni wejściowej – przestrzeń danych jest dzielona na obszary bez zadanej przynależności do klas (Przykład 1).

Klasyfikacja na podstawie modelu liniowego – na podstawie danych wejściowych jest tworzony model podziału na klasy (Przykład 2).

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykłady)

Przykłady

Przykłady zastosowanie regresji do klasyfikacji... (lr-classification-ex.py)

Dane wejściowe to pary(xi, yi), gdzie xi to wzrost, który

klasyfikujemy jako yi ∈ {niski, wysoki}.

Nasze zadanie to zaklasyfikowanie nowego przykładu.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykłady)

Przykłady

Przykłady zastosowanie regresji do klasyfikacji... (lr-classification-ex.py)

Dane wejściowe to pary(xi, yi), gdzie xi to wzrost, który

klasyfikujemy jako yi ∈ {niski, wysoki}.

Nasze zadanie to zaklasyfikowanie nowego przykładu.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykłady)

Przykłady

Przykłady zastosowanie regresji do klasyfikacji... (lr-classification-ex.py)

Dane wejściowe to pary(xi, yi), gdzie xi to wzrost, który

klasyfikujemy jako yi ∈ {niski, wysoki}.

Nasze zadanie to zaklasyfikowanie nowego przykładu.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykład 1)

Jeżeli nie uwzględniamy klas, to nasze zadanie sprowadza się do podziału przestrzeni cech na grupy (klastry).

To sprowadza uczenie modelu do minimalizacji błędu

min

??? f(???) = min???

X

i

(xi− a)2,

gdzie y = a to prosta wyznaczające granice decyzji. Klasyfikacja

odbywa się poprzez określenie

yk = sgn(xk − a)

i przypisanie niski ≡ −1 oraz wysoki ≡ 1. Jak jest określony model?

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykład 1)

Jeżeli nie uwzględniamy klas, to nasze zadanie sprowadza się do podziału przestrzeni cech na grupy (klastry). To sprowadza uczenie modelu do minimalizacji błędu

min

??? f(???) = min???

X

i

(xi− a)2,

gdzie y = a to prosta wyznaczające granice decyzji.

Klasyfikacja odbywa się poprzez określenie

yk = sgn(xk − a)

i przypisanie niski ≡ −1 oraz wysoki ≡ 1. Jak jest określony model?

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykład 1)

Jeżeli nie uwzględniamy klas, to nasze zadanie sprowadza się do podziału przestrzeni cech na grupy (klastry). To sprowadza uczenie modelu do minimalizacji błędu

min

??? f(???) = min???

X

i

(xi− a)2,

gdzie y = a to prosta wyznaczające granice decyzji. Klasyfikacja

odbywa się poprzez określenie

yk = sgn(xk − a)

i przypisanie niski ≡ −1 oraz wysoki ≡ 1.

Jak jest określony model?

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykład 1)

Jeżeli nie uwzględniamy klas, to nasze zadanie sprowadza się do podziału przestrzeni cech na grupy (klastry). To sprowadza uczenie modelu do minimalizacji błędu

min

??? f(???) = min???

X

i

(xi− a)2,

gdzie y = a to prosta wyznaczające granice decyzji. Klasyfikacja

odbywa się poprzez określenie

yk = sgn(xk − a)

i przypisanie niski ≡ −1 oraz wysoki ≡ 1. Jak jest określony model?

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykład 1)

150 160 170 180 190 200 0.0 0.2 0.4 0.6 0.8 1.0

Klasyfikacja na podstawie podzia lu zbioru

dane predykcja

Opis przykładu w pliku lr-classification-ex.py.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykład 2)

W drugim podejściu przyjmujemy, model liniowy yk = a0+ a1xk.

Uczenie modelu to minimalizacji

minX

i

(a0+ a1xi − yi)2.

Wynik klasyfikacji zależy od progu dla którego yk będzie

przypisane do klasu 0 lub klasy 1.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykład 2)

W drugim podejściu przyjmujemy, model liniowy yk = a0+ a1xk.

Uczenie modelu to minimalizacji

minX

i

(a0+ a1xi − yi)2.

Wynik klasyfikacji zależy od progu dla którego yk będzie

przypisane do klasu 0 lub klasy 1.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykład 2)

W drugim podejściu przyjmujemy, model liniowy yk = a0+ a1xk.

Uczenie modelu to minimalizacji

minX

i

(a0+ a1xi − yi)2.

Wynik klasyfikacji zależy od progu dla którego yk będzie

przypisane do klasu 0 lub klasy 1.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Przykład 2)

150 160 170 180 190 200 −0.50 −0.25 0.00 0.25 0.50 0.75 1.00 1.25

Klasyfikacja na podstawie modelu liniowego

dane model liniowy model liniowy (predykcja)

Opis przykładu w pliku lr-classification-ex.py.

Regresja vs klasyfikacja Regresja logistyczna

kNN do regresji Regresja do klasyfikacji

Regresja vs klasyfikacja

Regresja do klasyfikacji (Porównanie przykładow)

150 160 170 180 190 200 0.0 0.2 0.4 0.6 0.8 1.0

Por´ownanie przyk lad´ow 1 i 2

dane przyk lad 1 przyk lad 2

Opis przykładu w pliku lr-classification-ex.py.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Wprowadzenie

Jak pamiętamy z wykładu Regresja i regularyzacja, regresja liniowa działa o ile nasze obserwacje spełniają kilka założeń.

Założenia działania regresji liniowej . . .

. . . . . .

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Wprowadzenie

Jak pamiętamy z wykładu Regresja i regularyzacja, regresja liniowa działa o ile nasze obserwacje spełniają kilka założeń.

Założenia działania regresji liniowej . . .

. . . . . .

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Wprowadzenie

W przypadku regresji (liniowej) nasz model był zbudowany przy założeniu, że przewidywane wartości są liniowo zależne od cech systemu.

Dodatkowo założyliśmy, że reszty mają rozkład normalny, a pomiary są niezależne.

Zastosowanie tych założeń do klasyfikacji prowadzi do sytuacji opisanej w poprzednich przykładach.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Wprowadzenie

W przypadku regresji (liniowej) nasz model był zbudowany przy założeniu, że przewidywane wartości są liniowo zależne od cech systemu.

Dodatkowo założyliśmy, że reszty mają rozkład normalny, a pomiary są niezależne.

Zastosowanie tych założeń do klasyfikacji prowadzi do sytuacji opisanej w poprzednich przykładach.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Wprowadzenie

W przypadku regresji (liniowej) nasz model był zbudowany przy założeniu, że przewidywane wartości są liniowo zależne od cech systemu.

Dodatkowo założyliśmy, że reszty mają rozkład normalny, a pomiary są niezależne.

Zastosowanie tych założeń do klasyfikacji prowadzi do sytuacji opisanej w poprzednich przykładach.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Co a co jeżeli chcemy żeby nasze wyniki można było zinterpretować jako prawdopodobieństwo przynależności do klasy?

Taka sytuacja przypomina rzut monetą.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Co a co jeżeli chcemy żeby nasze wyniki można było zinterpretować jako prawdopodobieństwo przynależności do klasy?

Taka sytuacja przypomina rzut monetą.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Coś co przypomina rzut monetą

Załóżmy, że nasz proces/rzeczywistość (funkcja F którą staramy się zgadnąć w wyniku uczenia maszynowego) z jakimś rozkładem prawdopodobieństwa może dać odpowiedź 0 (orzeł) albo 1 (reszka) przy obserwacji x .

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

W takiej sytuacji możemy się spodziewać tylko wyników tak ≡ 1 lub nie ≡ 0, czyli proces daje wyniki z rozkładem Bernouliego

p(y |φ) = φy_{(1 − φ)}1−y_.

Parametr φ określa w jaki sposób działa rzeczywisty proces

przypisywania wyników (odpowiedzi). Podstawiając y = 1

dostajemy

p(1|φ) = φ,

czyli φ określa ona z jakim prawdopodobieństwem y należy do klasy 1 (a 1 − φ, że należy do klasy 0).

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

W takiej sytuacji możemy się spodziewać tylko wyników tak ≡ 1 lub nie ≡ 0, czyli proces daje wyniki z rozkładem Bernouliego

p(y |φ) = φy_{(1 − φ)}1−y_.

Parametr φ określa w jaki sposób działa rzeczywisty proces przypisywania wyników (odpowiedzi).

Podstawiając y = 1

dostajemy

p(1|φ) = φ,

czyli φ określa ona z jakim prawdopodobieństwem y należy do klasy 1 (a 1 − φ, że należy do klasy 0).

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

W takiej sytuacji możemy się spodziewać tylko wyników tak ≡ 1 lub nie ≡ 0, czyli proces daje wyniki z rozkładem Bernouliego

p(y |φ) = φy_{(1 − φ)}1−y_.

Parametr φ określa w jaki sposób działa rzeczywisty proces

przypisywania wyników (odpowiedzi). Podstawiając y = 1

dostajemy

p(1|φ) = φ,

czyli φ określa ona z jakim prawdopodobieństwem y należy do klasy 1 (a 1 − φ, że należy do klasy 0).

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Czyli założyliśmy, że dostaniemy odpowiedź 1 albo 0,

ale chwilowo nie wiemy jak ma się φ do naszych danych ze zbioru

treningowego...

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Czyli założyliśmy, że dostaniemy odpowiedź 1 albo 0, ale chwilowo nie wiemy jak ma się φ do naszych danych ze zbioru

treningowego...

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Traktując prawą stronę p(y |φ) = φy_{(1 − φ)}y _{logarytmem i funkcją}

wykładniczą dostajemy

p(y |φ) = exphln(φy_{(1 − φ)}1−y₎i_,

co daje p(y |φ) = exp [y ln φ + (1 − y ln(1 − φ))] i w końcu p(y |φ) = (1 − φ) exp  yln φ 1 − φ  . 27 / 45

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Traktując prawą stronę p(y |φ) = φy_{(1 − φ)}y _{logarytmem i funkcją}

wykładniczą dostajemy

p(y |φ) = exphln(φy_{(1 − φ)}1−y₎i_,

co daje p(y |φ) = exp [y ln φ + (1 − y ln(1 − φ))] i w końcu p(y |φ) = (1 − φ) exp  yln φ 1 − φ  . 27 / 45

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Traktując prawą stronę p(y |φ) = φy_{(1 − φ)}y _{logarytmem i funkcją}

wykładniczą dostajemy

p(y |φ) = exphln(φy_{(1 − φ)}1−y₎i_,

co daje p(y |φ) = exp [y ln φ + (1 − y ln(1 − φ))] i w końcu p(y |φ) = (1 − φ) exp  yln φ 1 − φ  . 27 / 45

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Traktując prawą stronę p(y |φ) = φy_{(1 − φ)}y _{logarytmem i funkcją}

wykładniczą dostajemy

p(y |φ) = exphln(φy_{(1 − φ)}1−y₎i_,

co daje p(y |φ) = exp [y ln φ + (1 − y ln(1 − φ))] i w końcu p(y |φ) = (1 − φ) exp  yln φ 1 − φ  . 27 / 45

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Czyli prawdopodobieństwo przypisania klasy y wynosi p(y |φ) = (1 − φ) exp  yln φ 1 − φ  . 28 / 45

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Dla uproszczenie wprowadzamy parametr

α= ln φ 1 − φ

czyli logarytm stosunku prawdopodobieństwa przynależności do klasy 1 do prawdopodobieństwa przynależności do klasy 0 (ang.

log-odds ratio).

Dzięki temu nasze prawdopodobieństwo można zapisać jako

φ= 1

1+ e−α.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Dla uproszczenie wprowadzamy parametr

α= ln φ 1 − φ

czyli logarytm stosunku prawdopodobieństwa przynależności do klasy 1 do prawdopodobieństwa przynależności do klasy 0 (ang.

log-odds ratio).

Dzięki temu nasze prawdopodobieństwo można zapisać jako

φ= 1

1+ e−α.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Dla uproszczenie wprowadzamy parametr

α= ln φ 1 − φ

czyli logarytm stosunku prawdopodobieństwa przynależności do klasy 1 do prawdopodobieństwa przynależności do klasy 0 (ang.

log-odds ratio).

Dzięki temu nasze prawdopodobieństwo można zapisać jako

φ= 1

1+ e−α.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Rodzina rozkładów wykładniczych

Warto zauważyć, że nasz rozkład ma formę podobną do rozkładu normalnego

p(y |φ) ≈ exp(y logit(φ)).

gdzie logit(φ) = ln_1−φφ , ma formę podobną do rozkładu Gaussa.

Oba rozkłady należą do rodziny rozkładów wykładniczych, które są postaci

fX(x|θ) = h(x) exp [η(θ) · T (x) − A(θ)]

gdzie T(x), h(x), η(x) oraz (θ) są zadanymi funkcjami. Więcej na: https://en.wikipedia.org/wiki/Exponential family

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Rodzina rozkładów wykładniczych

Warto zauważyć, że nasz rozkład ma formę podobną do rozkładu normalnego

p(y |φ) ≈ exp(y logit(φ)).

gdzie logit(φ) = ln_1−φφ , ma formę podobną do rozkładu Gaussa.

Oba rozkłady należą do rodziny rozkładów wykładniczych, które są postaci

fX(x|θ) = h(x) exp [η(θ) · T (x) − A(θ)]

gdzie T(x), h(x), η(x) oraz (θ) są zadanymi funkcjami. Więcej na: https://en.wikipedia.org/wiki/Exponential family

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Rodzina rozkładów wykładniczych

Warto zauważyć, że nasz rozkład ma formę podobną do rozkładu normalnego

p(y |φ) ≈ exp(y logit(φ)).

gdzie logit(φ) = ln_1−φφ , ma formę podobną do rozkładu Gaussa.

Oba rozkłady należą do rodziny rozkładów wykładniczych, które są postaci

fX(x|θ) = h(x) exp [η(θ) · T (x) − A(θ)]

gdzie T(x), h(x), η(x) oraz (θ) są zadanymi funkcjami.

Więcej na: https://en.wikipedia.org/wiki/Exponential family

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Rodzina rozkładów wykładniczych

Warto zauważyć, że nasz rozkład ma formę podobną do rozkładu normalnego

p(y |φ) ≈ exp(y logit(φ)).

gdzie logit(φ) = ln_1−φφ , ma formę podobną do rozkładu Gaussa.

Oba rozkłady należą do rodziny rozkładów wykładniczych, które są postaci

fX(x|θ) = h(x) exp [η(θ) · T (x) − A(θ)]

gdzie T(x), h(x), η(x) oraz (θ) są zadanymi funkcjami. Więcej na: https://en.wikipedia.org/wiki/Exponential family

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

Zależność od obserwacji

Jeżeli nasz algorytm ma być modelem rzeczywistości (czyli naszych obserwacji), to parametr φ powinien zawierać zależności od

obserwacji (nasze wejście to pary(xi, yi)).

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

W jaki sposób możemy uzależnić prawdopodobieństwo uzyskania odpowiedzi od obserwacji?

W tym wypadku naszym jedynym parametrem jest α, czyli logarytm stosunku prawdopodobieństw. Najprostsze co możemy zrobić to przyjąć, iż

α= θ · x.

W ten sposób

φθ(x) =

1

1+ e−θ·x

to prawdopodobieństwo, że wektor cech x zostanie zaklasyfikowanych do klasy 1.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

W jaki sposób możemy uzależnić prawdopodobieństwo uzyskania odpowiedzi od obserwacji?

W tym wypadku naszym jedynym parametrem jest α, czyli logarytm stosunku prawdopodobieństw. Najprostsze co możemy zrobić to przyjąć, iż

α= θ · x.

W ten sposób

φθ(x) =

1

1+ e−θ·x

to prawdopodobieństwo, że wektor cech x zostanie zaklasyfikowanych do klasy 1.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Rozkład Bernouliego

W jaki sposób możemy uzależnić prawdopodobieństwo uzyskania odpowiedzi od obserwacji?

W tym wypadku naszym jedynym parametrem jest α, czyli logarytm stosunku prawdopodobieństw. Najprostsze co możemy zrobić to przyjąć, iż

α= θ · x.

W ten sposób

φθ(x) =

1

1+ e−θ·x

to prawdopodobieństwo, że wektor cech x zostanie zaklasyfikowanych do klasy 1.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Funkcja logistyczne

Funkcja logistyczna została wprowadzona około roku 1830 jako model rozwoju populacji.

Pierre Franc¸ois Verhulst Adolphe Quetelet

https://en.wikipedia.org/wiki/Logistic function

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Funkcja logistyczne

Regresja logistyczna rozwiązuje zadanie klasyfikacji. Predykcja klasy

Predykcja klasy odbywa się na podstawie prawdopodobieństwa przynależności do klasy ˆF(x) = ˆy , ˆ y = ( 0 jeżeli σ(x) < 0.5 1 jeżeli σ(x) ­ 0.5 . 36 / 45

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Klasyfikacja z wykorzystaniem regresji logistycznej

przyk lad 1 logit

Na podstawie przykładu z (lr-classification-ex.py)

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Trenowanie regresji logistycznej

Zadaniem uczenia maszynowego jest określenie w jaki sposób

tworzyć modele żeby nasze przewidywania (czyli ˆF ) były jak

najlepsze.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Trenowanie regresji logistycznej

W tym przypadku chcemy, żeby maksymalizaować prawdopodobieństwo poprawnej klasyfikacji,

ok(y ; θ) =

(

p(y ; θ) dla y = 1

1 − p(y ; θ) dla y = 0 .

W funkcji kosztu dokonujemy minimalizacji, a ponieważ możemy minimalizować dowolną monotoniczna funkcję prawdopodobieństw, nasze składniki dla poszczególnych instancji sa postaci

c(y ; θ) =

(

−log p(y ; θ) dla y = 1

−log(1 − p(y ; θ)) dla y = 0 .

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Trenowanie regresji logistycznej

W tym przypadku chcemy, żeby maksymalizaować prawdopodobieństwo poprawnej klasyfikacji,

ok(y ; θ) =

(

p(y ; θ) dla y = 1

1 − p(y ; θ) dla y = 0 .

W funkcji kosztu dokonujemy minimalizacji, a ponieważ możemy minimalizować dowolną monotoniczna funkcję prawdopodobieństw, nasze składniki dla poszczególnych instancji sa postaci

c(y ; θ) =

(

−log p(y ; θ) dla y = 1

−log(1 − p(y ; θ)) dla y = 0 .

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Trenowanie regresji logistycznej

Minimalizacja średniej wartości pomyłki na całym zbiorze treningowym daje J(θ) = −1 m m X i =1 [yiln σ(xi) + (1 − yi) ln(1 − σ(xi)))] 40 / 45

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Interpretacja geometryczna

Interpretacja geometryczna

Regresja logistyczna przewiduje przynależność do klasy na podstawie wartość iloczynu skalarnego parametrów θ i wektora cech.

Iloczyn skalarny to kąt między wektorem cech a

hiperpłaszczyzną wyznaczaną przez parametry modelu.

Wartość predykcji zależy od znaku argumentu funkcji σ(x).

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Interpretacja geometryczna

Interpretacja geometryczna

Regresja logistyczna przewiduje przynależność do klasy na podstawie wartość iloczynu skalarnego parametrów θ i wektora cech.

Iloczyn skalarny to kąt między wektorem cech a

hiperpłaszczyzną wyznaczaną przez parametry modelu.

Wartość predykcji zależy od znaku argumentu funkcji σ(x).

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Interpretacja geometryczna

Interpretacja geometryczna

Regresja logistyczna przewiduje przynależność do klasy na podstawie wartość iloczynu skalarnego parametrów θ i wektora cech.

Iloczyn skalarny to kąt między wektorem cech a

hiperpłaszczyzną wyznaczaną przez parametry modelu.

Wartość predykcji zależy od znaku argumentu funkcji σ(x).

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Najprostsza sieć neuronowa

Regresja logistyczna dokonuje klasyfikacji poprzez

wyliczenie wartości kombinacji liniowej cech, zastosowanie funkcji nieliniowej.

No i mamy sieć neuronową

Są to podstawowe elementy będące podstawą tworzenia sztucznych sieci neuronowych.

Zatem regresja logistyczna to najprostszy przykład sieci neuronowej.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Najprostsza sieć neuronowa

Regresja logistyczna dokonuje klasyfikacji poprzez wyliczenie wartości kombinacji liniowej cech,

zastosowanie funkcji nieliniowej. No i mamy sieć neuronową

Są to podstawowe elementy będące podstawą tworzenia sztucznych sieci neuronowych.

Zatem regresja logistyczna to najprostszy przykład sieci neuronowej.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Najprostsza sieć neuronowa

Regresja logistyczna dokonuje klasyfikacji poprzez wyliczenie wartości kombinacji liniowej cech, zastosowanie funkcji nieliniowej.

No i mamy sieć neuronową

Są to podstawowe elementy będące podstawą tworzenia sztucznych sieci neuronowych.

Zatem regresja logistyczna to najprostszy przykład sieci neuronowej.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Najprostsza sieć neuronowa

Regresja logistyczna dokonuje klasyfikacji poprzez wyliczenie wartości kombinacji liniowej cech, zastosowanie funkcji nieliniowej.

No i mamy sieć neuronową

Są to podstawowe elementy będące podstawą tworzenia sztucznych sieci neuronowych.

Zatem regresja logistyczna to najprostszy przykład sieci neuronowej.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Najprostsza sieć neuronowa

Regresja logistyczna dokonuje klasyfikacji poprzez wyliczenie wartości kombinacji liniowej cech, zastosowanie funkcji nieliniowej.

No i mamy sieć neuronową

Są to podstawowe elementy będące podstawą tworzenia sztucznych sieci neuronowych.

Zatem regresja logistyczna to najprostszy przykład sieci neuronowej.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Najprostsza sieć neuronowa

1 x1 x2 .. . xm P θ0 θ1 θ2 θm 0 czy 1? 43 / 45

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Najprostsza sieć neuronowa

Perceptron

Najprostsza sieć neuronowa, złożona z neuronów McCullocha-Pittsa, to perceptron.

Perceptron może być wykorzystywany do klasyfikacji zbiorów

separowalnych liniowo.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Regresja logistyczna

Najprostsza sieć neuronowa

Perceptron

Najprostsza sieć neuronowa, złożona z neuronów McCullocha-Pittsa, to perceptron.

Perceptron może być wykorzystywany do klasyfikacji zbiorów

separowalnych liniowo.

Regresja vs klasyfikacja Regresja logistyczna

Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa

Następny wykład: Maszyny wektorów wspierających.