Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
20 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Wprowadzenie
Jak pamiętamy z wykładu Regresja i regularyzacja, regresja liniowa działa o ile nasze obserwacje spełniają kilka założeń.
Założenia działania regresji liniowej . . .
. . . . . .
21 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Wprowadzenie
Jak pamiętamy z wykładu Regresja i regularyzacja, regresja liniowa działa o ile nasze obserwacje spełniają kilka założeń.
Założenia działania regresji liniowej . . .
. . . . . .
21 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Wprowadzenie
W przypadku regresji (liniowej) nasz model był zbudowany przy założeniu, że przewidywane wartości są liniowo zależne od cech systemu.
Dodatkowo założyliśmy, że reszty mają rozkład normalny, a pomiary są niezależne.
Zastosowanie tych założeń do klasyfikacji prowadzi do sytuacji opisanej w poprzednich przykładach.
22 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Wprowadzenie
W przypadku regresji (liniowej) nasz model był zbudowany przy założeniu, że przewidywane wartości są liniowo zależne od cech systemu.
Dodatkowo założyliśmy, że reszty mają rozkład normalny, a pomiary są niezależne.
Zastosowanie tych założeń do klasyfikacji prowadzi do sytuacji opisanej w poprzednich przykładach.
22 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Wprowadzenie
W przypadku regresji (liniowej) nasz model był zbudowany przy założeniu, że przewidywane wartości są liniowo zależne od cech systemu.
Dodatkowo założyliśmy, że reszty mają rozkład normalny, a pomiary są niezależne.
Zastosowanie tych założeń do klasyfikacji prowadzi do sytuacji opisanej w poprzednich przykładach.
22 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Co a co jeżeli chcemy żeby nasze wyniki można było zinterpretować jako prawdopodobieństwo przynależności do klasy?
Taka sytuacja przypomina rzut monetą.
23 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Co a co jeżeli chcemy żeby nasze wyniki można było zinterpretować jako prawdopodobieństwo przynależności do klasy?
Taka sytuacja przypomina rzut monetą.
23 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Coś co przypomina rzut monetą
Załóżmy, że nasz proces/rzeczywistość (funkcja F którą staramy się zgadnąć w wyniku uczenia maszynowego) z jakimś rozkładem prawdopodobieństwa może dać odpowiedź 0 (orzeł) albo 1 (reszka) przy obserwacji x .
24 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
W takiej sytuacji możemy się spodziewać tylko wyników tak ≡ 1 lub nie ≡ 0, czyli proces daje wyniki z rozkładem Bernouliego
p(y |φ) = φy(1 − φ)1−y.
Parametr φ określa w jaki sposób działa rzeczywisty proces przypisywania wyników (odpowiedzi). Podstawiając y = 1 dostajemy
p(1|φ) = φ,
czyli φ określa ona z jakim prawdopodobieństwem y należy do klasy 1 (a 1 − φ, że należy do klasy 0).
25 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
W takiej sytuacji możemy się spodziewać tylko wyników tak ≡ 1 lub nie ≡ 0, czyli proces daje wyniki z rozkładem Bernouliego
p(y |φ) = φy(1 − φ)1−y.
Parametr φ określa w jaki sposób działa rzeczywisty proces przypisywania wyników (odpowiedzi).
Podstawiając y = 1 dostajemy
p(1|φ) = φ,
czyli φ określa ona z jakim prawdopodobieństwem y należy do klasy 1 (a 1 − φ, że należy do klasy 0).
25 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
W takiej sytuacji możemy się spodziewać tylko wyników tak ≡ 1 lub nie ≡ 0, czyli proces daje wyniki z rozkładem Bernouliego
p(y |φ) = φy(1 − φ)1−y.
Parametr φ określa w jaki sposób działa rzeczywisty proces przypisywania wyników (odpowiedzi). Podstawiając y = 1 dostajemy
p(1|φ) = φ,
czyli φ określa ona z jakim prawdopodobieństwem y należy do klasy 1 (a 1 − φ, że należy do klasy 0).
25 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Czyli założyliśmy, że dostaniemy odpowiedź 1 albo 0,
ale chwilowo nie wiemy jak ma się φ do naszych danych ze zbioru
treningowego...
26 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Czyli założyliśmy, że dostaniemy odpowiedź 1 albo 0, ale chwilowo nie wiemy jak ma się φ do naszych danych ze zbioru
treningowego...
26 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Traktując prawą stronę p(y |φ) = φy(1 − φ)y logarytmem i funkcją wykładniczą dostajemy
p(y |φ) = exphln(φy(1 − φ)1−y)i, co daje
p(y |φ) = exp [y ln φ + (1 − y ln(1 − φ))]
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Traktując prawą stronę p(y |φ) = φy(1 − φ)y logarytmem i funkcją wykładniczą dostajemy
p(y |φ) = exphln(φy(1 − φ)1−y)i,
co daje
p(y |φ) = exp [y ln φ + (1 − y ln(1 − φ))]
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Traktując prawą stronę p(y |φ) = φy(1 − φ)y logarytmem i funkcją wykładniczą dostajemy
p(y |φ) = exphln(φy(1 − φ)1−y)i, co daje
p(y |φ) = exp [y ln φ + (1 − y ln(1 − φ))]
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Traktując prawą stronę p(y |φ) = φy(1 − φ)y logarytmem i funkcją wykładniczą dostajemy
p(y |φ) = exphln(φy(1 − φ)1−y)i, co daje
p(y |φ) = exp [y ln φ + (1 − y ln(1 − φ))]
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Czyli prawdopodobieństwo przypisania klasy y wynosi p(y |φ) = (1 − φ) exp
yln φ 1 − φ
.
28 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Dla uproszczenie wprowadzamy parametr α= ln φ
1 − φ
czyli logarytm stosunku prawdopodobieństwa przynależności do klasy 1 do prawdopodobieństwa przynależności do klasy 0 (ang. log-odds ratio).
Dzięki temu nasze prawdopodobieństwo można zapisać jako
φ= 1
1+ e−α.
29 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Dla uproszczenie wprowadzamy parametr α= ln φ
1 − φ
czyli logarytm stosunku prawdopodobieństwa przynależności do klasy 1 do prawdopodobieństwa przynależności do klasy 0 (ang.
log-odds ratio).
Dzięki temu nasze prawdopodobieństwo można zapisać jako
φ= 1
1+ e−α.
29 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Dla uproszczenie wprowadzamy parametr α= ln φ
1 − φ
czyli logarytm stosunku prawdopodobieństwa przynależności do klasy 1 do prawdopodobieństwa przynależności do klasy 0 (ang.
log-odds ratio).
Dzięki temu nasze prawdopodobieństwo można zapisać jako
φ= 1
1+ e−α.
29 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Rodzina rozkładów wykładniczych
Warto zauważyć, że nasz rozkład ma formę podobną do rozkładu normalnego
p(y |φ) ≈ exp(y logit(φ)).
gdzie logit(φ) = ln1−φφ , ma formę podobną do rozkładu Gaussa. Oba rozkłady należą do rodziny rozkładów wykładniczych, które są postaci
fX(x|θ) = h(x) exp [η(θ) · T (x) − A(θ)] gdzie T(x), h(x), η(x) oraz (θ) są zadanymi funkcjami. Więcej na: https://en.wikipedia.org/wiki/Exponential family
30 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Rodzina rozkładów wykładniczych
Warto zauważyć, że nasz rozkład ma formę podobną do rozkładu normalnego
p(y |φ) ≈ exp(y logit(φ)).
gdzie logit(φ) = ln1−φφ , ma formę podobną do rozkładu Gaussa.
Oba rozkłady należą do rodziny rozkładów wykładniczych, które są postaci
fX(x|θ) = h(x) exp [η(θ) · T (x) − A(θ)] gdzie T(x), h(x), η(x) oraz (θ) są zadanymi funkcjami. Więcej na: https://en.wikipedia.org/wiki/Exponential family
30 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Rodzina rozkładów wykładniczych
Warto zauważyć, że nasz rozkład ma formę podobną do rozkładu normalnego
p(y |φ) ≈ exp(y logit(φ)).
gdzie logit(φ) = ln1−φφ , ma formę podobną do rozkładu Gaussa.
Oba rozkłady należą do rodziny rozkładów wykładniczych, które są postaci
fX(x|θ) = h(x) exp [η(θ) · T (x) − A(θ)]
gdzie T(x), h(x), η(x) oraz (θ) są zadanymi funkcjami.
Więcej na: https://en.wikipedia.org/wiki/Exponential family
30 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Rodzina rozkładów wykładniczych
Warto zauważyć, że nasz rozkład ma formę podobną do rozkładu normalnego
p(y |φ) ≈ exp(y logit(φ)).
gdzie logit(φ) = ln1−φφ , ma formę podobną do rozkładu Gaussa.
Oba rozkłady należą do rodziny rozkładów wykładniczych, które są postaci
fX(x|θ) = h(x) exp [η(θ) · T (x) − A(θ)]
gdzie T(x), h(x), η(x) oraz (θ) są zadanymi funkcjami.
Więcej na: https://en.wikipedia.org/wiki/Exponential family
30 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
Zależność od obserwacji
Jeżeli nasz algorytm ma być modelem rzeczywistości (czyli naszych obserwacji), to parametr φ powinien zawierać zależności od
obserwacji (nasze wejście to pary(xi, yi)).
31 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
W jaki sposób możemy uzależnić prawdopodobieństwo uzyskania odpowiedzi od obserwacji?
W tym wypadku naszym jedynym parametrem jest α, czyli logarytm stosunku prawdopodobieństw. Najprostsze co możemy zrobić to przyjąć, iż
α= θ · x. W ten sposób
φθ(x) = 1 1+ e−θ·x
to prawdopodobieństwo, że wektor cech x zostanie zaklasyfikowanych do klasy 1.
32 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
W jaki sposób możemy uzależnić prawdopodobieństwo uzyskania odpowiedzi od obserwacji?
W tym wypadku naszym jedynym parametrem jest α, czyli logarytm stosunku prawdopodobieństw. Najprostsze co możemy zrobić to przyjąć, iż
α= θ · x.
W ten sposób
φθ(x) = 1 1+ e−θ·x
to prawdopodobieństwo, że wektor cech x zostanie zaklasyfikowanych do klasy 1.
32 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Rozkład Bernouliego
W jaki sposób możemy uzależnić prawdopodobieństwo uzyskania odpowiedzi od obserwacji?
W tym wypadku naszym jedynym parametrem jest α, czyli logarytm stosunku prawdopodobieństw. Najprostsze co możemy zrobić to przyjąć, iż
α= θ · x.
W ten sposób
φθ(x) = 1 1+ e−θ·x
to prawdopodobieństwo, że wektor cech x zostanie zaklasyfikowanych do klasy 1.
32 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Funkcja logistyczne
Funkcja logistyczne Funkcja
σ(x) = 1 1+ e−x to funkcja logistyczna.
33 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Funkcja logistyczne
−6 −4 −2 0 2 4 6
Funkcja logistyczna 1/(1 + exp(−x))
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Funkcja logistyczne
Funkcja logistyczna została wprowadzona około roku 1830 jako model rozwoju populacji.
Pierre Franc¸ois Verhulst Adolphe Quetelet
https://en.wikipedia.org/wiki/Logistic function
35 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Funkcja logistyczne
Regresja logistyczna rozwiązuje zadanie klasyfikacji.
Predykcja klasy
Predykcja klasy odbywa się na podstawie prawdopodobieństwa przynależności do klasy ˆF(x) = ˆy ,
ˆ y =
( 0 jeżeli σ(x) < 0.5 1 jeżeli σ(x) 0.5 .
36 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Przykład
150 160 170 180 190 200
0.0
Klasyfikacja z wykorzystaniem regresji logistycznej przyk lad 1
logit
Na podstawie przykładu z (lr-classification-ex.py)
37 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Trenowanie regresji logistycznej
Zadaniem uczenia maszynowego jest określenie w jaki sposób tworzyć modele żeby nasze przewidywania (czyli ˆF ) były jak najlepsze.
38 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Trenowanie regresji logistycznej
W tym przypadku chcemy, żeby maksymalizaować prawdopodobieństwo poprawnej klasyfikacji,
ok(y ; θ) =
( p(y ; θ) dla y = 1 1 − p(y ; θ) dla y = 0 .
W funkcji kosztu dokonujemy minimalizacji, a ponieważ możemy minimalizować dowolną monotoniczna funkcję prawdopodobieństw, nasze składniki dla poszczególnych instancji sa postaci
c(y ; θ) =
( −log p(y ; θ) dla y = 1
−log(1 − p(y ; θ)) dla y = 0 .
39 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Trenowanie regresji logistycznej
W tym przypadku chcemy, żeby maksymalizaować prawdopodobieństwo poprawnej klasyfikacji,
ok(y ; θ) =
( p(y ; θ) dla y = 1 1 − p(y ; θ) dla y = 0 .
W funkcji kosztu dokonujemy minimalizacji, a ponieważ możemy minimalizować dowolną monotoniczna funkcję prawdopodobieństw, nasze składniki dla poszczególnych instancji sa postaci
c(y ; θ) =
( −log p(y ; θ) dla y = 1
−log(1 − p(y ; θ)) dla y = 0 .
39 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Trenowanie regresji logistycznej
Minimalizacja średniej wartości pomyłki na całym zbiorze treningowym daje
J(θ) = −1 m
m
X
i =1
[yiln σ(xi) + (1 − yi) ln(1 − σ(xi)))]
40 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Interpretacja geometryczna
Interpretacja geometryczna
Regresja logistyczna przewiduje przynależność do klasy na podstawie wartość iloczynu skalarnego parametrów θ i wektora cech.
Iloczyn skalarny to kąt między wektorem cech a hiperpłaszczyzną wyznaczaną przez parametry modelu. Wartość predykcji zależy od znaku argumentu funkcji σ(x).
41 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Interpretacja geometryczna
Interpretacja geometryczna
Regresja logistyczna przewiduje przynależność do klasy na podstawie wartość iloczynu skalarnego parametrów θ i wektora cech.
Iloczyn skalarny to kąt między wektorem cech a hiperpłaszczyzną wyznaczaną przez parametry modelu.
Wartość predykcji zależy od znaku argumentu funkcji σ(x).
41 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Interpretacja geometryczna
Interpretacja geometryczna
Regresja logistyczna przewiduje przynależność do klasy na podstawie wartość iloczynu skalarnego parametrów θ i wektora cech.
Iloczyn skalarny to kąt między wektorem cech a hiperpłaszczyzną wyznaczaną przez parametry modelu.
Wartość predykcji zależy od znaku argumentu funkcji σ(x).
41 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Najprostsza sieć neuronowa
Regresja logistyczna dokonuje klasyfikacji poprzez
wyliczenie wartości kombinacji liniowej cech, zastosowanie funkcji nieliniowej.
No i mamy sieć neuronową
Są to podstawowe elementy będące podstawą tworzenia sztucznych sieci neuronowych.
Zatem regresja logistyczna to najprostszy przykład sieci neuronowej.
42 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Najprostsza sieć neuronowa
Regresja logistyczna dokonuje klasyfikacji poprzez wyliczenie wartości kombinacji liniowej cech,
zastosowanie funkcji nieliniowej. No i mamy sieć neuronową
Są to podstawowe elementy będące podstawą tworzenia sztucznych sieci neuronowych.
Zatem regresja logistyczna to najprostszy przykład sieci neuronowej.
42 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Najprostsza sieć neuronowa
Regresja logistyczna dokonuje klasyfikacji poprzez wyliczenie wartości kombinacji liniowej cech, zastosowanie funkcji nieliniowej.
No i mamy sieć neuronową
Są to podstawowe elementy będące podstawą tworzenia sztucznych sieci neuronowych.
Zatem regresja logistyczna to najprostszy przykład sieci neuronowej.
42 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Najprostsza sieć neuronowa
Regresja logistyczna dokonuje klasyfikacji poprzez wyliczenie wartości kombinacji liniowej cech, zastosowanie funkcji nieliniowej.
No i mamy sieć neuronową
Są to podstawowe elementy będące podstawą tworzenia sztucznych sieci neuronowych.
Zatem regresja logistyczna to najprostszy przykład sieci neuronowej.
42 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Najprostsza sieć neuronowa
Regresja logistyczna dokonuje klasyfikacji poprzez wyliczenie wartości kombinacji liniowej cech, zastosowanie funkcji nieliniowej.
No i mamy sieć neuronową
Są to podstawowe elementy będące podstawą tworzenia sztucznych sieci neuronowych.
Zatem regresja logistyczna to najprostszy przykład sieci neuronowej.
42 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Najprostsza sieć neuronowa
1
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Najprostsza sieć neuronowa
Perceptron
Najprostsza sieć neuronowa, złożona z neuronów McCullocha-Pittsa, to perceptron.
Perceptron może być wykorzystywany do klasyfikacji zbiorów separowalnych liniowo.
44 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Regresja logistyczna
Najprostsza sieć neuronowa
Perceptron
Najprostsza sieć neuronowa, złożona z neuronów McCullocha-Pittsa, to perceptron.
Perceptron może być wykorzystywany do klasyfikacji zbiorów separowalnych liniowo.
44 / 45
Regresja vs klasyfikacja Regresja logistyczna
Wprowadzenie Rozkład Bernouliego Funkcja logistyczne Trenowanie regresji logistycznej Interpretacja geometryczna Najprostsza sieć neuronowa
Następny wykład: Maszyny wektorów wspierających.
45 / 45