Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
???
Jak zastosować kNN do regresji?
Wartość dla nowego przykładu jest liczona jako wartość na podstawie średniej wartości dla sąsiadów.
Wartości mogą być ważone, np. z wagą odwrotną do odległości sąsiada.
9 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
???
Jak zastosować kNN do regresji?
Wartość dla nowego przykładu jest liczona jako wartość na podstawie średniej wartości dla sąsiadów.
Wartości mogą być ważone, np. z wagą odwrotną do odległości sąsiada.
9 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
Przykład
Przykład wykorzystania kNN w regresji...
(knn-regression-ex.py)
10 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 1, weights = 'uniform')
danepredykcja rzeczywisto
11 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 2, weights = 'uniform')
danepredykcja rzeczywisto
11 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 3, weights = 'uniform')
danepredykcja rzeczywisto
11 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 4, weights = 'uniform')
danepredykcja rzeczywisto
11 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 5, weights = 'uniform')
danepredykcja rzeczywisto
11 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 6, weights = 'uniform')
danepredykcja rzeczywisto
11 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 7, weights = 'uniform')
danepredykcja rzeczywisto
11 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 8, weights = 'uniform')
danepredykcja rzeczywisto
11 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 9, weights = 'uniform')
danepredykcja rzeczywisto
11 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 10, weights = 'uniform')
danepredykcja rzeczywisto
11 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 1, weights = 'distance')
danepredykcja rzeczywisto
12 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 2, weights = 'distance')
danepredykcja rzeczywisto
12 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 3, weights = 'distance')
danepredykcja rzeczywisto
12 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 4, weights = 'distance')
danepredykcja rzeczywisto
12 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 5, weights = 'distance')
danepredykcja rzeczywisto
12 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 6, weights = 'distance')
danepredykcja rzeczywisto
12 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 7, weights = 'distance')
danepredykcja rzeczywisto
12 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 8, weights = 'distance')
danepredykcja rzeczywisto
12 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 9, weights = 'distance')
danepredykcja rzeczywisto
12 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
kNN do regresji
0 1 2 3 4 5 6
1.5 1.0 0.5 0.0 0.5 1.0
KNeighborsRegressor (k = 10, weights = 'distance')
danepredykcja rzeczywisto
12 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji
Skoro kNN może być wykorzystywany jako regresor, to i regresja liniowa może być wykorzystana do klasyfikacji.
Podział przestrzeni wejściowej – przestrzeń danych jest dzielona na obszary bez zadanej przynależności do klas (Przykład 1).
Klasyfikacja na podstawie modelu liniowego – na podstawie danych wejściowych jest tworzony model podziału na klasy (Przykład 2).
13 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji
Skoro kNN może być wykorzystywany jako regresor, to i regresja liniowa może być wykorzystana do klasyfikacji.
Podział przestrzeni wejściowej – przestrzeń danych jest dzielona na obszary bez zadanej przynależności do klas (Przykład 1).
Klasyfikacja na podstawie modelu liniowego – na podstawie danych wejściowych jest tworzony model podziału na klasy (Przykład 2).
13 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji
Skoro kNN może być wykorzystywany jako regresor, to i regresja liniowa może być wykorzystana do klasyfikacji.
Podział przestrzeni wejściowej – przestrzeń danych jest dzielona na obszary bez zadanej przynależności do klas (Przykład 1).
Klasyfikacja na podstawie modelu liniowego – na podstawie danych wejściowych jest tworzony model podziału na klasy (Przykład 2).
13 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykłady)
Przykłady
Przykłady zastosowanie regresji do klasyfikacji...
(lr-classification-ex.py)
Dane wejściowe to pary(xi, yi), gdzie xi to wzrost, który klasyfikujemy jako yi ∈ {niski, wysoki}.
Nasze zadanie to zaklasyfikowanie nowego przykładu.
14 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykłady)
Przykłady
Przykłady zastosowanie regresji do klasyfikacji...
(lr-classification-ex.py)
Dane wejściowe to pary(xi, yi), gdzie xi to wzrost, który klasyfikujemy jako yi ∈ {niski, wysoki}.
Nasze zadanie to zaklasyfikowanie nowego przykładu.
14 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykłady)
Przykłady
Przykłady zastosowanie regresji do klasyfikacji...
(lr-classification-ex.py)
Dane wejściowe to pary(xi, yi), gdzie xi to wzrost, który klasyfikujemy jako yi ∈ {niski, wysoki}.
Nasze zadanie to zaklasyfikowanie nowego przykładu.
14 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykład 1)
Jeżeli nie uwzględniamy klas, to nasze zadanie sprowadza się do podziału przestrzeni cech na grupy (klastry).
To sprowadza uczenie modelu do minimalizacji błędu
min??? f(???) = min
???
X
i
(xi− a)2,
gdzie y = a to prosta wyznaczające granice decyzji. Klasyfikacja odbywa się poprzez określenie
yk = sgn(xk − a) i przypisanie niski ≡ −1 oraz wysoki ≡ 1. Jak jest określony model?
15 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykład 1)
Jeżeli nie uwzględniamy klas, to nasze zadanie sprowadza się do podziału przestrzeni cech na grupy (klastry). To sprowadza uczenie modelu do minimalizacji błędu
min??? f(???) = min
???
X
i
(xi− a)2,
gdzie y = a to prosta wyznaczające granice decyzji.
Klasyfikacja odbywa się poprzez określenie
yk = sgn(xk − a) i przypisanie niski ≡ −1 oraz wysoki ≡ 1. Jak jest określony model?
15 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykład 1)
Jeżeli nie uwzględniamy klas, to nasze zadanie sprowadza się do podziału przestrzeni cech na grupy (klastry). To sprowadza uczenie modelu do minimalizacji błędu
min??? f(???) = min
???
X
i
(xi− a)2,
gdzie y = a to prosta wyznaczające granice decyzji. Klasyfikacja odbywa się poprzez określenie
yk = sgn(xk − a) i przypisanie niski ≡ −1 oraz wysoki ≡ 1.
Jak jest określony model?
15 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykład 1)
Jeżeli nie uwzględniamy klas, to nasze zadanie sprowadza się do podziału przestrzeni cech na grupy (klastry). To sprowadza uczenie modelu do minimalizacji błędu
min??? f(???) = min
???
X
i
(xi− a)2,
gdzie y = a to prosta wyznaczające granice decyzji. Klasyfikacja odbywa się poprzez określenie
yk = sgn(xk − a) i przypisanie niski ≡ −1 oraz wysoki ≡ 1.
Jak jest określony model?
15 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykład 1)
150 160 170 180 190 200
0.0 0.2 0.4 0.6 0.8 1.0
Klasyfikacja na podstawie podzia lu zbioru dane
predykcja
Opis przykładu w pliku lr-classification-ex.py.
16 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykład 2)
W drugim podejściu przyjmujemy, model liniowy yk = a0+ a1xk.
Uczenie modelu to minimalizacji minX
i
(a0+ a1xi − yi)2.
Wynik klasyfikacji zależy od progu dla którego yk będzie przypisane do klasu 0 lub klasy 1.
17 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykład 2)
W drugim podejściu przyjmujemy, model liniowy yk = a0+ a1xk. Uczenie modelu to minimalizacji
minX
i
(a0+ a1xi − yi)2.
Wynik klasyfikacji zależy od progu dla którego yk będzie przypisane do klasu 0 lub klasy 1.
17 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykład 2)
W drugim podejściu przyjmujemy, model liniowy yk = a0+ a1xk. Uczenie modelu to minimalizacji
minX
i
(a0+ a1xi − yi)2.
Wynik klasyfikacji zależy od progu dla którego yk będzie przypisane do klasu 0 lub klasy 1.
17 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Przykład 2)
150 160 170 180 190 200
−0.50
Klasyfikacja na podstawie modelu liniowego dane
model liniowy model liniowy (predykcja)
Opis przykładu w pliku lr-classification-ex.py.
18 / 45
Regresja vs klasyfikacja Regresja logistyczna
kNN do regresji Regresja do klasyfikacji
Regresja vs klasyfikacja
Regresja do klasyfikacji (Porównanie przykładow)
150 160 170 180 190 200
0.0 0.2 0.4 0.6 0.8 1.0
Por´ownanie przyk lad´ow 1 i 2 dane
przyk lad 1 przyk lad 2
Opis przykładu w pliku lr-classification-ex.py.
19 / 45
Regresja vs klasyfikacja