Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
17 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Przetrenowanie
Przetrenowanie
System nie powinien dopasowywać się idealnie do danych na których jest uczony.
18 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Przetrenowanie
8 Dane wygenerowane jako
x + U(−0.25, 0.25).
Funkcja postaci x 7→
10
X
i =1
aixi dopasowuje się idealnie.
19 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Przetrenowanie
Dane wygenerowane jako x + U(−0.25, 0.25).
Funkcja postaci x 7→ ax
dopasowuje się do nich z pewnym błędem.
20 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Obciążenie vs wariancja
W tym przypadku pierwsze dopasowanie jest za dobre.
Przewidywanie wartości naszej funkcji za pomocą takiego dopasowanie da niepożądane wyniki.
Pierwsze dopasowanie ma dużą wariancję i dlatego jest podatne na przetrenowanie (ang. overfitting).
21 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Obciążenie vs wariancja
W tym przypadku pierwsze dopasowanie jest za dobre.
Przewidywanie wartości naszej funkcji za pomocą takiego dopasowanie da niepożądane wyniki.
Pierwsze dopasowanie ma dużą wariancję i dlatego jest podatne na przetrenowanie (ang. overfitting).
21 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Obciążenie vs wariancja
Co jest najważniejszym elementem uczenia się?
?...
?...
?...
22 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Obciążenie vs wariancja
Do wysokiego błędu modelu poza próbą treningową może prowadzić zarówno jego
nadmierne uproszczenie ≡ wysokie obciążenie (ang. bias) nadmierna wrażliwość ≡ wysoka wariancja (ang. variance) Kompromis między obciążeniem a wariancją to jeden z
podstawowych problemów uczenia maszynowego (i statystyki).
23 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Obciążenie vs wariancja
Do wysokiego błędu modelu poza próbą treningową może prowadzić zarówno jego
nadmierne uproszczenie ≡ wysokie obciążenie (ang. bias)
nadmierna wrażliwość ≡ wysoka wariancja (ang. variance) Kompromis między obciążeniem a wariancją to jeden z
podstawowych problemów uczenia maszynowego (i statystyki).
23 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Obciążenie vs wariancja
Do wysokiego błędu modelu poza próbą treningową może prowadzić zarówno jego
nadmierne uproszczenie ≡ wysokie obciążenie (ang. bias) nadmierna wrażliwość ≡ wysoka wariancja (ang. variance)
Kompromis między obciążeniem a wariancją to jeden z
podstawowych problemów uczenia maszynowego (i statystyki).
23 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Obciążenie vs wariancja
Do wysokiego błędu modelu poza próbą treningową może prowadzić zarówno jego
nadmierne uproszczenie ≡ wysokie obciążenie (ang. bias) nadmierna wrażliwość ≡ wysoka wariancja (ang. variance) Kompromis między obciążeniem a wariancją to jeden z
podstawowych problemów uczenia maszynowego (i statystyki).
23 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Obciążenie vs wariancja
Sposoby radzenia sobie z tym dylematem między obciążeniem a wariancją to
regularyzacja – wzbogacanie algorytmu uczenia dodatkowe warunki (7→ regresja)
łączenie klasyfikatorów – zespół słabych klasyfikatorów daje dobry klasyfikator (7→ lasy losowe)
24 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Obciążenie vs wariancja
Sposoby radzenia sobie z tym dylematem między obciążeniem a wariancją to
regularyzacja – wzbogacanie algorytmu uczenia dodatkowe warunki (7→ regresja)
łączenie klasyfikatorów – zespół słabych klasyfikatorów daje dobry klasyfikator (7→ lasy losowe)
24 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Obciążenie vs wariancja
Sposoby radzenia sobie z tym dylematem między obciążeniem a wariancją to
regularyzacja – wzbogacanie algorytmu uczenia dodatkowe warunki (7→ regresja)
łączenie klasyfikatorów – zespół słabych klasyfikatorów daje dobry klasyfikator (7→ lasy losowe)
24 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Niedoskonałości danych
Brak danych
Większość metod uczenia maszynowego potrzebuje dużej ilości danych.
Dla prostych problemów potrzebne są tysiące próbek/przykładów.
Dla wielu problemów dotyczących przetwarzania obrazów bądź mowy potrzebnych są miliony próbek/przykładów.
25 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Niedoskonałości danych
Brak danych
Większość metod uczenia maszynowego potrzebuje dużej ilości danych.
Dla prostych problemów potrzebne są tysiące próbek/przykładów.
Dla wielu problemów dotyczących przetwarzania obrazów bądź mowy potrzebnych są miliony próbek/przykładów.
25 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Niedoskonałości danych
Brak danych
Większość metod uczenia maszynowego potrzebuje dużej ilości danych.
Dla prostych problemów potrzebne są tysiące próbek/przykładów.
Dla wielu problemów dotyczących przetwarzania obrazów bądź mowy potrzebnych są miliony próbek/przykładów.
25 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Niedoskonałości danych
Problemy wynikające z:
błędnych danych (7→ poprzedni przykład z zaburzeniem losowym),
wprowadzenia danych niekompletnych,
wprowadzenia danych (częściowo) sprzecznych, niezdefiniowania ograniczeń dziedzinowych.
26 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Niedoskonałości danych
Problemy wynikające z:
błędnych danych (7→ poprzedni przykład z zaburzeniem losowym),
wprowadzenia danych niekompletnych,
wprowadzenia danych (częściowo) sprzecznych, niezdefiniowania ograniczeń dziedzinowych.
26 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Niedoskonałości danych
Problemy wynikające z:
błędnych danych (7→ poprzedni przykład z zaburzeniem losowym),
wprowadzenia danych niekompletnych,
wprowadzenia danych (częściowo) sprzecznych, niezdefiniowania ograniczeń dziedzinowych.
26 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Niedoskonałości danych
Problemy wynikające z:
błędnych danych (7→ poprzedni przykład z zaburzeniem losowym),
wprowadzenia danych niekompletnych,
wprowadzenia danych (częściowo) sprzecznych,
niezdefiniowania ograniczeń dziedzinowych.
26 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Niedoskonałości danych
Problemy wynikające z:
błędnych danych (7→ poprzedni przykład z zaburzeniem losowym),
wprowadzenia danych niekompletnych,
wprowadzenia danych (częściowo) sprzecznych, niezdefiniowania ograniczeń dziedzinowych.
26 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Zasada odpłatności za obiady
Twierdzenie (No Free Lunch Theorem)
Nie istnieje metoda uniwersalnie dobra do każdego problemu.
Konieczne są różne modele dla różnych rodzajów danych. Dla każdego modelu możemy wybrać różne metody trenowania.
27 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Zasada odpłatności za obiady
Twierdzenie (No Free Lunch Theorem)
Nie istnieje metoda uniwersalnie dobra do każdego problemu.
Konieczne są różne modele dla różnych rodzajów danych.
Dla każdego modelu możemy wybrać różne metody trenowania.
27 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Przetrenowanie Obciążenie vs wariancja Niedoskonałości danych Zasada odpłatności za obiady
Ograniczenia uczenia maszynowego
Zasada odpłatności za obiady
Twierdzenie (No Free Lunch Theorem)
Nie istnieje metoda uniwersalnie dobra do każdego problemu.
Konieczne są różne modele dla różnych rodzajów danych.
Dla każdego modelu możemy wybrać różne metody trenowania.
27 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
28 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Modele to uproszczona reprezentacja rzeczywistości.
Modele sa tworzone na podstawie obserwacji.
29 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Modele to uproszczona reprezentacja rzeczywistości.
Modele sa tworzone na podstawie obserwacji.
29 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Uproszczenie
Model to uproszczona reprezentacja rzeczywistości.
Model nie oddaje w pełni rzeczywistości. Model jest tworzony na podstawie obserwacji.
30 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Uproszczenie
Model to uproszczona reprezentacja rzeczywistości.
Model nie oddaje w pełni rzeczywistości.
Model jest tworzony na podstawie obserwacji.
30 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Uproszczenie
Model to uproszczona reprezentacja rzeczywistości.
Model nie oddaje w pełni rzeczywistości.
Model jest tworzony na podstawie obserwacji.
30 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Jaka dziedzina wiedzy zajmuje się modelowaniem rzeczywistości?
?...
?...
?...
rzeczywistości?
31 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Jaka dziedzina wiedzy zajmuje się modelowaniem rzeczywistości?
?...
?...
?... rzeczywistości?
31 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Fizyka ≡ natura.
Równania ruchu x (t) = x0+ vt Prawo rozpadu m(t) = m0e−λt
Równanie Schor¨odingera H|v i = i ~dtd|v i
32 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Fizyka ≡ natura.
Równania ruchu x (t) = x0+ vt
Prawo rozpadu m(t) = m0e−λt
Równanie Schor¨odingera H|v i = i ~dtd|v i
32 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Fizyka ≡ natura.
Równania ruchu x (t) = x0+ vt Prawo rozpadu m(t) = m0e−λt
Równanie Schor¨odingera H|v i = i ~dtd|v i
32 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Fizyka ≡ natura.
Równania ruchu x (t) = x0+ vt Prawo rozpadu m(t) = m0e−λt
Równanie Schor¨odingera H|v i = i ~dtd|v i
32 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Obserwacje
Model jest tworzony na podstawie obserwacji.
Model jest jest tak dobry jak dobre są dane które służą do jego stworzenia.
Obowiązuje zasada GIGO – Garbage In, Garbage Out.
33 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Obserwacje
Model jest tworzony na podstawie obserwacji.
Model jest jest tak dobry jak dobre są dane które służą do jego stworzenia.
Obowiązuje zasada GIGO – Garbage In, Garbage Out.
33 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Obserwacje
Model jest tworzony na podstawie obserwacji.
Model jest jest tak dobry jak dobre są dane które służą do jego stworzenia.
Obowiązuje zasada GIGO – Garbage In, Garbage Out.
33 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Model vs. rzeczywistość
Models are to be used, not believed.
– Henri Theil, Principles of Econometrics,
34 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Nadzorowane uczenie maszynowe można podsumować jako zgadywanie funkcji F , która mapuje zmienne wejściowe X na wyjściowe Y ,
F (X ) 7→ Y .
Forma funkcji F jest nieznana.
Algorytm UM buduje funkcję ˆF (czyli przybliżenie funkcji F ) na podstawie danych treningowych.
35 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Nadzorowane uczenie maszynowe można podsumować jako zgadywanie funkcji F , która mapuje zmienne wejściowe X na wyjściowe Y ,
F (X ) 7→ Y . Forma funkcji F jest nieznana.
Algorytm UM buduje funkcję ˆF (czyli przybliżenie funkcji F ) na podstawie danych treningowych.
35 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Nadzorowane uczenie maszynowe można podsumować jako zgadywanie funkcji F , która mapuje zmienne wejściowe X na wyjściowe Y ,
F (X ) 7→ Y . Forma funkcji F jest nieznana.
Algorytm UM buduje funkcję ˆF (czyli przybliżenie funkcji F ) na podstawie danych treningowych.
35 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Zadaniem UM jest ocena różnych algorytmów i sprawdzenie, który z nich jest lepszy w przybliżaniu F .
Różne algorytmy przyjmują różne założenia dotyczące: formy funkcji,
sposobu jej uczenia się.
36 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Zadaniem UM jest ocena różnych algorytmów i sprawdzenie, który z nich jest lepszy w przybliżaniu F .
Różne algorytmy przyjmują różne założenia dotyczące:
formy funkcji,
sposobu jej uczenia się.
36 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Co to jest model?
Klasyfikacja vs regresja
Jeżeli F ma wartości z zadanego, dyskretnego zbioru wartości, to funkcja dokonuje klasyfikacji.
Jeżeli F ma wartości ze zbioru ciągłego, to funkcja dokonuje regresji.
37 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Modele nieparametryczne i parametryczne
Podstawowym podziałem modeli w UM jest podział na modele parametryczne,
modele nieparametryczne.
38 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele
Co to jest model?
Modele nieparametryczne
Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne
Modele
Modele nieparametryczne i parametryczne
Parametryczne algorytmy uczenia maszynowego upraszczają mapowanie do znanej funkcji.
Algorytmy nieparametryczne mogą nauczyć się dowolnego mapowania od wejść do wyjść.
39 / 57
Warianty uczenia maszynowego Ograniczenia uczenia maszynowego