Modele nieparametryczne

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele nieparametryczne

40 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

Zalety modeli nieparametrycznych

Modele nieparametryczne nie przyjmują założeń dotyczących formy funkcji F .

Budują odwzorowanie na podstawie danych treningowych co pozwala im na dostosowanie się do skomplikowanych

zależności.

Są skuteczne jeżeli jest dostępnych dużo danych, ale nie jest dostępna wiedza na temat ich struktury.

41 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

Zalety modeli nieparametrycznych

Modele nieparametryczne nie przyjmują założeń dotyczących formy funkcji F .

Budują odwzorowanie na podstawie danych treningowych co pozwala im na dostosowanie się do skomplikowanych

zależności.

Są skuteczne jeżeli jest dostępnych dużo danych, ale nie jest dostępna wiedza na temat ich struktury.

41 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

Zalety modeli nieparametrycznych

Modele nieparametryczne nie przyjmują założeń dotyczących formy funkcji F .

Budują odwzorowanie na podstawie danych treningowych co pozwala im na dostosowanie się do skomplikowanych

zależności.

Są skuteczne jeżeli jest dostępnych dużo danych, ale nie jest dostępna wiedza na temat ich struktury.

41 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

Wady modeli nieparametrycznych

Wymagają dużo danych treningowych aby uzyskania zadowalających rezultatów.

Przetwarzanie dużych ilości danych powoduje, że są wymagające obliczeniowo.

Są podatne na przetrenowanie.

Uzyskane wyniki trudniejsze do zrozumienia.

42 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

Wady modeli nieparametrycznych

Wymagają dużo danych treningowych aby uzyskania zadowalających rezultatów.

Przetwarzanie dużych ilości danych powoduje, że są wymagające obliczeniowo.

Są podatne na przetrenowanie.

Uzyskane wyniki trudniejsze do zrozumienia.

42 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

Wady modeli nieparametrycznych

Wymagają dużo danych treningowych aby uzyskania zadowalających rezultatów.

Przetwarzanie dużych ilości danych powoduje, że są wymagające obliczeniowo.

Są podatne na przetrenowanie.

Uzyskane wyniki trudniejsze do zrozumienia.

42 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

Wady modeli nieparametrycznych

Wymagają dużo danych treningowych aby uzyskania zadowalających rezultatów.

Przetwarzanie dużych ilości danych powoduje, że są wymagające obliczeniowo.

Są podatne na przetrenowanie.

Uzyskane wyniki trudniejsze do zrozumienia.

42 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

kNN – k najbliższych sąsiadów

drzewa decyzyjne

SVM – maszyny wektorów wspierających

sieci neuronowe (mają bardzo dużo parametrów)

43 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

kNN – k najbliższych sąsiadów drzewa decyzyjne

SVM – maszyny wektorów wspierających

sieci neuronowe (mają bardzo dużo parametrów)

43 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

kNN – k najbliższych sąsiadów drzewa decyzyjne

SVM – maszyny wektorów wspierających

sieci neuronowe (mają bardzo dużo parametrów)

43 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Modele nieparametryczne

kNN – k najbliższych sąsiadów drzewa decyzyjne

SVM – maszyny wektorów wspierających

sieci neuronowe (mają bardzo dużo parametrów)

43 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Najprostszy przykład modelu nieparametrycznego to algorytm kNN – k Nearest Neighbors.

Zasada: znalezienie określonej liczby próbek bliskich w sensie jakiejś odległości.

Predykcja jest wykonywana na podstawie etykiet tych próbek.

44 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Jest to uczenie się na podstawie instancji, bez uogólnienia.

kNN nie próbuje on zbudować ogólnego modelu wewnętrznego, ale przechowuje instancje danych treningowych.

Może być wykorzystany do klasyfikacji oraz do regresji.

45 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Jest to uczenie się na podstawie instancji, bez uogólnienia.

kNN nie próbuje on zbudować ogólnego modelu wewnętrznego, ale przechowuje instancje danych treningowych.

Może być wykorzystany do klasyfikacji oraz do regresji.

45 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Jest to uczenie się na podstawie instancji, bez uogólnienia.

kNN nie próbuje on zbudować ogólnego modelu wewnętrznego, ale przechowuje instancje danych treningowych.

Może być wykorzystany do klasyfikacji oraz do regresji.

45 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Naszym wejściem są elementy

(x1, y1), (x2, y2), . . . , (xm, ym) leżące w R^d× {0, 1}.

Mając normę k · k na R oraz punkt x ∈ R^d, możemy uporządkować dane

(x₍₁₎, y₍₁₎), (x₍₂₎, y₍₂₎), . . . , (x_(m), y_(m)) tak, że

kx₍₁₎− xk ¬ kx₍₂₎− xk ¬ · · · ¬ kx_(m)− xk.

46 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Naszym wejściem są elementy

(x1, y1), (x2, y2), . . . , (xm, ym) leżące w R^d× {0, 1}.

Mając normę k · k na R oraz punkt x ∈ R^d, możemy uporządkować dane

(x₍₁₎, y₍₁₎), (x₍₂₎, y₍₂₎), . . . , (x_(m), y_(m)) tak, że

kx₍₁₎− xk ¬ kx₍₂₎− xk ¬ · · · ¬ kx_(m)− xk.

46 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Dla danych o wartościach ciągłych wykorzystywana jest typowo norma Euklidesowa

kxk =

Dla danych dyskretnych (np. napisów) wykorzystywana jest

odległość Hamminga ≡ liczba pozycji na których ciągi się różnią.

47 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Dla danych o wartościach ciągłych wykorzystywana jest typowo norma Euklidesowa

kxk =

Dla danych dyskretnych (np. napisów) wykorzystywana jest

odległość Hamminga ≡ liczba pozycji na których ciągi się różnią.

47 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Hiperparametry

Algorytm kNN nie wylicza parametrów modelu, ale korzystając z niego musimy określić hiperparametry czyli parametry metody.

Hiperparametr to własność (parametr) metody który jest ustalana przed rozpoczęciem procesu uczenia.

Natomiast parametry modelu są ustalane w trakcie uczenia.

48 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Hiperparametry

Algorytm kNN nie wylicza parametrów modelu, ale korzystając z niego musimy określić hiperparametry czyli parametry metody.

Hiperparametr to własność (parametr) metody który jest ustalana przed rozpoczęciem procesu uczenia.

Natomiast parametry modelu są ustalane w trakcie uczenia.

48 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Hiperparametry

Algorytm kNN nie wylicza parametrów modelu, ale korzystając z niego musimy określić hiperparametry czyli parametry metody.

Hiperparametr to własność (parametr) metody który jest ustalana przed rozpoczęciem procesu uczenia.

Natomiast parametry modelu są ustalane w trakcie uczenia.

48 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Uczenie

Uczenie kNN polega na składowaniu przykładów uczących.

49 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Predykcja

Predykcja jest dokonywana na podstawie głosowania.

Wybierana jest wartość etykiety, która ma większość spośród k najbliższych sąsiadów.

Możliwe jest zastosowanie wag zależnych od odległości.

50 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Predykcja

Predykcja jest dokonywana na podstawie głosowania.

Wybierana jest wartość etykiety, która ma większość spośród k najbliższych sąsiadów.

Możliwe jest zastosowanie wag zależnych od odległości.

50 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Predykcja

Predykcja jest dokonywana na podstawie głosowania.

Wybierana jest wartość etykiety, która ma większość spośród k najbliższych sąsiadów.

Możliwe jest zastosowanie wag zależnych od odległości.

50 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego Modele

Co to jest model?

Modele nieparametryczne

Klasyfikacja na podstawie odległości i klątwa wymiarowości Modele parametryczne

Modele

Klasyfikacja na podstawie odległości i klątwa wymiarowości

Klątwa wymiarowości

Wraz ze wzrostem wymiaru danych drastycznie rośnie odległość od najbliższych sąsiadów.

Aby pokryć równomiernie przestrzeń k obserwacjami w każdym kierunku potrzebujem n^k próbek.

51 / 57

Warianty uczenia maszynowego Ograniczenia uczenia maszynowego

W dokumencie Wykład 02 – Zadania, modele, dane (Stron 91-119)