Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
Co to znaczy?
Ze względu na rozproszenie punktów, że wielowymiarowe zbiory danych mogą być bardzo rzadkie.
Zatem większość przykładów będzie znajdować się daleko od siebie.
Oznacza to również, że element dla którego chcemy wykonać predykcję będzie prawdopodobnie daleko od jakiejkolwiek przykłądu ze zbioru treningowego.
A zatem predykcja będzie znacznie mniej wiarygodne niż w niższych wymiarach, ponieważ będą oparta na znacznie większych ekstrapolacjach.
Czyli im większy wymiar wektora cech, tym trudniej o uogólnienie a łatwiej o przetrenowanie.
9 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
Zobaczmy jak to działa dla kNN.
Załóżmy, że stosujemy kNN dla danych z n wymiarowej przestrzeni.
Dane są rozłożone równomiernie i chcemy zbadać ułamek f z tych danych.
Kostka zawierająca f -tą część danych ma bok o długości
1
n
n
.
Jeżeli chcemy wykorzystać 10% danych, to przejrzeliśmy tylko
1 10
10
= 100000000001 objętości kostki.
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
Zobaczmy jak to działa dla kNN.
Załóżmy, że stosujemy kNN dla danych z n wymiarowej przestrzeni.
Dane są rozłożone równomiernie i chcemy zbadać ułamek f z tych danych.
Kostka zawierająca f -tą część danych ma bok o długości
1
n
n
.
Jeżeli chcemy wykorzystać 10% danych, to przejrzeliśmy tylko
1 10
10
= 100000000001 objętości kostki.
10 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
Zobaczmy jak to działa dla kNN.
Załóżmy, że stosujemy kNN dla danych z n wymiarowej przestrzeni.
Dane są rozłożone równomiernie i chcemy zbadać ułamek f z tych danych.
Kostka zawierająca f -tą część danych ma bok o długości
1
n
n
.
Jeżeli chcemy wykorzystać 10% danych, to przejrzeliśmy tylko
1 10
10
= 100000000001 objętości kostki.
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
Zobaczmy jak to działa dla kNN.
Załóżmy, że stosujemy kNN dla danych z n wymiarowej przestrzeni.
Dane są rozłożone równomiernie i chcemy zbadać ułamek f z tych danych.
Kostka zawierająca f -tą część danych ma bok o długości
1
n
n
.
Jeżeli chcemy wykorzystać 10% danych, to przejrzeliśmy tylko
1 10
10
= 100000000001 objętości kostki.
10 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
Zobaczmy jak to działa dla kNN.
Załóżmy, że stosujemy kNN dla danych z n wymiarowej przestrzeni.
Dane są rozłożone równomiernie i chcemy zbadać ułamek f z tych danych.
Kostka zawierająca f -tą część danych ma bok o długości
1
n
n
.
Jeżeli chcemy wykorzystać 10% danych, to przejrzeliśmy tylko
110 1
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
0 25 50 75 100
procent badanych przypadków 0
25 50 75 100
procentprzestrzeni
wymiar=1
11 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
0 25 50 75 100
procentprzestrzeni
wymiar=2
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
0 25 50 75 100
procent badanych przypadków 0
25 50 75 100
procentprzestrzeni
wymiar=3
11 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
0 25 50 75 100
procentprzestrzeni
wymiar=5
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
0 25 50 75 100
procent badanych przypadków 0
25 50 75 100
procentprzestrzeni
wymiar=10
11 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
0 25 50 75 100
procentprzestrzeni
wymiar=20
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
0 25 50 75 100
procent badanych przypadków 0
25 50 75 100
procentprzestrzeni
wymiar=25
11 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
0 25 50 75 100
procentprzestrzeni
wymiar=50
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
0 25 50 75 100
procent badanych przypadków 0
25 50 75 100
procentprzestrzeni
wymiar=100
11 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Motywacja
Klątwa wymiarowości
Z powodu klątwy wymiarowości nie jest możliwe wykorzystanie odpowiedniej liczby przykładów, która pozwala równomiernie próbkować całą przestrzeń cech.
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Metody redukcji wymiarowości
Redukcja wymiarowości
Redukcja wymiarowości lub redukcja wymiarów to transformacja danych z przestrzeni wielowymiarowej w przestrzeń o niższym wymiarze, tak aby reprezentacja niskowymiarowa zachowała znaczące właściwości oryginalnych danych.
13 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Metody redukcji wymiarowości
Metody redukcji wymiarowości dzieli się na metody liniowe i metody nieliniowe.
Alternatywnie możne jest podzielić na selekcję cech oraz projekcję cech.
Redukcja wymiarowości może być używana do redukcji szumów, wizualizacji danych, analizy skupień lub jako etap pośredni ułatwiający inne analizy.
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Metody redukcji wymiarowości
Metody redukcji wymiarowości dzieli się na metody liniowe i metody nieliniowe.
Alternatywnie możne jest podzielić na selekcję cech oraz projekcję cech.
Redukcja wymiarowości może być używana do redukcji szumów, wizualizacji danych, analizy skupień lub jako etap pośredni ułatwiający inne analizy.
14 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Metody redukcji wymiarowości
Metody redukcji wymiarowości dzieli się na metody liniowe i metody nieliniowe.
Alternatywnie możne jest podzielić na selekcję cech oraz projekcję cech.
Redukcja wymiarowości może być używana do redukcji szumów, wizualizacji danych, analizy skupień lub jako etap pośredni ułatwiający inne analizy.
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Metody redukcji wymiarowości (liniowe)
Analiza składowych głównych – znajdowanie hiperpłaszczyzny leżącej najbliżej obserwacji.
Linear Discriminat Analysis.
Rozkład według wartości osobliwych (SVD).
15 / 45
Klątwa wymiarowości Analiza składowych głównych Podsumowanie
Motywacja
Metody redukcji wymiarowości
Klątwa wymiarowości
Metody redukcji wymiarowości (nieliniowe)
Isomap Autoenkodery
Klątwa wymiarowości