1. W przypadku jednak, gdy wymiar obrazu twarzy równa się np. 50x50, N2 = 2500, wymiar macierzy symetrycznej C jest równy 2500x2500.
2. Z praktycznego punktu widzenia liczenie wartości i wektorów własnych tak dużej macierzy jest bardzo nieatrakcyjne.
3. Jeśli jednak danych wejściowych jest dużo mniej niż wymiar wejściowej przestrzeni (M<<N), istnieje tylko M-1 znaczących wektorów własnych. Pozostałe
Metoda PCA
Korzystny zatem jest następujący zabieg.
Znajdźmy wektory własne vi macierzy ATA , czyli
Metoda PCA
Stad wynika, że
są szukanymi wektorami macierzy
Konstruujemy zatem macierz
o wymiarach MxM, gdzie
i znajdujemy najpierw M wektorów własnych vi macierzy L .
Metoda PCA
1. Za pomocą tej analizy obliczenia są znacznie zredukowane.
2. Liczenie wektorów własnych macierzy o wymiarach N2 x N2 ( NxN – wymiar obrazu wejściowego) np. 2500x2500 jest zastąpione liczeniem wektorów własnych
macierzy o wymiarach MxM ( M – liczba dostępnych obrazów) np. 30x30.
3. Wyliczone wartości własne pozwalają na uszeregowanie otrzymanych wektorów własnych zgodnie z ich ważnością.
Metoda PCA
1. Użytecznośd tego algorytmu wynika z postaci macierzy L. 2. Po pierwsze, ma ona o wiele niższy wymiar niż macierz C
3. Po drugie jest ona symetryczna i rzeczywista, wiec wektory i wartości własne są również rzeczywiste.
4. W praktyce liczenie wektorów i wartości własnych odbywa się za pomocą
algorytmu QR, gdzie rzeczywista, symetryczna macierz A jest dekomponowana na iloczyn macierzy ortogonalnej Q oraz macierzy górnej trójkątnej R .
5. Algorytm QR jest rzędu O(N3) dla każdej iteracji. Jednak ten sam algorytm jest rzędu jedynie O (N) dla każdej iteracji dla macierzy trójdiagonalnej. Zatem znaczne przyspieszenie obliczeo może byd osiągnięte przez przekształcenie macierzy L do postaci trójdiagonalnej za pomocą np. algorytmu Housholder’a.
Metoda PCA
Wynikiem obliczeo są obrazy bazowe tzw. eigenfaces, którymi są wektory własne macierzy C .
Przykładowe twarze uczestniczące w tworzeniu obrazów bazowych.
Metoda PCA
• Otrzymano wektory bazowe
znormalizowane, które w celu ich zaprezentowania przeskalowano na zakres [0,255] (zakres wartości pikseli). • Otrzymane eigenfaces szeregowane są zgodnie z malejącymi wartościami stowarzyszonych wartości własnych.
Metoda PCA
Metoda PCA
1. Z powyższych rachunków otrzymano zbiór obrazów (wektorów) bazowych, które wyznaczaj podprzestrzeo przestrzeni początkowej.
2. Wymiarowośd problemu została znacznie ograniczona - w powyższym przykładzie obrazy miały wymiar 100x100, wiec wymiar przestrzeni wejściowej był równy
10000, natomiast uzyskano 25 wektorów bazowych, zatem podprzestrzeo, w której odbędzie się porównanie i rozpoznanie ma wymiar 24 ( M-1 wektorów
znaczących), lub mniejszy, jako że nie ma konieczności rzutowania obrazów podlegających rozpoznaniu na wszystkie obrazy bazowe.
3. Często wystarczające jest wykorzystanie jedynie części z nich, np. takich z
największymi stowarzyszonymi wartościami własnymi, jako takimi, które niosą najwięcej informacji o wariancji w zbiorze obrazów.
Metoda PCA
1. Często bowiem wektory własne z mniejszymi wartościami własnymi niosą
informacje nieistotne, wręcz nieprzydatne, związane z szumem występującym w obrazach.
2. Niekiedy jednak nie jest to prawdą, gdyż, jeśli wśród obrazów istnieją duże różnice w jasności i oświetleniu, największe wektory własne mogą opisywad właśnie te cechy obrazów, które nie są istotne, a wręcz są niepożądane podczas rozpoznania.
Metoda PCA
Każdy obraz, także nie uczestniczący w tworzeniu obrazów bazowych, jest rzutowany na powstałą podprzestrzeo poprzez prostą operację
gdzie M’ jest liczbawybranych obrazów bazowych. Otrzymujemy wektor cech opisujący daną twarz
Wektor ten zawiera wagi linowej kombinacji dla danego obrazu, jeśli ma on zostad zrekonstruowany na podstawie obrazów bazowych.
Metoda PCA
Rekonstrukcja obrazu na podstawie wektora cech i obrazów bazowych odbywa się następująco:
Metoda PCA
Metoda PCA
Rekonstrukcja ta obarczona jest błędem, który może byd w przybliżeniu określony jako
Błąd ten rośnie, jeśli obrazy biorące udział w tworzeniu bazy różnią się znacząco miedzy sobą.
Metoda PCA
Obraz oryginalny i zrekonstruowany za pomocą 25, 12, 5 oraz 3 obrazów bazowych. Obraz brał udział w tworzeniu bazy.
Metoda PCA
Obraz oryginalny i zrekonstruowany za pomocą 25, 12, 5 oraz 3 obrazów bazowych. Obraz nie brał udziału w tworzeniu bazy.
Metoda PCA
1. Po obliczeniu obrazów bazowych, każdy obraz w bazie jest opisany za pomocą wektora cech. Wartości te są zapisywane w bazie w celu późniejszego ich
wykorzystania.
2. Każdy nowy obraz pokazany systemowi jest opisywany za pomoc wektora cech poprzez dokonanie jego projekcji na te same obrazy bazowe.
3. Powstały wektor cech użyty jest do porównania danej twarzy z innymi. Dokonuje się tego za pomoc różnego rodzaju metryk (Euklidesa, iloczyn skalarny wektorów) lub stosując bardziej wymyślne metody klasyfikacji.
Metoda PCA
Ekstrakcja składników głównych za pomocą sieci Hebba
• W celu dokonania analizy składników głównych PCA, można wykorzystad odpowiednio skonstruowaną i uczoną sied neuronów Hebba.
• W modelu Hebba wykorzystuje się obserwację neurobiologiczną, która zwraca uwagę na to, że waga połączenia między dwoma neuronami wzrasta przy
jednoczesnym pobudzeniu obu neuronów, w przeciwnym wypadku maleje. • Zmiana wag w takiej metodzie uczenia wygląda następująco:
gdzie F(.) jest funkcją sygnału wejściowego (presynaptycznego) xj , oraz sygnału wyjściowego (postsynaptycznego) yi .
Metoda PCA
• Do wyznaczenia pierwszego składnika głównego y1 i odpowiadającego mu wektora W1 za pomocą sieci Hebba, Oja zaproponował sied złożonąz jednego neuronu
liniowego, z którego otrzymuje się
Adaptacja wag odbywa się po każdorazowym podaniu wzorca na wejście
neuronu i przebiega według znormalizowanej reguły Hebba, zwanej regułą Oji:
Metoda PCA
W powyższym wzorze pierwszy składnik odpowiada regule Hebba, drugi natomiast zapewnia samonormalizację, tak aby
Estymacja wielu składników głównych wymaga wielu neuronów w warstwie wyjściowej.
Dobre rezultaty można otrzymad stosując regułę Sangera.
Przy K neuronach liniowych w warstwie wyjściowej każdy z nich generuje sygnał
Metoda PCA
Adaptacja wag następuje według wzoru
Aby użyd powyższą metodę do uzyskania wektorów cech dla danych
obrazów twarzy, należy na wejście sieci podawad znormalizowane wektory uzyskane identycznie jak w poprzednim rozdziale.
Ustalając liczbę neuronów określamy liczbę składników głównych, które zostaną wyodrębnione kolejno przez wszystkie neurony.
Metoda PCA
Odpowiednikiem wektorów własnych ui z poprzedniej
metody są wagi danego neuronu Wi . Wektor cech powstaje z odpowiedzi yi neuronów sieci na wzorzec przekazany na jej wejcie. Otrzymujemy zatem wektor cech w postaci
Jeżeli przez W oznaczymy macierz to
dla każdego obrazu.
Metoda PCA
• Wagi każdego neuronu uczonego tą metodą podobnie jak w poprzedniej metodzie tworzą pewien obraz bazowy przypominający
„duchową” twarz.
Każdy obraz został utworzony z wag jednego neuronu przeskalowanych na zakres [0,255].
Metoda PCA
Obraz oryginalny i zrekonstruowany za pomocą 25, 12, 5 oraz 3 obrazów bazowych otrzymanych z sieci Hebba.
Metoda PCA
Obraz oryginalny i zrekonstruowany za pomocą kolejno 25, 12, 5 oraz 3 obrazów bazowych otrzymanych z sieci Hebba.
Metoda PCA
Pytanie?
Jak obliczyd wariancję wychwyconą przez kilka pierwszych składowych głównych, jeśli są one liczone za pomocą sieci neuronowej?