• Nie Znaleziono Wyników

Metoda PCA

W dokumencie Systemy uczace sie w4 pca (Stron 21-49)

1. W przypadku jednak, gdy wymiar obrazu twarzy równa się np. 50x50, N2 = 2500, wymiar macierzy symetrycznej C jest równy 2500x2500.

2. Z praktycznego punktu widzenia liczenie wartości i wektorów własnych tak dużej macierzy jest bardzo nieatrakcyjne.

3. Jeśli jednak danych wejściowych jest dużo mniej niż wymiar wejściowej przestrzeni (M<<N), istnieje tylko M-1 znaczących wektorów własnych. Pozostałe

Metoda PCA

Korzystny zatem jest następujący zabieg.

Znajdźmy wektory własne vi macierzy ATA , czyli

Metoda PCA

Stad wynika, że

są szukanymi wektorami macierzy

Konstruujemy zatem macierz

o wymiarach MxM, gdzie

i znajdujemy najpierw M wektorów własnych vi macierzy L .

Metoda PCA

1. Za pomocą tej analizy obliczenia są znacznie zredukowane.

2. Liczenie wektorów własnych macierzy o wymiarach N2 x N2 ( NxN – wymiar obrazu wejściowego) np. 2500x2500 jest zastąpione liczeniem wektorów własnych

macierzy o wymiarach MxM ( M – liczba dostępnych obrazów) np. 30x30.

3. Wyliczone wartości własne pozwalają na uszeregowanie otrzymanych wektorów własnych zgodnie z ich ważnością.

Metoda PCA

1. Użytecznośd tego algorytmu wynika z postaci macierzy L. 2. Po pierwsze, ma ona o wiele niższy wymiar niż macierz C

3. Po drugie jest ona symetryczna i rzeczywista, wiec wektory i wartości własne są również rzeczywiste.

4. W praktyce liczenie wektorów i wartości własnych odbywa się za pomocą

algorytmu QR, gdzie rzeczywista, symetryczna macierz A jest dekomponowana na iloczyn macierzy ortogonalnej Q oraz macierzy górnej trójkątnej R .

5. Algorytm QR jest rzędu O(N3) dla każdej iteracji. Jednak ten sam algorytm jest rzędu jedynie O (N) dla każdej iteracji dla macierzy trójdiagonalnej. Zatem znaczne przyspieszenie obliczeo może byd osiągnięte przez przekształcenie macierzy L do postaci trójdiagonalnej za pomocą np. algorytmu Housholder’a.

Metoda PCA

Wynikiem obliczeo są obrazy bazowe tzw. eigenfaces, którymi są wektory własne macierzy C .

Przykładowe twarze uczestniczące w tworzeniu obrazów bazowych.

Metoda PCA

• Otrzymano wektory bazowe

znormalizowane, które w celu ich zaprezentowania przeskalowano na zakres [0,255] (zakres wartości pikseli). • Otrzymane eigenfaces szeregowane są zgodnie z malejącymi wartościami stowarzyszonych wartości własnych.

Metoda PCA

Metoda PCA

1. Z powyższych rachunków otrzymano zbiór obrazów (wektorów) bazowych, które wyznaczaj podprzestrzeo przestrzeni początkowej.

2. Wymiarowośd problemu została znacznie ograniczona - w powyższym przykładzie obrazy miały wymiar 100x100, wiec wymiar przestrzeni wejściowej był równy

10000, natomiast uzyskano 25 wektorów bazowych, zatem podprzestrzeo, w której odbędzie się porównanie i rozpoznanie ma wymiar 24 ( M-1 wektorów

znaczących), lub mniejszy, jako że nie ma konieczności rzutowania obrazów podlegających rozpoznaniu na wszystkie obrazy bazowe.

3. Często wystarczające jest wykorzystanie jedynie części z nich, np. takich z

największymi stowarzyszonymi wartościami własnymi, jako takimi, które niosą najwięcej informacji o wariancji w zbiorze obrazów.

Metoda PCA

1. Często bowiem wektory własne z mniejszymi wartościami własnymi niosą

informacje nieistotne, wręcz nieprzydatne, związane z szumem występującym w obrazach.

2. Niekiedy jednak nie jest to prawdą, gdyż, jeśli wśród obrazów istnieją duże różnice w jasności i oświetleniu, największe wektory własne mogą opisywad właśnie te cechy obrazów, które nie są istotne, a wręcz są niepożądane podczas rozpoznania.

Metoda PCA

Każdy obraz, także nie uczestniczący w tworzeniu obrazów bazowych, jest rzutowany na powstałą podprzestrzeo poprzez prostą operację

gdzie M’ jest liczbawybranych obrazów bazowych. Otrzymujemy wektor cech opisujący daną twarz

Wektor ten zawiera wagi linowej kombinacji dla danego obrazu, jeśli ma on zostad zrekonstruowany na podstawie obrazów bazowych.

Metoda PCA

Rekonstrukcja obrazu na podstawie wektora cech i obrazów bazowych odbywa się następująco:

Metoda PCA

Metoda PCA

Rekonstrukcja ta obarczona jest błędem, który może byd w przybliżeniu określony jako

Błąd ten rośnie, jeśli obrazy biorące udział w tworzeniu bazy różnią się znacząco miedzy sobą.

Metoda PCA

Obraz oryginalny i zrekonstruowany za pomocą 25, 12, 5 oraz 3 obrazów bazowych. Obraz brał udział w tworzeniu bazy.

Metoda PCA

Obraz oryginalny i zrekonstruowany za pomocą 25, 12, 5 oraz 3 obrazów bazowych. Obraz nie brał udziału w tworzeniu bazy.

Metoda PCA

1. Po obliczeniu obrazów bazowych, każdy obraz w bazie jest opisany za pomocą wektora cech. Wartości te są zapisywane w bazie w celu późniejszego ich

wykorzystania.

2. Każdy nowy obraz pokazany systemowi jest opisywany za pomoc wektora cech poprzez dokonanie jego projekcji na te same obrazy bazowe.

3. Powstały wektor cech użyty jest do porównania danej twarzy z innymi. Dokonuje się tego za pomoc różnego rodzaju metryk (Euklidesa, iloczyn skalarny wektorów) lub stosując bardziej wymyślne metody klasyfikacji.

Metoda PCA

Ekstrakcja składników głównych za pomocą sieci Hebba

• W celu dokonania analizy składników głównych PCA, można wykorzystad odpowiednio skonstruowaną i uczoną sied neuronów Hebba.

• W modelu Hebba wykorzystuje się obserwację neurobiologiczną, która zwraca uwagę na to, że waga połączenia między dwoma neuronami wzrasta przy

jednoczesnym pobudzeniu obu neuronów, w przeciwnym wypadku maleje. • Zmiana wag w takiej metodzie uczenia wygląda następująco:

gdzie F(.) jest funkcją sygnału wejściowego (presynaptycznego) xj , oraz sygnału wyjściowego (postsynaptycznego) yi .

Metoda PCA

• Do wyznaczenia pierwszego składnika głównego y1 i odpowiadającego mu wektora W1 za pomocą sieci Hebba, Oja zaproponował sied złożonąz jednego neuronu

liniowego, z którego otrzymuje się

Adaptacja wag odbywa się po każdorazowym podaniu wzorca na wejście

neuronu i przebiega według znormalizowanej reguły Hebba, zwanej regułą Oji:

Metoda PCA

W powyższym wzorze pierwszy składnik odpowiada regule Hebba, drugi natomiast zapewnia samonormalizację, tak aby

Estymacja wielu składników głównych wymaga wielu neuronów w warstwie wyjściowej.

Dobre rezultaty można otrzymad stosując regułę Sangera.

Przy K neuronach liniowych w warstwie wyjściowej każdy z nich generuje sygnał

Metoda PCA

Adaptacja wag następuje według wzoru

Aby użyd powyższą metodę do uzyskania wektorów cech dla danych

obrazów twarzy, należy na wejście sieci podawad znormalizowane wektory uzyskane identycznie jak w poprzednim rozdziale.

Ustalając liczbę neuronów określamy liczbę składników głównych, które zostaną wyodrębnione kolejno przez wszystkie neurony.

Metoda PCA

Odpowiednikiem wektorów własnych ui z poprzedniej

metody są wagi danego neuronu Wi . Wektor cech powstaje z odpowiedzi yi neuronów sieci na wzorzec przekazany na jej wejcie. Otrzymujemy zatem wektor cech w postaci

Jeżeli przez W oznaczymy macierz to

dla każdego obrazu.

Metoda PCA

• Wagi każdego neuronu uczonego tą metodą podobnie jak w poprzedniej metodzie tworzą pewien obraz bazowy przypominający

„duchową” twarz.

Każdy obraz został utworzony z wag jednego neuronu przeskalowanych na zakres [0,255].

Metoda PCA

Obraz oryginalny i zrekonstruowany za pomocą 25, 12, 5 oraz 3 obrazów bazowych otrzymanych z sieci Hebba.

Metoda PCA

Obraz oryginalny i zrekonstruowany za pomocą kolejno 25, 12, 5 oraz 3 obrazów bazowych otrzymanych z sieci Hebba.

Metoda PCA

Pytanie?

Jak obliczyd wariancję wychwyconą przez kilka pierwszych składowych głównych, jeśli są one liczone za pomocą sieci neuronowej?

W dokumencie Systemy uczace sie w4 pca (Stron 21-49)

Powiązane dokumenty