2012-10-24 MajaCzoków,JarosławPiersa Wstępdosiecineuronowych,wykład04.Skierowanesiecineuronowe.Algorytmykonstrukcyjnedlasieciskierowanych

(1)

Sieci skierowane Algorytmy konstrukcyjne Podsumowanie wykładu

Wstęp do sieci neuronowych, wykład 04. Skierowane sieci neuronowe. Algorytmy konstrukcyjne dla sieci

skierowanych

Maja Czoków, Jarosław Piersa

Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika

2012-10-24

Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”

(2)

1 Sieci skierowane Motywacja Sieć skierowana

Siła opisu sieci skierowanej

2 Algorytmy konstrukcyjne Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart

3 Podsumowanie wykładu Zadania do przemyślenia

(3)

Motywacja Sieć skierowana Siła opisu sieci skierowanej

(4)

(5)

Cel

Chcemy skonstruować system, który będzie w stanie nauczyć się i replikować klasyfikacje danych (jak perceptron)

Tym razem system będzie trochę bardziej skomplikowany

(6)

Ograniczenia pojedynczego neuronu

Klasyfikacja wyłącznie problemów liniowo separowalnych, Co, gdy mamy trudniejszy problem?

-6 -4 -2 0 2 4 6

(7)

Ograniczenia pojedynczego neuronu

Albo bardzo zgrubne rozwiązania, albo perceptron całkowicie głupieje.

Czy da się temu zaradzić?

Znalezienie odpowiedzi zajęło ok 5 lat, jej spopularyzowanie kolejne 5.

(8)

Koncepcja sieci skierowanej

(9)

Koncepcja sieci skierowanej

Wejścia (liczby całkowite, rzeczywiste...) x1, .., xn, Zbiór perceptronów, każdy z własnym zestawem wag,

Graf sieci — skierowany i acykliczny, rozpięty na perceptronach, Wejściami do perceptronów są: dane wejściowe do sieci oraz mogą być wyjścia z dowolnych perceptronów leżących wcześniej, Odpowiedzi perceptronów bez potomków (liście) są traktowane jako wyjścia z całej sieci.

(10)

Dynamika sieci skierowanej

Działanie synchroniczne,

Każdy neuron czeka, aż wszyscy rodzice zostaną obliczeni, Na koniec zwracana jest odpowiedź sieci (liczba lub wektor liczb),

W implementacji: obliczenia po kolei według kolejności sortowania topologicznego,

Jeżeli topologia na to pozwala, to można zrównoleglać obliczenia neuronów,

(11)

Przykład

Sieć rozwiązująca XOR

out

(12)

Funkcje logiczne

Koniunktywna postać normalna zdania logicznego.

Zapis równoważnego zdania w postaci koniunkcji alternatyw zmiennych lub negacji zmiennych,

(A ∨ B ∨ ¬C ) ∧ (C ∨ ¬D ∨ E ) ∧ ¬A

Każde zdanie rachunku logiki boolowskiej da się zapisać w CNF (Conjunctive Normal Form),

W szczególności A xor B = (A ∨ B) ∧ (¬A ∨ ¬B).

(13)

Funkcje logiczne

(A ∨ B ∨ ¬C ) ∧ (C ∨ ¬D ∨ E ) ∧ ¬A

(14)

Funkcje na R

^d

Sieć bez warstw ukrytych jest w stanie przybliżać funkcje liniowo separowalne.

-1 -0.5 0 0.5 1 1.5 2

(15)

Funkcje na R

^d

Sieci z jedną warstwą ukrytą są w stanie przybliżać funkcje ciągłe.

-1 -0.5 0 0.5 1 1.5 2

(16)

Funkcje na R

^d

Sieci z dwiema lub więcej warstwami ukrytymi są w stanie przybliżać funkcje nieciągłe.

-1 -0.5 0 0.5 1 1.5 2

(17)

Jakie grafy sieci?

Dające dobre rezultaty,

Proste w implementacji (regularne, niezbyt gęste), Zdatne do zrównoleglenia (warstwowe).

(18)

Sieć (wielo) warstwowa ((multi) layer network)

out

(19)

Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart

(20)

Zagadnienie

Daną mamy listę przykładów uczących tj.

punkt E^k ∈ Rⁿ,

odpowiadającą mu poprawną klasyfikację C^k ∈ {−1, +1}.

Chcemy znaleźć skierowaną sieć neuronów, to jest graf wraz z wagami, który klasyfikuje poprawnie możliwie najwięcej spośród danych uczących.

wi ,j = ?

???

out

(21)

Algorytm Wieżowy

...

(22)

Algorytm wieżowy

1 Rozpocznij od sieci składającej się z pojedynczego perceptronu z progową funkcją aktywacji,

2 Naucz jedyny perceptron algorytmem kieszonkowym (z zapadką),

3 Powtarzaj aż do uzyskania zadowalającego rezultatu (tj.

zadowalający poziom klasyfikacji, limit czasowy itp.)

Na szczyt wieży dodaj kolejny neuron. Jego wejściami będą dane uczące E₁, .., E_noraz wyjście neuronu leżącego bezpośrednio niżej,

Naucz szczytowy neuron algorytmem kieszonkowym (z zapadką), za n + 1-sze wejścia przyjmij wyniki z neuronu niższego,

Jako wynik całej sieci zwracany będzie wynik nowo-dodanego perceptronu,

4 Zwróć wynikową sieć.

(23)

Algorytm wieżowy

...

out

...

out

...

out

...

out

(24)

Algorytm wieżowy

...

out

...

out

...

out

...

out

(25)

Algorytm wieżowy

...

out

...

out

...

out

...

out

(26)

Algorytm wieżowy

...

out

...

out

...

out

...

out

(27)

Uzasadnienie

Przyjmijmy oznaczenia:

O_j — jednostka j -ta,

O_{j +1} — jednostka j + 1-sza, ta jednostka będzie uczona, E^k — k-ty przykład uczący, źle klasyfikowany przez O_j, n — ilość wejść (wymiar danych),

θj +1 — próg jednostki Oj +1, 0 < ε 1 — mała stała dodatnia,

w_{i ,j +1} — wagi neuronu O_{j +1} stowarzyszone z danymi wejściowymi,

w_{j ,j +1} — waga neuronu O_{j +1} stowarzyszona wejściem pochodzącym z jednostki Oj.

(28)

Uzasadnienie

Dla ułatwienia, zakładamy, że wśród przykładów uczących nie ma negatywów (w razie konieczności odwracamy przykład) Załóżmy, że mamy sieć klasyfikującą przykłady E¹...E^k−1 i dającą błędną odpowiedź dla E^k

Dodamy nowy neuron O_{j +1}

Pokażemy, że sieć z dodanym neuronem O_{j +1}jest w stanie zaklasyfikować poprawnie przynajmniej o jeden przykład uczący więcej.

(29)

Uzasadnienie

Przypiszmy:

w_{i ,j +1}:=C^kE_i^k w_{j ,j +1}:=n − ε θj +1:= −¹₂C^k

...

out

(30)

Uzasadnienie

Dla przykładu E^k neuron O_{j +1} otrzyma na wejściu (n − ε)(−1)C^k+X

i

C^kE_i^k · E_i^k = nC^k − nC^k+ εC^k = εC^k

θj +1= −1 2C^k, więc sieć zwróci oczekiwaną odpowiedź na E^k.

(31)

Uzasadnienie

Dla pozostałych przykładów E^j, j 6= k neuron Oj +1 zwróci tę samą odpowiedź co neuron O_j:

(n − ε)O_j +X

i

C^jE_i^j · E_i^k,

Jeżeli dla każdego i E_i^j = E_i^k oraz C^k = C^k, to oba przykłady E^k oraz E^j są te same i E^j też będzie poprawnie klasyfikowany, Jeżeli dla każdego i zachodzi E_i^j = E_i^k oraz C^k 6= C^k, to oba E^k oraz E^j są te same, ale mają oczekiwane różne odpowiedzi — dane są sprzeczne i stuprocentowa klasyfikacja możliwa nie jest, Poza powyższymi przypadkami mamy

X

i

C^jE_i^j · E_i^k

≤ n − 1.

(32)

Uzasadnienie

(n − ε)O_j +X

i

Jeżeli dla każdego i E_i^j = E_i^k oraz C^k = C^k, to oba przykłady E^k oraz E^j są te same i E^j też będzie poprawnie klasyfikowany,

Jeżeli dla każdego i zachodzi E_i^j = E_i^k oraz C^k 6= C^k, to oba E^k oraz E^j są te same, ale mają oczekiwane różne odpowiedzi — dane są sprzeczne i stuprocentowa klasyfikacja możliwa nie jest, Poza powyższymi przypadkami mamy

X

i

C^jE_i^j · E_i^k

≤ n − 1.

(33)

Uzasadnienie

(n − ε)O_j +X

i

Jeżeli dla każdego i E_i^j = E_i^k oraz C^k = C^k, to oba przykłady E^k oraz E^j są te same i E^j też będzie poprawnie klasyfikowany, Jeżeli dla każdego i zachodzi E_i^j = E_i^k oraz C^k 6= C^k, to oba E^k oraz E^j są te same, ale mają oczekiwane różne odpowiedzi — dane są sprzeczne i stuprocentowa klasyfikacja możliwa nie jest,

Poza powyższymi przypadkami mamy

X

i

C^jE_i^j · E_i^k

≤ n − 1.

(34)

Uzasadnienie

(n − ε)O_j +X

i

Jeżeli dla każdego i E_i^j = E_i^k oraz C^k = C^k, to oba przykłady E^k oraz E^j są te same i E^j też będzie poprawnie klasyfikowany, Jeżeli dla każdego i zachodzi E_i^j = E_i^k oraz C^k 6= C^k, to oba E^k oraz E^j są te same, ale mają oczekiwane różne odpowiedzi — dane są sprzeczne i stuprocentowa klasyfikacja możliwa nie jest, Poza powyższymi przypadkami mamy

X

i

C^jE_i^j · E_i^k

≤ n − 1.

(35)

Uzasadnienie

Suma ważona w jednostce O_{j +1} wyniesie zatem:

(n − ε)O_j +X

i

C^jE_i^j · E_i^k ≤ (n − ε)O_j + (n − 1)C^j,

Oraz próg:

θj +1= −1 2C^k,

Jeżeli zatem ε nie będzie za duży, to zwrócona przez O_{j +1} odpowiedź będzie taka sama jak ta, którą zwrócił Oj.

(36)

Uzasadnienie

(n − ε)O_j +X

i

Oraz próg:

θj +1= −1 2C^k,

Jeżeli zatem ε nie będzie za duży, to zwrócona przez O_{j +1} odpowiedź będzie taka sama jak ta, którą zwrócił Oj.

(37)

Uzasadnienie

(n − ε)O_j +X

i

Oraz próg:

θj +1= −1 2C^k,

Jeżeli zatem ε nie będzie za duży, to zwrócona przez Oj +1 odpowiedź będzie taka sama jak ta, którą zwrócił Oj.

(38)

Mapy klasyfikacyjne

click

(39)

Przykład 1/4

-8 -6 -4 -2 0 2 4 6

-6 -4 -2 0 2 4 6

(40)

Przykład 2/4

-8 -6 -4 -2 0 2 4 6

-6 -4 -2 0 2 4 6

(41)

Przykład 3/4

-6 -4

-2 0

2 4

6 -8 -6 -4 -2 0 2 4 6

-1 -0.5 0 0.5 1

(42)

Przykład 4/4

-6 -4

-2 0

2 4

6 -8 -6 -4 -2 0 2 4 6

-1 -0.5 0 0.5 1

(43)

Przestrzeń wag

click

(44)

Algorytm piramidalny

...

(45)

Algorytm piramidalny

1 Rozpocznij od sieci składającej się z pojedynczego perceptronu z progową funkcją aktywacji,

2 Naucz jedyny preceptron algorytmem kieszonkowym (z zapadką),

3 Powtarzaj aż do uzyskania zadowalającego rezultatu (tj.

zadowalający poziom klasyfikacji, limit czasowy itp.)

Na szczyt wieży dodaj kolejny neuron. Jego wejściami będą dane uczące E₁, .., E_noraz wyjście wszystkich leżących niżej neuronów,

Naucz szczytowy neuron algorytmem kieszonkowym (z zapadką), za n + 1, ..., n + l -te wejścia przyjmij wyniki z neuronów niższych, Jako wynik całej sieci zwracany będzie wynik nowo-dodanego perceptronu,

4 Zwróć wynikową sieć.

(46)

Algorytm piramidalny

...

out

...

out

...

out

...

out

...

out

(47)

Algorytm piramidalny

...

out

...

out

...

out

...

out

...

out

(48)

Algorytm piramidalny

...

out

...

out

...

out

...

out

...

out

(49)

Algorytm piramidalny

...

out

...

out

...

out

...

out

...

out

(50)

Algorytm piramidalny

...

out

...

out

...

out

...

out

...

out

(51)

Algorytm kafelkowy

out

(52)

Algorytm kafelkowy — idea

Odpowiedź warstwy sieci przypisuje zbiorom punktów pewien binarny ciąg — etykietę np. 010,

W obrębie jednej etykiety punkty muszą być jednakowo klasyfikowane, (wpw. przechodząc do kolejnej dostajemy sprzeczność),

Jeżeli w obrębie jakiejś etykiety są dwie różne klasy punktów, to dodajemy jednostkę do warstwy rozdrabniając podział,

Jeżeli w obrębie etykiet nie ma konfliktów (warstwa wykształciła wierną reprezentację), to zamykamy bieżącą warstwę i dodajemy następną.

(53)

Algorytm kafelkowy

Rozpocznij od sieci składającej się z warstwy wejściowej L = 0,

Dodaj do sieci L + 1 kafel, na razie składający się tylko z jednego neuronu.

Dodany neuron za wejścia przyjmuje wszystkie wyjścia z kafla L. Za wyjście sieci przyjmij wyjście z nowego neuronu,

Naucz dodaną jednostkę algorytmem kieszonkowym z zapadką. Jeżeli sieć klasyfikuje poprawnie wszystkie przykłady, to zakończ zwracając wynikową sieć,

Jeżeli nie, to dodaj do L + 1-go kafla kolejny neuron. Naucz go algorytmem kieszonkowym z zapadką, ale tylko na takim zbiorze, że:

poprzednie neurony w L + 1 kaflu dają na tych przykładach tę samą etykietę (tj. z punktu widzenia sieci jest to ta sama klasa), oczekujemy, że mają być to przykłady z różnych klas,

spośród wszystkich podzbiorów spełniających dwa powyższe warunki wybrany powinien być najliczniejszy.

(54)

Algorytm kafelkowy cd.

Jeżeli kafel poprawnie klasyfikuje wszystkie przykłady (tj.

różnym kategoriom przypisuje różne etykiety), to wróć do 2 (dodaj nowy kafel), jeżeli nie to wróć do 4 (dodaj nową jednostkę w tym samym kaflu),

Zwróć wynikową sieć (oczekujemy odpowiedzi binarnej, więc ostatni kafel powinien liczyć tylko jedną jednostkę).

(55)

Przykład 1/8

out

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

Sieć Dane

(56)

Przykład 2/8

out

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

Sieć Dane

(57)

Przykład 3/8

out

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

Sieć Dane

(58)

Przykład 4/8

out

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

Sieć Dane

(59)

Przykład 5/8

out

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

Dane Sieć

(60)

Przykład 6/8

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

(0 0 0) (0 0 1)

(0 1 0) (0 1 1)

(1 0 0) (1 0 1)

(1 1 0) (1 1 1)

(61)

Przykład 6/8

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

(0 0 0) (0 0 1)

(0 1 0) (0 1 1)

(1 0 0) (1 0 1)

(1 1 0) (1 1 1)

(62)

Przykład 7/8

out

Sieć Dane

(0 0 0) (0 0 1)

(0 1 0) (0 1 1)

(1 0 0) (1 0 1)

(1 1 0) (1 1 1)

(63)

Przykład 8/8

out

Sieć Dane

(0 0 0) (0 0 1)

(0 1 0) (0 1 1)

(1 0 0) (1 0 1)

(1 1 0) (1 1 1)

(64)

Algorytm upstart

(65)

Algorytm upstart — idea

Jeżeli dla X ⊂ E powinno być +1, a jednostka zwraca −1, to tworzymy pomocniczą jednostkę dodatnią, która pomaga poprawnie klasyfikować X ,

Jednostka pomocnicza uczona jest na X (danych, które główna jeszcze źle klasyfikuje) oraz wszystkich przykładach ujemnych (aby nie nauczyła się że wszystko jest +1), odchodzą przykłady pozytywne poprawnie klasyfikowane,

Analogiczne dodajemy jednostki pomocnicze ujemne.

Rekurencyjne budujemy takie drzewa dla jednostek pomocniczych,

(66)

Algorytm upstart

Tworzymy pojedynczą jednostkę U, która widzi wszystkie wejścia. Jej wyjście jest wyjściem całej sieci,

Odkładamy U na stos wraz ze wszystkimi przykładami uczącymi, Dopóki stos jest niepusty, powtarzamy:

zdejmujemy ze stosu jednostkę U_i i zbiór stowarzyszonych z nią przykładów uczących,

uczymy Ui na jej przykładach algorytmem zapadkowym,

jeżeli klasyfikacja Ui jest w pełni zgodna, to rozpocznij następną iterację pętli (continue).

(67)

Algorytm upstart cd.

Dopóki stos jest niepusty, powtarzamy:

(...)

jeżeli istnieją źle sklasyfikowane przykłady z oczekiwaną odpowiedzią +1 dla jednostki Ui, to

tworzymy nową jednostkę Ui +, jej wejściami są wszystkie wejścia, jej wyjście wchodzi do Ui z dużą wagą dodatnią,

odkładamy Ui +na stos z następującym zbiorem uczącym:

˘E^k: Ui^k= −1, CU^k_i = +1¯ ∪ ˘E^k: CU^k_i = −1¯, to jest przykłady, które są klasyfikowane przez Ui jako −1, a powinny +1 oraz przykłady, która powinny być klasyfikowane przez Ui

jako −1, Zbiór uczący dla Ui +jest mniejszy od Ui o przykłady dodatnie, które są dobrze klasyfikowane,

(68)

Algorytm upstart cd.

Dopóki stos jest niepusty, powtarzamy:

(...)

jeżeli istnieją źle sklasyfikowane przykłady z oczekiwaną odpowiedzią +1 dla jednostki Ui, to

(...)

jeżeli istnieją źle sklasyfikowane przykłady z oczekiwaną odpowiedzią −1 dla Ui, to

tworzymy nową jednostkę Ui −, jej wejściami są wszystkie wejścia, jej wyjście wchodzi do Ui z dużą wagą dodatnią,

odkładamy Ui − na stos z następującym zbiorem uczącym:

˘E^k: U_i^k= +1, C_U^k_i = −1¯ ∪ ˘E^k: C_U^k_i = +1¯, to jest przykłady, które są klasyfikowane przez Ui jako +1, a powinny −1 oraz przykłady, która powinny być klasyfikowane przez Ui jako +1, zdejmujemy ze stosu następny neuron (continue),

Zwracamy uzyskaną sieć.

(69)

Przykład 1/6

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

(70)

Przykład 2/6

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

źle klasyﬁkowane przykłady dodatnie źle klasyﬁkowane

przykłady ujemne

(71)

Przykład 3/6

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

źle klasyﬁkowane przykłady ujemne

(72)

Przykład 4/6

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

wracamy do

(73)

Przykład 5/6

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

źle klasyﬁkowane przykłady ujemne

(74)

Przykład 6/6

-8 -6 -4 -2 0 2 4 6

-10 -5 0 5 10

(75)

Zadania do przemyślenia

Po wykładzie powinienem umieć

łączyć neurony w sieci skierowane w celu zwiększenia ich siły klasyfikacyjnej

implementować dynamikę w sieciach skierowanych

skonstruować sieć skierowaną dla zadanych danych uczących

(76)

Zadania domowe

Opisz różnice mięszy siecią wieżową, a piramidalną.

Która z sieci ma większe możliwości opisu: wieżowa czy piramidalna?

Skonstruuj sieć warstwową rozwiązującą problem IFF (if and only if).

Skonstruuj dane jednowymiarowe / dwuwymiarowe, których nie będzie wstanie rozwiązać perceptron, a których nauczy się sieć.

Podaj wagi sieci.

(77)

Zadania domowe

Dla sieci wieżowej, piramidalnej lub / i warstwowej wyświetl profil klasyfikacji fragmentu płaszczyzny. Wagi wygeneruj losowo. Przetestuj wykresy dla kilku sieci z różną ilością neuronów / warstw i neuronów w warstwie.

(*) Skonstruuj dane dwuwymiarowe składające się z trzech przykładów uczących, którego nie będzie wstanie rozwiązać perceptron, a który rozwiąże sieć. Podaj wagi sieci.

(*) Do tego samego zestawu danych zastosuj różne algorytmy konstrukcyjne. Porównaj uzyskaną jakość uczenia. Porównaj również czas uczenia oraz zużycie pamięci (ilość neuronów i wag).