Sieci skierowane Algorytmy konstrukcyjne
Wstęp do sieci neuronowych, wykład 04. Skierowane sieci neuronowe. Algorytmy konstrukcyjne dla sieci
skierowanych
Maja Czoków, Jarosław Piersa
Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika
2013-10-29
Sieci skierowane
Algorytmy konstrukcyjne Sieć skierowana
1 Sieci skierowane Sieć skierowana
2 Algorytmy konstrukcyjne
Algorytm wieżowy
Algorytm piramidalny
Algorytm kafelkowy
Algorytm upstart
Sieci skierowane
Algorytmy konstrukcyjne Sieć skierowana
Koncepcja sieci skierowanej
Sieci skierowane
Algorytmy konstrukcyjne Sieć skierowana
Przykład
Sieć rozwiązująca XOR
out
Sieci skierowane
Algorytmy konstrukcyjne Sieć skierowana
Funkcje logiczne
(A ∨ B ∨ ¬C ) ∧ (C ∨ ¬D ∨ E ) ∧ ¬A
Sieci skierowane
Algorytmy konstrukcyjne Sieć skierowana
Funkcje na R d
Sieć bez warstw ukrytych jest w stanie przybliżać funkcje liniowo separowalne.
0 0.5 1 1.5 2
Sieci skierowane
Algorytmy konstrukcyjne Sieć skierowana
Funkcje na R d
Sieci z jedną warstwą ukrytą są w stanie przybliżać funkcje ciągłe.
-0.5 0 0.5 1 1.5 2
Sieci skierowane
Algorytmy konstrukcyjne Sieć skierowana
Funkcje na R d
Sieci z dwiema lub więcej warstwami ukrytymi są w stanie przybliżać funkcje nieciągłe.
0 0.5 1 1.5 2
Sieci skierowane
Algorytmy konstrukcyjne Sieć skierowana
Sieć (wielo) warstwowa ((multi) layer network)
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
1 Sieci skierowane Sieć skierowana
2 Algorytmy konstrukcyjne
Algorytm wieżowy
Algorytm piramidalny
Algorytm kafelkowy
Algorytm upstart
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Zagadnienie
Daną mamy listę przykładów uczących tj.
punkt E k ∈ R n ,
odpowiadającą mu poprawną klasyfikację C k ∈ {−1, +1}.
Chcemy znaleźć skierowaną sieć neuronów, to jest graf wraz z wagami, który klasyfikuje poprawnie możliwie najwięcej spośród danych uczących.
w i ,j = ?
??? out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm wieżowy
...
out
...
out
...
out
...
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm wieżowy
...
out
...
out
...
out
...
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm wieżowy
...
out
...
out
...
out
...
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm wieżowy
...
out
...
out
...
out
...
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Mapy klasyfikacyjne
click
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 1/4
-8 -6 -4 -2 0 2 4 6
-6 -4 -2 0 2 4 6
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 2/4
-6 -4 -2 0 2 4 6
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 3/4
-6 -4
-2 0
2 4
6 -8 -6 -4 -2 0 2 4 6
-1 -0.5 0 0.5 1
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 4/4
-6 -4
-2 0
2
4 -6 -4 -2 0 2 4 6
-1 -0.5 0 0.5 1
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przestrzeń wag
click
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm piramidalny
...
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm piramidalny
...
out
...
out
...
out
...
out
...
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm piramidalny
...
out
...
out
...
out
...
out
...
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm piramidalny
...
out
...
out
...
out
...
out
...
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm piramidalny
...
out
...
out
...
out
...
out
...
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm piramidalny
...
out
...
out
...
out
...
out
...
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm kafelkowy
out
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 1/8
out
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
Sieć Dane
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 2/8
out
-6 -4 -2 0 2 4 6
Sieć Dane
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 3/8
out
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
Sieć Dane
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 4/8
out
-6 -4 -2 0 2 4 6
Sieć Dane
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 5/8
out
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
Dane Sieć
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 6/8
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
(0 0 0) (0 0 1)
(0 1 0) (0 1 1)
(1 0 0) (1 0 1)
(1 1 0) (1 1 1)
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 6/8
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
(0 0 0) (0 0 1)
(0 1 0) (0 1 1)
(1 0 0) (1 0 1)
(1 1 0) (1 1 1)
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 7/8
out
Sieć Dane
(0 0 1)
(0 1 0) (0 1 1)
(1 0 1)
(1 1 0) (1 1 1)
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 8/8
out
Sieć Dane
(0 0 1)
(0 1 0) (0 1 1)
(1 0 1)
(1 1 0) (1 1 1)
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Algorytm upstart
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 1/6
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 2/6
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
źle klasyfikowane przykłady dodatnie źle klasyfikowane
przykłady ujemne
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 3/6
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
źle klasyfikowane przykłady ujemne
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 4/6
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 5/6
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
źle klasyfikowane przykłady ujemne
Sieci skierowane Algorytmy konstrukcyjne
Algorytm wieżowy Algorytm piramidalny Algorytm kafelkowy Algorytm upstart
Przykład 6/6
-8 -6 -4 -2 0 2 4 6
-10 -5 0 5 10
