Sztuczne Systemy Skojarzeniowe

(1)

Sztuczne Systemy Skojarzeniowe

Aktywne asocjacyjne grafy neuronowe AANG

Active Associative Neural Graph

AGH Akademia Górniczo-Hutnicza

Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Katedra Automatyki i Inżynierii Biomedycznej Laboratorium Biocybernetyki

30-059 Kraków, al. Mickiewicza 30, paw. C3/205

Adrian Horzyk

horzyk@agh.edu.pl

(2)

AKTYWNA I PASYWNA REPREZENTACJA DANYCH

Pamięci komputerowe przechowują dane:

 względnie bezpiecznie,

 pasywnie.

PASYWNASTRUKTURA DANYCH WYMAGAJĄCA ALGORYTMÓW

ASOCJACYJNA STRUKTURA AKTYWNIEREPREZENTUJĄCA DANE I ICH ZWIĄZKI

DZIĘKI NEURONOWYM REAKTYWNYM MECHANIZMOM ICH REPREZENTACJI

Systemy skojarzeniowe reprezentują dane:

 zagregowane,

 aktywnie.



(3)

Transformacja tabeli na neuronową strukturę asocjacyjną

Adrian Horzyk, horzyk@agh.edu.pl, Sztuczne systemy skojarzeniowe

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

MIN MAX

SENSIN : A2 SENSIN : A1

AANG

A2 A1

( A )

(4)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2 3 N1

ADEF

MIN

^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

AANG

2 3 R1

( B )

(5)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2 1 3

N2 N1

ADEF

ASIM ASEQ

ADEF

MIN

^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

ASIM

8

AANG

8 1 R2

( C )

(6)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 N2

N1 N3

ADEF ASIM

ASIM

ASEQ ASEQ

ADEF

MIN

^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

ASIM

8

ASIM

9

AANG

3 9 R3

( D )

(7)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ASEQ ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

ASIM

8

ASIM

9

AANG

1 3 R4

( E )

(8)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

ASIM

8

ASIM

8

ASIM

9

ASEQ

N5

ADEF

AANG

4 8 R5

( F )

(9)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

ASIM

8

5

^ASIM

8

ASIM ^ASIM

9 N6 N5

^ASEQ

ASEQ ADEF

ADEF ADEF

AANG

ADEF

4 5 R6

( G )

(10)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

ASIM

8

5

^ASIM

8

ASIM ^ASIM

9 N6 N5

^ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

AANG

ADEF

1 3 R7

( H )

(11)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8

ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

ACON

AANG

9 1 R8

( I )

(12)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

AANG

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

ADEF ADEF

ACON

6 8 R9

( J )

(13)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3

R7 ...

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

2 3 R1

6 8 R9

( K )

(14)

Pobudzenie receptorów za pośrednictwem pól sensorycznych

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

4 3 ZEWNĘTRZNE

POBUDZANIE WEJŚĆ SENSORYCZNYCH

AUTOMATYCZNE

AUTONOMICZNE

WNIOSKOWANIE

(15)

Wyznaczenie podobieństwa lub następstwa na skutek propagacji pobudzenia

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

ZEWNĘTRZNE POBUDZANIE

NEURONU

AUTOMATYCZNE AUTONOMICZNE WNIOSKOWANIE I WYKRYWANIE RELACJI POMIĘDZY REPREZENTOWANYMI

OBIEKTAMI

AUTOMATYCZNA EKSPLORACJA

DANYCH

CHARAKTERYSTYCZNA DLA LUDZKIEJ

INTELIGENCJI

(16)

Asocjacyjne relacje: podobieństwo, następstwo…

 Asocjacyjne podobieństwo zachodzi pomiędzy połączonymi (ASIM) neuronami

lub receptorami reprezentującymi podobne wartości lub ich kombinacje.

 Asocjacyjne następstwo zachodzi pomiędzy połączonymi (ASEQ) neuronami reprezentującymi

grupy/klasy danych, które pojawiały się kolejno po sobie w czasie. Mogą reprezentować różne obiekty (rekordy, krotki).

 Asocjacyjny kontekst utrzymuje się pomiędzy połączonymi (ACON) neuronami reprezentującymi

nie bezpośrednio, lecz blisko w czasie następującymi po sobie grupami/klasami danych.

 Asocjacyjne definiowanie umożliwia tworzenie reprezentacji neuronalnych obiektów/klas na

podstawie innych neuronowych reprezentacji obiektów/klas lub wartości reprezentowanych przez receptory, połączonych z nimi (ADEF).

2

1

3

3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN ^ASIM ^ADEF MAX

MIN ^ADEF ^ADEF MAX

SENSIN : A2 SENSIN : A1

4 ^ASIM 6

ASIM ^ASIM 8 ^ASIM 9

5 ^ASIM 8

ASIM ^ASIM 9

N6

N5 ^ASEQ N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

(17)

ASOCJACYJNE STRUKTURY NEURONOWE

Asocjacyjne struktury neuronowe aktywnie wiążą ze sobą grupy danych, które otrzymują zdolność wywierania wpływu na reprezentację innych grup danych.

Dane oddziałujące na neurony

stopniowo automatycznie zmieniają sposób ich przetwarzania przez

neurony i całą sieć neuronów, a więc przeprogramowują sieć neuronową.

Nowe skojarzenia automatycznie zmieniają wcześniejsze aktywne związki, a więc zmieniają sposób przetwarzania danych w przyszłości (odpowiednik zmiany programu).

Aktywne związki tworzą skojarzenia.

Skojarzenia mogą zostać ponownie

wywołane w przyszłości.

(18)

Algorytm tworzenia sieci AANG

Sieci AANG budujemy z wykorzystaniem algorytmu sortowania asocjacyjnego ASSORT .

W uproszczonej wersji mogą składać się z neuronów receptorycznych VN (zwanych value neurons), reagujących na dane wejściowe dla poszczególnych atrybutów, oraz neuronów obiektów OB (zwanych

object neurons), które reprezentują całe rekordy danych zdefiniowanych przy pomocy poszczególnych

atrybutów:

W pełnej wersji receptory pobudzają neurony receptoryczne, a te łączą się z neuronami obiektów:

A2: sepal width (swi) R=1.0

5.8 2.6

A1: sepal length (sle) R=1.8

5.4 6.0 6.7 2.2 2.7 3.0

4.9 5.9 2.5 3.2

A4: petal width (pwi) R=0.8

4.0 1.2

A3: petal length (ple) R=1.1

4.5 4.8 5.0 5.1 1.5 1.6 1.7 1.8

A5: class name VERSICOLOR

5.7 6.5

2.0 VIRGINICA 1.9

MIN MAX MIN MAX

MIN MAX

O1 O2 O3 O4 O5 O6 O7 O8 O9 O10 O11

S^A1

min S^A1

4.9 S^A1 5.4 S^A1

5.7 S^A1 5.8 S^A1

5.9 S^A1 6.0 S^A1

6.5 S^A1 6.7 S^A1

max S^A2

2.2 S^A2 2.5 S^A2

2.6 S^A2 2.7 S^A2

3.0 S^A2 S^A2 3.2

min S^A2

max

S^A3

min S^A3

4.0 S^A3 4.5 S^A3

4.8 S^A3 5.0 S^A3

5.1 S^A3

max S^A4

1.2 S^A4

1.6 S^A4 1.7 S^A4

1.8 SÂ4 1.9 SÂ4 SÂ4 2.0

min S^A4

S^A5 max

VER S^A5

VER S^A4

1.5 swi

5.8 2.6 sle

5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

class name VERSICOLOR

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

VIRGINICA VIRGINICA VIRGINICA VIRGINICA VIRGINICA VERSICOLOR VERSICOLOR VERSICOLOR VERSICOLOR

SORTED SUBSET OF IRIS

PATTERNS

STEP 13

swi 5,8 2,6 sle

5,4 3,0 R2

R1 R3

R4 6,7 3,0 6,0 2,7

6,0 2,2 4,9 2,5 R6

R5

R8 R9

5,9 3,2 R7

pwi 4,0 1,2

ple

4,5 1,5 5,0 1,7 5,1 1,6

5,0 1,5 4,5 1,7 4,8 1,8

Class VERSICOLOR

VIRGINICA

6,0 3,0 5,7 2,5 6,5 3,2 R10

5,8 2,7 R11

4,8 1,8 5,0 2,0 5,1 2,0 5,1 1,9 Attributes

A2: sepal width (swi)

5,8 2,6

A1: sepal length (sle)

5,4 6,0 6,7 2,2 2,7 3,0

4,9 5,9 2,5 3,2

A4: petal width (pwi)

4,0 1,2

A3: petal length (ple)

4,5 4,8 5,0 5,1 1,5 1,6 1,7 1,8

A5: class name VERSICOLOR

5,7 6,5

2,0 VIRGINICA 1,9

MIN MAX MIN MAX

MIN MAX

N1 N2 N3 N4 N5 N6 N7 N8 N9 N10 N11

IRIS PATTERNS

(19)

Obliczanie i aktualizacja zakresów reprezentowanych wartości przez wejściowe pola sensoryczne:

przy czym po utworzeniu pierwszych receptorów dla pól sensorycznych następuje ich inicjalizacja:

Obliczanie wartości pobudzenia sensorycznego receptorów ekstremów:

Obliczenie wartości pobudzenia sensorycznego receptorów wartości:

Dla poszczególnych receptorów tworzone są neurony ekstremów (MIN i MAX) oraz neurony sensoryczne. Pomiędzy neuronami ekstremów i sensorycznymi wagi wyznaczane są według:

przy czym wartości progów wszystkich neuronów tutaj są równie jedności:

Algorytm tworzenia sieci AANG

(20)

Algorytm tworzenia sieci AANG

Wartości wyjściowe neuronów reprezentujących ekstrema wyznaczamy według zależności:

Zaś neurony sensoryczne podłączone do swoich receptorów oraz innych neuronów sensorycznych oraz neuronów reprezentujących obiekty wyznaczają swoje pobudzenia na podstawie zależności:

a ich wartości wyjściowe zależne są od osiągnięcia progu aktywacji po określonym czasie:

Jeśli zaś spełniony jest warunek plastyczności dla neuronów sensorycznych:

gdzie

wtedy rozpoczynają proces plastyczności polegający na zerwaniu połączenia z neuronem,

który go słabiej pobudza niż wejście oraz połączenie się z nowo utworzonym neuronem,

co powoduje dodanie nowej wartości do posortowanego ciągu połączonych neuronów

sensorycznych zgodnie ze zdefiniowanym porządkiem (najczęściej liczbowym).

(21)

Algorytm tworzenia sieci AANG

Połączenia pomiędzy neuronami sensorycznymi i neuronami obiektów ważone są następująco:

Neurony obiektów wyznaczają swój próg aktywacji na podstawie ilości definiujących je

atrybutów, przy czym jeśli zależy nam na możliwości klasyfikacji, wtedy do tej ilości nie zaliczamy atrybut definiujący klasę (tj. odejmujemy go od ilości wszystkich atrybutów) obliczając próg:

Możemy więc uznać, iż w przypadku tego rozwiązania na razie wszystkie wagi pomiędzy

neuronami są symetryczne, tzn. w obydwie strony takie same, co ułatwia implementację, gdyż możemy wykorzystać tylko jedno połączenie i jedną wagę pomiędzy parą dowolnych dwóch neuronów.

Działanie aktywnego asocjacyjnego sortowania ASSORT zademonstrujemy sobie na przykładzie sortowania 11 mocno skorelowanych wzorców Iris, a następnie skłonimy utworzony graf

neuronowy do automatycznego wnioskowania (swoisty data mining), lecz bez wykorzystania

wiersza kodu. Okazuje się więc, iż struktura rzeczywiście zastępuje czasochłonne operacje

(algorytmy), więc wynik takiego sortowania jest podwójnie przydatny.

(22)

Konsolidacja reprezentacji w sieci AANG

Sieci AANG naturalnie tworzone są przyrostowo na skutek prezentacji na wejściach sensorycznych

kolejnych wzorców, które powodują pobudzenie odpowiednich receptorów (jeśli istnieją) lub ich utworzenie (jeśli nie istnieją), a następnie aktywację powiązanych z nimi neuronów receptorycznych.

Neurony receptoryczne pobudzają powiązane z nimi inne neurony receptoryczne oraz neurony obiektów, powodując czasami ich aktywację. Jeśli aktywacja następuje od razu po pobudzeniu, oznacza to, iż dany wzorzec jest już reprezentowany przez sieć AANG. Jeśli zaś pobudzenia są niewystarczające do aktywacji któregoś z istniejących neuronów obiektów, wtedy tworzony jest nowy neuron reprezentujący nowy wzorzec.

Jeśli wystąpią równoczesne aktywacje dwóch lub więcej neuronów obiektów, oznacza to, iż niektóre wzorce zawierają inne wzorce i reprezentacje neuronalne tych wzorców mogą zostać skonsolidowane w taki sposób, iż usuwane są wszystkie neurony poza tym o minimalnym progu aktywacji, a wszystkie jego połączenia tych neuronów są przełączane do tego pozostałego neuronu pod warunkiem, iż takie połączenia już nie istnieją.

W taki sposób reprezentacja podobnych wzorców zawierających inne wzorce zostanie skonsolidowana

w będzie reprezentowana przez jeden neuron, co jest przydatne w przypadku chęci wykorzystania sieci AANG do klasyfikacji, gdyż potrzebne jest osiągnięcie aktywacji neuronu na skutek jego pobudzenia samymi

atrybutami definiującymi wzorce, np. wzorzec R1 nie spowoduje aktywacji neuronu O_1C, więc tworzony jest O₁:

A2: sepal width (swi) R=0.0

5.8 2.6

A4: petal width (pwi) R=0.0

4.0 1.2

A3: petal length (ple) R=0.0 A5: class name VERSICOLOR

MIN MAX MIN MAX

MIN MAX

O1C S^A1

min S^A1

5.8 S^A1

max S^A2

S^A2 2.6

min S^A2

max

S^A3

min S^A3

4.0 S^A3

max S^A4

S^A4 1.2

min S^A4

S^A5 max VER

swi

sle ple pwi class name Attributes

PATTERN TRAINING WITH AND WITHOUT CLASS INFORMATION

O1 5.8 2.6

R1C 4.0 1.2 VERSICOLOR

5.8 2.6

R1 4.0 1.2

5.8 2.6

R1C 4.0 1.2 ^VERSICOLOR

θ=4 θ=5

(23)

Konsolidacja reprezentacji w sieci AANG

Potrzebujemy jednak, żeby wzorzec podany bez atrybutu klasy był z nią poprawnie kojarzony.

Nie chcemy również tworzyć dodatkowych neuronów do reprezentacji „uboższych” wzorców,

które nie zawierają pełnej informacji, jeśli jest ona wystarczająco dyskryminująca dla wzorców danej klasy.

Prezentując ponownie wzorzec R1C otrzymamy równoczesną aktywację neuronów O_1Coraz O₁, a więc pewną nadmiarowość reprezentacji. Dokonujemy więc łączenia reprezentacji takich neuronów, pozostawiając ten o niższym progu aktywacji, żeby reagował na obydwa wzorce R1 i R1C oraz przełączając wszystkie nieistniejące połączenia w neuronie O₁od neuronu O_1C, a więc tutaj połączenie z neuronem klasy VERSICOLOR:

5.8 2.6

4.0 1.2

MIN MAX MIN MAX

MIN MAX

O_1C

S^A1

min S^A1

5.8 S^A1

max S^A2

S^A2 2.6

min S^A2

max

S^A3

min S^A3

4.0 S^A3

max S^A4

S^A4 1.2

min S^A4

swi

sle pleAttributespwi class name

O₁

5.8 2.6

R1C 4.0 1.2 VERSICOLOR

5.8 2.6

R1 4.0 1.2

5.8 2.6

R1C 4.0 1.2 VERSICOLOR

5.8 2.6

4.0 1.2

MIN MAX MIN MAX

MIN MAX

O₁₊

S^A1

min S^A1

5.8 S^A1

max S^A2

S^A2 2.6

min S^A2

max

S^A3

min S^A3

4.0 S^A3

max S^A4

S^A4 1.2

min S^A4

swi

sle ple pwi class name

Attributes

5.8 2.6

R1C 4.0 1.2 VERSICOLOR

5.8 2.6

R1 4.0 1.2

5.8 2.6

R1C 4.0 1.2 VERSICOLOR

θ=4 θ=5

θ=4 CONSOLIDATED

REPRESENTATION OF SUBPATTERNS

(24)

Klasyfikacja w sieci AANG

W taki sposób uczymy klasyfikacji sieć AANG. Potrzebna jest więc prezentacja wzorców z i bez informacji o klasie, co jest zjawiskiem normalnym w życiu codziennym ludzi (gdyż często oglądamy przedmioty, a tylko czasami przyklejamy im etykietę), ale nieco nowym w przypadku uczenia systemów sztucznych.

W wyniku takiego procesu konsolidacji reprezentacji neurony obiektów poprawnie reagują na odpowiednie atrybuty wejściowe, tzn. aktywują się i pobudzają pozostałe powiązane z nimi neurony, powodując między innymi aktywację neuronu klasy, a więc dokonują klasyfikacji:

5.8 2.6

4.0 1.2

MIN MAX MIN MAX

MIN MAX

O₁₊

S^A1

min S^A1

5.8 S^A1

max S^A2

S^A2 2.6

min S^A2

max

S^A3

min S^A3

4.0 S^A3

max S^A4

S^A4 1.2

min S^A4

swi

Attributes

USING AANG FOR CLASSIFICATION

5.8 2.6

R1C 4.0 1.2

θ=4

5.8 2.6

4.0 1.2

MIN MAX MIN MAX

MIN MAX

O1+

S^A1

min S^A1

5.8 S^A1

max S^A2

S^A2 2.6

min S^A2

max

S^A3

min S_4.0^A3 S^A3

max S^A4 S_1.2^A4

min S^A4

swi

Attributes

REACTION OF AANG NEURAL NETWORK

5.8 2.6

R1C 4.0 1.2

θ=4

VERSICOLOR

(25)

Pobudzanie sieci AANG w celu wywołania skojarzeń

Gdy zbudujemy już sieć AANG dla pewnego zbioru wzorców uczących chcielibyśmy wykorzystać ją do automatycznego wnioskowania poprzez wywoływanie i uogólnienie skojarzeń w niej

zapisanych w trakcie procesu jej uczenia i adaptacji jej struktury.

Jak to zrobić i co można osiągnąć?

W zależności od tego, co chcemy osiągnąć i jakie zapytanie chcemy zrealizować, potrzebne będzie:

 Pobudzanie wybranych wejść sensorycznych sieci wartościami związanymi z zapytaniem przez pewien okres czasu (tak długo, dopóki nie otrzymamy pewnej odpowiedzi sieci w postaci

aktywacji neuronu/ów).

 Pobudzanie wybranych neuronów sieci oraz ich aktywacje tak długo dopóki sieć nie odpowie aktywacjami innych neuronów, które będą reprezentowały odpowiedź sieci.

Odpowiedź sieci powstaje na skutek pobudzania powiązanych neuronów, które w kolejności wynikającej ze stopnia ich skojarzenia z wcześniej aktywowanymi ulegają stopniowemu

pobudzeniu, a część z nich również aktywacji. Generalnie tylko aktywowane neurony reprezentują odpowiedź sieci, aczkolwiek w pewnym przypadkach można wziąć pod uwagę również te

częściowo pobudzone. Jeśli wystarczająco długo pobudzamy sieć kombinacją bodźców

reprezentującą pytanie, częściowo pobudzone neurony zwykle po odpowiednio długim czasie ulegają aktywacji. Przy czym najpierw aktywacji ulegają neurony najmocniej skojarzone

z zapytaniem, a następnie neurony słabiej z nim skojarzone.

Warto jednak podkreślić, iż sieć AANG reprezentuje jedynie horyzontalne i wertykalne relacje

między danymi, więc nie dokonuje żadnej formy analizy czy wnioskowania charakterystycznych

dla abstrakcyjnego myślenia, jakie ma miejsce w ludzkim umyśle, wobec tego wyniki działania

ograniczone są do skojarzeń wynikających z podobieństw.

(26)

Zachowanie się neuronów sieci AANG

W trakcie odpytywania sieci AANG neurony zachowują się podobnie, jak w trakcie jej uczenia z tą różnicą, iż zablokowana jest plastyczność sieci, tzn. neurony nie zmieniają swojej struktury połączeń, parametrów wag ani progów, jak również nie są dodawane nowe receptory ani neurony.

W podstawowej wersji sieci AANG-1 neurony powracają do stanu spoczynku według zależności:

𝑿_𝒕_𝟎_+𝒕 = 𝑿_𝒕_𝟎/𝜶^𝝉

gdzie

𝜶 – to współczynnik szybkości relaksacji przyjmujący zwykle wartości z przedziału 𝜶 ∈ 𝟏; 𝟒 , 𝒕_𝟎

– to czas jaki upłynął od momentu ostatniego pobudzenia neuronu do następnego pobudzenia.

Zwykle przyjmujemy za 𝜶 wartości nieco większe od jedynki, np. 𝜶 = 𝟏. 𝟐, co umożliwia długotrwałą relaksację i częściowe sumowanie poprzednich pobudzeni neuronów z następnymi w czasie.

Jeśli neuron osiągnie stan aktywacji, wtedy w tym samym momencie jednokrotnie pobudzi inne

połączone z nim neurony za pośrednictwem stosownych wag łączących te neurony i od razu przechodzi do stanu refrakcji obliczonego następująco:

𝑿_𝒕 = −𝛉

gdzie

𝜽 – to wartość progu aktywacji neuronu.

Wartości pobudzenia neuronów 𝑿

_𝒕 aktualizujemy dyskretnie tylko w momencie ich ponownego pobudzenia

na podstawie czasu 𝒕

_𝟎

, jaki upłynął od ich ostatniej aktualizacji.

Wobec powyższego aktualny stan neuronu po nowym pobudzeniu obliczamy zgodnie z

przedstawionymi wcześniej wzorami dodając do ich stanu pobudzenia wartość wynikającą z

poprzednich pobudzeni obliczoną według powyższych zależności.

(27)

Uproszczony algorytm tworzenia sieci AANG

Dla skończonego zbioru uczącego (z jakimi często spotykamy się w uczeniu maszynowym) istnieje możliwość uproszczenia i przyspieszenia procesu tworzenia grafu neuronowego AANG podobnie jak dla asocjacyjnych struktur AGDS:

1. Sortujemy dane dla każdego atrybutu osobno oraz usuwamy wszystkie duplikaty wartości.

2. Tworzymy receptory i neurony receptoryczne dla wszystkich wartości oraz odpowiednio łączymy neurony receptoryczne odwzorowując porządek pomiędzy reprezentowanymi przez nie wartościami.

3. Tworzymy neurony obiektów rozpoczynając od tych określonych przez mniejszą ilość atrybutów, a następnie przechodząc do obiektów reprezentowanych przez większą ilość atrybutów. W trakcie dodawania kolejnych neuronów obiektów sprawdzamy, czy któreś z poprzednich neuronów nie reprezentują już podwzorców obecnie prezentowanego obiektu. Jeśli tak, nie dodajemy kolejnego neuronu, lecz tylko kolejne połączenia do neuronów reprezentujący podwzorce nie zwiększając progu aktywacji. Jeśli takich neuronów reprezentujących podwzorce jest więcej, można dokonać ich konsolidacji, jeśli reprezentują tą samą klasę. Jeśli neurony podwzorców reprezentują różne klasy, wtedy dojdzie

do multiklasyfikacji (co jest zjawiskiem powszechnym w otaczającym nas świecie).

4. Wszystkie połączenia pomiędzy neuronami receptorycznymi i neuronami obiektów są dwustronne (wzajemne), a ich wagi przyjmują (w podstawowej wersji) wartości równe jedności.

5. Progi aktywacji neuronów obiektów równe są najmniejszej ilości atrybutów spośród wzorców je definiujących.

6. Wszystkie progi aktywacji neuronów receptorycznych przyjmują wartości równe jedności.

7. Wagi połączeń pomiędzy neuronami receptorycznymi reprezentującymi wartości liczbowe obliczane są według zależności:

(28)

BUDOWA AANG DLA WZORCÓW IRIS

Adrian Horzyk, horzyk@agh.edu.pl, AGH Akademia Górniczo-Hutnicza, Wydział EAIiIB, Katedra Automatyki i Inżynierii Biomedycznej

KROK 1. UTWORZENIE NOWEGO GRAFU

Utworzenie nowego grafu AANG dla zbioru obiektów przechowywanych w strukturze tabelarycznej.

swi 5,8 2,6 sle 5,4 3,0 R2

R1 R3

R4 6,7 3,0 6,0 2,7

6,0 2,2 4,9 2,5 R6

R5

R8 R9

5,9 3,2 R7

pwi 4,0 1,2

ple

4,5 1,5 5,0 1,7 5,1 1,6

5,0 1,5 4,5 1,7 4,8 1,8

Class

VERSICOLOR

VIRGINICA

6,0 3,0 5,7 2,5 6,5 3,2 R10

5,8 2,7 R11

4,8 1,8 5,0 2,0 5,1 2,0 5,1 1,9 Attributes

IRIS PATTERNS

(29)

BUDOWA AANG DLA WZORCÓW IRIS

KROK 2. UTWORZENIE PÓL SENSORYCZNYCH W GRAFIE (INTERFEJSÓW WEJŚCIOWYCH DLA AANG) Utworzenie nowych pól sensorycznych dla wszystkich znanych atrybutów zdefiniowanych w tabeli.

swi 5,8 2,6 sle 5,4 3,0 R2

R1 R3

R4 6,7 3,0 6,0 2,7

6,0 2,2 4,9 2,5 R6

R5

R8 R9

5,9 3,2 R7

pwi 4,0 1,2

ple

4,5 1,5 5,0 1,7 5,1 1,6

5,0 1,5 4,5 1,7 4,8 1,8

Class

VERSICOLOR

VIRGINICA

6,0 3,0 5,7 2,5 6,5 3,2 R10

5,8 2,7 R11

4,8 1,8 5,0 2,0 5,1 2,0 5,1 1,9 Attributes

A2: sepal width (swi) A1: sepal length (sle)

A4: petal width (pwi) A3: petal length (ple) A5: class name

MIN MAX MIN MAX

MIN MAX

IRIS PATTERNS

(30)

BUDOWA AANG DLA WZORCÓW IRIS

KROK 3. UTWORZENIE REPREZENTACJI 1. OBIEKTU

Tworzenie reprezentacji obiektu związane z utworzeniem i dodaniem nowych sensorów dzięki ASSORT tak, że sensory są powiązane zgodnie z porządkiem liczbowym oraz z neuronem obiektu.

swi 5,8 2,6 sle 5,4 3,0 R2

R1 R3

R4 6,7 3,0 6,0 2,7

6,0 2,2 4,9 2,5 R6

R5

R8 R9

5,9 3,2 R7

pwi 4,0 1,2

ple

4,5 1,5 5,0 1,7 5,1 1,6

5,0 1,5 4,5 1,7 4,8 1,8

Class

VERSICOLOR

VIRGINICA

6,0 3,0 5,7 2,5 6,5 3,2 R10

5,8 2,7 R11

4,8 1,8 5,0 2,0 5,1 2,0 5,1 1,9 Attributes

5,8 2,6

4,0 1,2

A3: petal length (ple) A5: class name

VERSICOLOR

MIN MAX

N1

IRIS PATTERNS

(31)

BUDOWA AANG DLA WZORCÓW IRIS

KROK 4. UTWORZENIE REPREZENTACJI 2. OBIEKTU

Tworzenie reprezentacji kolejnego obiektu w strukturze AANG wykorzystuje istniejące już sensory wartości (tutaj: VERSICOLOR), których reprezentacja nie jest duplikowana, lecz agregowana.

swi 5,8 2,6 sle 5,4 3,0 R2

R1 R3

R4 6,7 3,0 6,0 2,7

6,0 2,2 4,9 2,5 R6

R5

R8 R9

5,9 3,2 R7

pwi 4,0 1,2

ple

4,5 1,5 5,0 1,7 5,1 1,6

5,0 1,5 4,5 1,7 4,8 1,8

Class

VERSICOLOR

VIRGINICA

6,0 3,0 5,7 2,5 6,5 3,2 R10

5,8 2,7 R11

4,8 1,8 5,0 2,0 5,1 2,0 5,1 1,9 Attributes

5,8 2,6

5,4 3,0

4,0 1,2

A3: petal length (ple)

4,5 1,5

A5: class name

VERSICOLOR

MIN MAX

N1 N2