Sztuczne Systemy Skojarzeniowe

(1)

Sztuczne Systemy Skojarzeniowe i teoria asocjacji

Asocjacyjne struktury danych

AGH Akademia Górniczo-Hutnicza

Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Adrian Horzyk

horzyk@agh.edu.pl

(2)

AKTYWNA I PASYWNA REPREZENTACJA DANYCH

Pamięci komputerowe przechowują dane:

PASYWNASTRUKTURA DANYCH WYMAGAJĄCA ALGORYTMÓW

ASOCJACYJNA STRUKTURA AKTYWNIEREPREZENTUJĄCA DANE I ICH ZWIĄZKI DZIĘKI NEURONOWYM REAKTYWNYM MECHANIZMOM ICH REPREZENTACJI

Systemy skojarzeniowe

reprezentują dane:

(3)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

MIN MAX

SENSIN : A1

AANG

A2 A1

( A )

(4)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2 3 N1

ADEF

MIN

^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1

AANG

2 3 R1

( B )

(5)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2 1 3

N2 N1

ADEF

ASIM ASEQ

ADEF

MIN

^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1

ASIM

8

AANG

8 1 R2

( C )

(6)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2

1

3 3 N2

N1 N3

ADEF ASIM

ASIM

ASEQ ASEQ

ADEF

MIN

^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1

ASIM

8

ASIM

9

AANG

3 9 R3

( D )

(7)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ASEQ ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1

ASIM

8

ASIM

9

AANG

1 3 R4

( E )

(8)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1 4

^ASIM

ASIM

8

ASIM

8

ASIM

9

ASEQ

N5

ADEF

AANG

4 8 R5

( F )

(9)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1 4

^ASIM

ASIM

8

5

^ASIM

8

ASIM ^ASIM

9 N6 N5

^ASEQ

ASEQ ADEF

ADEF ADEF

AANG

ADEF

4 5 R6

( G )

(10)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1 4

^ASIM

ASIM

8

5

^ASIM

8

ASIM ^ASIM

9 N6 N5

^ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

AANG

ADEF

1 3 R7

( H )

(11)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1 4

^ASIM

ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8

ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

ACON

AANG

9 1 R8

( I )

(12)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

AANG

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

ADEF ADEF

ACON

6 8 R9

( J )

(13)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3

R7 ...

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

2 3 R1

6 8 R9

( K )

(14)

Pobudzenie receptorów za pośrednictwem pól sensorycznych

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

4 3 ZEWNĘTRZNE

POBUDZANIE

WEJŚĆ

SENSORYCZNYCH

(15)

Pobudzenie neuronu dla wyznaczenia podobieństw lub następstwa

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

ZEWNĘTRZNE POBUDZANIE

NEURONU

(16)

Wierzchołki asocjacyjnie podobne i następne

 Wierzchołki asocjacyjnie podobne to takie, które łączą wartości podobne przy pomocy krawędzi ESIM.

 Wierzchołki asocjacyjnie następne łączą ze sobą wierzchołki reprezentujące następujące po sobie obiekty (rekordy, krotki).

2 3

1

N2

N1 N3 N4

ADEF ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN ^ASIM ^ADEF MAX

SENSIN : A1 4 ^ASIM 6

ASIM ^ASIM 8 ^ASIM 9

N6

N5 ^ASEQ N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

(17)

Dla wybranego zbioru danych i zadania klasyfikacji

można poszukać podobieństw umożliwiających określenie ich dyskryminatywnych grup

(18)

AGDS

asocjacyjna grafowa struktura danych

(19)

AGDS

(20)

AGDS - asocjacyjna grafowa struktura danych

(21)

ASOCJACYJNE STRUKTURY NEURONOWE

Asocjacyjne struktury neuronowe aktywnie wiążą ze sobą grupy danych, które otrzymują zdolność wywierania wpływu na reprezentację innych grup danych.

Dane oddziałujące na neurony

stopniowo automatycznie zmieniają Nowe skojarzenia automatycznie zmieniają wcześniejsze aktywne związki, a więc zmieniają sposób przetwarzania danych w przyszłości (odpowiednik zmiany programu).

Aktywne związki tworzą skojarzenia.

Skojarzenia mogą zostać ponownie wywołane w przyszłości.

(22)

Struktura AGDS i AANG dla zbioru Irys z ML Repository

(23)

Korelacje pomiędzy klasą Virginica a Setosa i Versicolor

(24)

KORELACJE UTRUDNIAJĄCE DYSKRYMINACJĘ

(25)

INFORMACYJNA POTĘGA ASOCJACYJNYCH POŁĄCZEŃ

(26)

AANG – Aktywny Asocjacyjny Graf Neuronowy dla zbioru Iris

(27)

Określenie dyskryminatywnych kombinacji przedziałów lub podzbiorów wartości dla poszczególnych atrybutów oraz dyskryminowanych klas

(28)

Określenie dyskryminatywnych kombinacji przedziałów lub podzbiorów wartości dla poszczególnych atrybutów oraz dyskryminowanych klas

(29)

Asocjacyjne sortowanie ASSORT

 Umożliwia wykorzystanie receptorów i neuronów do sortowania rekordów równocześnie względem wszystkich atrybutów odzwierciedlając podobieństwo danych i następstwo rekordów.

 W przypadku równoległej realizacji dodanie nowego rekordu zachodzi w czasie stałym O(1), a sortowanie wszystkich rekordów względem wszystkich atrybutów równocześnie w czasie liniowym O(n).

 Ze względu na konstrukcję współczesnych komputerów trudno go zrealizować, aczkolwiek można to zrobić na odpowiednich kartach graficznych GPU.

 Sortowanie to proces porządkowania rekordów (np. R1, …, R9) względem wybranego klucza lub kluczy (np. A1 lub A2).

 Wartości poszczególnych atrybutów, jak również całe rekordy mogą się powtarzać w sortowanym zbiorze.

(30)

Opis przebiegu działania sortowania ASSORT

1. Sztuczny system skojarzeniowy AAS podaje równocześnie na wszystkie wejścia sensoryczne (SENSIN:Ak) wartości danych definiujące wybrany rekord z tabeli, np. sortowany rekord R1 określony jest przez dwie wartości A1=2 i A2=3.

2. Wejścia sensoryczne SENSIN:Ak przekazują otrzymane wartości do wszystkich istniejących i powiązanych z nimi neuronów receptorycznych (VN), które

przekształcają otrzymane wartości na pewien stopień swojego pobudzenia.

3. Neurony receptoryczne VN nie muszą osiągnąć progu aktywacji, a więc

przekazują swoje pobudzenie do powiązanych z nimi neuronów SN oraz innych neuronów receptorycznych VN pobudzając je odpowiednio do wagi łączącego je połączenia synaptycznego.

2 3

ADEF 1 ASIM

SENSIN : A1 4 ^ASIM 6

ASIM ^ASIM 8 ^ASIM 9

(31)

Opis przebiegu działania sortowania ASSORT

5. Dla ułatwienia każde wejście sensoryczne SENSIN:Ak przechowuje wielkość zakresu reprezentowanego przedziału swojej wrażliwości:

6. Neurony receptoryczne ekstremów wyznaczają swoje wartości wyjściowe wg:

gdzie x oznacza wartość przekazaną przez SENSINa, a v_MIN i v_MAX wartości ekstremalne reprezentowane przez neurony receptoryczne MIN i MAX.

7. Neurony receptoryczne reprezentujące porządkowalne wartości v łączą się w obrębie ich SENSINów, a waga ich połączenia odwzorowuje ich podobieństwo:

2 3

ADEF 1 ASIM

SENSIN : A1 4 ^ASIM 6

ASIM ^ASIM 8 ^ASIM 9

MIN MAX

SENSIN : A2

(6.7)

(6.5) (6.3)

(6.1)

(32)

Opis przebiegu działania sortowania ASSORT

9. Proces plastyczności połączeniowej uruchamiany jest w VNach wtedy, gdy określony VN zostanie mocniej pobudzony przez SENSINa niż za

pośrednictwem połączenia od wcześniej aktywowanego sąsiedniego VNa:

A ^w^A,X

ADEF 1 ASIM

MIN ^ADEF ^ADEF MAX

SENSIN:^Ak

B ^ASIM

ASIM ^ASIM C ^ADEF ¹

X ^w^B,C

A ^w^A,B

ADEF 1 ASIM

AANG

MIN ^ADEF ^ADEF MAX

SENSIN:Ak B ^ASIM

ASIM ^ASIM C ^ADEF ¹

X

wB,C

DX,A

DX,B

DX,C

DA,B DB,C

wX,B

ASIM ASIM

(6.8) (6.9)

(6.10)

(33)

Opis przebiegu działania sortowania ASSORT

11. Funkcja pobudzenia neuronów receptorycznych VN określona jest poprzez następującą zależność:

gdzie

v to wartość reprezentowana przez neuron receptoryczny VN, x oznacza wartość przekazaną przez SENSINa,

R oznacza przedział zmienności danego SENSINa,

𝒕_𝒗 wyznacza czas pobudzania receptorycznego neuronu wartości VN wartością x a suma jest liczona po wszystkich połączonych VNach reprezentujących wartości, które są bardziej podobne do wartości x niż wartość v rozważanego VNa.

12. VNy są cały czas pobudzane przez wartość x aż do momentu osiągnięcia aktywacji lub zakończenia

procesów plastyczności (6.11)

(6.12)

(6.13)

(34)

Opis przebiegu działania sortowania ASSORT

13. Kolejne VNy połączone z wcześniej aktywowanymi VNami zostaną aktywowane w czasie określonym następująco:

gdzie

v₁ i v₂ to wartości reprezentowane przez sąsiednie neurony receptoryczne VN, x oznacza wartość przekazaną przez SENSINa,

R oznacza przedział zmienności danego SENSINa.

14. VNy „potrzebują” przekazać swój stan aktywacji neuronom w taki sposób, żeby je aktywować samodzielnie lub wespół z innymi elementami AASów. Jeśli więc żaden neuron SN nie odpowiada aktywacją na aktywację VNa, inicjuje on proces swojej plastyczności połączeniowej z SNami, a jeśli nie ma żadnego SNa z

aktywnym procesem plastyczności połączeniowej z VNami, wtedy zachodzi proces neurogenezy nowego Sna.

(6.14)

(35)

Opis przebiegu działania sortowania ASSORT

16. Ponadto SNy również łączą się wzajemnie w zależności od upływu czasu pomiędzy ich aktywacjami oraz w zależności od ilości połączeń wyjściowych:

(6.18) (6.17)

WACON 2 ACON 2

W_{ASEQ 0} W_{ASEQ 1}

W_{ASEQ 2} W

WACON 3 ACON 3

WACON k ACON k

WACON k-1 ACON k-1

SN k

SN -k ^W SN SN SN SN

t

^{= k – 1}

t

^{= k}

t

⁼³

t

^{= 2}

t

^{= 1}

(6.19)

(36)

Stopniowa relaksacja neuronów i kontekst aktywacji

Dzięki stopniowej relaksacji neuronów (powrotowi do stanu spoczynku) możliwe jest wykorzystanie kontekstu poprzednich aktywacji:

ASEQ -k+1 ASEQ -k+1 ASEQ 2 ASEQ 1 ACON 1 = ASEQ 0

WACON 2 ACON 2

W_{ASEQ 0} W_{ASEQ 1}

W_{ASEQ 2} WASEQ -k+1

WACON 3 ACON 3

WACON k ACON k

WACON k-1 ACON k-1

SN -k+1

SN -k WASEQ -k+1 SN 3 SN 2 SN 1 SN 0

t

^{= k – 1}

t

^{= k}

t

^{= 3}

t

^{= 2}

t

^{= 1}

(6.23)

(37)

ASOCJACYJNE SORTOWANIE RÓWNOLEGŁE

ASSORT

ma złożoność O(n)

D_X-A < D_A-B D_X-C> D_B-C

A < X < B < C

(38)

BIBLIOGRAFIA

1. Horzyk, A., How Does Generalization and Creativity Come into Being in Neural Associative Systems and How Does It Form Human-Like Knowledge?,

Neurocomputing, 2014, IF = 1,634.

2. Horzyk, A., Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural Associative Systems, Springer, AISC 11156, 2014.

3. Horzyk, A., Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural Associative Systems, Springer Verlag, AISC 11156, ISSN 2194-5357, 2015.

4. Horzyk, A., Innovative Types and Abilities of Neural Networks Based on Associative Mechanisms and a New Associative Model of Neurons - referat na zaproszenie na międzynarodowej konferencji ICAISC 2015, Springer Verlag, LNAI, 2015.

5. Horzyk, A., Sztuczne systemy skojarzeniowe i asocjacyjna sztuczna inteligencja, EXIT, Warszawa, 2013.

6. Tadeusiewicz, R., Horzyk, A., Man-Machine Interaction Improvement by Means of Automatic Human Personality Identification, Gerhard Goos, Juris Hartmanis, and Jan van Leeuwen (Eds.), Springer, LNCS 8104, 2013.

7. Horzyk, A., Gadamer, M., Associative Text Representation and Correction, Springer Verlag Berlin Heidelberg,

LNAI 7894, 2013, pp. 76-87.

8. Horzyk, A., Information Freedom and Associative Artificial Intelligence, Springer Verlag Berlin Heidelberg, LNAI 7267, 2012, pp. 81-89.

9. Horzyk, A., Self-Optimizing Neural Network 3, L. Franco, D. Elizondo, J.M. Jerez

horzyk@agh.edu.pl