Asocjacyjne sortowanie ASSORT

(1)

Sztuczne Systemy Skojarzeniowe i teoria asocjacji

Asocjacyjne sortowanie ASSORT

AGH Akademia Górniczo-Hutnicza

Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Katedra Automatyki i Inżynierii Biomedycznej Laboratorium Biocybernetyki

30-059 Kraków, al. Mickiewicza 30, paw. C3/205

Adrian Horzyk

horzyk@agh.edu.pl

(2)

Asocjacyjne sortowanie ASSORT

 Umożliwia wykorzystanie receptorów i neuronów do sortowania rekordów równocześnie względem wszystkich atrybutów odzwierciedlając podobieństwo danych i następstwo rekordów.

 W przypadku równoległej realizacji dodanie nowego rekordu zachodzi w czasie stałym O(1), a sortowanie wszystkich rekordów względem wszystkich atrybutów równocześnie w czasie liniowym O(n).

 W przypadku symulacji sekwencyjnej złożoność zależna jest od ilości wartości reprezentujących poszczególne atrybuty i mieści się w zakresie od stałej O(1) do logarytmicznej O(log n),

przy czym zwykle otrzymujemy złożoność mniejszą niż O(log n), a więc sortowanie wszystkich rekordów względem wszystkich atrybutów równocześnie zachodzi w czasie minimalnie liniowym O(n) do

maksymalnie logarytmiczno-liniowym O(n log n) w zależności od ilości wartości atrybutów danych.

 Ze względu na konstrukcję współczesnych komputerów trudno go zrealizować, aczkolwiek można to zrobić na odpowiednich kartach graficznych GPU.

 Sortowanie to proces porządkowania rekordów (np. R1, …, R9) względem wybranego klucza lub kluczy (np. A1 lub A2).

 Wartości atrybutów, jak również całe rekordy mogą się powtarzać w sortowanym zbiorze.

(3)

Opis przebiegu działania sortowania ASSORT

1. Sztuczny system skojarzeniowy AAS podaje równocześnie na wszystkie wejścia sensoryczne (SENSIN:Ak) wartości danych definiujące wybrany rekord z tabeli, np. sortowany rekord R1 określony jest przez dwie wartości A1=2 i A2=3.

2. Wejścia sensoryczne SENSIN:Ak przekazują otrzymane wartości do wszystkich istniejących i powiązanych z nimi neuronów receptorycznych (VN), które

przekształcają otrzymane wartości na pewien stopień swojego pobudzenia.

3. Neurony receptoryczne VN nie muszą osiągnąć progu aktywacji, a więc

przekazują swoje pobudzenie do powiązanych z nimi neuronów SN oraz innych neuronów receptorycznych VN pobudzając je odpowiednio do wagi łączącego je połączenia synaptycznego.

4. ASSORT dodatkowo wykorzystuje VNy: liczbowe i reprezentujące wartości ekstremalne: MIN i MAX dla poszczególnych atrybutów.

2 3

ADEF

1

ASIM

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

(4)

Opis przebiegu działania sortowania ASSORT

5. Dla ułatwienia każde wejście sensoryczne SENSIN:Ak przechowuje wielkość zakresu reprezentowanego przedziału swojej wrażliwości:

6. Neurony receptoryczne ekstremów wyznaczają swoje wartości wyjściowe wg:

gdzie x oznacza wartość przekazaną przez SENSINa, a v

_MIN

i v

_MAX

wartości ekstremalne reprezentowane przez neurony receptoryczne MIN i MAX.

7. Neurony receptoryczne reprezentujące porządkowalne wartości v łączą się w obrębie ich SENSINów, a waga ich połączenia odwzorowuje ich podobieństwo:

8. Połączenia pomiędzy neuronami receptorycznymi VN reprezentującymi

porządkowalne wartości określają relację asocjacyjnego podobieństwa ASIM.

2 3

ADEF

1

ASIM

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9 MIN MAX

SENSIN : A2

(6.7)

(6.5) (6.3)

(6.1)

(5)

Opis przebiegu działania sortowania ASSORT

9. Proces plastyczności połączeniowej uruchamiany jest w VNach wtedy, gdy określony VN zostanie mocniej pobudzony przez SENSINa niż za

pośrednictwem połączenia od wcześniej aktywowanego sąsiedniego VNa:

10. Program wewnętrzny VNów wymaga dokładnie dwóch połączeń z innymi VNami, wobec tego VN rozpoczyna proces degradacji synaptycznej, jeśli

połączeń powstało więcej, wysyłając sygnał degradacji przez swoje połączenia.

A ^w^A,X

ADEF 1 ASIM

MIN ^ADEF ^ADEF MAX

SENSIN:^Ak

B ^ASIM

ASIM ^ASIM C ^ADEF ¹

X ^w^B,C

A ^w^A,B

ADEF 1 ASIM

AANG

SENSIN:Ak

B ^ASIM

X

wB,C

DX,A

DX,B

DX,C

DA,B DB,C

wX,B

ASIM ASIM

(6.8) (6.9)

(6.10)

(6)

Opis przebiegu działania sortowania ASSORT

11. Funkcja pobudzenia neuronów receptorycznych VN określona jest poprzez następującą zależność:

gdzie

v to wartość reprezentowana przez neuron receptoryczny VN, x oznacza wartość przekazaną przez SENSINa,

R oznacza przedział zmienności danego SENSINa,

𝒕 _𝒗 wyznacza czas pobudzania receptorycznego neuronu wartości VN wartością x a suma jest liczona po wszystkich połączonych VNach reprezentujących wartości, które są bardziej podobne do wartości x niż wartość v rozważanego VNa.

12. VNy są cały czas pobudzane przez wartość x aż do momentu osiągnięcia aktywacji lub zakończenia

procesów plastyczności i pojawienia się nowej

wartości na wejściu SENSINa:

(6.11)

(6.12)

(6.13)

(7)

Opis przebiegu działania sortowania ASSORT

13. Kolejne VNy połączone z wcześniej aktywowanymi VNami zostaną aktywowane w czasie określonym następująco:

gdzie

v

₁

i v

₂

to wartości reprezentowane przez sąsiednie neurony receptoryczne VN, x oznacza wartość przekazaną przez SENSINa,

R oznacza przedział zmienności danego SENSINa.

14. VNy „potrzebują” przekazać swój stan aktywacji neuronom w taki sposób, żeby je aktywować samodzielnie lub wespół z innymi elementami AASów. Jeśli więc żaden neuron SN nie odpowiada aktywacją na aktywację VNa, inicjuje on proces swojej plastyczności połączeniowej z SNami, a jeśli nie ma żadnego SNa z

aktywnym procesem plastyczności połączeniowej z VNami, wtedy zachodzi proces neurogenezy nowego Sna.

15. VNy z Snami łączą połączenia o następujących wagach:

(6.14)

(6.15)

(6.16)

(8)

Przykład wstawienia nowego neuronu receptorycznego VN

1. Na wejściu SENSIN:A1 pojawia się wartość „4”.

2. Ze względu na to, iż żaden receptor natychmiastowo nie odpowiada na tą wartość, tworzony jest nowy VN4 reprezentujący wartość „4”, który inicjuje proces plastyczności połączeniowej z dwoma innymi VNami.

3. Inne receptory reagują po pewnym czasie w zależności od podobieństwa do wartości „4”

zgodnie z wzorem (6.13. i 6.14), tzn. np.:

• VN3 osiąga aktywację po czasie t

_VN3

= 7 / (7 – |3 – 4|) = 7/6 = 1,167,

• VN2 osiąga aktywację po czasie t

_VN2

= 7 / (7 – |2 – 4|) = 7/5 = 1,400,

• VN1 osiąga aktywację po czasie t

_VN2

= 7 / (7 – |1 – 4|) = 7/4 = 1,750,

• VN8 osiąga aktywację po czasie t

_VN8

= 7 / (7 – |8 – 4|) = 7/3 = 2,333,

A ^w^A,X

ADEF 1 ASIM

SENSIN:^Ak B ^ASIM

X ^w^B,C

A ^w^A,B

ADEF 1 ASIM

AANG

X

wB,C

DX,A

DX,B

DX,C

DA,B DB,C

wX,B

ASIM ASIM

A2 8 1 A1

2 3 3 9 1 3 R2 R1 R3

R4

ASSORT

TABELA

4 5 4 8

9 1 6 8 R6 R5

R8 R9

1 3 R7

2

1

3

3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ASEQ ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

MIN ^ASIM ^ADEF MAX

SENSIN : A2 SENSIN : A1

4 ^ASIM

ASIM 8

ASIM 9

ASEQ N5

ADEF

AANG

4 8 R5

( F )

(9)

Przykład wstawienia nowego neuronu receptorycznego VN

4. Połączone z VN4 zostaną jednak tylko VN3 i VN8, gdyż dla nich spełniona jest zależność (6.8), zgodnie z którą:

• VN3 pobudzany jest przez sensor: VN3

^SENSIN:A1

= (7 – |3 – 4|) / 7 = 0,857 oraz przez żaden inny, bo VN3 został aktywowany jako pierwszy ze względu na największe podobieństwo.

• VN2 pobudzany jest przez sensor: VN2

^SENSIN:A1

= (7 – |2 – 4|) / 7 = 0,714 oraz przez VN3 aktywowany wcześniej VN2

^VN3

= 1 - |2-3|/7 = 0,857 zgodnie z (6.7)

• VN8 pobudzany jest przez sensor: VN8

^SENSIN:A1

= (7 – |8 – 4|) / 7 = 0,429 oraz przez VN3 aktywowany wcześniej VN8

^VN3

= 1 - |8-3|/7 = 0,286 zgodnie z (6.7)

A ^w^A,X

ADEF 1 ASIM

X ^w^B,C

A ^w^A,B

ADEF 1 ASIM

AANG

X

wB,C

DX,A

DX,B

DX,C

DA,B DB,C

wX,B

ASIM ASIM

A2 8 1 A1

2 3 3 9 1 3 R2 R1 R3

R4

ASSORT

TABELA

4 5 4 8

9 1 6 8 R6 R5

R8 R9

1 3 R7

2

1

3

3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ASEQ ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

4 ^ASIM

ASIM 8

ASIM 9

ASEQ N5

ADEF

AANG

4 8 R5

( F )

(6.8) (6.9) (6.10)

(10)

Wnioski

Aktywne asocjacyjne grafy neuronowe AANG umożliwiają:

 Aktywne oddziaływanie danych na siebie dzięki wykorzystaniu neuronów i grafowej strukturze, która integruje dane, ich grupy i sekwencje, które są odpowiednio konsolidowane.

 Automatycznie wywoływanie reprezentowanych relacji i to w stosunku, jaki wynika z ich występowania w tabeli.

 Neurony wykorzystywane w konstrukcji tych grafów realizują postawione im zadanie sortowania poprzez sprawdzenie bardzo prostych warunków oraz wywołanie przypisanej im reakcji, związanych z tworzeniem się nowych lub zrywaniem starych połączeń oraz zmianę wag synaptycznych.

 Wszystkie obliczenia wykonywanych w trakcie sortowania ASSORT odbywają się lokalnie w neuronach bez udziału zewnętrznych algorytmów, które by iterowały po neuronach czy konsolidowały wyniki ich działania. Neurony realizując swoje działania sortują, mimo że „nie wiedzą”, iż to robią, realizując charakterystyczne dla nich operacje plastyczności znane z biologicznych układów nerwowych.

 Grafy AANG w przypadku realizacji równoległej zapewniają możliwość posortowania tabel danych równocześnie względem wszystkich atrybutów przy liniowej złożoności obliczeniowej O(n) i bez konieczności dodatkowego indeksowania stosowanego klasycznie w relacyjnych bazach danych.

 Czas dosortowania nowych rekordów w przypadku realizacji równoległej ma stałą złożoność obliczeniową O(1).

 W przypadku symulacji złożoność wzrasta do O(n p q), gdzie p to ilość parametrów/atrybutów

definiujących sortowanie rekordy, zaś q to maksimum z ilości różnych wartości dla poszczególnych

atrybutów. Dokładniejsze oszacowanie złożoności umożliwia jego dokonanie na podstawie sumy ilości

danych dla wszystkich atrybutów łącznie O(n  q

ⁱ

).

(11)

Opis przebiegu działania sortowania ASSORT

16. Ponadto SNy mogą łączyć się pomiędzy sobą odwzorowując kolejność prezentacji wzorców, które reprezentują, w czasie:

(6.18) (6.17)

ASEQ -k+1 ASEQ -k+1 ASEQ 2 ASEQ 1 ACON 1 = ASEQ 0

WACON 2 ACON 2

W_{ASEQ 0} W_{ASEQ 1}

W_{ASEQ 2} WASEQ -k+1

WACON 3 ACON 3

WACON k ACON k

WACON k-1 ACON k-1

SN

-k+1

SN

-k ^W^ASEQ-k+1

SN

₃

SN

₂

SN

₁

SN

₀

t ^{= k – 1} t ^{= k}

t ⁼ ³

t ^{= 2} t ^{= 1}

(6.19)

(12)

Stopniowa relaksacja neuronów i kontekst aktywacji

Dzięki stopniowej relaksacji neuronów (tzn. powrotowi do stanu spoczynku) możliwe jest wykorzystanie kontekstu wcześniej aktywowanych neuronów:

ASEQ -k+1 ASEQ -k+1 ASEQ 2 ASEQ 1 ACON 1 = ASEQ 0

WACON 2 ACON 2

W_{ASEQ 0} W_{ASEQ 1}

W_{ASEQ 2} WASEQ -k+1

WACON 3 ACON 3

WACON k ACON k

WACON k-1 ACON k-1

SN

-k+1

SN

-k WASEQ -k+1

SN

3

SN

2

SN

1

SN

0

t ^{= k – 1} t ^{= k}

t ^{= 3}

t ^{= 2} t ^{= 1}

(6.23)

Wykorzystano tutaj najbardziej uproszczoną

funkcję aktywacji dla VNów (bez okresu refrakcji).

(13)

Tworzenie połączeń ASEQ i ACON oraz wyznaczanie wag

Jeśli kolejność rekordów w tabeli ma znaczenie, wtedy odwzorowujemy tą kolejność tworząc dodatkowo połączenia pomiędzy neuronami N1, …, N9. Tworzone są czasami dodatkowe połączenia kontekstowe (niebieskie) w przypadkach, gdy rekordy reprezentują takie same wartości atrybutów (tutaj. R4 i R7). Reprezentacje neuronalne nie są duplikowane lecz agregowane. Połączenia kontekstowe zapewniają jednoznaczne przejście od N4 do N5 po bezpośrednio wcześniejszej aktywacji N3 oraz od N4 do N8 po bezpośrednio wcześniejszej aktywacji N6:

A2

8 1

A1

2 3

3 9

1 3

R2 R1 R3 R4

TABELA

4 5

4 8

9 1

6 8

R6 R5

R8 R9

1 3

R7

2

1

3

3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

W1,2 W2,3 W3,4

ADEF

ADEF ADEF

ADEF

AANG

4 ^ASIM 6

ASIM ^ASIM 8 ^ASIM 9

5 ^ASIM 8

ASIM ^ASIM 9

N6

N5 ^W^5,6 N8 N9

W4,6

W8,9

W4,8

W4,5 W6,8

W3,5

ADEF

ADEF ADEF

ADEF

ADEF ADEF

N3

^W^3,4

N4 N5

^W^5,6

N6 N8

W4,6

W4,8

W4,5 W6,8

W3,5

(14)

Tworzenie połączeń ASEQ oraz wyznaczanie wag

>0 to bardzo mała wartość na poziomie błędu zaokrągleń, wprowadzona w celu uniknięcia błędów numerycznych i niestabilności numerycznej wzorów.

Zgodnie z zależnością (6.17): W

_3,4

= W

_4,6

= 2 * 1 / (1 + 1) = 1,00, gdyż N3 i N6 są tylko jednokrotnie aktywowane dla sortowanej tabeli w trakcie tworzenia sieci AANG, zaś połączenia N3  N4 i N6  N4 są tylko raz skuteczne w aktywacji neuronu

postsynaptycznego N4.

Zgodnie z zależnością (6.17): W

_4,5

= W

_4,8

= 2 * 1 / (2 + 1) = 0,67, gdyż N4 jest

dwukrotnie aktywowany dla sortowanej tabeli w trakcie tworzenia sieci AANG, lecz połączenia N4  N5 i N4  N8 są tylko raz skuteczne w aktywacji neuronów

postsynaptycznych N5 lub N8 odpowiednio.

N3 ^W ^3,4 N4 N5 ^W ^5,6 N6 N8

W 4,6

W 4,8

W 4,5 W 6,8

W 3,5

(6.17)

(15)

Tworzenie połączeń ACON oraz wyznaczanie wag

W _3,5 = W _6,8 =[ (2 – 1)/(2 – **1) * (1 – 0,67)]** ^1/2 = 1/3 = 0,58

Tutaj SN

_-2

= N3 lub N6 odpowiednio, SN

_-1

= N4, a SN

₀

to N5 lub N8 odpowiednio.

Połączenia kontekstowe ACON

₂

: N3  N5 i N6  N8 są tylko raz skuteczne w aktywacji neuronów postsynaptycznych N5 lub N8 odpowiednio, a wagi tych

połączeń wyznaczamy na podstawie zależności (6.18), jak powyżej na przykładzie.

(6.18)

t oznacza upływ czasu (wyrażony przy pomocy liczb naturalnych) pomiędzy aktywacją neuronu

presynaptycznego i postsynaptycznego, a więc ilość połączeń ASEQ pomiędzy odpowiednimi neuronami.

N3 ^W

^3,4

⁼¹ N4 N5 ^W

^5,6

⁼¹ N6 N8

W

_4,6

=1

W

_4,8

=0,67

W

_4,5

=0,67 W

_6,8

=0,58

W

_3,5

=0,58

(16)

Aktywacja neuronów i odtwarzanie rekordów

W tym uproszczonym modelu skojarzeniowym czas płynie z szybkością jednej

jednostki czasu pomiędzy pobudzeniami/aktywacjami kolejnych neuronów, a więc stan neuronu w kolejnych chwilach czasu (t) aktualizuje się zgodnie z wzorem (6.23).

(6.23)

N3 ^W

^3,4

⁼¹ N4 N5 ^W

^5,6

⁼¹ N6 N8

W

4,6

=1

W

_4,8

=0,67

W

_4,5

=0,67 W

_6,8

=0,58

W

3,5

=0,58

t=1 t=2

t=3 t=3

N3 ^W

^3,4

⁼¹ N4 N5 ^W

^5,6

⁼¹ N6 N8

W

_4,6

=1

W

_4,8

=0,67

W

_4,5

=0,67 W

_6,8

=0,58

W

_3,5

=0,58 t=2 t=1

t=3 t=3

LUB

X=1 X=1 X=1

X=0,67

X=1

X=1 X=1

EXC

^N5

=0,67+0,58

²

≈ 1  

EXC

^N5

=0,67 < 

(17)

Aktywne asocjacyjne SORTOWANIE ASSORT

Obliczanie i aktualizacja zakresów reprezentowanych wartości przez wejściowe pola sensoryczne:

przy czym po utworzeniu pierwszych receptorów dla pól sensorycznych następuje ich inicjalizacja:

Obliczanie wartości pobudzenia sensorycznego receptorów ekstremów:

Obliczenie wartości pobudzenia sensorycznego receptorów wartości:

Dla poszczególnych receptorów tworzone są neurony ekstremów (MIN i MAX) oraz neurony sensoryczne. Pomiędzy neuronami ekstremów i sensorycznymi wagi wyznaczane są według:

przy czym wartości progów wszystkich neuronów tutaj są równie jedności:

(18)

Aktywne asocjacyjne SORTOWANIE ASSORT

Wartości wyjściowe neuronów reprezentujących ekstrema wyznaczamy według zależności:

Zaś neurony sensoryczne podłączone do swoich receptorów oraz innych neuronów sensorycznych oraz neuronów reprezentujących obiekty wyznaczają swoje pobudzenia na podstawie zależności:

a ich wartości wyjściowe zależne są od osiągnięcia progu aktywacji po określonym czasie:

Jeśli zaś spełniony jest warunek plastyczności dla neuronów sensorycznych:

gdzie

wtedy rozpoczynają proces plastyczności polegający na zerwaniu połączenia z neuronem,

który go słabiej pobudza niż wejście oraz połączenie się z nowo utworzonym neuronem,

co powoduje dodanie nowej wartości do posortowanego ciągu połączonych neuronów

sensorycznych zgodnie ze zdefiniowanym porządkiem (najczęściej liczbowym).

(19)

Aktywne asocjacyjne SORTOWANIE ASSORT

Połączenia pomiędzy neuronami sensorycznymi i neuronami obiektów ważone są następująco:

Neurony obiektów wyznaczają swój próg aktywacji na podstawie ilości definiujących je

atrybutów, przy czym jeśli zależy nam na możliwości klasyfikacji, wtedy do tej ilości nie zaliczamy atrybut definiujący klasę (tj. odejmujemy go od ilości wszystkich atrybutów) obliczając próg:

Możemy więc uznać, iż w przypadku tego rozwiązania na razie wszystkie wagi pomiędzy

neuronami są symetryczne, tzn. w obydwie strony takie same, co ułatwia implementację, gdyż możemy wykorzystać tylko jedno połączenie i jedną wagę pomiędzy parą dowolnych dwóch neuronów.

Działanie aktywnego asocjacyjnego sortowania ASSORT zademonstrujemy sobie na przykładzie sortowania 11 mocno skorelowanych wzorców Iris, a następnie skłonimy utworzony graf

neuronowy do automatycznego wnioskowania (swoisty data mining), lecz bez wykorzystania

wiersza kodu. Okazuje się więc, iż struktura rzeczywiście zastępuje czasochłonne operacje

(algorytmy), więc wynik takiego sortowania jest podwójnie przydatny.

(20)

SORTOWANIE ASSORT DLA WZORCÓW IRIS NA AANG

KROK 1. UTWORZENIE NOWEGO GRAFU

Utworzenie nowego grafu AANG dla zbioru obiektów przechowywanych w strukturze tabelarycznej.

swi 5.8 2.6

sle 5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

class name VERSICOLOR

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

VIRGINICA VIRGINICA VIRGINICA VIRGINICA VIRGINICA VERSICOLOR VERSICOLOR VERSICOLOR VERSICOLOR

SORTED SUBSET OF IRIS

PATTERNS

STEP 1

(21)

SORTOWANIE ASSORT DLA WZORCÓW IRIS NA AANG

KROK 2. UTWORZENIE PÓL SENSORYCZNYCH W GRAFIE (INTERFEJSÓW WEJŚCIOWYCH DLA AANG) Utworzenie nowych pól sensorycznych dla wszystkich znanych atrybutów zdefiniowanych w tabeli.

A2: sepal width (swi) R=0.0 A1: sepal length (sle) R=0.0

A4: petal width (pwi) R=0.0 A3: petal length (ple) R=0.0 A5: class name

swi 5.8 2.6

sle 5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

SORTED SUBSET OF IRIS

PATTERNS

STEP 2

(22)

SORTOWANIE ASSORT DLA WZORCÓW IRIS NA AANG

KROK 3. UTWORZENIE REPREZENTACJI 1. OBIEKTU

Tworzenie reprezentacji obiektu związane z utworzeniem i dodaniem nowych sensorów dzięki ASSORT tak, że sensory są powiązane zgodnie z porządkiem liczbowym oraz z neuronem obiektu.

A2: sepal width (swi) R=0.0

5.8 2.6

A1: sepal length (sle) R=0.0

A4: petal width (pwi) R=0.0

4.0 1.2

A3: petal length (ple) R=0.0 A5: class name VERSICOLOR

MIN MAX MIN MAX

MIN MAX

O

₁

S^A1

min S^A1

5.8 S^A1

max S^A2

S^A2 2.6

min S^A2

max

S^A3

min S^A3

4.0 S^A3

max S^A4

S^A4 1.2

min S^A4

S^A5 max VER

swi 5.8 2.6

sle 5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

SORTED SUBSET OF IRIS

PATTERNS

STEP 3

(23)

SORTOWANIE ASSORT DLA WZORCÓW IRIS NA AANG

KROK 4. UTWORZENIE REPREZENTACJI 2. OBIEKTU

Tworzenie reprezentacji kolejnego obiektu w strukturze AANG wykorzystuje istniejące już sensory wartości (tutaj: VERSICOLOR), których reprezentacja nie jest duplikowana, lecz agregowana.

5.8 2.6

5.4 3.0

4.0 1.2

A3: petal length (ple) R=0.5

4.5 1.5

A5: class name VERSICOLOR

MIN MAX MIN MAX

MIN MAX

O

₁

O

₂

S^A1

min S^A1

5.4 S^A1

5.8 S^A1

max S^A2

2.6 S^A2

S^A2 3.0

min S^A2

max

S^A3

min S^A3 4.0 S^A3

4.5 S^A3

max S^A4

S^A4 1.2

min S^A4

S^A5 max

VER S^A4

1.5 swi

5.8 2.6 sle 5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

SORTED SUBSET OF IRIS

PATTERNS

STEP 4

(24)

SORTOWANIE ASSORT DLA WZORCÓW IRIS NA AANG

KROK 5. UTWORZENIE REPREZENTACJI 3. OBIEKTU

Prezentacja kolejnych danych definiujących obiekt na wejściach sensorycznych powoduje pobudzenie i aktywację neuronów sensorycznych lub ich dodanie, jeśli takowe nie istnieją.

5.8 2.6

5.4 6.0 2.7 3.0

4.0 1.2

4.5 5.1 1.5 1.6

MIN MAX MIN MAX

MIN MAX

O

₁

O

₂

O

₃

S^A1

min S^A1

5.4 S^A1

5.8 S^A1

6.0 S^A1

max S^A2

2.6 SÂ2 2.7 SÂ2 SÂ2 3.0

min S^A2

max

S^A3

min S^A3 4.0 S^A3

4.5 S^A3

5.1 S^A3

max S^A4

1.2 S^A4

S^A4 1.6

min S^A4

S^A5 max

VER S^A4

1.5 swi

5.8 2.6 sle 5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

SORTED SUBSET OF IRIS

PATTERNS

STEP 5

(25)

SORTOWANIE ASSORT DLA WZORCÓW IRIS NA AANG

KROK 6. UTWORZENIE REPREZENTACJI 4. OBIEKTU

Czasami dochodzi do agregacji reprezentacji wartości dla niektórych atrybutów reprezentowanych przez te same neurony sensoryczne (tutaj: 3.0 dla atrybutu A2: sepal width).

5.8 2.6

5.4 6.0 6.7 2.7 3.0

4.0 1.2

4.5 5.0 5.1 1.5 1.6 1.7

MIN MAX MIN MAX

MIN MAX

O

₁

O

₂

O

₃

O

₄

S^A1

min S^A1

5.4 S^A1

5.8 S^A1

6.0 S^A1

6.7 S^A1

max S^A2

2.6 SÂ2 2.7 SÂ2 SÂ2 3.0

min S^A2

max

S^A3

min S^A3 4.0 S^A3

4.5 S^A3

5.0 S^A3 5.1 S^A3

max S^A4

1.2 S^A4

1.6 S^A4 S^A4 1.7

min S^A4

S^A5 max

VER S^A4

1.5 swi

5.8 2.6 sle 5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

SORTED SUBSET OF IRIS

PATTERNS

STEP 6

(26)

SORTOWANIE ASSORT DLA WZORCÓW IRIS NA AANG

KROK 7. UTWORZENIE REPREZENTACJI 5. OBIEKTU

Czasami dochodzi aktywacji sensorów MIN lub MAX, gdy pojawiająca się na wejściu sensorycznym wartość jest minimalna lub maksymalna. Te sensory przełączają swoje połączenia zgodnie z ASSORT.

5.8 2.6

5.4 5.9 6.0 6.7 2.7 3.0 3.2

4.0 1.2

4.5 4.8 5.0 5.1 1.5 1.6 1.7 1.8

MIN MAX MIN MAX

MIN MAX

O

₁

O

₂

O

₃

O

₄

O

₅

S^A1

min S^A1

5.4 S^A1

5.8 S^A1 5.9 S^A1

6.0 S^A1

6.7 S^A1

max S^A2

2.6 S^A2 2.7 S^A2

3.0 S^A2 S^A2 3.2

min S^A2

max

S^A3

min S^A3 4.0 S^A3

4.5 S^A3 4.8 S^A3

5.0 S^A3 5.1 S^A3

max S^A4

1.2 S^A4

1.6 SÂ4 1.7 SÂ4 SÂ4 1.8

min S^A4

S^A5 max

VER S^A4

1.5 swi

5.8 2.6 sle 5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

SORTED SUBSET OF IRIS

PATTERNS

STEP 7

(27)

SORTOWANIE ASSORT DLA WZORCÓW IRIS NA AANG

KROK 8. UTWORZENIE REPREZENTACJI 6. OBIEKTU

Wraz z dodawaniem kolejnych wzorców rośnie ilość agregacji reprezentowanych już wcześniej wartości (tutaj 6,0 dla A1 oraz 5,0 dla A3), co wpływa na oszczędność reprezentacji danych.

5.8 2.6

5.4 5.9 6.0 6.7 2.2 2.7 3.0 3.2

4.0 1.2

4.5 4.8 5.0 5.1 1.5 1.6 1.7 1.8

A5: class name VERSICOLOR VIRGINICA

MIN MAX MIN MAX

MIN MAX

O

₁

O

₂

O

₃

O

₄

O

₅

O

₆

S^A1

min S^A1

5.4 S^A1

5.8 S^A1 5.9 S^A1

6.0 S^A1

6.7 S^A1

max S^A2

2.2 S^A2

2.6 S^A2 2.7 S^A2

3.0 S^A2 S^A2 3.2

min S^A2

max

S^A3

min S^A3 4.0 S^A3

4.5 S^A3 4.8 S^A3

5.0 S^A3 5.1 S^A3

max S^A4

1.2 S^A4

1.6 SÂ4 1.7 SÂ4 SÂ4 1.8

min S^A4

S^A5 max

VER S^A5

VER S^A4

1.5 swi

5.8 2.6 sle 5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

SORTED SUBSET OF IRIS

PATTERNS

STEP 8

(28)

SORTOWANIE ASSORT DLA WZORCÓW IRIS NA AANG

KROK 9. UTWORZENIE REPREZENTACJI 7. OBIEKTU

Kolejne agregacje obiektów umożliwiają automatyczne tworzenie związków asocjacyjnych pomiędzy obiektami, np. 4,5 dla A3 łączy obiekty R2 i R7, zaś 1,7 dla A4 łączy obiekty R3 i R7.

5.8 2.6

5.4 6.0 6.7 2.2 2.7 3.0

4.9 5.9 2.5 3.2

4.0 1.2

4.5 4.8 5.0 5.1 1.5 1.6 1.7 1.8

MIN MAX MIN MAX

MIN MAX

O

₁

O

₂

O

₃

O

₄

O

₅

O

₆

O

₇

S^A1

min S^A1 4.9 S^A1

5.4 S^A1

5.8 S^A1 5.9 S^A1

6.0 S^A1

6.7 S^A1

max S^A2

2.2 S^A2 2.5 S^A2

2.6 S^A2 2.7 S^A2

3.0 S^A2 S^A2 3.2

min S^A2

max

S^A3

min S^A3 4.0 S^A3

4.5 S^A3 4.8 S^A3

5.0 S^A3 5.1 S^A3

max S^A4

1.2 S^A4

1.6 SÂ4 1.7 SÂ4 SÂ4 1.8

min S^A4

S^A5 max

VER S^A5

VER S^A4

1.5 swi

5.8 2.6 sle 5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

SORTED SUBSET OF IRIS

PATTERNS

STEP 9

(29)

SORTOWANIE ASSORT DLA WZORCÓW IRIS NA AANG

KROK 10. UTWORZENIE REPREZENTACJI 8. OBIEKTU

Agregacje umożliwiają również osiągnięcie automatycznego grupowania (klasteryzacji) obiektów względem dowolnej wartości agregującej, jak również podobnych wartości połączonych ze sobą.

5.8 2.6

5.4 6.0 6.7 2.2 2.7 3.0

4.9 5.9 2.5 3.2

4.0 1.2

4.5 4.8 5.0 5.1 1.5 1.6 1.7 1.8

MIN MAX MIN MAX

MIN MAX

O

₁

O

₂

O

₃

O

₄

O

₅

O

₆

O

₇

O

₈

S^A1

min S^A1 4.9 S^A1

5.4 S^A1

5.8 S^A1 5.9 S^A1

6.0 S^A1

6.7 S^A1

max S^A2

2.2 S^A2 2.5 S^A2

2.6 S^A2 2.7 S^A2

3.0 S^A2 S^A2 3.2

min S^A2

max

S^A3

min S^A3 4.0 S^A3

4.5 S^A3 4.8 S^A3

5.0 S^A3 5.1 S^A3

max S^A4

1.2 S^A4

1.6 SÂ4 1.7 SÂ4 SÂ4 1.8

min S^A4

S^A5 max

VER S^A5

VER S^A4

1.5 swi

5.8 2.6 sle 5.4 3.0 R2

R1 R3

R4 6.7 3.0 6.0 2.7

6.0 2.2 4.9 2.5 R6

R5

R8 R9

5.9 3.2 R7

pwi 4.0 1.2

ple

4.5 1.5 5.0 1.7 5.1 1.6

5.0 1.5 4.5 1.7 4.8 1.8

VIRGINICA

6.0 3.0 5.7 2.5 6.5 3.2 R10

5.8 2.7 R11

4.8 1.8 5.0 2.0 5.1 2.0 5.1 1.9 Attributes

Asocjacyjne sortowanie ASSORT

Sztuczne Systemy Skojarzeniowe i teoria asocjacji

Asocjacyjne sortowanie ASSORT

AGH Akademia Górniczo-Hutnicza

Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Katedra Automatyki i Inżynierii Biomedycznej Laboratorium Biocybernetyki

30-059 Kraków, al. Mickiewicza 30, paw. C3/205

Adrian Horzyk

horzyk@agh.edu.pl

Asocjacyjne sortowanie ASSORT

 Umożliwia wykorzystanie receptorów i neuronów do sortowania rekordów równocześnie względem wszystkich atrybutów odzwierciedlając podobieństwo danych i następstwo rekordów.

 W przypadku równoległej realizacji dodanie nowego rekordu zachodzi w czasie stałym O(1), a sortowanie wszystkich rekordów względem wszystkich atrybutów równocześnie w czasie liniowym O(n).

 W przypadku symulacji sekwencyjnej złożoność zależna jest od ilości wartości reprezentujących poszczególne atrybuty i mieści się w zakresie od stałej O(1) do logarytmicznej O(log n),

przy czym zwykle otrzymujemy złożoność mniejszą niż O(log n), a więc sortowanie wszystkich rekordów względem wszystkich atrybutów równocześnie zachodzi w czasie minimalnie liniowym O(n) do

maksymalnie logarytmiczno-liniowym O(n log n) w zależności od ilości wartości atrybutów danych.

 Ze względu na konstrukcję współczesnych komputerów trudno go zrealizować, aczkolwiek można to zrobić na odpowiednich kartach graficznych GPU.

 Sortowanie to proces porządkowania rekordów (np. R1, …, R9) względem wybranego klucza lub kluczy (np. A1 lub A2).

 Wartości atrybutów, jak również całe rekordy mogą się powtarzać w sortowanym zbiorze.

Opis przebiegu działania sortowania ASSORT

1. Sztuczny system skojarzeniowy AAS podaje równocześnie na wszystkie wejścia sensoryczne (SENSIN:Ak) wartości danych definiujące wybrany rekord z tabeli, np. sortowany rekord R1 określony jest przez dwie wartości A1=2 i A2=3.

2. Wejścia sensoryczne SENSIN:Ak przekazują otrzymane wartości do wszystkich istniejących i powiązanych z nimi neuronów receptorycznych (VN), które

przekształcają otrzymane wartości na pewien stopień swojego pobudzenia.

3. Neurony receptoryczne VN nie muszą osiągnąć progu aktywacji, a więc

przekazują swoje pobudzenie do powiązanych z nimi neuronów SN oraz innych neuronów receptorycznych VN pobudzając je odpowiednio do wagi łączącego je połączenia synaptycznego.

4. ASSORT dodatkowo wykorzystuje VNy: liczbowe i reprezentujące wartości ekstremalne: MIN i MAX dla poszczególnych atrybutów.

2 3

1

MIN

MAX

SENSIN : A1 4

6

8

9

Opis przebiegu działania sortowania ASSORT

5. Dla ułatwienia każde wejście sensoryczne SENSIN:Ak przechowuje wielkość zakresu reprezentowanego przedziału swojej wrażliwości:

6. Neurony receptoryczne ekstremów wyznaczają swoje wartości wyjściowe wg:

gdzie x oznacza wartość przekazaną przez SENSINa, a v

i v

wartości ekstremalne reprezentowane przez neurony receptoryczne MIN i MAX.

7. Neurony receptoryczne reprezentujące porządkowalne wartości v łączą się w obrębie ich SENSINów, a waga ich połączenia odwzorowuje ich podobieństwo:

8. Połączenia pomiędzy neuronami receptorycznymi VN reprezentującymi

porządkowalne wartości określają relację asocjacyjnego podobieństwa ASIM.

2 3

1

MIN

MAX

SENSIN : A1 4

6

8

9

MIN MAX

SENSIN : A2

(6.7)

(6.5) (6.3)

(6.1)

Opis przebiegu działania sortowania ASSORT

9. Proces plastyczności połączeniowej uruchamiany jest w VNach wtedy, gdy określony VN zostanie mocniej pobudzony przez SENSINa niż za

pośrednictwem połączenia od wcześniej aktywowanego sąsiedniego VNa:

10. Program wewnętrzny VNów wymaga dokładnie dwóch połączeń z innymi VNami, wobec tego VN rozpoczyna proces degradacji synaptycznej, jeśli

połączeń powstało więcej, wysyłając sygnał degradacji przez swoje połączenia.

AANG

(6.8) (6.9)

(6.10)

Opis przebiegu działania sortowania ASSORT

11. Funkcja pobudzenia neuronów receptorycznych VN określona jest poprzez następującą zależność:

gdzie

v to wartość reprezentowana przez neuron receptoryczny VN, x oznacza wartość przekazaną przez SENSINa,

R oznacza przedział zmienności danego SENSINa,

𝒕 𝒗 wyznacza czas pobudzania receptorycznego neuronu wartości VN wartością x a suma jest liczona po wszystkich połączonych VNach reprezentujących wartości, które są bardziej podobne do wartości x niż wartość v rozważanego VNa.

12. VNy są cały czas pobudzane przez wartość x aż do momentu osiągnięcia aktywacji lub zakończenia

procesów plastyczności i pojawienia się nowej

wartości na wejściu SENSINa:

(6.11)

(6.12)

(6.13)

Opis przebiegu działania sortowania ASSORT

13. Kolejne VNy połączone z wcześniej aktywowanymi VNami zostaną aktywowane w czasie określonym następująco:

gdzie

v

i v

𝒕 _𝒗 wyznacza czas pobudzania receptorycznego neuronu wartości VN wartością x a suma jest liczona po wszystkich połączonych VNach reprezentujących wartości, które są bardziej podobne do wartości x niż wartość v rozważanego VNa.

t ^{= k – 1} t ^{= k}

t ⁼ ³

t ^{= 2} t ^{= 1}