Adrian Horzyk ANAKG

(1)

Sztuczne Systemy Skojarzeniowe

Aktywne Asocjacyjne Neuronowe Grafy Wiedzy Active Neural Associative Knowledge Graphs

ANAKG

AGH Akademia Górniczo-Hutnicza

Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Katedra Automatyki i Inżynierii Biomedycznej Laboratorium Biocybernetyki

30-059 Kraków, al. Mickiewicza 30, paw. C3/205

Adrian Horzyk

horzyk@agh.edu.pl

(2)

AKTYWNE ASOCJACYJNE NEURONOWE GRAFY WIEDZY - ANAKG

 Rodzaj emergentnych neuronowych architektur kognitywnych wykorzystujących as-neurony.

 Konsolidują sekwencje uczące (serie/ciągi/szeregi).

 Częstość powtórzeń wpływa na formowanie wiedzy.

 Umożliwiają odtwarzanie nauczonych sekwencji/serii/ciągów/szeregów.

 Mogą uogólniać sekwencje i być kreatywne.

 Kontekst wywołania decyduje o kreatywności.

(3)

Wyznaczanie wartości wag as-neuronów ANAKG-1

Brana jest pod uwagę aktywność as-neuronów i synaps od początku ich istnienia.

w ϵ (0; +1]

 ≤ 

Jeśliby wszystkie pobudzenia as-neuronu SN przez to połączenie powodowały zawsze od razu aktywację neuronu postsynaptycznego, wtedy waga będzie równa 1, w innych przypadkach będzie mniejsza.

Zliczana jest ilość skutecznych aktywacji neuronu postsynaptycznego

za pośrednictwem tego połączenia biorąc pod uwagę

upływ czasu między aktywacją

neuronu pre- i postsynaptycznego

asocjacyjna ścieżka aktywacji

(4)

Wyznaczanie wartości wag as-neuronów ANAKG-1

(5)

Relaksacja as-neuronów ANAKG-1

Neurony aktualizowane (relaksowane) są w kolejnych chwilach czasu:

Czas płynie z szybkością jednej jednostki czasu z każdą prezentacją kolejnego słowa.

(6)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

ANAKG

E2:1

E1:1 E3:1

 = 1,00 | w = 1,00

 = 0,50 | w = 0,67

 = 1,00 | w = 1,00

(A)

S1

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

Horzyk, A., How Does Generalization and Creativity Come into Being in Neural Associative Systems and How Does It Form Human-Like Knowledge?, Neurocomputing,

2014, IF = 1,634.

(7)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

ANAKG

E2:2

E1:1 E3:1

E4:1 E6:1

E5:1

 = 0,33 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 0,50 | w = 0,67

 = 1,00 | w = 1,00

 = 0,50 | w = 0,67

 = 1,00 | w = 1,00

(B)

S2

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

(8)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

ANAKG

E2:3

E1:1 E3:1

E4:1 E6:1

E5:2

E8:1

E7:1

 = 0,50 | w = 0,40

 = 0,33 | w = 0,50

 = 1,00 | w = 0,50

 = 0,33 | w = 0,50

 = 0,50 | w = 0,40

 = 1,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 1,00

 = 0,50 | w = 0,67

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

(C)

S3

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

(9)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

ANAKG

E2:3

E1:1 E3:1

E4:1 E6:1

E5:2

E8:2 E7:2

E9:1

 = 0,50 | w = 0,40

 = 0,83 | w = 0,59

 = 1,00 | w = 1,00

 = 1,00 | w = 0,50

 = 0,33 | w = 0,50

 = 0,50 | w = 0,40

 = 1,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 1,00 | w = 1,00

 = 0,50 | w = 0,67

 = 0,50 | w = 0,40

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

(D)

S4

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

(10)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

ANAKG

E2:4

E1:1 E3:2

E4:2 E6:1

E5:2

E8:2 E7:2

E9:1

 = 0,50 | w = 0,40

 = 0,83 | w = 0,59

 = 1,00 | w = 1,00

 = 1,00 | w = 0,40

 = 0,33 | w = 0,29

 = 0,50 | w = 0,40

 = 1,00 | w = 0,40

 = 0,50 | w = 0,40

 = 2,00 | w = 0,67

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 1,50 | w = 0,86

 = 0,50 | w = 0,40

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

(E)

S5

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

(11)

WYWOŁANIE CIĄGU SKOJARZEŃ W ANAKG-1

ANAKG

E2:4

E1:1 E3:2

E4:2 E6:1

E5:2

E8:2 E7:2

E9:1

 = 0,50 | w = 0,40

 = 0,83 | w = 0,59

 = 1,00 | w = 1,00

 = 1,00 | w = 0,40

 = 0,33 | w = 0,29

 = 0,50 | w = 0,40

 = 1,00 | w = 0,40

 = 0,50 | w = 0,40

 = 2,00 | w = 0,67

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 1,50 | w = 0,86

 = 0,50 | w = 0,40

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

(F)

S4 S5 S3 1x

1x 1x

S2 1x

S1 1x

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

(12)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

ANAKG

E2:9

E1:1 E3:3

E4:7 E6:5

E5:6

E8:4 E7:4

E9:3

 = 0,50 | w = 0,15

 = 2,83 | w = 0,63

 = 3,00 | w = 1,00

 = 1,00 | w = 0,20

 = 1,67 | w = 0,38

 = 2,50 | w = 0,53

 = 5,00 | w = 0,71

 = 1,00 | w = 0,25

 = 3,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,29

 = 3,00 | w = 0,86

 = 5,00 | w = 0,83

 = 4,50 | w = 0,78

 = 1,50 | w = 0,55

 = 6,00 | w = 1,00

 = 1,00 | w = 1,00

(G)

S4 S5 S2 4x

2x

1x

(13)

WYWOŁANIE CIĄGU SKOJARZEŃ W ANAKG-1

ANAKG

E2:9

E1:1 E3:3

E4:7 E6:5

E5:6

E8:4 E7:4

E9:3

 = 0,50 | w = 0,15

 = 2,83 | w = 0,63

 = 3,00 | w = 1,00

 = 1,00 | w = 0,20

 = 1,67 | w = 0,38

 = 2,50 | w = 0,53

 = 5,00 | w = 0,71

 = 1,00 | w = 0,25

 = 3,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,29

 = 3,00 | w = 0,86

 = 5,00 | w = 0,83

 = 4,50 | w = 0,78

 = 1,50 | w = 0,55

 = 6,00 | w = 1,00

 = 1,00 | w = 1,00

(H)

S4 S5 S3 1x

3x 2x

S2 5x

S1 1x

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

(14)

PORÓWNANIE ODPOWIEDZI DLA RÓŻNYCH ILOŚCI POWTÓRZEŃ

ANAKG

E2:9

E1:1 E3:3

E4:7 E6:5

E5:6

E8:4 E7:4

E9:3

 = 0,50 | w = 0,15

 = 2,83 | w = 0,63

 = 3,00 | w = 1,00

 = 1,00 | w = 0,20

 = 1,67 | w = 0,38

 = 2,50 | w = 0,53

 = 5,00 | w = 0,71

 = 1,00 | w = 0,25

 = 3,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,29

 = 3,00 | w = 0,86

 = 5,00 | w = 0,83

 = 4,50 | w = 0,78

 = 1,50 | w = 0,55

 = 6,00 | w = 1,00

 = 1,00 | w = 1,00

(H)

S4 S5 S3 1x

3x 2x

S2 5x

S1 1x

ANAKG

E2:4

E1:1 E3:2

E4:2 E6:1

E5:2

E8:2 E7:2

E9:1

 = 0,50 | w = 0,40

 = 0,83 | w = 0,59

 = 1,00 | w = 1,00

 = 1,00 | w = 0,40

 = 0,33 | w = 0,29

 = 0,50 | w = 0,40

 = 1,00 | w = 0,40

 = 0,50 | w = 0,40

 = 2,00 | w = 0,67

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 1,50 | w = 0,86

 = 0,50 | w = 0,40

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

(F)

S4 S5 S3 1x

1x 1x

S2 1x

S1 1x

(15)

NEURON E4 i jego połączenia z E3 i E6 sterują wyborem

ANAKG

E2:9

E1:1 E3:3

E4:7 E6:5

E5:6

E8:4 E7:4

E9:3

 = 0,50 | w = 0,15

 = 2,83 | w = 0,63

 = 3,00 | w = 1,00

 = 1,00 | w = 0,20

 = 1,67 | w = 0,38

 = 2,50 | w = 0,53

 = 5,00 | w = 0,71

 = 1,00 | w = 0,25

 = 3,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,29

 = 3,00 | w = 0,86

 = 5,00 | w = 0,83

 = 4,50 | w = 0,78

 = 1,50 | w = 0,55

 = 6,00 | w = 1,00

 = 1,00 | w = 1,00

(H)

ANAKG

E2:4

E1:1 E3:2

E4:2 E6:1

E5:2

E8:2 E7:2

E9:1

 = 0,50 | w = 0,40

 = 0,83 | w = 0,59

 = 1,00 | w = 1,00

 = 1,00 | w = 0,40

 = 0,33 | w = 0,29

 = 0,50 | w = 0,40

 = 1,00 | w = 0,40

 = 0,50 | w = 0,40

 = 2,00 | w = 0,67

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 1,50 | w = 0,86

 = 0,50 | w = 0,40

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

(F)

S4 S5

S3 1x

3x 2x

S2 5x

S1 1x

S4 S5

S3 1x

1x 1x

S2 1x

S1 1x

(16)

2x actively 1x aggregates

4x and

1x a

1x basis

1x be

1x being

1x associative

1x consolidates 1x can

1x comes

1x for 1x fundamental

5x facts 1x intelligence

1x into

2x is

1x in

1x not 7x knowledge

1x objects

3x of 2x on

1x reacts

3x rules

1x set 1x representation

2x represented

1x systems 3x the

2x various

7x . (full stop)

=2,00 w=0,44

=1,00 w=0,67

=1,00 w=1,00

=3,00 w=0,86

=3,00 w=0,75

=2,00 w=0,80

=1,00 w=1,00

=1,00 w=0,67

=1,00 w=1,00

=1,00 w=0,50

=2,00 w=1,00

=1,00 w=1,00

=1,00 w=0,25

=1,00 w=1,00

=3,00 w=1,00

=1,00 w=1,00

=1,00 w=0,25

=2,00 w=1,00

=1,00 w=0,25

=1,00 w=0,67

=1,00 w=1,00

=1,00 w=0,50

=1,00 w=0,67

=1,00 w=1,00

=1,00 w=0,40

=2,00 w=0,57

=0,33 w=0,40

=0,33 w=0,29

=0,50 w=0,40

=0,33 w=0,20

=1,00 w=0,50

=0,33 w=0,50

=0,50 w=0,67

=1,00 w=0,25

=1,00 w=1,00

=1,00 w=0,67

=0,50 w=0,67

=0,50 w=0,40

=0,50 w=0,13

=1,00 w=1,00

=0,50 w=0,67

=1,00 w=1,00

=1,00 w=0,50

=1,00 w=1,00

=1,00 w=0,25

=1,00 w=1,00

=1,00 w=0,50

=0,25 w=0,40

=0,33 w=0,50

=0,50 w=0,13

=0,50 w=0,67

7x START _w=1,00^=7,00

=7,00 w=1,00

=0,33 w=0,50

=0,33 w=-0,5

=0,33 w=0,50

NEURONOWA ASOCJACYJNA STRUKTURA DLA OBIEKTÓW

LINGWISTYCZNYCH ZBUDOWANA NA PODSTAWIE

7 ZDAŃ

(17)

Reakcja na pytanie: „What is knowledge?”

As-neurony są aktywowane w określonej kolejności dostarczając następujących odpowiedzi:

 Knowledge is fundamental for intelligence.

 Knowledge is not a set of facts and rules

(18)

KONKLUZJE DOTYCZĄCE REPREZENTACJI WIEDZY

 Możliwe modelowanie i reprezentacja wiedzy w sztucznych systemach skojarzeniowych.

 Wykorzystanie plastycznych mechanizmów neuronowych.

 Wykorzystanie wzorców i sekwencji uczących.

 Umożliwienie wywoływania sztucznych skojarzeń.

 Wykorzystanie kontekstu wcześniejszych pobudzeń

i aktywacji neuronów w trakcie wywoływania skojarzeń i ewaluacji wiedzy.

 Możliwość uogólniania na poziomie reprezentacji neuronalnej oraz całych sieci (systemów).

 Tworzenie się kreatywnych reakcji dla nowych kontekstów

(kombinacji bodźców).

(19)

MOŻLIWE ZASTOSOWANIA ANAKG I AAS

1. Klasyfikacja i multiklasyfikacja.

2. Automatyczne grupowanie (klasteryzacja).

3. Sortowanie, agregacja i kompresja.

4. Szybkie wyszukiwanie danych i ich eksploracja.

5. Konsolidacja informacji i reprezentacja wiedzy.

6. Semi-automatyczna kontekstowa korekta tekstów.

7. Automatyzacja tłumaczenia.

8. Budowa chatbotów korzystających z wiedzy.

9. Budowa emergentnych architektur kongitywnych.

10.Budowa skojarzeniowych systemów sztucznej inteligencji.

11.Upowszechnianie informacji, wyników badań i wiedzy.

(20)

SYSTEMY

 Bezpieczne przechowywanie danych

 Szybko wykonywane operacje arytmetyczno-logiczne

 Planowane i przewidywalne działanie poprawnie zbudowanych programów

 Mogą dostarczać optymalnych rozwiązań zależnych od algorytmów

 Wymuszają przeszukiwanie pamięci w pętlach obliczeniowych, w celu

wykonania operacji na danych

 Wykorzystują sekwencyjne, pasywne pamięci komputerowe

 Problemy ze złożonością obliczeniową

 Problemy numeryczne

 Trudne modelowanie inteligencji, wiedzy, uogólnień i kreatywności

 Szybko reaktywne na znane kombinacje bodźców

 Automatyczna agregacja podobnych danych

 Eliminacja duplikatów

 Automatyczna konsolidacja sekwencji (serii)

 Automatyczna reprezentacja grup podobnych kombinacji danych i reprezentacja ich klas

 Uogólnianie na skutek podobieństwa, agregacji, konsolidacji i połączeń kontekstowych

 Kreatywność na skutek konsolidacji sekwencji danych i ich wywoływania w nowych kontekstach

 Dostarczanie suboptymalnych rozwiązań na bazie uogólnień wcześniej uformowanej wiedzy

 Eliminacja czasochłonnych pętli obliczeniowych

 Trudna ewaluacja wzorów matematycznych

 Brak gwarancji szybkiego, dokładnego i bezpiecznego przechowywania danych

KLASYCZNE

SYSTEMY KOMPUTEROWE SKOJARZENIOWE

SYSTEMY NEURONOWE

(21)

Struktura połączeń nie jest przypadkowa

(22)

Struktura połączeń nie jest przypadkowa

(23)

Struktura połączeń nie jest przypadkowa

(24)

Struktura połączeń nie jest przypadkowa

(25)

Struktura połączeń nie jest przypadkowa

(26)

Struktura połączeń nie jest przypadkowa

(27)

Struktura połączeń nie jest przypadkowa

(28)

Upływ czasu i jego wpływ na procesy skojarzeniowe

 Upływ czasu powoduje wygaszanie informacji o poprzednich pobudzeniach i aktywacjach (kontekst wygasa).

 W trakcie okresu relaksacji as-neurony są szybciej pobudliwe (kontekst wcześniejszych pobudzeń).

 Kolejne procesy skojarzeniowe są tylko w pewnym stopniu zależne od poprzednich (zależne od czasu pomiędzy nimi).

 W trakcie okresu refrakcji „do głosu” mogą dojść szybciej inne as- neurony, które w innych przypadkach byłyby nieaktywne lub

przytłumione.

 Czas, jaki upłynie po mocnym pobudzeniu (bez aktywacji) decyduje o uruchomieniu procesów plastycznych obniżających wrażliwość synapsy (pobudzenia podprogowe).

 Pobudzenia pochodzące od neuronów presynaptycznych, które nie

wywołały aktywacji neuronów postsynaptycznych, przez pewien

okres czasu mają wpływ na ich możliwe aktywacje w przyszłości

(sterują kolejnymi skojarzeniami).

(29)

Ideowy model relaksacji i refrakcji neuronów

 Procesy relaksacji i refrakcji neuronów mają znaczenie w połączonej ich sieci.

 Obecny asocjacyjny model neuronów jest niełatwy do implementacji ze względu na równoległość wielu procesów w nim zachodzących.

 Nawet na współczesnych komputerach symulacja równoległości wielu

asynchronicznych procesów zachodzących w jednym neuronie nie jest łatwa.

 Dopiero równoległa symulacja wielu neuronów i receptorów może umożliwić reprezentację relacji pomiędzy obiektami.

 Współczesny sprzęt komputerowy nie jest zaprojektowany do naturalnej realizacji takich procesów ani reprezentacji aktywnych grafów neuronowych.

 Dlatego zaprojektowano uproszczone dyskretne modele as-neuronów, które

łatwiej symulować i wykonywać na nich sztuczne skojarzenia (rozdz. 8.).

(30)

MONKEY

”I have a monkey . My monkey is very small.

It is very lovely. It likes to sit on my head.

It can jump very quickly. It is also very clever.

It learns quickly. My monkey is lovely.”

QUESTION: What is this monkey like?

ZBIÓR SEKWENCJI UCZĄCYCH

(TRAINING SEQUENCE SET):

(31)

AS-NEURONY

(32)

Wyznaczanie parametrów grafu neuronowego ANAKG-2

1. W trakcie jednokrotnego przejrzenia zbioru danych uczących zliczana jest efektywność

połączeń synaptycznych, wyznaczona przez czas, jaki upływa pomiędzy stymulacją

synapsy (jej elementu postsynaptycznego) i aktywacją neuronu postsynaptycznego:

(33)

Wyznaczanie parametrów grafu neuronowego ANAKG-2

2. Na tej podstawie wyznaczane są wartości wag synaptycznych na końcu po

jednokrotnym przejrzeniu zbioru danych uczących:

(34)

Wyznaczanie parametrów grafu neuronowego ANAKG-2

3. Funkcja stopniowej relaksacji as-neuronów możliwa do wyznaczenia dla dowolnych dwóch chwil czasu t

₁

i t

₂

, pomiędzy którymi as-neuron nie był

zewnętrznie stymulowany (nie został pobudzany lub hamowany):

(35)

Wyznaczanie parametrów grafu neuronowego ANAKG-2

4. Określenie presynaptycznego wpływu as-neuronu w zależności od jego progu aktywacji:

5. Wyznaczenie czasu aktywacji as-neuronu w zależności od stopnia nadstrzału (tj. przekroczenia jego wartości progowej), co powoduje odpowiednio

przyspieszenie jego aktywacji, gdyż pobudzenie jest mocniejsze:

(36)

Dla zbioru „Monkey” wyznaczono tabelę skuteczności połączeń

2

(37)

Dla zbioru „Monkey” wyznaczono tabelę wag synaptycznych

(38)

ASOCJACYJNY GRAF NEURONOWY ANAKG-2 ^MONKEY

(39)

Graf neuronowy ANAKG dla zbioru uczącego

(40)

1. zewnętrzna stymulacja neuronu MONKEY

(41)

2. zewnętrzna stymulacja neuronu MONKEY

i reakcja sieci neuronowej

(42)

Kolejna reakcja sieci neuronowej

(43)

Ostatnia reakcja sieci neuronowej

(44)

MONKEY

”I have a monkey . My monkey is very small.

It is very lovely. It likes to sit on my head.

It can jump very quickly. It is also very clever.

It learns quickly. My monkey is lovely.

I have also a small dog.”

OPIS MAŁPKI tzw.

zbiór uczący:

QUESTION: What is this monkey like?

(45)

1x

TRAINING SEQUENCES

I HAVE

S1 A MONKEY

1x

IS VERY

S2 MY MONKEY SMALL

1x

IS VERY

S3 IT LOVELY

1x

HEAD S4 IT LIKES TO SIT ON MY

1x

QUICKLY S5 IT CAN JUMP VERY

1x

IS VERY

S6 IT ALSO CLEVER

1x

S7 IT LEARNS QUICKLY

1x

IS

S8 MY MONKEY LOVELY 1x

I HAVE

S9 ALSO A SMALL DOG

CONSTRUCTION OF

ASSOCIATIVE NEURAL GRAPH

ANAKG-3

KONSTRUKCJA ASOCJACYJNEGO

GRAFU

NEURONOWEGO DLA ZBIORU

SEKWENCJI

UCZĄCYCH:

(46)

I HAVE

S1 A MONKEY

S1

I 1

ANAKG-3

(47)

I HAVE

S1 A MONKEY

S1

I 1

HAVE 1

100

ANAKG-3

MIARA SKUTECZNOŚCI SYNAPTYCZNEJ WAGA SYNAPTYCZNA

PRÓG AKTYWACJI NEURONU

(48)

I HAVE

S1 A MONKEY

S1

I 1

HAVE 1

A 1

100

68

100

ANAKG-3

SYNAPTIC WEIGHT

SYNAPTIC EFFICIENCY

(49)

I HAVE

S1 A MONKEY

S1

I 1

HAVE 1

A 1

MONKEY

1

100

68 68

100 100

ANAKG-3

48

(50)

IS VERY

S2 MY MONKEY SMALL

S2

I 1

HAVE 1

A 1

MONKEY

1 MY 1

100

68 68

100 100

ANAKG-3

48

(51)

IS VERY

S2 MY MONKEY SMALL

S2

I 1

HAVE 1

A 1

MONKEY

2 MY 1

100

68 68

100 100

100

ANAKG-3

48

AGGREGATION OF REPRESENTATION

NEURONOWA AGREGACJA

REPREZENTACJI

(52)

IS VERY

S2 MY MONKEY SMALL

S2

I 1

HAVE 1

A 1

MONKEY

2 MY 1

IS 1

100

68 68

100 100

100 68

67

ANAKG-3

48

(53)

IS VERY

S2 MY MONKEY SMALL

S2

I 1

HAVE 1

A 1

MONKEY

2 MY 1

IS 1

VERY 1

100

68 68

100 100

100 68

51

48

100

67

ANAKG-3

48

(54)

IS VERY

S2 MY MONKEY SMALL

S2

I 1

HAVE 1

A 1

MONKEY

2 MY 1

SMALL 1

IS 1

VERY 1

100

68 68

100 100

100

68

51

35 48

100

67

38

ANAKG-3

48

(55)

IS VERY

S3 IT LOVELY

S3

I 1

HAVE 1

A 1

MONKEY

2 MY 1

SMALL 1

IS 1

VERY 1

IT 1

100

68 68

67

100 100

100

51

68

51

35 48

100

67

38

ANAKG-3

39

(56)

IS VERY

S3 IT LOVELY

S3

I 1

HAVE 1

A 1

MONKEY

2 MY 1

SMALL 1

IS 2

VERY 1

IT 1

100

68 68

67

100 100

100

51

68

51

35 48

100

67

38

ANAKG-3

39

(57)

IS VERY

S3 IT LOVELY

S3

I 1

HAVE 1

A 1

MONKEY

2 MY 1

SMALL 1

IS 2

VERY 2

IT 1

100

68 68

67

100 100

100

51

68

51

35 48

100

67

68 38

ANAKG-3

39

(58)

IS VERY

S3 IT LOVELY

S3

I 1

HAVE 1

A 1

MONKEY

2 MY 1

SMALL 1

IS 2

VERY 2

IT 1

LOVELY

1

100

68 68

67

100 100

100

51

68

51

35 48

48

100

67

51

68

67 38

ANAKG-3

39

(59)

HEAD S4 IT LIKES TO SIT ON MY

S4

I 1

HAVE 1

A 1

MONKEY

2 MY 2

SMALL 1

IS 2

VERY 2

IT 2

LOVELY

1 HEAD

1 TO 1

LIKES 1 SIT

1 ON

1

91

51 74

57 67

100

86

68 27

35

68 48 48 ₁₀₀

77

45

48

71

47

35 17

28 36

56 68

22

35

100

89 86

35

74

100

71

44 60

57

68

26

100

36

ANAKG-3

39

(60)

QUICKLY S5 IT CAN JUMP VERY

S5

I 1

HAVE 1

A 1

MONKEY

2 MY 2

SMALL 1

IS 2

VERY 3

IT 3

LOVELY

1 HEAD

1 TO 1

LIKES 1 SIT

1 ON

1

QUICKLY

1 JUMP

1 CAN 1

91

51 74

57 67

100

48 86

57 68 27

35

68 48 48

57

100

77

45

48

71

47

35 17

28 36

56 68

22

35

100

89 86

35

74

100

71

44 60

100

57

68

68 47

26

44

100

56

68

100

36

ANAKG-3

39

(61)

IS VERY

S6 IT ALSO CLEVER

S6

I 1

HAVE 1

A 1

MONKEY

2 MY 2

SMALL 1

IS 3

VERY 4

IT 4

LOVELY

1 HEAD

1 TO 1

LIKES 1 SIT

1 ON

1

QUICKLY

1 JUMP

1 CAN 1

CLEVER

1 ALSO

1

91

51 74

57 67

100

35 27 48

86

57 68

51

57

27

35

68 48 48

57

100

77

45

48

71

47

35 17

28 36

56 68

67

22

35

100

89 86

35

74

100

71

44 60

100

57

68

68 47

26

44

100

56

68 44

100

36

57

ANAKG-3

39

(62)

S7 IT LEARNS QUICKLY

S7

I 1

HAVE 1

A 1

MONKEY

2 MY 2

SMALL 1

IS 3

VERY 4

IT 5

LOVELY

1 HEAD

1 TO 1

LIKES 1 SIT

1 ON

1

QUICKLY 2

JUMP 1

CAN 1

CLEVER

1 ALSO

1

LEARNS

1

91

51 74

57 67

56

100

35 27 48

86

57 68

51

57

27

35

68 48 48

57

100

77

45

48

71

47

35 17

28 36

56 68

67

22

35

100 100

89 86

35

74

100

71

44 60

100

57

68

68 47

26

44

100

56

68 44

100

36

57

ANAKG-3

39

(63)

IS

S8 MY MONKEY LOVELY

S8

I 1

HAVE 1

A 1

MONKEY

3 MY 3

SMALL 1

IS 4

VERY 4

IT 5

LOVELY

2 HEAD

1 TO 1

LIKES 1 SIT

1 ON

1

QUICKLY 2

JUMP 1

CAN 1

CLEVER

1 ALSO

1

LEARNS

1

91

51 74

57 67

56

100

35 27 48

86

57 68

51 51

57

27

35

68 48 48

57

100

77

45

48

71

47

35 17

28 36

56 68

67

22

35

100 100

89 86

35

74

100

71

44 60

100

57

68

68 47

26

44

100

56

68

44 36

100

36 51

57

ANAKG-3

39

(64)

I HAVE

S9 ALSO A SMALL DOG

S9

I 2

HAVE 2

A 2

MONKEY

3 MY 3

SMALL 2

IS 4

VERY 4

IT 5

LOVELY

2 HEAD

1 TO 1

LIKES 1 SIT

1 ON

1

QUICKLY 2

JUMP 1

CAN 1

CLEVER

1 ALSO

2

LEARNS

1 DOG 1

91

51 74

57 67

56

39

100

67

35 48

67

27 86

57 68

51 51

23

57 30

67

39 51

30

27

35

68 48 48

57

100

77

45

48

71

47

35 17

28 36

56 68

67

22

35

100 100

89 86

35

74

100

71

44 60

100

57

68

68 47

26

44

100

56

67

68

44 36

100

36 51

57

ANAKG-3

39

(65)

OBLICZANIE SKUTECZNOŚCI SYNAPTYCZNEJ

(66)

OBLICZANIE WAG SYNAPTYCZNYCH

ANAKG-3

(67)

ANAKG-3 for training data MONKEY

(68)

ASOCJACYJNY GRAF NEURONOWY udzielił następującej odpowiedzi:

t

Całkowicie się z tym zgadzam!

MONKEY

35 IS

46 VERY

59 LOVELY

60 SMALL

75 CLEVER

76 Dzięki wiedzy o małpce uformowanej w asocjacyjnym grafie neuronowym

możliwe stało się uzyskanie

odpowiedzi i podsumowania!

(69)

REPREZENTACJA ZWIĄZKÓW

CZASOWYCH I KOLEJNOŚCI DANYCH!

 Dzięki specyficznemu działaniu neuronów możliwe jest

odwzorowanie zależności czasowych i kolejności obiektów.

 Osiągamy więc możliwość asocjacji danych:

 W czasie (uwzględniając ich kolejność)

 Horyzontalnie

 Wertykalnie Co daje nam nowe i ciekawe możliwości wnioskowania oraz uogólniania…

t

(70)

Monkey is very lovely!

 W kolejnych chwilach czasu

aktywowane as-neurony wskazały odpowiedź sztucznego systemu skojarzeniowego

na zewnętrzne stymulacje neuronu MONKEY.

 System skojarzeniowy nie był uczony sekwencji:

„Monkey is very lovely”

a więc powstała w wyniku kreatywnego

uogólnienia sekwencji uczących.

(71)

Asocjacyjna ścieżka aktywacji

 Asocjacyjna ścieżka aktywacji (neuronów) określana jest w procesie uczenia na podstawie sekwencji uczących (str. 224 monografii), a więc neurony są

aktywowane zewnętrznie poprzez receptory lub bezpośrednio. Sekwencje uczące aktywują sekwencje neuronów, a więc w istocie powstaje taka ścieżka aktywacji neuronów, które mają za zadanie wzmocnić swoje asocjacje w trakcie takiego procesu uczenia. Dlatego zostały nazwane asocjacyjnymi ścieżkami aktywacji.

 W trakcie ewaluacji sieci i jej pobudzania może dochodzić do nawet równoległej aktywacji wielu neuronów i mogą powstawać całe podgrafy stopniowo

aktywowanych neuronów, lecz asocjacyjna ścieżka aktywacji dotyczy procesu adaptacji (uczenia) na podstawie sekwencji uczących wyznaczające te ścieżki.

Podgrafy na razie nie są stosowane do nauki AASów.

ASEQ -k+1 ASEQ -k+1 ASEQ 2 ASEQ 1 ACON ₁ = ASEQ 0

WACON 2 ACON ₂

W_{ASEQ 0} W_{ASEQ 1}

W_{ASEQ 2} WASEQ -k+1

WACON 3 ACON ₃

WACON k ACON k

WACON k-1 ACON k-1

SN

-k+1

SN

-k WASEQ -k+1

SN

3

SN

2

SN

1

SN

0

t ^{= k – 1} t ^{= k}

t ^{= 3}

t ^{= 2} t ^{= 1}

Asocjacyjna ścieżka aktywacji – Associative activation track (AAT)

(72)

Asocjacyjna ścieżka aktywacji dla sekwencji uczącej S3

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

ANAKG

E2:3

E1:1 E3:1

E4:1 E6:1

E5:2

E8:1

E7:1

 = 0,50 | w = 0,40

 = 0,33 | w = 0,50

 = 1,00 | w = 0,50

 = 0,33 | w = 0,50

 = 0,50 | w = 0,40

 = 1,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 1,00

 = 0,50 | w = 0,67

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

(C)

S3

(73)

Złożoność obliczeniowa procesów skojarzeniowych

 Ograniczone dodawanie (wykorzystywanie) kolejnych neuronów i połączeń

 Agregacja danych i reprezentacja ich powtarzających się kombinacji implikuje spadek zapotrzebowania na nowe elementy (neurony) wraz ze wzrostem ilości reprezentowanych danych, ich kombinacji i sekwencji.

ANAKG

E2:9

E1:1 E3:3

E4:7 E6:5

E5:6

E8:4 E7:4

E9:3

 = 0,50 | w = 0,15

 = 2,83 | w = 0,63

 = 3,00 | w = 1,00

 = 1,00 | w = 0,20

 = 1,67 | w = 0,38

 = 2,50 | w = 0,53

 = 5,00 | w = 0,71

 = 1,00 | w = 0,25

 = 3,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,29

 = 3,00 | w = 0,86

 = 5,00 | w = 0,83

 = 4,50 | w = 0,78

 = 1,50 | w = 0,55

 = 6,00 | w = 1,00

 = 1,00 | w = 1,00

(G)

S4 S5 S2 4x

2x

1x

(74)

Co to znaczy kojarzyć i wywoływać skojarzenia?

Kojarzyć oznacza na poziomie systemów skojarzeniowych:

 Konsolidować ze sobą reprezentacje (obiektów, faktów, reguł) poprzez

tworzenie specjalnych połączeń, które odwzorowują różne relacje pomiędzy nimi, np. podobieństwo i następstwo lub je definiują.

W zależności od rodzaju i możliwości systemu skojarzeniowego reprezentacje mogą być tworzone z różną dokładnością.

 Agregować reprezentacje obiektów podobnych poprzez usuwanie duplikatów w reprezentacji lub nie dopuszczanie do ich powstawania, gdyż w odwrotnym przypadku wpływałoby to na obniżenie jakości i rozległości wywoływanych skojarzeń. Możliwe jest jednak tworzenie reprezentacji, które grupują

(obiekty, fakty, reguły) w różny sposób.

Wywoływać skojarzenia oznacza:

 Aktywować reprezentacje klas obiektów, faktów, reguł, działań lub ich

uogólnień przez inne obiekty, fakty, reguły lub ich elementy za pośrednictwem połączeń pomiędzy ich skonsolidowanymi reprezentacjami.

Aktywowane reprezentacje mogą wywoływać pewne reakcje systemu lub

prowadzić do tworzenia się nowych lub wzmocnienia istniejących skojarzeń.

(75)

Problemy rozwiązywalne skojarzeniowo

 To takie problemy, które można rozwiązać na drodze budowy systemów skojarzeniowych reprezentujących wiedzę o tych problemach oraz poprzez wywoływanie skojarzeń korzystających z tej wiedzy , prowadząc do poprawnych odpowiedzi.

 Wiedza umożliwia sterowanie procesami skojarzeniowymi, które mogą prowadzić do rozwiązań lub odpowiedzi.

 Rozwiązania oparte na zdobywanej wiedzy w procesie

uczenia i konsolidacji faktów nie gwarantują optymalnych rozwiązań, aczkolwiek dobrze uformowana wiedza często dostarcza rozwiązań suboptymalnych.

 Nie każdy problem może zostać w taki sposób rozwiązany, np.: dokładne obliczenia i problemy kombinatoryczne

wymagające znalezienia optymalnych rozwiązań.

(76)

LITERATURA

1. Horzyk, A., How Does Generalization and Creativity Come into Being in Neural Associative Systems and How Does It Form Human-Like Knowledge?,

Neurocomputing, 2014, IF = 1,634.

2. Horzyk, A., Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural Associative Systems, Springer, AISC 11156, 2014.

3. Horzyk, A., Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural Associative Systems, Springer Verlag, AISC 11156, ISSN 2194-5357, 2015.

4. Horzyk, A., Innovative Types and Abilities of Neural Networks Based on Associative Mechanisms and a New Associative Model of Neurons - referat na zaproszenie na międzynarodowej konferencji ICAISC 2015, Springer Verlag, LNAI, 2015.

5. Horzyk, A., Sztuczne systemy skojarzeniowe i asocjacyjna sztuczna inteligencja, EXIT, Warszawa, 2013.

6. Tadeusiewicz, R., Horzyk, A., Man-Machine Interaction Improvement by Means of Automatic Human Personality Identification, Gerhard Goos, Juris Hartmanis, and Jan van Leeuwen (Eds.), Springer, LNCS 8104, 2013.

7. Horzyk, A., Gadamer, M., Associative Text Representation and Correction, Springer Verlag Berlin Heidelberg,

LNAI 7894, 2013, pp. 76-87.

8. Horzyk, A., Information Freedom and Associative Artificial Intelligence, Springer Verlag Berlin Heidelberg, LNAI 7267, 2012, pp. 81-89.

9. Horzyk, A., Self-Optimizing Neural Network 3, L. Franco, D. Elizondo, J.M. Jerez (eds.), Constructive Neural Networks, Springer, Series: Studies in Computational Intelligence, Vol. 258, 2009, pp. 83-101.

10. Dudek-Dyduch, E., Tadeusiewicz, R., Horzyk, A., Neural Network Adaptation Process Effectiveness Dependent of Constant Training Data Availability, Neurocomputing 72, 2009, pp. 3138-3149, IF = 1,440.