Wprowadzenie do metod sztucznej inteligencji oraz inżynierii wiedzy

(1)

Wprowadzenie do

metod sztucznej inteligencji oraz inżynierii wiedzy

AGH Akademia Górniczo-Hutnicza

Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Adrian Horzyk

horzyk@agh.edu.pl

(2)

MÓZG

 Plastyczny

 Błyskawiczne reakcje

 Posiada mechanizmy aktywnej reprezentacji wiedzy

 Dostosowuje sposób swojego działania

 Umożliwia uczenie się i myślenie

(3)

NEURONY BIOLOGICZNE I SZTUCZNE

 Neurony nie tylko sumują ważone sygnały wejściowe.

 Podlegają procesom relaksacji i refrakcji w czasie.

 Neurony posiadają progi aktywacji i swoją wrażliwość.

(4)

WIELKOŚĆ I PLASTYCZNOŚĆ NEURONÓW

Neurony biologiczne różnią się:

 wielkością i pojemnością,

 wrażliwością i reaktywnością,

 reprezentowanymi zbiorami kombinacji bodźców (danych),

 połączeniami

 i innymi cechami…

(5)

 Szybkie i wybiórcze przekazywanie informacji

 Adaptatywne reagowanie na nadchodzące sygnały

 Zróżnicowanie reprezentowanych kombinacji

POŁĄCZENIA I SYNAPSY

(6)

STAN NEURONU

Zmienia się z upływem czasu

pod wpływem wewnętrznych procesów, a nie tylko na skutek

zewnętrznych oddziaływań.

(7)

Informatyczne modele neuronów Pierwsze modele neuronów:

Model McCullocha-Pittsa (1943 r.) odzwierciedla tylko proste sumowanie statycznie ważonych sygnałów wejściowych x₁,…,x_n, jakie do niego docierają, próg aktywacji w₀ oraz pewną funkcję aktywacji f zależną od wartości sumy ważonej sygnałów wejściowych i wartości progu:

Mimo dużej prostoty, model ten znalazł ogromną ilość zastosowań w bardzo wielu współcześnie stosowanych metodach inteligencji obliczeniowej, pokazując swoją uniwersalność i możliwość jego zastosowania w różnych zadaniach aproksymacji, regresji, klasyfikacji, pamięciach skojarzeniowych i wielu innych.

(8)

Modele neuronu z ciągłymi funkcjami aktywacji

Druga generacja neuronów wywodzących się modelu McCullocha-Pittsa stosuje ciągłe funkcje aktywacji z zakresu [0;1] lub [-1;1], wykorzystując najczęściej sigmoidalne lub radialne funkcje aktywacji. Istnieją neurony sigmoidalne, neurony oparte o funkcję tangens hiperboliczny lub neuronami radialnymi, np. neuron Gaussowski, neuron Hardy’ego, neuron wielomianowy. Są one stosowane obecnie najpowszechniej w różnego rodzaju modelach sztucznych sieci neuronowych:

(9)

Działanie prostego neuronu o funkcji ciągłej

Działanie sieci neuronowej jest wypadkową działania poszczególnych neuronów oraz zachodzących pomiędzy nimi interakcji. Pojedynczy neuron w typowych przypadkach realizuje (z matematycznego punktu widzenia) operację iloczynu skalarnego wektora sygnałów wejściowych oraz wektora wag. W efekcie odpowiedź neuronu zależy od wzajemnych stosunków geometrycznych pomiędzy wektorami sygnałów i wektorami wag.

(10)

Sztuczne sieci neuronowe

Sztuczne sieci neuronowe są pewnymi bardzo uproszczonymi modelami rzeczywistych sieci (grafów) neuronowych funkcjonujących np. w ludzkim mózgu.

(11)

Uczenie sztucznych sieci neuronowych

Do najbardziej znanych i powszechnie wykorzystywanych metod uczenia sieci neuronowych należą:

Reguła Hebba polegająca na wzmacnianiu tych połączeń synaptycznych (A~B), w których aktywność jednego neuronu A powoduje aktywność drugiego połączonego z nim neuronu B. Odpowiada to empirycznym badaniom nad LTP (long term potentiation).

Metoda wstecznej propagacji błędów (back propagation) umożliwiająca uczenie sieci wielowarstwowych poprzez propagację różnicy pomiędzy pożądanym a otrzymanym sygnałem na wyjściu sieci.

Samoorganizacja w sieci neuronowej (np. SOM) umożliwiają uczenie sieci bez nauczyciela (unsupervised), którego celem jest wykształcenie w sieci neuronów, które by reagowały na pewne powtarzające się kombinacje bodźców z przestrzeni danych, którym można później przypisać pewne znaczenie. W tych sieciach wzmacniany jest neuron, który osiąga największą wartość pobudzenia oraz ew.

również otaczające go neurony, co zapewnia sytuowanie podobnych kombinacji bodźców blisko siebie.

Sieci rekurencyjne (np. sieci Hoppfielda), których bodźce krążą przez pewien

(12)

Obecne zastosowania i rynek sztucznych sieci neuronowych Sieci neuronowe obecnie stosowane są do:

Klasyfikacji (obrazów, mowy, procesów,…) Regresji (funkcji matematycznych,…)

Rozpoznawania (obiektów, ludzi, gestów, pisma…) Identyfikacji (obiektów, ludzi, gestów, pisma…)

Przewidywania i prognozowania (np. szeregów czasowych, kursów walut,…) Sterowania i optymalizacji (np. różnych urządzeń ze sprzężeniem zwrotnym, …) Analizy i grupowania (np. w marketingu, sprzedaży, produkcji,…)

Analizy ryzyka i opłacalności (np. kredytów i pożyczek bankowych,…)

Doboru (np. surowców, składników, dla których nie jest znana technologia)

… i wielu innych zagadnień, gdzie nie znamy algorytmu lub jego założenia są rozmyte albo złożoność obliczeniowa klasycznych rozwiązań zbyt duża.

(13)

ASOCJACYJNY MODEL NEURONÓW - AS-NEURON

 Działa w czasie

 Uwzględnia relaksację i refrakcję

 Temporalnie utrzymuje kontekst

 Optymalizuje swoją aktywność

 Warunkowo wywołuje zmiany plastyczne

 Może równocześnie reprezentować wiele podobnych i różnych kombinacji

(14)

AKTYWNA I PASYWNA REPREZENTACJA DANYCH

Pamięci komputerowe przechowują dane:

PASYWNASTRUKTURA DANYCH WYMAGAJĄCA ALGORYTMÓW

ASOCJACYJNA STRUKTURA AKTYWNIEREPREZENTUJĄCA DANE I ICH ZWIĄZKI DZIĘKI NEURONOWYM REAKTYWNYM MECHANIZMOM ICH REPREZENTACJI

Systemy skojarzeniowe

reprezentują dane:

(15)

Transformacja tabeli na neuronową strukturę asocjacyjną

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

MIN MAX

SENSIN : A1

AANG

A2 A1

( A )

(16)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2 N1

ADEF

MIN

^ADEF

MAX

SENSIN : A1

AANG

2 3 R1

( B )

(17)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2 N2 N1

ADEF

ASEQ ADEF

ADEF

MIN

^ADEF

MAX

SENSIN : A1

ASIM

8

AANG

8 1 R2

( C )

(18)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2 3

N2

N1 N3

ADEF ASIM

ASEQ ASEQ

ADEF

MIN

^ADEF

MAX

SENSIN : A1

ASIM

8

AANG

3 9 R3

( D )

(19)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2 3

1 N2

N1 N3 N4

ADEF ASIM

ASEQ ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

SENSIN : A1

ASIM

8

AANG

1 3 R4

( E )

(20)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2 3

1 N2

N1 N3 N4

ADEF ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

ASIM

8

ASEQ

N5

ADEF

AANG

4 8 R5

( F )

(21)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2 3

1 N2

N1 N3 N4

ADEF ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

ASIM

8 N6 N5

^ASEQ

ASEQ ADEF

ADEF ADEF

AANG

ADEF

4 5 R6

( G )

(22)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2 3

1 N2

N1 N3 N4

ADEF ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

ASIM

8 N6 N5

^ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

AANG

ADEF

1 3 R7

( H )

(23)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

2 3

1 N2

N1 N3 N4

ADEF ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

ASIM

8

^ASIM

9 N6

N5

^ASEQ

N8

ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

ACON

AANG

9 1 R8

( I )

(24)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3 R7

AANG

2 3

1 N2

N1 N3 N4

ADEF ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

ADEF ADEF

ACON

6 8 R9

( J )

(25)

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 R6

R5

R8

1 3

R7 ...

2 3

1 N2

N1 N3 N4

ADEF ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

2 3 R1

( K )

(26)

Pobudzenie receptorów za pośrednictwem pól sensorycznych

2 3

1 N2

N1 N3 N4

ADEF ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

4 3 ZEWNĘTRZNE

POBUDZANIE

WEJŚĆ

SENSORYCZNYCH

(27)

Pobudzenie neuronu dla wyznaczenia podobieństw lub następstwa

2 3

1 N2

N1 N3 N4

ADEF ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

ZEWNĘTRZNE POBUDZANIE

NEURONU

(28)

Dla wybranego zbioru danych i zadania klasyfikacji

można poszukać podobieństw umożliwiających określenie ich dyskryminatywnych grup

(29)

AANG – Aktywny Asocjacyjny Graf Neuronowy dla zbioru Iris

(30)

Kombinacja przedziałów wartości umożliwia budowę klasyfikatora ASONN

(31)

ASONN – Associative Self-Optimizing Neural Network Określając najbardziej dyskryminatywne kombinacje przedziałów i podzbiorów

wartości dla poszczególnych atrybutów można uprościć strukturę grafu:

(32)

Asocjacyjne sortowanie ASSORT

 Umożliwia wykorzystanie receptorów i neuronów do sortowania rekordów równocześnie względem wszystkich atrybutów odzwierciedlając podobieństwo danych i następstwo rekordów.

 W przypadku równoległej realizacji dodanie nowego rekordu zachodzi w czasie stałym O(1), a sortowanie wszystkich rekordów względem wszystkich atrybutów równocześnie w czasie liniowym O(n).

 Ze względu na konstrukcję współczesnych komputerów trudno go zrealizować, aczkolwiek można to zrobić na odpowiednich kartach graficznych GPU.

 Sortowanie to proces porządkowania rekordów (np. R1, …, R9) względem wybranego klucza lub kluczy (np. A1 lub A2).

 Wartości poszczególnych atrybutów, jak również całe rekordy mogą się powtarzać w sortowanym zbiorze.

(33)

Opis przebiegu działania sortowania ASSORT

1. Sztuczny system skojarzeniowy AAS podaje równocześnie na wszystkie wejścia (SENSIN:Ak) wartości danych definiujące wybrany rekord z tabeli, np.

sortowany rekord R1 określony jest przez dwie wartości A1=2 i A2=3.

2. Wejścia sensoryczne SENSIN:Ak przekazują otrzymane wartości do wszystkich istniejących i powiązanych z nimi neuronów receptorycznych (VN), które

przekształcają otrzymane wartości na pewien stopień swojego pobudzenia.

3. Neurony receptoryczne VN nie muszą osiągnąć progu aktywacji, a więc

przekazują swoje pobudzenie do powiązanych z nimi neuronów SN oraz innych neuronów receptorycznych VN pobudzając je odpowiednio do wagi łączącego je

2 3

ADEF

1

ASIM

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

(34)

Opis przebiegu działania sortowania ASSORT

5. Dla ułatwienia każde wejście sensoryczne SENSIN:Ak przechowuje wielkość zakresu reprezentowanego przedziału swojej wrażliwości:

6. Neurony receptoryczne ekstremów wyznaczają swoje wartości wyjściowe wg:

gdzie x oznacza wartość przekazaną przez SENSINa, a v_MIN i v_MAX wartości ekstremalne reprezentowane przez neurony receptoryczne MIN i MAX.

7. Neurony receptoryczne reprezentujące porządkowalne wartości v łączą się w obrębie ich SENSINów, a waga ich połączenia odwzorowuje ich podobieństwo:

ADEF ASIM ASIM ADEF

SENSIN : A1

ASIM

ASIM ASIM ASIM

MIN MAX

SENSIN : A2

(6.7)

(6.5) (6.3)

(6.1)

(35)

Opis przebiegu działania sortowania ASSORT

9. Proces plastyczności połączeniowej uruchamiany jest w VNach wtedy, gdy określony VN zostanie mocniej pobudzony przez SENSINa niż za

pośrednictwem połączenia od wcześniej aktywowanego sąsiedniego VNa:

A ^w^A,X

ADEF 1 ASIM

MIN ^ADEF ^ADEF MAX

SENSIN:^Ak

B ^ASIM

ASIM ^ASIM C ^ADEF ¹

X ^w^B,C

A ^w^A,B

ADEF 1 ASIM

AANG

MIN ^ADEF ^ADEF MAX

SENSIN:Ak B ^ASIM

ASIM ^ASIM C ^ADEF ¹

X

wB,C

DX,A

DX,B

DX,C

DA,B DB,C

wX,B

ASIM ASIM

(6.8) (6.9)

(6.10)

(36)

Opis przebiegu działania sortowania ASSORT

13. Kolejne VNy połączone z wcześniej aktywowanymi VNami zostaną aktywowane w czasie określonym następująco:

gdzie

v₁ i v₂ to wartości reprezentowane przez sąsiednie neurony receptoryczne VN, x oznacza wartość przekazaną przez SENSINa,

R oznacza przedział zmienności danego SENSINa.

14. VNy „potrzebują” przekazać swój stan aktywacji neuronom w taki sposób, żeby je aktywować samodzielnie lub wespół z innymi elementami AASów. Jeśli więc żaden neuron SN nie odpowiada aktywacją na aktywację VNa, inicjuje on proces swojej plastyczności połączeniowej z SNami, a jeśli nie ma żadnego SNa z

aktywnym procesem plastyczności połączeniowej z VNami, wtedy zachodzi (6.14)

(37)

Opis przebiegu działania sortowania ASSORT

16. Ponadto SNy również łączą się wzajemnie w zależności od upływu czasu pomiędzy ich aktywacjami oraz w zależności od ilości połączeń wyjściowych:

(6.18) (6.17)

WACON 2 ACON 2

WACON 3 ACON 3

WACON k ACON k

WACON k-1

ACON k-1

t

^{= k – 1}

t

^{= k}

t

⁼³

t

^{= 2}

t

^{= 1}

(6.19)

(38)

Stopniowa relaksacja neuronów i kontekst aktywacji

Dzięki stopniowej relaksacji neuronów (powrotowi do stanu spoczynku) możliwe jest wykorzystanie kontekstu poprzednich aktywacji:

ASEQ -k+1 ASEQ -k+1 ASEQ 2 ASEQ 1 ACON 1 = ASEQ 0

WACON 2 ACON 2

W_{ASEQ 0} W_{ASEQ 1}

W_{ASEQ 2} WASEQ -k+1

WACON 3 ACON 3

WACON k ACON k

WACON k-1 ACON k-1

SN -k+1

SN -k WASEQ -k+1 SN 3 SN 2 SN 1 SN 0

t

^{= k – 1}

t

^{= k}

t

^{= 3}

t

^{= 2}

t

^{= 1}

(6.23)

(39)

Ewolucja modeli stosowanych neuronów

 W trakcie prowadzonych badań stosowany model neuronów

ewoluował, uwzględniając kolejne cechy neuronów biologicznych.

 W ASSORT nie stosuje się refrakcji

neuronów.

 W ASONN nie korzysta się ani z relaksacji

ani z refrakcji tylko z asocjacyjnej struktury AGDS.

 W ANAKG korzysta się relaksacji i refrakcji, aczkolwiek symulacja czasu

jest dyskretna i krokowa, więc stosowany dyskretny asocjacyjny model

neuronów

posiada pewne ograniczenia, ale mimo nich udało się

osiągnąć możliwość konsolidacji informacji i formowania wiedzy.

 Asocjacyjny model neuronów (as-neuron) będzie można w pełni

wykorzystać dopiero w równoległym środowisku symulacyjnym

dyskretyzującym czas symulacji i układającym w czasie poszczególne

(40)

AGDS

asocjacyjna grafowa struktura danych

(41)

(42)

AGDS - asocjacyjna grafowa struktura danych

(43)

Struktura AGDS i AANG dla całego zbioru Irys z ML Repository

(44)

KORELACJE UTRUDNIAJĄCE DYSKRYMINACJĘ

(45)

KORELACJE POMIĘDZY KLASAMI (3 z 1. i 2.)

(46)

INFORMACYJNA SIŁA ASOCJACYJNYCH POŁĄCZEŃ

(47)

Określenie dyskryminatywnych kombinacji przedziałów lub podzbiorów wartości dla poszczególnych atrybutów oraz dyskryminowanych klas

(48)

Struktura połączeń

i finalny klasyfikator

(49)

ASOCJACYJNY KLASYFIKATOR ASONN dla zbioru Irysów

AANG

(50)

WAGI ZALEŻNE OD ILOŚCI KORELACJI Z NEURONAMI KLAS

(51)

ASONN dodawanie VNów i SNów do kombinacji i redukcja wymiaru:

(52)

Zbieżność klasyfikatora ASONN

 Klasyfikator ASONN budowany jest na podstawie szybkiej analizy podobieństw wzorców uczących i wyznaczania

dyskryminatywnych kombinacji.

 Nie mamy tutaj więc do czynienia z żadną funkcją błędu, którą moglibyśmy minimalizować.

 Metoda budowy klasyfikatora ASONN znajduje jeden z możliwych zbiorów takich dyskryminujących wszystkie niesprzeczne wzorce uczące kombinacji.

 Można sterować preferencjami odnośnie wyboru atrybutów, co wpływa na dobór tych kombinacji.

 Dzięki temu, że metoda dąży do reprezentacji wszystkich

(53)

PORÓWNANIE WYNIKÓW KLASYFIKACJI ASONN

(54)

PORÓWNANIE WYNIKÓW KLASYFIKACJI ASONN

(55)

Opis przebiegu działania sortowania ASSORT

11. Funkcja pobudzenia neuronów receptorycznych VN określona jest poprzez następującą zależność:

gdzie

v to wartość reprezentowana przez neuron receptoryczny VN, x oznacza wartość przekazaną przez SENSINa,

R oznacza przedział zmienności danego SENSINa,

𝒕_𝒗 wyznacza czas pobudzania receptorycznego neuronu wartości VN wartością x a suma jest liczona po wszystkich połączonych VNach reprezentujących wartości, które są bardziej podobne do wartości x niż wartość v rozważanego VNa.

12. VNy są cały czas pobudzane przez wartość x aż do momentu osiągnięcia aktywacji lub zakończenia

(6.11)

(6.12)

(6.13)

(56)

ASOCJACYJNE GRAFY WIEDZY

 Są rodzajem emergentnych architektur

kognitywnych wykorzystujących as-neurony.

 Agregują sekwencje uczące (serie/ciągi/szeregi).

 Częstość powtórzeń wpływa na formowanie wiedzy.

 Umożliwiają odtwarzanie nauczonych sekwencji/serii/ciągów/szeregów.

 Mogą uogólniać sekwencje i być kreatywne.

(57)

Wyznaczanie wartości wag as-neuronów ANAKG

Brana jest pod uwagę aktywność as-neuronów i synaps od początku ich istnienia.

w ϵ (0; +1]

 ≤ 

Jeśliby wszystkie pobudzenia as-neuronu SN przez to połączenie powodowały zawsze od razu aktywację neuronu postsynaptycznego, wtedy waga będzie równa 1, w innych przypadkach będzie mniejsza.

Zliczana jest ilość skutecznych aktywacji neuronu postsynaptycznego

za pośrednictwem tego połączenia biorąc pod uwagę

upływ czasu między aktywacją

neuronu pre- i postsynaptycznego

asocjacyjna ścieżka aktywacji

(58)

Wyznaczanie wartości wag as-neuronów ANAKG

(59)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

E2:1

E1:1 E3:1

 = 1,00 | w = 1,00

 = 0,50 | w = 0,67

 = 1,00 | w = 1,00

S1

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

Horzyk, A., How Does Generalization and Creativity Come into Being in Neural Associative Systems and How Does It Form

(60)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

E2:2

E1:1 E3:1

E4:1 E6:1

E5:1

 = 0,33 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 0,50 | w = 0,67

 = 1,00 | w = 1,00

 = 0,50 | w = 0,67

 = 1,00 | w = 1,00

S2

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

(61)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

E2:3

E1:1 E3:1

E4:1 E6:1

E5:2

 = 1,00 | w = 0,50

 = 0,33 | w = 0,50

 = 0,50 | w = 0,40

 = 1,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 1,00

 = 0,50 | w = 0,67

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

S3

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

(62)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

E2:3

E1:1 E3:1

E4:1 E6:1

E5:2

 = 1,00 | w = 0,50

 = 0,33 | w = 0,50

 = 0,50 | w = 0,40

 = 1,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 1,00 | w = 1,00

 = 0,50 | w = 0,67

 = 0,50 | w = 0,40

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

S4

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

(63)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

E2:4

E1:1 E3:2

E4:2 E6:1

E5:2

 = 1,00 | w = 0,40

 = 0,33 | w = 0,29

 = 0,50 | w = 0,40

 = 1,00 | w = 0,40

 = 0,50 | w = 0,40

 = 2,00 | w = 0,67

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 1,50 | w = 0,86

 = 0,50 | w = 0,40

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

S5

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

(64)

WYWOŁANIE CIĄGU SKOJARZEŃ W ANAKG

E2:4

E1:1 E3:2

E4:2 E6:1

E5:2

 = 1,00 | w = 0,40

 = 0,33 | w = 0,29

 = 0,50 | w = 0,40

 = 1,00 | w = 0,40

 = 0,50 | w = 0,40

 = 2,00 | w = 0,67

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 1,50 | w = 0,86

 = 0,50 | w = 0,40

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

S4 S5 S3 1x

1x 1x

S2 1x

S1 1x

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

1x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

1x

E4 E2

S5 E3

1x

(65)

KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

E2:9

E1:1 E3:3

E4:7 E6:5

E5:6

 = 1,00 | w = 0,20

 = 1,67 | w = 0,38

 = 2,50 | w = 0,53

 = 5,00 | w = 0,71

 = 1,00 | w = 0,25

 = 3,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,29

 = 5,00 | w = 0,83

 = 4,50 | w = 0,78

 = 1,50 | w = 0,55

 = 6,00 | w = 1,00

 = 1,00 | w = 1,00

S4 S5 S2 4x

2x 1x

(66)

WYWOŁANIE CIĄGU SKOJARZEŃ W ANAKG

E2:9

E1:1 E3:3

E4:7 E6:5

E5:6

 = 1,00 | w = 0,20

 = 1,67 | w = 0,38

 = 2,50 | w = 0,53

 = 5,00 | w = 0,71

 = 1,00 | w = 0,25

 = 3,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,29

 = 5,00 | w = 0,83

 = 4,50 | w = 0,78

 = 1,50 | w = 0,55

 = 6,00 | w = 1,00

 = 1,00 | w = 1,00

S4 S5 S3 1x

3x 2x

S2 5x

S1 1x

SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

(67)

PORÓWNANIE ODPOWIEDZI DLA RÓŻNYCH ILOŚCI POWTÓRZEŃ

E2:9

E1:1 E3:3

E4:7  = 1,67 | w = 0,38 E6:5

 = 5,00 | w = 0,71

 = 1,00 | w = 0,25

 = 3,00 | w = 0,50

 = 0,50 | w = 0,67

 = 4,50 | w = 0,78

 = 1,50 | w = 0,55

 = 6,00 | w = 1,00

 = 1,00 | w = 1,00

S4 S5 S3 1x

3x 2x

S2 5x

S1 1x

ANAKG

E2:4

E1:1 E3:2

E4:2 E6:1

E5:2

E8:2 E7:2

E9:1

 = 0,50 | w = 0,40

 = 0,83 | w = 0,59

 = 1,00 | w = 1,00

 = 1,00 | w = 0,40

 = 0,33 | w = 0,29

 = 0,50 | w = 0,40

 = 1,00 | w = 0,40

 = 0,50 | w = 0,40

 = 2,00 | w = 0,67

 = 0,50 | w = 0,67

 = 1,00 | w = 0,67

 = 1,50 | w = 0,86

 = 0,50 | w = 0,40

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

(F)

S4 S5 S3 1x

1x 1x

S2 1x

S1 1x

(68)

NEURON E4 i jego połączenia z E3 i E6 sterują wyborem

ANAKG

E2:9

E1:1 E3:3

E4:7 E6:5

E5:6

E8:4 E7:4

E9:3

 = 0,50 | w = 0,15

 = 2,83 | w = 0,63

 = 3,00 | w = 1,00

 = 1,00 | w = 0,20

 = 1,67 | w = 0,38

 = 2,50 | w = 0,53

 = 5,00 | w = 0,71

 = 1,00 | w = 0,25

 = 3,00 | w = 0,50

 = 0,50 | w = 0,67

 = 1,00 | w = 0,29

 = 3,00 | w = 0,86

 = 5,00 | w = 0,83

 = 4,50 | w = 0,78

 = 1,50 | w = 0,55

 = 6,00 | w = 1,00

 = 1,00 | w = 1,00

(H)

E2:4

E1:1 E3:2

E4:2  = 0,33 | w = 0,29 E6:1

 = 0,50 | w = 0,40

 = 1,00 | w = 0,40

 = 0,50 | w = 0,40

 = 2,00 | w = 0,67

 = 0,50 | w = 0,67

 = 1,50 | w = 0,86

 = 0,50 | w = 0,40

 = 2,00 | w = 1,00

 = 1,00 | w = 1,00

S4 S5

S3 1x

3x 2x

S2 5x

S1 1x

S4 S5

S3 1x

1x 1x

S2 1x

S1 1x

(69)

KONKLUZJE DOTYCZĄCE WIEDZY

 Możliwe modelowanie i reprezentacja wiedzy w sztucznych systemach skojarzeniowych.

 Wykorzystanie plastycznych mechanizmów neuronowych.

 Wykorzystanie wzorców i sekwencji uczących.

 Umożliwienie wywoływania sztucznych skojarzeń.

 Wykorzystanie kontekstu wcześniejszych pobudzeń

i aktywacji neuronów w trakcie wywoływania skojarzeń i ewaluacji wiedzy.

 Możliwość uogólniania na poziomie reprezentacji

(70)

SYSTEMY

 Bezpieczne przechowywanie danych

 Szybko wykonywane operacje arytmetyczno-logiczne

 Planowane i przewidywalne działanie poprawnie zbudowanych programów

 Mogą dostarczać optymalnych rozwiązań zależnych od algorytmów

 Wymuszają przeszukiwanie pamięci w pętlach obliczeniowych, w celu

wykonania operacji na danych

 Wykorzystują sekwencyjne, pasywne pamięci komputerowe

 Szybko reaktywne na znane kombinacje bodźców

 Automatyczna agregacja podobnych danych

 Eliminacja duplikatów

 Automatyczna konsolidacja sekwencji (serii)

 Automatyczna reprezentacja grup podobnych kombinacji danych i reprezentacja ich klas

 Uogólnianie na skutek podobieństwa, agregacji, konsolidacji i połączeń kontekstowych

 Kreatywność na skutek konsolidacji sekwencji danych i ich wywoływania w nowych kontekstach

 Dostarczanie suboptymalnych rozwiązań na bazie uogólnień wcześniej uformowanej wiedzy

KLASYCZNE

SYSTEMY KOMPUTEROWE SKOJARZENIOWE

SYSTEMY NEURONOWE

(71)

Co to znaczy kojarzyć i wywoływać skojarzenia?

Kojarzyć oznacza na poziomie systemów skojarzeniowych:

 Konsolidować ze sobą reprezentacje (obiektów, faktów, reguł) poprzez

tworzenie specjalnych połączeń, które odwzorowują różne relacje pomiędzy nimi, np. podobieństwo i następstwo lub je definiują.

W zależności od rodzaju i możliwości systemu skojarzeniowego reprezentacje mogą być tworzone z różną dokładnością.

 Agregować reprezentacje obiektów podobnych poprzez usuwanie duplikatów w reprezentacji lub nie dopuszczanie do ich powstawania, gdyż w odwrotnym przypadku wpływałoby to na obniżenie jakości i rozległości wywoływanych skojarzeń. Możliwe jest jednak tworzenie reprezentacji, które grupują

(obiekty, fakty, reguły) w różny sposób.

Wywoływać skojarzenia oznacza:

 Aktywować reprezentacje klas obiektów, faktów, reguł, działań lub ich

(72)

2x actively 1x aggregates 1x a

1x basis

1x be

1x being

1x associative

1x consolidates 1x can

1x comes

1x for 1x fundamental

5x facts 1x intelligence

1x into

2x is

1x in

1x not 7x knowledge

1x objects

3x of 2x on

1x reacts 1x representation 1x set

2x represented 3x the

2x various

=2,00 w=0,44

=1,00 w=0,67

=1,00 w=1,00

=3,00 w=0,75

=2,00 w=0,80

=1,00 w=1,00

=1,00 w=0,67

=1,00 w=1,00

=1,00 w=0,50

=2,00 w=1,00

=1,00 w=1,00

=1,00 w=0,25

=1,00 w=1,00

=1,00 w=0,25

=2,00 w=1,00

=1,00 w=0,25

=1,00 w=0,67

=1,00 w=1,00

=1,00 w=0,50

=1,00 w=0,67

=1,00 w=1,00

=1,00 w=0,40

=0,33 w=0,40

=0,50 w=0,40

=1,00 w=0,50

=0,50 w=0,67

=1,00 w=0,25

=1,00 w=1,00

=1,00 w=0,67

=0,50 w=0,67

=0,50 w=0,40

=0,50 w=0,13

=1,00 w=1,00

=0,50 w=0,67

=1,00 w=0,50

=1,00 w=1,00

=1,00 w=0,25

=1,00 w=1,00

=1,00 w=0,50

=0,33

=0,50 w=0,13

=0,50 w=0,67

7x START _w=1,00^=7,00

=7,00 w=1,00

=0,33 w=-0,5

=0,33 w=0,50

(73)

Reakcja na pytanie: „What is knowledge?”

(74)

PODSUMOWANIE

1. Asocjacyjny model neuronu, receptorów, przestrzeni międzyneuronalnej.

2. Reprezentacja neuronalnaobiektów i klas obiektów stosując kombinacje danych.

3. Neuronowy mechanizm rywalizacji kooperatywnej pozwalający na reprezentację przestrzeni danych wejściowych.

4. Nowa klasa neuronowych sztucznych systemów skojarzeniowych AAS.

5. Mechanizmy plastyczne i ich zamodelowanie w AASach.

6. Algorytm sortowania skojarzeniowego ASSORT działający na neuronach.

7. Asocjacyjny klasyfikator ASONN z metodą jego konstrukcji.

8. Aktywny neuronowy asocjacyjne grafy wiedzy ANAKG oraz LANAKG.

9. Mechanizmy skojarzeniowej reprezentacji danych, ich kombinacji i sekwencji.

10. Mechanizmy agregacji danychuczących i konsolidacji sekwencji uczących.

11. Formuły matematyczne do wyznaczania wag asocjacyjnych połączeń.

12. Funkcje relaksacji i refrakcji dla asocjacyjnych neuronów.

13. Metody tworzenia i adaptacji (uczenia): AAS, AANG, ASONN, ANAKG, LANAKG.

14. Mechanizmy formowania wiedzy w ANAKG, LANAKG, AANG i AAS.

(75)

MOŻLIWE ZASTOSOWANIA

1. Klasyfikacja i multiklasyfikacja.

2. Automatyczne grupowanie (klasteryzacja).

3. Sortowanie, agregacja i kompresja.

4. Szybkie wyszukiwanie danych i ich eksploracja.

5. Konsolidacja informacji i reprezentacja wiedzy.

6. Semi-automatyczna kontekstowa korekta tekstów.

7. Automatyzacja tłumaczenia.

8. Budowa chatbotów korzystających z wiedzy.

9. Budowa emergentnych architektur kongitywnych.

(76)

DZIĘKUJĘ

1. Horzyk, A., How Does Generalization and Creativity Come into Being in Neural Associative Systems and How Does It Form Human-Like

Knowledge?, Neurocomputing, 2014, IF = 1,634.

2. Horzyk, A., Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural Associative Systems, Springer, AISC 11156, 2014.

3. Horzyk, A., Sztuczne systemy skojarzeniowe i asocjacyjna sztuczna inteligencja, EXIT, Warszawa, 2013.

4. Tadeusiewicz, R., Horzyk, A., Man-Machine Interaction Improvement by Means of Automatic Human Personality Identification, Gerhard Goos, Juris Hartmanis, and Jan van Leeuwen (Eds.), Springer, LNCS 8104, 2013.

5. Horzyk, A., Gadamer, M., Associative Text Representation and Correction, Springer Verlag Berlin Heidelberg,

LNAI 7894, 2013, pp. 76-87.

6. Horzyk, A., Information Freedom and Associative Artificial Intelligence, Springer Verlag Berlin Heidelberg, LNAI 7267, 2012, pp. 81-89.

7. Horzyk, A., Self-Optimizing Neural Network 3, L. Franco, D. Elizondo, J.M.

horzyk@agh.edu.pl