Wprowadzenie do
metod sztucznej inteligencji oraz inżynierii wiedzy
AGH Akademia Górniczo-Hutnicza
Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej
Adrian Horzyk
horzyk@agh.edu.pl
MÓZG
Plastyczny
Błyskawiczne reakcje
Posiada mechanizmy aktywnej reprezentacji wiedzy
Dostosowuje sposób swojego działania
Umożliwia uczenie się i myślenie
NEURONY BIOLOGICZNE I SZTUCZNE
Neurony nie tylko sumują ważone sygnały wejściowe.
Podlegają procesom relaksacji i refrakcji w czasie.
Neurony posiadają progi aktywacji i swoją wrażliwość.
WIELKOŚĆ I PLASTYCZNOŚĆ NEURONÓW
Neurony biologiczne różnią się:
wielkością i pojemnością,
wrażliwością i reaktywnością,
reprezentowanymi zbiorami kombinacji bodźców (danych),
połączeniami
i innymi cechami…
Szybkie i wybiórcze przekazywanie informacji
Adaptatywne reagowanie na nadchodzące sygnały
Zróżnicowanie reprezentowanych kombinacji
POŁĄCZENIA I SYNAPSY
STAN NEURONU
Zmienia się z upływem czasu
pod wpływem wewnętrznych procesów, a nie tylko na skutek
zewnętrznych oddziaływań.
Informatyczne modele neuronów Pierwsze modele neuronów:
Model McCullocha-Pittsa (1943 r.) odzwierciedla tylko proste sumowanie statycznie ważonych sygnałów wejściowych x1,…,xn, jakie do niego docierają, próg aktywacji w0 oraz pewną funkcję aktywacji f zależną od wartości sumy ważonej sygnałów wejściowych i wartości progu:
Mimo dużej prostoty, model ten znalazł ogromną ilość zastosowań w bardzo wielu współcześnie stosowanych metodach inteligencji obliczeniowej, pokazując swoją uniwersalność i możliwość jego zastosowania w różnych zadaniach aproksymacji, regresji, klasyfikacji, pamięciach skojarzeniowych i wielu innych.
Modele neuronu z ciągłymi funkcjami aktywacji
Druga generacja neuronów wywodzących się modelu McCullocha-Pittsa stosuje ciągłe funkcje aktywacji z zakresu [0;1] lub [-1;1], wykorzystując najczęściej sigmoidalne lub radialne funkcje aktywacji. Istnieją neurony sigmoidalne, neurony oparte o funkcję tangens hiperboliczny lub neuronami radialnymi, np. neuron Gaussowski, neuron Hardy’ego, neuron wielomianowy. Są one stosowane obecnie najpowszechniej w różnego rodzaju modelach sztucznych sieci neuronowych:
Działanie prostego neuronu o funkcji ciągłej
Działanie sieci neuronowej jest wypadkową działania poszczególnych neuronów oraz zachodzących pomiędzy nimi interakcji. Pojedynczy neuron w typowych przypadkach realizuje (z matematycznego punktu widzenia) operację iloczynu skalarnego wektora sygnałów wejściowych oraz wektora wag. W efekcie odpowiedź neuronu zależy od wzajemnych stosunków geometrycznych pomiędzy wektorami sygnałów i wektorami wag.
Sztuczne sieci neuronowe
Sztuczne sieci neuronowe są pewnymi bardzo uproszczonymi modelami rzeczywistych sieci (grafów) neuronowych funkcjonujących np. w ludzkim mózgu.
Uczenie sztucznych sieci neuronowych
Do najbardziej znanych i powszechnie wykorzystywanych metod uczenia sieci neuronowych należą:
Reguła Hebba polegająca na wzmacnianiu tych połączeń synaptycznych (A~B), w których aktywność jednego neuronu A powoduje aktywność drugiego połączonego z nim neuronu B. Odpowiada to empirycznym badaniom nad LTP (long term potentiation).
Metoda wstecznej propagacji błędów (back propagation) umożliwiająca uczenie sieci wielowarstwowych poprzez propagację różnicy pomiędzy pożądanym a otrzymanym sygnałem na wyjściu sieci.
Samoorganizacja w sieci neuronowej (np. SOM) umożliwiają uczenie sieci bez nauczyciela (unsupervised), którego celem jest wykształcenie w sieci neuronów, które by reagowały na pewne powtarzające się kombinacje bodźców z przestrzeni danych, którym można później przypisać pewne znaczenie. W tych sieciach wzmacniany jest neuron, który osiąga największą wartość pobudzenia oraz ew.
również otaczające go neurony, co zapewnia sytuowanie podobnych kombinacji bodźców blisko siebie.
Sieci rekurencyjne (np. sieci Hoppfielda), których bodźce krążą przez pewien
Obecne zastosowania i rynek sztucznych sieci neuronowych Sieci neuronowe obecnie stosowane są do:
Klasyfikacji (obrazów, mowy, procesów,…) Regresji (funkcji matematycznych,…)
Rozpoznawania (obiektów, ludzi, gestów, pisma…) Identyfikacji (obiektów, ludzi, gestów, pisma…)
Przewidywania i prognozowania (np. szeregów czasowych, kursów walut,…) Sterowania i optymalizacji (np. różnych urządzeń ze sprzężeniem zwrotnym, …) Analizy i grupowania (np. w marketingu, sprzedaży, produkcji,…)
Analizy ryzyka i opłacalności (np. kredytów i pożyczek bankowych,…)
Doboru (np. surowców, składników, dla których nie jest znana technologia)
… i wielu innych zagadnień, gdzie nie znamy algorytmu lub jego założenia są rozmyte albo złożoność obliczeniowa klasycznych rozwiązań zbyt duża.
ASOCJACYJNY MODEL NEURONÓW - AS-NEURON
Działa w czasie
Uwzględnia relaksację i refrakcję
Temporalnie utrzymuje kontekst
Optymalizuje swoją aktywność
Warunkowo wywołuje zmiany plastyczne
Może równocześnie reprezentować wiele podobnych i różnych kombinacji
AKTYWNA I PASYWNA REPREZENTACJA DANYCH
Pamięci komputerowe przechowują dane:
PASYWNASTRUKTURA DANYCH WYMAGAJĄCA ALGORYTMÓW
ASOCJACYJNA STRUKTURA AKTYWNIEREPREZENTUJĄCA DANE I ICH ZWIĄZKI DZIĘKI NEURONOWYM REAKTYWNYM MECHANIZMOM ICH REPREZENTACJI
Systemy skojarzeniowe
reprezentują dane:
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3 R7
MIN MAX
SENSIN : A1
AANG
A2 A1
( A )
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3 R7
2
N1
ADEF
ADEF
ADEF
MIN
ADEFMAX
SENSIN : A1
AANG
2 3 R1
( B )
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3 R7
2
N2 N1
ADEF
ASEQ ADEF
ADEF
ADEF
ADEF
MIN
ADEFMAX
SENSIN : A1
ASIM
8
AANG
8 1 R2
( C )
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3 R7
2 3
N2
N1 N3
ADEF ASIM
ASEQ ASEQ
ADEF
ADEF
ADEF
ADEF
ADEF
ADEF
MIN
ADEFMAX
SENSIN : A1
ASIM
8
AANG
3 9 R3
( D )
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3 R7
2 3
1
N2
N1 N3 N4
ADEF ASIM
ASEQ ASEQ ASEQ
ADEF
ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ADEF
MIN
ASIM ADEFMAX
SENSIN : A1
ASIM
8
AANG
1 3 R4
( E )
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3 R7
2 3
1
N2
N1 N3 N4
ADEF ASIM
ASEQ ASEQ ASEQ
ADEF
ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ADEF
MIN
ASIM ADEFMAX
SENSIN : A1 4
ASIMASIM
8
ASEQ
N5
ADEF
ADEF
AANG
4 8 R5
( F )
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3 R7
2 3
1
N2
N1 N3 N4
ADEF ASIM
ASEQ ASEQ ASEQ
ADEF
ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ADEF
MIN
ASIM ADEFMAX
SENSIN : A1 4
ASIMASIM
8
N6 N5
ASEQASEQ ADEF
ADEF ADEF
AANG
ADEF4 5 R6
( G )
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3 R7
2 3
1
N2
N1 N3 N4
ADEF ASIM
ASEQ ASEQ ASEQ
ADEF
ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ADEF
MIN
ASIM ADEFMAX
SENSIN : A1 4
ASIMASIM
8
N6 N5
ASEQASEQ ASEQ
ADEF
ADEF ADEF
AANG
ADEF1 3 R7
( H )
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3 R7
2 3
1
N2
N1 N3 N4
ADEF ASIM
ASEQ ASEQ ASEQ
ADEF
ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ADEF
MIN
ASIM ADEFMAX
SENSIN : A1 4
ASIMASIM
8
ASIM9
N6
N5
ASEQN8
ASEQ
ASEQ ASEQ
ADEF
ADEF ADEF
ADEF
ADEF
ADEF
ACON
AANG
9 1 R8
( I )
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3 R7
AANG
2 3
1
N2
N1 N3 N4
ADEF ASIM
ASEQ ASEQ ASEQ
ADEF
ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ADEF
MIN
ASIM ADEFMAX
SENSIN : A1 4
ASIM6
ASIM ASIM
8
ASIM9
N6
N5
ASEQN8 N9
ASEQ
ASEQ
ASEQ ASEQ
ADEF
ADEF ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ACON
6 8 R9
( J )
Transformacja tabeli na neuronową strukturę asocjacyjną
A2 8 1 A1
2 3 3 9 1 3 R2
R1 R3
R4 ASSORT
TABELA
4 5 4 8
9 1 R6
R5
R8
1 3
R7 ...
2 3
1
N2
N1 N3 N4
ADEF ASIM
ASEQ ASEQ ASEQ
ADEF
ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ADEF
AANG
MIN
ASIM ADEFMAX
SENSIN : A1 4
ASIM6
ASIM ASIM
8
ASIM9
N6
N5
ASEQN8 N9
ASEQ
ASEQ
ASEQ ASEQ
ACON
ACON
ADEF
ADEF ADEF
ADEF
ADEF
ADEF
ADEF ADEF
2 3 R1
( K )
Pobudzenie receptorów za pośrednictwem pól sensorycznych
2 3
1
N2
N1 N3 N4
ADEF ASIM
ASEQ ASEQ ASEQ
ADEF
ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ADEF
AANG
MIN
ASIM ADEFMAX
SENSIN : A1 4
ASIM6
ASIM ASIM
8
ASIM9
N6
N5
ASEQN8 N9
ASEQ
ASEQ
ASEQ ASEQ
ACON
ACON
ADEF
ADEF ADEF
ADEF
ADEF
ADEF
ADEF ADEF
4 3 ZEWNĘTRZNE
POBUDZANIE
WEJŚĆ
SENSORYCZNYCH
Pobudzenie neuronu dla wyznaczenia podobieństw lub następstwa
2 3
1
N2
N1 N3 N4
ADEF ASIM
ASEQ ASEQ ASEQ
ADEF
ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ADEF
AANG
MIN
ASIM ADEFMAX
SENSIN : A1 4
ASIM6
ASIM ASIM
8
ASIM9
N6
N5
ASEQN8 N9
ASEQ
ASEQ
ASEQ ASEQ
ACON
ACON
ADEF
ADEF ADEF
ADEF
ADEF
ADEF
ADEF ADEF
ZEWNĘTRZNE POBUDZANIE
NEURONU
Dla wybranego zbioru danych i zadania klasyfikacji
można poszukać podobieństw umożliwiających określenie ich dyskryminatywnych grup
AANG – Aktywny Asocjacyjny Graf Neuronowy dla zbioru Iris
Kombinacja przedziałów wartości umożliwia budowę klasyfikatora ASONN
ASONN – Associative Self-Optimizing Neural Network Określając najbardziej dyskryminatywne kombinacje przedziałów i podzbiorów
wartości dla poszczególnych atrybutów można uprościć strukturę grafu:
Asocjacyjne sortowanie ASSORT
Umożliwia wykorzystanie receptorów i neuronów do sortowania rekordów równocześnie względem wszystkich atrybutów odzwierciedlając podobieństwo danych i następstwo rekordów.
W przypadku równoległej realizacji dodanie nowego rekordu zachodzi w czasie stałym O(1), a sortowanie wszystkich rekordów względem wszystkich atrybutów równocześnie w czasie liniowym O(n).
Ze względu na konstrukcję współczesnych komputerów trudno go zrealizować, aczkolwiek można to zrobić na odpowiednich kartach graficznych GPU.
Sortowanie to proces porządkowania rekordów (np. R1, …, R9) względem wybranego klucza lub kluczy (np. A1 lub A2).
Wartości poszczególnych atrybutów, jak również całe rekordy mogą się powtarzać w sortowanym zbiorze.
Opis przebiegu działania sortowania ASSORT
1. Sztuczny system skojarzeniowy AAS podaje równocześnie na wszystkie wejścia (SENSIN:Ak) wartości danych definiujące wybrany rekord z tabeli, np.
sortowany rekord R1 określony jest przez dwie wartości A1=2 i A2=3.
2. Wejścia sensoryczne SENSIN:Ak przekazują otrzymane wartości do wszystkich istniejących i powiązanych z nimi neuronów receptorycznych (VN), które
przekształcają otrzymane wartości na pewien stopień swojego pobudzenia.
3. Neurony receptoryczne VN nie muszą osiągnąć progu aktywacji, a więc
przekazują swoje pobudzenie do powiązanych z nimi neuronów SN oraz innych neuronów receptorycznych VN pobudzając je odpowiednio do wagi łączącego je
2 3
ADEF
1
ASIMMIN
ASIM ADEFMAX
SENSIN : A1 4
ASIM6
ASIM ASIM
8
ASIM9
Opis przebiegu działania sortowania ASSORT
5. Dla ułatwienia każde wejście sensoryczne SENSIN:Ak przechowuje wielkość zakresu reprezentowanego przedziału swojej wrażliwości:
6. Neurony receptoryczne ekstremów wyznaczają swoje wartości wyjściowe wg:
gdzie x oznacza wartość przekazaną przez SENSINa, a vMIN i vMAX wartości ekstremalne reprezentowane przez neurony receptoryczne MIN i MAX.
7. Neurony receptoryczne reprezentujące porządkowalne wartości v łączą się w obrębie ich SENSINów, a waga ich połączenia odwzorowuje ich podobieństwo:
ADEF ASIM ASIM ADEF
SENSIN : A1
ASIM
ASIM ASIM ASIM
MIN MAX
SENSIN : A2
(6.7)
(6.5) (6.3)
(6.1)
Opis przebiegu działania sortowania ASSORT
9. Proces plastyczności połączeniowej uruchamiany jest w VNach wtedy, gdy określony VN zostanie mocniej pobudzony przez SENSINa niż za
pośrednictwem połączenia od wcześniej aktywowanego sąsiedniego VNa:
A wA,X
ADEF 1 ASIM
MIN ADEF ADEF MAX
SENSIN:Ak
B ASIM
ASIM ASIM C ADEF 1
X wB,C
A wA,B
ADEF 1 ASIM
AANG
MIN ADEF ADEF MAX
SENSIN:Ak B ASIM
ASIM ASIM C ADEF 1
X
wB,C
DX,A
DX,B
DX,C
DA,B DB,C
wX,B
ASIM ASIM
(6.8) (6.9)
(6.10)
Opis przebiegu działania sortowania ASSORT
13. Kolejne VNy połączone z wcześniej aktywowanymi VNami zostaną aktywowane w czasie określonym następująco:
gdzie
v1 i v2 to wartości reprezentowane przez sąsiednie neurony receptoryczne VN, x oznacza wartość przekazaną przez SENSINa,
R oznacza przedział zmienności danego SENSINa.
14. VNy „potrzebują” przekazać swój stan aktywacji neuronom w taki sposób, żeby je aktywować samodzielnie lub wespół z innymi elementami AASów. Jeśli więc żaden neuron SN nie odpowiada aktywacją na aktywację VNa, inicjuje on proces swojej plastyczności połączeniowej z SNami, a jeśli nie ma żadnego SNa z
aktywnym procesem plastyczności połączeniowej z VNami, wtedy zachodzi (6.14)
Opis przebiegu działania sortowania ASSORT
16. Ponadto SNy również łączą się wzajemnie w zależności od upływu czasu pomiędzy ich aktywacjami oraz w zależności od ilości połączeń wyjściowych:
(6.18) (6.17)
WACON 2 ACON 2
WACON 3 ACON 3
WACON k ACON k
WACON k-1
ACON k-1
t
= k – 1t
= kt
= 3t
= 2t
= 1(6.19)
Stopniowa relaksacja neuronów i kontekst aktywacji
Dzięki stopniowej relaksacji neuronów (powrotowi do stanu spoczynku) możliwe jest wykorzystanie kontekstu poprzednich aktywacji:
ASEQ -k+1 ASEQ -k+1 ASEQ 2 ASEQ 1 ACON 1 = ASEQ 0
WACON 2 ACON 2
WASEQ 0 WASEQ 1
WASEQ 2 WASEQ -k+1
WACON 3 ACON 3
WACON k ACON k
WACON k-1 ACON k-1
SN -k+1
SN -k WASEQ -k+1 SN 3 SN 2 SN 1 SN 0
t
= k – 1t
= kt
= 3t
= 2t
= 1(6.23)
Ewolucja modeli stosowanych neuronów
W trakcie prowadzonych badań stosowany model neuronów
ewoluował, uwzględniając kolejne cechy neuronów biologicznych.
W ASSORT nie stosuje się refrakcji
neuronów.
W ASONN nie korzysta się ani z relaksacji
ani z refrakcji tylko z asocjacyjnej struktury AGDS.
W ANAKG korzysta się relaksacji i refrakcji, aczkolwiek symulacja czasu
jest dyskretna i krokowa, więc stosowany dyskretny asocjacyjny model
neuronówposiada pewne ograniczenia, ale mimo nich udało się
osiągnąć możliwość konsolidacji informacji i formowania wiedzy.
Asocjacyjny model neuronów (as-neuron) będzie można w pełni
wykorzystać dopiero w równoległym środowisku symulacyjnym
dyskretyzującym czas symulacji i układającym w czasie poszczególne
AGDS
asocjacyjna grafowa struktura danychAGDS - asocjacyjna grafowa struktura danych
Struktura AGDS i AANG dla całego zbioru Irys z ML Repository
KORELACJE UTRUDNIAJĄCE DYSKRYMINACJĘ
KORELACJE POMIĘDZY KLASAMI (3 z 1. i 2.)
INFORMACYJNA SIŁA ASOCJACYJNYCH POŁĄCZEŃ
Określenie dyskryminatywnych kombinacji przedziałów lub podzbiorów wartości dla poszczególnych atrybutów oraz dyskryminowanych klas
Struktura połączeń
i finalny klasyfikator
ASOCJACYJNY KLASYFIKATOR ASONN dla zbioru Irysów
AANG
WAGI ZALEŻNE OD ILOŚCI KORELACJI Z NEURONAMI KLAS
ASONN dodawanie VNów i SNów do kombinacji i redukcja wymiaru:
Zbieżność klasyfikatora ASONN
Klasyfikator ASONN budowany jest na podstawie szybkiej analizy podobieństw wzorców uczących i wyznaczania
dyskryminatywnych kombinacji.
Nie mamy tutaj więc do czynienia z żadną funkcją błędu, którą moglibyśmy minimalizować.
Metoda budowy klasyfikatora ASONN znajduje jeden z możliwych zbiorów takich dyskryminujących wszystkie niesprzeczne wzorce uczące kombinacji.
Można sterować preferencjami odnośnie wyboru atrybutów, co wpływa na dobór tych kombinacji.
Dzięki temu, że metoda dąży do reprezentacji wszystkich
PORÓWNANIE WYNIKÓW KLASYFIKACJI ASONN
PORÓWNANIE WYNIKÓW KLASYFIKACJI ASONN
Opis przebiegu działania sortowania ASSORT
11. Funkcja pobudzenia neuronów receptorycznych VN określona jest poprzez następującą zależność:
gdzie
v to wartość reprezentowana przez neuron receptoryczny VN, x oznacza wartość przekazaną przez SENSINa,
R oznacza przedział zmienności danego SENSINa,
𝒕𝒗 wyznacza czas pobudzania receptorycznego neuronu wartości VN wartością x a suma jest liczona po wszystkich połączonych VNach reprezentujących wartości, które są bardziej podobne do wartości x niż wartość v rozważanego VNa.
12. VNy są cały czas pobudzane przez wartość x aż do momentu osiągnięcia aktywacji lub zakończenia
(6.11)
(6.12)
(6.13)
ASOCJACYJNE GRAFY WIEDZY
Są rodzajem emergentnych architektur
kognitywnych wykorzystujących as-neurony.
Agregują sekwencje uczące (serie/ciągi/szeregi).
Częstość powtórzeń wpływa na formowanie wiedzy.
Umożliwiają odtwarzanie nauczonych sekwencji/serii/ciągów/szeregów.
Mogą uogólniać sekwencje i być kreatywne.
Wyznaczanie wartości wag as-neuronów ANAKG
Brana jest pod uwagę aktywność as-neuronów i synaps od początku ich istnienia.
w ϵ (0; +1]
≤
Jeśliby wszystkie pobudzenia as-neuronu SN przez to połączenie powodowały zawsze od razu aktywację neuronu postsynaptycznego, wtedy waga będzie równa 1, w innych przypadkach będzie mniejsza.
Zliczana jest ilość skutecznych aktywacji neuronu postsynaptycznego
za pośrednictwem tego połączenia biorąc pod uwagę
upływ czasu między aktywacją
neuronu pre- i postsynaptycznego
asocjacyjna ścieżka aktywacji
Wyznaczanie wartości wag as-neuronów ANAKG
KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY
E2:1
E1:1 E3:1
= 1,00 | w = 1,00
= 0,50 | w = 0,67
= 1,00 | w = 1,00
S1
SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących
E1 E2
S1 E3
1x
E4 E5
S2 E2 E6
1x
E7 E5
S3 E2 E8
1x
E7 E9
S4 E8
1x
E4 E2
S5 E3
1x
Horzyk, A., How Does Generalization and Creativity Come into Being in Neural Associative Systems and How Does It Form
KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY
E2:2
E1:1 E3:1
E4:1 E6:1
E5:1
= 0,33 | w = 0,50
= 0,50 | w = 0,67
= 1,00 | w = 0,67
= 1,00 | w = 0,67
= 0,50 | w = 0,67
= 1,00 | w = 1,00
= 0,50 | w = 0,67
= 1,00 | w = 1,00
= 1,00 | w = 1,00
S2
SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących
E1 E2
S1 E3
1x
E4 E5
S2 E2 E6
1x
E7 E5
S3 E2 E8
1x
E7 E9
S4 E8
1x
E4 E2
S5 E3
1x
KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY
E2:3
E1:1 E3:1
E4:1 E6:1
E5:2
= 1,00 | w = 0,50
= 0,33 | w = 0,50
= 0,50 | w = 0,40
= 1,00 | w = 0,50
= 1,00 | w = 0,50
= 0,50 | w = 0,67
= 1,00 | w = 1,00
= 1,00 | w = 1,00
= 0,50 | w = 0,67
= 0,50 | w = 0,67
= 2,00 | w = 1,00
= 1,00 | w = 1,00
S3
SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących
E1 E2
S1 E3
1x
E4 E5
S2 E2 E6
1x
E7 E5
S3 E2 E8
1x
E7 E9
S4 E8
1x
E4 E2
S5 E3
1x
KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY
E2:3
E1:1 E3:1
E4:1 E6:1
E5:2
= 1,00 | w = 0,50
= 0,33 | w = 0,50
= 0,50 | w = 0,40
= 1,00 | w = 0,50
= 1,00 | w = 0,50
= 0,50 | w = 0,67
= 1,00 | w = 0,67
= 1,00 | w = 1,00
= 0,50 | w = 0,67
= 0,50 | w = 0,40
= 2,00 | w = 1,00
= 1,00 | w = 1,00
S4
SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących
E1 E2
S1 E3
1x
E4 E5
S2 E2 E6
1x
E7 E5
S3 E2 E8
1x
E7 E9
S4 E8
1x
E4 E2
S5 E3
1x
KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY
E2:4
E1:1 E3:2
E4:2 E6:1
E5:2
= 1,00 | w = 0,40
= 0,33 | w = 0,29
= 0,50 | w = 0,40
= 1,00 | w = 0,40
= 0,50 | w = 0,40
= 2,00 | w = 0,67
= 0,50 | w = 0,67
= 1,00 | w = 0,67
= 1,00 | w = 0,67
= 1,50 | w = 0,86
= 0,50 | w = 0,40
= 2,00 | w = 1,00
= 1,00 | w = 1,00
S5
SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących
E1 E2
S1 E3
1x
E4 E5
S2 E2 E6
1x
E7 E5
S3 E2 E8
1x
E7 E9
S4 E8
1x
E4 E2
S5 E3
1x
WYWOŁANIE CIĄGU SKOJARZEŃ W ANAKG
E2:4
E1:1 E3:2
E4:2 E6:1
E5:2
= 1,00 | w = 0,40
= 0,33 | w = 0,29
= 0,50 | w = 0,40
= 1,00 | w = 0,40
= 0,50 | w = 0,40
= 2,00 | w = 0,67
= 0,50 | w = 0,67
= 1,00 | w = 0,67
= 1,00 | w = 0,67
= 1,50 | w = 0,86
= 0,50 | w = 0,40
= 2,00 | w = 1,00
= 1,00 | w = 1,00
S4 S5 S3 1x
1x 1x
S2 1x
S1 1x
SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących
E1 E2
S1 E3
1x
E4 E5
S2 E2 E6
1x
E7 E5
S3 E2 E8
1x
E7 E9
S4 E8
1x
E4 E2
S5 E3
1x
KONSTRUKCJA ASOCJACYJNYCH GRAFÓW WIEDZY
SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących
E1 E2
S1 E3
1x
E4 E5
S2 E2 E6
5x
E7 E5
S3 E2 E8
1x
E7 E9
S4 E8
3x
E4 E2
S5 E3
2x
E2:9
E1:1 E3:3
E4:7 E6:5
E5:6
= 1,00 | w = 0,20
= 1,67 | w = 0,38
= 2,50 | w = 0,53
= 5,00 | w = 0,71
= 1,00 | w = 0,25
= 3,00 | w = 0,50
= 0,50 | w = 0,67
= 1,00 | w = 0,29
= 5,00 | w = 0,83
= 4,50 | w = 0,78
= 1,50 | w = 0,55
= 6,00 | w = 1,00
= 1,00 | w = 1,00
S4 S5 S2 4x
2x 1x
WYWOŁANIE CIĄGU SKOJARZEŃ W ANAKG
E2:9
E1:1 E3:3
E4:7 E6:5
E5:6
= 1,00 | w = 0,20
= 1,67 | w = 0,38
= 2,50 | w = 0,53
= 5,00 | w = 0,71
= 1,00 | w = 0,25
= 3,00 | w = 0,50
= 0,50 | w = 0,67
= 1,00 | w = 0,29
= 5,00 | w = 0,83
= 4,50 | w = 0,78
= 1,50 | w = 0,55
= 6,00 | w = 1,00
= 1,00 | w = 1,00
S4 S5 S3 1x
3x 2x
S2 5x
S1 1x
SEKWENCJE UCZĄCE S1-S5 i częstość ich powtórzeń w zbiorze sekwencji uczących
E1 E2
S1 E3
1x
E4 E5
S2 E2 E6
5x
E7 E5
S3 E2 E8
1x
E7 E9
S4 E8
3x
E4 E2
S5 E3
2x
PORÓWNANIE ODPOWIEDZI DLA RÓŻNYCH ILOŚCI POWTÓRZEŃ
E2:9
E1:1 E3:3
E4:7 = 1,67 | w = 0,38 E6:5
= 5,00 | w = 0,71
= 1,00 | w = 0,25
= 3,00 | w = 0,50
= 0,50 | w = 0,67
= 4,50 | w = 0,78
= 1,50 | w = 0,55
= 6,00 | w = 1,00
= 1,00 | w = 1,00
S4 S5 S3 1x
3x 2x
S2 5x
S1 1x
ANAKG
E2:4
E1:1 E3:2
E4:2 E6:1
E5:2
E8:2 E7:2
E9:1
= 0,50 | w = 0,40
= 0,83 | w = 0,59
= 1,00 | w = 1,00
= 1,00 | w = 0,40
= 0,33 | w = 0,29
= 0,50 | w = 0,40
= 1,00 | w = 0,40
= 0,50 | w = 0,40
= 2,00 | w = 0,67
= 0,50 | w = 0,67
= 1,00 | w = 0,67
= 1,00 | w = 0,67
= 1,00 | w = 0,67
= 1,50 | w = 0,86
= 0,50 | w = 0,40
= 2,00 | w = 1,00
= 1,00 | w = 1,00
(F)
S4 S5 S3 1x
1x 1x
S2 1x
S1 1x
NEURON E4 i jego połączenia z E3 i E6 sterują wyborem
ANAKG
E2:9
E1:1 E3:3
E4:7 E6:5
E5:6
E8:4 E7:4
E9:3
= 0,50 | w = 0,15
= 2,83 | w = 0,63
= 3,00 | w = 1,00
= 1,00 | w = 0,20
= 1,67 | w = 0,38
= 2,50 | w = 0,53
= 5,00 | w = 0,71
= 1,00 | w = 0,25
= 3,00 | w = 0,50
= 0,50 | w = 0,67
= 1,00 | w = 0,29
= 3,00 | w = 0,86
= 5,00 | w = 0,83
= 4,50 | w = 0,78
= 1,50 | w = 0,55
= 6,00 | w = 1,00
= 1,00 | w = 1,00
(H)
E2:4
E1:1 E3:2
E4:2 = 0,33 | w = 0,29 E6:1
= 0,50 | w = 0,40
= 1,00 | w = 0,40
= 0,50 | w = 0,40
= 2,00 | w = 0,67
= 0,50 | w = 0,67
= 1,50 | w = 0,86
= 0,50 | w = 0,40
= 2,00 | w = 1,00
= 1,00 | w = 1,00
S4 S5
S3 1x
3x 2x
S2 5x
S1 1x
S4 S5
S3 1x
1x 1x
S2 1x
S1 1x
KONKLUZJE DOTYCZĄCE WIEDZY
Możliwe modelowanie i reprezentacja wiedzy w sztucznych systemach skojarzeniowych.
Wykorzystanie plastycznych mechanizmów neuronowych.
Wykorzystanie wzorców i sekwencji uczących.
Umożliwienie wywoływania sztucznych skojarzeń.
Wykorzystanie kontekstu wcześniejszych pobudzeń
i aktywacji neuronów w trakcie wywoływania skojarzeń i ewaluacji wiedzy.
Możliwość uogólniania na poziomie reprezentacji
SYSTEMY
Bezpieczne przechowywanie danych
Szybko wykonywane operacje arytmetyczno-logiczne
Planowane i przewidywalne działanie poprawnie zbudowanych programów
Mogą dostarczać optymalnych rozwiązań zależnych od algorytmów
Wymuszają przeszukiwanie pamięci w pętlach obliczeniowych, w celu
wykonania operacji na danych
Wykorzystują sekwencyjne, pasywne pamięci komputerowe
Szybko reaktywne na znane kombinacje bodźców
Automatyczna agregacja podobnych danych
Eliminacja duplikatów
Automatyczna konsolidacja sekwencji (serii)
Automatyczna reprezentacja grup podobnych kombinacji danych i reprezentacja ich klas
Uogólnianie na skutek podobieństwa, agregacji, konsolidacji i połączeń kontekstowych
Kreatywność na skutek konsolidacji sekwencji danych i ich wywoływania w nowych kontekstach
Dostarczanie suboptymalnych rozwiązań na bazie uogólnień wcześniej uformowanej wiedzy
KLASYCZNE
SYSTEMY KOMPUTEROWE SKOJARZENIOWE
SYSTEMY NEURONOWE
Co to znaczy kojarzyć i wywoływać skojarzenia?
Kojarzyć oznacza na poziomie systemów skojarzeniowych:
Konsolidować ze sobą reprezentacje (obiektów, faktów, reguł) poprzez
tworzenie specjalnych połączeń, które odwzorowują różne relacje pomiędzy nimi, np. podobieństwo i następstwo lub je definiują.
W zależności od rodzaju i możliwości systemu skojarzeniowego reprezentacje mogą być tworzone z różną dokładnością.
Agregować reprezentacje obiektów podobnych poprzez usuwanie duplikatów w reprezentacji lub nie dopuszczanie do ich powstawania, gdyż w odwrotnym przypadku wpływałoby to na obniżenie jakości i rozległości wywoływanych skojarzeń. Możliwe jest jednak tworzenie reprezentacji, które grupują
(obiekty, fakty, reguły) w różny sposób.
Wywoływać skojarzenia oznacza:
Aktywować reprezentacje klas obiektów, faktów, reguł, działań lub ich
2x actively 1x aggregates 1x a
1x basis
1x be
1x being
1x associative
1x consolidates 1x can
1x comes
1x for 1x fundamental
5x facts 1x intelligence
1x into
2x is
1x in
1x not 7x knowledge
1x objects
3x of 2x on
1x reacts 1x representation 1x set
2x represented 3x the
2x various
=2,00 w=0,44
=1,00 w=0,67
=1,00 w=1,00
=1,00 w=1,00
=3,00 w=0,75
=2,00 w=0,80
=1,00 w=1,00
=1,00 w=1,00
=1,00 w=1,00
=1,00 w=0,67
=1,00 w=1,00
=1,00 w=0,50
=2,00 w=1,00
=1,00 w=1,00
=1,00 w=1,00
=1,00 w=0,25
=1,00 w=1,00
=1,00 w=1,00
=1,00 w=0,25
=2,00 w=1,00
=1,00 w=0,25
=1,00 w=0,67
=1,00 w=1,00
=1,00 w=0,50
=1,00 w=0,67
=1,00 w=1,00
=1,00 w=0,40
=0,33 w=0,40
=0,33 w=0,40
=0,50 w=0,40
=1,00 w=0,50
=0,50 w=0,67
=1,00 w=0,25
=1,00 w=1,00
=1,00 w=1,00
=1,00 w=0,67
=1,00 w=0,67
=0,50 w=0,67
=0,50 w=0,40
=0,50 w=0,13
=1,00 w=1,00
=1,00 w=1,00
=0,50 w=0,67
=1,00 w=0,50
=1,00 w=1,00
=1,00 w=0,25
=1,00 w=1,00
=1,00 w=0,50
=0,33
=0,50 w=0,13
=0,50 w=0,13
=0,50 w=0,67
=0,50 w=0,67
=0,50 w=0,67
7x START w=1,00=7,00
=7,00 w=1,00
=0,33 w=-0,5
=0,33 w=0,50
Reakcja na pytanie: „What is knowledge?”
PODSUMOWANIE
1. Asocjacyjny model neuronu, receptorów, przestrzeni międzyneuronalnej.
2. Reprezentacja neuronalnaobiektów i klas obiektów stosując kombinacje danych.
3. Neuronowy mechanizm rywalizacji kooperatywnej pozwalający na reprezentację przestrzeni danych wejściowych.
4. Nowa klasa neuronowych sztucznych systemów skojarzeniowych AAS.
5. Mechanizmy plastyczne i ich zamodelowanie w AASach.
6. Algorytm sortowania skojarzeniowego ASSORT działający na neuronach.
7. Asocjacyjny klasyfikator ASONN z metodą jego konstrukcji.
8. Aktywny neuronowy asocjacyjne grafy wiedzy ANAKG oraz LANAKG.
9. Mechanizmy skojarzeniowej reprezentacji danych, ich kombinacji i sekwencji.
10. Mechanizmy agregacji danychuczących i konsolidacji sekwencji uczących.
11. Formuły matematyczne do wyznaczania wag asocjacyjnych połączeń.
12. Funkcje relaksacji i refrakcji dla asocjacyjnych neuronów.
13. Metody tworzenia i adaptacji (uczenia): AAS, AANG, ASONN, ANAKG, LANAKG.
14. Mechanizmy formowania wiedzy w ANAKG, LANAKG, AANG i AAS.
MOŻLIWE ZASTOSOWANIA
1. Klasyfikacja i multiklasyfikacja.
2. Automatyczne grupowanie (klasteryzacja).
3. Sortowanie, agregacja i kompresja.
4. Szybkie wyszukiwanie danych i ich eksploracja.
5. Konsolidacja informacji i reprezentacja wiedzy.
6. Semi-automatyczna kontekstowa korekta tekstów.
7. Automatyzacja tłumaczenia.
8. Budowa chatbotów korzystających z wiedzy.
9. Budowa emergentnych architektur kongitywnych.
DZIĘKUJĘ
1. Horzyk, A., How Does Generalization and Creativity Come into Being in Neural Associative Systems and How Does It Form Human-Like
Knowledge?, Neurocomputing, 2014, IF = 1,634.
2. Horzyk, A., Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural Associative Systems, Springer, AISC 11156, 2014.
3. Horzyk, A., Sztuczne systemy skojarzeniowe i asocjacyjna sztuczna inteligencja, EXIT, Warszawa, 2013.
4. Tadeusiewicz, R., Horzyk, A., Man-Machine Interaction Improvement by Means of Automatic Human Personality Identification, Gerhard Goos, Juris Hartmanis, and Jan van Leeuwen (Eds.), Springer, LNCS 8104, 2013.
5. Horzyk, A., Gadamer, M., Associative Text Representation and Correction, Springer Verlag Berlin Heidelberg,
LNAI 7894, 2013, pp. 76-87.
6. Horzyk, A., Information Freedom and Associative Artificial Intelligence, Springer Verlag Berlin Heidelberg, LNAI 7267, 2012, pp. 81-89.
7. Horzyk, A., Self-Optimizing Neural Network 3, L. Franco, D. Elizondo, J.M.
horzyk@agh.edu.pl