INTELIGENCJA SZTUCZNA

(1)

SZTUCZNA

INTELIGENCJA

Akademia Górniczo-Hutnicza

Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Katedra Automatyki i Inżynierii Biomedycznej Laboratorium Biocybernetyki

30-059 Kraków, al. Mickiewicza 30, paw. C3/205 horzyk@agh.edu.pl, Google: Adrian Horzyk

Adrian Horzyk

ASOCJACYJNE NEURONOWE GRAFOWE STRUKTURY DANYCH

DO MODELOWANIA SIECI NEURONOWYCH

I RELACJI POMIĘDZY DANYMI

(2)

Grafowe asocjacyjne struktury danych

 Grafowe asocjacyjne struktury danych AGDS są rodzajem grafowych baz danych implementujących relacje pomiędzy danymi w postaci asocjacji.

 Asocjacje (powiązania pomiędzy danymi) mogą być dodatkowo ważone, definiując istotność poszczególnych relacji.

 Asocjacje reprezentujące relacje są bogatsze niż w przypadku klasycznych baz relacyjnych, gdyż reprezentują również podobieństwo i porządek pomiędzy danymi oraz obiektami.

 Obiekty reprezentowane przez węzły mogą charakteryzować się dowolnym stopniem złożoności i zagnieżdżenia oraz mogą być zdefiniowane przy pomocy dowolnej ilości innych węzłów.

 Dane dla każdego atrybutu są ze sobą powiązane i względem siebie uporządkowane, jeśli tylko można zdefiniować porządek dla wartości danych tego tego atrybutu.

 Nie wymagają indeksacji ani haszowania, gdyż wszystkie dane są w naturalny sposób posortowane względem wszystkich atrybutów równocześnie.

 Dane reprezentujące wartości jednego atrybutu nie są duplikowane, lecz agregowane, co stanowi o dużej potencjalnej oszczędności w przechowywaniu danych w takiej postaci, szczególnie jeśli wartości danych często się powtarzają.

 Agregacja danych oraz powiązania pomiędzy nimi zapewniają bardzo szybki (w czasie stałym) dostęp do wszystkich powiązanych bezpośrednio lub pośrednio danych.

 Uzyskuje się również błyskawiczny dostęp do niektórych wartości funkcji agregujących (tj. MIN, MAX), jak również bardzo szybko można wyznaczać podobieństwa i różnice pomiędzy obiektami.

 W działaniu są więc dużo efektywniejsze niż relacyjne bazy danych, lecz niestety ze względu na ograniczenia sprzętowe mogą być stosowane tylko do danych, które mieszą się w pamięci RAM komputera. Największą skuteczność osiąga się w przypadku zastosowania równoległości.

(3)

Przykład grafowych asocjacyjnych struktur danych

 Dane z tabel z relacyjnych baz danych można przekształcić na postać asocjacyjnych grafów AGDS.

(4)

Przykład grafowych asocjacyjnych struktur danych

(5)

Przykład grafowych asocjacyjnych struktur danych

(6)

Przykład grafowych asocjacyjnych struktur danych

 Wykrywanie duplikatów, podobieństw oraz MIN i MAX jest prymitywnie łatwe i szybkie.

(7)

Przykład grafowych asocjacyjnych struktur danych

 Dochodzi do agregacji wartości i usunięcia wszystkich duplikatów danych!

(8)

Przykład grafowych asocjacyjnych struktur danych

 Wykrywanie zależności i korelacji pomiędzy danymi można przeprowadzić błyskawicznie!

(9)

Przykład grafowych asocjacyjnych struktur danych

 Wykrywanie podobieństw i różnic jest również proste i szybkie!

(10)

Przykład grafowych asocjacyjnych struktur danych

 Z łatwością można je wykorzystać do grupowania (klasteryzacji) oraz klasyfikacji!

(11)

Przykład grafowych asocjacyjnych struktur danych

 Z łatwością można je wykorzystać do grupowania (klasteryzacji) oraz klasyfikacji!

(12)

Przykład grafowych asocjacyjnych struktur danych

 Łatwe do wykorzystania do dyskryminacji, klasyfikacji, grupowania (klasteryzacji) i analizy danych!

(13)

CZY NEURONY MOGĄ PORZĄDKOWAĆ DANE?

 Podstawowym zagadnieniem związanym z różnymi strukturami danych jest kwestia uporządkowania (posortowania) danych, która zwykle wpływa na możliwość szybszego ich odnajdywania.

 Ponadto odpowiednio uporządkowane dane łatwiej organizować w większe struktury, klastry, grupy, a następnie wykorzystać je do porównywania czy też klasyfikacji.

 Do uporządkowanych danych zwykle uzyskujemy szybszy dostęp.

 Oprócz samej kwestii uporządkowania danych nie mniej istotne znaczenie odgrywa złożoność obliczeniowa związana z

wykonywaniem różnych operacji na danych.

 Mózg ludzki bardzo szybko reaguje i rozwiązuje skomplikowane

problemy mimo bardzo wolno działających neuronów. Dlaczego?

(14)

Asocjacyjne sortowanie ASSORT działa na neuronach

 Umożliwia wykorzystanie receptorów i neuronów do sortowania rekordów równocześnie względem wszystkich atrybutów odzwierciedlając podobieństwo danych i następstwo rekordów.

 W przypadku równoległej realizacji dodanie nowego rekordu zachodzi w czasie stałym O(1), a sortowanie wszystkich rekordów względem wszystkich atrybutów równocześnie w czasie liniowym O(n).

 Ze względu na konstrukcję współczesnych komputerów trudno go zrealizować, aczkolwiek można to zrobić na odpowiednich kartach graficznych GPU.

 Sortowanie to proces porządkowania rekordów (np. R1, …, R9) względem wybranego klucza lub kluczy (np. A1 lub A2).

 Wartości poszczególnych atrybutów, jak również całe rekordy

mogą się powtarzać w sortowanym zbiorze.

(15)

Opis przebiegu działania sortowania ASSORT

1. Sztuczny system skojarzeniowy AAS podaje równocześnie na wszystkie wejścia sensoryczne (SENSIN:Ak) wartości danych definiujące wybrany rekord z tabeli, np. sortowany rekord R1 określony jest przez dwie wartości A1=2 i A2=3.

2. Wejścia sensoryczne SENSIN:Ak przekazują otrzymane wartości do wszystkich istniejących i powiązanych z nimi neuronów receptorycznych (VN), które

przekształcają otrzymane wartości na pewien stopień swojego pobudzenia.

3. Neurony receptoryczne VN nie muszą osiągnąć progu aktywacji, a więc

przekazują swoje pobudzenie do powiązanych z nimi neuronów SN oraz innych neuronów receptorycznych VN pobudzając je odpowiednio do wagi łączącego je połączenia synaptycznego.

4. ASSORT dodatkowo wykorzystuje VNy: liczbowe i reprezentujące wartości ekstremalne: MIN i MAX dla poszczególnych atrybutów.

2 3

ADEF

1

ASIM

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

(16)

Opis przebiegu działania sortowania ASSORT-1

5. Dla ułatwienia każde wejście sensoryczne SENSIN:Ak przechowuje wielkość zakresu reprezentowanego przedziału swojej wrażliwości:

6. Neurony receptoryczne ekstremów wyznaczają swoje wartości wyjściowe wg:

gdzie x oznacza wartość przekazaną przez SENSINa, a v

_MIN

i v

_MAX

wartości ekstremalne reprezentowane przez neurony receptoryczne MIN i MAX.

7. Neurony receptoryczne reprezentujące porządkowalne wartości v łączą się w obrębie ich SENSINów, a waga ich połączenia odwzorowuje ich podobieństwo:

8. Połączenia pomiędzy neuronami receptorycznymi VN reprezentującymi

porządkowalne wartości określają relację asocjacyjnego podobieństwa ASIM.

2 3

ADEF

1

ASIM

MIN

^ASIM ^ADEF

MAX

SENSIN : A1 4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9 MIN MAX

SENSIN : A2

(6.7)

(6.5) (6.3)

(6.1)

(17)

Opis przebiegu działania sortowania ASSORT-1

9. Proces plastyczności połączeniowej uruchamiany jest w VNach wtedy, gdy określony VN zostanie mocniej pobudzony przez SENSINa niż za

pośrednictwem połączenia od wcześniej aktywowanego sąsiedniego VNa:

10. Program wewnętrzny VNów wymaga dokładnie dwóch połączeń z innymi VNami, wobec tego VN rozpoczyna proces degradacji synaptycznej, jeśli

połączeń powstało więcej, wysyłając sygnał degradacji przez swoje połączenia.

A ^w^A,X

ADEF 1 ASIM

MIN ^ADEF ^ADEF MAX

SENSIN:^Ak

B ^ASIM

ASIM ^ASIM C ^ADEF ¹

X ^w^B,C

A ^w^A,B

ADEF 1 ASIM

AANG

SENSIN:Ak B ^ASIM

X

wB,C

DX,A

DX,B

DX,C

DA,B DB,C

wX,B

ASIM ASIM

(6.8) (6.9)

(6.10)

(18)

Opis przebiegu działania sortowania ASSORT-1

11. Funkcja pobudzenia neuronów receptorycznych VN określona jest poprzez następującą zależność:

gdzie

v to wartość reprezentowana przez neuron receptoryczny VN, x oznacza wartość przekazaną przez SENSINa,

R oznacza przedział zmienności danego SENSINa,

𝒕

_𝒗

wyznacza czas pobudzania receptorycznego neuronu wartości VN wartością x a suma jest liczona po wszystkich połączonych VNach reprezentujących wartości, które są bardziej podobne do wartości x niż wartość v rozważanego VNa.

12. VNy są cały czas pobudzane przez wartość x aż do momentu osiągnięcia aktywacji lub zakończenia

procesów plastyczności i pojawienia się nowej

wartości na wejściu SENSINa:

(6.11)

(6.12)

(6.13)

(19)

Opis przebiegu działania sortowania ASSORT-1

13. Kolejne VNy połączone z wcześniej aktywowanymi VNami zostaną aktywowane w czasie określonym następująco:

gdzie

v

₁

i v

₂

to wartości reprezentowane przez sąsiednie neurony receptoryczne VN, x oznacza wartość przekazaną przez SENSINa,

R oznacza przedział zmienności danego SENSINa.

14. VNy „potrzebują” przekazać swój stan aktywacji neuronom w taki sposób, żeby je aktywować samodzielnie lub wespół z innymi elementami AASów. Jeśli więc żaden neuron SN nie odpowiada aktywacją na aktywację VNa, inicjuje on proces swojej plastyczności połączeniowej z SNami, a jeśli nie ma żadnego SNa z

aktywnym procesem plastyczności połączeniowej z VNami, wtedy zachodzi proces neurogenezy nowego Sna.

15. VNy z Snami łączą połączenia o następujących wagach:

(6.14)

(6.15)

(6.16)

(20)

Przykład wstawienia nowego neuronu receptorycznego VN

1. Na wejściu SENSIN:A1 pojawia się wartość „4”.

2. Ze względu na to, iż żaden receptor natychmiastowo nie odpowiada na tą wartość, tworzony jest nowy VN4 reprezentujący wartość „4”, który inicjuje proces plastyczności połączeniowej z dwoma innymi VNami.

3. Inne receptory reagują po pewnym czasie w zależności od podobieństwa do wartości „4”

zgodnie z wzorem (6.13. i 6.14), tzn. np.:

• VN3 osiąga aktywację po czasie t

_VN3

= 7 / (7 – |3 – 4|) = 7/6 = 1,167,

• VN2 osiąga aktywację po czasie t

_VN2

= 7 / (7 – |2 – 4|) = 7/5 = 1,400,

• VN1 osiąga aktywację po czasie t

_VN2

= 7 / (7 – |1 – 4|) = 7/4 = 1,750,

• VN8 osiąga aktywację po czasie t

_VN8

= 7 / (7 – |8 – 4|) = 7/3 = 2,333,

A ^w^A,X

ADEF 1 ASIM

SENSIN:^Ak B ^ASIM

X ^w^B,C

A ^w^A,B

ADEF 1 ASIM

AANG

X

wB,C

DX,A

DX,B

DX,C

DA,B DB,C

wX,B

ASIM ASIM

A2 8 1 A1

2 3 3 9 1 3 R2 R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6 R5

R8 R9

1 3 R7

2

1

3

3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ASEQ ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

MIN ^ASIM ^ADEF MAX

SENSIN : A2 SENSIN : A1

4 ^ASIM

ASIM 8

ASIM 9

ASEQ N5

ADEF

AANG

4 8 R5

( F )

(21)

Przykład wstawienia nowego neuronu receptorycznego VN

4. Połączone z VN4 zostaną jednak tylko VN3 i VN8, gdyż dla nich spełniona jest zależność (6.8), zgodnie z którą:

• VN3 pobudzany jest przez sensor: VN3

^SENSIN:A1

= (7 – |3 – 4|) / 7 = 0,857 oraz przez żaden inny, bo VN3 został aktywowany jako pierwszy ze względu na największe podobieństwo.

• VN2 pobudzany jest przez sensor: VN2

^SENSIN:A1

= (7 – |2 – 4|) / 7 = 0,714 oraz przez VN3 aktywowany wcześniej VN2

^VN3

= 1 - |2-3|/7 = 0,857 zgodnie z (6.7)

• VN8 pobudzany jest przez sensor: VN8

^SENSIN:A1

= (7 – |8 – 4|) / 7 = 0,429 oraz przez VN3 aktywowany wcześniej VN8

^VN3

= 1 - |8-3|/7 = 0,286 zgodnie z (6.7)

A ^w^A,X

ADEF 1 ASIM

X ^w^B,C

A ^w^A,B

ADEF 1 ASIM

AANG

X

wB,C

DX,A

DX,B

DX,C

DA,B DB,C

wX,B

ASIM ASIM

A2 8 1 A1

2 3 3 9 1 3 R2 R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6 R5

R8 R9

1 3 R7

2

1

3

3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

4 ^ASIM

ASIM 8

ASIM 9

ASEQ N5

ADEF

AANG

4 8 R5

( F )

(6.8) (6.9) (6.10)

(22)

Wnioski ze stosowania asocjacyjnych grafów neuronowych

Aktywne asocjacyjne grafy neuronowe AANG umożliwiają:

 Aktywne oddziaływanie danych na siebie dzięki wykorzystaniu neuronów i grafowej strukturze, która integruje dane, ich grupy i sekwencje, które są odpowiednio konsolidowane.

 Automatycznie wywoływanie reprezentowanych relacji i to w stosunku, jaki wynika z ich występowania w tabeli.

 Neurony wykorzystywane w konstrukcji tych grafów realizują postawione im zadanie sortowania poprzez sprawdzenie bardzo prostych warunków oraz wywołanie przypisanej im reakcji, związanych z tworzeniem się nowych lub zrywaniem starych połączeń oraz zmianę wag synaptycznych.

 Wszystkie obliczenia wykonywanych w trakcie sortowania ASSORT odbywają się lokalnie w neuronach bez udziału zewnętrznych algorytmów, które by iterowały po neuronach czy konsolidowały wyniki ich działania. Neurony realizując swoje działania sortują, mimo że „nie wiedzą”, iż to robią, realizując charakterystyczne dla nich operacje plastyczności znane z biologicznych układów nerwowych.

 Grafy AANG w przypadku realizacji równoległej zapewniają możliwość posortowania tabel danych równocześnie względem wszystkich atrybutów przy liniowej złożoności obliczeniowej O(n) i bez konieczności dodatkowego indeksowania stosowanego klasycznie w relacyjnych bazach danych.

 Czas dosortowania nowych rekordów w przypadku realizacji równoległej ma stałą złożoność obliczeniową O(1).

 W przypadku symulacji złożoność wzrasta do O(n p q), gdzie p to ilość parametrów/atrybutów definiujących sortowanie rekordy, zaś q to maksimum z ilości różnych wartości dla poszczególnych atrybutów. Dokładniejsze oszacowanie złożoności umożliwia jego dokonanie na podstawie sumy ilości danych dla wszystkich atrybutów łącznie O(n  qⁱ).

(23)

Odwzorowanie następstwa danych w strukturach neuronowych 16. Ponadto SNy mogą łączyć się pomiędzy sobą odwzorowując kolejność

prezentacji wzorców, które reprezentują, w czasie:

(6.18) (6.17)

ASEQ -k+1 ASEQ -k+1 ASEQ 2 ASEQ 1 ACON 1 = ASEQ 0

WACON 2 ACON 2

W_{ASEQ 0} W_{ASEQ 1}

W_{ASEQ 2} WASEQ -k+1

WACON 3 ACON 3

WACON k ACON k

WACON k-1 ACON k-1

SN -k+1

SN -k ^W^ASEQ-k+1 SN ₃ SN ₂ SN ₁ SN ₀

t

^{= k – 1}

t

^{= k}

t

^{= 3}

t

^{= 2}

t

^{= 1}

(6.19)

(24)

Stopniowa relaksacja neuronów i kontekst aktywacji

Dzięki stopniowej relaksacji neuronów (tzn. powrotowi do stanu spoczynku) możliwe jest wykorzystanie kontekstu wcześniej aktywowanych neuronów:

ASEQ -k+1 ASEQ -k+1 ASEQ 2 ASEQ 1 ACON 1 = ASEQ 0

WACON 2 ACON 2

W_{ASEQ 0} W_{ASEQ 1}

W_{ASEQ 2} WASEQ -k+1

WACON 3 ACON 3

WACON k ACON k

WACON k-1 ACON k-1

SN -k+1

SN -k WASEQ -k+1 SN 3 SN 2 SN 1 SN 0

t

^{= k – 1}

t

^{= k}

t

^{= 3}

t

^{= 2}

t

^{= 1}

(6.23)

Wykorzystano tutaj najbardziej uproszczoną funkcję aktywacji dla VNów (bez okresu refrakcji).

(25)

Tworzenie połączeń ASEQ i ACON oraz wyznaczanie wag

Jeśli kolejność rekordów w tabeli ma znaczenie, wtedy odwzorowujemy tą kolejność tworząc dodatkowo połączenia pomiędzy neuronami N1, …, N9. Tworzone są czasami dodatkowe połączenia kontekstowe (niebieskie) w przypadkach, gdy rekordy reprezentują takie same wartości atrybutów (tutaj. R4 i R7). Reprezentacje neuronalne nie są duplikowane lecz agregowane. Połączenia kontekstowe zapewniają jednoznaczne przejście od N4 do N5 po bezpośrednio wcześniejszej aktywacji N3 oraz od N4 do N8 po bezpośrednio wcześniejszej aktywacji N6:

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3 R4

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3

3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

W1,2 W2,3 W3,4

ADEF

ADEF ADEF

ADEF

AANG

4 ^ASIM 6

ASIM ^ASIM 8 ^ASIM 9

5 ^ASIM 8

ASIM ^ASIM 9

N6

N5 ^W^5,6 N8 N9

W4,6

W8,9

W4,8

W4,5 W6,8

W3,5

ADEF

ADEF ADEF

ADEF

ADEF ADEF

N3 ^W^3,4 N4 N5 ^W^5,6 N6 N8

W4,6

W4,8

W4,5 W6,8

W3,5

(26)

Tworzenie połączeń ASEQ oraz wyznaczanie wag

>0 to bardzo mała wartość na poziomie błędu zaokrągleń, wprowadzona w celu uniknięcia błędów numerycznych i niestabilności numerycznej wzorów.

Zgodnie z zależnością (6.17): W

_3,4

= W

_4,6

= 2 * 1 / (1 + 1) = 1,00, gdyż N3 i N6 są tylko jednokrotnie aktywowane dla sortowanej tabeli w trakcie tworzenia sieci AANG, zaś połączenia N3  N4 i N6  N4 są tylko raz skuteczne w aktywacji neuronu

postsynaptycznego N4.

Zgodnie z zależnością (6.17): W

_4,5

= W

_4,8

= 2 * 1 / (2 + 1) = 0,67, gdyż N4 jest

dwukrotnie aktywowany dla sortowanej tabeli w trakcie tworzenia sieci AANG, lecz połączenia N4  N5 i N4  N8 są tylko raz skuteczne w aktywacji neuronów

postsynaptycznych N5 lub N8 odpowiednio.

N3 ^W

^3,4

N4 N5 ^W

^5,6

N6 N8

W

4,6

W

4,8

W

4,5

W

6,8

W

3,5

(6.17)

(27)

Tworzenie połączeń ACON oraz wyznaczanie wag

W

_3,5

= W

_6,8

=[ (2 – 1)/(2 – **1) * (1 – 0,67)]**

^1/2

= 1/3 = 0,58

Tutaj SN

_-2

= N3 lub N6 odpowiednio, SN

_-1

= N4, a SN

₀

to N5 lub N8 odpowiednio.

Połączenia kontekstowe ACON

₂

: N3  N5 i N6  N8 są tylko raz skuteczne w aktywacji neuronów postsynaptycznych N5 lub N8 odpowiednio, a wagi tych

połączeń wyznaczamy na podstawie zależności (6.18), jak powyżej na przykładzie.

(6.18)

t oznacza upływ czasu (wyrażony przy pomocy liczb naturalnych) pomiędzy aktywacją neuronu

presynaptycznego i postsynaptycznego, a więc ilość połączeń ASEQ pomiędzy odpowiednimi neuronami.

N3

^W^3,4⁼¹

N4 N5

^W^5,6⁼¹

N6 N8

W_4,6=1

W_4,8=0,67

W_4,5=0,67 W_6,8=0,58

W_3,5=0,58

(28)

Aktywacja neuronów i odtwarzanie rekordów

W tym uproszczonym modelu skojarzeniowym czas płynie z szybkością jednej

jednostki czasu pomiędzy pobudzeniami/aktywacjami kolejnych neuronów, a więc stan neuronu w kolejnych chwilach czasu (t) aktualizuje się zgodnie z wzorem (6.23).

(6.23)

N3

^W^3,4⁼¹

N4 N5

^W^5,6⁼¹

N6 N8

W4,6=1

W_4,8=0,67

W_4,5=0,67 W_6,8=0,58

W3,5=0,58

t=1 t=2

t=3 t=3

N3

^W^3,4⁼¹

N4 N5

^W^5,6⁼¹

N6 N8

W_4,6=1

W_4,8=0,67

W_4,5=0,67 W_6,8=0,58

W_3,5=0,58 t=2 t=1

t=3 t=3

LUB

X=1 X=1 X=1

X=0,67

X=1

X=1 X=1

EXC^N5=0,67+0,58² ≈ 1  

EXC^N5=0,67 < 

(29)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

MIN MAX

SENSIN : A2 SENSIN : A1

AANG

A2 A1

( A )

(30)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2 3 N1

ADEF

MIN

^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

AANG

2 3 R1

( B )

(31)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2 1 3

N2 N1

ADEF

ASIM ASEQ

ADEF

MIN

^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

ASIM

8 AANG

8 1 R2

( C )

(32)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 N2

N1 N3

ADEF ASIM

ASIM

ASEQ ASEQ

ADEF

MIN

^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

ASIM

8

ASIM

9 AANG

3 9 R3

( D )

(33)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

ASIM

8

ASIM

9 AANG

1 3 R4

( E )

(34)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

ASIM

8

ASIM

8

ASIM

9

ASEQ

N5

ADEF

AANG

4 8 R5

( F )

(35)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

ASIM

8

5

^ASIM

8

ASIM ^ASIM

9 N6 N5

^ASEQ

ASEQ ADEF

ADEF ADEF

AANG

ADEF

4 5 R6

( G )

(36)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

ASIM

8

5

^ASIM

8

ASIM ^ASIM

9 N6 N5

^ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

AANG

ADEF

1 3 R7

( H )

(37)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8

ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

ACON

AANG

9 1 R8

( I )

(38)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3 R7

AANG

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ADEF

ADEF ADEF

ADEF

ADEF ADEF

ACON

6 8 R9

( J )

(39)

Sortowanie względem wszystkich atrybutów

A2 8 1 A1

2 3 3 9 1 3 R2

R1 R3

R4 ASSORT

TABELA

4 5 4 8

9 1 6 8 R6

R5

R8 R9

1 3

R7 ...

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

2 3 R1

6 8 R9

( K )

(40)

Przykład wnioskowania

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

4 3 ZEWNĘTRZNE

POBUDZANIE

WEJŚĆ

SENSORYCZNYCH

(41)

Przykład wnioskowania

2

1

3 3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

MIN

^ASIM ^ADEF

MAX

MIN

^ADEF ^ADEF

MAX

SENSIN : A2 SENSIN : A1

4

^ASIM

6

ASIM ^ASIM

8

^ASIM

9

5

^ASIM

8

ASIM ^ASIM

9 N6

N5

^ASEQ

N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

ZEWNĘTRZNE POBUDZANIE

NEURONU

(42)

Asocjacyjne relacje: podobieństwo, następstwo…

 Asocjacyjne podobieństwo zachodzi pomiędzy połączonymi (ASIM) neuronami lub receptorami reprezentującymi podobne wartości lub ich kombinacje.

 Asocjacyjne następstwo zachodzi pomiędzy połączonymi (ASEQ) neuronami reprezentującymi grupy/klasy danych, które pojawiały się kolejno po sobie w czasie. Mogą reprezentować różne obiekty (rekordy, krotki).

 Asocjacyjny kontekst utrzymuje się pomiędzy połączonymi (ACON) neuronami reprezentującymi nie bezpośrednio, lecz blisko w czasie następującymi po sobie grupami/klasami danych.

 Asocjacyjne definiowanie umożliwia tworzenie reprezentacji neuronalnych obiektów/klas na

podstawie innych neuronowych reprezentacji obiektów/klas lub wartości reprezentowanych przez receptory, połączonych z nimi (ADEF).

2

1

3

3 1

N2

N1 N3 N4

ADEF ASIM

ASIM

ADEF

ADEF ADEF

ADEF

AANG

4 ^ASIM 6

ASIM ^ASIM 8 ^ASIM 9

5 ^ASIM 8

ASIM ^ASIM 9

N6

N5 ^ASEQ N8 N9

ASEQ

ASEQ ASEQ

ACON

ADEF

ADEF ADEF

ADEF

ADEF ADEF

(43)

Zajrzyjmy do środka

mózgu…

(44)

Mózg – dynamicznie zmienna struktura biocybernetyczna

Mózg – to nietypowa maszyna obliczeniowa, gdyż w wyniku interakcji z danymi docierającymi do niego w postaci różnych bodźców dochodzi w nim do zmian:

 w jego funkcjonowaniu,

 w sposobie przetwarzania kolejnych danych,

 w jego strukturze i właściwościach połączeń,

 w parametrach budowy i funkcjonowania neuronów,

 w zapamiętanych wcześniej faktach, regułach,

 w reprezentacji różnych obiektów, akcji i zjawisk,

 w sposobie kojarzenia i przypominania sobie skojarzonych faktów.

Każde zdarzenie i doznanie z naszego życia w pewnym stopniu zmienia nasz mózg, sposób jego działania oraz wpływa na przyszłe skojarzenia i podejmowane akcje!

Dynamiczna biocybernetyka naszego mózgu nie ma na razie odpowiednika

w cybernetycznych rozwiązaniach naszej cywilizacji!

(45)

REKONFIGUROWALNE UKŁADY FPGA

Współczesne komputery poza układami FPGA zdolnymi do zmiany funktorów logicznych, sieci połączeń oraz bloków we/wy nie są w stanie zmieniać swojej struktury połączeń ani uczyć się nowych zachowań poprzez ich doświadczanie.

Matryce komutacyjne realizujące połączenia w sieci zawierającej cyfrowe układy kombinacyjne i sekwencyjne służące do budowy bloków logicznych połączone z wyprowadzeniami zewnętrznymi nie mają wiele wspólnego ze strukturą

ani połączeniami między neuronami występującymi w biologicznych mózgach!

FPGA

?

http://www.fpga.agh.edu.pl/puc/?download=W_PUC_FPGA_wstep.pdf

(46)

BIOLOGICZNY I SZTUCZNY NEURON

Sztuczne neurony stosowane współcześnie w inteligencji obliczeniowej są bardzo ubogimi modelami neuronów biologicznych, wypaczającymi w sposobie swojego działania lub metodzie uczenia (adaptacji) prawdziwy sposób działania neuronów:

X

Sztuczne neurony:

1. Zaniedbują, nie definiują ani nie wykorzystują swoje położenie w strukturze sieci.

2. Bagatelizują znaczenie progu aktywacji sprowadzając go do kolejnej wagi o stałym pobudzeniu.

3. Zmieniają naturalną zdolność większości neuronów do aktywacji na ciągłe i różniczkowalne funkcje aktywacji f.

4. Nie biorą pod uwagę różnej i zmiennej wielkości neuronów wpływające na jego wrażliwość i specjalizację.

5. Funkcje synaps sprowadzają do adaptowalnej wagi, która może wzmacniać wielokrotnie sygnały wejściowe.

6. Sumują ważone sygnały wejściowe nie uwzględniając faktu automatycznego powracania niewystarczająco pobudzonych neuronów do stanu równowagi w czasie ani procesu refrakcji, jakby nie był wcale istotny.

7. Nie biorą pod uwagę czasy różnych procesów zachodzących w biologicznych neuronach.

8. Są rozważane w oderwaniu od reszty elementów: receptorów, płynu mózgowo-rdzeniowego i komórek glejowych.

9. Najczęściej są łączone na zasadzie każdy-z-każdym co wprowadza niepotrzebne interferencje do procesu przetwarzania danych wejściowych i uniemożliwia im specjalizację dla wybranej grupy danych wejściowych.

(47)

SZTUCZNY NEURON

 Dane z wszystkich wejść x

₁

… x

_n

równocześnie oddziałują na sztuczny neuron.

 Poprzednie stany sztucznego neuronu nie mają żadnego wpływu na jego aktualny stan, liczy się tylko aktualne pobudzenie oraz wagi w

_0k

, w

_1k

… w

_nk

.

 Nie istnieją żadne zależności czasowe pomiędzy jego stanami.

 Reakcja sztucznego neuronu następuje natychmiast i powoduje obliczenie wartości wyjściowej ewaluując wybraną funkcję aktywacji sztucznego neuronu f, której wartość zależna jest od sumy ważonej wejść

𝑦 _𝑘 = 𝑓

𝑖=0 𝑛

𝑤 _𝑖𝑘 𝑥 _𝑖

 f ^y ^k

x

₀

=1 x

₁

x

₂

x

₃

x

_n

w_1k w_2k w_3k

w_nk

funkcja aktywacji

wyjście

wejścia

wagi suma

ważona

próg aktywacji

w_0k