i SIECI NEURONOWYCH

(1)

WSTĘP DO INFORMATYKI Wprowadzenie do zagadnień SZTUCZNEJ INTELIGENCJI

i SIECI NEURONOWYCH

wykład

Adrian Horzyk

Web: http://home.agh.edu.pl/~horzyk/

E-mail: horzyk@agh.edu.pl Google: Adrian Horzyk Gabinet: paw. C3 p. 206

(2)

Potrzeby i rozwój inteligencji

Potrzeby skłaniają nas do działania

i dzięki temu powodują rozwój inteligencji, gdyż człowiek uczy się, w jaki sposób

może zaspokajać różne potrzeby oraz w jaki sposób może to robić

możliwie efektywnie.

Inteligencja rozwija się

równolegle ze wzrostem wiedzy, która bazując na skojarzeniach

formuje się w neuronowych strukturach mózgowych.

(3)

Od czego rozpoczął się rozwój informatyki?

Od badania sposobu działania ludzkiego umysłu.

Od badania mózgu i prób naśladowania go.

Od rozwoju matematyki i algorytmów rozwiązujących różnorodne problemy.

Od teorii języków formalnych, budowy pierwszych automatów, parserów, maszyny Turinga, która była pierwowzorem dla budowy pierwszych komputerów:

http://gadzetomania.pl/2010/03/27/wykonana-metoda-chalupnicza-maszynaturinga-wideo - fizyczny model,

http://www.maszynaturinga.info/ - model symulacyjny

Maszyna Turinga to model abstrakcyjnej maszyny obliczeniowej stworzony w 1936 r. przez Alana Turinga. Istnieje twierdzenie, które mówi, że problem jest rozwiązywalny na (współczesnym) komputerze, jeśli da się zdefiniować rozwiązującą go maszynę Turinga. Maszyna ta składa się z nieskończenie długiej taśmy podzielonej na pola. Maszyna może znajdywać się zawsze w jednym z N stanów i jest zawsze ustawiona nad jednym z pól. Maszyna może zapisywać nową wartość w polu, zmieniać jej stan, a następnie przesunąć się o jedno pole w prawo lub w lewo. Taka operacja zwana jest rozkazem, których lista jest traktowana jak program.

Matematycy zastanawiają się, czy może istnieć inny model obliczeniowy poza maszyną Turinga, który mógłby spowodować przyspieszenie rozwoju komputerów.

(4)

Mózg i jego możliwości obliczeniowe

Ludzki mózg składa się z ok.:

40 000 000 000 neuronów

400 000 000 000 komórek glejowych odpowiedzialnych za ich odżywianie oraz mielinizację połączeń, jak również „sprzątanie”.

50 000 000 000 000 połączeń synaptycznych, średnio 10000 połączeń na neuron, jakkolwiek istnieje tutaj duża różnorodność związana z funkcją poszczególnych neuronów.

Jeśliby wszystkie synapsy były w stanie równocześnie wykonywać pewną operację obliczeniową, mózg posiadałby moc obliczeniową na poziomie 5 Petaflopów operacji na sekundę i umożliwiałby zapis ok. 10 TB danych, lecz mózg działa zupełnie inaczej niż współczesne komputery i szacunków znanych ze współczesnych komputerów nie można przenosić na systemy biologiczne.

Mózg zużywa ok. 20% energii całego organizmu, stanowi tylko ok. 2% masy ciała.

Nasze 23 pary chromosomów, zawiera ok. 30 000 genów i może przenosić ok. 6 Gb informacji (to ok. 250 tomów po 1000 stron)

Mózgi zwierząt są zwykle dużo mniejsze, szczególnie w odniesieniu do części korowych umożliwiających nam ludziom myślenie, zapamiętywanie przez asocjację różnych bodźców i ich reprezentacji:

http://www.is.umk.pl/~duch/Wyklady/kog-m/01.htm

(5)

MÓZG I REPREZENTACJA KOROWA

Poniższy homunkulus pokazuje rozmiar reprezentacji korowej (sensorycznej) różnych części ciała reprezentowanych w niej przez różnie wielkie obszary kory mózgowej. Reprezentacja ta, jak widać, jest zależna funkcjonalnie od naszych potrzeb i czynności, jakie wykonujemy:

(6)

PRZETWARZANIE INFORMACJI PRZEZ MÓZG

W mózgu (biologicznym systemie obliczeniowym) informacje są przetwarzane inaczej niż na

współczesnych komputerach:

 nie ma kodów programów ani ich kompilacji,

 nie ma pamięci RAM, dysków, magazynów danych,

 nie ma tablic, tabel ani baz danych,

 nie ma instrukcji warunkowych,

 nie ma iteracyjnych pętli obliczeniowych,

 nie ma tasiemek, głowic ani maszyny Turinga…

Istnieją natomiast inne mechanizmy i elementy obliczeniowe oraz pamięciowe:

 są neurony i ich połączenia, które przez cały czas plastycznie zmieniają swoją wielkość, konfigurację, ilość połączeń, stopień wpływu sygnałów wejściowych, reprezentowane kombinacje bodźców wejściowych, na które reagują aktywacją oraz na te pozostałe, które zostają zdyskryminowane.

 są połączenia, które decydują o sposobie przepływu informacji i umożliwiają wykształcenie się pewnych wzorców na podstawie powtarzających się bodźców.

 jest płyn mózgowo rdzeniowy oraz sensory czuciowe

(7)

Połączenia między neuronami

Sieć połączeń pomiędzy neuronami jest nietrywialna i do dzisiaj stanowi zagadkę dla nauki. Połączenia tworzą się i przekazują sygnały pomiędzy neuronami:

(8)

Neuron, jego potrzeby i funkcja

Neuron to żywa komórka, która zdolna jest łączyć się z innymi neuronami tak, żeby być w stanie odbierać sygnały o ich aktywności, agregować je oraz reagować na pewne ich kombinacje, które umożliwiają im prawidłowe funkcjonowanie i przeżycie. Neurony nie mogą być ani za mało ani za bardzo aktywne, bo inaczej by doszło do ich apoptozy – zaprogramowanej śmierci neuronu, przed którą chronią je różne mechanizmy plastyczności.

(9)

Model neuronu i jego plastyczność

Żeby w informatyce wykorzystać potencjał funkcjonalny biologicznych neuronów oraz całej ich sieci (grafu), zwanych często sieciami neuronowymi, trzeba opracować uproszczony model ich działania pod kątem najistotniejszych jego funkcji związanych z przetwarzaniem danych i informacji. Trzeba określić, co i pod wpływem czego może się zmieniać…

Biologiczne neurony reprezentują pewne kombinacje danych wejściowych, zaś na gruncie sztucznej inteligencji definiuje się często różne inne modele.

(10)

Neuron i jego dynamika

Biologiczny neuron to żywa komórka, która potrzebuje się odżywiać oraz wykonywać pewne funkcje, bez których jej metabolizm nie funkcjonowałby prawidłowo, prowadziłby do zaburzeń, a w dalszej kolejności do jego śmierci.

Prawidłowo funkcjonujący neuron musi być odpowiednio odżywiany przez komórki glejowe oraz musi reagować odpowiednią ilość pobudzeń, żeby osiągnąć pewną równowagę i stabilizację.

Za mała ilość pobudzeń i aktywacji („głód”), aktywuje w nim pewne procesy plastyczności, które prowadzą do zmniejszania jego objętości (wielkości), co sprawia, iż jest on bardziej wrażliwy na nadchodzące bodźce, prowadząc do jego częstszej aktywacji i poprawy metabolizmu komórkowego. Wtedy też neuron zaczyna reagować na większą ilość kombinacji bodźców wejściowych.

Za duża ilość pobudzeń i aktywacji jest dla neuronu szkodliwa, gdyż powoduje w nim wyczerpanie zasobów neurotransmiterów (pęcherzyków w synapsach) oraz gromadzenie się kationów (Ca²⁺, Zn²⁺) („zakwasy”) naruszających jego równowagę wewnętrzną, mogąc prowadzić po pewnym czasie do jego śmierci (apoptozy).

Neuron może jednak bronić się przed tym zwiększając swoją objętość (wielkość) oraz duplikując mechanizmy wewnętrzne, które obniżają jego wrażliwość na bodźce i zarazem umożliwiają mu reagowanie na większą ilość kationów i innych związków biochemicznych. Funkcjonalnie taki neuron ogranicza swoje reakcje na słabsze kombinacje bodźców.

(11)

Informatyczne modele neuronów

Pierwsze modele neuronów:

Model McCullocha-Pittsa (1943 r.) odzwierciedla tylko proste sumowanie statycznie ważonych sygnałów wejściowych x₁,…,x_n, jakie do niego docierają, próg aktywacji w₀ oraz pewną funkcję aktywacji f zależną od wartości sumy ważonej sygnałów wejściowych i wartości progu:

Mimo dużej prostoty, model ten znalazł ogromną ilość zastosowań w bardzo wielu współcześnie stosowanych metodach inteligencji obliczeniowej, pokazując swoją uniwersalność i możliwość jego zastosowania w różnych zadaniach aproksymacji, regresji, klasyfikacji, pamięciach skojarzeniowych i wielu innych.

Pierwsza generacja neuronów McCullocha-Pittsa zbudowana była na bazie dyskretnych funkcji aktywacji, które zwracają wartości unipolarne {0; 1} lub

(12)

Modele neuronu z ciągłymi funkcjami aktywacji

Druga generacja neuronów wywodzących się modelu McCullocha-Pittsa stosuje ciągłe funkcje aktywacji z zakresu [0;1] lub [-1;1], wykorzystując najczęściej sigmoidalne lub radialne funkcje aktywacji. Istnieją neurony sigmoidalne, neurony oparte o funkcję tangens hiperboliczny lub neuronami radialnymi, np. neuron Gaussowski, neuron Hardy’ego, neuron wielomianowy. Są one stosowane obecnie najpowszechniej w różnego rodzaju modelach sztucznych sieci neuronowych:

gdzie β, σ, δ i c są parametrami, z których niektóre mogą być adaptowane w trakcie procesu nauki sieci, wykorzystującej takie neurony.

(13)

Działanie prostego neuronu o funkcji ciągłej

Działanie sieci neuronowej jest wypadkową działania poszczególnych neuronów oraz zachodzących pomiędzy nimi interakcji. Pojedynczy neuron w typowych przypadkach realizuje (z matematycznego punktu widzenia) operację iloczynu skalarnego wektora sygnałów wejściowych oraz wektora wag. W efekcie odpowiedź neuronu zależy od wzajemnych stosunków geometrycznych pomiędzy wektorami sygnałów i wektorami wag.

(14)

Obecne zastosowania i rynek sieci neuronowych

Sieci neuronowe obecnie stosowane są do:

 Klasyfikacji (obrazów, mowy, procesów,…)

 Regresji (funkcji matematycznych,…)

 Rozpoznawania (obiektów, ludzi, gestów, pisma…)

 Identyfikacji (obiektów, ludzi, gestów, pisma…)

 Przewidywania i prognozowania (np. szeregów czasowych, kursów walut,…)

 Sterowania i optymalizacji (np. różnych urządzeń ze sprzężeniem zwrotnym, …)

 Analizy i grupowania (np. w marketingu, sprzedaży, produkcji,…)

 Analizy ryzyka i opłacalności (np. kredytów i pożyczek bankowych,…)

 Doboru (np. surowców, składników, dla których nie jest znana technologia)

… i wielu innych zagadnień, gdzie nie znamy algorytmu lub jego założenia są rozmyte albo złożoność obliczeniowa klasycznych rozwiązań zbyt duża.

Obecny rynek rozwiązań z zakresu sztucznej inteligencji i sieci neuronowych liczy sobie 20 000 000 000 USD rocznie i z roku na rok wykładniczo rośnie.

(15)

Sztuczne sieci neuronowe

Sztuczne sieci neuronowe są pewnymi bardzo uproszczonymi modelami rzeczywistych sieci (grafów) neuronowych funkcjonujących np. w ludzkim mózgu.

(16)

Uczenie sztucznych sieci neuronowych

Obecnie istnieje kilkadziesiąt podstawowych metod uczenia sieci neuronowych dla różnych architektur sieciowych, zbudowanych z różnego rodzaju neuronów o różnych funkcjach aktywacji. Wiele z nich polega na minimalizacji pewnej funkcji błędu sieci, jaki powstaje pomiędzy wzorcami uczącymi i rzeczywistą odpowiedzią sieci na prezentowany jej wzorzec. Stosowane są różne metody minimalizacji – najczęściej gradientowe. Istnieje jednak również wiele innych podejść wywodzących się z biologii, gdyż obecne modele sztucznych sieci neuronowych funkcjonalnie dosyć daleko odeszły od ich biologicznych pierwowzorów (ze względu na ograniczoną wiedzę o ich funkcjonowaniu i tworzeniu się).

W sztucznych sieciach neuronowych często stosuje się:

 Metody gradientowe oparte o minimalizację funkcji błędu (problem lokalnych minimów, braku zbieżności do minimum globalnego oraz przeuczenia się)

 Połączenia neuronów na zasadzie każdy z każdym

 Warstwowe ułożenie neuronów (występujące tylko w pewnych strukturach mózgu)

 Różne metody agregacji sygnałów wejściowych (sumowanie, iloczyn)

 Różne ciągłe i nieciągłe funkcje aktywacji (sigmoidalna, tangensoidalna, radialna) które niestety mają niewiele wspólnego z działaniem biologicznych neuronów, ograniczają ich działania lub modelują tylko w bardzo ograniczonym stopniu rzeczywiste struktury neuronowe… ALE mimo to działają i umożliwiają wykonywanie różnych obliczeń w oparciu o uczenie się i dostrajanie parametrów sieci.

(17)

Uczenie sztucznych sieci neuronowych

Do najbardziej znanych i powszechnie wykorzystywanych metod uczenia sieci neuronowych należą:

Reguła Hebba polegająca na wzmacnianiu tych połączeń synaptycznych (A~B), w których aktywność jednego neuronu A powoduje aktywność drugiego połączonego z nim neuronu B. Odpowiada to empirycznym badaniom nad LTP (long term potentiation).

Metoda wstecznej propagacji błędów (back propagation) umożliwiająca uczenie sieci wielowarstwowych poprzez propagację różnicy pomiędzy pożądanym a otrzymanym sygnałem na wyjściu sieci.

Samoorganizacja w sieci neuronowej (np. SOM) umożliwiają uczenie sieci bez nauczyciela (unsupervised), którego celem jest wykształcenie w sieci neuronów, które by reagowały na pewne powtarzające się kombinacje bodźców z przestrzeni danych, którym można później przypisać pewne znaczenie. W tych sieciach wzmacniany jest neuron, który osiąga największą wartość pobudzenia oraz ew.

również otaczające go neurony, co zapewnia sytuowanie podobnych kombinacji bodźców blisko siebie.

Sieci rekurencyjne (np. sieci Hoppfielda), których bodźce krążą przez pewien określony czas aż do osiągnięcia pewnego stanu stabilności, który jest traktowany jako odpowiedź sieci.

(18)

Jak wygląda postawienie zadania dla sieci neuronowej

Mamy pewien zbiór uczący i nie znamy reguł np. klasyfikacji obiektów (Iris). Sieć neuronowa ma za zadanie znalezienie tych zależności oraz ich uogólnienie na przypadki, których nie było w zbiorze uczącym – podobnie jak dzieje się to mózgu.

(19)

Tworzenie asocjacyjnej neuronowej grafowej struktury

danych dla danych zbioru uczącego Iris

(20)

(21)

Aktywne asocjacyjne sieci neuronowe reprezentujące 150 wzorców Iris

(22)

Określanie dyskryminatywnych kombinacji przedziałów wartości dla klas

(23)

ASONN – Associative Self-Optimizing Neural Network dla Iris

W wyniku procesów asocjacji można określić najbardziej dyskryminatywne kombinacje przedziałów i podzbiorów wartości poszczególnych parametrów wejściowych, które będą definiowany poszczególne klasy i umożliwiały klasyfikację.

(24)

EWOLUCJA PRZETWARZANIA DANYCH W INFORMATYCE

(25)

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie.

TABLE

(26)

TABLE

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem

wszystkich parametrów równocześnie.

(27)

TABLE

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem

wszystkich parametrów równocześnie.

(28)

TABLE

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem

wszystkich parametrów równocześnie.

(29)

TABLE

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem

wszystkich parametrów równocześnie.

(30)

TABLE

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem

wszystkich parametrów równocześnie.

(31)

TABLE

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem

wszystkich parametrów równocześnie.

(32)

TABLE

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem

wszystkich parametrów równocześnie.

(33)

TABLE

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem

wszystkich parametrów równocześnie.

(34)

TABLE

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem

wszystkich parametrów równocześnie.

(35)

TABLE

Transformacja tabeli bazy danych do postaci asocjacyjnej struktury

Grafowa struktura ASSORT umożliwia szybkie sortowanie względem

wszystkich parametrów równocześnie.

(36)

TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5

(0)

TRAINING SEQUENCES and their frequency of repetition in the training sequence set

ANAKG E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

(37)

(1)

ANAKG

E2:1

E1:1 E3:1

d=1,00 | WE2,E3=1,00 d=0,50 | WE1,E3=0,67 d=1,00 | WE1,E2=1,00

S1

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ

DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5

(38)

(2)

ANAKG S2

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

E2:2

E1:1 E3:1

E4:1 E6:1

E5:1

d=1,00 | WE4,E5=1,00

d=0,50 | WE4,E2=0,67 d=1,00 | WE5,E2=1,00 d=1,00 | WE1,E2=1,00

TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ

DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5

(39)

(3)

ANAKG S3

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

E2:3

E1:1 E3:1

E4:1 E6:1

E5:2

E8:1

E7:1 d=0,50 | WE5,E8=0,40

d=1,00 | WE7,E5=1,00 d=1,00 | WE4,E5=1,00

d=0,50 | WE4,E2=0,67 d=0,50 | WE7,E2=0,67 d=2,00 | WE5,E2=1,00 d=1,00 | WE1,E2=1,00

TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ

DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5

(40)

(4)

ANAKG S4

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

E2:3

E1:1 E3:1

E4:1 E6:1

E5:2

E8:2 E7:2

E9:1

d=1,00 | WE7,E5=0,67 d=1,00 | WE7,E9=0,67 d=1,00 | WE4,E5=1,00

TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ

DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5

(41)

(5)

ANAKG S5

E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

E2:4

E1:1 E3:2

E4:2 E6:1

E5:2

E8:2 E7:2

E9:1

d=1,00 | WE7,E5=0,67 d=1,00 | WE7,E9=0,67 d=1,00 | WE4,E5=0,67

TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ

DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5

(42)

(6)

ANAKG E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

E2:9

E1:1 E3:3

E4:7 E6:5

E5:6

E8:4 E7:4

E9:3

d=1,00 | WE7,E5=0,29 d=3,00 | WE7,E9=0,86 d=5,00 | WE4,E5=0,83

S2 S4 S5

4x 2x 1x

TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ

DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5

(43)

EWALUACJA ASOCJACYJNEJ SIECI NEURONOWEJ Zewnętrzne pobudzenie neuronu E4 wywołuje następujący bieg

sztucznych skojarzeń: E4  E5  E2  E6

Otrzymana odpowiedź (sekwencja aktywacji neuronów) odpowiada sekwencji uczącej S2:

(7)

ANAKG E1 E2

S1 E3

1x

E4 E5

S2 E2 E6

5x

E7 E5

S3 E2 E8

1x

E7 E9

S4 E8

3x

E4 E2

S5 E3

2x

E2:9

E1:1 E3:3

E4:7 E6:5

E5:6

E8:4 E7:4

E9:3

d=1,00 | WE7,E5=0,29 d=3,00 | WE7,E9=0,86 d=5,00 | WE4,E5=0,83

(44)

PORÓWNANIE DWÓCH SIECI UCZONYCH RÓŻNĄ ILOŚCIĄ SEKWENCJI

(45)

2x actively 1x aggregates

4x and

1x a

1x basis

1x be

1x being

1x associative

1x consolidates 1x can

1x comes

1x for 1x fundamental

5x facts 1x intelligence

1x into

2x is

1x in

1x not 7x knowledge

1x objects

3x of 2x on

1x reacts

3x rules

1x set 1x representation

2x represented

1x systems 3x the

2x various

d=2,00 w=0,44

d=1,00 w=0,67

d=1,00 w=1,00

d=3,00 w=0,86

d=3,00 w=0,75

d=2,00 w=0,80

d=1,00 w=1,00 d=1,00 w=1,00 d=1,00 w=1,00 d=1,00 w=0,67

d=1,00 w=1,00

d=1,00 w=0,50 d=2,00 w=1,00 d=1,00 w=1,00 d=1,00 w=1,00 d=1,00 w=0,25

d=1,00 w=1,00

d=1,00 w=1,00 d=1,00 w=0,25

d=2,00 w=1,00 d=1,00

w=0,25

d=1,00 w=0,67

d=1,00 w=1,00

d=1,00 w=0,50

d=1,00 w=0,67

d=1,00 w=1,00

d=1,00 w=0,40 d=0,33

w=0,40

d=0,33 w=0,40

d=0,33 w=0,29

d=0,50 w=0,40

d=0,33 w=0,20

d=1,00 w=0,50 d=0,50 w=0,67 d=1,00

w=0,25

d=1,00 w=1,00

d=1,00 w=0,67

d=1,00 w=0,67 d=0,50

w=0,67

d=0,50 w=0,40 d=0,50

w=0,13

d=1,00 w=1,00

d=0,50 w=0,67 d=1,00

w=0,50

d=1,00 w=1,00 d=1,00 w=0,25

d=1,00 w=1,00 d=1,00

w=0,50

d=0,33 w=0,50 d=0,50

w=0,13

d=0,50 w=0,13

d=0,50 w=0,67 d=0,50 w=0,67 d=0,50

w=0,67

7x START _w=1,00^d=7,00

d=7,00 w=1,00

d=0,33 w=-0,5 d=0,33

w=0,50

STRUKTURA SIECI NEURONOWEJ REPREZENTUJĄCEJ

(46)

Response to „What is knowledge?”

As-neurons are consecutively activated after training sequences and give the answers:

 Knowledge is fundamental for intelligence.

(47)

WYKORZYSTANIE DO AUTOMATYCZNEJ KOREKTY TEKSTÓW

(48)

LITERATURA I BIBLIOGRAFIA DO WYKŁADU

1. J. E. Hopcroft, R. Motwani, J. D. Ullman, „Wprowadzenie do teorii automatów, języków i obliczeń”, PWN, Warszawa, 2005.

2. Adrian Horzyk, Asocjacyjna sztuczna inteligencja i sztuczne systemy skojarzeniowe, monografia habilitacyjna, 2013.

3. Adrian Horzyk, How Does Human-Like Knowledge Come into Being in Artificial Associative Systems, Proc. of the 8-th International Conference on Knowledge, Information and Creativity Support Systems, Kraków, 2013.

4. Tadeusiewicz R.: Wybrane zagadnienia cyfrowego modelowania fragmentów systemu nerwowego. W materiałach II Ogólnopolskiego Sympozjum: System - Modelowanie -Sterowanie, Zakopane 1974, 112-114

5. Tadeusiewicz R.: Elementarne wprowadzenie do sieci neuronowych z przykładowymi programami, Akademicka Oficyna Wydawnicza, Warszawa, 1998

6. De Schutter E.: Using realistic models to study synaptic integration in cerebellar Purkinjego cells, Reviews in the Neurosciences,10, 1999, 233-245 7. http://www.uci.agh.edu.pl/uczelnia/tad/multimedia/