Instytut Badań Systemowych Polska Akademia Nauk
Mgr Victor B. Taylor Rozprawa doktorska
HeBIS: Inspirowany Biologicznie System Klasyfikacji Danych
Autoreferat
Promotor: Prof. dr. hab. inż. Janusz Kacprzyk
Instytut Badań Systemowych Polska Akademia Nauk
Warszawa, październik 2011
Spis treści
Spis treści 2
1. Wstęp 2
2. Przegląd literatury 3
3. Heterogeniczny biologicznie inspirowany system HeBIS 5
4. Wybrane symulacje i analiza wyników 10
5. Podsumowanie i wnioski 12
6. Przyszłe prace badawcze 14
Bibliografia 16
1. Wstęp
Odczuwa się obecnie powszechnie potrzebę szybkiego wydobywania wiedzy w celu zarządzania za- sobami naturalnymi. Wydobywanie tej wiedzy dla celów lokalnych, regionalnych i globalnych jest związane z chęcią precyzyjniejszego zbadania problemów, dotyczących czynników naturalnych i antropogenicznych zmian środowiskowych. Dane zbierane są przez wielką liczbę satelitarnych plat- form, należących do różnych agencji, narodowych i międzynarodowych. Oznacza to ogromną masę danych, takich jak, np., przekazywane przez czujniki MODIS agencji NASA, obejmujące terabajty danych w postaci obrazów Ziemi.
Zagadnienia klasyfikacji, związane z analizą obrazów satelitarnych, są trudne z wielu powodów. Na- leżą do nich: zakłócenia widmowe i przestrzenne obrazów z obserwowanych terenów, utrata danych z powodu pokrywy chmur, zakłócenia w dziedzinie czasu, a także błędne przypisywanie etykiet klas, czy to spowodowane przez ludzi, czy przez automaty. Wielość specyficznych cech regionalnych, takich jak odmienność charakteru obszarów nadbrzeżnych, cech powierzchni terenu, rozmaitości po- wierzchni oceanicznych i związane z tym trudności analityczne także zwiększają trudność pozyski- wania wiedzy na podstawie satelitarnych obrazów optycznych.
Prezentowane badania dotyczą metody, dostarczającej wiedzy klasyfikacyjnej do analizy obrazów.
Badania oparto na współczesnych technikach uczenia maszynowego, powiązanych tak, by uzyskać nowy system oparty na bieżących osiągnięciach ewolucyjnej biologii rozwoju. W szczególności, opiera się on na spostrzeżeniu, że ewolucja wyposażyła organizmy żywe w efektywne instrumenty poruszania się na podstawie obfitych danych wśród zasadzek i nagród, związanych z przeżyciem w niesprzyjającym środowisku. Autor pragnie wyrazić nadzieję, że nowa metoda, wykraczająca poza typowe sieci neuronowe, pozwoli efektywniej analizować skomplikowane struktury danych.
Rozprawa poświęcona jest opracowaniu i analizie algorytmu, tworzącego samoorganizujące sieci klasyfikujące. HeBIS (Heterogeniczny biologicznie inspirowany system) jest taką siecią klasyfikującą i może być oparty na powiązaniu różnorakich narzędzi uczenia maszynowego, takich jak samoorga- nizujące się sieci Kohonena (SOFM), sztuczne sieci neuronowe (ANN), czy maszyny wektorów pod- pierających (SVM) [1]. Biologiczny kontekst samoorganizacji i komunikacji między prostymi ele- mentami przetwarzania danych, lub komórkami, w ramach sieci, to kontekst genetycznych sieci regu- lujących i rozwoju ewolucyjnego [2, 3, 4]. Każda komórka składa się ze sztucznego genomu, wypo- sażonego w przełączniki stymulujące i destymulujące, sterowane za pomocą komunikacji sztucznych białek w symulowanej kracie środowiskowej, w której umieszczona jest komórka. W każdej komór- ce, białkowe przełączniki sterują ekspresją poszczególnych białek z poszczególnych komórek. Białka te dyfundują poprzez kratę i zarazem są wykorzystywane do komunikacji pomiędzy elementami prze- twarzającymi. Komunikacja ta jest oparta na chemii sztucznych białek i ich stężeniach.
Samoorganizacja i ewolucja sieci zachodzą na kilku poziomach. Topologia sieci na wyższym pozio- mie – liczba i typy prostych komórek (SOFM, ANN czy SVM) – może się zmieniać, podobnie, jak wewnętrzna organizacja każdej z komórek. Na tym niższym poziomie możemy mówić o zmiennych parametrach, jak, np. wybór jądra w elemencie typu SVM. Sztuczne białka, wykorzystywane do ko- munikacji między elementami przetwarzającymi oraz między „otoczeniem” (dane wejściowe) a topo- logią klasyfikatora, także adaptują się do dziedziny zastosowań. Te białka komunikacyjne i „środowi- skowe” są uwalniane do kraty klasyfikującej, jeśli odpowiadające im geny są aktywne.
1.1. Sformułowanie zagadnienia
Zasadnicza teza rozprawy to uznanie inspiracji biologicznej za niezwykle istotną zasadę, pozwalającą osiągnąć wartościowe i użyteczne cechy w zakresie klasyfikacji i hybrydyzacji. To może prowadzić do bardzo efektywnych narzędzi rozwiązywania zagadnienia klasyfikacji dla obrazów satelitarnych.
Badania dotyczą stwierdzenia, czy kombinacja sztucznej sieci sterującej genów (GRN) i podstawo- wych elementów uczenia maszynowego w postaci samoorganizującej się sieci jest efektywna w za-
stosowaniu do wielowymiarowej klasyfikacji binarnej, zwłaszcza – wektorów cech z optycznych ob- razów satelitarnych. To szczegółowe studium przypadku pozwoli ocenić działanie nowej koncepcji hybrydyzacji oraz sposoby jej dostosowywania do określonej klasy zadań praktycznych.
1.2. Zakres badań
-- Skonstruowane zostaną proste GRN:
--- uproszczone reprezentacje sztucznych białek
--- interakcja białek za pomocą prostej „chemii” tych białek
--- rozmiary i stopień skomplikowania są ograniczone poprzez dostępne zasoby obliczeniowe -- Samoorganizacja:
--- uproszczona przez obliczenia ewolucyjne, w tym przypadku algorytmy rojowe (PSO), a także niewielki zbiór reguł samoorganizacji, inspirowanych ewolucyjną biologią rozwoju oraz analizą statystyczną
--- prosty algorytm uczenia klasyfikacji oparty jest na wielokrotnym wprowadzaniu obserwacji do sieci klasyfiku- jącej w ramach algorytmu PSO
-- Analiza dokładności rzeczywistych zagadnień klasyfikacji binarnej
-- Ocena odporności dla znanych zadań testowych będzie prowadzona dla przypadków z danymi zakłóconymi oraz z brakującymi danymi
-- Analiza pojedyńczej klasyfikacji binarnej dla obrazów optycznych
-- Porównania zostały ograniczone do prostych implementacji jąder dla SOFM, podczas, gdy ewentualne porówna- nia dla jąder w zakresie SVM i ANN będą przedmiotem dalszych prac
-- Nie jest przedmiotem prezentowanych badań głębsza analiza zalet i wad różnych algorytmów uczenia SOFM.
1.3. Główne osiągnięcia i wyniki
• Nowatorskie zastosowanie hybrydowego narzędzia opartego na analogii biologicznej z uczeniem maszy- nowym do praktycznego zadania klasyfikacji
• Określenie efektywności prostej GRN w zastosowaniu do klasyfikacji wielowymiarowej
• Sztuczne białka przekazują informację klasyfikacyjną i wyniki do i z komórkowych jąder uczenia maszy- nowego
• Uczenie sieci GRN przy pomocy algorytmów rojowych (PSO)
• Zastosowanie systemu klasyfikacji opartego na GRN do zadania analizy optycznych obrazów satelitarnych – wykrywania „chmur” na obrazach
• Porównanie działania systemu HeBIS i algorytmu klasyfikacji opartego wyłącznie na SOFM na danych oryginalnych, danych zakłóconych oraz danych z brakującymi wartościami.
2. Przegląd literatury
2.1. Samoorganizujące się sieci Kohonena (SOFM)
Sieć systemu HeBIS może być traktowana jako rodzaj SOFM, ale z elementami przetwarzającymi bardziej skomplikowanymi niż proste neurony SOFM. Niektóre z ogólnych koncepcji tutaj przedsta- wionych zostały włączone do architektury HeBIS.
SOFM, opisane przez Kohonena [5], składają się z prostych neuronów, ułożonych w kracie, o wymia- rowości zazwyczaj znacznie niższej niż dane wejściowe. Zależności pomiędzy neuronami są trakto- wane jak wektory wag. Wagi są modyfikowane w miarę, jak dane wejściowe są kolejno podawane na wejścia SOFM. Podawanie wektora wejściowego jest związane z ustaleniem neuronu o wagach „naj- lepiej” odwzorowujących daną wejściową według określonej definicji odległości (najczęściej Eukli- desowej). Ten proces „dopasowywania” można porównać do kwantyzacji wektorowej, której jednak towarzyszy aktualizacja wag w sąsiadujących neuronach (funkcja aktualizacji sąsiedzkiej może przy- bierać wiele postaci, [5]).
Po zakończeniu procedury podawania danych i stwierdzeniu zbieżności SOFM ([6]), sieć zawiera strukturalną reprezentację zbioru danych wejściowych o pewnym stopniu topologicznej odpowied- niości do danych wejściowych. Wektory wag SOFM tworzą rodzaj odwzorowania cech. Wynikowa SOFM jest zazwyczaj określona w dwóch lub trzech wymiarach i jest używana w wielu zastosowa- niach, takich jak wizualizacja „istotnych” podobieństw w zbiorze wielowymiarowych danych, klasy-
fikacja, czy aproksymacja funkcji [7, 8]. Rys. 1 pokazuje schemat zależności wejścia/wyjścia i przy- kład odwzorowania z neuronami służącymi do klasyfikacji. Wektor wejścia oznaczono X, a wagi wij odpowiadają powiązaniom między tym wektorem a komórkami wyjściowymi sieci SOFM, N.
Rys. 1. Sieć samoorganizująca się
2.2. Obliczenia ewolucyjne
W opisywanej pracy, algorytmy rojowe (PSO) służą głównie ułatwieniu szerokiego przeszukiwania przestrzeni genomów HeBIS, [9]. Genomy odnoszą się do białek, używanych do komunikacji w He- BIS w ramach GRN. Genomy także opisują własności poszczególnych komórek. Szukanie przy po- mocy PSO jest konieczne, aby móc szybko sprawdzać duży zbiór potencjalnych rozwiązań. W algo- rytmach tych populacja potencjalnych rozwiązań porusza się, przekazując wewnętrznie informację o przestrzeni rozwiązań, [10]. HeBIS używa PSO przy uczeniu, stąd dokładniejszy opis w dalszej czę- ści. Algorytmy rojowe są rodzajem algorytmów ewolucyjnych, użytecznych przy wielowymiarowej optymalizacji nieliniowej (por. Kennedy i Eberhard, [10]).
2.3. Biologiczny i sztuczny rozwój ewolucyjny
Biologiczny rozwój ewolucyjny („evo-devo”) oznacza proces, w którym fenotyp osobnika rozwija się na bazie genotypu [11]. To zjawisko biologiczne zostało zastosowane w opracowaniu systemu klasy- fikacji HeBIS. Jest ono podstawą samoorganizującego sterowania i komunikacji w klasyfikatorze HeBIS. W ogólności, analiza rozwoju ewolucyjnego („evo-devo”) stara się poznać i wyzyskać zasa- dy, zgodnie z którymi ogromna ilość informacji, opartej na zaledwie czterech cząsteczkach, tworzą- cych geny, a następnie genomy, jest w określonym – zmieniającym się – środowisku przetwarzana na fenotyp. Kompletny dorosły organizm osobnika jest wynikiem procesów sterowania i komunikacji w tym rozwijającym się systemie chemicznym, w którym zasadniczą rolę spełniają białka.
Intensywne interakcje chemiczne są charakterystyczne dla ewoluujących w czasie i przestrzeni biał- kowych sieci komunikacyjnych, zachowujących odpowiedni poziom samoorganizacji. Siła tych pro- cesów wydaje się wynikać z ciągłego wykorzystywania białek w rozwijających się sieciach [12]. Sie- ci takie nazywamy właśnie GRN. Idea GRN, jako sieci sterującej, jest jedną z podstaw prezentowanej pracy i budowy klasyfikatora. Może ona służyć także jako podstawa do projektowania systemów ste- rowania i komunikacji do budowy skomplikowanych struktur, takich jak roboty.
Samoorganizacja w HeBIS jest oparta na pięciu zasadach „evo-devo” (Kumar i Bentley, [13]):
• Podział – proces tworzenia, poprzez podział, nowych komórek z komórki wyjściowej;
• Tworzenie kształtu – czasoprzestrzenny proces, organizujący układ i czynności komórkowe organizmu;
koncepcja informacji pozycyjnej pozwala poszczególnym komórkom zajmować miejsce w organizmie we- dług określonych gradientów dyfuzji,
• Morfogeneza – proces wzrostu organizmu i rozwoju jego trójwymiarowego kształtu,
• Zróżnicowanie komórkowe – pozwala komórkom organizmu nabywać różne własności, jak np. komórkom skóry, nerek, czy neuronom; własności te są ostatecznie efektem odpowiednich zmian w ekspresji genów i ich sygnalizacji w poszczególnych komórkach; spowodowane to jest – między innymi – przez komunikację międzykomórkową i niesymetryczny podział komórek;
• Wzrost – powiększanie masy organizmu za pośrednictwem podziału i namnażania komórek.
Te podstawowe pięć aspektów rozwoju ewolucyjnego odwołuje się do mechanizmów sygnalizacji komórkowej, zarówno w komunikacji międzykomórkowej, jak i wewnątrzkomórkowej. Te mechani- zmy, krótkiego i dalekiego zasięgu, nazywamy razem siecią sterująca genów (GRN).
HeBIS zawiera sztuczną GRN, opartą na cechach biologicznej GRN. Omówimy więc pewne podsta- wowe pojęcia z tym związane. I tak, Kumar i Bentley, [13], zaproponowali termin „rozwój oblicze- niowy” dla zastosowania zasad rozwoju biologicznego w informatyce. Terminu tego można użyć do opisania badań wiążących genotyp, otrzymany w wyniku obliczeń ewolucyjnych, z jego cechami fizycznymi i neurologicznymi. Efekty „rozwoju obliczeniowego”, wymienione w [13], to, m.in.:
Zalety:
• Redukcja rozmiarów genotypu
• Samoistne pojawienie się złożoności
• Złożone genotypy są oparte na prostych genotypach
• Rozwój hierarchiczny z wielokrotnym użyciem funkcjonalności modularnej
• Adaptacyjność
• Odporność na zakłócenia
• Możliwość regenerowania uszkodzonej funkcjonalności
• Możliwości regulacyjne.
Wady:
• Trudności z komputerową realizacją ewolucji
• Analiza pętli sprzężeń zwrotnych i wyprzedzających w sieciach sygnalizacyjnych otrzymanych w wyniku ewolucji GRN jest trudna
• Koszt obliczeniowy wyższy niż w przypadku tradycyjnych metod obliczeń ewolucyjnych.
Bentley wykorzystywał także rozwój obliczeniowy jako podstawę do ewolucyjnego uzyskiwania ste- rowania robotami, dla przykładowego robota zwanego „wonderborg” [2]. Ruchy robota są związane bezpośrednio z genami, o ekspresji otrzymanej z sieci sterującej, wynikającej z ewolucji. Informacja o świecie zewnętrznym jest reprezentowana w postaci odpowiednich białek. W tej pracy po raz pierwszy użyto złożonej sztucznej chemii opartej na fraktalach Mandelbrota. W wyniku obliczeń ewolucyjnych (algorytmu genetycznego), sterowniki oparte na GRN wyewoluowały, by następnie efektywnie kierować robotem w labiryncie. Sterowniki te były wyjątkowe, jako, że automatycznie tworzyły moduły funkcjonalne, używane na rozmaite sposoby do nawigacji w labiryncie. Koncepcja tych modułów nie była a priori zaprojektowana, ale rozwinęła się w wyniku użycia GRN do sygnali- zacji i regulacji. Nie dzieje się tak w programowaniu genetycznym, ani w parametrycznych syste- mach L, [14].
3. Heterogeniczny biologicznie inspirowany system HeBIS 3.1. Przegląd ogólny
HeBIS jest samoorganizującym się systemem klasyfikującym, inspirowanym przez właściwości or- ganizmów żywych pozwalające im wzrastać od fazy zapłodnionego jaja do kompletnego fenotypu przez przetwarzanie otrzymanego genomu. Proces ten jest zakodowany przy pomocy genów w geno- typie oraz ich interakcje w czasie i z ich otoczeniem chemicznym poprzez GRN. Użycie GRN pozwa- la na zwięzłe zakodowanie informacji o rozwoju, samoorganizującym i odpornym. Ta sama sieć re- akcji metabolicznych między białkami stanowi podstawę stabilnego sterowania metabolicznego roz- woju organizmu. Została ona wykorzystana do stworzenia klasyfikatora obrazów satelitarnych.
Struktura przetwarzania w HeBIS złożona jest z następujących obszarów funkcjonalnych:
• Środowisko symulacji interakcji białkowych
• Sieć sterująca genów (GRN)
• Podstawowe typy komórek, ich przetwarzanie i zachowanie
• Reprezentacja wektorów danych wejściowych i klas
• Reprezentacja klas wyjściowych
• Uczenie klasyfikacji
• Optymalizacja ewolucyjna.
Rys. 2 pokazuje schemat kraty środowiska HeBIS w odniesieniu do komórek, genomów i białek.
Output
Processing Kernel (ANN,SOM,
or SVM)
Protein Hologram
Environmental Protein
Regulatory Protein
Cell Receptor Protein
Phased Input Detector Environmental Protein
Cell Membrane
Control
Genome
Rys. 2. Schemat kraty środowiskowej i przetwarzania komórkowego
Wprowadzimy obecnie zasadnicze elementy systemu i jego działania.
3.2. Podstawy
3.2.1. Przetwarzanie komórkowe
Komórka, jako element przetwarzający, jest sztucznym tworem o określonej lokalizacji w środowisku przetwarzania białkowego. Rozróżniamy wnętrze („cytoplazmę”) i otoczenie komórki. Główne ele- menty, zawarte w cytoplazmie, to białka receptorowe, genom sterujący, blok wyjściowy oraz jądro przetwarzania. Elementy te są sztucznymi odpowiednikami elementów biologicznych.
Białka receptorowe i bloki wyjściowe odwzorowują wartości numeryczne na koncentracje sztucznych protein z odpowiednim skalowaniem. Przetwarzające jądro komórkowe zapewnia funkcjonalność uczenia maszynowego. W obecnej chwili jest ona ograniczona do SOFM.
Taka architektura stwarza genom w poszczególnych komórkach. Genom ten ma możliwość kreowa- nia sieci komórek z jądrami przetwarzającymi, rozwiązującej konkretne zadanie klasyfikacji. Struktu- ra wyższego poziomu dostarcza mechanizm uczenia i analizy, pozwalający na uczenie genomu przy pomocy obliczeń ewolucyjnych, tj. algorytmów rojowych.
Genom komórki składa się z genów, kodujących sztuczne białka, wynikających z działania algorytmu uczącego HeBIS. Steruje on zachowaniami komórki, uruchamiając, dezaktywując i zmieniając jej zachowania zgodnie ze stężeniami regulujących i rozpoznawanych białek. Poprzez takie interakcje pojedyncza komórka samoorganizuje się do bardziej skomplikowanej sieci klasyfikującej.
Genom i jego GRN są optymalizowane dla konkretnego zadania przy pomocy optymalizatora rojo- wego, zastosowanego do zbioru danych uczących z dziedziny rozwiązywanego zadania.
3.2.2. Sieć sterująca genów GRN
Rozwój biologiczny używa genów do określania białek, które, z kolei, są wykorzystywane do wielu nakładających się celów, [2]. Cele te obejmują aktywację i dezaktywację innych genów, a także ko- munikację wewnątrz- i między-komórkową. GRN jest systemem modularnym, używającym wielo- krotnie tych samych genów do różnych celów i do tworzenia wielu rodzajów białek o wielorakim przeznaczeniu. Białka i interakcje metaboliczne są zorganizowane w uczący się system, [16].
Sztuczne tworzenie białek jest aktywowane lub dezaktywowane przez inne białka, sterowane prze- łącznikami genetycznymi zawartymi w genomie przetwarzającej komórki. Białka te dyfundują po- przez symulowane środowisko, zawierające sieć rozmaitych komórek przetwarzających. Dyfuzja następuje w dyskretnych momentach, a stężenie białek spada w określonym odcinku czasu, [17]. Po- dobnie jak w rzeczywistości, stężenie jest definiowane jako iloraz masy jednostki i jej objętości. Ko-
munikacja między przetwarzającymi elementami stanowi nieodłączny składnik systemu białek i prze- łączników genetycznych, który ewoluuje w trakcie uczenia, [2].
3.2.3. Kodowanie genów
Genom wewnątrz każdej komórki HeBIS składa się z co najmniej jednego genu. Liczba genów, w zasadzie nieograniczona, jest ustalana dla każdej symulacji. Relacje hierarchiczne między genomem, genami i białkami, pokazane na Rys. 3, są znacznym uproszczeniem rzeczywistości biologicznej.
Rys. 3. Hierarchia białek
Każdy z genów z rysunku zawiera szereg obszarów funkcjonalnych. Obszary te obejmują białko przełącznikowe, typ genu, działanie, które może być powiązane z genem, oraz jeden lub więcej opi- sów białek. Obszar białka przełącznikowego jest opisem dokładnie spasowanego białka, aktywujące- go konkretną akcję lub akcje, związane z genem. Biologicznie, białko przełącznikowe (Rys. 4) okre- śla dopasowanie białkowe, będące warunkiem uruchomienia konkretnych akcji. Dopasowanie (podo- bieństwo) białka do podanego wzorca musi być odpowiednio duże.
Rys. 4. Opisy białka sterującego lub środowiskowego oraz białka przełącznikowego
Obszar typu genu określa gen za pomocą jednego lub więcej następujących atrybutów, powiązanych funkcją OR: Gen działania || Białko sterujące || Białko środowiskowe || Białko receptora komórki. Po aktywacji genu, obszar typu genu określa, czy komórka zaczyna, czy przestaje produkować białka sterujące lub środowiskowe, a także – czy wykonywana jest jedna z wyuczonych czynności komórki.
Obszar działania określa możliwe czynności komórki, takie jak na przykład:
• Dodaj-komórkę (AddCell)
• Odchudź-się (PruneSelf)
• Przejdź-do-SOFM-i-ucz-się (ChangeToSOFMAndTrain)
• Klasyfikuj (Classify).
Obszary opisów białek (sterujących, środowiskowych i receptorów komórkowych) w genach opisują białka produkowane i wysyłane do cytoplazmy lub środowiska. Białka sterujące i receptorowe prze- znaczone są do użytku wewnątrzkomórkowego, zaś środowiskowe są wysyłane wprost do kraty, w której umieszczona jest komórka.
3.2.4. Komunikacja białkowa
Komunikacja białek pomiędzy komórkami przetwarzającymi opiera się na: dyfuzji białek w środowi- sku i cytoplazmie, sztucznej chemii, pozwalającej białkom na reagowanie między sobą i tworzenie nowych białek, a także dopasowywanie białek.
Dyfuzja zachodzi w trójwymiarowej kracie. Równanie dyfuzji jest zdyskretyzowanym skalarnym laplasjanem, zgodnie z równaniem
(1)
gdzie h = 2, zaś ψ(x,y,z) to stężenie białek w punkcie (x,y,z) dyskretnego środowiska.
Chemia w HeBIS jest prosta i mało przypomina odpowiednik biologiczny. Reakcje zachodzą z praw- dopodobieństwem określonym rozkładem normalnym, tam, gdzie stykają się dwa lub więcej białek.
Zachodząca reakcja zużywa reagujące białka, których stężenia się zmniejszają, jednakże ogólny po- ziom stężeń jest zachowany.
Dopasowanie białek, podstawę komunikacji w HeBIS, opisano już poprzednio. Jego rola to naślado- wanie funkcji aktywujących i dezaktywujących na poziomie genetycznym oraz rozpoznawanie kształtu, właściwe białkom rzeczywistym.
3.2.5. Genom komórkowy a sterowanie
Genom komórkowy steruje komórką tak, by jej zachowanie uzupełniało strukturę i możliwości cało- ściowej sieci klasyfikującej komórek. Zachowanie sieci zbudowane jest na „słowniku” prostych dzia- łań, wykonywanych i regulowanych w obrębie komórek. Proste działania komórek mogą prowadzić do złożoności w miarę, jak komórki współdziałają ze sobą w ramach GRN. Genom komórki funkcjo- nuje na dwa współistniejące sposoby – uczenie i przetwarzanie (lub: wytwarzanie).
W ramach uczenia początkowy genom komórki ze zmienną liczbą genów ewoluuje w celu klasyfika- cji przykładów uczących w ramach obliczeń ewolucyjnych. Ten genom, po ewolucji, pozwala sieci rosnąć, jeśli to jest potrzebne, od początkowej pojedynczej komórki, do sieci, której rozmiary i cechy odpowiadają własnościom (statystycznym) zadania. W trybie przetwarzania, genom używa wyewo- luowanego „programu” sterującego i GRN do klasyfikowania nowych danych z tej samej dziedziny.
Zachowania wewnętrzne komórki. Są to działania wykonywane na początku każdego kroku w czasie, po tym, jak białka zareagowały i dyfundowały w środowisku. Te działania dostarczają genomowi informację statystyczną o białkach obecnych w komórce i jej otoczeniu.
Wyuczone zachowania komórki. Są to działania, wynikające z interakcji komórki w ramach GRN.
Działania te zachodzą, ponieważ aktywowana jest określona sekwencja genów na skutek obecności i właściwego stężenia odpowiednich białek w cytoplazmie. Te działania mogą wykorzystywać infor- mację zakodowaną w białkach w ramach zachowań wewnętrznych komórki. Proste zachowania wy- uczone składają się na bardziej złożone działania poprzez nieliniowe odwzorowanie w ramach GRN.
Te zachowania są realizacją komunikacji i sterowania w sieci klasyfikującej, wykorzystującej infor- mację z zachowań wewnętrznych oraz środowiskowych GRN. Omawiane działania zachodzą po re- akcjach chemicznych, dyfuzji i zachowaniach wewnętrznych.
3.2.6. Reprezentacja danych wejściowych
Obecnie jest używana w HeBIS jedna metoda odwzorowywania danych testowych i uczących na sztuczne białka. Odpowiednia procedura została zilustrowana na Rys. 5. Konkretne odwzorowanie cech (klas) na białka jest w sposób arbitralny ustalane w trakcie przetwarzania wstępnego. Jedynym ograniczeniem jest, by zachować jednoznaczność odwzorowania dla każdej cechy. Stąd, konkretne białko jest zawsze jednoznacznie powiązane z określoną cechą (klasą) w trakcie symulacji.
Rys. 5. Bezpośrednie odwzorowanie cech na białka
3.2.7. Zasady samoorganizacji
Pierwszą ważną częścią algorytmu niższego poziomu w HeBIS jest omawiana już ewolucja sieci ste- rującej genów. Drugą częścią jest niewielka liczba zasad samoorganizacji, badanych w ramach pracy.
Zasady te mają wyłącznie służyć sprawdzeniu, czy można uzyskać użyteczną klasyfikację na bazie:
-- niewielkiego zestawu reguł;
-- biologicznie inspirowanej komunikacji;
-- prostych elementów uczenia maszynowego.
Chodzi o sprzężenie zwrotne do komórek w celu lokalnej optymalizacji działań klasyfikujących ko- mórek oraz interakcje między komórkami w sieci. Mamy tutaj do czynienia z:
-- analogią białkową odnoszącą się do statystycznych cech; oraz -- podziałem i śmiercią komórek.
3.2.8. Optymalizacja algorytmem rojowym
Algorytm ten jest używany do optymalizacji całego genomu komórkowego w celu umożliwienia wzrostu samoorganizującej się sieci klasyfikującej. Optymalizacja dotyczy poziomu białek. Zmienne roju, opisujące białka, odnoszą się do odpowiednich statystyk i cech numerycznych, w tym stężeń, białek w genomie, białek określających cechy danych uczących i testowych.
3.2.9. Algorytm uczący
Dla uproszczenia wypróbowano w ramach pracy tylko jeden algorytm uczący. Uczenie sieci jest w tym przypadku sterowane przez algorytm rojowy. Schemat algorytmu uczącego pokazano na Rys. 6, natomiast jego opis podany jest poniżej:
Algorytm uczący
1. Wybierz Q, wielkość roju, oraz N, liczbę iteracji uczenia. Ustaw średnią jakość cząstki na 0.
2. Stwórz populację z Q cząstek. Nadaj im losowe parametry początkowe.
3. Zainicjuj środowisko HeBIS dla każdej cząstki. Jest to jedna komórka przetwarzająca z pojedynczym ge- nomem. Położenie komórki i parametry genomu odpowiadają parametrom cząstki.
4. Wybierz przykład ze zbioru uczącego i podaj go do każdego ze środowisk cząsteczkowych.
5. Rozpocznij dyfuzję białek i proces samoorganizacji dla każdego ze środowisk. Niech symulacje trwają określoną liczbę iteracji lub do momentu wyzerowania wszystkich stężeń białek.
6. Ustal jakość genomu związanego z i-tą cząsteczką i zapisz ją. Jakość ta jest ustalana przez porównanie po- żądanej etykiety przykładu z etykietą wygenerowaną przez sieć.
7. Powtórz kroki 3, 4, 5 i 6, aż do wyczerpania przykładów uczących.
8. Uśrednij jakości dla wszystkich danych uczących dla każdego genomu w danej iteracji algorytmu uczące- go.
9. Uaktualnij parametry cząsteczek na podstawie odpowiedniej średniej jakości.
10. Powtórz kroki 2 do 9 dla N iteracji.
11. Zachowaj najlepszy otrzymany genom.
Rys. 6. Schemat algorytmu uczącego
4. Wybrane symulacje i analiza wyników
4.1. Zadanie wykrywania chmur na obrazach satelitarnych
W pracy użyto zadania związanego z analizą obrazów satelitarnych jako testowego zadania dla sys- temu HeBIS. W zadaniu tym chodzi o nauczenie klasyfikatora, czy dany piksel reprezentuje obszar bez chmur (klasa C1), czy „zachmurzony” (klasa C0). Dane zostały odpowiednio przygotowane na podstawie rzeczywistych obrazów satelitarnych. Dane oryginalne pochodziły ze spektrometru MO- DIS, umieszczonego na platformie satelitarnej Aqua agencji NASA. Do celów przeprowadzonego badania wykorzystano dane pochodzące z wybranych 15 pasm częstotliwościowych.
Rys. 7 przedstawia widok w barwach sztucznych wybranego do badań obszaru (Chesapeake Bay w USA), Rys. 8 – podział między piksele „zachmurzone” i „bezchmurne”, zaś Rys. 9 – maskowanie obszaru lądu, ponieważ do badań użyto wyłącznie obszaru oceanicznego. Podział na dwie klasy pik- seli jest oparty na wartości reflektancji powierzchniowej (jeśli dla pikseli na obszarze oceanicznym przekracza ona 0,027, to piksel jest klasyfikowany jako „zachmurzony”).
Rys 7. Obraz w sztucznych bar- wach. Szare i białe są chmury, woda jest ciemna lub czarna.
Rys. 8. Podział na piksele z chmu- rami i bez, z wyłączeniem lądu (ob- szar czerwony).
Rys. 9. Ląd i ocean – maskowanie w celu wyeliminowania obszaru lądu.
Rys. 10 przedstawia podziały na dwie rozpatrywane klasy w poszczególnych 15 analizowanych za- kresach częstotliwości (wartość -1 odpowiada klasie C1, zaś wartość +1 odpowiada klasie C0). War- tości na osi pionowej są normalizowanymi wartościami logarytmów.
Rys. 10. Podziały na piksele “zachmurzone” i “bezchmurne” dla rozpatrywanych 15 pasm częstotliwości
4.2. Funkcja jakości
Funkcja jakości (fitness, czyli ‘dopasowania’) jest używana do otrzymywania dokładnej klasyfikacji w trakcie fazy uczenia i testowania. HeBIS używa jednej funkcji jakości do oceny genomów. Opiera się ona na porównaniu (korelacji) stężeń białek wyjściowych i obecnych w środowisku.
Jakość genomu jest skalarem, otrzymanym na podstawie reakcji genomu na sekwencję par pikseli uczących, z klasy C0 i z klasy C1. Wartość jakości, Fitnessvalue jest określona jako:
Jeśli (Labeldesired class = C0) to Fitnessvalue =2(CorrC0 max - 0,5)
w przeciwnym przypadku, jeśli (Labeldesired class = C1) to Fitnessvalue =2(0,5 - CorrC0 max) (2) gdzie CorrC0 max i Fitnessvalue zawarte są między 0 a +1.
Wynik wyznaczony ze wzoru (2) implikuje granicę decyzyjną na poziomie wartości 0,5. Zależy to od wartości CorrC0 max zgodnie z Rys. 11.
Rys. 11. Schemat zależności decyzji od wartości CorrC0 max
4.3. Wyniki eksperymentalne
Przeprowadzono 16 eksperymentów w celu porównania efektywności działania klasyfikatorów He- BIS i SOFM oraz dokładnej analizy wyników samego HeBIS. Przedstawimy tutaj tylko wyniki dwóch eksperymentów. Eksperymenty te polegały na analizie przykładów z klasyfikacją całych obra- zów testowych i zmiennymi 12 parametrami symulacji.
Pokazano dla każdego eksperymentu cztery obrazy. Obraz zatytułowany „klasyfikacja” („Classifica- tion”) pokazuje jako białe piksele zaklasyfikowane do klasy C0, czarne – do klasy C1 (czerwone od- powiadają obszarowi lądowemu, nie uwzględnianemu w badaniu). Drugi obraz („Difference”) poka- zuje błędy klasyfikacji: piksele niebieskie odpowiadają pikselom C0, zaklasyfikowanym jako C1, zaś zielone piksele – odwrotnie, tj. piksele C1, zaklasyfikowane jako C0. Trzeci obraz przedstawia stan faktyczny, zaś czwarty – maskowanie lądu.
I tak, na Rys. 12, piksele C0 zostały prawidłowo sklasyfikowane w 53,89% przypadków, a piksele C1 – w 72,95% (ogólnie: 62,11% prawidłowej klasyfikacji). Błędy głównie dotyczą pikseli C0, uzna- nych za piksele C1, co pokazuje niebiesko kropkowany obszar. Poniżej pokazano zależność między wskaźnikami P i R klasyfikacji na krzywej prawidłowych i błędnych klasyfikacji. Dla P=0,5% mamy R=30%, dla P=20% wartość R wzrasta do 50%, dla P=28% mamy R=54%, zaś dla P=31% - R=78%.
Rys. 13 pokazuje wyniki dla drugiego przykładu. Jest to najlepszy z otrzymanych wyników, z prawi- dłową klasyfikacją dla 99,15% przypadków (dla pikseli C0 – 98,51%, dla pikseli C1 – 99,99%). Stąd tez i specyficzny wygląd krzywej prawidłowych i błędnych klasyfikacji.
2010_06_09_16_37_07_17 Classification Difference Cloud/No-Cloud
Ground Truth Land/Water Mask
Rys. 12. Wyniki HeBIS dla testu 2010_06_09_16_37_07_17
2010_06_10_07_35_57_34 Classification Difference Cloud/No-Cloud
Ground Truth Land/Water Mask
Rys. 13. Wyniki HeBIS dla testu 2010_06_10_07_35_57_34
5. Podsumowanie i wnioski
Rozprawa skupiła się na nowatorskiej hybrydyzacji uczenia maszynowego i metod opartych na inspi- racjach biologicznych, nakierowanej na zadanie klasyfikacji obrazów satelitarnych. Zaproponowano system klasyfikacji obrazów, HeBIS, oparty na sztucznej dyfuzji białek, pewnych zasadach rozwoju ewolucyjnego, strukturze sterowania wyewoluowanej ze sztucznej sieci sterującej genów, oraz wyko- rzystaniu SOFM jako podstawowego elementu uczenia maszynowego. Zgodnie z wiedzą autora jest to pierwszy przypadek zastosowania sieci sterującej genów do sterowania komórkowych jąder klasy- fikujących w dziedzinie analizy optycznych obrazów satelitarnych.
5.1. Elementy nowatorskie
W wyniku przeprowadzonych badań i testów zaproponowanego systemu można stwierdzić nowator- ski charakter w następujących aspektach:
-- nowatorskie zastosowanie biologicznych zasad do praktycznego zadania klasyfikacji,
-- wyznaczenie efektywności uproszczonej GRN w zastosowaniu do wielowymiarowej klasyfikacji,
-- komunikacja sztucznych białek w zakresie klasyfikacji i jej wyników do i od komórkowych jąder uczenia maszy- nowego,
-- uczenie GRN przy pomocy algorytmu rojowego,
-- zastosowanie systemu klasyfikacji, opartego na GRN, do rzeczywistego zadania rozpoznawania obrazów sateli- tarnych, tj. rozpoznawania chmur,
-- porównanie efektywności klasyfikatorów HeBIS i SOFM dla danych satelitarnych w wersjach oryginalnych, zakłóconych i z brakującymi danymi.
5.2. Podsumowanie wyników metodycznych i eksperymentalnych
Baza teoretyczna do stworzenia systemu HeBIS została przedstawiona w ramach przeglądu literatury.
Obejmuje ona te różne koncepcje, które złożyły się na HeBIS: jądra uczenia maszynowego, ideę
„evo-devo”, sieci sterujące genów, sztuczne białka, samoorganizację oraz obliczenia ewolucyjne w postaci algorytmu optymalizacji rojowej.
Zaprojektowano i przeprowadzono 16 eksperymentów, mających ocenić zachowanie HeBIS w kon- kretnym przypadku zastosowania. Kolejne eksperymenty miały na celu sprawdzanie systemu co do coraz bardziej skomplikowanych jego aspektów.
I tak, w eksperymentach 1-4 sprawdzano tworzenie białek, ich dyfuzje oraz efekty prostej chemii białek. Analizowano sytuację, w której tylko proste białka były obecne w kracie, ponieważ aktywacja i dezaktywacja białek nie działały. Eksperymenty 1 i 2 pokazały, że białka środowiskowe w HeBIS dyfundowały poprzez sztuczna kratę, podczas, gdy eksperymenty 3 i 4 – że wprowadzona chemia białek zmienia stany ustalone w wyniku interakcji i dyfuzji, analizowane w pierwszych dwóch ekspe- rymentach. Tak więc, białka mogą wchodzić w interakcje w obrębie kraty i tworzyć nowe białka.
Eksperyment 5 polegał na badaniu aktywacji genów i tworzeniu prostej sieci sterującej genów. Cho- dziło o ustalenie, czy zachodzą te procesy. Eksperyment wykazał, że geny (i ich odpowiednie białka), które otrzymano w wyniku optymalizacji rojowej, mogły być aktywowane. Wykazano także rozma- itość zachowań otrzymanych sieci GRN. Ta rozmaitość polegała na zróżnicowaniu czasowym akty- wacji dla tego samego genu, klonowaniu komórek, a także różnych reakcji pikselowych na poziomie GRN. Ustalono także, że funkcja jakości w HeBIS nie jest zorientowana w sposób szczególny na jednoczesną ekspresję wielu genów.
Optymalizacja genomów i GRN przy pomocy algorytmu rojowego była przedmiotem eksperymentu 6. Badano efektywność tego algorytmu optymalizacji w środowisku sztucznych białek. Algorytm okazał się wystarczająco efektywny. Stwierdzono, w szczególności, że jakość, reprezentowana przez rój wzrastała w poszczególnych iteracjach oraz rosła wraz z liczbą osobników w roju.
Eksperymenty 7-10 dotyczyły samoorganizacji i jej wpływu na GRN. Badano poszczególne czynno- ści samoorganizacji i komórek, osobno i w odpowiednich kombinacjach. Jakość GRN była analizo- wana dla następujących aspektów: położenia komórki (Eksperyment 7), zachowań komórki (E. 8) wprowadzenia danych o białkach do środowiska (E. 9), oraz aktywacji białek wyjściowych (E. 10).
W Eksperymencie 7 zmieniano położenie komórki startowej i ustalono, że nie miało to znaczącego wpływu na jakość ewoluującej GRN, jeśli ocena była dokonywana w abstrakcji od innych aspektów.
Eksperyment 8 polegał na analizie efektów poszczególnych działań komórkowych. Stwierdzono, że każda z nich, osobno rozpatrywana, zmieniała jakość ewoluującej GRN. Tak więc aktywacja i dezak- tywacja tych działań komórkowych ma istotne znaczenie dla przebiegu ewolucji i otrzymywanych bardziej skomplikowanych działań klasyfikujących. W Eksperymencie 9 rozpatrywano wprowadze- nie danych („statystyk”), zakodowanych w białkach, do środowiska, stanowionego przez kratę. Były to białkowe analogi statystyk drugiego rzędu, wprowadzane do środowiska w trakcie symulacji. Po- równywano efekty statystyk otrzymanych przy pomocy algorytmu rojowego z efektami stałych, usta- lonych statystyk (białek). Wyniki wskazują na większą efektywność statystyk, otrzymanych przy pomocy algorytmu rojowego w oddziaływaniu na jakość GRN.
Podobnie, w Eksperymencie 10 porównywano użycie statycznych i ewolucyjnych parametrów białek wyjściowych. W tym przypadku użycie statycznych parametrów białek wyjściowych dawało wyższą jakość GRN niż wykorzystanie parametrów otrzymanych drogą ewolucyjną.
Aż do tego momentu w badaniach rozpatrywano wyłącznie poszczególne zachowania i działania. W Eksperymentach 11-16 rozpatrywano łączny wpływ tych aspektów na wyniki klasyfikacji.
I tak, w Eksperymencie 11 badano wpływ uwzględniania różnych zakresów informacji z pikseli są- siadujących z danym pikselem. W badanych przypadkach okazało się, że jakość klasyfikacji zmniej- szała się w miarę rozszerzania odpowiedniego sąsiedztwa. Eksperyment 12 dotyczył wpływu rozmia- rów komórkowego jądra SOFM na dokładność klasyfikacji. Okazało się, że wpływ rozmiarów tego jądra na klasyfikację całościową jest istotny. Eksperyment 13 poświęcony był badaniu wpływu che- mii białek (a nie tylko genetycznie uwarunkowanych interakcji białek z GRN) na dokładność klasyfi- kacji. Okazało się, że mutacje (nowe białka), otrzymywane w środowisku HeBIS w wyniku działania reakcji chemicznych, były użyteczne w sensie poprawy jakości klasyfikacji całościowej obrazów.
Tym niemniej, jeśli prawdopodobieństwo reakcji białek wzrastało powyżej pewnego progu, dokład- ność klasyfikacji malała. Pełna wersja HeBIS była porównywana z samym SOFM w Eksperymencie 14. Analizowano macierze błędów, krzywe precyzji, a także wizualnie oceniano klasyfikację obra- zów. W tym eksperymencie okazało się, że HeBIS klasyfikuje obrazy testowe tak samo lub lepiej, niż sam SOFM. W szczególności, prosta funkcja jakości HeBIS właściwie oceniała otrzymane GRN z punktu widzenia klasyfikacji. Dwa końcowe eksperymenty, E. 15 i E. 16, dotyczyły odporności He- BIS w warunkach zróżnicowanych poziomów zakłóceń i brakującej informacji. W tym przypadku także HeBIS klasyfikował pełne obrazy testowe tak dobrze jak SOFM lub lepiej.
Przy opracowywaniu i badaniu HeBIS otrzymano zachęcające wyniki. Okazało się, że hybrydyzacja biologicznie inspirowanych zasad z uczeniem maszynowym daje duże możliwości. Zastosowanie do rzeczywistego zadania klasyfikacji pokazało, że opracowane techniki mogą być użyte do klasyfikacji obrazów satelitarnych. Otwiera to również nowe perspektywy dalszych badań.
6. Przyszłe prace badawcze
Niniejsza rozprawa otwiera szereg możliwych perspektyw badawczych. Poza możliwością zastoso- wania klasyfikatora do innych dziedzin, możliwości te obejmują analizę innych funkcji jakości, uwzględnienie różnych jąder uczenia maszynowego na poziomie komórkowym, badanie uczenia mo- dularności funkcjonalnej, dodatkowe czynności komórkowe, wykorzystanie szybszych procesorów w celu przyśpieszenia symulacji, a także wykorzystanie potencjału komunikacji białkowej w systemach o inspiracji biologicznej.
6.1. Funkcja jakości
Obecna funkcja jakości HeBIS implikuje prostą GRN, klasyfikującą binarnie piksele obrazów. Jed- nakże dokładniejsza analiza krzywych dokładności pokazuje, że być może inne funkcje jakości po- prawiłyby efektywność klasyfikacji. Obecna funkcja nie prowadzi do jednoczesnej reakcji wielu ge- nów i mogłoby być interesującym zbadanie funkcji, prowadzących do bardziej złożonych GRN.
Zastosowanie metod „szukania nowości” („Novelty Search”, [19]) mogłoby prowadzić do takich efektów. Pozwalają one na eksplorację złożoności bez użycia jawnej definicji jakości. Ten rodzaj eksploracji przestrzeni operacyjnej mógłby zostać zastosowany w HeBIS zamiast funkcji jakości. Nie zrezygnowano by przy tym jednak z wykorzystania algorytmu rojowego.
6.2. Dodatkowe jądra uczenia maszynowego
Różnorakie takie jądra, powiązane z GRN i komunikacją białkową w HeBIS, mogą być stosowane jako podstawa klasyfikatorów opartych na białkach. Jądra w postaci maszyn wektorów podpierają- cych czy sztucznych sieci neuronowych są oczywistymi kandydatami, jako wykorzystywane szeroko w zastosowaniach związanych z rozpoznawaniem obrazów, [20, 21, 22].
6.3. Modularność i wyuczona funkcjonalność
Analiza modularności mogłaby zostać zastosowana do wykrywania powiązań między grupami inte- rakcji białek w ramach faktycznych procesów interakcji. Analiza taka czerpałaby z badań biologii obliczeniowej [23, 24]. Poza tym, interesującą perspektywę poszukiwań stanowi metodyka neuro- ewolucyjna NEAT, [25, 26]. W metodyce tej, złożone zadania sterowania i klasyfikacji mogą być rozbite na oddzielne pod-zadania, z których pierwsze jest poddane uczeniu. Kolejne są uczone itera- cyjnie na podstawie struktury, otrzymanej dla pierwszego pod-zadania.
HeBIS już obecnie zawiera ideę modularności ze swoimi niezależnymi komórkami o zróżnicowanym zachowaniu, zależnym od lokalnych stężeń białek i ich gradientów. Uczenie modularne w systemie mogłoby przybierać postać analogiczną do schematycznie przedstawionej na Rys. 14.
Rys. 14. Możliwy sposób wprowadzania danych uczących i testowych do HeBIS. Każde zachowanie jest uczone osobno, tworzone są próbne genomy, które są ewolucyjnie optymalizowane w pętli CV/GA.
6.4. Dodatkowe czynności komórek
Dodatkowe czynności komórkowe mogłyby uwzględniać zastosowanie teorii sieci skalowalnych do komunikacji białkowej, uwzględnienie wzajemnej informacji w interakcjach białkowych, nowe algo- rytmy tworzenia i aktywacji komórek, a także adaptacyjne tworzenie jąder SOFM.
6.5. Procesor graficzny
Ze względu na potrzeby obliczeniowe HeBIS przyszłe prace obejmą budowę systemu opartego na wysokowydajnej GPU [27], por. Rys. 15.
Rys. 15. Model badawczej infrastruktury obliczeniowej
6.6. Komunikacja oparta na białkach w sztucznych urządzeniach organizmów
Istnieje możliwość zastosowania technik komunikacji i klasyfikacji z HeBIS do sterowania sztucz- nymi urządzeniami w organizmach żywych, np. ludzkim ciele. Urządzenia te mogłyby reagować na lokalne stężenia i gradienty odpowiednich białek i wykonywać obliczenia zgodnie z prostymi zasa- dami, opartymi na ustalonym zestawie (słowniku) białek.
Bibliografia
[1] A. Ranganathan and Z. Kira, “Self-Organization in Artificial Intelligence and the Brain”, College of Comput- ing, Georgia Institute of Technology, 2003.
[2] P. Bentley, “Evolving Fractal Gene Regulatory Networks for Robot Control”, Department of Computer Sci- ence, University College London, 2003.
[3] J. Bongard, “Evolving Modular Genetic Regulatory Networks”, Artificial Intelligence Laboratory, University of Zurich.
[4] S. B. Carroll, “Endless Forms Most Beautiful”, W.M. Norton & Company, New York, 2005.
[5] T. Kohonen, “Self-Organizing Maps”, Springer-Verlag, Berlin, 2nd. Edition, 1997.
[6] E. Erwin, K. Obermayer, and K. Schulten, “Self-organizing maps: ordering, convergence properties and energy functions”, Biological Cybernetics, vol. 67, pp. 47-55, 1992.
[7] T. Kohonen, “Speech recognition based on topology preserving neural maps”, Neural Computing Architec- tures, ed. I. Aleksander, pp. 26-40, MIT Press, Cambridge, 1989.
[8] F. Favata and R. Walker, “A Study of the Application of Kohonen-type Neural Networks to the Traveling Salesman Problem”, Biological. Cybernetics, vol. 64, pp. 463-468, 1991.
[9] A.P. Engelbrecht, “Computational Intelligence: An Introduction”, Wiley, New York, 2002.
[10] J. Kennedy and R. Eberhart, “Particle Swarm Optimization”, Proc. IEEE INt. Conference on Neural Net- works, vol. IV, Perth, Australia, 1995, pp. 1942-1948.
[11] K. P. White, “Functional Genomics and the Study of Development, Variation, and Evolution”, Nature Re- views Genetics, July 2001, vol. 2, pp. 528-537.
[12] S.B. Carroll, “Endless forms: the evolution of gene regulation and morphological diversity”, Cell, vol. 101, pp. 577-580, 2000.
[13] S. Kumar and P.J. Bentley, “On Growth, Form and Computers”, Elsevier Academic Press, Amsterdam, 2003.
[14] A. Lindenmayer, “Mathematical models for cellular interaction in development, parts I and II”, Journal of Theoretical Biology, vol. 18, pp. 280-315.
[15] P. J. Bentley, “Evolving beyond perfection: an investigation of the effects of long-term evolution on fractal gene regulatory networks”, BioSystems, vol. 76, 2004, pp. 291-301.
[16] L.A.N. Amaral et al, “Emergence of complex dynamics in a simple model of signaling networks”, Proceed- ings of the National Academy of Sciences, vol. 101, no. 44, 2004.
[17] J.C. Astor and C. Adami, “Development and Evolution of Neural Networks in an Artificial Chemistry”, arXiv:adap-org/9807003, Jul. 17, 1998.
[18] H.R. Gordon and M. Wang, “Retrieval of water-leaving radiance and aerosol optical thickness over the oceans with SeaWiFS: a preliminary algorithm”, Applied Optics, vol. 33, no. 3, January 1994.
[19] J. Lehman and K.O. Stanley, “Revising the Evolutionary Computation Abstraction: Minimal Criteria Nov- elty Search”, Proceedings of GECCO 2010, July 7-11, Portland, Oregon USA.
[20] B. Scholkpf, C.J.C. Burges and A.J. Smola, “Advances in Kernel Methods: Support Vector Learning,” MIT Press, Cambridge MA, 1998.
[21] A.N. Srivastava, N.C. Oza, and J. Stroeve, “Virtual Sensors: Using Data Mining Techniques to Efficiently Estimate Remote Sensing Spectra,” IEEE Trans. On Geoscience and Remote Sensing, vol. 43, no. 3, pp.
590-600, March 2005.
[22] E.J. Kwiatkowska and J.S. Fargion, “Application of Machine-Learning Techniques Toward the Creation of a Consistent and Calibrated Global Chlorophyll Concentration Baseline Dataset”, IEEE Trans. On Geo- science and Remote Sensing, vol. 41, no. 12, pp. 2844-2860.
[23] K.Y. Yip et al, “Improved Reconstruction of In Silico Gene Regulatory Networks by Integrating Knockout and Perturbation Data”, PLoS ONE , vol. 5, no. 1, January 2010.
[24] S. Pinkert et al, “Protein Interaction Networks- More than Mere Modules”, PloS Computation Biology, vol.
6, no. 1, January 2010.
[25] K.O. Stanley and R. Miikkulainen, “Competitive Coevolution Through Evolutionary Complexification”, Jour- nal of Artificial Intelligence Research, vol. 21, pp. 63-100, 2004.
[26] K.O. Stanley et al., “Real-time Neuroevolution in the NERO Video Game”, IEEE Transactions on Evolu- tionary Computation, vol. 9, no. 6, pp. 653-668, December 2005.
[27] J. D. Owens, et al., “A Survey of General-Purpose Computation on Graphics Hardware”, EUROGRAPH- ICS 2005.
